视频中相关资料地址:👉https://www.xgdn.com/79.html
Bonsai 2 27B 大模型下载
Hugging Face下载地址:https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/tree/main
夸克网盘下载地址:https://pan.quark.cn/s/b922df5cf0d2?pwd=dp3u
注意:网盘下载地址里的内容一定要保存到你自己的网盘,我后面会删掉。
专属 llama.cpp下载
Github 下载地址:https://github.com/PrismML-Eng/llama.cpp/releases
夸克网盘下载地址:https://pan.quark.cn/s/78479f8614e9?pwd=hpka
Hermes Agent 下载
Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/
夸克网盘下载地址:https://pan.quark.cn/s/fd2e158b2d8b?pwd=RtRG
llama.ccp 启动脚本:
@echo off
title Ternary-Bonsai-2-27B - llama.cpp
cd /d "%~dp0"
echo.
echo ========================================
echo XChaoGe.Com
echo llama.cpp Local AI Server
echo ========================================
echo.
llama-server.exe ^
-m "models\模型名" ^
--mmproj "models\Ternary-Bonsai-2-27B-mmproj-BF16.gguf" ^
--host 127.0.0.1 ^
--port 8085 ^
-c 65536 ^
-ngl 99 ^
-fa on ^
--jinja ^
--parallel 1 ^
--alias Ternary-Bonsai-2-27B ^
--temp 1.0 ^
--top-p 0.95 ^
--top-k 20 ^
--min-p 0 ^
--repeat-penalty 1.0 ^
--cache-type-k q8_0 ^
--cache-type-v q8_0 ^
--reasoning on ^
-n 32768
pause