• 投稿

Qwen3.8-27B 压缩9倍!Bonsai 2 27B 多模态 AI 模型本地部署教程|接入 Hermes Agent

1.3万
2
2026-09-20 09:30:00
218
73
585
70
视频中相关资料地址:👉https://www.xgdn.com/79.html Bonsai 2 27B 大模型下载 Hugging Face下载地址:https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/tree/main 夸克网盘下载地址:https://pan.quark.cn/s/b922df5cf0d2?pwd=dp3u 注意:网盘下载地址里的内容一定要保存到你自己的网盘,我后面会删掉。 专属 llama.cpp下载 Github 下载地址:https://github.com/PrismML-Eng/llama.cpp/releases 夸克网盘下载地址:https://pan.quark.cn/s/78479f8614e9?pwd=hpka Hermes Agent 下载 Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/ 夸克网盘下载地址:https://pan.quark.cn/s/fd2e158b2d8b?pwd=RtRG llama.ccp 启动脚本: @echo off title Ternary-Bonsai-2-27B - llama.cpp cd /d "%~dp0" echo. echo ======================================== echo    XChaoGe.Com echo    llama.cpp Local AI Server echo ======================================== echo. llama-server.exe ^  -m "models\模型名" ^  --mmproj "models\Ternary-Bonsai-2-27B-mmproj-BF16.gguf" ^  --host 127.0.0.1 ^  --port 8085 ^  -c 65536 ^  -ngl 99 ^  -fa on ^  --jinja ^  --parallel 1 ^  --alias Ternary-Bonsai-2-27B ^  --temp 1.0 ^  --top-p 0.95 ^  --top-k 20 ^  --min-p 0 ^  --repeat-penalty 1.0 ^  --cache-type-k q8_0 ^  --cache-type-v q8_0 ^  --reasoning on ^  -n 32768 pause
大家好!我是X超哥,为您分享互联网资讯、实用教程和一些有趣的内容。 欢迎大家踊跃关注~ 商务合作:xchaoge90@gmail.com
客服
顶部
赛事库 课堂 2021拜年纪