• 投稿

挖掘16GB显卡潜力,qwen3.8 27b 本地部署小结

2.3万
0
2026-08-29 06:09:08
个人观点,仅供参考
429
186
1146
98
需要用到的资源链接: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF https://huggingface.co/mudler/Qwen3.8-27B-APEX-GGUF https://github.com/AtomicBot-ai/atomic-llama-cpp-turboquant https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates llamacpp启动参数: llama-server.exe -m "Qwen3.8-27B-APEX-I-Mini.gguf" --mmproj "mmproj-Qwen3.8-27B-F16.gguf" --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 -c 65536 -ngl 99 -ctk turbo4 -ctv turbo3 -fa on --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --kv-unified --no-host --cache-ram 0 -np 1 -b 512 -ub 512 --reasoning-preserve --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek --host 127.0.0.1 --port 24548 使用小模型时,可以开MTP加速,代价是上下文从200K缩短到130K llama-server.exe -m "Qwen3.8-27B-APEX-I-Nano.gguf" --mmproj "mmproj-Qwen3.8-27B-F16.gguf" --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 -c 130000 -ngl 99 -ctk turbo4 -ctv turbo3 -fa on --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --kv-unified --no-host --cache-ram 0 -np 1 -b 512 -ub 512 --reasoning-preserve --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek --host 127.0.0.1 --port 24548 --spec-type draft-mtp --spec-draft-n-max 2
https://message.bilibili.com/#/reply
客服
顶部
赛事库 课堂 2021拜年纪