需要用到的资源链接:
https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
https://huggingface.co/mudler/Qwen3.8-27B-APEX-GGUF
https://github.com/AtomicBot-ai/atomic-llama-cpp-turboquant
https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates
llamacpp启动参数:
llama-server.exe -m "Qwen3.8-27B-APEX-I-Mini.gguf" --mmproj "mmproj-Qwen3.8-27B-F16.gguf" --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 -c 65536 -ngl 99 -ctk turbo4 -ctv turbo3 -fa on --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --kv-unified --no-host --cache-ram 0 -np 1 -b 512 -ub 512 --reasoning-preserve --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek --host 127.0.0.1 --port 24548
使用小模型时,可以开MTP加速,代价是上下文从200K缩短到130K
llama-server.exe -m "Qwen3.8-27B-APEX-I-Nano.gguf" --mmproj "mmproj-Qwen3.8-27B-F16.gguf" --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 -c 130000 -ngl 99 -ctk turbo4 -ctv turbo3 -fa on --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --kv-unified --no-host --cache-ram 0 -np 1 -b 512 -ub 512 --reasoning-preserve --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek --host 127.0.0.1 --port 24548 --spec-type draft-mtp --spec-draft-n-max 2