16g显存显卡运行qwen-3.8-27B-IQ4模型，开启mtp和视觉，速度达到50tokens每秒

Name: 16g显存显卡运行qwen-3.8-27B-IQ4模型，开启mtp和视觉，速度达到50tokens每秒
Uploaded: 2026-09-03T10:23:03.000Z
Duration: 9 min 46 s
Channel: 炼机魔尊
Description: 书接上回：BV1qr8R6ZE8g llama.cpp启动配置：ExecStart=/home/alice/.local/bin/llama-server --model /home/alice/models/Qwen3.8-27B-Uncensored-IQ4_XS_4BPW.gguf --mmproj /home/alice/models/mmproj-F16.gguf --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 --spec-type draft-mtp --host 0.0.0.0 --port

1.4万

2026-09-03 18:23:03

未经作者授权，禁止转载

书接上回：BV1qr8R6ZE8g llama.cpp启动配置：ExecStart=/home/alice/.local/bin/llama-server --model /home/alice/models/Qwen3.8-27B-Uncensored-IQ4_XS_4BPW.gguf --mmproj /home/alice/models/mmproj-F16.gguf --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 --spec-type draft-mtp --host 0.0.0.0 --port 8080 --gpu-layers 999 --ctx-size 60000 -fa on -ctk q4_0 -ctv q4_0 -b 512 -ub 512 --parallel 1 --reasoning-effort xhigh --reasoning-budget 2048 --reasoning-format deepseek --alias qwen3.8-27b --jinja 模型地址：Bucoid/Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF · Hugging Face 视觉模型地址：https://huggingface.co/unsloth/Qwen3.8-27B-GGUF/blob/main/mmproj-F16.gguf

上班ing...

顶部