笔记本5060 8GB显存+32GB内存极限部署Qwen3.6 35BA3B Apex MTP I Quality 128k上下文 45~55t/s

Name: 笔记本5060 8GB显存+32GB内存 极限部署Qwen3.6 35BA3B Apex MTP I Quality 128k上下文 45~55t/s
Uploaded: 2026-09-25T01:15:47.000Z
Duration: 6 min 40 s
Channel: 小章铭
Description: Qwen3.6-35B-A3B · APEX MTP I-Quality 档 · llama.cpp + llama-swap 全本地运行 8 GB 显存的笔记本装下 22 GiB 的模型，还开着投机解码 启动参数： -ngl all -mg 0 -c 131072 -ts 1 -sm layer -np 1 -ctk q8_0 -ctv q8_0 -t 14 -b 2048 -ub 512 --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1 -s -1 -n -1 --reasoning on --perf --no-mmap -fa

1928

2026-09-25 09:15:47

含AI生成内容

未经作者授权，禁止转载

Qwen3.6-35B-A3B · APEX MTP I-Quality 档 · llama.cpp + llama-swap 全本地运行 8 GB 显存的笔记本装下 22 GiB 的模型，还开着投机解码启动参数： -ngl all -mg 0 -c 131072 -ts 1 -sm layer -np 1 -ctk q8_0 -ctv q8_0 -t 14 -b 2048 -ub 512 --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1 -s -1 -n -1 --reasoning on --perf --no-mmap -fa on --n-cpu-moe 37 --spec-type draft-mtp --spec-draft-n-max 2 --presence-penalty 0 --min-p 0.0