分享一个自己笔记本电脑本地部署Qwen3.6 35B的办法
原理就是通过降低上下文长度,关闭模型预热,按需加载模型权重
这样就能在短对话中少占内存(至少不爆)
当然上下文长度上去了内存就不够了
不过这都16G内存了,能跑就行还要啥自行车(
启动命令:llama-server -m Qwen3.6-35B-A3B-UD-IQ4_XS.gguf --gpu-layers 0 --no-warmup --reasoning "off" --ctx-size 4096 --flash-attn on
Qwen3.6-35B-A3B-UD-IQ4_XS.gguf换成你下载的模型的路径
有GPU可以适当提高--gpu-layers 的数值
打开推理:--reasoning "on"
求点赞三连支持,第一次用必剪剪视频 [doge]