• 投稿

低配电脑本地部署Qwen3.6 35B教程

3.3万
5
2026-05-14 18:07:08
464
159
1209
121
分享一个自己笔记本电脑本地部署Qwen3.6 35B的办法 原理就是通过降低上下文长度,关闭模型预热,按需加载模型权重 这样就能在短对话中少占内存(至少不爆) 当然上下文长度上去了内存就不够了 不过这都16G内存了,能跑就行还要啥自行车( 启动命令:llama-server -m Qwen3.6-35B-A3B-UD-IQ4_XS.gguf --gpu-layers 0 --no-warmup --reasoning "off" --ctx-size 4096 --flash-attn on Qwen3.6-35B-A3B-UD-IQ4_XS.gguf换成你下载的模型的路径 有GPU可以适当提高--gpu-layers 的数值 打开推理:--reasoning "on" 求点赞三连支持,第一次用必剪剪视频 [doge]
接下来播放
自动连播
客服
顶部
赛事库 课堂 2021拜年纪