测试平台:i5-14600KF + RTX5060Ti 16G + 32G 双通道内存 测试环境:原版 Ollama,全部统一 Q4_K_M 量化,无显存补丁、无参数魔改,每款模型重复测试 3 次取平均值,实测数据可完整复现。 本期实测 7 款主流本地开源大模型,横向对比显存占用、推理 Token 生成速度:
Qwen3.5-4B
Qwen3.5-9B
gemma-4-12b
DeepSeek-R1-14B(两组不同参数复测)
Qwen3.6-35B-A3B(MoE 混合专家模型,3B 级显存拥有大模型推理能力)
Qwen3.6-27B
实测核心总结:
小参数量 4B/9B 模型推理速度断层领先,低配主机无压力流畅运行;
12B/14B 档位中等模型速度适中,但是显存占用偏高;
Qwen3.6-35B-A3B 优势独特,仅消耗 3B 级别显存,逻辑、代码能力远超普通 3B 小模型;
27B 超大模型直接触及 16G 显存上限,生成速度大幅下跌,仅能短文本应急使用,不适合长期部署。
配套完整资料包已打包上传放在评论区置顶,直接自取。
友人,做您的技术友人,只做原生实测,拒绝纸面参数。 部署本地 AI 遇到 CUDA 报错、显存溢出、环境配置难题,可找友人工作室预约远程调试服务。