【32G 内存跑 125B 模型，实测】这台机器终于能跑了。但先别急着高兴——官方参考机跑 79 tok/s，我这台实测六次，最快 65.8，最慢只有 11.7。
配置：i7-14700KF（20 核 28 线程）、32G 内存、RTX 4070 Ti SUPER 16G 显存、NVMe 顺序读 2900 MB/s。看着不弱。
问题出在内存。这个模型有 24576 个专家，每个 token 只激活 10 个。官方参考机是 64G 内存，能把 35.5G 专家全塞进去；我这台只有 32G，装不下，就进了低内存模式——专家改成从模型文件 mmap 读取，显卡只缓存得起 21.3% 的专家，其余每次生成都要走处理器。
代价有多直接？两档输入各跑三次，生成速度在 11.7 到 65.8 tok/s 之间跳；单看同一档输入，最快和最慢也能差到 4.8 倍。作为对照，一台 64G 内存 + RTX 5090 的社区基准，三次运行的波动只有 9~15%。
而且不只是慢。内存占用到 88%，只剩 3.7G 可用；显存只剩 797 兆；专家缓存命中率掉到七成上下；首个字最长要等接近十秒。
所以结论很清楚：显存决定你能不能跑起来，内存决定你跑得多快、多稳。这个模型真正要的是 64G 内存。
数据全部来自本机引擎日志，不是推算。
——
章节：
00:00 官方 79，我最快 65 最慢 11
00:10 配置：32G 内存 + 4070 Ti SUPER
00:24 专家的三级调度
00:38 低内存模式：专家改从文件读
00:48 六次实测：11.7 ~ 65.8
01:03 不只是慢，还有四条代价
01:16 结论：瓶颈在内存
#本地大模型 #大模型 #内存 #32G内存 #显存 #量化 #开源模型 #AI #硬件 #Qwen
