上期聊了DGX Spark部署DeepSeek V4 Flash,当时不太满意,又买了一台想试TP3三机部署——结果这模型不支持单数TP,3台不行,只认2或4。
不过好消息是GitHub有作者7月16号更新了基于VLLM 0.25.2的新推理引擎镜像,不再需要给老引擎打补丁。实测对比:Agent场景速度从48.6 tok/s提升到50-60 tok/s;预填充速度提升64%;MTP从3提升到5且稳定不崩。
目前双机够用,四机TP4能翻倍到120 tok/s。部署文件和镜像已打包放夸克网盘,有DGX Spark的朋友直接用新方案就行。
夸克网盘链接:https://pan.quark.cn/s/6e8c04f369ef?pwd=2uBY提取码:2uBY