没有NVLink也能打大模型？7张Tesla T10极限实测：单链路13.2G吃满PCIe，4卡满载狂飙！

Name: 没有NVLink也能打大模型？7张Tesla T10极限实测：单链路13.2G吃满PCIe，4卡满载狂飙！
Uploaded: 2026-09-29T17:30:13.000Z
Duration: 7 min 27 s
Channel: 四川榴莲炒叉烧

3086

2026-09-30 01:30:13

个人观点，仅供参考

在上期我们把这台 2U 技嘉服务器的风扇压到 3750 转静音后，终于能在家庭和办公室使用了！但很多朋友问：没有 NVLink、纯走 PCIe 3.0 的图灵老卡，卡间通信真能撑得起张量并行 (TP) 吗？本期我们直接插满 7 张 Tesla T10 单槽卡拉上跑道极限测速： 1. **P2P 硬件架构实证**：图解 Switch PIX、CPU NODE 与 X99 缺失 ACS 导致内存中转腰斩的核心机理，实测 42/42 条链路 100% 全通 Mesh，单链路 13.19 GB/s 稳稳吃满 PCIe 3.0 极限； 2. **生产级部署避坑**：深度魔改 vLLM-SM75，拆解上下文拉满 262K、KV 缓存降为 3.06G 防 OOM、P-State 空闲门槛改 5 分钟等真实实机踩坑经验； 3. **真实跑分不脑补**：现场遥测 Prefill 突破 1800 tok/s，实际吐字稳定在 80 字/秒，4 卡显存吃满到 99%； 4. **下期预告**：大模型只是牛刀小试！下期我们将挑战吞吐量更大的硬核场景——在 4 张 Tesla T10 上部署 ComfyUI 分布式工作流，挑战多卡多机 AI 视频生成！ - 核心硬件：GIGABYTE G292-Z20-00 / 7× Tesla T10 16GB / AMD EPYC 7002 ### 3. 时间轴导航 (Timestamps) ```text 00:00 ⚡ 硬件底座：7 张 Tesla T10 满插亮相与老卡互联疑虑 00:35 📊 架构解析：PIX vs NODE 区别，X99 捡垃圾避坑 01:00 🚀 P2P 实测：42 链路全通矩阵，单链路 13.19 GB/s 顶满总线 01:38 🔍 仓库指引：跟随光标解读 vLLM-SM75 优化与性能表 02:26 🛠️ 生产避坑：上下文拉满 262K！KV 缓存降至 3.06G 防 OOM 03:21 📦 显存切分：TP4 张量并行分工，各层权重均匀加载 04:11 📈 监控看板：8000 端口动态联动，功耗与延迟曲线跳动 05:06 ⚡ 实机跑分：Prefill 突破 1800 tok/s，Decode 稳在 80 tok/s 06:06 🔋 模型常驻：4 卡常驻显存免重载，单卡 40W 待机 07:06 🎬 下期预告：挑战 ComfyUI 4 卡多卡 AI 视频生成！

顶部