十万张卡，怎么一起干活：万卡训练的六秒钟

Name: 十万张卡，怎么一起干活：万卡训练的六秒钟
Uploaded: 2026-10-11T01:15:00.000Z
Duration: 25 min 42 s
Channel: 辞月赴尘

4.1万

2026-10-11 09:15:00

含AI生成内容

系列第十一期。讲万卡集群，常见的讲法是“卡怎么连起来”；这一期换一个问题：上万张卡怎么一起干活，朝同一个目标走几个月。我们跟着 Meta 训练 Llama 3 最大模型的那台机器走两遍：先跟着“一步”——六秒钟里，数据从哪来，计算和通信怎么排班，延迟从哪来、为什么一毫秒都要抠，最慢的那张卡怎么拖住所有人；再跟着“五十四天”——怎么知道哪里出了毛病，坏了以后怎么在几分钟内接着跑，连电网都要跟着它的节奏晃。每一段都落到一笔账上：在每小时租金三万多美元的集群里，等待就是钱。章节： 00:00 开场：六秒钟的心跳 00:31 等待就是钱：每一步多等 0.1 秒 ≈ 100 万美元 00:58 十万张卡，怎么一起干活 01:48 一、先把账算清楚：为什么要拆 01:52 　一张卡，算不完也装不下 02:34 　三种拆法，套在一起 03:20 　拆完，欠下一笔“等待”的债 03:53 二、一步之前：数据怎么喂进来 03:58 　读数据，其实很轻 04:51 　难的是“对” 05:27 　不让显卡等数据 06:00 三、六秒钟里：计算和通信怎么排班 06:05 　一步的时间轴 07:02 　能藏起来的通信 07:58 　藏不住的通信：放进最近的圈子 08:55 　藏，也是有代价的 09:29 四、延迟从哪来，为什么一毫秒都要抠 09:33 　通信的时间，由三部分组成 10:06 　延迟从哪来 10:47 　排成一圈，要传三万多次 12:35 　要看最慢的那条路 13:56 　距离，是唯一省不掉的那部分 14:13 五、最慢的那张卡 14:17 　掉队者 15:16 　一半的算力在等 16:10 六、五十四天：出了毛病怎么办 16:15 　每 3 小时出一次事 16:54 　第一道关：开工之前先体检 17:08 　第二道关：一边跑，一边盯 17:42 　大家都卡住了，是谁的错 18:43 　第三道关：恢复，每一分钟都是钱 19:48 　存档：存得勤，还是存得少 20:44 　最隐蔽的故障：悄悄算错 21:13 七、连电网都要跟着它的节奏 22:05 八、这件事意味着什么 22:10 　一本浪费的账 23:12 　当一栋楼装不下 23:53 　算法开始给“同步”松绑 24:50 结尾：像一台计算机一样干活主要资料：Meta《The Llama 3 Herd of Models》（arXiv 2407.21783）· 字节跳动 MegaScale（arXiv 2402.15627）· DeepSeek-V3 技术报告 · 谷歌 Gemini 1.0 技术报告 · 英伟达 GB300 NVL72 供电博客 · NCCL 2.4 博客 · PyTorch Flight Recorder 博客 · 微软 Fairwater（2025-11-12）· DiLoCo（arXiv 2311.08105）与解耦 DiLoCo（2026-04）· OPT-175B（arXiv 2205.01068）· xAI Colossus。说明：每步约 6 秒、约 112 万步、每卡时 2 美元等为按公开数据的推算（市场价更高）；“真正变成模型的算力约三分之一”为量级示意。本片只讲技术原理与取舍，不构成投资建议。上一期：《AI 怎么“一次猜好几个字”：推测解码》