• 投稿

八张卡怎么才能像一张卡?3Blue1Brown 式拆解 MiniMax-H3 的并行

2万
14
2026-08-26 15:21:09
542
177
1571
70
一张卡放不下这个模型,那就用八张——可八张卡怎么才能像一张卡那样干活? 本期把 MiniMax-H3 的多卡并行拆开讲:先纠正一个误会(切开不是为了快,是为了能跑);再讲两种切法——切权重(TP)与切中间结果(SP),各自切的是什么、代价落在哪种通信上(all-reduce / all-to-all);然后讲怎么做对照实验(一次只动一项),通信占比如何决定拓扑的敏感度;最后讲逐层换出带来的两个问题,以及为什么两本账不能混着测。 性能数据来自同一台机器实测,仍在持续优化、会不断变化——供你建立整体印象。 这是"把技术讲清楚"系列第三期。上一期:BV1Uq8g6XEXZ
大模型学习过程的分享与总结
4.7万播放
简介
一句话是怎么变成一段有声视频的?拆开 MiniMax-H3
19:21
两本账:显存与时间
15:33
八张卡怎么才能像一张卡
16:12
把搬运藏进计算的影子里?3Blue1Brown 式拆解 MiniMax-H3 的通信重叠
15:18
AI 视频是一块一块解出来的,为什么你看不出接缝?
15:02
视频生成太慢?一个开关,时间减半 3Blue1Brown 式拆解 MiniMax-H3 的缓存复用
10:17
权重砍掉一半,时间为什么只少 18%?3Blue1Brown 式拆解 MiniMax-H3
10:35
客服
顶部
赛事库 课堂 2021拜年纪