• 投稿

同样的显卡,同样的模型,为什么你部署的Strata比别人跑的慢?

713
0
2026-10-06 16:10:32
11
投币
7
1
Strata 的开源项目挺离谱的,开源第四天就关注了,那时项目才618颗星星,今天14.5k星,版本号也来到了0.1.40。 它把一个 125B 的 MoE 大模型塞进你的游戏 PC,12GB 显存就能起步。 它能这么快,靠的是把模型的 24,576 个专家拆开放,显卡放最常用的,内存放全部,SSD 放查找表,每一层的搬运都跟计算同时进行,GPU 和 CPU 谁也不等谁。 钱不是砸给算力,是砸给那四级仓储的层级,让专家尽量停在更快的那一层。
客服
顶部
赛事库 课堂 2021拜年纪