• 投稿

MiniMax H3 V100 加速节点更新 V1.3

2038
2
2026-08-24 00:53:41
含AI生成内容
37
14
100
7
项目:https://github.com/rwashy/H3-V100 链接:https://pan.quark.cn/s/1d57a6058acf?pwd=Rz5H 本次更新: 1.加入了sol-attn的V100适配(仅长序列有部分效果) 2.更准确的显存预算 3.提高了V100 Tensor Core 的有效占用 注意: 如果要防止长序列OOM,建议启动参数加入 --lowvram --disable-dynamic-vram (动态vram和PyTorch reserved cache在V100上有兼容问题); 或者使用不会溢出的序列长度(指不加节点也不会OOM的长度); 当前最长为0.9、15s,任何超出这个范围的会OOM; 优化效果与时长有可能有偏差,区别在于内存(128G),以及散热(降频),实际使用短序列应该会更快,长序列OOM有可能会提前。 当前版本比前一版理论上有8%左右的速度优化。 短序列上Flash attn 与 sol attn基本上没有性能差异(V100架构导致) 长序列上sol有部分优势 (0.9、15S,上一版优化节点1小时52分;新版本1小时36分,依然不建议使用) 组合可以为: 1建议档  0.2-0.5 ,长度5-10 s; 2加长档  0.2-0.3 最长15 s; 3极限档  0.9 15s,不考虑能效和时间。
[环形阵列膜法师]
客服
顶部
赛事库 课堂 2021拜年纪