项目:https://github.com/rwashy/H3-V100
链接:https://pan.quark.cn/s/1d57a6058acf?pwd=Rz5H
本次更新:
1.加入了sol-attn的V100适配(仅长序列有部分效果)
2.更准确的显存预算
3.提高了V100 Tensor Core 的有效占用
注意:
如果要防止长序列OOM,建议启动参数加入 --lowvram --disable-dynamic-vram (动态vram和PyTorch reserved cache在V100上有兼容问题);
或者使用不会溢出的序列长度(指不加节点也不会OOM的长度);
当前最长为0.9、15s,任何超出这个范围的会OOM;
优化效果与时长有可能有偏差,区别在于内存(128G),以及散热(降频),实际使用短序列应该会更快,长序列OOM有可能会提前。
当前版本比前一版理论上有8%左右的速度优化。
短序列上Flash attn 与 sol attn基本上没有性能差异(V100架构导致)
长序列上sol有部分优势 (0.9、15S,上一版优化节点1小时52分;新版本1小时36分,依然不建议使用)
组合可以为:
1建议档 0.2-0.5 ,长度5-10 s;
2加长档 0.2-0.3 最长15 s;
3极限档 0.9 15s,不考虑能效和时间。