首页

投稿

用双卡V100在ComfyUI上实现真正的并行推理和显存叠加

8953

1

2025-11-06 18:24:28

未经作者授权，禁止转载

1.yunchang/hybrid/attn_layer.py use_sync全True 2.yunchang/kernels/attention.py pytorch_attn_forward的op_type="flash"改成op_type="efficient" （补充：按理来说应该会正常识别并切换，但是可能中间某一环忘记传输导致最终没用上，有可能未来会修复） 3.内存不够就export RAY_DEBUG_DISABLE_MEMORY_MONITOR=1（修正：依然要加上增加阈值的选项，有点神秘，具体选项：RAY_memory_usage_threshold=1）（若ray timeout，可能是swap占用太高导致延迟过高，可以考虑comfyui启动加上--highvram --disable-smart-memory让清理的别留着内存里） 4.不用安装flash attn（V100） 5.GGUF暂时不能FSDP 6.torch2.8时不允许低于sm90的显卡使用fp8传输，建议回退2.7（对应xformers 0.0.30、torchaudio2.7 torchvision0.22.0） 7.显存泄漏 export TORCH_NCCL_AVOID_RECORD_STREAMS=1 速度：单卡27s，双卡20s，提升约35%，估摸着还是卡太老了吃不了多少加速，就当显存叠加再勉强提速吧（不过bug真多真麻烦）

高景珑发消息

已成绝对移动黑子，死也不改态度

语言模拟测试——我是马牛逼

03:50

whisper largev2混合语言测试

00:42

震惊，AI歌手与AI编曲通力协作，只需随便打字即可完整出曲！

02:18

[Suno Ai]蔡徐坤作词金曲《Wait wait wait》

02:01

不到三千的一代EPYC本地部署deepseekv3 617b测试（大残血测试）

08:38

纯CPU跑通义QwQ32B对比DeepSeekR1 617B

14:27

ktransformers部署Qwen3-235B-A22B-Q4测试与其余模型杂谈

22:57

ComfyUI Wan2.1 14B Q8 multigpu 多卡流水线并行测试

05:35

ik_llama跑qwen3-235b-a22b-mix-IQ3，意外的好！

09:57

KAT、Hunyuan、Fin-R1、Qwen3-2507测试结果，评价不如lmdeploy跑Qwen3-30B

10:46

Qwen3-30B-A3B-2507测试及各框架对比

09:29

Llama3.1-8B的投机采样速度翻倍以及lmdeploy全精度竟然和vllm一样

06:16

lmdeploy v100部署qwen3 30b awq，更高性价比的方案

05:15

瓶颈分析V100跑Wan2.2和Qwen-image对比3080和4070tisuper

11:00

双卡Nvlink V100在长上下文或高并发情况下的优越表现

04:21

Nvlink推理有用吗？答：很有用！

07:14

随便测测xdit以及nvlink对稠密模型推理的影响

04:38

性能？性价比？能效比？我全都要！

14:15

ComfyUI多卡超分工作流、json结构化的文生图模型FIBO以及kimi线性注意力的影响

14:34

用双卡V100在ComfyUI上实现真正的并行推理

09:38

补测一个双卡flux文生图提速更快的场景

02:23

xDiT开放仓库、sglang还想搞DiT以及双卡测试Qwen-Image、Wan2.1

32:36

测测Z-Image顺带聊聊发现

18:09

终于可以快乐地在ComfyUI上用V100 fp16 tensorcore加速Z-Image生成咯

07:49

豆包手机青春版AutoGLM，但是遇到淘宝好大爹，拼尽全力无法战胜

09:32

测试16卡V100 32G并推测部分瓶颈

16:52

无损的bf16压缩df11以及一步生图的Twinflow

15:42

新服务器U的指令集、comfyui的更低精度tensor算子、低配deep research、九坤的IQuest、LTX2

17:21

V100 Twinflow Z-Image 3秒一张图、补充上期漏的D2D、MAI-UI操作手机

07:44

GLM-Image特化文字包括字体

06:37

32G运行MiniMax2.1或GLM4.5Air！比较新的专家剪枝方案，参数量减半效果依旧，以及Unsloth小瓜？

08:22

GLM4.5Air-REAP-82B-A12B-IQ2_XXS测试及对比

07:10

GLM4.7-Flash测试、现有优化以及意外的金融水准下降

13:50

MTP3等投机采样未来的大一统及随便扯扯AI过节前的有意思东西

07:37

Dflash投机、ComfyUI多卡分流及QwenImage支持fp16、V100用nvfp4、Qwen3.5的SWA问题、Taalas的通信存疑

15:01

双卡V100测试SoulX-FlashHead-1.3B对口型和头型的简易数字人

07:58

V100版vllm及Qwen3.5在多框架下的通病、vllm新版不支持v100、Fa4可能的极限、投机投机采样、Dflash的Qwen3.5版

06:42

Claude思维链版Qwen3.5在不正经场景的优势

10:57

解决内存问题的raylight分支、Qwen3.5+Opus v3的性能下降

11:34

实测Qwen3.5+Opus v3的思维链缩短及性能下降

05:59

DeepSeekV4始出来，新的压缩注意力。以及gpt-image2的框架推测

06:39

DeepSeekV4特有的压（缩）力

12:40

DeepSeek的Dspark和domino，进一步推进dflash

06:43

50系或支持int4、新的8位或4位DiT量化convrot、优化版REAP一步到位范式

06:08

cerebras与amd合作，企业级硬件新的大饼

06:37

minimax-H3或将挽回口碑及raylight作者秒跟，kimi和deepseek新模型亮相，lynn大佬新reap模型

06:08

Qwen-Image2.1，7B小而美说是

06:08

顶部