DeepSeek V4.1 FLash 本地部署测试30t/s+,sglang+lk_moe,支持sm80+, epyc6642*2,1tddr4,3090*2
Qwen3.5 122B 原版BF16 2100t每秒
DeepSeek V4 Flash Dspark 每秒43t/s [两张3090,双路epyc7642 推测解码]
DeepSeek V4 Flash 0731 原版推测解码45ts,双epyc 7642,ddr4 16通道,双3090
GLM 5.2 NVFP4 本地部署测试[两张RTX PRO 6000]
单卡每秒1.5万tokens, 8倍加速!qwen next 80b 原版bf16
Lsglang 40ts混合推理DeepSeek V4 Flash 0731原版,双epyc7642,ddr4 16通道,双5060Ti
本地部署DeepSeek V4 Flash 23t/s,双路Epyc 7642,1Tb ddr4 3200,两张5060Ti
DeepSeek V4 Flash DSpark 1.5倍速度提升[两张5060Ti]
GLM 5.2 NVFP4 本地部署测试[两张3090]
qwen3-next-80b原版 混合推理 一张3090 预填充1000 tonkens/s
Qwen3.5 27B FP8 和 35B原版 评测 prefill 5800ts decode 60ts
手把手开启Nvidia显卡P2P访问,加速模型推理Prefill (第一集 双卡5060Ti)
Kimi K2.6原版模型本地部署16t/s
Qwen3 coder next 80b 原版BF16首发测试
单卡3500 Tonken每秒 MinixMax 2.1 原版
Qwen 3.6 35B原版开启Turbo Quant
Qwen 3.5 800G原版测试 14ts
OpenClaw龙虾调用本地Qwen3.5 35B模型完成视觉识别和标注
Qwen3.8 Flash Next本地混合推理prefill 1200t/s,decode35t/s,双路epyc7642,16通道ddr4,双5060Ti