首页

投稿

Lsglang 40ts混合推理DeepSeek V4 Flash 0731原版，双epyc7642，ddr4 16通道，双5060Ti

5629

0

2026-08-09 19:13:18

使用Lsglang-v1.4.7混合推理，测试了DeepSeek V4 Flash 0731原版模型的实际推理效果，配置CPU双路epyc 7642，16通道ddr4 3200内存，两张5060Ti，在开启dspark推测解码3的情况下最高输出decode 40t/s，使用说明见：https://github.com/guqiong96/Lsglang

爱跳绳的乃龙发消息

What is done with heart is never lost.

Lvllm 混合推理张量并行、串行测试

09:55

Kimi-Linear-48b-a3b 原版抢先测评

14:36

41tokens/s！一张3090用Qwen VL 30B视觉模型测试、安装LvLLM

25:16

一张3090解码速度36ts 运行原版qwen-next-80b

11:53

qwen3-next-80b原版混合推理一张3090 预填充1000 tonkens/s

20:11

GLM4.6V首发测试15.7tokens

05:18

本地运行KIimi-K2万亿参数模型每秒10tokens（两张3090）

09:58

手把手开启多显卡P2P教程，4倍带宽16分之1延迟

19:26

单卡每秒1.5万tokens, 8倍加速！qwen next 80b 原版bf16

23:33

单卡3500 Tonken每秒 MinixMax 2.1 原版

27:38

Qwen3 coder next 80b 原版BF16首发测试

15:20

Kimi k2.5 16ts/s 两张3090

17:02

MiniMax M2.5 3090显卡本地部署预填充1700ts 解码 39ts

19:58

Qwen 3.5 800G原版测试 14ts

08:02

Qwen 3.5 多模态这也太强了吧

21:24

Qwen3.5 原版文本模式编程测试

07:24

Qwen3.5 122B 原版BF16 2100t每秒

24:10

Qwen 3.5 122b 视觉测试 56t每秒 prefill 2200ts

11:41

Kimi K2.5 原版600G 视觉测试

15:46

Qwen3.5 27B FP8 和 35B原版评测 prefill 5800ts decode 60ts

27:07

Lvllm混合推理本地测试及完整部署过程 56ts qwen3.5 122b

48:41

Nvidia Nemotron 3 Super 120B 原版BF16 混合推理测试 prefill 2100ts decode 23ts

13:29

OpenClaw龙虾调用本地Qwen3.5 35B模型完成视觉识别和标注

16:40

Google Gemma4 26B 原版BF16，prefill：4300ts， decode：86ts

10:53

Qwen3.6 35B BF16原版模型 prefill 5300t/s decode 66t/s

07:41

Kimi K2.6原版模型本地部署16t/s

24:17

本地部署DeepSeek V4 Flash 23t/s，双路Epyc 7642，1Tb ddr4 3200，两张5060Ti

10:55

DeepSeek V4 Flash DSpark 推测解码[两张5060Ti]

17:26

DeepSeek V4 Flash DSpark 1.5倍速度提升[两张5060Ti]

20:44

GLM 5.2 NVFP4 本地部署测试[两张3090]

14:11

GLM 5.2 NVFP4 本地部署测试[两张RTX PRO 6000]

12:10

本地部署MiniMax M3 NVFP4 19t/s,双路epyc 7642，1tb ddr4 3200，两张3090

13:28

DeepSeek V4 Flash Dspark 每秒43t/s [两张3090，双路epyc7642 推测解码]

08:46

DeepSeek V4 Flash 0731 原版推测解码45ts，双epyc 7642，ddr4 16通道，双3090

13:01

Lsglang 40ts混合推理DeepSeek V4 Flash 0731原版，双epyc7642，ddr4 16通道，双5060Ti

05:30

DeepSeek-V4-Pro-0813原版，推测解码15t/s，双路epyc 7642，1T ddr4 3200，3090*2 + 5060Ti *2

32:00

手把手开启Nvidia显卡P2P访问，加速模型推理Prefill (第一集双卡5060Ti）

26:22

Qwen3.8 Flash Next本地混合推理prefill 1200t/s，decode35t/s，双路epyc7642，16通道ddr4，双5060Ti

13:55

GLM 5.3 Flash 原版混合推理15t/s，双路Epyc7642，16通道ddr4，两种5060Ti

17:56

DeepSeek V4.1 FLash 本地部署测试30t/s+，sglang+lk_moe，支持sm80+， epyc6642*2，1tddr4，3090*2

17:14

DeepSeek 4.1 Flash 1017 本地部署，1900预填充，30 decode，双epyc7642，16 * dd人3200 ，两张3090

42:49

顶部