首页

投稿

vLLM 张量并行到底有多强？V100 跑 Qwen3.5 35B 实测

5739

0

2026-03-11 23:17:00

本视频继续上期内容，对 V100 显卡运行 Qwen3.5 模型的推理性能进行进一步分析。 📊 在之前的视频中，我们对比了四卡 V100 16G 与双卡 V100 32G 在运行 Qwen3.5 时的表现。这一次拿到了一组新的测试数据：某团队对 vLLM 框架进行了底层优化，使其在 V100 上运行时更加友好。 📈 视频中将这些数据绘制到之前的性能图表中，与 llama.cpp 的测试结果进行直观对比，重点观察： 🔹 V100 运行 Qwen3.5 35B 的推理表现 🔹 vLLM 张量并行带来的预处理速度提升 🔹 llama.cpp 在长上下文情况下的性能衰减情况 📉 通过图表可以看到： ⚡ vLLM 在多卡情况下能够显著提升 Prefill（预处理）速度 📉 而 llama.cpp 在上下文增长时性能衰减更平缓 🧠 同时视频中也简单解释了为什么这次没有展示 Qwen3.5 27B 的测试数据，以及更大模型（如 122B）的测试情况。 🚀 如果大家感兴趣，后续也可以继续对比更多显卡组合，例如： 🖥 T10🖥 MI50🖥 V100 以及更大规模模型的推理性能。

大语言模型

佰年之玖发消息

互联网是什么东西。

关于我下载 qwen:7b 用了一下午这件事

10:05

【本地大模型折腾实录】折腾一天终于下完 Qwen 7B，使用效果如何？

【本地大模型折腾实录】Qwen 14B 能否正常运行？CPU 竟然100% 占用！

【本地大模型下载探索】网络直连 vs. Hugging Face 镜像

【无准备实录】用 Python 调用本地大模型：探索更高效的 AI 交互方式！

【无准备实录】本地大模型探索：能否胜任英文与代码翻译？Ollama 多模型实测！

【无准备实录】本地大模型 8430 个单词翻译+Pandoc 与 LaTeX 解决大文件PDF转换

【MI50实测】ollama-for-amd 安装与基础配置体验

【MI50 实测】vBIOS 刷写 + 32B 大模型加载全流程

MI50 + 32B模型翻译遇到的问题总结 | 上下文溢出+语言退化

05:31

【无剪辑实录】提取 PDF 内容并准备本地模型翻译｜Python环境搭建与程序调试

【硬件升级】双 MI50 显卡组建完成！初步运行情况分享

01:26

【MI50 实测】16G+32G显卡协同：本地加载DeepSeek-R1:70B大模型

09:07

【双 MI50 后续】B550M 拆不拆得了 PCIe？BIOS、芯片组与 CPU 的三重博弈

05:50

一壶秋茶 X570 系列主板视频内容文字整理｜适合闲鱼捡板用

【MI50 实测】双 32G MI50 运行 deepseek-r1:70b | 开箱、装机、刷 vBIOS 与实测

MI50 刷 vBIOS 复活 PCIE4.0 全速模式

07:27

MI50 显卡驱动安装：复现纳兰泽雨的vLLM张量并行部署过程

08:36

Docker部署：复现纳兰泽雨 vLLM 张量并行部署过程（其二）

Docker 拉取超时？纳兰泽雨方案部署踩坑记（含加速方案）

09:41

Ubuntu 系统大模型下载：纳兰泽雨方案部署踩坑记（含魔打社区快速方案）

11:56

【双 MI50】本地部署 Qwen2.5-72B（q4量化）vLLM 张量并行实战全过程

18:08

【远程访问本地大模型】Cherry Studio 配置全过程

06:03

【双 MI50】本地部署 QwQ:32B-GPTQ-INT8 vLLM 张量并行实测

07:36

【双 MI50】VSCode Cline插件调用本地大模型实测

11:48

Cline 插件二次体验：本地部署 LLM 加速技巧 --enable-prefix-caching 实测

12:10

【PCIE 拆分补遗】铭瑄B550M主板PCIE通道拆分探索 + BIOS设置尝试｜附网友补充解读

07:46

【双 MI50】Linux 下用命令行监控显卡/内存/温度全流程！

12:38

【双 MI50 实测】vLLM推理功耗多少？带你现场测功率，回应网友评论

【双 MI50】超长提示词效果测试｜vLLM张量并行｜Qwen 72B 与 QWQ 32B 上下文能力对比

23:49

超长提示词效果测试分P上传

【本地大模型测试实录】Qwen3-32B 批量解释专有词汇全过程｜vLLM + GPTQ + API 调试实况

05:54

【智商测试】Qwen3-32B 大模型能答对几个题？| 群友送题挑战实测

17:10

3D 打印显卡散热器实测：MI50 温度、噪音、性能全揭秘！

【智力测试】qwq-32B vs Qwen3-32B：谁更聪明？实测对比

25:24

MI50 运行 Qwen2.5VL 识别 300dpi 扫描文件测试

05:50

Qwen3-30B w4a16 实测：MI50 x2 vs 4060 + CPU 混合推理

双 MI50 vs 4060：GPT-OSS-120B 模型性能实测

03:14

llama.cpp b6265 更新测试：预处理速度明显提升，对比 b6258 数据

01:12

显存能不能拼？4060 搭配 MI50 的实际性能探讨

08:47

显存能不能拼？4060 搭配 MI50 后续

12:01

显存能不能拼？显存拼接与 PCIe 瓶颈再探

05:53

本地大模型现状解析：MOE 模型 VS MI50 与 4060 混跑实测

06:08

困惑：MoE 输出速度如何计算？

05:59

ComfyUI v2.5 新功能体验 | Copilot 接入本地大模型，双 MI50 + V100 实测

09:47

本地大模型的实用一刻：一次真实的文本修复演示

11:58

【深夜随录】不是取代，而是多一种选择

07:20

本地大模型的实用一刻：Markdown 转 LaTeX

10:56

双 MI50 32G 成功跑通 Qwen3-Next-80B｜实测速度 & 部署演示

06:16

MI50×2 vs T10×4 vs 4060+cpu混跑：Qwen3 Next 32K 性能曲线实测

05:28

本地大模型的绝佳应用场景之一

12:09

双 MI50 32G 成功运行 Qwen3.5-27B！量化版多模态实测 + 本地部署指南

04:16

Qwen3.5 27B vs 35B-A3B 全数据展示 | 双卡 MI50 详细测速

04:30

Qwen 系列真实体验排名 + 六模型速度对比实测

09:41

MI50 跑 Qwen3.5 出现乱码？一次远程排查耗费 4 小时

04:50

MI50 的 llama.cpp ROCm vs Vulkan 实测对比｜Qwen3.5 27B / 35B 速度差异

04:50

双 V100 32G vs 双 MI50 32G｜llama.cpp 实测 Qwen3.5 27B/35B 性能对比

04:35

运行本地大模型的极简方案

08:37

RPC 分布式推理实验报告：双机四卡跨网络跑大模型

04:46

CUDA vs Vulkan：双 V100 跑 Qwen3.5 实测对比 | llama.cpp 性能测试

04:19

RPC 分布式推理实验：同机 PCIe 与跨机网络性能对比

05:40

双 V100 32G vs 双 MI50 32G：Qwen3.5 27B/35B 推理性能完整对比（CUDA / ROCm / Vulkan）

06:30

四卡 V100 16G vs 双卡 V100 32G：Qwen3.5 27B / 35B 推理性能测试

05:00

vLLM 张量并行到底有多强？V100 跑 Qwen3.5 35B 实测

05:30

V100 跑 Qwen3.5-27B 实测对比：vLLM vs llama.cpp，输出速度差距 4 倍？

03:20

群满了：200 人群升级 1000 人群

04:30

双机四卡分布式推理实验：MI50 + V100 合跑 Qwen3.5 27B，llama.cpp RPC 与网络带宽测试

43:05

ROCm 反超 Vulkan！MI50 跑 Qwen3.5 27B / 35B 速度测试

03:29

用“果汁机模型”讲清 PVE 是干什么用的

08:48

关于后续视频调整的一些说明

08:21

本地部署大模型到底有什么用？一个真实场景讲清楚

10:47

NVLink vs PCIe：从数据传输角度重新理解大模型推理瓶颈

09:51

期待一旦落空，失望就会产生

09:33

LMDeploy vs llama.cpp：Qwen3.5 27B/35B 实测对比（V100×2）

02:48

她不记得我了

10:00

1Cat-vLLM 直接碾压？V100 实测：1Cat-vLLM vs LMDeploy 性能全对比

06:00

这也能卖钱？

07:00

其实我挺不想测数据的

06:12

从 OpenClaw 退潮浅谈人类社会的退出机制

10:00

llama.cpp b8575 性能实测｜v100 32g*2 Qwen3.5 27B CUDA 预处理速度提升 50%

03:00

5000 元 AI 主机想法破灭？反思自己当初的想法

09:50

从本地大模型到自动化：我准备搞 OpenClaw 了

05:00

为什么你私信别人，大概率不会被回复？

12:28

我把 OpenClaw 跑起来了！但遇到几个离谱问题…

07:39

AI 永远不可能取代人，这不是技术问题

08:10

权重、位格、神格：我对人工智能的一个底层理解

07:29

从群体无意识浅谈提示词注入

11:10

LMDeploy 性能暴涨？对比 3 月数据：预处理最高提升 4 倍

04:00

从幸存者偏差和阴阳浅谈大语言模型

07:27

A 卡不用在物理机上安装驱动可以直通 Docker

03:14

从自性和相性出发讲解人工智能发展对人的责任的转移

06:46

从矛盾和冲突出发讲解人和 AI 的本质区别

07:10

WSL2 能用 V100 吗？还能一边打游戏一边跑大模型？WSL2 + V100 + 多显卡混用方案调研

05:49

时间、记忆与博弈：我如何说服酒店前台为我破例？

10:00

内网穿透是干嘛的？本地大模型远程调用，一次讲清楚

06:00

从参照系转换出发理解人工智能发展所造成的影响

09:00

资料分享：AI服务器配置指南 | 从需求到硬件选型

08:00

大语言模型的本质缺陷：从幸存者偏差讲清 AI 的数据问题

08:20

WSL2 安装与配置终极指南讲解：网络/磁盘/SSH全配置

10:40

浅谈大语言模型对原子化进程造成的影响

07:00

双N卡驱动安装：消费级显卡 + Tesla V100，视频剪辑/游戏实测！

09:00

时间、记忆与骗局：人为何困在时间囚牢

06:00

双类型 N 卡 Qwen3.6 27B 模型推理性能实测（LMStudio / Ollama）

06:00

模型有输出，但不真正存在，AI有功能，但没有此在

10:22

NAS外网慢？远程控制卡？内网穿透 FRP 全讲清楚

07:00

AI 不是万能的：一个生活问题揭示的边界

07:10

PG503 32G*4 使用 1Cat-vLLM 框架推理 Qwen3.6 35B 的数据

03:00

MI50 性能差？从 Prefill/Decode 谈应用场景

06:40

双 MI50 跑 Qwen3.5 / 3.6 实测数据曝光，还有人感兴趣吗？

03:30

AI的边界（2）：问题诞生之前的世界

06:00

多后端加载机制解析：llama.cpp 新编译选项解读

03:00

第三个边界：AI之外，是人的局限

07:30

多后端加载实测：A卡+N卡混合推理真的实现了

03:55

AI不会带来更好的未来，只会更快到达原来的未来

07:00

3000 粉丝节点：关于设置门槛的说明

07:20

1Cat-vLLM 1.0.0 来了！实测 MTP1/MTP2 对 27B/35B 模型的输出速度影响

04:00

MTP 加速哪家强？1Cat-vLLM 1.0.0 对比 llama.cpp 输出速度实测

04:00

从 MTP=0 到 MTP=8：Qwen 27B 推理速度归一化分析（双 V100 / llama.cpp / 1Cat-vLLM）

06:40

远程帮粉丝部署 1cat-vLLM v1.0.0，遇到两个典型坑（附解决方案）

02:30

MI50 32G×2 跑 Qwen3.6 27B：开启 MTP 后速度只涨 2~3 token？

02:00

薄纱真人？AI视频再强，也缺了最关键的东西——偶像化

06:00

MI50 32G×2 跑 Qwen3.6-27B：MTP最优值揭秘！顺便解决 docker 闪退坑

03:30

概念：大语言模型的基石，智人胜出的核武

13:00

MI50 双卡跑 Qwen3.6-35B：实测 MTP 最佳值=1

05:00

先有鸡还是先有鸡蛋？从概念漏洞看大语言模型的致命缺陷

09:00

Hermes Agent：能操控浏览器，却看不到 B 站视频内容？

07:00

Hermes 安装方式对比与 Windows 装赫尔墨斯初步

17:30

【保姆级】Win 系统部署 Hermes｜解决 WSL 更新慢 + 离线安装 Docker 镜像

12:00

【保姆级】Windows Docker 部署 Hermes setup 完整配置教程 | 接入本地大模型（llama.cpp + MI50 32G*2）

11:54

Windows Docker 安装 Hermes：四种访问方式详解（CLI / VNC / WebUI / 客户端）

07:00

karpathy LMVK 方法论打造会生长的本地 AI 知识库，有人感兴趣吗？

08:00

用 Hermes 一句话就能完成配置？Hermes 使用场景演示

14:30

Hermes 远程配置 NAS 实战｜B75 平台一键部署 Samba 共享存储

13:30

1Cat-vLLM 1.2.1 上手实测：Qwen3.6-27B-FP8 双 V100 推理速度测试

03:00

3080 20G + 9070 16G 混合推理实测！CUDA-ROCm llama.cpp 长上下文预处理速度惊人｜Qwen3.6 35B

07:08

实测 MTP 最优值！3080 20G +9070 16G CUDA-ROCm llama.cpp 推理 Qwen3.6 27B

03:29

为什么图表数据 "骗" 了你？3080 20G + 9070 16G 混合推理 MTP显存占用真相

05:00

Qwen3.6 35B 预处理速度为何只有 100+tokens/s？3080 20G 与 cpu 混合推理效果

04:30

CUDA-Vulkan 与 Vulkan-Vulkan 性能对比：N 卡 A 卡混合推理大模型实测

03:30

把大模型主机缩小到 ITX！对大模型本地推理设备的另一种畅想

06:00

四张 3070m 魔改卡跑大模型效果如何？vLLM 张量并行实测

04:50

ROCm 7.13 让 A 卡起飞！Qwen3.6-27B 预处理速度暴涨 3 倍，CUDA 竟成瓶颈？| N 卡 A 卡混合推理深度实测

04:20

CUDA-ROCm 在 27B 上最快，在 35B 上却最慢？V100/R9700 三后端推理性能实测

06:00

算力 vs 显存带宽：LLM 推理的 Prefill 和 Decode 阶段到底谁说了算？

05:57

PCIe 版本 V100 16G *4 推理 Qwen3.6：27B vs 35B 速度实测，长上下文衰减对比

04:30

V100 16G×4 原生 pcie 对比 32G×2 sxm 转 pcie：谁才是 Qwen3.6 推理性价比之王？

04:30

单卡vs双卡 MI50 跑 Qwen3.6 实测：预处理翻倍，输出卡在 10tokens/s？

03:58

V100 16G×4 原生 PCIe vs 32G×2 SXM 转 PCIe 跑 Qwen3.6 35B 实测对比

05:00

PCIe 带宽如何影响大模型推理速度？

06:30

A I N 混合推理： CUDA/ROCm/Vulkan 三后端 llama.cpp docker 镜像来了

05:50

3090+3080+R9700*2 混插跑大模型实测！CUDA+ROCm 混合推理，预处理速度直接起飞 2.5 倍！

04:20

应用本地大模型的最大敌人：消费者心态

09:00

一猫之下 1Cat-vLLM 1.2.2 重磅更新！V100 跑 Qwen3.6 27B FP8 预处理 2500 token/s

03:00

1Cat-vLLM 1.2.1 vs 1.2.2 双版本实测！V100 无 NVLink 下性能有提升吗？

02:55

WSL 跑 ComfyUI 翻车实录：T10 + Docker Desktop，16G 内存跑 Z-Image 崩溃

05:20

T10 在 Ubuntu 上跑 z_image 工作流：16g 内存够用吗？

01:00

四张 T10 能识别吗？NUC 扩展底板多卡折腾计划

02:40

顶部