• 投稿

从 MTP=0 到 MTP=8：Qwen 27B 推理速度归一化分析（双 V100 / llama.cpp / 1Cat-vLLM）

4275
0
2026-05-22 00:09:29
30
7
38
1
本视频基于实际测试数据，对 MTP（Multi-Token Prediction）参数在不同推理框架中的表现进行分析。 测试环境包括： 双 V100 32GB llama.cpp / 1Cat-vLLM 推理框架 Qwen3.5-27B / Qwen3.6-27B（AWQ / GGUF） 主要分析内容包括： 不同 MTP 取值（0、1、2、3、4、6、8）对推理性能的影响 预处理速度与输出速度的差异 使用归一化方法对多组数据进行统一对比 在不同框架下的稳定性表现 实验结论（基于当前测试数据）： 预处理速度在不同 MTP 下变化不明显，但略有下降趋势 输出速度存在明显差异 在部分测试场景中，MTP=2 或 MTP=1 表现更优（依赖模型与框架） MTP 并非“越大越好”，存在明显甜点区间 ⚠️ 本视频为工程实测分析，并非严格学术实验，结果可能受模型版本、量化方式及实现细节影响。 如果你对本地大模型部署、GPU推理优化或 llama.cpp / vLLM 参数调优感兴趣，可以参考本期数据作为工程参考。
AI推理
v100
llama.cpp
大模型部署
推测解码
1Cat-vLLM
速度测试
MTP
LLM
佰年之玖 发消息
互联网是什么东西。
本地大模型折腾实录
（118/157）
31.3万播放
简介
关于我下载 qwen:7b 用了一下午这件事
10:05
【本地大模型折腾实录】折腾一天终于下完 Qwen 7B，使用效果如何？
【本地大模型折腾实录】Qwen 14B 能否正常运行？CPU 竟然100% 占用！
【本地大模型下载探索】网络直连 vs. Hugging Face 镜像
【无准备实录】用 Python 调用本地大模型：探索更高效的 AI 交互方式！
【无准备实录】本地大模型探索：能否胜任英文与代码翻译？Ollama 多模型实测！
【无准备实录】本地大模型 8430 个单词翻译+Pandoc 与 LaTeX 解决大文件PDF转换
【MI50实测】ollama-for-amd 安装与基础配置体验
【MI50 实测】vBIOS 刷写 + 32B 大模型加载全流程
MI50 + 32B模型翻译遇到的问题总结 | 上下文溢出+语言退化
05:31
【无剪辑实录】提取 PDF 内容并准备本地模型翻译｜Python环境搭建与程序调试
【硬件升级】双 MI50 显卡组建完成！初步运行情况分享
01:26
【MI50 实测】16G+32G显卡协同：本地加载DeepSeek-R1:70B大模型
09:07
【双 MI50 后续】B550M 拆不拆得了 PCIe？BIOS、芯片组与 CPU 的三重博弈
05:50
一壶秋茶 X570 系列主板视频内容文字整理｜适合闲鱼捡板用
【MI50 实测】双 32G MI50 运行 deepseek-r1:70b | 开箱、装机、刷 vBIOS 与实测
MI50 刷 vBIOS 复活 PCIE4.0 全速模式
07:27
MI50 显卡驱动安装：复现纳兰泽雨的vLLM张量并行部署过程
08:36
Docker部署：复现纳兰泽雨 vLLM 张量并行部署过程（其二）
Docker 拉取超时？纳兰泽雨方案部署踩坑记（含加速方案）
09:41
Ubuntu 系统大模型下载：纳兰泽雨方案部署踩坑记（含魔打社区快速方案）
11:56
【双 MI50】本地部署 Qwen2.5-72B（q4量化）vLLM 张量并行实战全过程
18:08
【远程访问本地大模型】Cherry Studio 配置全过程
06:03
【双 MI50】本地部署 QwQ:32B-GPTQ-INT8 vLLM 张量并行实测
07:36
【双 MI50】VSCode Cline插件 调用本地大模型实测
11:48
Cline 插件二次体验：本地部署 LLM 加速技巧 --enable-prefix-caching 实测
12:10
【PCIE 拆分补遗】铭瑄B550M主板PCIE通道拆分探索 + BIOS设置尝试｜附网友补充解读
07:46
【双 MI50】Linux 下用命令行监控显卡/内存/温度全流程！
12:38
【双 MI50 实测】vLLM推理功耗多少？带你现场测功率，回应网友评论
【双 MI50】超长提示词效果测试｜vLLM张量并行｜Qwen 72B 与 QWQ 32B 上下文能力对比
23:49
超长提示词效果测试 分P上传
【本地大模型测试实录】Qwen3-32B 批量解释专有词汇全过程｜vLLM + GPTQ + API 调试实况
05:54
【智商测试】Qwen3-32B 大模型能答对几个题？| 群友送题挑战实测
17:10
3D 打印显卡散热器实测：MI50 温度、噪音、性能全揭秘！
【智力测试】qwq-32B vs Qwen3-32B：谁更聪明？实测对比
25:24
MI50 运行 Qwen2.5VL 识别 300dpi 扫描文件测试
05:50
Qwen3-30B w4a16 实测：MI50 x2 vs 4060 + CPU 混合推理
双 MI50 vs 4060：GPT-OSS-120B 模型性能实测
03:14
llama.cpp b6265 更新测试：预处理速度明显提升，对比 b6258 数据
01:12
显存能不能拼？4060 搭配 MI50 的实际性能探讨
08:47
显存能不能拼？4060 搭配 MI50 后续
12:01
显存能不能拼？显存拼接与 PCIe 瓶颈再探
05:53
本地大模型现状解析：MOE 模型 VS MI50 与 4060 混跑实测
06:08
困惑：MoE 输出速度如何计算？
05:59
ComfyUI v2.5 新功能体验 | Copilot 接入本地大模型，双 MI50 + V100 实测
09:47
本地大模型的实用一刻：一次真实的文本修复演示
11:58
【深夜随录】不是取代，而是多一种选择
07:20
本地大模型的实用一刻：Markdown 转 LaTeX
10:56
双 MI50 32G 成功跑通 Qwen3-Next-80B｜实测速度 & 部署演示
06:16
MI50×2 vs T10×4 vs 4060+cpu混跑：Qwen3 Next 32K 性能曲线实测
05:28
本地大模型的绝佳应用场景之一
12:09
双 MI50 32G 成功运行 Qwen3.5-27B！量化版多模态实测 + 本地部署指南
04:16
Qwen3.5 27B vs 35B-A3B 全数据展示 | 双卡 MI50 详细测速
04:30
Qwen 系列真实体验排名 + 六模型速度对比实测
09:41
MI50 跑 Qwen3.5 出现乱码？一次远程排查耗费 4 小时
04:50
MI50 的 llama.cpp ROCm vs Vulkan 实测对比｜Qwen3.5 27B / 35B 速度差异
04:50
双 V100 32G vs 双 MI50 32G｜llama.cpp 实测 Qwen3.5 27B/35B 性能对比
04:35
运行本地大模型的极简方案
08:37
RPC 分布式推理实验报告：双机四卡跨网络跑大模型
04:46
CUDA vs Vulkan：双 V100 跑 Qwen3.5 实测对比 | llama.cpp 性能测试
04:19
RPC 分布式推理实验：同机 PCIe 与跨机网络性能对比
05:40
双 V100 32G vs 双 MI50 32G：Qwen3.5 27B/35B 推理性能完整对比（CUDA / ROCm / Vulkan）
06:30
四卡 V100 16G vs 双卡 V100 32G：Qwen3.5 27B / 35B 推理性能测试
05:00
vLLM 张量并行到底有多强？V100 跑 Qwen3.5 35B 实测
05:30
V100 跑 Qwen3.5-27B 实测对比：vLLM vs llama.cpp，输出速度差距 4 倍？
03:20
群满了：200 人群升级 1000 人群
04:30
双机四卡分布式推理实验：MI50 + V100 合跑 Qwen3.5 27B，llama.cpp RPC 与网络带宽测试
43:05
ROCm 反超 Vulkan！MI50 跑 Qwen3.5 27B / 35B 速度测试
03:29
用“果汁机模型”讲清 PVE 是干什么用的
08:48
关于后续视频调整的一些说明
08:21
本地部署大模型到底有什么用？一个真实场景讲清楚
10:47
NVLink vs PCIe：从数据传输角度重新理解大模型推理瓶颈
09:51
期待一旦落空，失望就会产生
09:33
LMDeploy vs llama.cpp：Qwen3.5 27B/35B 实测对比（V100×2）
02:48
她不记得我了
10:00
1Cat-vLLM 直接碾压？V100 实测：1Cat-vLLM vs LMDeploy 性能全对比
06:00
这也能卖钱？
07:00
其实我挺不想测数据的
06:12
从 OpenClaw 退潮浅谈人类社会的退出机制
10:00
llama.cpp b8575 性能实测｜v100 32g*2 Qwen3.5 27B CUDA 预处理速度提升 50%
03:00
5000 元 AI 主机想法破灭？反思自己当初的想法
09:50
从本地大模型到自动化：我准备搞 OpenClaw 了
05:00
为什么你私信别人，大概率不会被回复？
12:28
我把 OpenClaw 跑起来了！但遇到几个离谱问题…
07:39
AI 永远不可能取代人，这不是技术问题
08:10
权重、位格、神格：我对人工智能的一个底层理解
07:29
从群体无意识浅谈提示词注入
11:10
LMDeploy 性能暴涨？对比 3 月数据：预处理最高提升 4 倍
04:00
从幸存者偏差和阴阳浅谈大语言模型
07:27
A 卡不用在物理机上安装驱动可以直通 Docker
03:14
从自性和相性出发讲解人工智能发展对人的责任的转移
06:46
从矛盾和冲突出发讲解人和 AI 的本质区别
07:10
WSL2 能用 V100 吗？还能一边打游戏一边跑大模型？WSL2 + V100 + 多显卡混用方案调研
05:49
时间、记忆与博弈：我如何说服酒店前台为我破例？
10:00
内网穿透是干嘛的？本地大模型远程调用，一次讲清楚
06:00
从参照系转换出发理解人工智能发展所造成的影响
09:00
资料分享：AI服务器配置指南 | 从需求到硬件选型
08:00
大语言模型的本质缺陷：从幸存者偏差讲清 AI 的数据问题
08:20
WSL2 安装与配置终极指南讲解：网络/磁盘/SSH全配置
10:40
浅谈大语言模型对原子化进程造成的影响
07:00
双N卡驱动安装：消费级显卡 + Tesla V100，视频剪辑/游戏实测！
09:00
时间、记忆与骗局：人为何困在时间囚牢
06:00
双类型 N 卡 Qwen3.6 27B 模型推理性能实测（LMStudio / Ollama）
06:00
模型有输出，但不真正存在，AI有功能，但没有此在
10:22
NAS外网慢？远程控制卡？内网穿透 FRP 全讲清楚
07:00
AI 不是万能的：一个生活问题揭示的边界
07:10
PG503 32G*4 使用 1Cat-vLLM 框架推理 Qwen3.6 35B 的数据
03:00
MI50 性能差？从 Prefill/Decode 谈应用场景
06:40
双 MI50 跑 Qwen3.5 / 3.6 实测数据曝光，还有人感兴趣吗？
03:30
AI的边界（2）：问题诞生之前的世界
06:00
多后端加载机制解析：llama.cpp 新编译选项解读
03:00
第三个边界：AI之外，是人的局限
07:30
多后端加载实测：A卡+N卡混合推理真的实现了
03:55
AI不会带来更好的未来，只会更快到达原来的未来
07:00
3000 粉丝节点：关于设置门槛的说明
07:20
1Cat-vLLM 1.0.0 来了！实测 MTP1/MTP2 对 27B/35B 模型的输出速度影响
04:00
MTP 加速哪家强？1Cat-vLLM 1.0.0 对比 llama.cpp 输出速度实测
04:00
从 MTP=0 到 MTP=8：Qwen 27B 推理速度归一化分析（双 V100 / llama.cpp / 1Cat-vLLM）
06:40
远程帮粉丝部署 1cat-vLLM v1.0.0，遇到两个典型坑（附解决方案）
02:30
MI50 32G×2 跑 Qwen3.6 27B：开启 MTP 后速度只涨 2~3 token？
02:00
薄纱真人？AI视频再强，也缺了最关键的东西——偶像化
06:00
MI50 32G×2 跑 Qwen3.6-27B：MTP最优值揭秘！顺便解决 docker 闪退坑
03:30
概念：大语言模型的基石，智人胜出的核武
13:00
MI50 双卡跑 Qwen3.6-35B：实测 MTP 最佳值=1
05:00
先有鸡还是先有鸡蛋？从概念漏洞看大语言模型的致命缺陷
09:00
Hermes Agent：能操控浏览器，却看不到 B 站视频内容？
07:00
Hermes 安装方式对比与 Windows 装赫尔墨斯初步
17:30
【保姆级】Win 系统部署 Hermes｜解决 WSL 更新慢 + 离线安装 Docker 镜像
12:00
【保姆级】Windows Docker 部署 Hermes setup 完整配置教程 | 接入本地大模型（llama.cpp + MI50 32G*2）
11:54
Windows Docker 安装 Hermes：四种访问方式详解（CLI / VNC / WebUI / 客户端）
07:00
karpathy LMVK 方法论打造会生长的本地 AI 知识库，有人感兴趣吗？
08:00
用 Hermes 一句话就能完成配置？Hermes 使用场景演示
14:30
Hermes 远程配置 NAS 实战｜B75 平台一键部署 Samba 共享存储
13:30
1Cat-vLLM 1.2.1 上手实测：Qwen3.6-27B-FP8 双 V100 推理速度测试
03:00
3080 20G + 9070 16G 混合推理实测！CUDA-ROCm llama.cpp 长上下文预处理速度惊人｜Qwen3.6 35B
07:08
实测 MTP 最优值！3080 20G +9070 16G CUDA-ROCm llama.cpp 推理 Qwen3.6 27B
03:29
为什么图表数据 "骗" 了你？3080 20G + 9070 16G 混合推理 MTP显存占用真相
05:00
Qwen3.6 35B 预处理速度为何只有 100+tokens/s？3080 20G 与 cpu 混合推理效果
04:30
CUDA-Vulkan 与 Vulkan-Vulkan 性能对比：N 卡 A 卡混合推理大模型实测
03:30
把大模型主机缩小到 ITX！对大模型本地推理设备的另一种畅想
06:00
四张 3070m 魔改卡跑大模型效果如何？vLLM 张量并行实测
04:50
ROCm 7.13 让 A 卡起飞！Qwen3.6-27B 预处理速度暴涨 3 倍，CUDA 竟成瓶颈？| N 卡 A 卡混合推理深度实测
04:20
CUDA-ROCm 在 27B 上最快，在 35B 上却最慢？V100/R9700 三后端推理性能实测
06:00
算力 vs 显存带宽：LLM 推理的 Prefill 和 Decode 阶段到底谁说了算？
05:57
PCIe 版本 V100 16G *4 推理 Qwen3.6：27B vs 35B 速度实测，长上下文衰减对比
04:30
V100 16G×4 原生 pcie 对比 32G×2 sxm 转 pcie：谁才是 Qwen3.6 推理性价比之王？
04:30
单卡vs双卡 MI50 跑 Qwen3.6 实测：预处理翻倍，输出卡在 10tokens/s？
03:58
V100 16G×4 原生 PCIe vs 32G×2 SXM 转 PCIe 跑 Qwen3.6 35B 实测对比
05:00
PCIe 带宽如何影响大模型推理速度？
06:30
A I N 混合推理： CUDA/ROCm/Vulkan 三后端 llama.cpp docker 镜像来了
05:50
3090+3080+R9700*2 混插跑大模型实测！CUDA+ROCm 混合推理，预处理速度直接起飞 2.5 倍！
04:20
应用本地大模型的最大敌人：消费者心态
09:00
一猫之下 1Cat-vLLM 1.2.2 重磅更新！V100 跑 Qwen3.6 27B FP8 预处理 2500 token/s
03:00
1Cat-vLLM 1.2.1 vs 1.2.2 双版本实测！V100 无 NVLink 下性能有提升吗？
02:55
WSL 跑 ComfyUI 翻车实录：T10 + Docker Desktop，16G 内存跑 Z-Image 崩溃
05:20
T10 在 Ubuntu 上跑 z_image 工作流：16g 内存够用吗？
01:00
四张 T10 能识别吗？NUC 扩展底板多卡折腾计划
02:40

【部署教程】个人电脑跑Qwen3.8-27B！Token输出真快！
小鱼儿at青岛
2.2万 2

ROCm7 太强了！MI50 预处理速度暴增 4 倍，竟超越 V100？
佰年之玖
1.8万 4

ROCm 反超 Vulkan！MI50 跑 Qwen3.5 27B / 35B 速度测试
佰年之玖
7588 0

真生产力工具！llama.cpp在V100单卡运行27B！近乎满血精度，超长上下文多模态样样有！!
King码农
9649 2

模型加速哪家强MTP VS DFLASH2实测建议3090以下用MTP以上用DFLASH2 Qwen3.8部署利器llama.cpp服务器图形化启动器免费分享
hsxbxq
2731 1

v100跑Qwen3.8 27B千问nvfp4 速度超50tokens大约pro6000d一半的速度，在目前显卡大涨价环境下可能最具性价比的ai运行显卡了。
cpu扛AI
1.5万 0

ollama,llama.cpp,LMstudio性能对比
不夜_AI
2.6万 13

[中配]Qwen 3.8 27B 提速3倍：一个隐藏设置开启多令牌预测
二次元Games
2214 0

开启MTP后，模型质量下降
雪霁与秋骊
3129 0

MI50 32G×2 跑 Qwen3.6-27B：MTP最优值揭秘！顺便解决 docker 闪退坑
佰年之玖
3674 0

8G显存-mtp加速:60~75.92t/s 128k qwen3.6 写代码场景3070
国际米兰肠胃
1.7万 0

qwen3.8-27b三种投机解码对比
邪恶の布偶
3558 1

qwen3.8-27b-mtp在v100老显卡上的表现测试，吞吐在35token/s#开源
程序员楠哥
3371 0

3000元实现Token自由，本地部署Qwen3.6-27B接近40t/s
trusman
3.4万 4

8745h cpu 跑qwen3.6 27b、35b使用mtp的速度，无加速
菠萝白菜仔
7464 0

llama.cpp MTP+TurboQuant自编译实录，别等了，自己干！
只说不做王八蛋
7536 2

llama.cpp新增多显卡多gpu支持，推理速度提升20%，turboQuant长上下文效果演示 推理速度统计
贤小二AI
1.9万 0

Token速度起飞！LM Studio正式支持MTP，Qwen3.6 27B速度暴增50%！
AI观模者
2万 4

(1) 从0理解投机解码：拒绝采样、MTP、自投机、树形投机
海安雪
3048 1

单卡本地跑Qwen3.8-27B:开启MTP直接从76冲到220 Token/秒
星小脉
3570 0
展开
虚拟之声创作计划·2026年第四期火热征稿中
客服
顶部
赛事库 课堂 2021拜年纪