首页

投稿

step_twenty：双 MI50/双 V100 跑 Qwen3.5/3.6 全面对比：llama.cpp、vLLM、RPC 分布式实测

2180

0

2026-05-17 17:24:47

使用 AMD MI50 32G、NVIDIA V100 32G/16G 等专业显卡，完整记录 Qwen3.5-27B/35B 等大模型的本地部署、量化推理、多卡加速与分布式实验。 📌 你将会看到： • 双卡/四卡推理速度详细对比（llama.cpp / vLLM / LMDeploy / 1Cat-vLLM） • ROCm vs Vulkan vs CUDA 后端性能对决 • RPC 分布式推理：同机 PCIe vs 跨机网络，双机四卡混合（MI50 + V100） • 排坑实录：乱码问题4小时远程排查 • 框架更新带来的性能飞跃（llama.cpp b8575、LMDeploy 预处理提升4倍） • NVLink vs PCIe 带宽分析与瓶颈解读 • 本地大模型极简方案 & AI 服务器硬件选型指南 👨‍💻 适合人群：正在搭建本地推理环境、纠结显卡选型、想优化输出速度的开发者/极客。所有测试基于开源框架，数据可复现。

佰年之玖发消息

互联网是什么东西。

step_one：PDF内容提取+词频分析+数据可视化+词云图+齐夫定律验证

step_two：ollama 下载本地大模型+各类模型实测+python调用本地大模型+markdown 转 PDF

step_three：英文书籍翻译 + PDF合并/添加目录/添加页码/添加水印 + 打印成书全流程

step_five：显卡数据分析与可视化实践：从数据清洗到聚类可视化

step_four：老卡焕新生：MI50 显卡魔改 + 本地大模型全攻略

step_six：MI50 双卡（Win）：改造、刷 BIOS、双卡协同全记录

step_seven：MI50 双卡（Linux）：主板选购、系统安装、MI50驱动与部署

step_eight：MI50 双卡补遗：系统监测与本地大模型推理速度测试

step_nine：本地部署大模型：交互、调优与并发实战

step_ten：设备升级+图形界面远程连接+视觉模型+ ComfyUI 生图探索

step_twelve：Tesla V100 显卡深度探索与 AI 推理实战全集

step_eleven：Tesla V100 折腾纪录：Ubuntu、Docker、ComfyUI 与傲腾 M10

step_thirteen：显存能不能拼 + 本地大模型现状 + 本地大模型部署标准

step_fourteen：一猫之下 v100 双卡显卡坞 + 本地大模型测速 + Qwen image edit 生图 + wan2.2 生视频

01_一猫之下双卡 v100 扩展坞开箱

03:59

02_V100 转接板安装

07:32

03_PCIe 拆分探索

04:09

04_X570 主板 + 一猫之下双 V100 扩展坞

06:40

05_x570 prime-pro 主板不支持 pcie 拆分

07:04

06_PCIe 转 8654 转接板开箱

02:31

07_v100 驱动安装极速版

06:34

08_一猫之下 V100 双卡显卡坞驱动安装教程 Ubuntu 内核切换 & NVIDIA 驱动配置

43:31

09_一猫之下双 V100 显卡坞运行 ComfyUI 分布式控制面板初体验

19:30

10_一猫之下双 V100 显卡坞测试显存写入曲线差异探究

09:16

11_一猫之下双 V100 显卡坞测试：PCIe 转接板与显存曲线之谜

09:31

12_一猫之下 v100 双卡扩展坞跑 Qwen-Image-Edit 修图

10:07

13_一猫之下 v100 双卡扩展坞编译 llama.cpp

15:07

14_【Qwen-Image-Edit 实测】显卡坞摆上桌子？从生成到透视检验全过程

15:08

15_【Qwen-Image-Edit 实验补录】快速绘制透视线的方法与正确透视演示

09:10

16_Qwen-Image-Edit 修图加速！10分钟缩短到2分钟

07:34

17_量化版本不同，生成速度差别大吗？

10:22

18_一猫之下 v100 双卡显卡坞跑通 wan2.2

05:33

19_一猫之下 v100 双卡显卡坞跑通 wan2.2 14b 文生视频、图生视频、首尾帧生视频

15:04

20_V100 双卡显卡坞对比 RTX3090！本地大模型推理性能终极对比

11:01

21_Qwen Image Edit 2509 实测！多图合成&指令遵循能力大提升？

10:47

22_【Qwen Image Edit 2509】图像尺寸竟影响生成效果？AI绘图翻车与惊艳瞬间

08:45

23_Qwen Image Edit 2509 三图融合

19:05

24_一猫之下 v100 双卡显卡坞运行本地大模型接入 vscode cline 插件

08:23

step_sixteen：V100 32G 显卡坞 + 联想小新：从拆机折腾到本地 AI 全实战

01_一猫之下雷电接口转 8654 转接器与 v100 显卡坞开箱

05:47

02_用联想小新 Mini 连接 V100 显卡坞：拆机换内存 + 接线实操全过程

07:16

03_联想小新 mini 外接 v100 显卡坞成功识别！关闭 secure boot 之后一切正常

00:51

04_联想小新 mini 更换固态后首次进入 BIOS！Linux 启动与硬件检测全过程

04:12

05_联想小新 mini+视频采集卡+v100 显卡坞测试未识别原因排查中

04:56

06_v100 显卡坞识别失败原因找到了！关闭 secure boot + 删除 it87 模块

11:30

07_坐摇摇车吗？大人玩儿的摇摇车哦~

05:27

08_LMDeploy 本地大模型实测对比：V100 32G 单卡 vs 双卡 V100 16G

03:52

09_V100 32G 单卡运行 llama.cpp Docker 镜像

08:03

10_llama.cpp 推理 Qwen3-30B 性能实测对比：V100 32G vs MI50 32G

02:38

11_ROCm7 太强了！MI50 预处理速度暴增 4 倍，竟超越 V100？

03:16

12_V100 32g 显卡坞 Qwen3-30B-A3B 模型再次测试

04:28

13_显卡坞在本地 AI 的使用场景的讨论

09:59

14_V100 32G 雷电显卡坞能热插拔吗？Ubuntu 实机测试结果曝光！

10:00

15_C 盘空间爆满问题的解决：磁盘分区调整方案

04:39

16_C盘爆满！Python + JS 双脚本提取 D 盘文件信息完整保留时间戳！

09:25

17_使用 FastCopy 全盘拷贝！保留创建时间与修改时间，验证文件迁移完整性

09:41

18_笔记本 C 盘扩容最后一步！文件统计、D盘格式化与 C盘扩容

05:25

19_Win11 真折腾！在联想小新上安装 V100 32G 显卡坞驱动失败记录

12:33

20_联想小新 + Tesla V100 显卡坞：Ubuntu 24.04 下的诡异现象！黑屏、卡死、识别异常全记录

10:00

21_联想小新 Ubuntu24.04 安装 tesla v100 驱动无声版

19:02

22_联想小新轻薄本外接 V100 显卡坞实测：与小主机性能几乎完全一致！

04:00

23_联想小新轻薄本 + V100 显卡坞：本地超分 SeedVR2 实战！解决隐私照片放大需求

04:11

24_离线也能做提示词！V100 显卡坞本地跑 Qwen3-VL，隐私图片处理全流程演示

07:46

step_fifteen：MI50×V100 X299 平台硬件调试与驱动安装实录（最小系统）

step_seventeen：PVE + MI50 + V100 全套部署实录：ROCm、NVIDIA 驱动、显卡直通、磁盘扩容与本地大模型推理

step_eighteen：PVE 9 + MI50 / V100 全流程部署实录：从重装系统到多 GPU 直通的完整折腾记录

step_ninteen：联想小新 + PVE：Dify + ComfyUI + RAG 全系列 | 从环境搭建到工作流落地

step_twenty：双 MI50/双 V100 跑 Qwen3.5/3.6 全面对比：llama.cpp、vLLM、RPC 分布式实测

顶部