这次把一块 64GB 内存的 NVIDIA Thor-U 搬上桌,和 DGX Spark、Jetson AGX Thor T5000、Jetson AGX Orin 跑了一轮本地大模型和视频生成测试。
同样开启 MTP,27B 模型在 Thor-U 上的生成速度能到 Spark 的约七成;但处理长文本,差距就明显了。从硬件规格、MMA 实测,到 llama.cpp、ComfyUI 和 MiniMax H3,这期把跑通的结果和踩过的坑一起讲清楚。板子便宜,供电、散热和软件环境还得自己折腾——省下的钱,可能要拿周末来补。
时间轴:
00:00 1800 元的“半台 Spark”?
01:19 拆机板长什么样,怎么接上电脑
02:29 Thor-U 的规格与算力实测
04:50 大模型生成速度、MTP 与计算路径
06:40 长文本处理:Prefill 差多少
07:46 ComfyUI、MiniMax H3 与生成样片
08:41 能拿来做什么,还要投入什么
测试说明:
两款模型为 Qwen3.8-27B(Dense)和 Qwen3.6-35B-A3B(MoE),均采用 Q4 量化。LLM 对比使用同版 llama.cpp、相同请求参数,区分原始速度与 MTP 加速结果。微基准算力、生成速度和长文本处理速度分别比较,不能互相替代。
结果对应本轮样机与软件环境。1800 元是这块拆机板的实际购入价,不含供电、散热等配套成本。片中的整活短片由 MiniMax H3 生成。
感谢 84 对 mmapeak 微基准修改的贡献。
mmapeak:https://github.com/Z841973620/mmapeak
BGM:
Stellar Dream (Inst.)
Beneath the Mask instrumental version
White Night (Inst.)