• 投稿

本地跑通原生MTP!Qwen3.6 27B 实测35 Token/s,MLX-LM多Token预测加速太强了!

1.1万
1
2026-05-08 00:31:21
93
7
162
26
大家好!我在本地成功安装了支持Native MTP(Multi-Token Prediction)的MLX-LM预览版本,并在Mac上部署了Qwen3.6 27B模型。经过实际测试,推理速度达到了惊人的35 Token/s!这个速度已经非常接近甚至超过很多小模型的体验了。 本视频详细分享了如何开启Qwen3.6 / DeepSeek-V4的原生多Token预测功能、实际部署过程、速度对比以及使用感受。MTP技术能让模型一次性预测多个Token,大幅提升解码阶段速度,对于本地大模型部署来说是一次真正的性能飞跃。 如果你也在用Apple Silicon设备跑大模型,或者正在寻找更快的本地LLM方案,这期内容绝对值得一看!欢迎点赞、收藏,一起感受MTP带来的加速快感~
连续创业者|All in AIAI干货教程|一人公司项目实践|每日AI事件独行者快,众行者远
客服
顶部
赛事库 课堂 2021拜年纪