大家好!我在本地成功安装了支持Native MTP(Multi-Token Prediction)的MLX-LM预览版本,并在Mac上部署了Qwen3.6 27B模型。经过实际测试,推理速度达到了惊人的35 Token/s!这个速度已经非常接近甚至超过很多小模型的体验了。
本视频详细分享了如何开启Qwen3.6 / DeepSeek-V4的原生多Token预测功能、实际部署过程、速度对比以及使用感受。MTP技术能让模型一次性预测多个Token,大幅提升解码阶段速度,对于本地大模型部署来说是一次真正的性能飞跃。
如果你也在用Apple Silicon设备跑大模型,或者正在寻找更快的本地LLM方案,这期内容绝对值得一看!欢迎点赞、收藏,一起感受MTP带来的加速快感~