本视频由 video-podcast-maker 自动制作:https://github.com/Agents365-ai/video-podcast-maker
把 Qwen3.8-27B(nvfp4 4bit 量化,Ollama + MLX 后端,MTP 投机解码)装到 M4 Max 128G 统一内存上实测了一整天。两轮测试:① 上下文深度扫描(300+ → 63K token,每档单轮):解码短上下文 63.1 tok/s、4K-16K 稳在 42 上下,31K 断崖掉到 11.3、63K 12.1;预填充 246.6 → 89.9 tok/s。② 接 pi CLI 实测编程:修一个平均耗时计算 bug,复现→修复→对照 README 验证,修复正确;全程 5 分 15 秒、59 次 LLM 请求、单请求中位 3.0s、前缀缓存命中率 98.8%(每轮实际新增 ~452 token)、首轮冷启动 49.3s、内存峰值 22.1GB。报告未直接测解码速度,对照深度扫描推算约 11-20 tok/s。结论:M4 Max 上 16K 以内常规问答放心用;当编程助手活能干但节奏偏慢,写代码不太行。
