128G内存 M5 Max Macbook pro跑个满血Gemma4-31b-bf16
7.3Tok/s哈哈哈哈哈哈 峰值内存60g左右
结论:能跑
性能指标名词解释一下:
TTFT (Time To First Token / 首字延迟): 从按下回车键,到 AI 思考完毕并“吐出”第一个字所花费的时间。数值越小,代表 AI 响应越快。
TPOT (Time Per Output Token / 单字生成时间): AI 在输出第一个字之后,后续生成每一个字所需的平均时间。
pp TPS (Prompt Processing Token Per Second / 提示词处理速度): AI 阅读并理解输入的提示词的速度。
tg TPS (Token Generation Token Per Second / 文本生成速度): AI 实际输出回答的速度。1个汉字大概1.5个Token。
峰值内存 (Peak Memory): 运行这个模型并处理该长度文本时,消耗的系统最大内存量。