• 投稿

M5 Max高铁上跑个Gemma4

2608
0
2026-04-09 18:27:06
37
投币
8
1
128G内存 M5 Max Macbook pro跑个满血Gemma4-31b-bf16 7.3Tok/s哈哈哈哈哈哈 峰值内存60g左右 结论:能跑 性能指标名词解释一下: TTFT (Time To First Token / 首字延迟): 从按下回车键,到 AI 思考完毕并“吐出”第一个字所花费的时间。数值越小,代表 AI 响应越快。 TPOT (Time Per Output Token / 单字生成时间): AI 在输出第一个字之后,后续生成每一个字所需的平均时间。 pp TPS (Prompt Processing Token Per Second / 提示词处理速度): AI 阅读并理解输入的提示词的速度。 tg TPS (Token Generation Token Per Second / 文本生成速度): AI 实际输出回答的速度。1个汉字大概1.5个Token。 峰值内存 (Peak Memory): 运行这个模型并处理该长度文本时,消耗的系统最大内存量。
AI时代摸鱼不如摸虾
接下来播放
自动连播
客服
顶部
赛事库 课堂 2021拜年纪