Google DeepMind 新发布的 Gemma4-E4B，是一款专门面向端侧设备的小型多模态模型。
本期使用经过官方 QAT 量化感知训练，并叠加 Heretic A-R-A 去审查处理的 GGUF 版本，在小米 17 Pro 上进行了本地推理测试。
模型文件约 3.96GB，运行时预计占用约 4.5GB 内存，12GB 及以上内存的安卓手机基本都可以尝试。实测 LocalAI 生成速度约 7.6 token/s，Off Grid CPU 推理约 10.1 token/s，日常问答、简单推理和代码任务已经具备不错的可用性。
需要注意的是，Gemma4-E4B 原生支持文字、图片和音频多模态，但目前多数手机 GGUF 应用主要支持文字对话，图像和音频功能更建议在 PC 端体验。
目前主流 GGUF 手机应用仍以 CPU 推理为主，GPU 和 NPU 虽然已经有专用方案支持，但还不能像电脑端一样通用加载各种 GGUF 模型。
📦 模型下载
Hugging Face：
https://huggingface.co/SC117/gemma-4-E4B-it-heretic-QAT-GGUF
📱 手机本地推理应用
LocalAI（Android / Google Play）：
https://play.google.com/store/apps/details?id=com.ApexCreator.localaiapp
Off Grid（Android / GitHub）：
https://github.com/alichherawalla/off-grid-mobile-ai
测试设备：小米 17 Pro
模型格式：GGUF QAT
模型大小：约 3.96GB
实测速度：约 7.6～10.1 token/s
如果视频对你有帮助，记得点赞、投币、收藏和关注。后续还会继续测试更多适合手机和低配置设备运行的本地模型。
