该视频是使用开源的SKILL制作,该SKILL正常持续迭代优化中,请持续关注,https://github.com/Agents365-ai/video-podcast-maker
2026年6月5号,谷歌 DeepMind 发布 Gemma 4 QAT(Quantization-Aware Training,量化感知训练)系列模型:覆盖 E2B、E4B、12B、26B-A4B、31B 全部 5 个尺寸,提供 llama.cpp 常用的 Q4_0 格式和全新移动端格式,加载权重所需显存下降约 72%,相当于用 3 倍更少的内存运行,精度接近原版。本期从「什么是量化」讲起:BF16 16 比特到 int4 4 比特,体积变成约四分之一;训练后量化 PTQ 为什么掉精度;QAT 如何在训练阶段模拟低精度运算、用未量化模型的输出概率做蒸馏目标(约 5000 步微调),让模型提前适应压缩。视频内完整展示 Unsloth 与谷歌联合发布的官方数据图并配中文对照:26B-A4B 从 50.5GB 降到 14.2GB,一张 16GB 显存的消费级显卡就能装下;E2B 移动端格式约 1GB,手机可跑。另外解读图中 Unsloth Dynamic 的数据:朴素转 Q4_0 一致度只剩 70.2%,动态量化转换提升到 85.6% 且小 200MB。结尾给出下载与运行方式(Hugging Face、llama.cpp、Ollama、LM Studio、MLX、vLLM)和官方推荐采样参数。所有数据来自谷歌官方博客与 Unsloth 官方文档,抓取时间 2026年6月6号。