https://www.youtube.com/watch?v=kixNoIYHJiA
把 Gemma 4 26B 从 Q6 一路压到 IQ2(2-bit),模型体积砍半——质量损失多少?
构建完整基准测试框架:HumanEval 编程挑战 + 记忆召回测试 + 上下文缓存基准 + 真实编程任务。K-Quants 和 IQ-Quants 的区别、每级量化的内存节省、2-bit 是否真的可用——全部实测数据说话。
📌 本视频基于 @Protorikis 频道内容翻译制作
🔗 原始视频:https://www.youtube.com/watch?v=kixNoIYHJiA
📋 本期内容:
• 量化原理:为什么本地 LLM 需要量化
• K-Quants vs IQ-Quants 技术区别
• Q6→Q4→Q2→IQ2 四级量化内存节省对比
• HumanEval 164 编程挑战结果
• 记忆召回和上下文处理能力
• 为什么小量化有时反而优于大量化
• 2-bit Gemma 4 真实编程任务实测
• 36GB MacBook Pro M3 Max 完整数据
💬 你在本地用哪个量化级别?Q4 还是 Q2?IQ 量化体验如何?