谷歌刚发布的Gemma4 12B,这次主打三个亮点:统一多模态编码器、12GB显存就能跑的量化版本,还有原生支持MTP。我分别在双V100服务器和MacBook M2 Max上做了完整实测,还拉了千问3.6 35B A3B做对比。先说识图,用一张图文混排特别复杂的恐龙15个小知识来测,之前在千问3.6 A3B上一个字都不会错。这次在双V100上跑了IQ4和Q6K两个量化版,结果两个版本同时大翻车,每部分文字几乎都有错,幻觉非常严重。IQ4虽然速度冲到了接近70 token每秒,显存也只占10GB,但识别结果完全不可用;Q6K显存占用14GB,速度却只有49 token每秒,比预期慢不少,猜测是V100这代老卡对某些量化的解码优化没跟上。识图环节的结论就是:新的统一编码器在真实场景下还差得远。
不过到了代码生成环节,Gemma4算是扳回一局。我在MacBook 14寸M2 Max 96GB统一内存上,让两个模型用递归方法写生长树动画。Gemma4生成速度一开始30 token每秒以上,后面受散热影响掉到25,最终2分44秒输出3000个token,平均18 token每秒,画面完整,生长摇摆效果都不错。千问A3B同样的提示词,平均速度34 token每秒,快了接近一倍,毕竟激活参数只有30亿,但生成的树叶子过于密集。质量上Gemma4明显胜出,速度上千问优势巨大。总的来说,Gemma4代码能力亮眼、图像拉胯。