原视频：NVIDIA Made 4-Bit AI Work. It’s a Nightmare.
原作者：bycloud
发布日期：2026-09-21
视频链接：https://www.youtube.com/watch?v=mTd3tBpfYmw
✨ 想看英文原声？请关注 @英文白斑马
00:00 NVFP4话题引入
NVIDIA下一代Rubin GPU架构使NVFP4精度受到广泛关注，相关算力参数常以NVFP4表述。理解该精度需要先了解AI时代的数值精度问题，以及NVIDIA推动其进入大模型前沿的原因。
00:40 精度与浮点格式
精度指计算机存储数值所用的比特数，位数越低，存储、传输和计算成本越低，但可承载的信息越少。浮点数由符号位、指数位和尾数位组成：指数决定数值范围，尾数决定尺度内精度。FP16尾数精度更高但范围较小；BF16保留与FP32相同的指数范围，尾数较短，适合训练中梯度、激活值和权重在大尺度范围内稳定变化，因此在AI训练中普及。
03:33 FP4低比特挑战
低于BF16时，尤其FP4，可用比特极少，权重、激活值、梯度和注意力更容易受舍入误差影响，误差会在海量运算中累积，可能导致训练发散。训练通常需要更高精度以保留准确学习信号，内存需求高；推理仅需前向传播，更易通过低比特压缩成本。
04:25 NVFP4格式设计
NVIDIA通过NVFP4推动FP4实用化。此前的MXFP4采用微缩放，将32个数值组成块并共享缩放因子，但块内数值范围差异会导致精度损失或截断，且2的幂缩放不够精细。NVFP4将块大小改为16，使用E4M3 FP8块缩放表示更精细的尺度，并额外增加全局FP32张量缩放以兼顾大范围。
06:40 稳定训练方法
仅靠格式不足以支持训练，NVIDIA配合整套方法：将网络最后约15%等敏感层保留高精度；对权重采用16×16二维块缩放，保证前向和反向转置使用时量化尺度一致；用随机哈达玛变换在量化前混合数值、抑制异常值主导缩放；对梯度采用随机舍入，使小梯度在多次更新中以期望形式保留。
10:59 训练效果验证
120亿参数混合Mamba-Transformer模型在10万亿token上以NVFP4训练，验证损失与FP8基线接近，稳定阶段差距低于1%，下游基准基本持平，仅编码任务略弱。Nemotron 3系列显示更大模型的量化损失反而更小，80亿激活参数MoE模型差距低于0.6%，说明大模型的冗余与容量可吸收FP4噪声。5500亿参数Nemotron 3 Ultra以NVFP4预训练20万亿token，切回BF16继续训练的消融实验显示损失差距极低，支持规模化结论。
13:23 GPU硬件性能
NVIDIA新GPU的性能提升集中在低精度特别是FP4。GB300上FP4吞吐量约为BF16的6倍，高于比特宽度直接带来的4倍，原因是硬件加宽了FP4数据通路。Rubin通过增加SM计算块、翻倍FP4 Tensor Core和提升时钟频率，使密集FP4性能相对GB200的FP4提升约3.5倍，而BF16仅提升约1.6倍。35 PFLOPS对应密集FP4，50 PFLOPS是依赖工作负载零值和自适应压缩的推理有效峰值。按85% NVFP4与15% BF16估算，Rubin相对GB200同混合精度配置约快2.3倍。Llama 3.1 405B等实践表明NVFP4可带来加速且精度损失很小，FP4推理正成为主流。
使用YouDub AI翻译配音制作
项目地址：https://github.com/liuzhao1225/YouDub-webui
