NVIDIA 详解 QAD 量化蒸馏：Nemotron 3.5 Lightning 压到 21.19GB，中位精度恢复到 99.72% NEWS DETAIL

把模型压到 4 比特通常意味着精度让步，但 NVIDIA 的 Nemotron 3.5 Lightning NVFP4 检查点给出了另一种结果：体积从 66GB 降到 22GB，吞吐最高提升 4 倍，精度仍接近全精度基线。NVIDIA 在技术博客中拆解了背后的方法——量化感知蒸馏（QAD），并给出用 Model Optimizer 复现的完整流程。

QAD 是两阶段过程。第一阶段对全精度 BF16 模型做训练后量化（PTQ），得到量化学生模型；第二阶段把 BF16 模型冻结为教师，让学生模型每次前向都经过模拟量化，再用 KL 散度对齐教师与学生的 logits。与只做 PTQ 不同，QAD 允许在第一阶段压得更激进，因为后续训练会把精度找回来。

在 Nemotron 3.5 Lightning 上，团队把 Mamba 线性层直接量化到 W4A16，而不是更保守的 FP8；注意力投影层保持 BF16，lm_head 也量化为 W4A16，称为“忠实 lm_head”。校准使用 1000 个样本、在单台 DGX B300 上完成。他们比较了五种 PTQ 配方，最终选择 four_over_six 加 W4A16 Mamba 线性层，并在 32K 序列长度校准，因为更长的校准序列通常带来更好的 PTQ 结果。

QAD 训练阶段有两个关键选择。序列长度对长上下文基准影响明显，消融显示需要 522K 才能保住长上下文表现，团队先用 256K 做初步实验，最终在 524K 上完成训练。蒸馏数据可从 NVIDIA 开放的 Nemotron-Post-Training v1 与 v2 起步。训练使用恒定学习率 5e-6、无 warmup、关闭 dropout、梯度裁剪 1.0，在 2 节点 × 8 GPU 上以 TP=2、EP=4 运行。

量化尺度的处理取决于 PTQ 配方：max 校准的检查点使用动态尺度，训练中随张量重算；MSE 类配方（MSE、four_over_six、four_over_six 加 NVFP4 KV）使用冻结尺度，只更新权重。团队在两个中间检查点上验证效果。检查点 A 上，激进 PTQ 的中位精度恢复为 96.33%，200 次 QAD 迭代后升到 99.72%，11 个基准中 10 个改善，AIME 2025 提升 3.13 分、SciCode Subtask 提升 3.37 分。检查点 B 上，PTQ 为 95.84%，QAD 为 98.53%，AA v4.1 指数从 20.03 升到 23.48，BF16 基线为 24.81。

两组实验的模型体积完全一致：PTQ 与 QAD 检查点都是 21.19GB，BF16 为 65.85GB，因此差异来自方法而非额外显存。NVIDIA 的结论是，在追求更高吞吐与更紧显存时，QAD 比单独 PTQ 更合适；对希望复现的团队，Model Optimizer 已提供 Hugging Face 的 PTQ 示例与 QAD 端到端配方。