NVIDIA DFlash 推理加速解析：在 Blackwell 上以推测解码将吞吐提升最高 15 倍 NEWS DETAIL

随着 AI 系统从单轮问答走向多智能体协同，低时延推理正成为大模型落地中的关键指标。自回归模型按 token 逐个生成内容，这种串行方式会限制 GPU 利用率，也会在对交互速度要求较高的场景中压缩整体吞吐空间。

NVIDIA 介绍，开源轻量级推测解码模型 DFlash 通过块扩散草稿生成方式，把原本逐 token 的草稿阶段改造成并行块级工作流，再由目标模型进行并行校验。在这一机制下，系统既能保持目标模型输出质量，又能显著提升推理阶段的并行度与资源利用效率。

在基于 TensorRT-LLM 的 NVIDIA Blackwell Ultra 测试中，DFlash 为 gpt-oss-120b 带来了明显的吞吐优势。在每用户每秒 500 到 600 token 的高交互区间，DFlash 相比传统自回归解码最高可实现 15 倍以上吞吐提升，也比 EAGLE-3 推测解码高出约 1.5 倍。在低并发场景下，它还能把交互速度进一步翻倍。

这种收益与 Blackwell 架构特点密切相关。文章指出，Blackwell Ultra 通过更强的芯片互连、统一计算域以及高密度 Tensor Core，为块级并行推测解码提供了更好的硬件承载能力。DFlash 则把更多原本受串行约束的解码工作转化为并行计算，有助于在同等交互目标下服务更多并发用户。

从生态兼容性看，DFlash 不只停留在研究阶段。研究团队已经发布 20 个模型检查点，并提供面向 Blackwell 与 Hopper GPU 的配方，覆盖 Qwen、Kimi K2.6、Llama、Gemma 和 gpt-oss 等模型家族。与此同时，DFlash 已可在 TensorRT-LLM、vLLM 与 SGLang 等主流 NVIDIA 推理栈中使用，开发者通常只需替换配置或草稿模型，而不必重构应用层代码。

对企业推理团队而言，这类优化的意义不只是跑分更高，而是在相同延迟目标下承载更多会话、降低单位请求成本，并让代码生成、推理问答和智能体工作流具备更高的服务密度。随着推理基础设施持续向高并发和低时延演进，像 DFlash 这样的并行推测解码方案，正在成为提升生产级大模型吞吐效率的重要方向。