NVIDIA 开源 DIN Deploy：用 C++ 与 TensorRT RTX 把 ONNX 模型做成本地应用 NEWS DETAIL

把 AI 模型加进本地应用，需要三样东西同时到位：可移植的模型格式、可靠的运行时，以及在目标系统上真正生效的加速。NVIDIA 开源的 Do Inference Now（DIN）Deploy 就是围绕这个缺口设计的 C++ 示例集：它把 ONNX Runtime 与 TensorRT RTX 执行提供器组合起来，帮助开发者从模型检查点走到 Windows 与 Linux 上的原生硬件加速应用。同一套 ONNX Runtime API 也可以通过 WinML 2.0 访问。

每个示例都分成两半。Python 侧负责从 Hugging Face 下载模型检查点并导出为 ONNX 制品；应用侧是建立在 ONNX Runtime 之上的原生 C++ 命令行程序。这种拆分把模型转换与部署逻辑分开，导出的模型可以直接进入本地应用，不需要为每个模型配一套专用运行时。示例代码大多只使用 ONNX Runtime 的会话与张量 API，CUDA API 和内核等厂商相关代码只出现在可选的加速路径里。

首批覆盖的任务包括语音、视觉与图像生成。语音识别同时支持离线与流式管线：OpenAI Whisper 覆盖不同尺寸的离线转写，NVIDIA Parakeet TDT 与 Nemotron ASR Streaming 提供流式管线。Meta SAM 2.1 示例支持图像与视频的交互式掩码，把模型输出转成原生应用可用的分割结果，用于选择、跟踪等计算机视觉流程。FLUX.2-klein-4B 示例则演示提示词驱动的图像生成。

在 DGX Spark 上，NVIDIA 给出了 GPU 与 CPU 的对比数据：whisper-large-v3-turbo 的 GPU 加速为实时的 58.5 倍，CPU 为 3.8 倍；nemotron-3.5-asr-streaming-0.6b 为 39.01 倍对 3.24 倍；parakeet-tdt-0.6b-v3 达到 206.41 倍对 14.44 倍；SAM 2.1 Hiera Base Plus 的分割速度为 38.3 FPS 对 0.5 FPS。音频指标按实时倍速计，数值越高越快。

图像生成示例还展示了两个工程细节。其一是图形互操作：FLUX.2 示例使用 ONNX Runtime 1.25 引入的 graphics interop 能力，通过 Vulkan 与 DirectX 完成采样，让应用能把 GPU 常驻资源接入跨厂商的着色器接口，其中 DirectX 仅在 Windows 可用。其二是量化：示例使用 NVIDIA Model Optimizer 做训练后量化，生成量化后的 ONNX 模型；量化效果依赖硬件，但由于 ONNX 接口不变，量化模型可以直接替换，不需要改动应用代码。

上手路径是仓库里的 CMake 预设，覆盖 Windows、Linux 的 x86-64 与 Arm64 变体，默认会自动下载 ONNX Runtime 与 TensorRT RTX。配置并构建后，导出模型即可用 TensorRT RTX 运行命令行程序，也可以把代码复制进自己的工程复用整条管线。对需要在 PC、工作站或 DGX Spark 上交付本地 AI 功能的团队来说，这套示例的价值不在某个单点优化，而在于把“导出—构建—运行—量化”的链路固化成可复制的样板。