NVIDIA TensorRT 模型量化指南：将 FP8 检查点转化为高性能推理引擎 NEWS DETAIL

将量化检查点转化为 NVIDIA TensorRT 引擎，是连接模型优化与生产部署之间的关键桥梁，可实现更快的推理、更高的吞吐量和更高效的 GPU 利用率。NVIDIA 发布的技术指南详细展示了这一完整流程。

该流程从 ModelOpt 产出的高质量 FP8 量化 CLIP 检查点出发，首先将检查点导出为 ONNX 格式，利用 ModelOpt 内置工具将权重侧的量化-反量化对折叠为 FP8 存储的仅反量化链，显著缩小 ONNX 文件体积。随后通过 TensorRT 编译为生产级推理引擎。

开发者在部署前可对 FP8 TensorRT 引擎与 FP16 基线进行性能分析，以衡量量化模型带来的实际加速效果。对于量化 LLM，NVIDIA 提供了通过 TensorRT-LLM 部署的独立路径。这套端到端工作流为开发者在精度与性能之间找到最佳平衡点提供了实用指南。