NVIDIA Triton 助力腾讯 PCG 在线推理吞吐最大提升 6 倍、延时降低 40%

一、方案背景与核心挑战

腾讯平台与内容事业群（腾讯 PCG）负责公司互联网平台和内容文化生态融合发展，整合 QQ、QQ 空间等社交平台，以及应用宝、浏览器等流量平台和新闻资讯、视频、体育、直播等内容业务。其机器学习平台部旨在构建和持续优化符合 PCG 技术中台战略的机器学习平台与系统，服务于 PCG 所有业务产品。核心挑战：业务繁多、场景复杂，开发语言包括 C++/Python；模型格式繁多，包括 ONNX、PyTorch、TensorFlow、TensorRT 等；模型预处理涉及图片下载等网络 IO；多模型融合流程复杂，涉及循环调用；还需支持异构推理。此外，模型推理结果异常时难以方便调试定位，且需要与公司内现有协议、框架、平台融合。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA Triton 推理服务器的腾讯 PCG 在线推理平台

核心技术：腾讯 PCG 采用 NVIDIA Triton 推理服务器解决新场景下模型推理引擎面临的挑战。Triton 是一款开源软件，对于所有推理模式都可以简化模型在任一框架中以及任何 GPU 或 CPU 上的运行方式，支持多模型 ensemble 以及 TensorFlow、PyTorch、ONNX 等多种深度学习框架，可很好支持多模型联合推理场景，构建视频、图片、语音、文本整个推理服务过程，大大降低多个模型服务的开发和维护成本。本案例主要应用 NVIDIA T4 GPU、TensorRT 和 Triton。

三、核心技术组件

推理性能提升：基于 C++ 的基础架构、Dynamic-batch 以及对 TensorRT 的支持，同时配合 T4 GPU，将整体推理服务的吞吐能力最大提升 6 倍，延迟最大降低 40%，既满足业务低延时需求，成本也降低 20%-66%。

与内部体系融合：通过将 Triton 编译为动态链接库，可方便地链入公司内部框架，对接公司的平台治理体系；符合 C 语言规范的 API 也极大降低了用户接入成本。借助 Python Backend 和 Custom Backend，用户可以自由选择 C++/Python 语言进行二次开发；Triton 的 Tracing 能力可方便捕捉执行过程中的数据流状态，结合 Metrics 和 Perf Analysis 等组件，可快速定位开发调试甚至线上问题。

DALI 与 FIL Backend：NVIDIA DALI 是 GPU 加速的数据增强和图像加载库，DALI Backend 可用于替换原有的图片解码、resize 等操作；FIL Backend 也可替代 Python XGBoost 模型推理，进一步提升服务端推理性能。

四、实施成果

借助 NVIDIA Triton 推理框架，配合 DALI/FIL/Python 等 Backend 以及 TensorRT，腾讯 PCG 多个服务整体效能提升 2 倍，整体推理服务吞吐能力最大提升 6 倍、延迟最大降低 40%，帮助各业务场景以更低成本构建高性能推理服务，同时更低的延迟降低了整条系统链路的响应时间，优化了用户体验。

五、未来展望

面向内容理解与多模态推理的持续增长需求，统一的推理服务框架正在成为大规模在线 AI 服务降本增效的关键基础设施。