TensorRT 与 Triton 助力阿里巴巴天猫精灵流式语音合成吞吐提升 50%

一、方案背景与核心挑战

天猫精灵是阿里巴巴消费者人工智能一级公司，已服务超过 3000 万中国家庭，并推出 AliGenie 开放平台，提供包括多种音色、高度拟人流畅的语音合成算法在内的高性能语音 AI 能力。流式 TTS 是天猫精灵工作流中最重要的 AI 环节之一。核心挑战：首先是首包延时要求严格，否则用户会因反馈迟滞而感到不适，这就要求管线中每个模块的推理都能高效执行；其次是吞吐要求较高，需要在服务端对多个流式合成请求进行 Batching，而流式 TTS 管线包含声学模型和声码器等多个模块，在 GPU 上做 Batching 需要正确维护和切换每个请求的模型状态；最后是如何提升 GPU 资源利用率，最直接的思路是在一张 GPU 上部署多个模型。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA TensorRT 与 Triton 推理服务器的流式 TTS 推理部署方案

核心技术：天猫精灵智能引擎团队、智能合成团队与 NVIDIA 解决方案架构团队合作，采用 NVIDIA TensorRT 对模型进行推理加速，并利用 NVIDIA Triton 推理服务器在 T4 GPU 上进行在线部署。方案将训练好的声学模型和声码器导出为 ONNX 格式，再用 TensorRT 转换为最优化的 TensorRT Engine。

三、核心技术组件

Triton Custom Backend 调度管线：团队合作设计并实现了基于 Triton 的流式 TTS 推理部署管线，使用 Triton Custom Backend 串联 TTS 各个模型，管线中每一步推理都会调用部署在 Triton 上的 TensorRT Engine。同时在 Custom Backend 中维护每个合成请求的状态，实时将模型输入与状态动态聚合为对 GPU 友好的 Batch，大幅提升管线吞吐与 GPU 利用率，并保证对每个请求的快速响应。

Decoupled Responses 与并发模型执行：流式 TTS 中一句话的合成请求会对应多个回包，每个回包承载一个音频块，方案利用 Triton 的 Decoupled Responses 机制保证一收多发的推理模式能正确高效地分发回包。为提升资源利用率，方案还利用 Triton 的 Concurrent Model Execution 特性，以模型实例方式管理模型：一个模型可部署多个实例，不同模型的实例也可部署在同一 GPU 上，使同一张 T4 GPU 上可部署多个 TTS 发音模型，在算力充足时并行执行。

四、实施成果

通过使用基于 NVIDIA TensorRT 和 Triton 推理服务器的流式 TTS 推理部署方案，天猫精灵 TTS 服务的吞吐提升约 50%，首包延时降低约 35%，在提升用户体验的同时帮助天猫精灵节省了业务成本、提升了资源利用率。

五、未来展望

面向智能音箱与 AliGenie 开放平台持续增长的语音交互需求，基于 TensorRT 与 Triton 的高效推理部署模式将继续为端云协同的多模态交互提供底层支撑。