NVIDIA INT8 QAT 助力蚂蚁链版权 AI 平台推理吞吐提升 3 倍

一、方案背景与核心挑战

蚂蚁链是蚂蚁集团数字科技业务对外品牌，其版权 AI 平台能够为内容管理方、内容平台方以及创作者提供一站式版权保护能力：AI 技术可快速提取音视频及图像特征，在短时间内完成对相似内容的自动识别和判断。核心挑战：多媒体版权保护场景中作品侵权类型复杂多变，为达到高召回率和低虚警率，团队需要采用较为复杂的算法模型；而版权场景又对高吞吐、低成本提出性能要求。换言之，算法模型的存算资源必须受到限制、推理性能必须较高，但一般情况下这与模型的效果要求相互矛盾——深度学习模型的效果往往与模型尺寸和所需算力正相关。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA TensorRT 与 INT8-QAT 的蚂蚁链版权 AI 推理加速方案

核心技术：蚂蚁链 AIoT 技术部与 NVIDIA 技术专家合作，引入 QAT 技术对深度学习模型进行性能优化，并将模型转换为 TensorRT 引擎部署至 NVIDIA T4 GPU 进行在线推理。项目主要应用 NVIDIA TensorRT 及 NVIDIA PyTorch-Quantization Toolkit。团队将算法研发拆解为不同流程：优先以满足业务效果指标为目的研发模型，随后借助模型压缩技术优化模型存算需求。

三、核心技术组件

伪量化微调：团队使用 QAT 技术对算法模型以"伪量化"模式进行微调，使模型得以在 INT8 整型推理模式下几乎没有算法效果损失。具体实现上，使用 NVIDIA PyTorch Quantization 工具在模型中特定位置插入量化/反量化节点，在原模型基础上构造"伪量化"模型；随后在该模型上按原任务进行一定轮数微调，使模型参数在受量化误差扰动的同时依然收敛到局部最优，最终最小化量化推理带来的负面影响。实践中，QAT 可将 INT8 模型与单精度模型的算法指标相对差距缩小到 0.2% 以内。

TensorRT 部署：微调完成的 QAT 模型需转换为真正的 INT8 版本部署到线上生产环境，这一流程主要依赖 NVIDIA TensorRT。相较其他部署框架，TensorRT 在 NVIDIA GPU 上具有显著性能优势：一方面通过 graph fusion、kernel tuning 等功能自动精简网络结构，为各层不同 op 寻找最优 CUDA kernel；更重要的是，TensorRT 8.0 起添加了针对"伪量化"节点的自动化解析和融合功能，大幅降低 QAT 模型落地门槛。

四、实施成果

采用 INT8-QAT 的模型相较单精度模型实现约 300% 的单位时间吞吐提升，即吞吐量提升 3 倍，极大提高了模型推理服务效率；同时量化模型更低的显存占用也为模型部署带来更高灵活性。蚂蚁链 AIoT 高级算法专家表示，版权保护是富有挑战的技术领域，团队自 2019 年发布鹊凿版权保护平台以来在侵权检索、比对与定位方面做了大量研究，2022 年世界知识产权日发布的版权 AI 计算引擎可将相似内容提取精确到帧、以秒为单位反馈比对结果，这类细颗粒度识别能力需要充分探索 NVIDIA INT8-QAT 等加速技术在效果与性能之间取得最佳平衡。

五、未来展望

蚂蚁链将继续面向低成本高性能的版权 AI 算法演进，让技术普惠更多普通创作者。