NVIDIA TensorRT 助力腾讯微信搜一搜实现业界首次无损 INT4 NLP 推理落地

一、方案背景与核心挑战

腾讯微信是目前国内最大的社交平台及通讯工具之一，微信搜一搜月活跃用户已超过 7 亿。搜索业务由查询理解、匹配、搜索排序等多个子模块构成，微信团队在其中使用了大量神经网络模型，训练和推理均大量依赖 NVIDIA GPU。核心挑战：搜索业务对线上服务的延迟和吞吐十分敏感，而随着算力提升与算法创新，BERT/GPT 等大模型以及十亿、百亿参数级模型的引入带来显著成本压力；已有的模型压缩、剪枝、低精度计算等技术虽能加速，但往往伴随精度下降，如何在保证效果与吞吐延迟的前提下高效推理成为业务难题。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA T4 GPU 与 TensorRT 的微信搜一搜低精度推理方案

核心技术：微信搜一搜使用 NVIDIA T4 GPU 与 TensorRT+CUTLASS 实现线上大模型推理。借助 TensorRT 的校准（Calibration）功能结合量化感知训练（QAT），可方便地将 Float 精度模型转换为 INT8 低精度模型，模型单次推理时间大幅缩短 30%。

三、核心技术组件

INT4 Tensor Core 与 CUTLASS：NVIDIA GPU 从图灵架构开始即具备 INT4 Tensor Core，其计算吞吐量最高可达 FP16 精度的 4 倍；微信搜一搜线上大量使用 T4 GPU，非常适合应用 INT4 推理，且 CUTLASS 对 INT4 GEMM 有良好支持，可构建满足多种需求的 INT4 算子，在降低推理时间的同时保证灵活性与扩展性。

Auto48 量化算法：当数据类型从 INT8 进一步降到 INT4 时，使用相同 QAT 算法会导致模型精度显著下降（超过 2%）。为此微信搜一搜设计了全新的自动化模型量化工具 Auto48，通过全新的动态压缩算法极大减小高压缩率带来的压缩误差，并结合更有效的知识蒸馏技术提升量化后模型准确度；Auto48 还支持 INT8+INT4 混合精度压缩，用户可在压缩率与精度之间自由权衡，甚至实现无损压缩。基于 Auto48 训练的模型不仅性能最佳，精度也没有损失，线上服务只需少许改动即可完成部署。

四、实施成果

微信搜一搜中的查询理解等自然语言理解关键任务在精度没有损失的情况下达到 1.4 倍加速效果，平均单句推理时间达到 0.022ms，相应计算资源节省约 30%。近期微信搜一搜在部分任务上线 INT4 模型服务，相较于之前的 INT8 服务有显著性能提升：流量高峰时平均响应时间降低 21%，超时率降低 70%，大幅优化了业务性能并降低了部署成本。

五、未来展望

腾讯团队表示，通过 Auto48 算法成功打破了 NLP 模型复杂性带来的限制，这种优化手段可以极大减少计算资源需求。随着低精度推理能力的持续演进，搜索等延迟敏感型业务有望在体验与成本之间获得更优平衡。