NVIDIA TensorRT 助力夸克浏览器 OCR 全流程从 10 秒降至 400 毫秒

一、方案背景与核心挑战

夸克浏览器是阿里旗下搭载极速 AI 引擎的高速智能浏览器，以极速智能搜索为定位，并在产品极致体验上不断突破。夸克不仅提供搜索体验，也在探索以深度学习为基础的 AI 工具。深度学习模型在实际应用中效果远好于传统模型，但由于算法复杂度过高，预测性能成为制约模型最终能否上线的核心问题。核心挑战：夸克为用户提供智能相机功能，包括万能扫描、学习辅导、万物识别等，这些功能对实时性要求极高，不少功能底层依赖 OCR。OCR 需要承接巨大流量，其效果与性能影响整个上层业务的用户体验。OCR 全流程包含检测、识别等多个模型以及复杂前后处理，整体耗时达 10 秒级别，无法达到上线要求。主要影响因素有三：单个模型占用显存过大，导致全流程无法部署在同一 GPU 上、需跨 GPU 传输数据且利用率不高；模型本身性能慢，涉及复杂的检测与识别模型；全流程中模型前后处理复杂。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA TensorRT 的夸克浏览器 OCR 全流程性能优化方案

核心技术：夸克选择采用 NVIDIA TensorRT 作为模型优化的底层框架，TensorRT 提供完整的端到端模型性能优化工具，支持 TF 和 ONNX 等相关框架模型，使用后对模型性能带来巨大提升。本案例主要应用到 NVIDIA TensorRT 与 NVIDIA Nsight Systems。

三、核心技术组件

模型结构优化与量化：TensorRT 对模型结构进行优化，使用高效 kernel 实现，并支持 FP16 和 INT8 量化。部分模型通过使用 TensorRT 后性能有 2 到 3 倍提升，显存降到原来的 30%~50%。

混合精度与瓶颈定位：有模型在使用 FP16 精度后效果下降，夸克团队在 NVIDIA 工作人员指导下通过对模型设置混合精度，使性能较 FP16 稍微下降但整体效果达到要求。对于部分转 TensorRT 失败的模型，团队分析后将耗时部分单独抽取出来单独做优化；在使用 TensorRT 过程中，还通过 Nsight Systems 发现 TensorRT OP 在某些场景性能表现不尽人意，最终在 NVIDIA 指导下通过调整 OP 使用方式解决该问题。

四、实施成果

通过使用 NVIDIA TensorRT，夸克浏览器极大提升了模型性能并降低模型显存占用，提高了 GPU 使用率。在对整体流程和模型进行优化后，全部模型能够部署在单个 GPU 上，整体耗时控制在 400ms 内（由 10s 级别降至 400ms 内），其中模型性能加速 1~3 倍、显存占用下降 50%。夸克技术人员表示，TensorRT 文档齐全、功能使用方便，用户能够以低门槛使用其带来的优化，无需手动编写复杂模型转换工具，大大减少投入成本；对比其他模型优化框架，TensorRT 具有更好的通用性、易用性和性能。目前夸克已把 TensorRT 相关优化工具集成到浏览器内部平台，同时应用到其他业务的模型中并取得良好效果。

五、未来展望

通过这次 OCR 全流程性能优化，夸克积累了适合内部使用的模型性能优化方案，在遇到其他模型性能问题时也能有的放矢，为端侧与云端 AI 功能的持续上线提供了方法论基础。