NVIDIA TensorRT 助力极视角打造极星 AI 推理平台：算法推理效率提升 20-40 倍

一、方案背景与核心挑战

极视角科技（EXTREME VISION）是专业的人工智能计算机视觉算法提供商，开创了全球首家视觉算法商城，已上架 1000 余种算法，覆盖 100 多个行业领域的应用场景，汇聚超过 200,000 位开发者。"极星"是基于极视角技术能力打造的 AI 应用开发及服务平台，支持快速接入各类算法、数据及智能设备。核心挑战：人工智能计算机视觉算法领域，碎片化和长尾化需求将成为市场主流与核心，某几个特定算法已无法满足客户的综合性需求，由多种不同算法组成的算法包将成为落地方向。因此对算法准确度和推理效率的高要求成为新挑战，尤其在对算法及时性和实时反馈性要求较高的行业中更为明显。"极星"作为算法推理部署平台，同样面临推理效率上的考验。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA TensorRT 与 T4 GPU 的极星 AI 推理平台加速方案

核心技术：极视角科技选择采用 NVIDIA TensorRT 和 NVIDIA T4 GPU 提供支持。使用后，TensorRT 高效赋能极星推理平台，使算法整体推理效率得到极大提升，为极视角业务带来巨大支持。

三、核心技术组件

推理效率提升：采用 NVIDIA TensorRT 和 NVIDIA T4 GPU 赋能"极星"平台后，算法模型推理速度和推理效率较原来提升近 30 倍，进一步提升了算法及时性，满足客户对算法实时效用的高要求。

兼容与整合：由于 NVIDIA TensorRT 和 NVIDIA T4 GPU 本身的技术优势，应用过程中不但可以与原生推理框架实现兼容，而且可以与原始算法高效整合，因此在整体技术结合和应用过程中，算法兼容、整合和应用效率较原来提升 10 倍。

四、实施成果

通过 NVIDIA TensorRT 和 NVIDIA T4 GPU，极视角科技研发的极星平台进一步提升了计算机视觉算法的准确度和推理效率，满足了对算法实时性要求较高的行业需求，算法模型推理效率提升 20-40 倍，在技术兼容和整合过程中整体效率也提升近 10 倍。极视角科技研发高级副总裁、技术委员会负责人成望表示，使用 TensorRT 和 T4 GPU 对平台赋能后，极星推理平台更好地支持快速接入各类算法、数据及智能设备，实现 AI 自闭环能力；凭借高效的算法推理效率，平台的算法及时分析能力得到提升，帮助其更顺利进入许多对算法实时性要求较高的行业，也更有利于对外提供算法+平台+应用+服务的一站式 AI 解决方案。

五、未来展望

面向视觉算法的碎片化与长尾化趋势，基于 TensorRT 与 T4 GPU 的高效推理底座将继续支撑算法商城的规模化交付与多行业数字化转型目标。