一次 TensorRT 引擎构建可能耗时数秒到数分钟。大型强类型模型、深度 tactic 搜索，以及全新 GPU SKU 上冷启动的时间缓存，都可能让开发者、终端用户甚至 AI 智能体面对一个冻结的终端，不知道应该等待、重试还是杀掉进程。NVIDIA 指出，大多数 TensorRT 集成在构建期间不报告任何信息，也没有提前中止的办法；在长时间运行的智能体工作流中，这会转化为浪费的 GPU 工时和被卡住的会话。
针对这一问题，TensorRT 提供了 IProgressMonitor API，它已经在 NvInfer.h 中存在了数个版本。NVIDIA 的教程给出了 Python 与 C++ 的最小化即插即用实现，增加了一条可响应 Ctrl-C 或来自外层事件循环的程序化停止信号的取消路径，并说明了如何把产生的进度流暴露出来，供 IDE、服务或智能体运行时使用。文中所有代码块都取自或模仿了两个由 NVIDIA 维护的开源示例：Python 版为 samples/python/simple_progress_monitor/（ResNet-50，强类型网络），C++ 版为 samples/sampleProgressMonitor/（MNIST）。
IProgressMonitor 是一个抽象基类，TensorRT 在引擎构建期间会调用它。开发者通过继承并覆盖三个方法来实现：phase_start 在进入某个阶段时调用，用于预留一行进度并记录该阶段的步骤数；step_complete 在某一步完成时调用，用于推进进度条，其返回值决定构建是否继续——返回 false 即请求取消构建；phase_finish 在阶段退出时调用，用于拆除该行进度。Python 与 C++ 中的形态完全一致，只是拼写不同。
该接口的语义中，parent_phase 非空的阶段意味着它嵌套在另一个阶段内部，因此监控器看到的是树状的进度结构而非扁平列表。实现必须保证线程安全，因为 TensorRT 可能从多个内部线程调用同一个监控器实例。
接入方式很简单，只需在 IBuilderConfig 上设置监控器：Python 中写作 config.progress_monitor = MyMonitor()，C++ 中写作 config->setProgressMonitor(&myMonitor)。
从回调时序上看，构建器先通过 phase_start 打开 Building Engine 阶段，随后在其内部打开嵌套的 Tactic Selection 阶段，其 parent_phase 指回 Building Engine。随着构建推进，构建器调用 step_complete（实线箭头），监控器返回布尔值（虚线箭头）：true 让构建继续，false 请求取消。在 NVIDIA 展示的运行中，监控器在第 47 步返回 false，即红色的取消路径，构建器随即停止发出新的步骤并开始回退，提前对 Tactic Selection 调用 phase_finish，然后对 Building Engine 调用 phase_finish，按相反顺序关闭每一个活跃阶段。
教程的前置条件包括：一块 NVIDIA GPU；TensorRT 当前开源版本及其 Python 绑定，或 C++ 示例的构建产物；Python 3.10 或更新版本（Python 路径）；以及 TensorRT 示例数据——Python 使用 ResNet-50 ONNX，C++ 使用 MNIST ONNX，二者随示例数据归档一同分发，或挂载在官方 NGC 容器的 /usr/src/tensorrt/data 下。此外还需要支持 ANSI 虚拟终端转义的终端：任何现代 Linux shell 都满足条件，Windows Terminal 在启用 VT 后也可用。
WeChat
Profile