当大模型推理处理敏感信息与专有模型上下文时，数据必须留在可信执行环境内。NVIDIA Confidential Computing 通过内存加密的机密虚拟机、机密 GPU 与加密 NVLink 提供这条路径，但安全执行会改变内存搬运、计时、调度与多 GPU 通信的既有假设；如果推理框架不适配，这些变化会直接变成性能开销。
NVIDIA 性能工程团队用 TensorRT LLM 做了一组受控的机密计算开与关对比。测试平台为单台 DGX B200（8 张 B200），模型为 DeepSeek-R1-0528-NVFP4，输入 32K、输出 1K，并发从 1 到 16，张量并行 TP=8，KV cache 使用 FP8，主机启用 Intel TDX，软件栈包括 CUDA 13.2、TensorRT LLM 1.3.0rc22 与 NCCL 2.30。
工作负载刻意选择长输入上下文、长输出生成与低并发：长上下文放大预填充阶段的数据搬运，长输出放大解码阶段每个 token 的小额开销，低并发则减少用并发请求掩盖延迟的机会。结果显示，机密计算开启后输出吞吐保留了关闭时的 96.1% 至 98.2%，平均每输出 token 时间（TPOT）仅增加 1.2% 至 4.3%。
TensorRT LLM 做了三处针对性适配。主机到设备传输在机密模式下要经过软件加密的 bounce buffer，固定内存不再具备异步优势，框架在受影响路径改用可分页内存；设备到主机的 token 与采样数据回读被移到异步 worker，避免受保护的拷贝阻塞解码调度；内核自动调优器在机密模式下 CUDA event 计时不稳定，改用 GPU %globaltimer 测量候选策略。
多 GPU 通信是另一处变化。B200 的机密配置不支持 NVLS（NVLink SHARP）多播，NCCL_SYMMETRIC 既拿不到多播收益，还可能先付出内存注册与跨 rank 同步成本。框架因此需要检测 NVLS 是否可用，并依据消息大小、拓扑与负载特征选择集合通信算法，而不是沿用非机密环境的默认路径。
这项测试说明，机密计算不能简单理解为“打开开关”。安全配置、认证与推理优化应当作为同一个部署问题处理：先启用机密计算并完成环境认证，再用实际要服务的工作负载做开与关的基准对比。NVIDIA 同时发布了 Trusted Computing 文档与 TensorRT LLM 的相关更新，供平台团队规划私有推理部署。
WeChat
Profile