NVIDIA 详解 AI 工厂节能提效：以全栈推理与训练优化提升每瓦性能 NEWS DETAIL

随着 AI 工厂规模持续扩大，电力成本正成为运营侧最关键的约束之一。NVIDIA 指出，在 AI 工厂的整体运营支出中，电力最高可占到约 40%，因此每瓦性能已经不只是硬件指标，更直接关系到每个 token 的生成成本和最终盈利能力。

从业务价值看，推理是最需要优先优化的负载，因为它直接决定可交付的 token 数量和面向客户输出的实时能力。在固定供电额度下，提高单位功耗的推理吞吐，意味着同样的基础设施可以承载更多服务请求，并带来更高的单位时间收益。

NVIDIA 认为，提升 AI 工厂能效不能只靠单点优化，而是要从系统级协同设计入手。包括机架级供电平滑、直连芯片液冷、动态功率分配、实时遥测，以及更适合推理场景的低精度计算格式，都会对整体每瓦性能产生实质影响。像 NVFP4 这类更窄精度格式，就能在保持精度水准的同时，进一步提高吞吐效率。

在软件层面，NVIDIA 还强调了推理框架和运行时的重要性。通过 Dynamo、TensorRT-LLM 以及面向 AI 工厂场景的 DSX 平台，企业可以结合机架、散热、负载调度和模型部署策略，减少资源闲置，释放受限供电环境下原本无法利用的算力空间，从而持续压低单位 token 成本。

训练侧同样存在显著的节能空间。大型模型训练往往要跨多块 GPU 并行执行，但不同 GPU 的任务负载并不总是均衡，部分 GPU 提前完成后只能空转等待同步。NVIDIA 介绍，与研究团队合作后，可通过识别关键路径上的 GPU 并进行差异化速度调节，让负载更重的 GPU 保持高速度，而其他 GPU 适度降速，以减少空闲等待带来的能耗浪费。

从长期趋势看，AI 工厂的竞争将越来越依赖“功率预算内的最大产出”。谁能把基础设施设计、散热系统、调度策略、模型架构与运行时优化协同起来，谁就更有机会在固定站点功率约束下获得更高的 token 产能与更优的成本结构。这也让每瓦性能逐步从技术指标演变为 AI 基础设施运营的核心经营指标。