NVIDIA Groq 3 LPX：Vera Rubin平台长上下文高交互推理加速方案

NVIDIA Groq 3 LPX 是面向 NVIDIA Vera Rubin 平台的交互式 AI 推理加速器。在平台核心的 NVIDIA Vera Rubin NVL72 之上，Groq 3 LPX 进一步扩展了平台覆盖最高交互性服务层级的能力，使 Vera Rubin 能够作为 AI 工厂的一部分，为最广泛的 AI 工作负载——从小模型到大模型、从开源到闭源——同时提供高吞吐与高交互性。根据独立评测机构 Artificial Analysis 在 Gemma 4 31B 模型上运行 10 万上下文基准的结果，Groq 3 LPX 实现了 3,431 token/秒的业界领先交互速度。

长上下文与高交互性之所以关键，源于智能体会话的多轮推理特性：每一轮结束时，智能体的输出都会被追加到持续增长、并输入后续所有轮次的上下文中。随着会话超过数百轮，上下文可以增长到数十万 token，智能体必须在任务后期反复处理此前积累的全部信息。没有长上下文，智能体只能考虑此前相关上下文的很小一部分——无论底层模型多快多聪明，有限的上下文都意味着有限的智能体能力。因此，最强大的智能体不仅需要速度，更要在会话增长过程中保留长上下文。

以超过 3,000 token/秒的速度服务单用户、同时为 10 万输入 token 管理 KV 缓存，构成了独特的系统挑战。张量并行（TP）这类分治技术可以带来数量级加速，但最高交互性需要极小的批大小，此时固定的协调开销可能超过并行节省的时间。要让张量并行在单次前向中同时作用于模型权重与长上下文 KV 缓存，必须把“首比特时延”压到绝对最低——这正是 Groq 3 LPX 的核心设计目标。

Groq 3 LPX 采用编译器调度的确定性执行模型。编译器在任务开始前就能看到 256 个 LP30 本地处理单元（LPU）、这些芯片合计 128GB 的 SRAM 存储，以及每芯片 96 条、每条 112 Gbps 的片间（C2C）链路，从而按时钟周期精确编排整个工作负载的执行：数据何时在每条 C2C 链路上移动，都在运行前规划完毕。这消除了实时传输仲裁的需要，LPU 可在数据就绪的时钟周期发送、到达的时钟周期消费，把传输的初始化时延降至最低；每个 LPU 既充当处理器也充当路由器，必要时可经由其他 LPU 转发数据。

此外，LPX 编译器以 320 字节向量的粒度将计算与通信重叠调度，利用矩阵乘法可表示为点积序列的特性，让单个 LPU 在通信进行的同时持续计算输出矩阵的列。对于交互性最强的服务场景，这种细粒度重叠是性能的关键。与 Vera Rubin NVL72 配合，Groq 3 LPX 使平台能够以高交互性与长上下文服务 2T+ 参数的模型所驱动的多智能体系统，为 AI 工厂中最苛刻的交互式推理负载提供支撑。