AI 智能体正从云端数据中心走向汽车、机器人与其他边缘设备。与只回答一次提问的聊天机器人不同，智能体要连续完成一系列步骤：选择工具、判断工具返回结果、在越来越长的对话里继续推理。这对边缘推理提出了新要求——既要快速生成 token，又要高效处理很长的共享历史，还要在有限的功耗与内存里输出合法的工具调用。
MLPerf Inference v6.1 新增的 Edge Agentic 基准正是为这类负载设计。它分性能与精度两个阶段：性能阶段回放记录下来的软件工程智能体轨迹，模型收到用户请求后生成工具调用、读取工具结果，并在同一段对话中继续；整个负载包含 20 段对话、1007 个生成轮次，输入长度随轮次增长，最高约 23.5K token，因此长上下文处理能力是测量的一部分。精度阶段使用 Berkeley Function Calling Leaderboard（BFCL）v4 的单轮提示并关闭推理，检查模型是否选对函数、生成合法参数，以及在不需要工具时不乱调用。
NVIDIA 的提交在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B，采用 SingleStream 模式、128GB 统一内存与 MAXN 功耗模式。结果是输出吞吐 52.33 token/s，首 token 延迟中位数 247.12 毫秒，每个输出 token 的中位耗时 14.68 毫秒，BFCL 总体准确率 87.94%。性能阶段全部 1007 轮在 24 分 36 秒内完成；MLCommons 同时公布的 llama.cpp 参考实现在同一硬件上使用 Q4_K_M 量化，耗时 2 小时 37 分钟，两者相差 6.4 倍。
提速的第一层来自量化。提交模型对权重与激活（包括语言模型头）统一使用 NVFP4，KV 缓存使用 FP8。边缘平台上的低并发解码通常受 DRAM 带宽限制，缩小权重与激活的表示可以直接降低内核的内存占用，从而提升解码速度；更小的模型也把 128GB 统一内存更多留给长上下文、投机解码状态与应用负载。开发者可以直接使用已发布并校准好的 Qwen3.6-27B NVFP4 检查点，也可以先在任意开发机上做一次训练后量化再部署。
第二层是跨轮次的 KV 缓存复用。智能体每一轮的新请求都包含前面大部分对话，如果每次重新预填充，成本会随对话增长而快速上升。TensorRT Edge-LLM 会识别可复用的提示前缀并恢复其注意力 KV 页；由于 Qwen3.6 采用混合架构，运行时还要恢复继续执行所需的循环状态与部分 KV 页状态，然后只为新增后缀做预填充。在这份负载上，约 96% 的提示 token 由热缓存提供，13.6M 个提示 token 中实际只预填充了约 0.5M。
第三层是树状多 token 预测。除了常见的线性 MTP，TensorRT Edge-LLM 会把高概率候选组织成树，让目标模型一次前向验证多条候选路径，命中多条即可一次前进多个 token。提交配置使用 8 个草稿步、每层保留 2 个候选、16 节点的验证树；相比 3 个草稿步的线性 MTP，该负载上的解码性能还能再提升约 40%。对函数调用来说，工具名、JSON 语法与常见参数结构往往可预测，树状验证能在保留参数取值分支的同时加速生成。相关实现位于 TensorRT Edge-LLM 的 release/0.9.1-mlpinf 分支，包含模型导出、引擎构建、服务端与 MLPerf 客户端配置。
WeChat
Profile