AI 编码智能体写的补丁可以通过单元测试，却在服务器真正加载模型、处理请求时失败。评估推理服务软件的改动，因此必须检查完整服务路径，包括系统能否通过公开接口返回正确结果。NVIDIA 与 SGLang 团队合作推出了 SWE-Serve，专门衡量这段差距：它把 83 个已合并的 SGLang 拉取请求转化为 53 个可执行任务，覆盖模型接入、解码、缓存、调度、服务 API 与运行时性能。
任务分成六类：投机与高级解码 14 个、模型与后端接入 12 个、内核量化与性能 8 个、服务 API 与运行时正确性 8 个、缓存与运行时状态 7 个、分布式执行与调度 4 个。12 个任务跑在 CPU 上，41 个使用单张 H100。首版不评估其他推理引擎、多 GPU 执行与多节点服务。这些改动并不小：参考解的中位数是修改 7 个文件、553 行代码，典型校验器包含 7 个新行为测试与 10 个回归测试；19 个任务会启动真实服务器，其中 3 个还在 H100 上设置了校准过的性能门槛。
最有说服力的数字来自 19 个带实服务检查的任务。同一批 627 个补丁，在完整校验器下通过率是 45.9%；把实服务测试排除后，通过率升到 69.4%，也就是有 147 个补丁由失败变为通过。这 19 个任务共含 276 个实服务测试，其中 242 个来自或改编自 SGLang，其余 34 个用于覆盖对应改动引入、但上游没有合适测试的行为。Gemma 4 MoE 任务是个具体例子：33 个补丁里有 16 个通过了其他所有检查，却至少有一项实服务测试失败，涉及模型加载、专家路由、文本与图像服务，以及带正确顺序与对数概率的批式生成。
任务还暴露出智能体的结构性短板。研究把请求到输出的路径划成四个运行时域：请求处理与 I/O、调度与请求生命周期、模型执行、KV 缓存与运行时资源管理。在 11 个模型各自最佳配置下，只涉及单一运行时域的 26 个任务通过率为 69.0%，跨多个域的 27 个任务只有 47.7%，相差 21.3 个百分点，而且每个模型配置都呈现同方向差异。模型之间的差异同样明显：31 个模型与投入配置组合的平均 pass@1 从 34.6% 到 75.5% 不等，没有任何模型在六个工程类别中都领先；总分相同的配置，成本与耗时可以相差数倍。
评估使用只带 Bash 的最小智能体 mini-swe-agent，闭卷进行，每个配置跑完 53 个任务三次，单次会话上限 210 分钟、350 步。Claude Opus 5 与 GPT-5.6 Sol 的最佳成绩都是 75%，单任务平均成本分别为 17.40 美元与 12.26 美元；GPT-5.6 Luna 以 0.95 美元达到 64%；成本最低的 Inkling S 为 0.44 美元、35%。换成原生 harness 并未让领先者更强：GPT-5.6 Sol 在 Codex 中为 73.6%，Claude Opus 5 在 Claude Code 中为 69.8%，均低于 mini-swe-agent 下的 75.5%。
NVIDIA 也说明了基准的边界：SWE-Serve 的“通过”仅表示补丁满足该任务的隐藏校验器，不代表可以合并、可部署或获得 SGLang 维护者认可。任务经过严格筛选——从 786 个候选来源中构建 156 个可执行候选，最终收录 53 个；未修改的仓库必须在新行为测试上失败、在回归测试上通过，参考补丁必须通过完整校验。为防作弊，评估屏蔽公网与上游源码仓库，仅允许访问 Hugging Face 获取模型权重；排行榜背后的 1749 次试验全部审计，196 次违规检索尝试被拦截，无一成功。
WeChat
Profile