机器人策略训练卡住时，瓶颈常常不在模型或训练循环，而在更早的一步：机器人没有一个可仿真的世界。把 3D 美术在 Blender 里做好的场景变成仿真可用资产，需要确认物体是否标注、碰撞网格是否正确、材质是否对仿真有意义、传感器是否配置、能否干净导出 USD，以及机器人能否感知目标物体。这些工作重复、繁琐，且通常不在机器人仿真工程师的职责范围内。
NVIDIA 给出的做法是把这套准备工作交给智能体流水线。Codex 作为主智能体负责整体任务编排、解释结果并引导迭代，由 OpenAI GPT-6 Astra 驱动；专门的子智能体用 Hermes 智能体框架构建，通过 NVIDIA NemoClaw 部署，调用 Omniverse Libraries 检查场景、写入仿真元数据、配置物理属性并渲染预检视图。分工可以概括为：Codex 协调，NemoClaw 智能体推理，Omniverse Libraries 执行。
第一步是通过 Blender MCP 服务器盘点场景。MCP 给智能体一个受控的工具接口，不必靠截图猜测或手工导出，就能读取物体、集合、变换、材质、相机、灯光与场景元数据。示例输出会给出 142 个物体、37 个材质，以及缺失项清单：语义标签、碰撞网格、相机传感器、物理材质。这份清单成为后续所有子智能体共享的上下文。
接着把 USD 作为交接契约。Blender 负责创作，USD 负责给智能体与下游工具提供共享、可检查的世界表示；标签、物理元数据、传感器定义与材质都以非破坏性分层方式写入，不压平原始创作。语义标注子智能体把匿名网格变成任务相关对象：货架、料箱、箱子、地面、障碍物、可抓取物体、机器人目标与禁行区。它可以从命名、层级、形状与上下文推断，但必须标出不确定项，例如“已标注 118 个 prim，9 个标签待复核”。
物理与视觉检查分别由 ovphysx 与 ovrtx 承担。ovphysx 补齐或校验碰撞网格、静态碰撞体、刚体、质量、摩擦、恢复系数与物理材质，并把发现转成修复计划：为静态道具生成简化碰撞网格，把地面与货架标为固定碰撞体，为可抓取物赋予刚体属性，把依赖任务意图的判断交给人。ovrtx 则渲染机器人相机与复核视角，检查目标是否可见、标签是否贴在可见物体上、材质与光照是否合理、相机是否被遮挡或裁切；发现问题就回到对应修复智能体，形成可执行的闭环。
最后是验收门：按目标 SimReady 配置运行校验。失败报告会变成修复任务清单，例如“校验失败：14 项问题”；通过后才交给 Isaac Sim 或 Isaac Lab。NVIDIA 强调，这套流程的价值不只是把场景变干净，而是让每一步都有持久状态、明确的验收标准和必要的人工复核，把一句“把这个场景做成可仿真的”拆成可重复的工程流程。
WeChat
Profile