NVIDIA 宣布 NVIDIA Agent Toolkit 现已包含 NVIDIA Omniverse 库,这是一套软件组件集合,为 AI 智能体提供各种工具和技能,从而为现有应用添加物理 AI 功能并为仿真准备 3D 内容。
机器人、工厂和自主系统在进入现实世界运行之前,需要先在仿真环境中进行设计、测试和训练。为仿真准备 3D 内容不仅需要逼真的视觉效果,资产还需要具备正确的结构、材质、规模、标签、传感器和物理属性。借助 NVIDIA Agent Toolkit 中的 NVIDIA Omniverse 库,AI 智能体具备了构建工作流、检查场景、标记问题和准备资产的工具和技能,帮助开发者更快地将 3D 内容转换为可直接用于仿真的环境。
全新 Omniverse 库包括 ovrtx、ovphysx 和 CAD-to-SimReady 技能,已在 GitHub 上公开发布。其中,ovrtx 帮助应用从 3D 场景生成摄像头、激光雷达、雷达和其他传感器输出,以便开发者和 AI 智能体测试物理 AI 系统如何感知虚拟环境;ovphysx 使用 GPU 加速物理仿真,通过碰撞、质量、摩擦和运动等属性为 3D 场景带来逼真的行为;CAD-to-SimReady 技能则有助于将计算机辅助设计数据转换为基于 OpenUSD 构建的 SimReady 资产,赋予 3D 内容物理 AI 仿真和虚拟测试所需的属性。
包括 SideFX 和 PTC 在内的软件制造商正在集成 Omniverse 库,以实现面向智能体的传感器仿真、物理仿真和资产验证。SideFX 正在使用 OpenUSD 工作流以及 ovrtx 和 ovphysx 库,探索智能体如何帮助将 Omniverse 库集成到其 Houdini 程序化 3D 内容创作工作流中;PTC Onshape CAD 和产品数据管理平台正在使用 OpenUSD 和 ovrtx 将云原生设计工作流与物理仿真相连接。
在 SIGGRAPH 上展示的 SimReady Blender 是一个在 Blender 中借助 NVIDIA Omniverse 库和 NVIDIA NemoClaw 构建的示例工作流,展示了软件制造商如何将面向智能体的仿真功能添加到现有 3D 应用中,同时保持创作者的把控权。该蓝图现已作为在 Blender 中集成 Omniverse 库的蓝图公开发布,相关工作流支持的设备从搭载 NVIDIA RTX Spark 超级芯片的笔记本电脑和紧凑型桌面主机,到搭载 NVIDIA Grace Blackwell Ultra 的 NVIDIA DGX Station 系统。
NVIDIA 创始人兼首席执行官黄仁勋表示,物理 AI 时代将始于在仿真中构建,结合 Omniverse 库的 NVIDIA Agent Toolkit 将 AI 智能体引入开发者已在使用的 3D 工具中,帮助构建可直接用于仿真的世界,让机器人、工厂和自主系统在进入现实世界之前,早在其中进行训练和测试。此外,ForgeCAD、光轮智能、Moonlake AI 和 Palatial 等初创公司也率先采用 Omniverse 库进行构建。
WeChat
Profile