同一套自动驾驶感知软件移植到新车型时，传感器布局、标定参数、视野范围、遮挡关系和车身几何都会发生变化，感知结果也随之改变。为每个新车型单独采集并标注真实数据成本高昂，且车型开发早期往往无车可用。NVIDIA Omniverse NuRec 为此提供了一条基于合成数据的适配路径：先重建已采集的真实驾驶场景，再从目标车型的传感器配置渲染新视角。
NuRec 基于 3D 高斯溅射技术，从车载相机录制的真实路测数据重建场景，并支持新视角合成。开发者可以调整相机外参、内参、视野与镜头模型（包括针孔、鱼眼和 f-theta 配置），从目标车型视角重新渲染画面；重建场景中保留的轨迹、逐相机标定、动态目标轨迹与地图数据，也可复用于对齐车道线、红绿灯和道路边界等标注。
整体工作流分为四步：将重建场景与目标车型传感器配置配对、渲染目标视角画面、使用 NVIDIA Harmonizer 对渲染帧做时域精修、最后用合成数据训练感知模型。NVIDIA 在 Hugging Face 上发布的 Physical AI NuRec Dataset 包含 1500 多个神经重建驾驶场景，每个场景约 20 秒，由前宽 120 度、前长焦 30 度、左右各 120 度及后视左右各 70 度共六路相机重建而成，可直接用于上述流程。
在内部自动驾驶项目中，NVIDIA 用已有车型的路测数据为目标车型生成合成训练集，与零样本基线相比，目标检测的精度与召回均有提升，验证了“实车数据到位前先用合成数据完成适配”的可行性。对于需要把感知栈快速铺开到多个车型变体的团队，这一流程能显著压缩数据采集与标注周期。
为降低使用门槛，NVIDIA 将数据下载、场景渲染与画面精修等步骤封装为 nurec-skills 仓库中的智能体技能，编码智能体可以按流程自动定位数据集、渲染目标视角并精修输出帧，相关示例与复现步骤已随官方博客发布。
WeChat
Profile