NVIDIA NeMo 与 Omniverse 赋能中科深智实现 NPC 千人千面多模态互动

一、方案背景与核心挑战

中科深智是一家专注端到端生成式 AI 虚拟人技术的公司，产品线覆盖自研大语言模型、动作和表情生成算法模型、3D 自动建模、Motionverse 虚拟人业务中台以及 Anyhuman、自动播、自动画、云小七等 3D 生成式 AI 产品。核心挑战：在动作和表情方面，传统 NPC 无法获取用户画面和语音信息，也就无法做出实时反馈，动作和语音呈现皆靠预设，人机交互刻板生硬；在文字和语音对话能力方面，大语言模型赋予了 NPC 实时对话能力，但模型从数据清洗、预训练、指令微调到测试、合规、部署和应用接口开发的各环节此前彼此分散，环节之间需要大量人工处理和匹配部署，造成人力与时间成本浪费。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA NeMo 与 Omniverse 的虚拟人实时交互与应答系统云小七

技术架构：云小七支持智能 NPC 的批量化生产，可将形象、声音、性格特征、背景等特定人设赋予 NPC 并与游戏内容有机融合，在不需要编写复杂脚本的情况下实现文字、语音、动作、表情等多模态实时互动。其底层文字对话能力来自中科深智自研大语言模型 GenSense 数智姜尚，训练则依托 NVIDIA NeMo，动作表情与音视频交互由 Omniverse Audio2Face 与 NVIDIA Maxine 支撑。

三、核心技术组件

CLAP 算法与 Audio2Face：云小七的核心能力之一是中科深智自研实现的 CLAP 大模型算法，可实现对语音、语义以及外部环境输入的实时反馈，输出动作和表情，使 NPC 表现更生动。NVIDIA Omniverse 中的 Audio2Face 可以辅助云小七实现音频输入到面部输出的转换，通过预训练的深度神经网络、调整角色网格 3D 顶点等方式快速实现表情切换。

Maxine 音视频优化：通过利用 NVIDIA Maxine 对音频和视频通信进行优化，即使用户使用普通的麦克风和摄像头，NPC 也能监测到他们的行为并产生反馈，与玩家实现实时互动。

NeMo 训练全流程与 Guardrails：NVIDIA NeMo 帮助解决了训练全流程问题，包括数据清洗、预训练和指令微调以及测试、合规、部署和应用接口开发，此前这些需要多个架构才能完成，从而极大提高了自有模型开发效率。NeMo 还提供大量可应用于不同场景的预训练模型，并自带 ASR/TTS 能力，无需借助第三方即可带来自然交互工具。此外，通过 NeMo Guardrails 为对话设置响应范围和边界，使模型回答仅限于适当主题并只提供必要信息，高效解决了对话式 AI 的合规性和安全性风险。

四、实施成果

云小七可支持智能 NPC 的批量化生产，提升游戏开发效率，为游戏开发商带来更有力支持，也为玩家提供更生动、真实的游戏体验。中科深智联合创始人兼 CTO 宋健表示，中科深智是 NVIDIA 初创加速计划高级会员，通过与 NVIDIA 的深入技术合作以及生态资源链接，成功应用了包括 NVIDIA NeMo、NVIDIA Omniverse 在内的各项最新技术和工具，切实加速了 AI 对话数字人的建设。

五、未来展望

大模型驱动的对话式 AI 与数字人结合引发新一轮商业增量。面向实时性、可理解性、自然性、低资源与鲁棒性等挑战，中科深智将继续依托 NVIDIA 技术与生态推进对话式数字人在多领域的落地。