NVIDIA发布Nemotron 3 Nano Omni多模态模型助力AI智能体效率提升9倍

一、方案背景与核心挑战

如今AI智能体系统需要分别调用视觉、语音和语言模型，在模型间传递数据的过程中不仅耗时，还会丢失上下文信息。传统的多模态方案因重复推理增加延迟，导致不同模态之间的上下文碎片化，并随时间推移增加成本和误差。核心挑战：企业需要一个统一的多模态模型，能够同时对视频、音频、图像和文本进行高级推理，从而提供更快、更智能的响应。

二、解决方案名称与技术架构

解决方案名称：NVIDIA Nemotron 3 Nano Omni开放式多模态模型

核心技术：Nemotron 3 Nano Omni采用30B-A3B混合专家模型（MoE）架构，结合视觉和音频编码器，无需独立的感知模型即可同时处理多种模态输入。该模型在六项榜单中名列前茅，涵盖复杂文档智能以及视频和音频理解领域。通过将视觉、语音和语言功能集成至单一系统中，其在保持相同交互性能的情况下实现比其他开放式全模态模型高9倍的吞吐量。

三、应用场景

计算机操作智能体：为智能体提供感知回路，帮助其在图形用户界面导航、对屏幕内容进行推理，并理解随时间变化的用户界面状态。支持1920×1080像素原生输入分辨率，实现高保真视觉推理。

文档智能：解析文档、图表、表格、屏幕截图和混合媒体输入，使智能体能够连贯地推理视觉结构和文本内容，对企业分析和合规性工作流至关重要。

音频和视频理解：保持音频-视频上下文，将所说、所显示和所记录的内容绑定到单一推理流中，适用于客户服务、研究和监测工作流。

四、生态合作

目前已采用的AI和软件公司包括Aible、Applied Scientific Intelligence、Eka Care、Foxconn、H Company、Palantir和Pyler；戴尔科技、Docusign、Infosys、K-Dense、Oracle和Zefr正在评估该模型。该模型已在Hugging Face、OpenRouter和NVIDIA官网以NVIDIA NIM形式上线，通过广泛的云合作伙伴生态系统提供支持。

五、部署灵活性

开放且可定制，附赠开放权重、数据集和训练技术。开发者可使用NVIDIA NeMo工具定制、评估和优化特定领域用例。轻量级架构支持从NVIDIA Jetson硬件、NVIDIA DGX Spark等本地系统到数据中心和云环境的一致性部署。Nemotron 3系列过去一年下载量已超5000万次。