Meta 带着 Muse Glimmer 重返开源生态。这是一个 30B 参数的开放权重稠密模型，具备 120K+ 的上下文窗口，专为本地 AI 智能体工作负载构建，并针对 NVIDIA 边缘、桌面和工作站 AI 平台进行了优化。NVIDIA 表示，Muse Glimmer 在单个 GPU 上可实现每秒 2 万 Token 的吞吐，使始终在线的智能体能够在本地处理数据并执行复杂的多步骤工作流。
NVIDIA 指出，大多数大语言模型是为聊天而优化的，优先考虑单轮交互和快速的首次出字时间，但智能体工作负载需要不同的方法。一个正在搭建软件项目、修订文档或管理知识库的智能体，可能在单次会话中执行多次顺序工具调用，同时需要聊天优先模型并不具备的可靠性、一致性、长上下文连贯性和持续吞吐量。
Muse Glimmer 采用稠密架构，处理每个 Token 时激活全部参数，没有路由、专家选择或不同 Token 路径之间的差异。因此，它擅长需要可靠指令遵循、长上下文连贯性、可预测延迟和更少失败模式的智能体工作负载。
在隐私方面，涉及个人文件、通信、凭据和专有文档的智能体工作流要求推理永不离开本机。NVIDIA 表示，Muse Glimmer 在这一点上取得了理想平衡：它足够大，可以进行复杂的多步推理；又足够小，可以放进单个 NVIDIA GPU 的显存中，无需模型分片、CPU 卸载或使用外部端点。具体而言，NVIDIA GeForce RTX 5090 配备 32GB 显存与第五代 Tensor Core，可让 Muse Glimmer 运行在本地开发者设备上，将专有代码保留在设备端，并消除按 Token 计费的推理成本。
在不同平台上，NVIDIA DGX Spark 将工作站级性能和企业智能体管线带入紧凑系统，NVLink 提供高速内存访问，NVIDIA NIM 容器让本地部署 Muse Glimmer 成为一条命令即可完成的操作；NVIDIA DGX Station 将机架级 Blackwell Ultra 算力引入本地企业环境，适合受气隙隔离或合规框架约束的团队；NVIDIA Jetson 则把本地 Muse Glimmer 推理扩展到边缘，支持机器人、工业自动化和嵌入式系统等网络隔离为硬性要求的场景。
性能方面，在 NVIDIA Blackwell Ultra 上，Muse Glimmer 在 BF16 与 NVFP4 精度下可实现每 GPU 每秒超过 2 万 Token 的吞吐，单个 Blackwell Ultra 即可在显存中容纳完整模型，并留有大 KV 缓存缓冲的余量。开发者还可以使用 NVIDIA NeMo AutoModel 对模型进行后训练，该库原生支持 Hugging Face 检查点、开箱即用地提供全量 SFT 和 LoRA 微调；同时可通过 NeMo RL 进行强化学习。在推理侧，NVIDIA 提供 SGLang 与 vLLM 的开源部署配方。
WeChat
Profile