Meta 发布面向编码优化的开放模型 Muse Spark Open，采用 816B 参数的混合专家（MoE）架构，每个 token 激活 42B 参数，上下文窗口达到 100 万 token。该模型在 NVIDIA GB300 NVL72（Blackwell Ultra）上训练，目标是服务智能体编码工作流，而不是单次代码补全。
通用编码模型擅长生成一个函数、写一个单元测试或给出内联修复，这类任务上下文小、答案即时。智能体编码的负载完全不同：它要规划跨文件重构、在上千个文件中导航、从失败的测试中恢复，并在长周期内协调多个子智能体。Muse Spark Open 强调更高的首次尝试准确率、可靠的工具调用与跨仓库的代码库理解；100 万 token 的上下文可以容纳整个项目，包括复杂依赖与遗留代码，不必把任务切碎。
在行为层面，模型按“规划、执行、观察、自纠正”的循环工作，支持带工具调用的多步执行、结果评估与迭代改进，并通过目标条件化保持方向、通过上下文压缩在长会话中保留关键信息。除代码外，它还能搜索网页（含多模态浏览）、派生并协调子智能体，以及使用统一在桌面、移动端与浏览器上的计算机操作能力。每次动作前模型会单独输出说明，让开发者知道智能体在做什么、为什么这么做。
多模态由一枚 1.8B 参数的感知编码器承担，可原生处理交错的文本、图像、视频帧与音频，不需要为每种模态单独搭建流水线。这意味着同一会话中出现的截图、架构图、错误日志与操作录屏，可以在一次推理中统一理解。稀疏路由每个 token 只激活 816B 中的 42B 参数，官方称这让它在同等规模下以远低于稠密模型的服务成本提供前沿智能体能力。
硬件侧，GB300 NVL72 在单一机架内集成 72 块 Blackwell Ultra GPU，72 GPU 的 NVLink 域提供 130 TB/s 带宽。对每个 token 需路由到 256 个专家中 8 个的稀疏 MoE 模型而言，这一带宽直接决定理论吞吐能兑现多少。NVIDIA 表示，Muse Spark Open 在 GB300 NVL72 上开箱运行智能体负载，每 GPU 可达每秒 5 万 token，每用户每秒最高 600 token。
部署与后训练方面，SGLang、vLLM 与 TensorRT LLM 三条推理栈均受支持，NVIDIA Dynamo 为三者提供部署配方，并把预填充与解码拆分到独立 GPU 池，KV 缓存感知路由会把请求发往已持有相关前缀的 worker，避免长会话中重复计算；生产环境可直接使用 NVIDIA NIM，一条命令完成部署并自动选择匹配硬件的后端与精度。Meta 生成的 NVFP4 检查点压缩了全部 816B 参数的内存占用，并利用 FP4 Tensor Core 加速，释放出的显存可支撑更大的 KV 缓存。开发者可用 NeMo AutoModel 做全量 SFT 与 LoRA 微调，需要大规模生产训练时再用 Megatron Bridge 转换为 Megatron 格式，权重可从 Hugging Face 获取。
WeChat
Profile