Meta发布Muse Spark Open：816B MoE编码模型，100 万token上下文
NVIDIA技术博客称，Meta推出面向智能体编码的Muse Spark Open，总参数 816B、激活 42B、上下文 100 万token，并使用Meta生成、为NVIDIA Blackwell Ultra优化的NVFP4检查点。
NVIDIA技术博客发文称，Meta推出Muse Spark Open，一个面向智能体编码的 816B混合专家（MoE）模型，每token激活 42B参数，上下文窗口为 100 万token。该模型在NVIDIA GB300 NVL72 Blackwell Ultra上训练，Meta生成的NVFP4检查点针对NVIDIA Blackwell Ultra优化。
模型规格与定位
据NVIDIA技术博客，Muse Spark Open总参数 816B，采用稀疏MoE架构，通过 256 个专家中路由到前 8 个专家，每token激活 42B参数。该模型定位为智能体编码，NVIDIA称其提供更高的首次尝试准确率、可靠的tool calling以及对仓库级代码库的深度理解。
NVIDIA将通用编码模型描述为针对单次补全优化，例如生成函数、编写单元测试或内联修复，适合上下文小、答案即时的离散任务；Muse Spark Open则面向规划多文件重构、在数千个文件中导航、从失败测试中恢复、跨长周期协调子智能体等需要持续多步骤执行的工作负载。
- 总参数：816B
- 激活参数：42B，通过top 8 routing across 256 experts
- 上下文窗口：1M token
- 训练硬件：NVIDIA GB300 NVL72 Blackwell Ultra
- 检查点：Meta生成、为NVIDIA Blackwell Ultra优化的NVFP4权重
智能体与多模态能力
NVIDIA称，Muse Spark Open支持多步骤任务执行，包括使用工具、输出评估和迭代改进，使用目标条件保持方向、上下文压缩来在长时间会话中保留知识。除编码外，该模型可搜索网页（含多模态浏览）、生成并协调子智能体处理可分解任务，并利用跨桌面、移动端和浏览器的计算机使用能力。它会在每个动作前生成单独的commentary，让开发者了解智能体在做什么及原因。
模型搭载 1.8B感知编码器，原生处理交错文本、图像、视频帧和音频，无需按模态单独流水线。NVIDIA称这让模型可在单次统一处理中推理所见、所听和所读内容，适合在同一个智能体会话中处理截图、图表、错误日志和视频演示。
- 支持工具使用、输出评估与迭代改进
- 支持网页搜索，包括多模态浏览
- 支持生成并协调子智能体
- 支持跨桌面、移动端和浏览器的计算机使用
- 感知编码器 1.8B，统一处理文本、图像、视频帧和音频
GB300 NVL72上的运行数据与部署方式
NVIDIA称，Muse Spark Open在NVIDIA GB300 NVL72上开箱运行智能体工作负载时，每GPU每秒最高可达 5 万token，每用户每秒最高可达 600 token。该平台将 72 块NVIDIA Blackwell Ultra GPU集成到单机架，提供 130 TB/s的NVLink域带宽；NVIDIA称这对每token路由到 256 个专家中 8 个的稀疏MoE模型尤为重要，可减少专家流量跨传统网络时的瓶颈。
NVIDIA提供多种推理栈：SGLang、vLLM和TensorRT LLM，让开发者直接控制服务配置、并行和批处理；TensorRT LLM增加针对NVIDIA GPU编译的引擎；NVIDIA Dynamo为三者发布部署配方，并将预填充与解码分离到专用GPU池，还使用KV cache感知路由将请求发到已持有相关前缀的worker。开发者可使用NVIDIA NeMo AutoModel在领域数据集上后训练Muse Spark Open，该库是PyTorch原生训练库，原生支持Hugging Face检查点，无需模型转换，开箱支持全量SFT和LoRA微调；也可使用NVIDIA Megatron Bridge将Hugging Face检查点转换为Megatron格式以进行大规模生产训练。
- 吞吐：在四块NVIDIA Blackwell GPU上使用推测解码，每GPU每秒超过 5 万token，每用户每秒超过 600 token
- GB300 NVL72：72 块Blackwell Ultra GPU，NVLink域带宽 130 TB/s
- 推理栈：SGLang、vLLM、TensorRT LLM，Dynamo提供部署配方
- 后训练：NeMo AutoModel支持全量SFT和LoRA，Megatron Bridge转换检查点
- 获取方式：从Hugging Face下载NVFP4权重；生产部署可用NVIDIA NIM