Meta发布Muse Spark Open：816B参数开源多模态MoE模型，约 42B激活
Hugging Face博客介绍Meta新开源权重模型Muse Spark Open，总参数约 8160 亿、每token激活约 420 亿，支持文本、图像、音频、视频输入，上下文窗口最高 100 万token，面向智能体编程场景训练。
AI解读：Muse Spark Open是Meta的开源权重模型，采用混合专家（MoE）架构，总参数约 816B、每token激活约 42B，每层 256 个专家中由路由器为每个token选择 8 个；所有专家常驻内存，因此部署需要 816B参数级别的显存，但计算速度接近 42B模型。
该模型支持文本、图像、音频、视频输入，仅输出文本。图像和视频帧由 1.8B参数的感知编码器转为token，音频经音频编码器每 80 毫秒产生一个token（12.5 个/秒），所有模态与文本共享最高 1,048,576 token的上下文窗口。
Meta称Muse Spark Open是针对智能体编程训练的模型，可读取代码库、编写和调试代码、调用工具，并在长任务中规划、行动、观察和自我纠正，包括带图像浏览网页；这些能力描述来自Meta自身的训练与定位说明。
这是Muse系列中的全尺寸模型，与 8 月发布的同系列小型稠密模型Muse Glimmer共用分词器和词表，聊天模板沿用Muse Glimmer模板并为新模态做了扩展。
检查点提供BF16和NVFP4两种格式，仓库为Muse-Spark-Open-816B-A42B与Muse-Spark-Open-816B-A42B-NVFP4；BF16检查点约 1.5TB（safetensors），NVFP4以 4 位精度存储，面向NVIDIA Blackwell GPU。
博客给出多种部署路径：Transformers中BF16检查点需 4 个节点、每节点 8 张H200（张量并行TP=32），NVFP4可在单台B200节点运行；llama.cpp的 2 位量化在配备 512GB内存的Mac M3 Ultra上实测 18 tokens/s；SGLang的NVFP4参考配置运行在四张GB300 GPU上。
Meta发布了开源权重多模态模型Muse Spark Open，相关介绍与使用说明刊载于Hugging Face博客。该模型为混合专家（MoE）架构，总参数约 816B，每个token激活约 42B参数，输入支持文本、图像、音频和视频，输出为文本。
博客给出的规格显示，模型每层有 256 个专家，路由器为每个token选择 8 个专家；专家占模型总参数的约 97%。由于全部 256 个专家常驻内存，部署需要承载 816B参数模型的内存，但实际计算量约为 42B参数模型的速度。上下文窗口在推理时最高为 1,048,576 token，图像、视频和音频token与文本共享同一窗口。
架构与模态编码
语言模型有 62 层、隐藏维度 8192，每层 128 个查询头和 16 个键值头（分组查询注意力），每个头 64 维；注意力块包含输出门和输出归一化，并对查询和键应用QK-norm；每个块通过学习到的残差门组合输入和输出。
图像和视频帧由 1.8B参数的感知编码器转为token：编码器 50 层、隐藏维度 1536、16 个注意力头，把每张图像切成 14×14 的块，输出 4096 维特征，位置信息来自学习到的绝对嵌入和 2D RoPE；每四层和最后一层使用全注意力，其余层使用稀疏注意力。
音频通过音频编码器输入：音频分词器把音频转为token，编码器每 80 毫秒产生一个音频token，即每秒 12.5 个，例如 10 秒音频对应 125 个输入音频token；编码器为由不同块大小（16、6、5、4）的补丁嵌入和卷积块组成的卷积金字塔。
模型输出为文本。检查点提供BF16和NVFP4两种格式，分别为Muse-Spark-Open-816B-A42B和Muse-Spark-Open-816B-A42B-NVFP4；BF16检查点约 1.5TB，NVFP4将参数以 4 位精度存储，Meta称精度损失可忽略，面向NVIDIA Blackwell GPU。
与Muse Glimmer的关系及推理配置
Muse Spark Open是Muse系列的全尺寸模型，与Meta 8月发布的小型稠密模型Muse Glimmer共用分词器和词表，聊天模板沿用Muse Glimmer模板并加入新模态的标记。Muse Glimmer每层使用一个稠密前馈网络，Muse Spark Open则将其替换为MoE块。
博客说明，Transformers中Muse Spark Open通过MuseSparkForConditionalGeneration和MuseSparkProcessor使用，DistributedConfig的tp_size控制稠密层分片设备数、ep_size控制专家分布设备数；BF16检查点运行在 4 个节点、每节点 8 张H200（TP=32），NVFP4运行在单台B200节点。
推理支持方面，模型可通过llama.cpp、vLLM和SGLang部署。llama.cpp集成提供预编译二进制，博客称imatrix校准的 2 位量化在配备 512GB内存的Mac M3 Ultra上以 18 tokens/s运行，模型占用 304GB，Q2_K、Q4_K_S和Q_8已在Apple Silicon芯片上测试；SGLang的NVFP4参考配置运行在四张GB300 GPU上。
模型支持纯文本和多模态的工具调用，采用通道式聊天模板（Harmony，最先由gpt-oss引入），模型在reasoning、commentary、final answer等通道间路由。博客特别指出，Muse Spark Open无法关闭推理，简单任务可将推理强度设为 “low” 以减少token消耗。