Mistral Large 4登陆Hugging Face：约 1T总参数、49B激活的MoE多模态模型
Hugging Face博文介绍，Mistral Large 4（Le Chonk）支持文本与图像输入，上下文窗口 1M token，采用FP8与NVFP4两种官方权重变体，Unsloth和llama.cpp团队另提供GGUF；许可证为Mistral Ecosystem Open-Weight License，对模型即服务设有附加限制。
Hugging Face博文介绍，Mistral发布Mistral Large 4（代号Le Chonk）：这是一个可接收文本和图像输入、输出文本的多模态MoE模型，总参数约 1T，激活参数 49B，上下文窗口为 1M token。
模型提供FP8和NVFP4两种官方变体，Unsloth与llama.cpp团队提供了GGUF量化版本。权重按Mistral Ecosystem Open-Weight License分发，博文称该许可证是MIT的衍生版本，对模型即服务（model-as-a-service）设有附加限制。
架构：稀疏注意力叠加MoE
文本解码器有 72 层、隐藏维度 6,144、64 个注意力头。注意力块结合Multi-head Latent Attention（MLA）与DeepSeek Sparse Attention（DSA）索引器，后者为每个查询最多选择 2,048 个key位置。
解码层按 3:1 交替使用RoPE与NoPE，即每四层中三层用RoPE、一层用NoPE，并在层间共享KV状态。第一层使用稠密前馈网络；其余 71 层为MoE，路由器从 128 个专家中为每个token选 4 个，另有一个共享专家始终运行，合计每token激活 5 个专家。
视觉编码器为 1.6B参数的Pixtral，30 层、隐藏维度 2,048、16 个注意力头，使用 14×14 patch和空间合并尺寸为 2 的patch-merge projector。
安全相关评测与用法边界
博文称，Mistral Large 4在Artificial Analysis Cyber Index的“复现开源软件真实漏洞并修补”任务上得 82%，是该测试中报告的最高分；在该指数上位列全球前五。Mistral方面称，多个闭源前沿模型在同一测试上接近零分，原因是拒绝尝试。
在取自安全竞赛的 40 道Cybench题目中，模型解决 93%；在Lakera B3攻击抵抗基准上为 93.3%。博文还引用Mistral的内部测试称，该模型在恶意软件分析、漏洞优先级排序和检测规则编写上有用处，而这些并非显式训练目标。
博文也给出拒绝行为的数据：在来自JailbreakBench、StrongREJECT和AgentHarm的网络相关提示上，其平均拒绝率高于任何其他开放权重模型。Mistral主要将模型定位为防御性安全工作。
基准成绩与排名口径
博文称，截至 2026 年 10 月 29 日，该模型在Artificial Analysis智能指数上为第五佳开放权重模型。编码方面：DeepSWE v1.1为 61.7%，SWE-Atlas-QnA为 59.4%，Terminal-Bench 4为 28.3%，综合Coding Agent Index为 49.8%。
面向知识工作的评测中，AutomationBench为 59.9%，AA-Briefcase为 1,393 Elo。以上均为博文引述的评测数字，未附独立复现。
部署与本地运行
博文称transformers、vLLM、llama.cpp均首日支持。Transformers路径提供AutoModelForMultimodalLM和AutoProcessor，推理强度可选low、medium、high，默认high；博文说明推理无法关闭，即使设为none仍按high执行。
vLLM支持NVFP4检查点，需要NVIDIA Blackwell GPU，并配合DSpark草稿模型做加速。llama.cpp提供IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0和BF16量化。
博文给出的实测数字：Q2_K在单台M3 Ultra上预填充约 90 token/s、生成 15 token/s；2-bit量化可在 512GB统一内存的Apple Silicon Ultra单机运行，其余量化需要分布式推理。4 张RTX6000 Pro上，NVFP4在 32K上下文下预填充 130–590 token/s、生成约 10 token/s；IQ2_XXS在 800K上下文下，短上下文预填充 500 token/s、生成 30 token/s，长上下文降至预填充 129 token/s、生成 3 token/s。
微调与托管部署
TRL提供首日微调支持，示例为在 8 张B300的节点上对FP8变体做LoRA微调。Inference Endpoints提供基于 8 张NVIDIA H200的部署配方，服务最长 131K token上下文、最多 16 个并发请求；博文称单请求 1K token提示首token约 0.6 秒，生成约 65 token/s，草稿被接受时可达 120–138 token/s。
Dell Enterprise Hub提供面向Dell AI服务器（NVIDIA H200、B200、GB200、GB300）的部署配方。