Transformers v5.21.0新增MiniCPM-OCR、Flint、UltraVBert及两款TTS模型
Hugging Face Transformers发布v5.21.0，新增MiniCPM-OCR、Flint、UltraVBert、Gradium Phonon TTS、Pocket TTS及其音频分词器共六个模型条目，并调整张量并行、MoE并行计划与量化缓存等默认行为。
AI解读：v5.21.0新增六个模型条目：OpenBMB的MiniCPM-OCR、Recursive的MoE模型Flint、文档理解与检索模型UltraVBert、Gradium的端侧TTS系列Gradium Phonon TTS、Kyutai的 1 亿参数TTS模型Pocket TTS，以及Pocket TTS使用的音频分词器。
本次含破坏性变更：张量并行新增专用embedding风格并默认切分输入embedding，ColwiseParallel与RowwiseParallel仅用于线性层；每个MoE TP/EP计划现在都切分专家；QuantizedCache新增fp8后端，以torch.float8_e4m3fn存储KV状态。
Gradium Phonon TTS与Pocket TTS都采用 12.5 Hz连续音频潜变量加一步flow head的架构，区别在声音条件的来源：Phonon TTS使用未公开的独立说话人编解码器产生的 512 维潜变量，因此声音只能以预计算潜变量形式提供，不能从录音克隆；Pocket TTS可从录音克隆声音。
Pocket TTS是Kyutai的 100M参数模型，声称在CPU上快于实时；文档只链接了其所属架构族的论文arXiv 2509.06926，没有单独的Pocket TTS技术报告，也没有链接官方博客。
Flint每层稀疏层按sigmoid分数把token路由到 256 个专家中的 6 个，并加一个无门控共享专家，前两层为稠密层；多数层用滑动窗口注意力覆盖当前及之前 512 个token。
Hugging Face Transformers发布v5.21.0（发布说明作者为Cyrilvallez），新增MiniCPM-OCR、Flint、UltraVBert、Gradium Phonon TTS、Pocket TTS和Pocket TTS Audio Tokenizer六个模型条目，同时包含张量并行与MoE并行计划的破坏性变更，以及缓存、视觉、生成、量化等多处修复。
新增模型：OCR、MoE与文档检索
MiniCPM-OCR来自OpenBMB的MiniCPM-V系列，沿用MiniCPM-V 4.6架构（SigLIP视觉编码器、window-attention merger与Qwen3.5语言模型），面向扫描页、截图、收据和表格等文本密集图像。
Flint是Recursive的混合专家语言模型。多数层使用带旋转嵌入的滑动窗口注意力，覆盖当前token与之前 512 个token；其余层使用不带位置编码的全注意力。每个稀疏层按sigmoid分数将token路由到 256 个专家中的 6 个，并附加一个无门控共享专家，前两层为稠密层。
UltraVBert在ModernVBert基础上把UltraBERT文本编码器与SigLIP视觉编码器组合，用于视觉文档理解与检索。其图像处理器将每页切成 512 像素的图块并加一个全局视图，连接器把每个 4×4 视觉patch块合并为一个token（一个图块变为 64 个图像token），并按UltraBERT token embedding的尺度做RMS归一化；`max_image_tiles` 默认 27，限制每页图块数。
语音模型：Pocket TTS与Gradium Phonon TTS
Pocket TTS是Kyutai的 100M参数文本转语音模型，采用连续音频语言模型结构，发布说明称其在CPU上运行快于实时。因果transformer每帧经一步flow head输出一个连续音频潜变量（12.5 Hz），由语音结束头决定何时停止；基于Mimi的音频分词器负责编码声音提示、将生成的潜变量解码为 24 kHz音频。模型发布两个flow head：默认的Lagrangian自蒸馏与drifting。声音可从录音克隆、以预计算潜变量传入或从缓存的KV状态加载。
Gradium Phonon TTS是Gradium的端侧TTS系列，按Pocket TTS的方案训练。与Pocket TTS不同，它的声音条件使用来自一个未发布的独立说话人编解码器的 512 维潜变量，因此声音以预计算潜变量形式提供，不能从录音克隆。
Pocket TTS音频分词器沿用Mimi架构，但把残差向量量化器替换为 32 维连续瓶颈（来自论文的VAE-GAN），在 24 kHz音频与 12.5 Hz潜变量之间转换，充当 `PocketTTSProcessor` 的 `audio_tokenizer`，其编码器和解码器也可单独加载。
破坏性变更与并行化调整
QuantizedCache新增 `"fp8"` 后端，与quanto、hqq并列，以torch.float8_e4m3fn存储KV状态，每个张量一个scale；通过 `cache_implementation="quantized"` 和 `cache_config={"backend": "fp8"}` 启用。
张量并行新增专用embedding风格，默认切分所有模型的输入embedding，并支持不能被TP大小整除的宽度；ColwiseParallel与RowwiseParallel此后只适用于线性层，原先用于embedding的自定义TP计划需要改用新风格。所有MoE TP与EP计划现在切分专家，模型不再在每个rank保留全部专家，新增测试 `test_moe_parallel_plans_shard_experts` 强制这一点，自定义MoE并行计划需补上专家切分。
并行化方面还新增Nemotron的张量并行计划，Ernie4.5-VL-MoE在TP/EP下切分文本与视觉专家，并恢复torch 2.7–2.10 上的专家并行token分发梯度。
缓存、视觉、生成与量化修复
缓存部分：Flash Attention支持静态缓存，BLOOM在静态缓存或编译生成下不再崩溃，chunked prefill支持缓存续接，Qwen4-Exp索引器的位置历史与缓存键保持对齐；线性注意力缓存新增 `is_recording_past`、`get_recurrent_state` 与卷积状态访问接口。
视觉部分：图像处理器在共享RGB转换中将PNG透明区域合成到白色背景，`background_color` 在DeepSeek-VL与Janus处理器中正确保留；修复SmolVLM的 `inputs_merger` 在图block数不是patch size整数倍时的行为，以及HunYuan-VL在批量beam search中的图像分配。
生成与量化部分：修复 `generate` 丢失 `ModelOutput` 等dict类输入类型、Qwen3-Omni音频生成模式、SAM掩码生成多缩放裁剪等问题；`FineGrainedFP8Config` 新增 `expert_dtype` 选项（默认为fp8，可选fp4），用于DeepSeek-V4.1的FP4专家。