Hugging Face提出模型集成契约，用缩小版模型在CPU上拦截回归
Hugging Face称，T5启用SDPA后引入的UMT5解码器可见未来token的缺陷在主分支存留近两个月；其小型化fixture在回放中标记出全部相关提交，目前该检查在CI中只报告失败、不阻止PR合并。
AI解读：这次要弄清的问题是：常规的模型集成测试依赖真实大模型和GPU，无法在每次PR上运行，Hugging Face的替代做法是把真实checkpoint的配置缩成一个很小的fixture，在廉价CPU上跑固定用法并比对基线。按Hugging Face的说法，这能在PR阶段发现部分回归，但作者明确说它不会取代完整集成测试。
适用范围有明确边界：一份契约对应一个架构加一条用法路径，而不是单个checkpoint；兼容的checkpoint可共享fixture，但各自保留期望结果。Hugging Face举的案例是UMT5回归：2026 年 7 月 30 日T5启用SDPA后，UMT5解码器可看到未来token，训练时能提前看到要预测的答案，该缺陷在主分支存留至 9 月 28 日修复。
作者公布的量化结果限于其自建回放：小型UMT5 fixture权重 66 MB，源checkpoint为 1,227 MB；回放五个月的提交时，它标记出缺陷从引入到修复期间的提交，对数概率与已审阅基线相差 1.22，训练损失相差约 0.20；且只有走SDPA默认注意力路径的契约才能发现，eager变体漏掉了它。
可信度与流程限制同样由Hugging Face说明：fixture的权重初始化分随机和过拟合两种，Whisper随机版在 24 个注入故障中捕获 18 个，过拟合版捕获全部 24 个，但两者都漏掉一个需真实Whisper checkpoint才暴露的辅助解码缺陷；截至 2026 年 11 月 1 日，Transformers CI中的MIC任务只报告失败、不阻止PR，覆盖率仍不完整。
Hugging Face发布博客介绍其提出的模型集成契约（Model Integration Contract，MIC）方案，用缩小后的模型fixture在CPU上运行固定用法路径并比对人工审阅过的基线，目标是在PR阶段捕获会进入主分支的回归。
博客披露的触发案例是：2026 年 7 月 30 日Transformers为T5启用PyTorch的scaled dot-product attention（SDPA），副作用是UMT5的解码器可以关注未来token，等于训练时能提前看到要预测的答案；程序没有崩溃，该缺陷在主分支存留了近两个月，直到 9 月 28 日修复。
用小型fixture替代每次跑完整集成测试
Hugging Face称Transformers支持 750 多种模型，主分支有 88,000 多个CPU测试，每日运行另有 200,000 多个GPU测试；集成测试要加载真实checkpoint并在真实硬件上调用模型API，在每个PR上全跑不现实，而定时任务发现回归时缺陷可能已进入主分支。
其做法是从真实checkpoint的配置构建一个层数更少、维度更窄但保留各类层的小模型，tokenizer和processor文件原样保留，发布一次后复用，在廉价CPU runner上运行“快速集成测试”。博客给出的CPU数据是：实验性UMT5 fixture权重 66 MB，源checkpoint为 1,227 MB；一些放不进标准GPU runner的大模型，其fixture可在CPU上运行。
契约的组成与UMT5回放结果
MIC由三部分组成：fixture，即缩小并固定版本的模型；用法路径，即可运行的Markdown示例，如生成文本或执行一步训练；基线，即运行该示例时记录、经人工审阅的输出。运行用法路径仍产生基线输出，契约即成立。契约覆盖一个架构和一条用法路径，而不是单个checkpoint。
博客称，用冻结的MIC回放五个月的Transformers提交时，小型UMT5 fixture标记出从 7 月 30 日引入到 9 月 28 日修复期间的回归：标签对数概率与审阅基线相差 1.22，训练损失相差约 0.20。一个关键细节是，该契约使用SDPA这一默认注意力路径；只跑eager注意力变体会漏掉该缺陷。作者还在一个证明分支上回退了修复，CI检查以同样的差异失败，所选T5契约的runner步骤在CPU上耗时 13.4 秒（不含准备时间）。
权重初始化与工程限制
缩小配方分四步：缩减配置但保留不同层类型（如滑动注意力与全注意力混合、稠密层与MoE层混合）；预处理不变，词表、特殊token、输入维度及tokenizer/processor文件逐字节保留；构建并验证权重，随机权重不响应输入时改用小批量过拟合训练，拒绝构建失败的结果；冻结并记录可重复输出，经人工审阅各平台和精度的基线后发布固定快照。其保留原始权重文件格式，以便覆盖用户加载真实checkpoint时执行的转换代码。
博客举的缩小案例是Llama 4 Scout：108.6 亿参数变为 4470 万，视觉栈从 34 层减到 2 层，语言栈从 48 层减到 4 层，保留检查过的层类型和MoE路由方式。
权重初始化存在取舍。随机权重下Whisper fixture对音频变化几乎没有反应，于是团队用少量音调与“red”“green”等词配对训练它，目的只是让音频变化在输出中可见。其权重初始化研究显示，随机Whisper fixture捕获了 24 个注入故障中的 18 个，过拟合版捕获全部 24 个；但作者称这些是合成故障，尚未发现只有过拟合版才能捕获的真实回归，两个版本都漏掉了一个真实Whisper checkpoint才能暴露的辅助解码缺陷。
尚未回答的问题
Hugging Face称，截至 2026 年 11 月 1 日，Transformers CI中的MIC任务报告失败但不阻止PR合并。是否应阻止，取决于尚未测量的因素：它在PR上（而不只是回放中）能捕获多少真实缺陷、误报频率、基线审阅的工作量。此外，覆盖范围在模型家族和常用API上仍不完整，作者表示会保留现有测试，直到其覆盖范围被纳入统计。
工具方面，CLI名为tmic，为新模型起草用法代码和清单时由LLM生成草稿、经CPU和GPU运行测量候选基线；作者强调LLM只起草、不批准，期望值变更需人工审阅。本地运行时使用自己的checkpoint，草稿通过Inference Providers产生并计入用户自己的账户，流程在按步骤审阅后、上传前停止。