METR审计:Anthropic模型进展速度约翻倍,或已在7月越过自家预警阈值
非营利机构METR在11周审计后估计,Anthropic模型测试成绩自2025年10月以来以约1.9倍于此前速度提升,约八成加速来自AI参与其自身研究;METR同时指出最核心证据被Anthropic大面积删减,真实加速倍数可能在1.3到3之间。
AI解读:METR称,2025年10月以来Anthropic模型的AECI综合得分每年提升约29点,此前约为15点,提速约1.9倍;相当于一年走完过去两年的进展,幅度大致可比Claude 2.1到Sonnet 4.5的跨越。
METR估计约80%的加速来自AI被用于Anthropic自身研究,而非训练算力增长更快。员工在访谈和Slack投票中给出的“约12倍生产力”被METR视为很不严谨的证据,可能高估实际收益。
审计还纳入三款2026年7月至10月完成训练的未发布模型。METR称未来12个月未发现会拖慢速度的瓶颈,因此加速继续扩大的风险“显著”。
Anthropic对全部非公开信息拥有单方面删改权并大量行使,METR认为信息量最大的证据多数被删去,公众只能更多依赖METR的判断。
在配套审查中,METR指出Anthropic 8月公开风险报告称加速“低于2倍”,内部未删节版本隐含值为1.97,Anthropic自己也认为越过阈值“有可能”;METR认为预警水平可能在7月15日就已达到。
METR原本还要核查Anthropic如何在能力研究与安全研究间分配算力,Anthropic中途取消了这部分工作,称要先聚焦风险评估。
非营利研究机构METR在2026年8月12日至10月29日对Anthropic进行为期11周的审计后估计,Anthropic模型能力的提升速度约为此前的两倍,并认为该公司的加速预警阈值可能在2026年7月15日就已被触及。METR将这一结论建立在未发布模型的基准结果、训练指标、员工调查和约15次对Anthropic研究人员的访谈之上。
METR称其未从Anthropic收取费用,但出于安全原因在Anthropic的设备上工作。审计报告同时指出,Anthropic对非公开信息拥有单方面删改权并大量使用,METR评为最具信息量的多数证据被移除。
METR如何量化“加速”
METR使用名为AECI的复合指标,把多项基准打包计算。按该指标,2025年10月之前Anthropic模型每年提升约15点,此后年化提升约29点,增速约为原来的1.9倍。METR称这相当于一年完成过去两年的进展,幅度大致与Claude 2.1到Sonnet 4.5的跃升相当。
分析还纳入了三款在2026年7月至10月完成训练的未发布模型。METR表示,它有信心这一加速并非由训练算力增长更快驱动。
- 自2025年10月以来AECI年增速约29点,此前约15点
- 提速倍数估计约1.9,METR给出的真实区间为1.3至3
- 纳入OpenAI、Google、xAI的模型后,全行业加速倍数降至约1.4
- METR推测这一落差可能部分源于Anthropic在2025年落后于竞争对手、追赶效应压低了数字
AI参与研究,以及自报数据的边界
METR估计约80%的当前加速来自AI被用于Anthropic自身研究。一名员工在访谈中说:“现在只受想法和算力限制,不再受代码限制。”另有人称过去需要一到两天搭建的实验现在“几乎免费”。
在2026年10月的非正式Slack投票中,员工平均表示最新内部模型让他们的生产力提高约12倍。METR明确把这类自评当作“非常宽松的证据”,称其不具代表性、很可能夸大实际收益。METR记录的自报生产力提升从Claude 3.7 Sonnet的1.2倍升到内部Model 4的12倍。
METR称AI目前主要扮演助手角色,尚未做完全自主的研究,但已出现独立贡献可能扩大的“生命迹象”。公司内部意见并不一致:一名研究者认为AI对生产力提升的贡献只有15%至20%,并不信任同事的自评;另一人认为新员工是近几个月最重要的因素。
删节与“低于2倍”的公开表述
Anthropic对所有非公开信息拥有单方面删改权。METR称,其评为最具信息量的证据大多被删去,包括对未来模型的预测、按训练步数拆分的细项以及瓶颈分析。Anthropic称删节目的是“移除可能加速其他AI开发者的机密信息”。METR写道,结果是公众不得不“比理想情况更多得多地”依赖METR的判断;报告中的一张图表因此标有“FAKE DATA”字样。
在配套审查中,METR查看了Anthropic 2026年8月的风险报告。该公开报告称加速“低于2倍”,但内部未删节版本隐含的值为1.97,Anthropic自己也认为阈值被越过是“有可能”的。METR认为7月15日就可能已达到预警水平,并指公开报告同时低估了加速幅度及其不确定性。
METR目前与Anthropic一致认为急性灾难性风险“低”,但表示无法排除未来六个月再次急剧加速、从而迅速推高风险评级的可能。
被取消的算力分配审查
METR原本还应核查Anthropic如何在能力研究与安全研究之间分配算力。Anthropic在项目进行到一半时取消了这部分工作,称希望先聚焦风险评估,之后再回到算力审计。
“AI 2027”情景作者、研究者Daniel Kokotajlo在X上回应称,审计算力分配是让“放慢”承诺可被验证的基础。