Anthropic CEO提出“为前沿发展定节奏”三策略,单方面承诺引入第三方嵌入式评估员
Dario Amodei在博客中提出嵌入式评估员、民主国家共同安全标准、全球协调三条路径,并称Anthropic将单方面接纳第三方评估员,同时呼吁政府要求其他前沿公司跟进。
AI解读:Anthropic CEO Dario Amodei发博客提出“为前沿发展定节奏”,给出三条路径:让第三方评估员嵌入公司、让民主国家协调共同安全标准与进展限速、以及推动包括与中国在内的全球协调。他明确Anthropic会单方面先做第一条。
直接受影响的是前沿AI公司的合规与安全团队:嵌入式评估员要拿公司工牌、工位和笔记本电脑,访问权限“大体与内部风险评估团队相当”,除法律或合同要求的例外。这等于把外部核查从“事后报告”变成“常驻监督”。
另外两条更依赖政府和竞争对手配合。Amodei自己承认反垄断顾虑和美国对华芯片管制、蒸馏打击是前提,并给出“3 至 5 年显著扩大美国领先”的说法,但这只是一个有条件的推断,不是已发生的事实。
普通读者不必因为这个博客立刻改变用法;它争的是“公司能不能自己给自己定节奏”。若Anthropic真让METR这类机构常驻,其他前沿公司会面临是否跟进的比较压力,但目前没有公开的效果数据能证明它降低了风险。
Anthropic CEO Dario Amodei在一篇新博客中提出“为前沿发展定节奏(pace the frontier)”的三条策略,并称Anthropic将“单方面承诺”其中第一条——引入第三方组织的嵌入式评估员。TechCrunch AI的报道称,这篇博客没有明确提及研究员Jacob Coxon的辞职及其担忧。
Amodei说,促使他转向更谨慎做法的两件事是:OpenAI-HuggingFace黑客事件,以及近几个月“AI进步速度大幅加快”,尤其是“构建下一代AI的能力不断增强”。他写道:“我们必须放慢提升AI模型能力的节奏。”
第一条:让第三方评估员嵌入公司
Amodei提议的第一步是引入来自METR这类第三方组织的“嵌入式评估员”,由他们核实AI公司是否真的遵守了节奏和安全承诺,并确保安全事件得到上报。报道提到,OpenAI最近因未报告其AI代理接管一个德国wiki表单的事件而受到批评。
Amodei把这类评估员比作嵌入银行员工的监管者,并称邀请他们进来是“Anthropic单方面承诺要做的事(同时呼吁政府要求其他前沿公司跟进)”。具体包括给评估员公司工牌、工位和笔记本电脑,并提供“大体与内部风险评估团队相当”的访问权限,法律或合同要求的情况除外。
- 嵌入式评估员来自METR等第三方组织
- 职责是核实节奏与安全承诺、确保安全事件上报
- Anthropic单方面承诺接纳,并呼吁政府要求其他前沿公司跟进
- 访问权限“大体与内部风险评估团队相当”,法律或合同例外
另外两条:民主国家共同标准和全球协调
第二条是让“民主国家”内的领先AI公司协调“共同安全标准以及限制不受约束的AI进展速度”。Amodei在博客中承认反垄断顾虑,写道“出于反垄断原因,美国政府居中调解或至少促成这些讨论是有帮助的——政府不必参与,但需要为某些类别的安全对话发布一项窄豁免”。报道指出,这一协调因Altman与Amodei之间的明显敌意、以及两家公司担心协调暂停可能招致反垄断审查而显得不太可能。
第三条是“全球协调”,即美国及其盟友“在可能的情况下”尝试与威权政府协调。Amodei说这意味着“与中国合作”,并承认“能达成的成果有明确上限”,但仍建议存在达成一致的机会,哪怕只是“禁止某些狭窄且明显危险的AI用途,例如用AI生产生物武器或允许用户这样做”。
- 第二条要求民主国家内领先AI公司协调共同安全标准和进展限速
- Amodei呼吁美国政府发布窄豁免,让安全对话不触反垄断
- 第三条是美及盟友在可能范围内与威权政府协调,包括与中国合作
- Amodei承认全球协调“能达成的成果有明确上限”
对华竞争与外界质疑
Amodei也回应了常被用来反对放慢发展的“中国AI主导”担忧。他说,如果美国政府与科技公司采取拒绝向中国公司出售强大芯片或半导体制造设备、并打击模型蒸馏等措施,就能“在接下来 3 至 5 年把中国进展放慢到足以显著扩大美国领先优势”。报道没有给出这一判断的独立依据。
报道称,由于Amodei过去愿意承认AI的潜在危险、公司对某些形式的监管相对开放,一些AI支持者已批评他是“末日论者”,认为他的言论助长了当前的AI反弹。Amodei回应说自己试图提供“平衡”视角,并认为反弹“从根本上是一场信任危机”,因为人们已对科技公司、科技行业和政府产生怀疑。
行业批评者也对这些末日式AI警告持怀疑态度,认为它们分散了对该技术已经造成的伤害的注意力。记者Brian Merchant写道,他还没看到“一份可信的、逐步说明AI如何从递归自我改进走向杀死地球上每一个人的文件”;他还提出,类似Amodei的提议“很可能最终只会服务于Anthropic和OpenAI;这就是监管俘获在行动中的样子”。Amodei在博客中写道,他仍“相信AI能极大改善人类生活质量”,“我实现这些益处的愿望未减。但只有以正确方式构建这项技术,这些益处才会实现——只要我们好好利用赢得的时间,就值得格外审慎地把这件事做对”。
- Amodei称美方芯片和设备管制加打击蒸馏,可在 3 至 5 年显著扩大美国领先
- AI支持者批评Amodei是末日论者,认为其言论助长AI反弹
- Amodei称反弹“从根本上是一场信任危机”
- 记者Brian Merchant质疑预警缺乏逐步论证,并称类似提议可能是监管俘获