Anthropic与埃森哲合作开展前沿AI嵌入式独立评估
双方预计未来五年各投入至少10亿美元建设评估能力，埃森哲旗下Faculty团队将入驻Anthropic，开展模型红队测试、对齐评估和安全防护测试。
AI解读：Anthropic宣布与埃森哲合作，对前沿AI模型进行独立评估。这项工作由其CEO此前在《We Must Pace the Frontier》一文中提出的承诺推动，即在Anthropic内部嵌入评估人员。埃森哲方面由旗下专业AI业务Faculty牵头。
这类“嵌入式评估”与现有外部评估不同：评估人员将进入AI公司内部，获得接近员工的访问权限，可以观察模型在训练中成型的过程、追踪影响模型构建和部署的决策，并直接与员工交流。Anthropic和埃森哲预计未来五年各投入至少10亿美元建设相关能力。
对Anthropic来说，这不会减轻其安全责任，该公司强调模型安全仍是自己的责任，嵌入式评估只是让承诺更可验证。目前嵌入式评估尚无行业标准，比如评估人员该获得哪些信息访问权、如何报告发现，都没有定论，资金机制也未确定。
Anthropic宣布与埃森哲合作，对前沿AI进行独立评估。这是其CEO在文章《We Must Pace the Frontier》中所作承诺的一步，目标是在Anthropic内部嵌入评估人员。
该合作将由埃森哲旗下专业AI业务Faculty牵头，内容包括评估和红队测试模型、开展对齐评估，以及测试模型安全防护措施。
Anthropic与埃森哲各自预计在未来五年内投入至少10亿美元，用于建设这一领域的能力。
Anthropic解释，嵌入式评估与今天的外部评估不同：嵌入式评估人员将在AI公司内部工作，拥有与员工相当的访问权限。这种权限让他们能观察模型在训练中如何成型，追踪决定模型如何构建和部署的决策，并直接与员工交流。
从这一位置出发，嵌入式评估人员可以评估公司的运作方式，核实其是否遵守安全承诺，并识别盲点。他们还可以报告事件，让公众对收益和风险有更全面的了解。
Anthropic明确表示，独立的嵌入式评估人员不会减少其问责，而是帮助让问责更可验证。模型安全仍是Anthropic自己的责任。
评估标准与资金机制尚属空白
Anthropic指出，目前还没有标准规定嵌入式评估人员应获得哪些信息的访问权，也没有他们应如何报告发现的既定规则。同时，独立评估的资金也没有确定的体系。
长期来看，Anthropic认为资金应来自pooled或政府来源，这是其在6月发布的《Advanced AI Framework》中呼吁的方向。由于这两种机制目前都不存在，Anthropic计划与不同评估方采用不同的资金安排。
鉴于这项工作的重要性和紧迫性，Anthropic将直接资助埃森哲的工作。Anthropic还表示正在与METR及其他非营利评估机构对话，用这些机构自己的资金试点嵌入式评估的若干要素。
Anthropic认为，前沿AI最终需要一个由评估者组成的生态系统，并遵循共同标准。
合作非排他，Anthropic将公布更多评估方
Anthropic预计前沿实验室将同时与多个组织合作。其与埃森哲的合作是非排他性的：Anthropic将在未来几周宣布与其他评估方的合作，埃森哲也将以类似身份与其他AI开发者合作。
Anthropic表示将继续训练和发布前沿模型，并希望独立评估人员在此过程中与其并肩工作。现在分享这些早期努力，是为了让公众和其他AI开发者看到其流程。
Anthropic预计随着该领域成熟，其做法也会演变，并将在工作启动和引入更多评估方时分享更多信息。