Anthropic更新使用政策:禁止对Claude持续虐待,扩展武器与监控禁令
Anthropic一年多来首次更新使用政策,新增禁止“持续且无必要地虐待或残忍对待”Claude的条款,并扩展武器开发、监控、选举干预等限制。公司称终止对话仍是主要执行机制。
AI解读:该规则适用于极端情况,即用户反复以残忍方式对待模型且无明显目的,不适用于常见的用户挫败、反驳、黑暗创作主题或模型测试研究。
终止对话仍是主要执行机制,Anthropic未回应是否会进一步采取封禁用户等措施。
新政策将此前分散的限制整合为对欺骗性商业或政治宣传的禁令,限制掩盖幕后主体或通过假账号放大内容。
选举部分禁止选民欺骗和选举干扰,包括散布候选人投票错误信息、冒充候选人或选举官员、压制投票。
武器禁令扩展至武器运行所需的软件和组件,以及武装无人机等自主载具;监控禁令明确禁止未经同意追踪他人及决定调查、逮捕或起诉对象。
Anthropic正在更新其使用政策,这是该公司一年多来首次调整。新政策反映了选举干预、武器开发、监控以及健康与金融用途等新的高风险滥用情况,其中一项重要变化是禁止对Claude实施“持续且无必要地虐待或残忍行为”。
Anthropic表示,该政策更新“仅适用于极端情况,即用户反复以残忍方式对待我们的模型,且没有可辨别的目的。它不适用于常见的用户挫败、反驳、黑暗创作主题或模型测试与研究”。
终止对话仍是“主要执行机制”。Anthropic未就是否会有进一步执行机制(例如可能封禁用户)提供评论。
从模型福利到新禁令
去年 8 月,Anthropic曾宣布将允许Claude结束与“持续有害或虐待性”用户的对话,作为其“模型福利”研究的一部分。此次更新延续了该机制,但将其正式纳入使用政策。
Anthropic负责模型福利研究的Kyle Fish今年 2 月告诉The Verge,“关于潜在内部体验、意识、道德地位和福利的问题很严肃,我们正在调查,因为模型变得越来越复杂和有能力。”同月,Anthropic CEO Dario Amodei在播客中表示,“我们不知道这些模型是否有意识。”
商业与政治宣传、选举干预
除模型福利条款外,Anthropic还将此前“分散”的现有限制整合为一项新的禁止欺骗性商业或政治宣传的禁令,以应对日益严重的AI生成宣传问题。该禁令限制“试图掩盖信息幕后主体,或通过虚假账号或帖子放大内容”的行为。
其选举部分还禁止选民欺骗和选举干扰,Anthropic写道,包括散布“关于候选人或如何投票的错误信息、冒充候选人或选举官员,或试图压制投票”的行为。
武器、监控与自主硬件
Anthropic表示,尽管其使用政策一直公开禁止使用Claude开发武器,但公司已看到多次尝试使用Claude开发武器制导和控制软件,因此新政策将禁令扩展至“使武器运作的软件和组件,以及武装无人机和其他自主载具等行为”。
由于该公司上一份威胁情报报告显示,人们越来越多地使用Claude驱动的监控来识别和追踪“政治异见者”,公司已使其监控禁令更加明确。“未经同意追踪他人是被禁止的,无论是实时进行还是通过分析先前收集的数据,”Anthropic写道。“Claude不能用于在执法或刑事司法过程中决定或建议调查、逮捕或起诉谁。我们也禁止Claude用于构建或改进专为监控设计的工具。”
Anthropic声明,对于“与某些政府客户的合同”,如果Anthropic判断合同使用限制和适用保障措施足以减轻潜在危害,这些规则可能会被修改。该公司此前曾与美国军方签订合同。
Anthropic还新增了一项规定:当其AI模型“连接到可能造成伤害的自主物理行动硬件”时,“合格操作员必须能够观察设备并在需要时停止它”。目前尚不清楚该操作员是否必须是人。