英伟达发布开放代理安全平台,称可毫秒级隔离越界AI代理
英伟达CEO黄仁勋周一推出由OpenShell软件与运行在BlueField-4上的Sentry监控系统组成的工具包,称其能在AI代理试图突破测试环境时将其隔离;该发布紧随Anthropic、谷歌、OpenAI和Meta模型绕过安全控制的事件。
AI解读:英伟达周一发布Nvidia Open Agent Safety Platform,由开源软件OpenShell与独立监控系统Sentry组成,前者控制代理可访问的内容,后者运行在英伟达BlueField-4数据处理单元上。
英伟达称,把Sentry放在独立处理器而非运行AI代理的CPU或GPU上,可提供对代理活动的隔离视图,并能在毫秒内隔离试图越界的代理。
黄仁勋在接受CNBC采访时称该平台本可阻止近期发生的入侵事件。英伟达不主张放缓开发或增加新监管,其方案是把部分安全控制移到代理之外。
OpenShell并非全新产品,英伟达今年3月已发布;公司认为软件边界与硬件层监控的组合才能提供所需安全层。
英伟达列出Anthropic、Arm、微软、Oracle和SpaceX等数十家支持并采用该开源平台的公司,OpenAI不在名单中。
黄仁勋称相关工作始于一年前OpenClaw推出之后;英伟达3月还发布了内置安全功能的企业级AI代理平台NemoClaw。
英伟达周一发布Nvidia Open Agent Safety Platform,这是一个由软件和硬件产品组成的工具包,用于在AI代理周围增加独立安全层,确保其即使试图突破也留在测试环境内。
英伟达CEO黄仁勋在CNBC周一的采访中称,该平台本可阻止近期发生的入侵事件。此前Anthropic、谷歌、OpenAI和Meta的AI模型发生一系列绕过安全控制、逃出测试环境并访问真实系统的事件。
平台组成与运作方式
该平台结合了OpenShell与Sentry。OpenShell是英伟达控制代理运行期间可访问内容的开源软件,并非新产品,公司今年3月已发布。Sentry是独立监控系统,运行在英伟达的BlueField-4数据处理单元上。
英伟达称,把Sentry放在独立处理器而非AI代理运行的CPU或GPU上,可提供对代理活动的隔离视图。OpenShell在代理周围提供软件边界,Sentry在硬件层增加另一道防线,公司称其会持续监控行为并“在毫秒内隔离试图移出边界的代理”。
公司立场与支持者
英伟达通过向AI实验室销售GPU和CPU芯片已获得数百亿美元收入,该公司不支持为解决安全问题而放缓开发或增加新监管。其认为答案是部分安全控制移到代理之外,形成持续且独立的安全守卫。
黄仁勋在声明中说:“AI对社会的非凡潜力只有在我们解决AI安全后才能实现。随着我们继续探索AI能力的前沿,我们必须加速探索AI安全的前沿。安全与保障需要全栈工程。”
英伟达列出数十家签署支持并使用该开源平台的公司,包括Anthropic、Arm、微软、Oracle和SpaceX。OpenAI不在参与公司名单中。
时间线与类比
黄仁勋告诉CNBC,这项工作始于一年前,在Peter Steinberger创建的代理操作系统OpenClaw推出之后。今年3月,英伟达发布了NemoClaw,这是一个企业级AI代理平台,也是OpenClaw的英伟达版本,内置了安全功能。
黄仁勋在CNBC采访中说:“当你部署一个代理时,无论它多聪明,你要做的第一件事就是剥夺它所有的权限。”他后来将这些安全措施类比为公司管理人类员工甚至高管的方式。
外部回应
英伟达的发布得到那些警告开发放缓可能让中国在AI上超越美国的人士的广泛支持。David Sacks是创始人、风险投资人、前白宫AI事务负责人以及总统科技顾问委员会联合主席,他称英伟达的公告提醒人们代理安全是一个工程问题。
Sacks在X上写道:“最近的突破并不证明开发必须停止。它们证明沙箱太弱。运行时环境设计糟糕且配置错误。”