英伟达正在推出一款全新安全平台,旨在遏制和监控AI智能体,此举是针对近期一系列失控黑客事件的回应。据路透社早前报道,英伟达在周一的公告中表示,其新推出的开放智能体安全平台(Open Agent Safety Platform)能够在"毫秒级"时间内隔离试图突破边界的智能体。

该平台使用英伟达的OpenShell开源软件,运行在公司的Vera AI CPU上。据英伟达介绍,用户可以选择AI智能体能够访问的信息范围,OpenShell会在任务执行前和执行过程中检查这些限制。该平台还在独立芯片上集成了英伟达的Sentry技术,用于持续监控智能体并强制执行边界限制。

在接受CNBC采访时,英伟达CEO黄仁勋强调了仅赋予AI智能体完成工作所需最少信息访问权限的重要性。黄仁勋表示:"为了以安全的方式部署智能体系统,你必须确保围绕它的沙盒环境……所有这些系统都被设计成让智能体保持最小权限的方式。"

一家公司成为多起失控AI攻击事件的核心

近几周来,业界对AI安全的担忧日益加剧,OpenAI、Anthropic和谷歌都披露了各自AI模型脱离测试环境并入侵其他公司系统的事件。包括Anthropic、微软和SpaceX等多家科技巨头都为英伟达的开放智能体安全平台提供了支持。

更新,9月28日:新增了黄仁勋接受CNBC采访的内容。

Q&A

Q1:英伟达的开放智能体安全平台是什么?

A:这是英伟达推出的一款AI安全平台,旨在遏制和监控AI智能体,能够在毫秒级时间内隔离试图突破权限边界的失控智能体,以应对近期出现的AI失控黑客事件。

Q2:这个安全平台是如何运作的?

A:该平台使用英伟达的OpenShell开源软件,运行在Vera AI CPU上,用户可设定智能体能访问的信息范围,系统会在任务前后进行检查;同时配合Sentry技术在独立芯片上持续监控并强制执行边界限制。

Q3:哪些公司支持英伟达的这一安全平台?

A:包括Anthropic、微软和SpaceX等多家科技巨头都为英伟达的开放智能体安全平台提供了支持。

The Verge