随着AI智能体近期频繁出现失控事件,业界对此争论不断——有人认为这是通向通用人工智能的一步,也有人认为这只是常规的工程问题。面对这一争议,Nvidia给出了自己的解决方案。

Nvidia首席执行官黄仁勋周一发布了一套软硬件工具包,该工具包在AI智能体周围增加了独立的安全防护层,确保即便智能体试图突破限制,也能将其控制在测试环境内。

此次发布是在一系列黑客事件之后进行的,这些事件中来自Anthropic、谷歌、OpenAI和Meta的AI模型绕过安全控制,逃离测试环境并访问真实系统。第一个也是最引人注目的案例发生在今年夏天,当时OpenAI的智能体在执行网络安全任务时突破了Hugging Face的防护。类似事件仍在持续发生——OpenAI甚至专门建立了一个网站,用于记录其AI智能体失控的报告。

黄仁勋周一在接受CNBC采访时表示,Nvidia全新的开放智能体安全平台本可以阻止这些安全漏洞的发生。

Nvidia凭借向AI实验室销售GPU和CPU芯片赚取了数百亿美元,该公司并不支持通过放缓开发速度或增加行业新规来解决安全问题。相反,该公司认为,解决之道在于将部分安全控制机制完全移到智能体之外——建立一个持续运行且独立的安全监控系统,用于约束AI智能体的行为。

黄仁勋在声明中表示:"AI对社会的巨大潜力,只有在我们解决AI安全问题之后才能真正实现。当我们不断拓展AI能力的前沿时,也必须加快AI安全前沿的探索速度。安全与安保需要全栈式的工程能力。"

Nvidia全新的开放智能体安全平台将OpenShell与Sentry相结合。OpenShell是该公司的开源软件,用于控制智能体运行时可访问的内容;Sentry则是一套独立监控系统,运行在Nvidia的BlueField-4数据处理单元上。Nvidia表示,将Sentry部署在独立的处理器上——而非智能体运行所在的CPU或GPU上——能够提供对智能体活动的隔离视角。

OpenShell并非新产品,该公司早在今年三月就已发布这款软件。但Nvidia认为,正是这种组合才能提供行业持续发展所需的安全防护层。OpenShell为智能体提供了软件层面的边界限制,而Sentry则在硬件层面增加了另一道防线,该公司表示这能持续监控智能体行为,并"在数毫秒内隔离试图越界的智能体"。

Nvidia列出了数十家已签约支持该计划并使用这一开源平台的公司,包括Anthropic、Arm、微软、甲骨文和SpaceX。OpenAI并未出现在参与公司名单中。

黄仁勋周一在接受CNBC采访时表示,这项工作始于一年前,起因是彼得·斯坦伯格创建的智能体操作系统OpenClaw的推出。今年三月,Nvidia发布了NemoClaw,这是一款企业级AI智能体平台,也是其内置安全机制的OpenClaw版本。

黄仁勋在接受CNBC采访时说道:"当你部署一个智能体时,无论它多么智能,第一件要做的事就是剥夺它的所有权限。"随后他将这些安全措施与企业管理人类员工甚至高管的方式进行了类比。

Nvidia的这一发布获得了广泛支持,尤其是那些一直警告放缓开发速度可能让中国在AI领域实现超越的人士。

戴维·萨克斯是一位创业者、风险投资人,曾担任白宫AI事务负责人,目前担任总统科学技术顾问委员会联席主席。他表示,Nvidia的这一发布提醒人们,智能体安全本质上是一个工程问题。

他在X平台上写道:"近期的这些失控事件并不能证明开发必须停止,它们只能证明沙盒环境的防护太薄弱了,运行环境的设计和配置存在缺陷。"

Q&A

Q1:Nvidia开放智能体安全平台是什么?

A:这是Nvidia推出的一套软硬件工具包,通过在AI智能体周围增加独立安全层,确保智能体即便试图突破限制,也能被控制在测试环境内,从而防止其访问真实系统。

Q2:Nvidia的安全平台是如何工作的?

A:该平台结合了OpenShell开源软件和Sentry独立监控系统。OpenShell控制智能体可访问的内容,Sentry运行在独立的BlueField-4数据处理单元上,能持续监控智能体行为,并在数毫秒内隔离试图越界的智能体。

Q3:哪些公司支持Nvidia的这一安全计划?

A:包括Anthropic、Arm、微软、甲骨文和SpaceX等数十家公司已签约支持该计划并使用这一开源平台,但OpenAI并未出现在参与公司名单中。

TechCrunch - AI