红帽公司今日宣布扩大与英伟达公司的合作,旨在帮助企业保护自主人工智能智能体的安全、管理对AI模型的访问权限,并在英伟达即将推出的Vera Rubin数据中心基础设施上部署工作负载。
此次更新在英伟达柏林GTC大会上公布,核心内容围绕"红帽AI工厂与英伟达"展开,整合了智能体运行时控制、模型推理软件以及跨混合云环境的硬件支持。红帽还表示,正在致力于将英伟达的OpenShell参考架构作为原生能力集成到其AI平台中。
此次安全方案主要应对两类风险:智能体超出其授权边界,以及攻击者通过提示注入或供应链攻击等手段入侵智能体。两家公司的目标是将安全控制置于智能体之外,在适当情况下,也置于主机操作系统之外。
"智能体不应自行执行边界控制,"英伟达企业软件副总裁约翰·法内利在声明中表示。"这些控制应该存在于运行时和底层基础设施中,而不是智能体本身。"
OpenShell为智能体提供了一个沙盒运行环境。在这一软件层之下,英伟达的Sentry安全框架运行在该公司的BlueField数据处理单元上,利用其DOCA Argus软件从独立的硬件安全域中监控工作负载。
在一篇配套的技术博客中,红帽表示,Argus会检查选定的主机内存结构,以观察进程、文件和网络活动,而无需在主机上安装监控软件。集成安全系统可以利用其警报来触发BlueField策略,从而隔离受影响的工作负载。
该架构建立在红帽OpenShift 4.22中现有的BlueField-3支持基础之上。它将运行在服务器CPU上的AI工作负载与运行在BlueField的Arm处理器上的网络和安全服务分离开来。当配置为限制主机访问时,这种分离有助于即使在攻击者入侵主机的情况下也能保护基础设施控制。
红帽表示,Sentry能够在数毫秒内隔离受感染的智能体。将监控和网络功能迁移到数据处理单元上,也减轻了主机CPU的负担,为AI工作负载留出了更多处理能力。
模型控制
此次合作还涉及智能体进行推理和行动所需的模型基础设施。一项联合参考设计将"模型即服务"访问控制和AI网关与包括vLLM、llm-d、英伟达Dynamo和英伟达NIM微服务等推理技术相结合。
该设计基于英伟达的Inference Hub参考设计,支持自助式模型发现、访问策略、速率限制以及订阅权益跟踪。将访问管理与模型执行分离,旨在帮助企业管理配额、分摊成本并在混合环境中保持性能。
两家公司还宣布联合支持英伟达Nemotron系列模型,包括Nemotron 3.5 Super VL,支持范围涵盖vLLM推理与服务引擎以及红帽AI工厂与英伟达平台。红帽着重介绍了量化和推测解码技术,旨在降低推理延迟的同时保持准确性。
在硬件部署方面,红帽表示其面向英伟达的企业版Linux现已支持Vera CPU,并已为Vera Rubin平台做好准备。两家公司的目标是在新硬件上市时实现操作系统和平台的兼容性。
一篇配套的操作系统博客解释称,面向英伟达的RHEL 26.03版本修改了一组有限的核心软件包以适配新硬件,同时保留了标准的RHEL用户空间和安全控制,包括安全增强型Linux(SELinux)。一旦硬件补丁成熟并进入上游Linux内核,用户无需重新安装即可过渡到主线RHEL版本。
红帽表示,相关联合用例、参考设计和智能体能力已通过包括思科系统公司、戴尔科技公司和联想集团等合作伙伴提供,而原生OpenShell集成工作仍在持续推进中。
