红帽发布 Red Hat AI 3.5，解决可能拖慢 AI 试点的 GPU 排队难题-AI基础设施-至顶网

红帽本周发布 Red Hat AI 3.5，目标是让软件工程团队能够以运行关键业务基础设施上企业级应用时同样的运维严谨度来运行 AI。

这一举措呼应了当前科技行业普遍存在的两条叙事主线：从“试点走向生产”，以及“用单一控制平面统管基础设施、模型与智能体”。红帽此次的关键动作，似乎在于扩展平台能力，为 AI 服务提供商提供增强的多租户支持。

关键在于，这一新版 AI 平台专为需要完整软硬件隔离的 AI 用例而设计——当 AI 工作负载必须处理敏感数据、专有模型和受监管信息时，这种隔离是必需的；同时它还能在共享 GPU 基础设施上，通过原生多租户能力处理优先级感知的服务请求，让关键业务工作负载优先于低等级任务执行。

红帽 AI 产品高级总监 Tushar Katarki 表示，在没有安全管控的情况下运行企业 AI，“就像蒙着眼睛开超级跑车”。

Katarki 说：“借助 Red Hat AI 3.5，我们提供了必要的运维护栏、可验证的信任和多租户控制能力，让 AI 能够作为关键业务服务来运行，而不是一场不可预测的实验。无法度量就无法扩展，无法验证就不该部署。通过统一部署前的安全基准测试、实时可观测性和 GPU 资源管理，我们让平台团队有能力把孤立的 AI 试点转变为完全受治理的企业架构。”

每一次 GPU 请求如今都变成一次优先级决策

应用数学家、数据科学家兼兼职首席营销官 Joshua Estrin 博士表示，红帽的工作恰逢其时，主要原因是“每一次 GPU 请求如今都变成一次优先级决策”，因此某位开发者的内部实验不能与一次财务结算享有同样的紧迫性。

Estrin 说：“看看当前 AI 基础设施厂商的格局就能发现，红帽显然已经意识到，优先级感知的多租户能让企业更高效地使用昂贵的算力，但没有隔离的效率，只是更快地制造安全与可靠性危机。”

他认为，这个市场的赢家将是那些能够在生产环境中“共享容量，同时仍能证明什么发生在哪里”的组织。他照例点名了英伟达、Nutanix、带 Rancher 的 Suse、HPE Ezmeral 以及博通旗下的 VMware Cloud Foundation 等常见候选者。

Estrin 补充说：“这意味着要能证明谁的工作负载真正执行并运行了、谁拥有访问权限、成本是多少，以及需求激增时会发生什么。这些答案很少能从基础设施架构图里找到，通常是在董事会会议室里定下来的，而且往往是在某个人的关键工作流变慢之后。无论如何，这概括了 AI 基础设施当前的处境。”

多租户的痛点究竟被抬高到了什么程度

要理解正在发生的事情，先要提醒自己：GPU 很贵，这是显然的。随着组织把智能体 AI 推向生产环境，他们会希望最大化 GPU 状态服务多个团队、多个客户、多个应用等多个工作负载的能力。

这一切意味着，AI 基础设施效率的广度正在成为智能体时代新的瓶颈。

前面提到的、在共享 GPU 基础设施上实现原生多租户的优先级感知服务，眼下很重要；该功能会依据工作负载优先级动态分配 GPU 容量。当低优先级工作负载可以跑在空闲（或更便宜）的容量上，而不必为次要任务单独开通 GPU 资源时，大家周五都能早点下班。

但这里同时要抛接的球不止这些。红帽还提到了隔离，这是一项同样复杂的 AI 基础设施学科挑战。通过隔离技术管理的 GPU 计算资源，能让 AI 服务在运行时不访问、也不干扰其他服务的数据、模型或计算环境。

换句话说，这把硬件整合与强租户隔离结合在了一起。

红帽提供了哪些新技术

红帽表示，这一版本让开发者可以通过 EvalHub 在部署前验证模型，从而支持以风险为核心的安全基准测试和监管合规认证。

新的可观测性仪表盘为平台团队提供实时查看推理健康状况、GPU 利用率和 AI 模型性能的指标。非管理员用户也可以访问仪表盘，查看按用户统计的 Token 消耗分摊（即 Token 追踪的另一种说法）以及分布式推理工作负载情况。

另一项新能力是面向多租户推理的共享 GPU 控制。所谓“公平共享 GPU 调度”负责管理跨租户的资源分配，而优先级感知服务则提供准入控制和基于优先级的请求路由，以保护实时推理。如前所述，它还允许后台工作负载使用可用容量。

Nutanix 产品管理副总裁 Anindo Sengupta 表示，大规模运行多租户 AI 确实需要安全的租户隔离。

Sengupta 说：“最本质的隔离最好通过虚拟化实现。对于专业的大规模 AI 工作负载，也可以选择在裸金属上运行 Kubernetes。在此基础上，要创造真正的价值，智能体需要同时访问运行在容器里的大语言模型，以及运行在传统基础设施上的企业系统（数据库、业务系统等）。要让混合 AI 高效运行，平台必须以高性能的方式管理这两类环境，并提供统一的操作模式。”

可观测性与模型即服务的分摊计量

红帽最新版本内置的可观测性和模型即服务分摊计量，用于提供按用户统计的 Token 计量、模型与智能体的性能仪表盘、MLflow 可视化智能体追踪，以及 GPU 利用率仪表盘，以实现运维和使用情况的透明化。

在高效的 GPU 内存管理方面，CPU 卸载正式可用、存储卸载进入开发者预览，使模型无需额外 GPU 硬件即可处理更长的对话和更大的文档。

Red Hat AI Hub 还推出了智能体模板和入门套件，为代码审查、文档处理和研究工作流等常见企业场景提供预配置的参考实现。

红帽希望 Red Hat AI 3.5 这一版本能让行业进入这样一种状态：基于 GPU 的 AI 资源被视为一个由策略控制的基础设施资源池。

有算力而无互连带宽，等于白搭

随着企业 AI 试点取得成功、初步结果显现出一定回报，IT 团队随后必须解决规模化交付的问题。但要在整个业务中扩展 AI，就需要像对待任何关键业务基础设施那样的运维严谨度：部署前经过验证的安全性、跨共享 GPU 环境的精确资源控制、受治理的智能体行为，以及透明的使用指标。

主权 AI 边缘云提供商 Zadara 的 CEO Yoram Novick 此前曾就这一话题公开表态。他说，当团队需要扩展 AI 时，“仅仅增加更多 GPU 而不确保足够的互连带宽，可能导致收益递减”。

总体而言，凭借优先级感知推理、租户隔离、容量共享和可观测性等能力，红帽希望 Red Hat AI 3.5 的发布能让行业进入这样一种状态：基于 GPU 的 AI 资源被视为一个由策略控制的基础设施资源池。

Q&A

Q1：Red Hat AI 3.5 是什么？它主要解决什么问题？

A：Red Hat AI 3.5 是红帽本周发布的新版 AI 平台，目标是让软件工程团队以运行关键业务应用同样的运维严谨度来运行 AI，主要解决 GPU 排队拖慢 AI 试点的问题，并把孤立的试点转变为受治理的企业架构。