智能体治理 关键字列表
"人在回路"为何不够用?智能体AI治理的困境与出路

"人在回路"为何不够用?智能体AI治理的困境与出路

随着智能体AI在企业中大规模部署,"人在回路"(HITL)被视为防止AI失控的关键机制。然而,HITL存在自动化偏见、认知过载、责任推诿、界面简化掩盖复杂性等深层缺陷,且随系统规模扩大问题愈发严重。现有改进方案如限制代理权限、优化治理工具等虽有价值,但仍不足以根本解决问题。作者提出"自动化在回路"(AITL)新理念:将自动化视为支持人类工作的辅助手段,确保人类始终保有最终决策权,而非被自动化系统取代。

SAP 2026年蓝宝石大会:CEO承认AI战略曾走弯路,全面转向业务自主化【正常】

SAP 2026年蓝宝石大会:CEO承认AI战略曾走弯路,全面转向业务自主化【正常】

SAP首席执行官Christian Klein在2026年Sapphire大会上坦承,公司约在八九个月前调整了AI战略方向,从强调AI技术本身转向聚焦业务成果,目标是实现"自主企业"愿景。SAP发布了全新品牌SAP Business AI和SAP Autonomous Suite,重构AI平台以更好融入客户业务上下文。SAP高管还强调,需防范"智能体失控"风险,并引入"企业记忆"概念提升AI决策的精准度。

戴尔科技峰会2026:AI的未来在本地部署

戴尔科技峰会2026:AI的未来在本地部署

戴尔科技世界大会2026聚焦企业AI落地实践,核心趋势指向本地化部署。随着云端大模型调用成本激增,戴尔COO透露AI令牌用量已增长320倍,预计2030年将增长3400%。数据主权需求、智能体治理要求以及对关键系统的直接管控,正推动企业将AI工作负载从云端迁移至本地计算资源。大会发布了Dell AI数据平台及桌面智能体AI开发套件等新品,助力企业构建安全可控的AI基础设施。

企业对智能体采用"一刀切"治理策略面临失败风险

企业对智能体采用"一刀切"治理策略面临失败风险

Gartner报告发现,对所有AI代理采用统一治理策略会导致企业项目失败率上升。该机构预测,到2027年,40%的企业将停用代理,因为技术团队未能区分代理的行动能力与其被授予的访问权限范围。Gartner建议采用比例治理方法,根据代理角色设定不同的自主权和边界级别,包括观察、建议、批准后执行和自主执行四个层级。

智能体AI治理的缺失拼图:评估工程如何破局

智能体AI治理的缺失拼图:评估工程如何破局

随着AI智能体能力日益强大,治理难题愈发突出。当前主流方案是部署多个对抗性验证器进行多层校验,但面临延迟高、Token消耗大的瓶颈。本文梳理了Klover AI、Maxim AI、Arize、Confident AI及Galileo AI等厂商在评估工程领域的实践,其中Galileo通过ChainPoll方法和专用Luna模型,以更低成本实现高效智能体治理。

Teradata发布企业级AI智能体平台,助力企业走出试点阶段

Teradata发布企业级AI智能体平台,助力企业走出试点阶段

Teradata推出自主知识平台,整合数据、分析、AI开发、智能体编排与治理能力,支持云端、本地及混合环境部署。该平台面向已完成AI试点、正式推进落地的企业用户,核心功能包括AI Studio、自然语言工作区Tera、Tera Agents、弹性计算及即将上线的Teradata Factory。平台强调治理能力,每次智能体工具调用均通过Enterprise MCP接口进行权限验证与审计,确保企业在智能体自主运行时仍保持可控性与合规性。

ServiceNow发力企业级AI管控平台,打造智能体统一治理中枢

ServiceNow发力企业级AI管控平台,打造智能体统一治理中枢

ServiceNow发布AI平台重大升级,核心是强化AI Control Tower的治理、安全与自主执行能力。该平台覆盖AI资产发现、治理、安全、可观测性和财务衡量五大功能,支持跨异构环境管理AI模型与智能体工作流。新推出的自主安全模块整合了Veza和Armis的能力,可实现身份访问风险识别与自动化修复。此外,ServiceNow扩展"自主劳动力"AI专家矩阵,覆盖IT、客服、CRM及风险管理场景,推动AI从提供洞察向完整执行工作流演进。

SAS将AI治理置于智能体战略核心位置

SAS将AI治理置于智能体战略核心位置

SAS在年度大会上发布多项新工具,包括SAS Viya Copilot对话式AI助手、支持外部智能体安全访问的MCP服务器,以及用于AI模型清单管理与合规治理的SAS AI Navigator平台。面对企业AI从实验走向规模化部署的趋势,SAS强调在智能体自主决策过程中保持人工监督与治理能力,同时升级数据管理平台,确保AI运行建立在可信数据基础之上。

智能体AI治理为何失效?我们该如何应对

智能体AI治理为何失效?我们该如何应对

当前智能体AI的失控行为已达到令人担忧的程度,现有治理方案难以有效遏制。本文分析了三大核心困境:监管AI的"警察智能体"自身也可能违规;过度约束导致智能体丧失业务价值的"自主性挤压";以及人类因"自动化偏见"而逐渐放弃主动监督。作者建议采用多元对抗性验证机制,从语法、语义、执行、结果四个层次进行校验,但强调这只能降低风险而无法彻底消除,企业须接受智能体行为存在"误差预算"的现实。

77%的IT管理者认为企业智能体已失控——5种有效应对方法

77%的IT管理者认为企业智能体已失控——5种有效应对方法

Rubrik ZeroLabs最新调查显示,仅23%的IT管理者表示对组织内AI智能体拥有"完全"掌控。更令人担忧的是,81%的受访者反映,智能体所需的人工审计时间反而超过了其节省的工作量。86%的IT管理者预计,未来一年内智能体的扩散速度将超越安全防护能力。专家指出,智能体蔓延已成为企业普遍问题,亟需建立完善的治理机制、可观测性工具及回滚能力。

ServiceNow押注安全与智能体AI,驱动持续营收增长

ServiceNow押注安全与智能体AI,驱动持续营收增长

ServiceNow首席执行官Bill McDermott在2026财年Q1财报电话会上表示,公司确立了五大超高速增长领域:安全、核心IT、智能体AI、AI原生能力及工作流数据结构。Q1营收达36.7亿美元,同比增长19%。过去一年,ServiceNow先后收购网络安全公司Armis和身份安全公司Veza,并与OpenAI合作为客户提供前沿模型能力。McDermott强调,AI、数据、安全与治理已内置于所有产品中,平台正从"拓展式增长"转向"复利式控制"。

MuleSoft Agent Fabric新增多项功能,助力企业管控AI智能体

MuleSoft Agent Fabric新增多项功能,助力企业管控AI智能体

Salesforce正在强化其MuleSoft平台上的Agent Fabric功能,新增治理工具与确定性控制机制,以解决企业多智能体部署中的冗余、孤岛化及成本失控问题。新功能包括:用于智能路由的Agent Script确定性脚本(预计2026年6月正式上线)、已全面上线的LLM Governance成本管控工具,以及简化遗留API接入的MCP Bridge等。分析师指出,这些更新有助于企业统一治理AI智能体,但也需警惕由此带来的平台锁定风险。

阿西莫夫三定律对智能体AI治理的启示

阿西莫夫三定律对智能体AI治理的启示

阿西莫夫机器人三定律虽是科幻叙事工具,却对当今AI智能体治理具有深刻启示。文章指出,当前AI治理工具虽提供了精细化的权限管控,但仍缺乏应对模糊情境的通用伦理框架。元认知被视为潜在解决方案,但存在"镜像迷宫"困境——监督机制本身也可能失效。作者提出"上下文密度"概念,认为高密度的人类意图必须由人工转化为低密度的可执行策略,且人类必须始终参与AI治理边界的划定。

Salesforce与Databricks发布智能体AI治理工具

Salesforce与Databricks发布智能体AI治理工具

Salesforce和Databricks近日相继发布AI智能体治理功能,旨在加强企业对智能体运行的管控。随着智能体被快速纳入工作流程,企业往往同时部署多个产品,容易造成"智能体蔓延",带来安全风险与高额运营成本。Salesforce在其Agent Fabric中新增权限管理与合规标准化功能;Databricks则扩展AI Gateway,支持访问控制、API治理及成本记录。分析师建议CIO结合自身架构选择治理工具,并将FinOps与智能体治理统一纳入管理体系。

AWS智能体注册中心发布:统一管理大规模智能体集群

AWS智能体注册中心发布:统一管理大规模智能体集群

AWS正式预览推出AWS Agent Registry服务,这是一个集中化的AI智能体发现与治理平台,旨在解决企业因大规模部署AI智能体而产生的"智能体蔓延"问题。该服务支持跨云平台及本地环境的智能体索引,提供结构化元数据管理、混合语义搜索及审批工作流等功能。开发者可通过该平台复用已有智能体,避免重复开发。西南航空等企业已率先试用并反馈积极。该服务目前在五个AWS区域开放预览。

Gartner首次发布守护智能体市场指南的五大启示

Gartner首次发布守护智能体市场指南的五大启示

Gartner发布首份AI守护代理市场指南,标志着这一新兴领域的重要里程碑。报告显示近70%企业已在生产环境中部署AI代理,但快速采用超越了传统治理控制,增加了运营失败和合规风险。文章分析了AI代理监督的必要性,介绍了可视性追溯、持续保障评估、运行时检查执行三大核心功能领域,并详述了六种新兴交付集成方法。强调企业需要独立的守护代理层来实现跨平台治理。

德勤警告:AI智能体部署速度超越安全框架建设

德勤警告:AI智能体部署速度超越安全框架建设

德勤最新报告显示,企业部署AI智能体的速度远超安全协议和防护措施的建设进度,引发安全、隐私和责任担忧。调查发现,仅21%的组织对AI智能体实施了严格治理,但使用率预计将从23%增至74%。专家建议采用"受控自主"模式,通过明确边界、详细日志记录和人工监督来确保安全。报告强调,只有在可见性和控制力基础上部署AI智能体的企业才能获得竞争优势。

控制AI智能体扩张:CIO治理指南

控制AI智能体扩张:CIO治理指南

企业网络中AI代理数量激增,给管理多云基础设施的领导者带来治理盲点。IDC预测到2029年活跃部署的AI代理将超过10亿个。Salesforce通过扩展MuleSoft Agent Fabric功能应对这一挑战,推出自动化发现工具来集中管理AI代理。该系统通过Agent Scanners持续扫描主要生态系统,自动检测运行中的代理,提取元数据并标准化为A2A规范,为企业提供统一的可见性和控制能力。

自动化技术领导者揭示企业对AI认知的关键误区

自动化技术领导者揭示企业对AI认知的关键误区

自动化技术领袖指出,AI驱动自动化的真正价值不在于节省时间,而在于实现以往无法完成的工作。市场正从简单任务自动化转向能力自动化,企业需要在确定性系统和概率性系统间找到平衡。成功实践包括专注高杠杆任务、设计有目的的自动化流程、保持人工监督和设置安全边界。随着AI技术快速发展,企业需要在追求效率提升的同时建立有效治理机制。