人工智能监督领域的先驱公司Pretxt AI今日宣布获得500万美元种子轮融资,旨在应对在生产环境中部署自主智能体所带来的真实风险。
该公司开发了一种全新的"AI监督"工具,在运行时施加监管,确保这些智能体始终遵循企业的规则。本轮融资由Deciens Capital领投,Howdy Partners、Service Provider Capital和NSV Wolf Capital参投。
这家初创公司提出了一种持续性运行时监督层的理念,在智能体执行工作任务的过程中进行监控,将其行为与母公司的规则和政策进行对比。如果发现某个智能体开始偏离正轨,系统会立即介入,将其拉回正确轨道,防止其在造成伤害业务的严重错误之前继续偏离。
随着企业开始将比起草邮件或生成图像更具重要性的工作交给AI智能体处理,像Pretxt这样设计的实时护栏机制很可能会成为企业的优先考虑事项。例如,如果智能体需要负责处理客户退款、访问关键业务数据库并修改其中的记录,企业就需要获得最强有力的保证,确保这些任务不会出错。
然而,这类保证目前十分稀缺。AI在不知道问题答案时容易"产生幻觉"式的回应,这是众所周知的问题,而自主智能体也一再表现出不稳定的行为。它们无需恶意的提示注入,就可能在工作流程中遗漏关键的必要步骤,或者为了简化正在完成的任务而凭空捏造政策例外情况。无论是在实验室环境还是现实世界中,这种情况都曾出现过。
为应对这一问题,大多数安全工具采取了较为强硬的方式,直接阻止智能体的行动,但这样做会拖慢工作进度。另一种方式是在错误发生后再进行标记,但到那时,损害可能已经造成,且规模巨大。
Pretxt的联合创始人布莱恩·索比(左图)和亚伦·科斯特利(右图)意识到,企业需要一种更为平衡的方法来处理智能体的安全与监督问题。索比目前担任该初创公司的首席执行官,此前曾在Salesforce公司和Mitre公司担任高级安全职务,随后创立了软件即服务安全初创公司AppOmni。
正是在AppOmni工作期间,他结识了科斯特利,后者现任Pretxt首席技术官。在AppOmni任职期间,两人发现了Salesforce和ServiceNow公司所开发的AI智能体中存在的若干重大漏洞,并由此开始理解确保这些智能体安全运作所需具备的条件。
运行时的监督机制
许多传统的智能体监控工具采用第二个大语言模型作为"裁判",用来监控执行实际工作的主要大语言模型的行为。但Pretxt的联合创始人摒弃了这一思路,因为这种方式会带来延迟、增加计算成本,并涉及过多的猜测成分。
相反,他们的AI监督平台由一个近乎确定性的引擎驱动,能够在毫秒级时间内评估智能体的行为,从而发现违反规则的行为并在其发生过程中进行拦截。该公司表示,这一速度比基于"大语言模型作为裁判"的安全工具快60倍。
这种方法行之有效。在Zapier的AutomationBench测试中,Pretxt成功将智能体的政策违规率从约五分之一降低到零。该工具设计得易于实施,团队无需深入理解他们所要监督的模型或智能体。
相反,用户只需选择适用于某个智能体的政策、标准和护栏规则,然后就可以实时跟踪其执行情况。该平台允许用户跟踪审批流程、回滚计划版本,并将任何棘手的边缘情况上报给人类决策者处理。
最后这项功能尤为有用,因为许多组织的安全方案在面对智能体遇到此前未曾预见的情况时往往存在空白。在这种情况下,Pretxt会暂停该智能体,并请人类来决定应当如何制定规则。
"监督一个AI智能体,不应当意味着要成为其所涉及的一切事物或其构建方式方面的专家,"科斯特利表示。"团队只需用简单明了的语言告诉我们它应该如何行事、边界在哪里,我们就会监督并引导该智能体始终保持在这些界限之内。因此,无需理清权限问题,也无需深入研究智能体的内部机制。"
Pretxt的AI监督工具目前已开放早期访问。该工具主要面向高风险的受监管行业,这些行业中的错误和幻觉现象是绝对无法容忍的。
对于金融服务和保险公司而言,该工具可以强制执行借款人验证规则,并将复杂的理赔案件转交给人工处理;而在医疗保健和生命科学领域,它可以确保智能体不会逾越严格的界限。在客户支持应用中,它可以防止智能体向客户提供未经批准的折扣或退款。
AI监督可以为众多不同的人群带来多种不同的益处。首席信息官及其他高级管理人员将能够安全地扩展更高价值的AI项目,而安全团队、合规官员和平台工程师则可以填补风险管理方面的空白,并确保低延迟的政策执行,而无需叠加额外的模型。
企业管理协会分析师克里斯·斯特芬表示,真正让Pretxt脱颖而出的是其对基础要素的关注。它不仅检查智能体的行为是否规范,还确保它们在完成所分配的工作时不违反任何规则、不走任何捷径,这实际上创造出了一个全新的AI监督工具类别。
"大多数工具只会询问某个智能体是否安全、是否合规或是否可观测,但能够显示该智能体是否正确完成了所分配任务的工具却少之又少,"斯特芬表示。"大多数工具只能在事后报告出了什么问题,而那时往往为时已晚。Pretxt则会在结果仍可改变的时候进行介入,将智能体拉回正轨。"
图片来源:Pretxt
