AI智能体风头正劲,但它们的实际能力并没有供应商所宣传的那样出色。
针对承担复杂工作任务的智能体所进行的基准测试显示,这些智能体在缺乏严密监管的情况下通常难以保持足够的可靠性。LiveBench 2.0的测试结果显示,Claude Fable 5.2和ChatGPT-6 Astra在100项任务中分别成功完成了82.9项和75.6项;而AI基础设施公司EON在模拟企业环境中对智能体进行的测试发现,表现最好的模型Claude Opus 4.8的任务准确率为76.8%。
现在,一家名为Plurai的初创公司希望借助曾助力自动驾驶汽车上路的技术方法来提升这些数字:利用基于企业自身数字系统的合成数据进行模拟,旨在让模型为应对棘手的边缘案例做好准备。
联合创始人伊兰·卡达尔(Ilan Kadar)和埃拉德·利维(Elad Levi)此前曾在开发自动驾驶技术的Nexar公司工作。卡达尔曾与Waymo合作,模拟并评估其端到端深度学习驾驶软件。
"当我们看到AI智能体的浪潮袭来时,我们发现了同样的模式:搭建一个演示很容易,但要做出可靠且具有成本效益的东西却很难,"卡达尔对TechCrunch表示。"由于我们看到了同样的模式,我们的核心主张是构建这种模拟层。"
本周三,该初创公司宣布已完成1300万美元的种子轮融资,以推进这一构想。本轮融资由Team8领投,U&I、Velocity和Mercer参与投资。
与训练用于驾驶汽车的端到端模型类似,AI智能体也是在不可预测环境中运行的概率系统。在客户施压的情况下,负责预订旅行的智能体可能会忽视支出政策。又或者,当负责查询单一数据库时,智能体能够可靠地给出答案,但一旦需要整合多个数据集的信息,往往就会出现问题。与客服机器人进行长时间对话,也可能让智能体因上下文信息过多而不堪重负,进而导致判断失误。
为解决这一问题,Plurai会为企业的电子系统创建一个数字孪生体,其中包括智能体在生产环境中可访问的知识库和工具。随后,公司会梳理出智能体所有可能的工作流程,并利用这一流程图对模型进行评估,针对可能出现的边缘案例进行修正。该平台可与Claude Code、Codex、Copilot和Cursor等现有的智能体工具协同使用。
不过,卡达尔表示,公司真正的价值在于利用其收集的数据,对小型开放权重模型进行后训练,以满足各个客户的个性化需求。与英伟达和Nebius合作进行的测试显示,该公司的模型在性能上优于中端前沿模型,且成本更低。
"我们可以拿一个大语言模型,将任务进行分解,再借助模拟环境将其拆解为更小的子任务,训练出一个开放权重模型,然后通过模拟验证其质量达到或超过前沿模型的水准,同时将成本降低一到两个数量级,"他说。
谷歌DeepMind研究员雷亚·米亚拉(Reah Miyara)作为天使投资人支持了Plurai,他表示,该公司的优势在于深刻理解生产环境中的故障模式,并据此生成合成数据来调优模型。随着企业努力优化AI支出,Plurai的方法可能会成为真正的优势所在,因为IT主管们已经意识到,"前沿能力模型与我的具体数据之间存在分布差异,而这些模型的长期成本是难以承受的,"米亚拉说。
Plurai希望,物理环境与数字环境中AI智能体之间的类比能够具有预见性:尽管强大的通用AI模型正赋予机器人令人惊叹的能力,但它们目前还不够可靠,无法大规模部署。与此同时,由针对特定任务构建的AI模型驱动的机器人已经投入实际应用,为客户提供服务并收集宝贵的真实世界数据。
"我的看法是,无论OpenAI和Anthropic的模型变得多么聪明——而它们确实会变得更加聪明——它们都不会了解你的业务和你的政策,"卡达尔说。
