目前,行业内对 “AI Scientist”,还没有统一的定义。

一部分观点认为,只要系统可以自动获取数据、研读论文、输出 Python 脚本,并完成整套实验流程,就已经算得上接近 AI Scientist。

但其实,这些能力更偏向研究助手,或者是代码智能体。它们可以帮科研人员整理文献、编写代码、执行实验,却不能通过实验,产出新的发现突破。

二者的差距,也就体现在这一点。

具体来说,研究助手的工作始终建立在现有知识之上,即便执行效率再高,其探索边界,也会被既有的问题、方法和知识框定。而 AI Scientist,要能自主提出假设、设计实验、观测反馈,并依据输出结果进行后续规划。

如果实验失败,还要能定位问题根源;面对多条并行的研究方向,还要分配有限的时间与算力资源。

Sapient Intelligence 联合创始人陈威廉(William Chen)看来,要判断一套系统是否称得上 AI Scientist,有两个核心的条件:第一,实验开始前,问题没有现成答案。第二,实验结束后,系统是否能够通过实验给出能指导后续研究的新结论。

Sapient Intelligence 塑造 AI 科研“新范式”

Sapient Intelligence 联合创始人陈威廉(William Chen)

Sapient Intelligence 塑造 AI 科研“新范式”

01  过早“剪枝”,可能剪掉了“更优解

这套评判标准,同样也适用于企业的研发场景。

就比如,在机器人控制、量化金融、药物发现等领域重,很多复杂研发问题都没有现成答案,因此需要不断提出新的假设、设计实验,再根据结果调整方向。

机器人控制领域,参数的变化会影响整套控制策略;量化金融领域,策略成不成立,需要经过大量历史数据和不同市场环境的检验;药物发现领域则往往要反复测试不同分子组合。一个方案没有效果,就得换下一种;实验出现新的结果,又继续修改方案、重新验证。研究往往就是这样一点点往前推进的。”陈威廉如是说。

但是,科研人员的时间有限,很多实验一次就要花费几天时间,而且设备和算力也有上限。研发团队只能从可能的方向里挑选一部分优先尝试,其他方向只能暂时搁置。

而 AI Scientist 可以承担这部分工作,提出多组假设,自主排布实验、比对数据,筛掉无效路径,把资源倾斜给潜力更高的方向。

当前,AI Scientist 领域已经分化出几条不同的技术路线。比如风头正劲的 Sakana AI Scientist,其发力点在于“机器学习研究流程的自动化”,覆盖从生成研究想法、运行实验、分析数据、完成可视化,到论文生成多个环节。

再比如 AIDE 或 Weco,更偏向机器学习的工程落地和代码优化;Discovery Loop 这类系统,则把重点放在如何构建完整的实验闭环上。

虽然这些 AI 系统都能改变传统的研发流程,但存在一个关键的差异:组织“探索”的方式不同。

如今,大部分系统采用的是“树状搜索逻辑”。这套逻辑并不复杂:系统运行过程中,会持续根据各个分支的表现进行评分,得分较低、表现较弱的候选路径就会被剪掉,不再继续投入算力。

在确定性较强的寻优问题中,这种“剪枝”很有效。可以帮助系统尽快淘汰表现不佳的方案,把计算资源集中到更有希望的路径上。

但科研问题往往面对的是“解决路径未知”的复杂课题,早期表现不好的方案,并不意味着没有价值。早期评分很低的“残次品”,也可能提供重要的价值。一旦过早“剪枝”,那些未来可能派上用场的知识,也会随之被丢弃,影响后续的成果。

02  “证据谱系”:让前期实验支持后续研究

为了避开这类“局部最优解”问题,Sapient Intelligence 在其推出的自主式 AI 研发系统 PRAXIST(Autonomous AI R&D System,当前为Beta版本)中,抛弃了“树状搜索逻辑”,转而采用“代际分层研究图谱”的底层架构。

Sapient Intelligence 塑造 AI 科研“新范式”

具体而言,这套设计的明显特点是,保留了不同实验产生的信息。每次实验后,系统都会留下代码、配置、模型和数据结果等可复现的产物(artifact),同时记录研究发现。即使实验失败,相关信息也不会被直接抹去,后续研究仍然可以重新调用这些实验数据,也可以把不同分支产生的新发现重新组合起来。

也是我们一直强调的技术内涵:‘证据谱系(evidence lineage)。”陈威廉指出,代码版本、实验结果、研究发现和决策记录会通过“派生自(derived from)”“支持(supports)”“挑战(challenges)”将产物、发现和决策连接起来。

陈威廉强调说:“通过这些关联记录,系统可以查明每项发现来自哪次实验,后续有哪些结果支持它,又有哪些实验得出了相反的结果。

不过,仅保存不同分支的信息还不够。假设实验发现了方案 A 效果最好,下一轮如果系统还是优先围绕方案 A 继续优化,很容易连续做出几个相似方案。这样一来,方案 B、C失去了测试机会。

因此,PRAXIST 引入了质量多样性(Quality Diversity,QD)机制。生成新研究方案时,系统不仅要了解哪个方案效果好,还会检查这些方案采用了哪些不同的机制、用了哪些不同的干预方式,并把候选方案分散到不同方向上。

这样一来,即使某类方案暂时领先,其他方案也不会因为暂时得分较低就被直接排除。

方案提出后,还不能马上做实验。动用算力之前,Deep Innovation Gate(DIG) 会先逐一核对:研究目标是什么,干预哪个环节,哪些证据能证实或推翻假设,消融实验怎么设计,只有这些内容均明确界定后,实验方案才会进入执行阶段。

03  “AI一次”,“博士一周”:高产300—500项研究发现

那么,这套机制放到实际研发任务中,究竟能带来多大的效率提升?

陈威廉分享数据:PRAXIST 单次运行,可以自主生成约300—500项研究发现。解释,基于对清华等高校科研团队实际研究流程的长期观察,团队估算,每项研究发现约对应一名博士研究人员一周的工作量,涵盖实验设计、运行、结果分析和结论提炼。

不过,这属于工作量层面的经验估算,用于说明系统的实验与知识产出规模,不能视为对科研人员生产效率的精确折算。

当然,这些发现也并非全部是已经证实的正向结论,还包括负向、诊断性、不确定和流程性发现。系统会区分证据的成熟程度。

另外,测试分数涨了,不代表方案有实质进步。

系统可以照着之前的测试结果一路调参,数据喂得越多,分数就刷得越好看。但如果更换数据或实验条件,原先的效果可能无法复现。

针对这一问题,PRAXIST 有一套专门用来验证AI实验结果是否可信的机制。陈威廉介绍说:“评估之前,系统碰不到最终测试数据,候选方案提前锁死,不再允许修改。之后,先用保留数据重新跑一遍,换约束条件,换随机种子,看效果能不能重复出现。跑方案挑问题统筹全局的,是三拨不同的角色。如果遇到风险高、影响大的实验,还要换一套独立的数据和环境,再测一次。

但即便这样验证过,后续实验有时还是会推翻早先的结论。这种情况下,PRAXIST 负责最终把关的“PI评审组”(智能体角色)会重确认相关结果,修改原来的判断,不让错误结论混进下一轮实验中。

PRAXIST 能自主设计,也能执行实验但研究什么、为什么研究、结果是否可还是要人来拍板。”陈威廉强调。

04  拓展落地版图”,加快 AI“自进化”

在实际的部署中,PRAXIST 的门槛可能比想象中低。

企业不需要专门组建 AI/ML 团队,也不需要自己开发 AI 系统,只要先在自有设备上跑通基准实验,Sapient Intelligence 团队就会根据企业的实际需求,把业务问题转换成 PRAXIST 可以执行的实验流程。

而且,PRAXIST 本身的算力消耗并不高,理论上最低的计算负载,仅需要一台笔记本电脑就能运行。

场景落地上,目前 PRAXIST 适合需要反复试验,且实验结果能够被明确量化的研发工作场景。

机器人是较早应用 PRAXIST 的场景。以导航系统为例,研发人员可以让不同方案在同一仿真环境中反复运行数千次,再根据任务完成情况等数据,判断哪种方案表现更好。

金融领域也是类似的情况,像量化金融策略这类本身就有明确的收益和风险指标的场景,PRAXIST 就可以利用历史数据反复测试不同策略。

医疗和药物研发领域,更多的是在计算实验中采用 PRAXIST,通过自动化试验,减少药物发现过程中反复进行的筛选和验证。

还有一个特殊的方向,陈威廉透露:“那就是用 AI 研发更好的 AI 模型。PRAXIST 目前在尝试把这套实验机制用于 AI 模型研发,让系统自己寻找模型改进方案。”在陈威廉看来,这也是 PRAXIST 对自身能力的一次检验。“如果系统能够帮助研究人员做实验,那么它也应该能够参与寻找下一代 AI 系统的改进方向。”

不过,要让系统自己寻找改进方案,还得知道实验结果意味着什么,以及下一步应该尝试什么。这一点上,Sapient Intelligence 利用其研发的 HRM(Hierarchical Reasoning Model),探索如何让AI对具体问题进行更深入的推理。

HRM 和 PRAXIST 的分工并不一样。HRM 面对的是具体问题,重点是通过多层次推理找到答案;PRAXIST 面对的是持续推进的研究过程,根据已有实验结果决定下一步做什么。

两套系统可以独立运行,PRAXIST 不依赖 HRM。但未来如果接入 HRM,PRAXIST 能够获得更强的知识和推理能力。

05  写在最后:AI Scientist 落地的“未来24个月”

对于未12至24 个月的行业发展,陈威廉提出了核心论断:AI Scientist 要融入可持续的研发生产体系,必须跨越的核心门槛,是实现研究成果的长期复用与跨项目知识迁移。

当前,绝大多数AI Scientist的知识累积仅局限于单一项目内部,难以形成可传承的体系化资产。而 PRAXIST 依托架构严密的 “代际分层研究图谱”,能让单次研究的产出在后续多个研究周期中被检索、调用、验证甚至迭代修正,甚至打通不同研究阶段与项目间的知识通路。

伴随技术逐步成熟,Sapient Intelligence 也计划将 PRAXIST 的应用边界渗透至库存管理、销售优化乃至大型物流运输体系等更广泛的商业场景中。

至顶网AI应用频道 作者:毛烁