Databricks于周三推出了全新检索模型Adaptive Instructed-Retriever(自适应指令检索器),旨在通过对复杂查询执行额外处理步骤、对简单查询则提前终止处理的方式,改进企业级AI搜索能力,帮助客户在答案质量、延迟和成本之间实现平衡。
该新模型建立在Databricks此前Instructed-Retriever-1研究成果的基础之上,但在处理复杂查询方面采用了不同的方法。
Instructed-Retriever-1使用并行的单步搜索,并结合企业数据架构和自定义指令来提升检索效果,而Adaptive Instructed-Retriever则可以在需要收集更多证据时,将并行检索与顺序多步搜索结合起来使用。
这一区别十分重要,因为对每一次查询都执行多步搜索会增加延迟并占用更多计算资源,而将每次查询都限制为单步搜索,则会影响复杂多跳问题的处理效果。
Databricks表示,Adaptive Instructed-Retriever经过设计,只有在额外步骤可能提升检索质量时才会执行,这使其能够在处理简单请求时更快返回结果。
为实现这一能力,Databricks使用合成企业检索环境和智能体数据合成流程对模型进行训练,复用了Instructed-Retriever-1的训练数据,并加入了专为受益于多步搜索而设计的合成多跳问题。
随后,该公司使用在线强化学习方法训练模型,使其能够权衡额外搜索步骤带来的检索质量提升与所付出的成本,对表现优异的搜索路径给予奖励,同时对未能带来相应收益的步骤进行惩罚。
该公司表示,这种训练方法可以生成模型的多个版本或检查点,分别对应不同的质量与延迟权衡:其中一个版本对额外搜索步骤的惩罚较低,可以花费更多时间来提升结果质量;另一个版本则对额外步骤施加更高惩罚,以限制搜索步骤、降低延迟。
对于在生产环境中部署该模型的企业客户而言,这些不同版本或检查点使检索性能能够更贴合不同应用的具体需求,而不必对所有工作负载采用相同的搜索策略,该公司补充道。
分析师表示,随着企业将AI智能体及其他应用推向生产环境,这种灵活性可能会变得愈发重要,因为提升答案质量往往需要额外的推理、计算和检索资源,这可能会推高大规模运行这些应用的成本。
HFS Research执行研究负责人阿希什·查图尔维迪(Ashish Chaturvedi)表示:"重复搜索可以改善对复杂问题的回答,但会增加延迟和计算成本;而单次搜索速度更快、成本更低,但在处理较难查询时效果不佳。因此,判断何时值得进行额外搜索的能力,有助于企业避免在无法提升答案质量的情况下浪费资源。"
对首席信息官(CIO)而言,这种限制不必要搜索的能力最终可能带来对计算消耗和成本更强的可预测性。
查图尔维迪指出:"大规模应用智能体AI的问题在于消耗难以预测,智能体反复搜索和再搜索会造成累积且难以预测的成本和延迟,而财务团队最不喜欢这种波动的账单。知道你的智能体会在设定的上限内进行搜索,并且可以针对每个工作负载设置该上限,这正是让智能体搜索能够安全地大规模运行、而非变成失控计费器的关键所在。"
查图尔维迪补充说,如果这款专用模型能够以更低的延迟实现与更大通用模型相当的检索质量,那么其经济效益将更具吸引力。
据Databricks介绍,在其内部评测中,Adaptive Instructed-Retriever的检索质量达到或超过了Claude Sonnet 5、GPT-5.6 Luna和DeepSeek-V4-Flash,同时完成请求仅需5.8秒,比这些模型快两倍以上。
查图尔维迪表示,这种差异可能具有经济意义,因为检索是数据智能体的高频操作,这可能使企业无需对每次检索请求都套用更大模型的成本和延迟。
对开发者而言,该模型也带来了优势,尤其是在减少编排层面工作量方面。
传统上,处理复杂多跳问题的开发者通常需要自行设计多轮搜索的控制流程,包括决定何时优化查询、何时再次搜索、何时停止,但Adaptive Instructed-Retriever所具备的可学习搜索策略将这些决策转移到了模型内部,可能会减少开发者需要构建和维护的定制化检索编排工作量,查图尔维迪表示。
HyperFRAME Research AI技术栈业务负责人斯蒂芬妮·沃尔特(Stephanie Walter)也认同这一观点,她表示,这可能使那些缺乏资源、专业能力和时间从零构建搜索智能体的团队也能获得更强大的检索能力。
不过,分析师也指出,开发者仍需权衡一些取舍因素。
沃尔特表示,虽然该模型的检查点机制有助于防止单次查询消耗不可预测的计算资源,但团队仍需测试和监控不同设置,以确定哪一个设置能为各自的应用或使用场景带来成本、延迟和检索质量之间的最佳平衡。
查图尔维迪也认同这一点,他表示,这反过来又给开发者增加了一层需要管理的性能与成本优化工作。
Moor Strategy and Insights首席分析师迈克·利昂(Mike Leone)表示,这种影响更为突出,因为要选择合适的模型检查点,就需要梳理实际业务问题,并记录清楚答案究竟来自数据库或其他知识库中的哪个位置。
利昂补充说:"很少有企业开发团队真正构建过这样一份精细的清单。实际情况是,大多数团队很可能只是选定一种设置后就不再更改。"
不过,即便选定了合适的检查点,Adaptive Instructed-Retriever也无法解决所有影响检索质量的问题。沃尔特表示,团队仍然需要准备和整理数据、执行权限管控、评估检索质量,并核实最终答案的准确性。
利昂也呼应了沃尔特的观点,他补充说,更智能的搜索策略无法弥补底层数据结构混乱或关键术语定义不一致的问题,这意味着即便检索效率更高,模型仍可能给出错误答案。
CIO们还应注意其他一些需要留意的问题。
查图尔维迪表示,Adaptive Instructed-Retriever所宣称的性能和质量优势,是基于Databricks自身设定的基准测试、并与其自行选定的竞品进行比较得出的,这意味着这些说法需要在企业实际工作负载中加以验证,而不能直接照单全收。
然而,即便这些测试结果得到验证,CIO们仍需权衡:在检索性能、延迟和成本方面可能获得的提升,是否足以证明在AI技术栈中新增一个专用模型是值得的。
查图尔维迪表示,相比之下,使用一个更大的通用模型同时承担检索和推理任务,可能是一种更简单的替代方案,因为这样可以减少企业需要部署和管理的模型数量。因此,对CIO而言,Adaptive Instructed-Retriever在经济层面是否划算,将取决于其宣称的性能能否在真实企业工作负载中得到验证,以及潜在的成本节省是否能够超过使用专用模型所带来的额外复杂性。
Q&A
Q1:Adaptive Instructed-Retriever是什么?
A:这是Databricks推出的一款新型AI检索模型,能够针对复杂查询执行额外搜索步骤,对简单查询则提前结束处理,从而帮助企业在答案质量、延迟和成本之间取得平衡。
Q2:这款模型和之前的Instructed-Retriever-1有什么区别?
A:Instructed-Retriever-1采用并行单步搜索,而Adaptive Instructed-Retriever可以根据需要,将并行检索与顺序多步搜索结合起来,只在有助于提升质量时才增加搜索步骤。
Q3:企业使用这款模型能带来哪些好处?
A:该模型可以降低不必要的搜索成本和延迟,提供多个检查点版本以适配不同应用需求,同时减少开发者构建复杂检索编排逻辑的工作量。
