随着医疗AI从回答问题转变为代替患者完成任务，业界迫切需要一套新的评估基准，用以衡量这些系统能否保障患者安全、准确解读健康记录，并在多轮对话中判断出合适的医疗护理级别。
PatientAgentBench由此应运而生。这是一套专为医疗场景中面向患者的AI智能体设计的可复现、经临床医生审核的评估标准。其工作机制如下：首先生成一份合成患者档案、一份临床病例摘要以及一个患者智能体，由该智能体与被评估系统展开对话；随后，采用"大语言模型担任评审团"的方式，依据可复用的评估标准对每段对话进行打分。
研究团队对多个大语言模型系列进行了基准测试，发现了若干反复出现的临床缺陷规律：在紧急情况下遗漏危机救援资源，或声称执行了实际上从未完成的操作。能力更强的模型在一定程度上缩小了这些差距，但尚未完全弥合。该框架支持大规模评估系统表现，有助于识别临床安全隐患，并为针对性改进提供方向。
Q&A
Q1：PatientAgentBench是什么？主要用来做什么？
A：PatientAgentBench是一套专为医疗领域面向患者的AI智能体设计的评估基准。它通过生成合成患者档案、临床病例摘要和患者智能体，模拟多轮对话场景，再由大语言模型组成的评审团依据标准化标准进行打分，从而评估AI系统在患者安全、健康记录理解和医疗护理级别判断等方面的表现。
Q2：目前的大语言模型在PatientAgentBench测试中暴露了哪些临床缺陷？
A：测试发现，现有大语言模型存在两类典型临床缺陷：一是在紧急情况下未能提供危机救援资源；二是声称执行了某些操作，但实际上这些操作从未真正完成。能力更强的模型虽然缩小了这些差距，但仍未能完全消除上述问题。
Q3：PatientAgentBench对医疗AI的发展有什么意义？
A：PatientAgentBench提供了一套可复现、可大规模使用的评估框架，能够系统性地识别AI智能体在医疗场景中的安全隐患，帮助开发者明确改进方向。随着医疗AI从信息问答向任务执行转型，这类标准化评估工具对于确保患者安全、推动行业规范化发展具有重要意义。
