医疗人工智能（AI）基准测试越来越多地被用于评估大语言模型在健康相关任务中的准备程度，但综合性能得分可能会掩盖不同领域间具有临床意义的差异。HealthBench作为一个包含5000个多轮健康对话的开放基准测试，正是这一问题的典型例证：该得分对于涉及特定临床使用场景（包括有心理健康需求的场景）的决策而言，难以进行解释。涉及自杀倾向、精神病、饮食障碍、创伤或关系依赖的对话，需要模型能够识别模糊的病情披露、在不确定情况下做出安全回应、避免强化有害信念或过度依赖，并了解何时应升级至人工危机干预支持。
我们建议HealthBench及类似基准测试应报告针对特定领域的结果。为了证明这一做法的可行性和实用性，我们采用了OpenAI的分类数据集，识别出332个心理健康相关对话，并通过人工审核进行验证（灵敏度0.980，特异度1.000，阳性预测值1.000，阴性预测值0.980，F1值0.990，评审者间一致性99.0%）。我们使用500个对话的分层随机样本，将心理健康领域的表现与整体HealthBench表现分开进行分析。在不同部署中，心理健康领域的点估计值与整体估计值相差–0.034至+0.047。心理健康领域的构成也并不均衡：例如，产后抑郁症在心理健康对话中占比26.8%，而自杀危机占比仅为4.5%，精神病占比0.9%，饮食障碍占比1.5%。
研究结果表明，基准测试的平均得分可能掩盖与临床安全相关的、针对特定领域的重要信息。我们认为，具有可解释性的医疗AI评估需要做到：透明化领域构成；报告子群体表现和失败模式；以具有临床意义的基准（包括人类专家表现）进行校准；以及随着模型、评分系统和部署环境的演变，进行可重复的版本化分析。
研究主题
人工智能
健康信息技术
心理健康
文档详情
版权所有：Ryan K. McBain、Ellice Huang、Caroline Figueroa、Li Ang Zhang、Jonathan Cantor
出版方：BMJ集团
可获得性：非RAND出版物
年份：2026
页数：4
文档编号：EP-71489
研究机构：RAND健康研究所
本出版物是RAND对外出版系列的一部分。许多RAND研究成果发表于同行评审学术期刊、商业书籍章节，或由其他机构出版发行。
RAND是一家非营利机构，致力于通过研究与分析帮助改善政策制定和决策过程。RAND的出版物不必然反映其研究客户及资助方的观点。
