许多青少年倾向于向通用型人工智能聊天机器人寻求心理健康方面的建议,然而目前针对这类工具是否符合青少年相关临床标准的评估仍然十分有限。为此,研究团队开发了青少年心理健康AI应答评估工具(AMHART),这是一套基于临床医生意见构建的评估体系,用于审查聊天机器人在七个维度上是否提供了符合指南要求的回应内容,并将其应用于四款主流AI聊天机器人的测试中。
在工具研发过程中,候选评估条目首先经过临床医生依据证据基础、客观性与临床重要性进行审核,最终筛选出一组具有较强内容效度和评分者间信度的核心条目。随后,研究团队构建了一个由三个大语言模型组成的评估集群,用以评判模型输出结果,并检验其与人类专家参考标签之间的一致性。在此基础上,团队对多轮对话进行了评分,这些对话模拟了不同性别、不同诊断类型及不同症状严重程度的青少年角色,分别与ChatGPT-5、ChatGPT-4、Claude 4.5以及Gemini 2.5进行互动。
评估结果显示,在应对焦虑症状时,各聊天机器人对适用评估标准的覆盖程度要高于应对抑郁症状时的表现;同时,在处理中度症状时的覆盖程度也高于处理重度症状的情况。这些发现表明,AMHART能够为评估聊天机器人在应对青少年焦虑和抑郁相关倾诉时的表现,提供一个可靠且基于临床经验的衡量基准。
Rand
