研究背景
生成式人工智能（AI）聊天机器人经常被用来回答心理健康相关问题，其中包括涉及自杀风险的提问。消费者使用的界面（UI）往往内置了应用程序编程接口（API）直接访问时所不具备的额外安全控制机制，例如过滤或拦截有害内容的审核规则、危机拒绝模板，或系统层面的指令设定。
研究目的
这项观察性横断面研究旨在考察AI聊天机器人在不同访问方式下，对涉及自杀的提问给出直接回应的频率，并分析在不同模型及不同提问风险等级下，消费端界面与API访问之间的回应模式是否存在差异。
研究方法
研究团队评估了五款广泛使用的消费级AI模型——ChatGPT、Claude、Gemini、Grok和Llama——对30条经过临床审核的自杀相关提问的回应情况，这些提问涵盖五个由临床医生划定的风险等级。每条提问分别通过公开的消费端界面和直接API访问各提交100次，总计产生30000条回应。研究的主要评估指标是回应是否直接回答了提问内容（即是否提供了与所问问题相关的具体信息或指导）。AI回应通过一个经过盲法测试的基于大语言模型的分类器（GPT-4o mini）进行分类，并与独立的人工编码结果进行了验证（289/300，一致率96.3%；Cohen κ系数为0.89）。研究团队建立了混合效应逻辑回归模型来预测直接回应的可能性，主要预测变量包括AI模型种类、访问方式（UI与API）以及提问风险类别。
研究结果
在全部30000条回应中，69.8%（20934条）属于直接回应。通过API获得直接回应的比例高于通过UI获得的比例（11609条，占77.4%，相比之下UI为9325条，占62.2%）；不过Gemini是个例外，其UI访问的直接回应率略高于API访问（2301条，占76.7%，相比之下API为2131条，占71.0%）。访问方式之间的差异在高风险提问中最为明显：对于极高风险提问，API回应中有24.8%（743条）属于直接回应，而UI回应中仅有4.6%（138条）；对于高风险提问，API回应中有80.1%（2002条）属于直接回应，而UI回应中为48.4%（1209条）。在UI和API两种访问方式下，Claude和Gemini的直接回应率最高（分别为4688条，占78.1%，和4432条，占73.9%），而ChatGPT、Grok和Llama的直接回应率相对较低（分别为3878条，占64.6%；3870条，占64.5%；4066条，占67.8%）。在混合效应模型中，相比API访问，UI访问获得直接回应的概率明显更低（优势比为0.09，95%置信区间为0.08至0.10）。提问风险等级越高，获得直接回应的概率越低，且访问方式间的差异会随风险等级和模型种类的不同而变化。
研究结论
AI的安全性取决于用户采用何种方式访问模型。在消费端界面观察到的安全保障，不能被假定同样适用于API访问或基于API构建的应用程序。相关评估与政策制定应充分考虑访问方式的差异，以确保与AI聊天机器人互动的用户能够获得切实的安全保护。
Q&A
Q1：AI聊天机器人通过API访问和通过消费端应用访问，在回答自杀相关问题时有什么区别？
A：研究发现通过API访问时，AI给出直接回应的比例明显更高（77.4%），而通过消费端界面访问时直接回应比例较低（62.2%），说明消费端界面通常内置了更多安全防护机制。
Q2：哪些AI模型在自杀相关提问上的直接回应率最高？
A：研究测试的五款模型中，Claude和Gemini的直接回应率最高，分别达到78.1%和73.9%，而ChatGPT、Grok和Llama的直接回应率相对较低，在64.5%到67.8%之间。
Q3：提问的风险等级越高，AI给出直接回应的概率会怎样变化？
A：研究显示提问风险等级越高，AI给出直接回应的概率反而越低，但访问方式之间的差异在高风险提问中最为显著，例如极高风险提问中API直接回应率为24.8%，而UI仅为4.6%。
