组织机构如何发布可被AI负责任使用的知识

国家统计局等机构发布的数据,为人们使用传统工具及日益普及的AI工具进行在线搜索提供了信息来源。

但即便证据并不支持某个结论,这些数据仍可能被AI搜索引擎引用并出现在答案中。

发布者可以通过在证据之外附加定义、局限性说明和示例问题,来帮助开发者核查AI生成答案的准确性。

在近期一项将人工智能(AI)助手与乌拉圭公共能源数据对接的试点项目中,该系统将一项数据变化部分归因于气候因素。这项试点的目标是开发AI搜索工具,使人们能够用自然语言提问,并获得可追溯至官方数据集的答案。但根据开放知识基金会对该试点的报告,这个AI助手所使用的数据集中并不包含任何气候数据,无法支持其给出的解释。

无论你是使用AI工具评估一项政策,还是规划一项投资,解释说明往往和数字本身一样重要。引用来源可以帮助你找到证据,但并不能证明AI工具答案中的每一个论断都确实源自该证据。

这对发布研究、数据和指导意见的机构构成了挑战,例如国际能源署、英国国家统计局或美国劳工统计局。它们的研究成果可能出现在AI工具的答案中,而答案却遗漏了重要的限制条件,或添加了证据并不支持的解释。内容被引用和可被访问,并不能完全衡量该机构的知识是否被正确使用。

发布证据的机构可以帮助正在构建和运营AI工具的公司,检查这些工具如何使用其数据。机构在发布数据集或研究报告的同时,可以附上测试问题,并注明证据能够支持什么结论、局限性何在、以及得出其他结论需要哪些额外证据。

这将为开发者提供切实可行的测试手段,用以证明其AI系统是否忠实地呈现了相关材料,同时也让发布者和用户更容易发现其中的错误。

为AI工具提供情境和一致性

一份报告中隐藏的限定说明,可能永远无法传递到仅从报告中抓取表格数据的AI系统中。当机构向AI软件提供数据集时,相应的定义和局限性说明也应通过同一渠道提供。

例如,当AI工具请求某项就业数据时,其回复应说明所涉及的人群范围和统计周期,标注该数据是否为临时数据,并链接到计算该数据所采用的方法论。AI工具可能无法可靠地从分散的文档中重建出必要的背景信息。

研究报告也需要同样的谨慎处理。一份摘要可能准确报告了某项研究的结果,但如果省略了研究结论适用的人群或场景,也会误导读者。

了解某项统计数据衡量的是什么,并不等于了解其变化的原因。定义可以区分发电量与发电容量,但要解释发电量的变化,还需要进一步的证据。一个机构可能是某项统计数据的权威来源,但未必是解释其成因的最终权威。

因此,构建和运营AI工具的公司应当核查证据是否支持这些工具所作出的论断。进一步的解读可能需要借助其他来源,并应明确标注这些来源。当证据不足时,答案应承认哪些内容尚不明确。

机构在向人和软件提供信息时,还需保持一致性。在世界经济论坛和剑桥监管科技实验室发起的一项计划下,毛里求斯银行与技术提供商TSO合作,开展了一项概念验证项目,将监管信息转换为结构化数据。单一的工作流程即可同时发布可读指南、软件接口和PDF文档。

通过使用统一的信息源,机构可以同步更新供人阅读的内容和供软件检索的内容。否则,网站上的一次更正可能导致旧版本的机器可读数据仍在流通。当然,早期版本应保持可识别状态,以备历史问题查询之需。

测试AI如何使用信息

机构可以从一个广泛使用的数据集或研究报告入手,发布若干示例问题来测试AI工具,并附上说明,指出答案应当包含哪些内容,以及证据无法证明哪些结论。

机构此前已收到的问题是一个有用的起点。例如,在前文提及的乌拉圭和巴西试点项目中,开放知识基金会报告称,合作伙伴提出的常见问题为测试提供了参考,并帮助完善了针对AI工具的指导方针。

这些问题可以用来测试AI工具是否检索到了正确的信息。但评估不应止步于系统是否返回了正确的数字,还应检查其答案是否包含重要的限制条件(例如某项研究仅覆盖某一特定年龄群体),并在证据无法回答问题时予以说明。

这些示例问题为评估提供了起点,但开发者还需要测试一些未曾预料到的问题。

这些问题应有助于检验AI工具的答案是否有证据支撑,而不要求其必须符合机构所偏好的解读方式。同时也应允许答案合理地引用其他补充来源。

AI答案的协作与反馈机制

世界银行为2026年联合国统计委员会准备的一份背景文件建议,统计数据生产者、再分发者和AI开发者之间应加强协作与反馈。发布测试问题可以为这种协作提供一个切实的着力点。

这将帮助发布者维护信息来源、说明局限性,也能让开发者评估其AI系统检索和解读材料的方式。诊断一个错误可能需要双方共同参与——发布者可以核实某个日期是否已提供,但可能需要开发者的协助,才能确定系统是否正确检索并使用了该日期。

较小规模的机构不必与每一家运营AI工具的公司单独建立合作关系。行业组织可以组织共享测试,包括提供符合当地语言习惯的问题。这些公司应为反馈重复出现的误读问题提供明确的渠道。

发布研究和证据的目的,是帮助人们理解某个议题。检验AI生成的答案是否准确呈现了这些证据,应当成为发布流程中的一个组成部分。

Q&A

Q1:为什么AI搜索工具引用官方数据后,答案仍可能出错?

A:因为引用数据来源只能证明证据存在,并不能保证AI给出的每一个解释或结论都确实来自该证据。例如乌拉圭的试点项目中,AI系统将数据变化归因于气候因素,但所用数据集中实际上并不包含气候数据。

Q2:发布机构可以怎样帮助AI更准确地使用数据?

A:机构可以在发布数据集或研究报告的同时,附上示例测试问题,并说明证据能支持什么结论、存在哪些局限性,以及得出进一步结论还需要哪些证据,从而帮助开发者检验AI系统是否忠实呈现了原始材料。

Q3:统计数据的定义和实际成因解释有什么区别?

A:定义只能说明某项数据衡量的是什么,比如区分发电量和发电容量,但并不能解释这项数据为什么会发生变化。机构可能是某项统计数据的权威来源,却未必是解释其变化原因的最终权威,解释变化通常需要额外的证据支持。

World Economic Forum