人工智能（AI）在医疗健康领域潜力巨大，但安全风险意味着需要更多的人工监督，AI只能被赋予它已证明能够安全处理的权限。
医疗机构应明确AI系统在哪些人群、哪些场景下能够可靠运行，以及在何种情况下可能失效。
由于模型、临床证据、患者群体和工作流程会不断变化，资质认定不能是一次性工作，AI治理必须持续调整。
经济的每个领域都在被人工智能改变，但当下，建立安全保障机制的需求比以往任何时候都更为迫切，与此同时，还需要在不限制AI巨大潜力（例如药物研发领域）的前提下实现这一目标。
医疗行业在此拥有机遇，也肩负着责任——引领安全部署AI的方向。
医疗机构如今面临一个实际挑战：确定AI系统能够安全完成的工作范围，明确人类权限应设置在何处，并随着技术演进调整这些控制机制。
第一步：先对AI进行资质认定
在确定AI系统应拥有多大权限之前，机构需要了解在何种条件下该系统可以被信任执行某项特定任务。医疗行业已经建立了资质认证、证据评估、明确使用范围、持续监测和问责追溯等体系。而AI技术由于其能力和行为可能迅速变化，需要与之适配的专门机制。
数据卡、模型卡和风险分析等工具可以记录塑造系统的因素、评估方式、预期使用场景、已知局限和失效模式，以及何时需要额外验证。美国食品药品监督管理局（FDA）将模型卡定义为一种透明度机制，健康AI联盟（Coalition for Health AI）也已开发出适用于医疗领域的模型卡。
资质认定应考察已评估的人群范围、性能下降的条件、所依赖的证据、在信息不完整或相互矛盾时的系统行为，以及模型、证据或工作流程变化带来的影响。美国卫生信息技术政策正朝着在认证医疗技术中提高算法透明度的方向发展。
领域专家对于识别可能出现的失效情形、需要重点关注的例外情况，以及专业判断能对决策产生实质影响的关键环节，都是不可或缺的。
第二步：绘制错误可能进入系统的环节
资质认定只是安全保障的一个层面，接下来需要理解模型运作所依赖的决策流程。一个AI赋能的医疗工作流程，可能会经历从底层数据到情境与证据、推理、建议、行动，再到结果的完整链条。
风险可能在任何环节出现：数据可能不完整，相关证据可能未被检索到。此外，系统可能误解患者情境，将指导原则应用于超出其预期适用范围的场景，或产生与证据不一致的推理结论。
领域专家对于识别可能出现的失效情形、需要重点关注的例外情况，以及专业判断能对决策产生实质影响的关键环节，都是不可或缺的。良好的机器学习实践同样强调跨学科专业知识以及对整个产品生命周期的持续关注。
第三步：在合适的风险点设置合适的检查环节
一旦理解了潜在的失效情形，可以通过三个维度来校准监督力度：出错的可能性、出错后的后果严重程度，以及由此产生的行动是否可逆。
一项低风险且可逆的行政任务可以支持较大程度的自动化，但基于模糊信息做出的重大临床建议则需要更强的验证机制。
不同的风险需要不同的检查环节：
数据核查可以验证完整性和质量。
证据核查可以确认推荐建议是否有适当来源支撑。
不确定性核查可以标记出相互矛盾的证据或不熟悉的情况。
人工检查点可以将重大案例转交给最有能力评估的专业人员。
系统还应评估人工参与的实际效果。人工检查点并不会自动提升AI辅助决策的质量。人类与AI推理的先后顺序、提供给审核者的信息、审核者的专业水平以及交互方式的设计，都会影响最终结果。
因此，机构应测试在实际部署条件下，人机协同工作流程是否真正提升了决策质量和安全性。
第四步：构建以人为主导的架构体系
我们提出五个要素，构成一个将人置于人机协作工作流程主导地位的运行模式：
映射：识别潜在的失效点、其后果，以及通过资质认定和风险分析所确定的边界。
检测：识别不确定性、信息缺失、证据冲突、异常输出以及系统可能超出其已验证条件运行的迹象。
核查：采取与风险程度相称的保障措施，包括数据验证、证据核实、一致性测试或专家审查。在人工参与的环节，评估这种交互是否提升了综合决策质量。
升级：将不确定或后果重大的案例转交给合适的专家，并提供必要的证据、情境和推理依据，以便专家高效评估决策。
学习：记录修正、人工干预、意见分歧以及后续结果，并利用这些信息改进系统以及未来检查点的设置位置。
第五步：持续进行再认证
AI能力变化迅速。随着临床证据不断演进，患者群体发生变化，政策调整，工作流程被重新设计，资质认定和监督机制因此需要持续进行。例如，《自然医学》（Nature Medicine）上的研究指出，由于性能可能因场景和时间而异，健康AI需要反复进行本地验证。
因此，机构应监测错误模式、人工干预情况、升级处理比率、意见分歧、模型与数据漂移以及后续结果。临床医生持续性的人工干预可能揭示出初始评估阶段未能发现的局限性。
某一类案例反复被升级处理，可能表明需要补充证据、加强培训或重新设计工作流程。在这方面，实际部署应持续更新系统在哪些方面表现可靠、其边界在哪里，以及应赋予它多大的权限。
面向医疗行业领导者的三项原则
对于医疗行业领导者而言，在构建人机协作工作流程以充分发挥AI价值同时保障安全性的过程中，三项核心原则尤为关键：
授权前先认证。明确系统已证明能够完成的工作，适用的条件，以及其局限所在。
对监督机制本身也要进行资质认定，而不仅仅是AI本身。将技术检查点和人工检查点与错误的可能性、后果严重程度和可逆性相匹配，并评估这些检查点是否真正提升了人机协同决策的质量。
持续进行再认证。实际应用中的结果、专家干预、模型变化以及新出现的失效模式，都应为系统和保障机制的重新校准提供依据。
医疗行业可以为更广泛的AI治理讨论贡献一个切实可行的模式。其目标是构建这样的系统：各项能力得到充分理解，风险得到预先防范，重大决策始终保持可中断性，人类专业知识被安置在能够创造最大价值的位置上。
以人为主导意味着对技术进行资质认定，绘制其风险图谱，设计恰当的检查环节，保留有实质意义的人类权限，并随着技术和证据的演进持续学习。
Q&A
Q1：为什么医疗AI需要"以人为主导"的监管框架？
A：因为AI模型、临床证据、患者群体和工作流程都在不断变化，AI的能力和行为也可能迅速改变，所以需要持续的人工监督机制，确保AI只被赋予它已证明能够安全处理的权限范围。
Q2：医疗机构如何判断AI系统在哪些环节可能出错？
A：需要绘制AI赋能工作流程的完整链条，从数据、情境证据、推理、建议、行动到结果，风险可能在任何一个环节出现，比如数据不完整、误解患者情境或推理与证据不一致，这需要领域专家协助识别关键失效点。
Q3：如何设置合适的人工检查点来监督AI决策？
A：需要根据错误的可能性、后果严重程度和行动可逆性三个维度来校准，低风险可逆任务可以更多自动化，而重大临床建议需要更强验证，同时要测试人机协同是否真正提升了决策质量，而非简单增加人工环节。
