一套AI系统购买时可能便宜，但停用时却可能代价高昂。
对于医疗机构而言，这个难题在某个隐患促使机构必须暂停一款员工已经产生依赖的工具时会变得尤为明显。总要有人来接手未完成的工作。他们需要时间、需要获取底层信息的权限，还需要一套可行的方式来继续推进工作。软件停止运行后，医疗服务仍然肩负着相应的责任。
在同意某项提高效率的方案之前，我希望这些应急安排能够被明确计价。如果一个机构已经把承诺节省下来的资源投入到了别处，那么它可能会发现，自己"随时可以停用"的自由其实只停留在纸面上，而真正用来行使这项自由所需的资源早已不复存在。
商业方案不能把同一份时间用两次。如果备用方案依赖于被重新调配去做其他工作的员工，那么方案应当说明：当这些员工被召回时，原本的工作将由谁来承担。
现行与未来的监管框架
英国国家医疗人工智能监管委员会于9月10日发布的建议报告，让这个问题变得尤为及时。报告呼吁关注安全部署所需的运营条件，并要求合同明确划分必要风险控制的责任归属。这些是针对未来监管框架的建议。但采购方现在就可以借助这些建议提出的问题，来审视一项报价将对自身机构提出怎样的要求。
现有的框架已经提供了一定基础。英格兰的DCB0160临床风险管理标准涵盖了部署、使用、维护和退役等环节。美国国家标准与技术研究院（NIST）自愿采用的AI风险管理框架则涉及资源保障、可行替代方案，以及停用AI的责任归属。此次采购的机会在于，将这些安排与价格、预期收益一并呈现出来，使其变得清晰可见。
我会要求供应商进行第二次演示：向我展示当AI功能被撤回时，服务能够安全维持在什么水平。
作为一名在药物软件首次试点之前就开始开发的创业者，我认为这是一个值得在设计阶段就予以解答的问题，因为此时方案仍有调整的空间。一次合理的中断演练，可以为采购方和供应商提供一个可以共同审视的具体依据。
保留关键技能，演练停机应对
设想一个虚构的药物证据服务系统。软件负责整理源文件并为专业审核准备摘要。某次更新导致部分摘要与其引用的文件之间出现不匹配。一位审核人员发现了这一差异。受影响的摘要功能需要暂停，以便进行调查。
第一项考验是负责人能否采取行动。他们需要一名副手、适当的权限，以及一条通往技术支持的清晰路径。员工需要识别受影响的工作、找回原始文件，并判断哪些任务可以安全继续、哪些可以等待、哪些需要上报处理。人工备用方案有其现实要求：必须有人知道如何操作，拥有使用权限，并且有时间完成这项工作。
此外，还有那些已经分发出去的摘要。回退软件版本无法收回已经进入邮箱的副本，也无法收回已经基于这些信息做出的决策。应对措施需要确定哪些输出受到了影响、谁收到了这些内容，以及需要进行怎样的审查或更正。
演练应该让这些工作量变得清晰可见。记录识别和控制问题所耗费的时间、哪些任务仍未解决、权限在哪里出现问题，以及需要额外投入多少员工时间。这些发现应与所测试的具体情形一并记录。一次成功的演练只能为采购方提供针对该场景的证据；临床有效性和安全性仍需进行相应的独立评估。
重新启动应作为一项独立的决策。供应商可能已经修复了故障，但服务提供方手上可能还有未处理完的积压任务，员工也仍在按替代流程工作。恢复该功能应当依据双方认可的证据、恰当的临床与技术判断，以及一位被授权的指定负责人来决定。积压的工作同样需要有人负责。
这里存在一个合理的质疑：医疗团队本身已经承担着连续性计划、安全责任和有限的人力资源。一次过于繁琐的新演练可能会消耗掉本应由此次投资释放出来的能力。
演练应当与现有安排相契合，其规模应根据中断可能造成的后果来确定。供应商应提供可重复使用的证据。本地团队则应测试其自身服务特有的依赖关系。暂停某一项功能、限制某个使用场景，或启用另一套受支持的系统，可能比彻底关停更能有效保留关键工作。替代方案本身的风险同样需要全程加以考量。
在Digital Health上，伊维特·霍扎姆（Yvette Khozam）已经提出应保留关键技能并演练停机应对方案。我认为这一观点应该被带入采购会议之中：届时将由谁的员工来应对？他们能完成哪些工作？费用又由谁来承担？
这可能涉及经过培训的员工、共享的支持资源、替代技术，或是几者的组合。为每一个自动化流程都维持一份完整的人工备用方案，将是一种代价高昂的默认做法。采购方需要的是一套与关键工作和预设中断场景相匹配的适当方案。
我建议在每份投标方案的常规运营预估旁边，附上一份简短的中断场景说明。其中应说明哪些工作能够继续、以何种能力继续、能维持多长时间，以及由谁的员工和系统来承担。还应包括恢复后处理未完成工作所需的时间和成本。同时应明确列出仍待验证的假设条件，并划分供应商与服务提供方各自的责任。
这也能让不同报价之间的比较变得更加诚实。较低的许可费用可能意味着客户需要自行承担相当一部分恢复能力。而另一份报价一开始看起来可能价格偏高，却包含了相应的支持服务。采购方需要清楚了解每个价格背后，服务究竟能够维持到什么程度。
如果一个可信的备用方案会颠覆原本的商业论证，那么这本身就是购买前一项极具价值的信息。它或许意味着应当缩小部署范围、调整运营安排，或是进行进一步的开发。这项测算应当对每一种结果都保持开放态度。
我希望医疗AI能够赢得广泛应用所需的信任。当采购方发现某个令人不安的问题时，应当能够立刻采取行动，而所需的人力、权限和资金都应早已到位。
关闭键需要被授权。而在它被按下之后继续工作的人，也需要有相应的预算支持。
编辑说明：文中提到的药物工作流程为虚构案例，本文未呈现任何已部署的实际案例或实测结果。
Q&A
Q1：为什么说医疗AI的"关闭键"需要预算？
A：因为暂停AI系统后，仍需要人力接手未完成的工作，包括获取原始信息、处理已分发的错误结果等，这些都需要提前分配好人员、权限和资金，否则停用的自由只是纸面上的。
Q2：英国国家医疗人工智能监管委员会提出了什么建议？
A：该委员会于9月10日发布报告，呼吁关注安全部署所需的运营条件，要求合同明确划分风险控制的责任归属，为未来的监管框架提供了方向。
Q3：如何测试医疗AI系统的中断应对能力？
A：可以通过设计一次合理的中断演练，记录识别问题所需时间、哪些任务受影响、权限是否可用，以及需要多少额外员工时间，从而让潜在的应对成本变得清晰可见。