在撰写即将出版的新书《信任密码》的过程中,笔者采访了全球最关键系统内部负责AI事务的人员,涉及电网、支付网络以及科技巨头等领域。一个规律不断浮现:那些能够自信地规模化部署AI的组织,都建立了一套我们现有治理框架从未明确命名的能力——围绕每一个自动化决策形成的系统性人类判断实践。

从欧盟《AI法案》到NIST风险管理框架,各大政策体系主要面向市场和组织层面。新兴指南——包括笔者参与世界经济论坛前沿AI系统与能力工作组共同制定的"智能体能力与授权配置文件"(ACAP)——定义了智能体在特定情境下、特定监督主体下被授权执行的操作范围。

这些工作都至关重要,但它们都不是为了回答真实决策时刻的核心问题而设计的:我应该在这里、针对这个决策信任这个系统吗?

现有框架的边界

监管运作于市场层面,风险管理运作于组织层面,而信任则运作于判断层面。即便是最精密的监管,也无法决定一位临床医生是否应在周二的诊室里采信某个风险评分,或者一位经理是否应在今早的会议上接受模型生成的预测。我们并不生活在法律或框架之中,而是生活在一个个具体处境之中。

这正是大多数AI失败发生在规则缝隙之间的原因。那些在完美维持对话流畅度的同时助推用户走向自杀的聊天机器人,优化的是用户参与时长,而非人类福祉——系统对开发者而言运转完美,对用户而言却造成了灾难性的后果。亚马逊后来被废弃的招聘算法,并非包含带有偏见的代码,而是从十年的招聘模式中习得了歧视,因为它被训练去复现这些模式。这两个案例都不是关于规则失灵的故事,而是关于在关键时刻没有人处于行使判断力位置的故事。

让判断力落地

好消息是,判断力可以被操作化。电网依托AI实现供需的逐秒动态平衡,吸收可再生能源的间歇性波动而不造成任何断电。支付网络在轻触与确认提示音之间的极短时间内,判断一笔交易是否合法。全球性银行在信贷与市场风险决策中部署AI,其中单次失误的代价可能高达数十亿美元。

这些系统之所以值得信赖,是因为围绕它们工作的人将判断力的实践嵌入日常工作流程,而非依赖个人意志力临时发挥。

经过两年研究和近百次与规模化部署AI的负责人深度交谈,笔者将这种持续呈现的实践提炼为九个一贯的思维习惯——笔者将其称为"CALIBRATE"框架。它从系统最初如何被情境化和对齐开始,贯穿整个完整性与偏见的持续审查过程,直至系统上线后责任的明确归属。这是一套随系统演进而不断回溯的实践,而非一次性完成的清单。

其中三个维度值得在此展开,因为它们是普通人在真实时间压力下今天就能付诸实践的部分。

当下决策的实操工具

并非每个决策都能从容走完全部九个步骤。对于诊室里的临床医生或晨会中的经理,一个三部分的子集——LIT框架——提供了一条实用路径:

限定边界(Limit it):这个系统在哪些情况下不应被使用?它应该拒绝做什么?信任来自克制,而非普适性。一个在监督下经过验证的模型,一旦被当作自主系统对待,就会变得危险。

审查完整性(Inspect integrity):这个系统建立在什么基础上?数据来自哪里、覆盖哪个时间段、基于什么假设?能够流畅表达即便在出错时也如此的系统,制造了一种新型风险:错误不再主动暴露自己,而是主动说服他人。当置信度已被自动化时,核实就是准确性的必要代价。

透明溯源(Trace transparently):这个系统在优化什么目标?这个具体输出从何而来?判断是否应当依赖一个AI系统,并不需要高深的数学知识,但需要了解它优化的目标、是什么塑造了它,以及当它出错时会发生什么。

这三个问题及其背后更完整的实践,不需要新的监管法规,而需要组织设计,并在日常中持续磨练。事实上,这正是能够顺利规模化的AI部署与陷入停滞的AI部署之间的核心区别。

判断力作为战略能力

发展方向是更多的委托授权,而非更少:智能体系统将代表我们进行谈判、协调和行动,而不仅仅是提出建议。一名人类员工在默认情况下带来判断力、审慎态度和对结果的利益相关性;而AI智能体则不具备这些,除非组织主动将其构建进去——这使得判断力层的重要性愈发凸显,而非削弱。将判断力层与技术层和制度层并行构建、将信任视为战略能力而非合规成本的组织,正是那些最自信地规模化AI的组织。

这才是治理在实践中真正成为增长策略而非口号的地方。知道何时将工作委托给AI、何时将人类保持在决策回路中的组织,将比那些不知道的组织行动更快,既能避免过度自动化,也能避免反射性的过度谨慎。经过审慎放置的信任是创新得以持久的基础;随意放置的信任是危害得以规模化的根源。

判断力层——不应被视为监管的替代品——正是让监管在日常生活中真正落地的关键。欧盟《AI法案》、NIST以及ACAP等框架将继续划定边界。而边界之内发生的事——在诊室里、预算会议上、新闻编辑室中、餐桌旁的对话里——则取决于坐在键盘前的那个人是否具备做出判断的能力。

AI最大的风险,不是它取代我们,而是它说服我们在不知不觉中放弃自己的判断力。解药在于每一天、每一个真实处境中有意识地持续修炼。

Q&A

Q1:CALIBRATE框架是什么?包含哪些核心内容?

A:CALIBRATE是作者在两年研究与近百次深度访谈基础上提炼出的一套AI判断力实践框架,包含九个一贯的思维习惯。它从系统最初如何被情境化和对齐出发,贯穿对完整性与偏见的持续审查,直至系统上线后责任的明确归属。它是一套随系统演进而不断回溯的持续性实践,而非一次性完成的检查清单,完整内容收录于即将出版的新书《信任密码》中。

Q2:LIT框架具体指什么?如何在实际决策中使用?

A:LIT是CALIBRATE框架中适用于即时决策场景的三步子集,适合临床医生、管理者等需要快速判断的人群。三个步骤分别是:限定边界(明确系统不该用在哪里)、审查完整性(了解系统基于什么数据和假设构建)、透明溯源(弄清系统在优化什么目标以及输出的来源)。这三个问题不需要新法规支撑,而需要组织层面的日常设计与实践。

Q3:现有AI治理框架(如欧盟AI法案、NIST框架)存在什么局限性?

A:现有框架主要运作于市场和组织层面,能够规范AI系统的授权范围和风险管理,但无法回答具体决策时刻的核心问题:我是否应该在这里、针对这个决策信任这个系统?真实的AI失败往往发生在规则的缝隙之间,例如优化参与时长却导致用户自杀的聊天机器人、从历史数据中习得歧视的招聘算法——这些都不是规则失灵的结果,而是缺乏人类在关键时刻行使判断力的结果。

World Economic Forum