AI 正在各行各业快速落地,但 IT 领导者普遍面临一个隐性挑战——AI 知识的传承难题。随着时间推移,这一问题正逐步演变成一种新型、复杂的技术债务。

传统系统与 AI 的本质区别

传统 IT 系统通常依托有据可查的逻辑体系运作,包括代码、配置、工作流和系统架构。企业风险与事件管理软件公司 Resolver 的首席技术官 Jamie Dearnley 表示:"你可以通过查看代码或文档,理解系统的运作原理和行为逻辑。"

AI 则截然不同。其行为不仅取决于代码,还受到训练模型、数据、提示词及持续变化的参数配置的共同影响。"AI 系统能够正常运转,在很大程度上依赖于反复测试、试错,以及构建团队的实践经验。"Dearnley 指出,这意味着仅仅记录技术本身远远不够,企业还必须记录背后的决策过程,"否则,一旦关键人员离职或调岗,重要知识就可能随之流失。"

AI 知识为何难以还原

AI 开发商 Latent AI 的首席技术官 Guy Maliar 解释道,传统软件中,代码本身就是真相,"新来的工程师读完代码,就能重建系统的运行逻辑,因为行为是确定性的。" 而 AI 完全打破了这一模式。系统的行为并不真正存在于代码中,而是从模型、提示词、数据,以及团队在开发过程中做出的无数细小判断中涌现出来。

Maliar 坦言,这些经验几乎从未被书面记录。"由于系统具有非确定性,无法通过阅读代码来预测其行为,必须通过亲历系统的运行与失败,才能真正掌握其特性。"一旦原始团队离开,组织将面临严重的理解断层。

建立知识传承体系的实践路径

如何让 AI 知识更具可传承性?多位行业专家给出了具体建议。

Dearnley 建议,首先对组织内所有 AI 系统建立完整清单,包括各团队在未经正式审批的情况下自行引入的"影子 AI"工具。许多组织在用的 AI 数量远超自身认知。"知道了系统的存在,再去明确每个系统的负责人、它支撑哪个业务流程、依赖哪些数据、风险等级如何。你无法对一个连自己都不知道存在的东西进行有效治理。"

eClerx 首席技术官 Sanjay Kukreja 也建议建立 AI 系统清单,内容应涵盖所用的模型、智能体、数据集、提示词、工具和业务流程,以及各自的负责人和所支持的决策或操作。

Maliar 则强调,要把那些来之不易的实证知识当作真正的交付成果,而不是副产品。具体做法包括:维护版本化的评估集,记录"正确结果"的标准;保存决策追溯记录,让继任者能够理解设计背后的逻辑。他特别指出,评估集是重中之重,"能让新团队在尚未完全理解系统之前,先确认没有破坏任何东西。对 AI 而言,知识传承不在于解释系统,而在于保留测试系统的能力。"

"黑箱"问题与技术债务风险

AI 领域的"黑箱"问题,是指无法清晰解释 AI 系统如何处理输入并得出特定输出的困境。在深度神经网络等复杂模型中,数十亿次数学运算交织出的决策,几乎无法被人工逐步追溯或解释。

Maliar 警告称,组织正在积累一种危险的技术债务——系统运行一切正常,直到某次模型更新、数据漂移或意外输入将其打乱,而此时已没有人具备足够的背景知识来查明原因。"你最终会依赖一个既无法修复也无法安全更改的东西,最后只剩两条路:不敢动它,或者因为理解成本太高而选择推倒重来。如果你无法解释系统的决策依据,那面对监管机构、客户甚至法庭,你将无从辩护。"

AI 招聘公司 Joveo 首席技术官 Prateek Mishra 指出,最大的风险不是 AI 犯错,而是组织不知道它为何犯错。"一旦用户无法理解 AI 的决策,信任就会立刻崩塌。随着 AI 向更具自主性的智能体方向演进——即能够整合多点解决方案并执行复杂、高频工作流的系统,透明度变得愈发关键。"他强调,确保系统可解释是负责任部署 AI 的前提条件。

知识传承,需要创造力

Eisner Advisory Group 董事总经理 Jen Clark 建议,要在知识传递方式上保持创新。"利用 Claude、Copilot 或 ChatGPT 等生成式 AI 工具,将个人掌握的知识转化为可传承的形式,包括操作指南、文档以及简短的录屏演示,在团队成员之间流转。"共享代码库和协作项目同样是有效手段,因为知识在工作推进过程中得以同步沉淀,而非事后费力还原。

Q&A

Q1:AI 知识传承危机具体指的是什么问题?

A:AI 知识传承危机是指,当构建或维护 AI 系统的核心人员离职或转岗后,其他人很难接手并继续运维这些系统。原因在于 AI 的行为不是由代码决定的,而是来自模型训练、数据、提示词以及大量非文档化的判断和经验,这些内容极难被完整记录和传递,容易形成长期积累的技术债务。

Q2:企业应该如何建立 AI 系统的知识传承机制?

A:专家建议从以下几个方面入手:首先,建立全组织 AI 系统清单,包括"影子 AI"工具,明确每个系统的负责人、业务用途和风险等级;其次,维护版本化的评估集,将"正确结果"的标准以可测试的形式固化下来;第三,保存决策追溯记录,让继任者能理解设计逻辑;最后,利用 Claude、Copilot、ChatGPT 等工具,将个人经验转化为可共享的文档或录屏演示。

Q3:AI 系统的"黑箱"问题会带来哪些实际风险?

A:黑箱问题意味着当 AI 系统出现异常时,没有人能解释它为何做出特定决策。这会导致多重风险:一旦出现模型更新、数据漂移或意外输入,团队可能完全不知道如何修复;用户和业务方对 AI 决策的信任可能瞬间崩塌;在面对监管机构、客户或法律诉讼时,企业无法为 AI 的决策提供合理解释,法律与合规风险极高。

InformationWeek