2026年无疑是人工智能智能体之年。智能体的应用已经无处不在，人们用它来编写代码、与客户沟通、识别并解决信息技术环境中的问题，以及在企业环境中执行复杂任务。
似乎没有什么是智能体做不到的。然而，智能体行为中固有的风险也几乎和它们的成功案例一样频繁地出现在新闻中。关于智能体失控、突破沙盒限制、入侵其他公司和政府机构的恐怖故事充斥着媒体。
你所在组织的AI战略或许依赖于AI智能体，但考虑到这些风险，你真的应该将公司的成功寄托在它们身上吗？
非确定性行为：智能体最大的优势，也是最大的弱点
是否部署智能体，关键在于理解其非确定性行为。
如今的智能体通常依赖大语言模型。大语言模型接收人类语言输入，通过预测序列中的下一个词来生成人类语言输出。
由于模型的训练方式，重复给定相同的输入，可能会产生截然不同的输出。换句话说，基于大语言模型的智能体本质上是非确定性的。
这种非确定性赋予了智能体独特的能力，因为没有它，智能体就不具备自主性：即根据可获得的信息做出决策，采取不同行动以实现既定目标的能力。
没有自主性的软件，按定义就不是智能体——尽管存在大量"智能体包装"的案例，即人们把确定性软件也称作智能体。
还有一些非确定性软件的例子，它们并不具备大语言模型所提供的那种自主性，即基于随机策略的非确定性软件。此类随机性软件的常见例子包括强化学习和蒙特卡洛模拟：基于随机化做出决策的软件。
然而，除了这些有限的例子外，在智能体浪潮出现之前编写的绝大多数软件都是确定性的：给定相同的输入，软件总是执行相同的操作。
当然，这种可预测的行为正是我们最初构建软件的初衷。无论是处理银行交易、运行薪资系统、分配飞机座位，还是过去一个世纪里我们用计算机完成的其他数百万种任务，我们想要的都是可预测的行为。
那么，为什么我们现在却想要AI智能体不可预测的行为呢？
AI智能体真正擅长的领域
当存在一个正确答案且你想要找到它时，确定性软件是最佳选择。以运行薪资系统为例：目标是确保每个人都获得正确的工资——仅此而已。
相比之下，基于大语言模型的非确定性推理在以下情况下最有意义：面对一系列不同或变化的输入，你想要获得最佳结果，即使可能并不存在唯一正确的答案。
例如依赖天气的规划、复杂信息技术环境中的事件缓解，以及基于多方输入的业务预测等。
在这些情况下，不仅没有单一的正确答案，智能体给出的答案也未必是最佳结果。智能体给出糟糕答案或采取不良行动的可能性始终存在。
如果你不想冒这样的风险，那就不要使用智能体。
使用AI智能体并非好主意的情况
有几种情况下使用AI智能体并非明智之举。以下是其中一些最重要的情形：
当确定性软件能够满足你的需求时。
智能体不仅偶尔会出现失控行为，运行成本也可能很高。如果传统的确定性软件就能满足需求，那么智能体通常不是好的选择。
当每个决策或行动都必须完全正确时。
千万别让智能体碰你的薪资系统。
当智能体失控行为可能造成严重伤害时。
智能体出现失控行为的概率或许很低，但如果这种失控会导致医院患者死亡、飞机坠毁或石油钻井平台爆炸，那么即便概率很低，这个风险也不值得冒。
当智能体的成本相对于你期望获得的业务收益而言过高时。
智能体可能会进行多次大语言模型调用、反复尝试各种操作，并调用昂贵的工具来完成目标。如果这种行为的成本超过了预期的业务收益，那么使用智能体在经济上就不划算。
当实现目标必须具备人类特质时。
大语言模型（以及由此产生的智能体）擅长模拟人类特质，如同理心、创造力、洞察力和理解力，但它们实际上只是在模仿人类行为。当你的目标需要这些真正的人类能力时，不要被迷惑：将智能体行为拟人化终将适得其反。
智能体行为（乃至整个AI）的拟人化是一种微妙且鲜为人知的风险——但也许是其中最具危害性的一种。相信机器人真的能像人类一样思考和感受，可能导致自杀风险上升、对技术的过度依赖，以及其他危险且适得其反的行为。请务必谨慎。
如何决定何时使用智能体
要判断在特定情况下部署智能体是否是最佳决策，可以借鉴站点可靠性工程（SRE）的做法：计算错误预算。
错误预算代表在考虑所有相关因素后，可接受的智能体失控成本，以百分比表示。例如，你可能计算出错误预算为5%，这意味着考虑到降低这一数字所需的额外成本，你可以接受智能体5%的时间出现失控行为。
如果你计算出某个智能体的错误预算为零，那就意味着你得出的结论是根本不应该部署该智能体。请记住，智能体总是存在失控的可能性。
确定错误预算后，接下来进行一个简单的决策理论演练：当错误预算（失败概率）乘以失败的总成本，大于成功概率乘以该结果所量化的业务收益时，就不应该部署该智能体。
换句话说，智能体正常运作时你预期获得的业务收益，应该超过失败的总成本。
不过，还有一个因素需要考虑。请记住，这一计算是基于估算得出的，其中任何或全部估算都可能是错误的。
因此，你预期的业务收益应该以较大的幅度超过智能体失控的总成本——至于幅度要多大，取决于你整体的风险承受意愿。
Intellyx观点
当前AI市场中一个普遍趋势是，用技术手段来缓解智能体AI固有的风险。这种理论认为，只要有更好的治理和安全软件，我们就能充分约束智能体，从而放心地部署它们。
然而，这种推理存在缺陷。智能体治理领域大部分创新的核心，是限制智能体不可预测的本质以使其规规矩矩——尽管正是这种不可预测性赋予了智能体自主性。
换句话说，我们冒着杀死"下金蛋的鹅"的风险：大语言模型赋予我们这些极其强大的智能体，而作为回应，我们却竭尽全力束缚它们，以至于它们不再像我们最初期望的那样有用。
我设想了一个不同的未来。一旦围绕AI智能体的炒作逐渐平息，技术也日趋成熟，我预测我们会发现，智能体最好谨慎使用。
毕竟，确定性软件已经满足了我们数十年的需求。我们真的想让智能体取而代之吗？我对此持怀疑态度。
Q&A
Q1：为什么说AI智能体具有非确定性？
A：今天的智能体通常依赖大语言模型，大语言模型通过预测序列中的下一个词来生成输出。由于训练方式的原因，即便是重复相同的输入，也可能产生不同的输出，这正是智能体具备自主决策能力的来源，也是其非确定性的根本原因。
Q2：什么情况下不应该使用AI智能体？
A：当确定性软件足以满足需求、每个决策都必须完全正确、智能体失控可能造成严重伤害、成本超过业务收益，或者任务需要真正的人类特质（如同理心、创造力）时，都不应该使用AI智能体。
Q3：如何判断某个场景是否适合部署AI智能体？
A：可以借鉴站点可靠性工程中的"错误预算"概念，计算智能体失控的可接受成本比例，再通过决策理论比较预期业务收益与失败总成本。只有当预期收益明显超过失败成本时，才值得部署智能体。
