智能体AI、推理模型、混合专家架构与储层计算正在改变AI工作负载对计算资源的使用方式，其中智能体AI的兴起尤为引人注目，CPU供应因此承压。
卷积神经网络与大语言模型在商用AI领域占据主导地位已有一段时间，GPU承担了这些模型的大部分繁重计算工作。但智能体AI需要更多的协调调度能力，这正是CPU的专长所在。
当AI的唯一任务是运行模型时，它会依赖GPU或专用神经处理单元。智能体仍会使用这些模型，但每个模型只是整体方案的一部分。这些智能体必须根据模型返回的结果做出决策，这就需要if-then-else逻辑判断能力，而这恰恰是CPU的强项，GPU则并不擅长此类任务。据一些行业估计，智能体工作负载可能会将CPU与GPU的配比从1:4改变为低至1:1。
更新的模型类型也在不断涌现，其中大多数仍以大语言模型的基本原理为基础。与智能体AI不同，推理模型、混合专家模型和储层计算仍然依赖GPU，但它们同样很适合被智能体所调用。
像素与解析
多年来，实用的商用AI主要指卷积神经网络和循环神经网络（RNN）。前者擅长分析摄像头输入，后者则在分析声音和语言方面表现出色。大语言模型的"语言"一词原指其专长所在，但如今大语言模型的能力远超语言处理本身。其核心理念是将一段文本抽象为Token，现在几乎任何内容都可以被视为Token。
大语言模型相比循环神经网络的优势在于，它们可以保持任意长度的上下文，这使其在解读和生成文本时能更好地选择恰当的词语。此外，循环神经网络所需资源更少，能够在无需等待建立上下文的情况下即时分析输入的声音帧，从而提升实时响应能力。
早期大语言模型面临的挑战在于，它们只有一项任务——预测序列中可能出现的下一个词。这个词在语法上必须合理，但未必在语义上准确，更不会去核实事实的正确性，这也正是"幻觉"现象频发的原因。
改善这一问题的方法之一是检索增强生成（RAG）。模型不再仅仅是找出一个可能合理的词，而是可以访问包含真实事实的"嵌入"内容，从而生成在语法、语义和事实层面都准确无误的文本。
秘密代理人
当下的热门话题当然是智能体AI。智能体是一种新的实体，它并非取代或修改大语言模型（或其他模型），而是代表了更高层次的抽象——作为模型的协调者发挥作用。它本身不是一个模型，不过仍然需要经过训练。
"有一些新的研究表明，智能体推理的规模将远超此前所有技术的总和，"Delos Data首席执行官兼联合创始人埃德·多伊说道。
智能体的核心意义在于，它不仅仅是为问题找到答案，还会根据答案采取相应行动。它采取的行动很可能取决于迄今为止收到的答案，也就是说，它可以向模型发送Token，收到结果后决定下一步该做什么，从而展开一系列决策与行动。
一个训练良好的智能体应当能够在不需要严密监督的情况下处理一系列任务。"作为领导者，如果你必须告诉团队完成每一步该怎么做，你就会被每个环节的细节牵制，"Cadence数字与签核事业部产品管理总监罗布·诺斯解释道。"但如果你说，'我需要你去把这项工作完成'，那你就可以转去处理其他任务，偶尔检查一下进展是否顺利。"
这是一个全新的领域。"从去年开始，智能体AI迅速崛起，"Arm云与AI基础设施芯片全球负责人萨塔达尔·巴塔查尔吉指出。"现在你可以说，'我想去哥斯达黎加玩10天，需要预订酒店、租车，还要买公园的门票，这是我的预算，帮我把这些都搞定。'你给出一个大致的要求，就像对旅行社说的那样，然后智能体就会调用各种API来替你完成这些操作。"
CPU的新使命
智能体的决策通常涉及if-then-else分支判断，而这并非GPU所擅长的领域。CPU在处理这类决策密集型代码方面表现远胜一筹，因此在计算集群中扮演着越来越重要的角色。对于典型的大语言模型而言，CPU主要承担主机职责，负责搭建环境并通过PCI管理诸如横向扩展之类的通信工作，这是相对较轻的CPU负载，使其能够同时为多个GPU承担主机职责。CPU与GPU的配比因系统而异，但对典型大语言模型而言大约是1:4。
而在智能体场景下，CPU将承担更多实际工作（而不仅仅是辅助GPU完成工作）。因此，尽管GPU长期以来一直是舞会上的焦点，但随着CPU与GPU的配比趋近于1:1，CPU正重新受到重视，这也将推高对CPU的需求，进而可能推动价格上涨。
"过去的挑战是，每个CPU能搭配多少个AI加速器，"Synopsys IP战略营销经理罗恩·洛曼说。"随着智能体AI的发展，CPU的负载需求增加了，配比关系因此发生了变化。"
巴塔查尔吉表示认同。"对CPU的需求大幅上升，因为每个人都在寻求更强大的算力，同时还要以更节能的方式来运行这些智能体，"他说。
"过去18个月里，每个人都在追逐智能体AI，"QCI首席技术官杨孟苏说。"这正是目前CPU价格飙升的原因。"
"CPU又回来了，但使用方式与数据中心其他场景中的用法截然不同，"多伊说道。
智能体查询的计算密集度也更高，因为向智能体发送一次请求，通常会在智能体完成一系列任务的过程中引发多次查询，而不仅仅是一次查询。
更先进的智能体还必须理解任务的先后顺序，而这是可以通过编程实现的。"这里面还涉及编程的部分，"Arm的巴塔查尔吉说。"你可以运行JSON脚本来调优和编排顺序，智能体还能做的事情还有很多。"
展示你的推理过程
早期模型面临的另一个挑战是人类难以理解它们的工作原理。模型本质上是一大团数字，没有哪个单独的数字能够真正对应到某个具体的物理事实。训练过程中得到的权重并非一成不变——训练从随机权重开始，经过多轮迭代不断优化。如果换一组不同的随机初始值，训练最终会演化出一个不同的、但同样正确的模型。
那么，即便你的方案只是众多可能正确模型中的一个，又该如何证明它是正确的呢？目前并没有确定性的方法来追溯基础模型是如何进行计算的，这使得对那些必须确保安全的系统进行认证变得十分困难。而随着前沿模型出现不良行为、甚至逃脱"沙盒"限制等情况，安全这一概念本身的范畴也在不断扩展。
推理模型会在生成查询答案之前进行额外的推理计算，在某些情况下，它们还能说明自己是如何得出答案的。"推理是指模型运用其对该主题的知识、你此前与模型交流的上下文，以及对提问者本身的了解，"巴塔查尔吉说。"因此，推理是模型进行更高层次思考、得出更优回答的过程，它更加全面，覆盖的范围更广，而不仅仅是回答被问到的那个具体问题。"
推理模型同样需要经过训练，因此如果推理过程中某一步出现错误，这一反馈可以用来改善模型在未来查询中的表现。
推理环节涉及的计算更适合由GPU而非CPU来完成。"推理通常是模型推断过程的一部分，主要在GPU或其他AI加速器上运行，"巴塔查尔吉说。"思考过程涉及生成额外的Token以及神经网络计算，这些工作最适合由加速器来完成。"
推理模型已经实现商业化发布。"OpenAI的O系列模型和DeepSeek-R1就是已经商用部署的推理模型实例，"巴塔查尔吉补充道。
众包（还是云端协作？）
大语言模型是体量庞大的模型，让每个Token都经过整个模型处理会消耗大量资源。目前有两种方法试图控制这类模型的规模。
较为简单的方法是小语言模型。它不再试图将整个互联网及人类全部知识都塞进一个模型中，而是专注于某个特定领域，并在该领域内接受充分训练，但在其他领域则不涉及。小语言模型是一种可以独立运行的自包含模型。
另一种日益流行的技术，则是在混合专家（MoE）模型中，将单个模型层的部分内容划分为若干"专家"。在给定的层上，可以设置多个相互独立的专家，每个专家都拥有自己的一套权重，使其更擅长处理特定类型的Token。
"模型中部分密集前馈网络（FFN）层会被多个独立的FFN（即'专家'）以及一个经过学习的路由机制所取代，"巴塔查尔吉解释道。
"早些时候，大语言模型的扩展方式是，只要增加更多参数，性能就会提升，"Synopsys接口IP产品管理总监普里扬克·舒克拉解释道。"而采用混合专家架构后，你不再只有一个庞大的参数模型，而是拥有多个专家模型，因此整个流程不再需要10万亿参数。你可以将其拆分，比如用1万亿参数专门处理法律事务，再用1万亿参数专门处理数学问题，然后由前端模型将查询分配给合适的模型。"
存在一个通用模型，其作用是"理解当前提出的问题是什么"，这一阶段被称为预填充阶段。"在这一阶段，它会解析你的提示词以理解上下文，"巴塔查尔吉说。"随后会有一系列专家参与处理。一旦系统理解你的问题与医疗健康相关，就会调用在该领域经过训练的专家。"
门控函数或路由机制会针对给定的Token决定将其发送给哪个专家。理论上它可以将Token发送给所有专家，但通常只有一到两个专家会真正参与处理。训练过程遵循常规方式，但路由机制也会在训练过程中通过观察哪些专家在处理不同Token时表现最佳而得到训练，这使其能够在推理阶段恰当地分配Token。
反映推理过程中迄今发生的一切上下文信息，被存储在键值缓存（KV cache）中。随着处理的持续进行，这个缓存会不断增大，并驱动后续的决策，相关信息会被发送给所选定的专家。
"我们必须将第一个模型生成的键值缓存传输给与之交互的相关专家，"Synopsys的舒克拉说道。
路由机制同样在加速器上执行。"路由或门控功能本身是模型的一部分，通常与模型一起在加速器上执行，"巴塔查尔吉指出。
最后，专家的划分是在训练阶段完成的。"这些专家是联合训练而成的，通常不是人工手动分配的，"他说。
当将混合专家模型与另一种专业化策略——小语言模型——直接进行对比时，这种区别会更加清晰。
小语言模型与混合专家模型的对比
小语言模型和混合专家模型在两个关键方面存在差异。小语言模型可以处理整串Token，而特定专家只会处理一串Token中的某些部分。小语言模型体量更小，运行所需资源更少。混合专家模型则会构建出更大的模型——普通大语言模型在所有任务上只有一个"专家"，而混合专家模型针对同一任务提供多个专家，这使得该模型比纯粹的大语言模型等效版本更大。但它仍然很可能比让整个模型不设专家、却要覆盖所有领域进行训练所需的规模更小。
此外，混合专家模型能够实现更广泛的覆盖范围，其中内嵌的专家可以涵盖广泛的主题领域。而小语言模型只覆盖狭窄的范围，因此能够处理的内容也更为有限。
混合专家模型往往比常规的"密集型"模型规模更大，因为某个关键的前馈层可能会被多个专家所取代。这意味着总参数量可能超过标准模型，但由于在任意给定时刻只有少数专家在运行，因此并非所有参数都需要被调取。
"混合专家模型的总参数量可能非常庞大，因为它包含多个专家，但针对每个Token只会激活其中一部分专家，"巴塔查尔吉解释道。"这种稀疏激活正是其核心优势所在，它使模型能够在不要求每个推理操作都调用全部参数的情况下，提升整体容量。"
混合专家模型在功耗方面的影响则不太明朗。"尽管混合专家模型可能包含更多的总参数，但通常每个Token只会激活其中一部分专家，"巴塔查尔吉说。"这意味着相比参数总量相当的密集型模型，它每个Token所需的计算量可能更少。但其代价在于，路由、内存访问以及设备间通信可能会带来额外的开销，因此效率越来越取决于整体系统的设计，而不仅仅是参数数量本身。"
随机储层
一种相当小众的模型类型被称为储层计算。由于其在处理时间序列方面的职责有限，它比典型模型更易于训练，因为模型的大部分内容都是随机生成的。训练过程只会影响最后一层，该层负责将随机部分产生的结果映射到正确答案上。
"这是一种专门针对动态时序输入的方法，尤其适用于低功耗、快速部署，以及那些简单训练就足够有效的场景，"巴塔查尔吉说。
由于模型大部分内容并不重要，它们可以被硬编码到芯片中，只有最后一层接受训练得到的权重，这也使其所需能耗大大降低，因为只需调取最后一层的权重。
这类AI技术鲜少被提及，但它在语音或音频识别、处理传感器数据与控制机器人马达，以及建模各类序列（包括天气和金融市场等应用的时间序列预测）方面都能发挥作用。
量子计算公司（QCI）正在筹备推出一款光子版本的储层计算机。"你可以用其他方法实现储层计算，但在所有方法中，光子技术因其带宽优势而成为最佳选择之一，"QCI量子技术负责人普拉杰内什·库马尔说。
光子技术的一个优势在于，未来可以利用波分复用（WDM）技术来提升效率。"假设你有10个波长，"库马尔解释道。"你可以在这10个波长上分别承载10个不同的任务。如果所有任务使用的核函数相同，你就可以在没有任何干扰的情况下并行执行10次运算。"
通过这种方式，它们能够满足那些需要高性能和低功耗的特定任务需求。"未来有一些应用场景，比如垂直起降飞行器需要进行轨迹规划，"库马尔说。"你不希望飞行器相互碰撞。我还跟一位教授交流过，他正在使用我们上一代产品分析脑部信号，试图根据大脑活动来判断能否区分癫痫与其他病症。还有一些应用更偏向军事和国防领域。"
综合来看，这些专业化方法拓宽了AI技术的整体格局，而非指向某一种占据主导地位的单一架构。
众多模型类型
不同模型类型的数量仍在持续演变，短期内这一趋势不太可能改变。如今，卷积神经网络仍有其应用场景，而大语言模型和智能体AI则是其中的主力军，混合专家模型正逐渐获得关注。推理模型的应用范围没有那么广泛，但也有自己的一席之地，储层计算同样如此。
这些技术大多仍依赖GPU（或其他神经处理单元）来完成繁重的计算工作。最大的例外是智能体AI，它对CPU提出了更高要求，但同时并未减轻GPU所承受的压力。
像注意力机制和Transformer这样的突破性进展是否会定期出现，目前尚难预料，但眼下，开发者们正充分利用现有的一切，努力寻找更好的应用方式——而这一进程似乎还看不到尽头。
Q&A
Q1：智能体AI为什么会改变CPU和GPU的使用比例？
A：因为智能体需要根据模型返回的结果做出决策，涉及大量if-then-else逻辑判断，这正是CPU的优势所在，而GPU并不擅长此类任务。据行业估计，智能体工作负载可能将CPU与GPU的配比从1:4改变为低至1:1。
Q2：混合专家模型和小语言模型有什么区别？
A：小语言模型可以处理整串Token，专注于某个狭窄领域；而混合专家模型针对同一任务设置多个"专家"，每个专家只处理特定的Token，覆盖范围更广，总参数量通常更大，但每次推理只激活部分专家参数。
Q3：储层计算有什么特点和应用场景？
A：储层计算大部分内容是随机生成的，训练只影响最后一层，因此训练更简单、能耗更低。它适用于语音识别、传感器数据处理、机器人控制，以及天气和金融市场等时间序列预测场景。
