AI推理革命已至：硬件厂商加速转型应对海量查询-AI基础设施-至顶网

2020年以来，AI领域的焦点始终围绕着训练更大、更好的模型。大语言模型的参数规模从数百万激增至数万亿。这一路径确实有效：OpenAI于2020年发布的GPT-3最大版本，在一项流行的知识与推理基准测试中仅能正确回答43.9%的问题。仅仅四年后，GPT-4o在同一测试中得分达到88.7%，基本追平了人类专家水平。

领先的AI实验室仍在训练规模越来越大的模型，但训练本身在AI讨论中的关注度已有所减弱。到2026年，推理——即使用已训练好的模型来生成代码、撰写文章，或者制作我们变身精灵的图片——已成为焦点所在。

"训练就像是昨天的新闻了，"Moor Insights & Strategy首席数据中心分析师马特·金博尔说道。"如今每个首席信息官想谈论的都只有推理。"英伟达首席执行官黄仁勋在公司GTC 2026大会上发言时，将这一变化称为"推理的拐点"。

促成这一转变的原因之一很简单：大语言模型正变得实用，因此人们开始大量使用它们。除此之外，如今市面上的许多模型都是推理模型。面对用户的一次查询，它们并非只运行一次推理，而是多次运行，通过一种被称为"思维链"的过程不断自我重新提示。推理模型生成的输出更长，高推理强度的模型产生的文本量可达低强度或无推理模型的20倍。智能体AI的兴起进一步加剧了全球的推理工作负载，因为推理不再仅仅是对用户查询的实时响应，还会全天候运行，自主朝着用户设定的目标努力工作。

由此引发的推理需求爆炸式增长，促成了科技巨头之间意想不到的联盟。OpenAI和亚马逊部署了由Cerebras设计的、尺寸如餐盘般大小的芯片，尽管亚马逊自己也拥有Trainium芯片。英伟达以颇具争议的200亿美元交易，从AI推理初创公司Groq收购了核心人才和知识产权。而Anthropic则每月向大语言模型竞争对手SpaceXAI支付超过十亿美元，用于租用闲置算力。

尽管看起来相似，但AI训练与AI推理在计算方式上存在本质差异。科技巨头的这些重大举措表明，为了支撑推理需求，业界所需的硬件组合将与几年前专家的预期大不相同。

AI推理与AI训练有何不同

未经训练的大语言模型就像桌上一堆杂乱的拼字游戏字母块。不过这些"字母块"上显示的不是单个字母，而是词语片段，称为Token。写出几乎任何内容所需的一切都已具备，只是尚未组织成有意义的顺序。

训练模型的过程，就是通过大规模的猜词游戏来梳理这堆杂乱无序的内容。模型会被展示真实文本，其中下一个Token被隐藏，模型需要预测接下来会出现什么。每次猜测后，正确的Token会被揭示出来并与预测结果比较，差异被用来计算模型的准确率。这个游戏不是只玩一句话，而是要在数十亿段文本上反复进行。

真正的拼字游戏可以边吃薯片边喝饮料悠闲地玩，但AI训练在计算上却十分繁重。模型通过反向传播来更新参数，这一过程需要反复计算模型数十亿甚至数万亿个参数中的每一个应该如何调整，才能让下一次预测更准确。这正是科技巨头们建造比以往任何时候都更大规模数据中心的原因。

最终，模型的创建者会认为进一步训练已不值得投入成本，猜词游戏便告停止。反向传播结束，参数被冻结，大语言模型成为一个预训练模型。微调——在更小、更专门化的数据上进行的短期训练——会做最后的调整，然后模型便可以部署使用。

接下来就是推理阶段。这是使用已部署模型的过程，该模型经过训练后，已经学会了以合理的顺序输出Token这些"字母块"。

你可能会认为AI推理的计算需求较低，因为用于更新参数的反向传播计算已被去除。但推理硬件公司d-Matrix的创始人兼首席技术官苏迪普·博哈解释说，推理带来了新的挑战。

这些模型本质上是"自回归"的。也就是说，下一个输出取决于前一个输出。"所以为了生成下一个Token，你必须读取前一个Token的所有权重和所有[上下文]，"博哈解释道。这里的上下文包括你所有的提示词、大语言模型的所有回复，以及你上传的所有文件。这是一个庞大的数据量，也意味着大量的处理工作。

大语言模型分两个阶段生成回复：预填充和解码。预填充是模型读取提示词的过程。它一次性处理所有Token，计算每个Token与其他所有Token之间的关联。这一操作被称为"注意力机制"，是支撑现代大语言模型的Transformer架构的核心特征。它使模型能够根据句子、段落及更大语境来理解一个词，而不是孤立地理解它。可以把它想象成在正式落子之前先摆弄拼字游戏的字母块。许多玩家会移动字母块来设想它们如何组合。自注意力机制发挥着类似的作用，不过并非移动实体字母块，而是每个Token向其他Token发送一个查询请求，并获得一个表示该Token相关性的分数。

这些查询会产生两类向量：键和值。它们通常被存放在一个称为KV缓存的存储区中。这并非严格必需的，因为模型也可以在生成每个新Token时重新计算这些向量。但几乎所有大语言模型都使用KV缓存来减少计算量。KV缓存存储在内存中，成为大语言模型可以随时返回查阅以理解对话内容的"记事本"，尽管起初它很小，但可能会膨胀到数十吉字节。

预填充是一个可以轻松拆分并并行处理的问题。这正是为什么GPU在大语言模型热潮兴起时成为主流AI加速器的原因。图形光栅化（计算屏幕上每个像素的颜色）同样具有高度并行性，因此GPU架构天然适合这一需求。

接下来是解码阶段。在这一阶段，模型逐个Token地生成回复。每一步，模型会取出最新生成的Token，将其与KV缓存中的所有内容进行权衡比较，利用这些信息预测下一个Token，并将新Token的键和值添加到缓存中。然后按此顺序反复进行，一个Token接一个Token。

正是在这里，模型的自回归特性成为了推理速度的阻碍。预测每个Token都需要从内存中读取整个模型，而该模型可能包含数十到数百吉字节的参数（代表模型在训练中学到的知识的数字）。关键在于，这还是在需要存储KV缓存的内存之外额外产生的开销。

因此，所有这些数据在内存中的移动，往往需要超出推理硬件所能提供的带宽。所以GPU中至少部分计算单元会在等待数据时处于闲置状态。研究人员发现，运行开源大语言模型的英伟达H100 GPU有50%到80%的时间处于闲置状态。

内存在推理中的角色

前Meta硅工程负责人、AI初创公司Majestic Labs联合创始人沙赫里亚尔（沙）·拉比表示，处理器闲置正是许多致力于提升AI推理性能的公司专注于内存问题的原因。"在基于GPU的方案中，你最终会大幅过度配置计算资源，而内存却严重不足。这正在推动[内存]的大规模扩展，"他说。

博哈所在的d-Matrix和拉比所在的Majestic Labs都专注于解决这一内存瓶颈问题。不过，两家公司设想的解决方案各不相同。

d-Matrix的第二代AI加速器Raptor旨在通过最小化计算与内存之间的距离来提升推理性能。目前大多数AI推理部署中的GPU，是通过将高带宽内存（HBM）环绕在GPU周边来实现这一点的。每个HBM是由多个DRAM芯片堆叠连接而成，并通过超高速接口与GPU相连。这对训练而言效果很好，但对推理来说，这种堆叠方式所能提供的内存容量和带宽却略显不足。

内存带宽——即数据从内存读取到逻辑单元的速度——是AI推理中的一大瓶颈。初创公司d-Matrix正在通过将逻辑芯片直接堆叠在内存（此处为DRAM）之上来提升这一带宽。这种方式实现了大量极短的互连线路。

d-Matrix的Raptor通过将AI加速器堆叠在DRAM芯片上来消除这一瓶颈。d-Matrix没有堆叠内存，而是将内存和计算单元堆叠在一起。博哈表示，这将数据需要传输的距离缩短到了"微米级而非毫米级"。就像建造摩天大楼一样，向垂直方向发展使得在相同的物理占地面积内实现更多功能成为可能。

Majestic采取了相反的方法。该公司并非致力于最小化计算与内存之间数据传输的距离，而是专注于改进内存接口，使其能够容纳更长的连线走线，同时保持高带宽。更长的连线使Majestic能够连接那些并非紧邻GPU放置的内存堆，从而消除了HBM的空间限制。

"内存接口能够运行的物理距离非常短。就HBM而言，最多只有2到3毫米。你只有这么一圈狭窄的'海岸线'可以放置HBM，"拉比说道。

Majestic声称其内存接口可以将数据传输至约1米的距离。这是通过专有的铜制链路和一个协调数据的内存聚合芯片实现的。"聚合芯片是高速接口的终端节点，也是扇出连接众多商用DRAM芯片的方式，"拉比说。因此，Majestic能够在单个服务器机架中支持高达128太字节的DRAM内存——相较于英伟达GB300 NVL72机架约20太字节的HBM3E容量，这是一个显著的提升。

Majestic Labs计划通过专有互连技术和内存聚合芯片来满足AI对内存的巨大需求，使单个机架能够访问高达128太字节的廉价DRAM内存。

d-Matrix和Majestic有一个共同点：它们都没有使用HBM，而是采用现成的DRAM。这是世界上最常见的计算机内存类型，从智能手机到汽车，几乎无处不在。内存分析师吉姆·汉迪指出，HBM的成本是DRAM的两到三倍。d-Matrix和Majestic选择DRAM，部分原因正是出于这一价格优势。然而，包括三星和SK海力士等内存巨头在内的HBM支持者，也并未坐视不理。

HBM4是HBM内存的最新版本，目前已投入生产，将用于预计2026年下半年出货的英伟达Vera Rubin GPU。SK海力士内存系统研究负责人Hoshik Kim表示，HBM4"将通过将HBM的最大内存带宽翻倍并增加每个堆栈的HBM内存容量，从根本上打破当今制约AI推理的内存瓶颈"。

结合多种芯片以加速推理

英伟达和亚马逊这样的行业巨头，正在采取"全芯片出动"的策略。英伟达的GPU和亚马逊的Trainium训练加速器仍然非常适合处理推理工作负载的一部分：预填充阶段，即计算所有上下文键和值的阶段。但为了加速生成新Token的解码阶段，它们正转向来自小型厂商的、以内存为核心的新架构。

就英伟达而言，这个小型厂商就是Groq（不要与SpaceXAI训练的Grok系列大语言模型混淆）。英伟达于2025年底从Groq收购了知识产权并招募了相关人才，仅仅三个月后，在英伟达GTC 2026大会上，黄仁勋发布了英伟达Groq 3语言处理单元（LPU）。Groq的架构依赖于内存——在其方案中是SRAM——直接构建进芯片架构之中。

除非你是芯片架构师，或者是硬核PC游戏玩家，你可能从未想过SRAM。SRAM的优点是能与计算芯片架构紧密集成——它与处理器位于同一片硅晶上——缺点是密度较低、成本较高，不及DRAM。大多数芯片仅包含数十兆字节的SRAM。然而，AI推理却重新点燃了人们对SRAM的兴趣，将其视为拉近存储的模型权重与计算单元之间距离的一种方式。

英伟达超大规模及高性能计算副总裁兼总经理伊恩·巴克表示，LPU的优先级设置与公司的GPU大不相同。LPU的原始计算能力远不及标准GPU，但它获得了500兆字节的片上SRAM，直接与其浮点运算单元相连。"好处在于内存带宽。LPU的内存带宽是GPU的七倍，"他说。

理论上，通过Rubin GPU和Groq LPU的组合，预填充和解码都能得到加速，从而实现两者优势的结合。"我们在Vera Rubin[GPU]机架上完成所有的注意力计算和上下文处理，"巴克解释道。"至于所有的专家计算……矩阵乘法运算，我们在LPU上完成这部分工作。"该公司将256个LPU封装进Groq 3 LPX中，这是一个数据中心机架大小的系统。

英伟达同样计划将推理工作负载拆分到两种芯片上处理。该公司最新的Rubin GPU将处理计算密集型的预填充阶段，而拥有大量片上SRAM的Groq 3语言处理单元（LPU）将处理内存密集型的解码阶段。

亚马逊云科技（AWS）方面，则与Cerebras达成合作，将Trainium加速器与Cerebras的晶圆级引擎3（WSE-3）搭配使用。Cerebras采用了与Groq类似的方法，不过规模更为庞大。WSE-3将整片硅晶圆变成一个单一芯片，包含超过4万亿个晶体管。该设计不与外部内存连接，而是在每片晶圆上蚀刻44吉字节的SRAM。"我们将[模型]权重存储在SRAM上，"曾任Cerebras产品营销总监、现已转投SpaceXAI的詹姆斯·王表示。"因此，我们能在单个芯片上轻松支持400亿到800亿个参数。"

亚马逊计划将AWS Trainium芯片用于预填充，而将Cerebras用于解码。但Cerebras的芯片也能独立完成推理任务。WSE-3被OpenAI部署用于驱动GPT-5.3-Codex-Spark（该公司编码模式的一个变体），输出速度超过每秒1000个Token。相比之下，OpenAI标准部署的GPT-5.4输出速度为每秒50到125个Token。

亚马逊云科技将其Trainium芯片与Cerebras餐盘大小的晶圆级引擎（WSE）相结合，以处理AI推理的不同环节。Trainium芯片处理计算密集型的预填充阶段，而配备交错式片上SRAM内存的WSE则处理受内存带宽限制的解码阶段。

Cerebras也能在不将工作负载转移到不同专用芯片的情况下处理预填充任务。为此，它将多个WSE-3芯片联网组成一个统一的内存池。"从商业角度而言，到目前为止，我们已为客户处理过约5000亿参数的规模，"王说。"但该架构在能处理的参数数量上并无内在限制。"

尽管在策略上存在这些差异，英伟达和AWS似乎都认同，AI推理的未来将通过一种系统性方案来解决，即汇集多种芯片来共同应对最大规模的大语言模型。正如巴克所说："要完成现代AI推理，你需要用上所有种类的芯片。"

用更少的位数做更多的事

英伟达之所以成为全球最具价值的科技公司，是因为它设计出了全球最受青睐的GPU。但业界的关注点并非全部聚焦于改进AI推理硬件。AI研究人员也在学习如何协同优化大语言模型的软件和硬件，以充分利用内存和计算组件。

大多数计算机以32位或64位格式存储数字。这决定了表示单个数字可用的位数。如果可用位数太少，数字就无法在不丢失信息的情况下被存储。大语言模型的质量得益于更精确的数字格式，但这给推理性能带来了问题。更精确的数字并非没有代价。描述它们所需的位数会占用更多内存空间，并需要更多的硅片资源和能耗来完成计算。

AI加速器公司Tensordyne联合创始人吉勒斯·巴克胡斯表示，这在模型规模和数字精度之间造成了一种张力。"你是更倾向于选择一个规模为x、以8位运行的模型，还是选择一个规模是它两倍、以4位运行的模型？"两种模型在内存和计算方面的规模大致相同，"但4位方案能给你两倍多的'突触'，如果你愿意这么理解的话。人们正逐渐意识到，[4位方案]是值得采用的。"

将大语言模型从更精确的数字格式转换为精度较低格式的过程称为量化，这一技术已经使用了数年。不过，研究人员正在探索新的方法，以便在大幅降低模型精度的同时，仍能保留模型质量的绝大部分。

英伟达最近为此创建了一种新的4位数字格式，即NVFP4。AMD、英特尔和高通则联合支持另一种竞争性的4位数字格式，称为MXFP4，英伟达也参与了该格式的开发工作。"这是AI领域的一种'黑魔法'，"英伟达的巴克说道。据该公司介绍，当英伟达将DeepSeek-R1从FP8量化为NVFP4后，在七项主要基准测试中的得分下降幅度不到1%，而性能却提升了三倍。

量化很可能只是冰山一角，AI研究人员和初创公司正在探索多种优化机遇，其中一些可能会从根本上改变AI推理硬件所采用的芯片形态。

Tensordyne预计将通过一种对数数字系统来加速AI推理，该系统利用了对数的一个特性：A乘以B的对数等于A的对数加上B的对数。因此，以指数形式存储数字，能让芯片用加法代替原本需要的乘法运算。这在硅片设计中意义重大，因为乘法器电路比加法器电路消耗更多功率、占用更多芯片面积。Tensordyne表示，其名为Napier的机架级硬件，每用户每秒可产生高达1300个Token，同时功耗还不到英伟达同类硬件的十分之一。

总部位于加州圣何塞的初创公司Etched，甚至正在设计将大语言模型所用的Transformer架构直接转化为硅片电路的AI加速器。该公司并非打造通用型GPU，而是将高效执行Transformer计算所需的连接直接布线进芯片中，这使得芯片的灵活性大大降低，但在处理当前大语言模型最常执行的任务时效率更高。该公司表示，其首款AI加速器Sohu，运行Meta的Llama 70B模型时速度可达惊人的每秒50万个Token，不过这种方案也意味着它无法运行那些脱离典型Transformer架构的大语言模型。

这些理念能否取得成功，目前尚有待观察。Etched刚在今年8月发出首批机架产品。Tensordyne则认为其首款硬件将在2027年上市。即便如此，这些初创公司的探索表明，对推理性能的需求正在激发各种非传统的创新理念。

推理是所有人的游戏

AI推理加速方案的种类之丰富——将计算堆叠在内存之上、将接口传输距离从毫米级延伸至米级、用整片硅晶圆制造SRAM、将模型压缩至4位——引发了一个问题：谁将胜出，谁又将落败？

但专家表示，这可能并非正确的问题。当前AI需求可谓永无止境，尽管业界始终笼罩着AI泡沫的担忧，但这种担忧至今尚未阻碍其增长。

相反，Moor Insights & Strategy的金博尔认为，从长期来看，推理可能会推动对AI硬件的巨大需求，因为这种需求的边界目前尚不明朗。"你可以为你的组织增加一百万个智能体，"他说。"这些东西一天24小时都在工作；它们不会像我们一样到晚上五点就下班回家。"

如果AI推理像金博尔所预期的那样持续保持强劲需求，那么其演进路径很可能会遵循与CPU相似的轨迹。CPU的进步并非沿单一维度推进，而是在多个方向上同时展开。一旦晶体管缩放速度放缓，各类芯片和系统架构的创新便层出不穷。造就了如今无处不在、强大高效的个人计算能力的一系列具体创新，足以写成数十本书。

几十年后回望，AI推理创新的历史，同样将展现出这般深厚的积淀。

Q&A

Q1：AI推理和AI训练有什么区别？

A：训练是让大语言模型通过反复猜测下一个词来学习和调整参数，计算量极大；推理则是使用已训练好的模型来生成内容，虽然省去了参数更新的计算，但因模型的自回归特性，每生成一个词都需读取全部模型权重和上下文缓存，对内存带宽的要求非常高。

Q2：为什么英伟达和亚马逊要用两种芯片组合来做AI推理？

A：因为AI推理分为预填充和解码两个阶段，二者对硬件的需求不同。预填充阶段计算密集，适合用GPU或Trainium这类芯片并行处理；解码阶段则受内存带宽限制严重，需要用Groq LPU或Cerebras晶圆级芯片这类内存密集型架构来加速，两者结合才能兼顾效率。