微软公司今日揭晓了其最新自研的人工智能加速芯片Maia 300。
该芯片专为推理任务优化。微软估计，Maia 300每兆瓦可处理的Token数量比"领先的基于GPU的系统"多40%，这里很可能指的是英伟达公司的产品。微软表示，随着时间推移，Maia系列芯片将成为公司推理算力的主要来源。
Maia 300采用四个计算芯粒，由台湾积体电路制造公司最新的2纳米工艺制造。这些芯粒周围配置了八个HBM4内存模块，总容量达288GB，与英伟达旗舰加速器Rubin相同。不过，Maia 300的内存带宽比Rubin低约20%。内存带宽衡量的是数据在内存中传输的速度快慢。
AI芯片通常需要在计算电路和内存电路之间反复传输数据来完成推理任务，这种持续的数据搬运会拖慢处理速度。据微软介绍，Maia 300采用了一种数据流架构，旨在最大限度减少数据移动。在可能的情况下，计算芯粒会将信息保留在内部SRAM缓存中，而不是发送到HBM堆栈。
在无法避免使用HBM的情况下，Maia 300的计算芯粒会将数据发送到物理位置相邻的内存堆栈，这比将信息传输到芯片另一端的HBM堆栈要快得多。此外，Maia 300还会将数据压缩为MXFP4等轻量级格式，这类格式体积更小，能让数据在芯片内部移动得更快。
"更窄的数据表示方式减少了内存占用和数据移动，使系统能够在相同功耗范围内支持更大的模型、更长的上下文以及更多的并发会话，"微软高管拉妮·博尔卡和索拉布·迪格在一篇博客文章中写道。
Maia 300的计算模块和内存模块由微软所称的"设备控制芯粒"支持，该芯粒负责管理处理器核心组件的电力供应、收集遥测数据并执行其他辅助任务。此外还有另外两个辅助芯粒，负责管理加速器内外的数据流动。
微软计划将Maia 300部署在托盘中，每个托盘配备四个加速器。这些托盘将被放置在液冷机架中，每个机架共容纳96个加速器。微软预计，这些机架所能提供的Token吞吐量将达到采用上一代Maia 200芯片系统的约七倍。后者于今年1月首次发布，目前已投入生产使用。
微软打算将Maia 300机架组合成所谓的超级集群（superpod），每个超级集群总共包含12288个加速器。各个芯片之间将通过定制的基于以太网的网络堆栈连接。该网络可以调整分配给机架内流量和机架间通信的带宽比例，从而能够针对每种工作负载定制配置，进而提升性能。
通常情况下，芯片在同一机架内与跨机架之间交换数据的方式是不同的，这意味着在两种网络模式之间切换时，需要借助主机服务器的中央处理器或独立的网络芯片来完成。相比之下，Maia 300在这两种任务中使用"相同的通信语义"，从而无需额外硬件，使集群运行更加高效。
"工作任务可以跨越机架边界使用算力，当工作负载规模与物理机架配置不匹配时，能够减少闲置的加速器资源，"博尔卡和迪格解释道。
微软计划明年开始在生产环境中部署Maia 300。公司预计，这款自研芯片将为数千兆瓦规模的AI计算容量提供支持。
Q&A
Q1：Maia 300是什么？
A：Maia 300是微软公司最新自研的人工智能加速芯片，专为推理任务优化，采用四个计算芯粒和八个HBM4内存模块，相比上一代产品性能大幅提升。
Q2：Maia 300相比英伟达的芯片有什么优势？
A：微软估计Maia 300每兆瓦可处理的Token数量比领先的基于GPU的系统多40%，并采用数据流架构最大限度减少数据移动，提升处理效率。
Q3：Maia 300什么时候开始投产使用？
A：微软计划于明年开始在生产环境中部署Maia 300，预计这款自研芯片将为数千兆瓦规模的AI计算容量提供支持。
