电力一直是数据中心发展的限制因素，而AI推理正在使这种压力达到前所未有的程度。
牛津大学2021年孵化出的光学计算公司Lumai表示，它可以通过利用光而非晶体管来执行推理的核心运算，从而缓解这一压力。
该公司目前正在将这一主张付诸实际测试。Lumai正在将其Iris Nova服务器部署到英国的Scaling Inference Lab，这是一个在真实商业环境中对实际工作负载评估新型AI硬件的设施。Iris Nova是Lumai的首款服务器，是一款专为数据中心推理打造的光学AI加速器，它将成为该实验室部署的首个光学推理平台。
英国高级研究与发明局（ARIA）是一家政府支持的研发资助机构，为该实验室提供支持，而专注于协作式AI开发的非营利组织CommonAI CIC则负责运营。研究人员将利用这次部署来评估光学计算在商业数据中心环境中的表现。
该硬件旨在解决的问题是功耗。
“电力是最大的挑战，”Lumai产品总监菲利普·伯尔（Phillip Burr）告诉Data Center Knowledge。“数据中心的电力预算是固定的，而推理需求的增长速度超过了可用电力的增长速度。”
光学推理如何缓解数据中心电力限制
矩阵乘法，即大型数字网格相乘的过程，是AI推理的核心。伯尔表示，这正是光学计算能够高效运行的领域。
要理解光学硬件为何可能具有优势，有必要了解GPU和光学系统执行这种运算方式的不同之处。
“GPU是使用晶体管执行AI推理核心矩阵乘法运算的硅芯片，”伯尔解释道。“光学计算利用光的特性执行相同的矩阵乘法，在单个光学周期内完成数百万次运算。”
Lumai表示，Iris将数字编码为光强度，并使用透镜等被动光学元件来执行运算。该公司称，计算本身消耗的能量微乎其微，随着性能提升，功耗只会略微增加。
这并不意味着该系统完全摒弃了传统电子元件。伯尔表示，Lumai的架构是混合式的：光学部分处理矩阵乘法，而内存、控制和非线性函数则由电子方式执行。
推理主要分为两个阶段，光学计算针对其中一个阶段。伯尔表示，预填充（prefill）阶段是处理提示词和上下文的阶段。第二个阶段是解码（decode），即生成输出Token的阶段。
“预填充是计算受限的；每个模型权重会在提示词的每个Token中被重复使用，因此运算量占主导地位，”伯尔说。“这正是光学计算能够提升性能的地方。”
从实际角度来说，计算受限意味着运算速度决定了整体性能。Token是文本的小单元，比如一个单词或单词的一部分。
解码的工作方式则不同，因为Token是逐个生成的。伯尔表示，解码受限于内存带宽，因此更快的运算速度并不能带来同样的效益。他还补充说，模型训练目前也不太适合光学计算，因为训练需要更高的精度和持续的权重更新。
“GPU仍然是训练和解码的理想选择，”伯尔说。
Lumai Iris Nova服务器设计用于处理预填充阶段，而将解码任务留给其他硬件。
“Iris专为预填充阶段设计，而GPU或其他针对解码优化的硬件则用于解码，”伯尔说。“将预填充任务从GPU上移除，也能释放出GPU的容量用于解码。”
Iris Nova如何融入现有数据中心基础设施
对于那些按阶段拆分推理任务——在Iris Nova上运行预填充、在GPU上运行解码——的运营商来说，需要软件将这些任务分配到不同的硬件上。这种方法被称为分解式服务（disaggregated serving），伯尔表示Iris Nova的设计能够与支持这种方式的框架协同工作。
“在集成方面，Iris可与标准软件框架（如PyTorch）、标准网络接口，以及vLLM和SGLang等分解式推理服务框架兼容，”伯尔说。
这种拆分是否值得，取决于数据中心所处理的具体工作内容。
“对于运营商来说，决定因素在于他们有多少计算量用于预填充，”伯尔说。“在长提示词和智能体工作负载中，预填充占主导地位，这类模型需要反复处理大量上下文。这正是光学计算发挥最大效用的场景。”
另一个实际考量因素是设施要求，伯尔表示该硬件采用了常见的组件制造。
“Lumai Iris服务器所使用的组件已经在数据中心通信领域实现了大规模量产，而不是采用新型材料或定制制造工艺，”伯尔说。
冷却要求同样也较为常规。Iris Nova部署所在的Scaling Inference Lab，是在真实商业环境中以标准电力、冷却和机架集成方式测试硬件，这为Lumai提供了在典型数据中心条件下的试验机会。
“Iris Nova可在标准风冷机架中运行，不需要液冷，”伯尔说。
Lumai表示，此次ARIA支持的部署的目标是进一步验证该系统，并生成数据，以帮助塑造其下一代面向量产部署的产品。
“ARIA的部署将把一组Iris Nova服务器投入到独立运营的实验室——ARIA的Scaling Inference Lab中，”伯尔说。“这将证明光学计算能够在研究环境之外运行真实的AI工作负载，并提供系统级的性能数据。”