利用推测解码加速大语言模型推理的协同设计方法

本文是AI模型协同设计系列第三篇，聚焦如何利用投机解码（Speculative Decoding）在保持精度的同时加速大语言模型推理。文章提出五条选择草稿长度与草稿机制的实用准则：通过增加草稿长度将GEMM推入计算密集区...

Red Hat发布AI平台新版本，全力助推企业级AI落地部署

红帽在亚特兰大峰会上发布Red Hat AI 3.4，聚焦企业混合云环境下的大规模推理与智能体AI部署。新版本引入模型即服务能力、分布式推理支持及推测解码技术，可将文本生成速度提升至三倍。此外，红帽还宣布与Nvidia深...

谷歌Gemma 4 AI模型借助多Token预测实现三倍提速

谷歌为Gemma 4开源模型推出多令牌预测（MTP）技术，通过推测解码预判未来令牌，使本地推理速度最高提升3倍。测试显示，Gemma E2B和E4B在Pixel手机上分别提速2.8倍和3.1倍，Gemma 4 31B在苹...