2026-06-16
Mindbeam发布开源AI推理框架,CPU推理性能最高提升96倍
初创公司Mindbeam AI发布开源AI推理框架Litespark-Inference,可让三值大语言模型在Apple、Intel、AMD及Arm等主流CPU上高效运行。基准测试显示,相比标准PyTorch实现,该框架...
初创公司Mindbeam AI发布开源AI推理框架Litespark-Inference,可让三值大语言模型在Apple、Intel、AMD及Arm等主流CPU上高效运行。基准测试显示,相比标准PyTorch实现,该框架...
Cerebras成功在纳斯达克上市,创下约55亿美元的半导体史上最大IPO纪录。其联合创始人Jean-Philippe Fricker在访谈中深入解析了"晶圆级"架构的真正含义——涵盖推理速度、热管理与能效表现。Cere...
内存是现代AI大语言模型最严重的制约因素。AI硬件初创公司Majestic Labs开发的Prometheus服务器配备高达128TB内存,是英伟达DGX B300服务器的60多倍。该服务器采用统一DRAM架构,使用专有...
云计算初创公司Parasail完成3200万美元A轮融资,专注为AI推理提供低成本算力服务。该公司每日处理5000亿个Token,通过在全球15个国家、40个数据中心智能调度工作负载,有效降低推理成本。随着开源模型和AI...
IBM一项涵盖500多组对照实验的研究揭示,"中间训练"(mid-training)是提升大语言模型推理能力的关键环节。研究发现,中间训练可将不同规模和架构模型的整体推理能力提升3至4倍,而跳过这一步骤、仅依赖强化学习的...