/
模型量化 关键字列表
PrismML发布超低功耗1位大语言模型，力图将AI从云端解放
加州理工学院AI初创公司PrismML发布了1位大语言模型Bonsai 8B，该模型仅需1.15GB内存，在边缘硬件上比同类模型小14倍、快8倍、节能5倍。该1位架构将神经网络权重简化为±1表示，避免了传统低位量化的性能损失问题。公司提出"智能密度"新指标，Bonsai 8B达到1.06/GB，远超其他模型。该技术有望推动AI从云数据中心转向移动设备、机器人等边缘应用场景。
新型扩散模型为资源受限系统提供成功之钥
人工智能领域正在通过改进模型工作方式来释放新功能。研究人员开发了一种名为"SVDquant"的4位量化系统，可以使扩散模型运行速度提高3倍，同时提升图像质量和兼容性。这种技术通过压缩参数和激活值来大幅降低内存和处理需求，为资源受限的系统带来新的可能性。
微软开源其小型语言模型 Phi-4
微软发布了名为 Phi-4 的小型语言模型的开源代码。该模型具有 140 亿参数，能够生成文本和解决数学问题。经过内部评估，Phi-4 在某些基准测试中的表现优于参数量是其 5 倍的大型模型。这一举动加入了科技巨头开源小型语言模型的潮流中。
白皮书
京公网安备 11010802021500号
