模型压缩优化 关键字列表
训练中压缩模型:CompreSSM让AI边学边"瘦身"

训练中压缩模型:CompreSSM让AI边学边"瘦身"

麻省理工学院CSAIL等机构研究人员开发了一种名为CompreSSM的新方法,可在AI模型训练过程中同步完成压缩,而非训练完成后再处理。该技术针对状态空间模型架构,借助控制论中的Hankel奇异值工具,在训练完成约10%时即可识别并剔除冗余组件,使后续训练以更小模型的速度运行。测试显示,压缩模型训练速度最高提升1.5倍,在CIFAR-10基准测试中准确率达85.7%,优于同等规模从头训练的81.8%。