麻省理工学院CSAIL等机构研究人员开发了一种名为CompreSSM的新方法,可在AI模型训练过程中同步完成压缩,而非训练完成后再处理。该技术针对状态空间模型架构,借助控制论中的Hankel奇异值工具,在训练完成约10%时即可识别并剔除冗余组件,使后续训练以更小模型的速度运行。测试显示,压缩模型训练速度最高提升1.5倍,在CIFAR-10基准测试中准确率达85.7%,优于同等规模从头训练的81.8%。
数源AI推荐的论文'VideoMamba: State Space Model for Efficient Video Understanding'介绍了VideoMamba模型,它通过线性复杂度运算符实现高效长视频理解。该模型克服了3D CNN和视频变换器的局限,具备可扩展性、敏感性、优越性和兼容性。