LIVE INDEX / 最新文章
Kinetics:从全新视角重新思考大语言模型测试阶段的资源分配,卡内基梅隆大学研究表明稀疏注意力机制至关重要

Kinetics:从全新视角重新思考大语言模型测试阶段的资源分配,卡内基梅隆大学研究表明稀疏注意力机制至关重要

卡内基梅隆大学研究团队提出全新"Kinetics"缩放定律,揭示大语言模型测试阶段的资源分配策略需要重新思考。研究发现小型模型效率被严重高估,因为以往研究忽略了内存访问成本这一关键瓶颈。在测试阶段,注意力机制而非参数数量...