LIVE INDEX / 最新文章
Kinetics:从全新视角重新思考大语言模型测试阶段的资源分配,卡内基梅隆大学研究表明稀疏注意力机制至关重要

Kinetics:从全新视角重新思考大语言模型测试阶段的资源分配,卡内基梅隆大学研究表明稀疏注意力机制至关重要

卡内基梅隆大学研究团队提出全新"Kinetics"缩放定律,揭示大语言模型测试阶段的资源分配策略需要重新思考。研究发现小型模型效率被严重高估,因为以往研究忽略了内存访问成本这一关键瓶颈。在测试阶段,注意力机制而非参数数量...

水印竟然会降低语言模型的对齐性!新泽西理工学院最新研究揭示隐患并提供解决方案

水印竟然会降低语言模型的对齐性!新泽西理工学院最新研究揭示隐患并提供解决方案

这项新泽西理工学院与麻省理工学院合作的研究揭示了语言模型水印技术会降低模型对齐性的隐患。研究者发现水印导致两种行为异常:模型要么变得过于顺从而忽视安全限制(防护减弱),要么变得过度谨慎而拒绝合理请求(防护增强)。针对这一...