LIVE INDEX / 最新文章
一个字就能节省千个字:低秩克隆技术实现高效知识蒸馏,哈尔滨工业大学研究提升小型语言模型效率

一个字就能节省千个字:低秩克隆技术实现高效知识蒸馏,哈尔滨工业大学研究提升小型语言模型效率

这篇论文介绍了一种名为"低秩克隆"(LRC)的新型知识蒸馏方法,能极大提升小型语言模型的训练效率。哈尔滨工业大学深圳校区和百度公司的研究团队通过训练可学习的低秩投影矩阵,同时实现了软剪枝和激活克隆,避免了传统方法中的信息...

模型合并:一项提升大型语言模型预训练效果的强大武器——字节跳动Seed团队最新研究成果解析

模型合并:一项提升大型语言模型预训练效果的强大武器——字节跳动Seed团队最新研究成果解析

这篇研究探讨了模型合并技术在大型语言模型预训练中的应用。字节跳动Seed团队通过从百万到千亿参数级别的系统实验证明,在稳定训练阶段合并检查点不仅显著提升模型性能,还能准确预测学习率衰减效果,大大节省计算资源。研究提出的P...

从呼噜声到语法:探索如何在合作觅食中产生语言 - A*STAR与南洋理工研究团队的突破性发现

从呼噜声到语法:探索如何在合作觅食中产生语言 - A*STAR与南洋理工研究团队的突破性发现

这项由新加坡和英国研究机构联合进行的研究,使用多智能体强化学习探索了语言起源问题。研究团队设计了"觅食游戏"环境,让智能体在部分可观察的世界中协作完成任务。结果表明,智能体自发发展出具有人类语言五大特性的通信系统:任意性...