变革性进化:Transformer Copilot——用学习错误日志提升大语言模型的微调质量
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原...
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原...
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-...
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个...
这篇研究论文提出了一种称为"正交残差更新"的新方法,解决了深度神经网络中标准残差连接的局限性。研究人员发现,在传统残差连接中,模块输出与输入流直接相加可能导致冗余特征学习。他们的创新方法将模块输出分解为平行和正交两个组件...
韩国科学技术院(KAIST)的研究团队发现了大型语言模型中一个令人担忧的现象:"推理刚性"。这种现象表现为即使是最先进的AI模型,如GPT-4o或Qwen3,也会在解决问题时固执地坚持熟悉的推理模式,甚至会"修改"用户明...
比尔肯特大学研究团队提出RoPECraft,一种无需训练的视频动作迁移方法,通过巧妙操作扩散变换器中的旋转位置编码实现。该方法首先从参考视频提取光流信息,用于扭曲RoPE张量;再通过流匹配优化和相位约束正则化,确保生成视...
这项来自加拿大滑铁卢大学的研究挑战了"更多训练数据总是更好"的观念,发现某些数据集反而会损害信息检索模型性能。研究者提出了RLHN方法,使用级联LLM技术识别并重标注训练数据中的"假负样本"。实验表明,这种方法显著提升了...
这项研究介绍了WebAgent-R1,一种用于训练网页智能体的端到端多回合强化学习框架。不同于传统方法,它直接通过在线交互学习,仅依靠二元任务成功奖励信号指导。实验表明,该方法显著提升了Qwen-2.5-3B和Llama...
Think-RM是一项创新研究,通过使奖励模型具备"长程思考"能力来提升AI系统对人类偏好的理解。传统的奖励模型要么仅提供分数(BT RM),要么依赖浅层思考(GenRM),而Think-RM则模拟人类深度分析问题的过程...
台湾国立大学研究团队开发了SAKURA,首个专门评估大型音频语言模型多跳推理能力的基准测试。研究发现,即使最先进的模型也面临两大挑战:一是在识别某些音频属性(如情绪)时准确率不高;二是即使能正确识别音频信息,也难以基于这...
这项由宾夕法尼亚州立大学研究团队开发的FOVER方法解决了AI推理验证器训练中的两大难题:数据标注成本高和应用范围有限。研究者利用形式验证工具(如Z3和Isabelle)自动检查AI在形式逻辑和定理证明任务中的每一步推理...
这篇研究介绍了Meta团队开发的Multi-SpatialMLLM,一种能够理解多帧图像空间关系的多模态大语言模型。研究者创建了首个大规模多帧空间理解数据集MultiSPA,包含超过2700万个样本,并在此基础上训练模型...
RAVENEA是哥本哈根大学研究团队开发的首个多模态检索增强视觉文化理解基准,集成了超过10,000份人工标注的维基百科文档,用于评估视觉语言模型的文化敏感性。研究发现,轻量级视觉模型在配备文化感知检索功能后,在文化视觉...
斯科尔科沃科技学院研究团队开发了一种新型损失函数——基于伊塔库拉-赛托散度的损失函数,用于解决风险敏感强化学习中的数值不稳定性问题。与传统方法相比,该损失函数不仅数值稳定,还保持尺度不变性,同时保留指数效用的理论保证。研...
VLM-R3是一项由北京大学和阿里巴巴联合研发的突破性技术,它通过区域识别、推理和优化三大功能,使多模态大语言模型能够在推理过程中动态聚焦图像的不同区域。类似于人类在思考时会反复观察图像关键部分,VLM-R3通过创新的区...
这项研究提出了名为"Let Androids Dream"的创新框架,解决了多模态大语言模型在理解图像隐喻方面的核心难题——上下文缺失。通过模拟人类认知过程的三阶段系统(感知、搜索、推理),该框架即使使用轻量级GPT-4...
这项研究探讨了如何使大语言模型生成的机器翻译体现特定译者的风格特点。研究团队来自格罗宁根大学和米兰-比可卡大学,他们使用PAR3数据集(包含7种语言小说的多译者翻译)进行实验。他们首先验证了译者风格的可区分性,然后比较了...
预训练和强化学习就能AGI,我的朋友已经不涂防晒霜,Anthropic研究员Douglas:模型对全球GDP的影响类似中国崛起
AI正在彻底改写创业规则:YC最新数据显示,10人团队12个月达成千万美元营收已成常态,"氛围编程"让技术不再是瓶颈,而创始人能否深度理解客户需求成为成败关键。当6人团队就能创造八位数收入时,我们看到的不仅是速度革命,更...
在Google I/O 2025大会后不久,《纽约时报》科技播客《Hard Fork》的主持人Kevin Roose和Casey Newton深入Google总部,与DeepMind联合创始人兼CEO德米斯·哈萨比斯(D...