深度解析:腾讯混元团队《先走后跑》——利用强化学习实现大模型简洁推理的新突破
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理...
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理...
这项由香港科技大学团队开展的研究首次全面评估了压缩对大语言模型Agent能力的影响。研究发现,虽然4位量化能较好地保留工作流生成和工具使用能力(仅下降1%-3%),但在实际应用中性能下降达10%-15%。团队提出的ACB...
这项研究提出了R1-Searcher++框架,通过两阶段训练策略使大语言模型能像人类一样灵活利用内部知识和外部信息。该方法创新性地采用强化学习激励模型优先使用内部知识,并引入记忆机制将检索到的信息转化为内部知识,实现动态...
这项研究提出了AutoRefine,一种革新性的强化学习框架,为大语言模型引入了"边思考边搜索和完善"的全新范式。与传统方法不同,AutoRefine在连续搜索调用之间添加知识完善步骤,让模型能够有效过滤和组织信息。通过...
这项研究揭示了一种新型网络安全威胁:利用普通网络广告攻击AI网页代理。中科院研究团队开发的AdInject攻击无需特殊权限,仅通过精心设计的广告内容就能误导AI代理点击恶意链接,成功率高达90%以上。研究使用严格的黑盒模...
东北大学与快手科技联合研发的UNITE系统为多模态信息检索带来突破性进展。这项发表于2025年5月的研究首次系统分析了模态特定数据如何影响检索性能,并提出创新的模态感知掩码对比学习技术,有效解决不同模态间的竞争关系。UN...
这篇研究论文揭示了多模态大语言模型(MLLMs)存在严重的模态偏差问题,即模型过度依赖文本信息而忽视图像等其他模态。研究团队通过理论分析和实验证明,这种偏差主要源于三个因素:数据集不平衡、模态骨干能力不对称以及训练目标设...
ComfyMind是香港科技大学研究团队开发的一个协作式AI系统,旨在解决当前开源通用生成系统面临的稳定性和规划挑战。该系统基于ComfyUI平台,引入了两项关键创新:语义工作流接口(SWI)和带本地反馈执行的搜索树规划...
这项研究介绍了一种名为"热带注意力"的新型注意力机制,专为解决神经网络在组合算法推理中的困境而设计。传统注意力机制使用softmax函数产生平滑的概率分布,无法精确捕捉组合算法所需的锐利决策边界。
这项研究揭示了RAG系统中位置偏见的真实影响——虽然在受控环境中明显存在,但在实际应用中却微不足道。研究人员发现,先进的检索系统不仅会找出相关内容,还会将具有干扰性的段落排在前列,超过60%的查询中至少包含一个高度干扰段...
哈工大(深圳)团队提出VerIPO方法,通过验证器引导的迭代策略优化提升视频大语言模型的长推理能力。该方法创新性地在GRPO和DPO训练阶段之间引入验证器,筛选高质量推理样本,有效解决了传统强化学习方法在推理链质量和上下...
SqueezeBits和POSTECH联合研究团队提出了GraLoRA,一种改进的参数高效微调方法,解决了传统LoRA在高秩设置下的表现瓶颈。通过将权重矩阵分解成多个独立的子块,每块配备自己的低秩适配器,GraLoRA有...
微软亚洲研究院研究团队开发的rStar-Coder通过构建大规模验证数据集,显著提升了语言模型的代码推理能力。该数据集包含418K个竞赛级代码问题和580K个长推理解决方案,每个都经过多样化测试案例验证。关键创新在于三步...
早上看到玛丽·米克尔(Mary Meeker)发了一份340页的《人工智能趋势报告》,粗粗看了一下,并没有非常轰动的观点,但是数据比较全面,想了想,还是给大家分享下。
华中科技大学与利哈伊大学研究团队开发的MMMR基准是首个专门评估多模态大语言模型推理思考过程的综合工具。通过1,083个跨六大领域的高难度推理任务和创新的推理过程评估管道,研究发现即使最先进的模型在推理任务上也与人类存在...
UI-Genie是一个创新的自我改进框架,解决了GUI智能体面临的两大挑战:轨迹验证困难和高质量训练数据缺乏。研究团队开发了专用奖励模型UI-Genie-RM,采用图像-文本交错架构有效处理历史上下文,并统一了步骤级和任...
浙江大学和蚂蚁集团的研究团队开发了ACTIVE-O3,一种创新框架,赋予多模态大语言模型"主动感知"能力,使AI能够智能地决定"看哪里"和"怎么看"。基于群体相对策略优化(GRPO)构建,该系统采用两阶段策略,先选择关注...
ImgEdit是北京大学与兔小贝AI联合推出的图像编辑框架,解决了开源编辑模型落后于商业产品的问题。该框架包含120万对高质量编辑图像对,涵盖13种编辑类型和11万个多轮交互样本。通过融合视觉语言模型、检测模型和分割模型...
这项研究探索了语言神经元视角下多语言对齐如何增强大语言模型(LLMs)的多语言能力。研究团队提出了一种更精细的神经元识别算法,将激活神经元分为语言特定、语言相关和语言无关三类,克服了现有方法的局限性。基于这种分类,研究将...
这项由弗吉尼亚大学与Adobe研究院合作的研究突破了传统图像到视频生成的空间限制,提出了"Frame In-N-Out"技术,使物体可以自然地离开画面或新物体能够进入画面。研究团队创建了专门的数据集和评估方法,并设计了一...