两位专家足矣:在无需额外训练的情况下提升MoE推理模型的认知努力
腾讯和浙江大学研究团队提出了"认知专家增强"(RICE)方法,无需额外训练即可提升MoE推理模型性能。通过归一化点态互信息识别关键认知专家后,仅增强两个专家的权重就能显著提高模型在数学和科学推理任务上的准确率,同时减少计...
腾讯和浙江大学研究团队提出了"认知专家增强"(RICE)方法,无需额外训练即可提升MoE推理模型性能。通过归一化点态互信息识别关键认知专家后,仅增强两个专家的权重就能显著提高模型在数学和科学推理任务上的准确率,同时减少计...
这篇研究介绍了一种新型"逆效能驱动多模态融合"(IEMF)技术,灵感来自大脑处理多感官信息的方式。当单一感觉信号较弱时,大脑会增强多感官整合效果;信号强时则降低融合依赖。中国科学院研究团队将这一机制应用于AI系统,使其能...
这项由爱丁堡大学和华为研究团队完成的研究探究了大语言模型在多跳问题答案任务中如何处理上下文排列。研究发现:编码器-解码器模型(如Flan-T5)在未微调时表现优于更大规模的因果解码器模型;改变黄金文档顺序揭示了前向排列(...
KERL是一个创新的食谱推荐系统,由伦斯勒理工学院研究者开发,将食品知识图谱与大语言模型相结合,提供个性化推荐并生成食谱步骤和营养信息。系统包含三个模块:KERL-Recom(负责推荐菜品)、KERL-Recipe(生成...
Meta公司研究团队开发的Dynadiff技术实现了单阶段从脑部fMRI信号直接解码图像的突破,解决了现有方法复杂多阶段和忽略时间维度的问题。通过创新的"大脑模块"设计和扩散模型整合,Dynadiff在高级语义图像重建方...
这篇研究论文展示了以物体为中心的表征(OCR)如何提升机器人操作的泛化能力。法国中央工学院的研究团队对比了全局、密集和基于OCR的视觉模型在模拟和真实环境中的表现,发现OCR方法(特别是VIDEOSAUR*)在各种视觉干...
2025年5月20日,上海交通大学与上海人工智能实验室合作发布了"视觉智能体强化微调"(Visual-ARFT)研究,使AI模型能像人类一样主动使用搜索引擎和编写代码处理图像。这项突破性技术通过强化学习让大型视觉-语言模...
香港城市大学、OPPO研究院与香港理工大学研究团队提出了VisualQuality-R1,一种通过排序强化学习训练的推理增强型图像质量评估模型。该模型将Thurstone排序模型无缝集成到组相对策略优化中,使用连续保真度...
这项研究提出了AnytimeReasoner框架,通过从先验分布采样思考预算,优化大语言模型在任意计算资源下的推理能力。研究团队开发的预算相对策略优化(BRPO)技术引入可验证的密集奖励,提升强化学习效率。实验表明,该方...
这篇研究通过创新的"先描述后推理"方法,解决了视觉语言模型在学习推理过程中容易走捷径的问题。研究团队开发的Visionary-R1模型不依赖任何推理链标注数据,仅使用问题-答案对和强化学习,就实现了超越GPT-4o等商业...
香港浸会大学周開陽教授率领的研究团队提出了IndexMark,这是首个针对自回归图像生成模型的免训练水印框架。该方法利用码本中索引的冗余性,通过匹配-替换策略在生成过程中嵌入不可见水印。具体而言,IndexMark将码本...
这项研究提出了量化零阶优化(QZO)方法,解决大型语言模型微调时的内存瓶颈问题。研究团队通过创新性地结合模型量化(将权重从16位压缩到4位)和零阶优化(通过前向传递扰动估计梯度),同时消除了对梯度和优化器状态的存储需求,...
纽约大学阿布扎比分校研究团队提出了一种创新的两阶段训练方法,解决了AI领域的数据稀缺问题。他们首先让AI模型在简单的"骑士与恶棍"逻辑游戏中"热身",学习通用推理技能,然后再用少量特定领域数据进行强化学习。实验表明,这种...
这项由EPFL和Google联合完成的研究提出了WilliamT,一种创新的低成本自动化程序修复工具。与传统的寻找漏洞根本原因的方法不同,WilliamT专注于"崩溃点修复",直接在程序崩溃位置添加防护代码,有效阻止漏洞...
这项研究介绍了一种新型的新闻偏见检测工具"bias-detector",由慕尼黑工业大学和罗马大学的研究团队开发。他们通过在BABE数据集上微调RoBERTa模型,显著提升了偏见检测准确率,其宏观F1得分达0.9257,...
2025年5月23日,正值Claude 4系列模型发布当天,Redpoint的AI播客《Unsupervised Learning》邀请到了Anthropic的技术团队成员Sholto Douglas进行了一次深度对话。
ByteDance Seed团队发布的BAGEL是一个突破性开源基础模型,采用混合变换器专家架构,能同时执行多模态理解和生成任务。研究显示,随着训练数据和模型规模增加,BAGEL展现"涌现能力"—从基础理解和生成,到复杂...
这项研究证明推理模型(使用链式思考的大语言模型)不仅在解决问题上表现优异,还能更准确地表达其确信度。研究人员在六个数据集上评估了六种推理模型,发现它们在33/36种测试设置中比非推理模型表现更好。深入分析揭示这一优势来源...
这项研究突破了大语言模型推理能力主要局限于数学和编程领域的限制,提出了"General-Reasoner"训练方法,使模型能够在物理、化学、金融等多领域展现高水平推理能力。研究团队构建了包含23万个跨学科问题的高质量数据...
这篇研究来自新加坡南洋理工大学,首次建立了覆盖英语-汉语、英语-泰米尔语和英语-马来语的代码切换对话摘要基准测试CS-Sum。研究评估了10个大型语言模型,发现即使最先进的模型在处理混合语言时也存在严重局限,主要表现为忽...