这篇研究论文提出机械可解释性研究应优先考虑稀疏自编码器(SAE)的特征一致性问题。研究人员观察到SAE在不同训练运行中常学习到不一致的特征集,这削弱了研究可靠性。他们提出使用成对字典平均相关系数(PW-MCC)来量化一致性,并证明适当架构设计能实现高一致性(TopK SAE达0.80)。研究通过理论分析、合成数据验证和语言模型实验,证实特征激活频率与一致性正相关,且向量相似性与特征语义相似性高度一致。这项工作为建立更可靠、累积的机械可解释性研究提供了重要方向。
上海交通大学研究团队利用影响函数揭示了数据特征如何刺激大型语言模型的数学和代码推理能力。研究发现高难度数学问题能同时提升数学和代码推理,而低难度编程任务对代码推理最有效。基于此,他们提出了"任务难度翻转"策略,使模型在AIME24准确率翻倍至20%。细粒度分析还显示,探索性思维行为对推理有积极影响,而数学推理偏好逻辑连接词,代码推理则强调结构化语法。这些发现为优化AI训练数据提供了重要指导。
本研究提出了"能力-难度对齐采样"方法(CDAS),革新了大型语言模型强化学习训练中的数据采样策略。与传统方法不同,CDAS通过聚合历史表现差异实现更稳定的问题难度估计,并将模型能力与问题难度动态匹配。在多个数学推理基准测试中,CDAS达到了46.77%的最高平均准确率,同时比竞争策略提高了2.33倍的计算效率。研究还证明了CDAS在代码生成任务和更大型模型上的有效性,为提升大型语言模型的推理能力提供了高效可靠的新方法。
InfantAgent-Next是一款突破性的多模态通用型AI助手,能通过文本、图像、音频和视频与计算机进行交互。不同于现有方法,它采用高度模块化架构,将基于工具和纯视觉的代理技术融为一体,让不同模型能逐步协作解决分散任务。在OSWorld视觉测试中达到7.27%的准确率,超越Claude-Computer-Use;同时在代码处理基准SWE-Bench和通用任务平台GAIA上也表现出色。其开源设计不仅提供了丰富工具集,还优化了鼠标点击定位和文件编辑功能,为AI自动操作计算机开创了新范式。
KAIST等机构研究团队提出的"覆盖原则"框架揭示了大语言模型在组合泛化能力上的基本局限。研究表明,依赖模式匹配的模型只能泛化到那些可以通过替换功能等价片段到达的输入。实验证实,两步推理任务的训练数据需求与词表大小成二次方增长,且增加模型参数并不改善这种关系;路径歧义任务会导致模型形成上下文依赖的表示;思维链监督虽能提高效率但仍受覆盖限制。研究最终提出三类泛化机制的分类法,为理解组合推理和真正系统性泛化所需的创新提供了清晰路径。
这项研究提出了"多轮分解"(MinD)方法,将大型推理模型的冗长思维链重构为结构化的多轮对话形式,每轮包含一个思考单元和一个答案。通过监督微调和强化学习相结合的训练策略,MinD在MATH等基准测试上实现了高达70%的标记使用量和首个标记延迟(TTFT)降低,同时保持了竞争性能。研究表明,传统推理模型中存在大量冗余思考过程,而MinD通过"完成比完美更重要"的理念,使模型学会生成更简洁高效的推理过程。
NVIDIA季度收入达 441 亿美元,较 2025 财年第四季度增长 12%,较去年同期增长 69%;数据中心季度收入达 391 亿美元,较 2025 财年第四季度增长 10%,较去年同期增长 73%
这项研究提出了"交织式推理"方法,通过强化学习训练大语言模型在复杂推理过程中穿插输出中间答案。与传统的"先思考后回答"模式不同,这种方式让模型像人类一样边思考边给出阶段性结论,不仅将首词响应时间平均减少80%以上,还在某些任务上将准确率提升高达19.3%。研究表明,模型本身就具备交织推理的潜力,通过适当的奖励机制可以显著增强这一能力,并泛化到未见过的复杂推理任务中。
冯轶春、王嘉伟等研究人员开发了DoctorAgent-RL,一种基于强化学习的多智能体协作医疗对话系统,彻底改变了AI医疗咨询模式。与传统单轮问答系统不同,该系统通过医生智能体与患者智能体间的多轮互动,动态优化提问策略,实现主动信息收集。实验表明,DoctorAgent-RL在诊断准确率和临床推理能力上均优于现有模型,展示了在辅助临床咨询中的实际应用价值。
这篇研究介绍了DC-CoT,首个专门评估数据操作如何影响思维链(CoT)知识蒸馏的基准系统。北卡罗来纳大学教堂山分校等机构的研究者使用多种教师模型(如Gemini-Pro、Claude-3.5)和学生架构(3B-7B参数),系统评估了数据增强、选择和混合对学生模型在多个推理任务上的表现影响。研究发现数据增强(尤其是逆向思维)最为有效,不同任务需要不同的最优策略组合,且存在"小模型学习能力差距"—较小学生模型可能从匹配其容量的较小教师中学习更有效。
这项由普林斯顿大学和加州大学欧文分校研究人员完成的研究揭示了一个令人担忧的发现:恶意行为者可以利用多种自由度来增强AI网络安全助手的攻击能力,且无需外部帮助。研究表明,即使只有约36美元的计算预算,这些改进也能使性能提高40%以上。这一发现对网络安全风险评估提出了新要求:必须从动态角度考虑AI系统可能被改进的各种途径,而非仅进行静态评估。
这篇研究介绍了Moonshot AI团队开发的G1模型,该模型通过强化学习显著提升了视觉语言模型在游戏环境中的决策能力。研究团队首创了VLM-Gym训练环境,包含多种视觉游戏与统一接口,并开发了两代模型:G0通过纯强化学习实现自我进化,G1则结合感知增强冷启动与强化学习,在所有游戏中超越教师模型。最关键的发现是感知和推理能力在学习过程中相互促进,为解决视觉语言模型的"知道-行动"差距提供了新方向。
这项研究提出了PathFinder-PRM,一种创新的层次化过程奖励模型,通过先分类数学和一致性错误,再估算步骤奖励分数,从而提升大语言模型的数学推理能力。研究团队构建了40万样本的数据集,使用细粒度错误标签训练模型,在多个基准测试上超越了现有最佳模型,并以更高的数据效率实现了更好的端到端数学问题解决能力。这种方法像经验丰富的数学老师一样,不仅指出错误所在,还能提供更精确的改进指导。
这篇论文比较了AI辅助软件开发中的两种新兴范式:"直觉式编码"(Vibe Coding)和"智能体编码"(Agentic Coding)。Cornell大学研究团队的综述揭示了两种方法的根本区别:直觉式编码强调开发者与AI的对话式交互和创意探索,而智能体编码实现了自主软件开发,能独立执行复杂任务。研究探讨了这两种范式的概念基础、技术架构、应用场景和未来发展路线图,指出它们并非对立,而是可以在软件开发生命周期的不同阶段互补,形成统一的人机协作模式。
RankNovo是由上海人工智能实验室和复旦大学等机构联合开发的创新框架,通过列表式重排序方法整合多个肽段测序模型的优势,提出PMD和RMD两种新指标精确评估肽段差异。实验证明它在9-species基准测试中超越所有单一模型,肽段召回率提升至66.0%,并展示出强大的零样本泛化能力,为蛋白质组学分析提供了全新范式。
这篇研究深入探讨了大语言模型在处理不同语言长文本时的位置偏差现象。研究团队分析了英语、俄语、德语、印地语和越南语五种语言,发现位置偏差主要由模型决定而非语言特性,Qwen模型偏好文本末尾位置信息,挑战了传统认为模型偏好早期信息的观点。研究还揭示明确告知模型正确上下文位置反而降低性能,而熵分析表明当正确信息位于模型偏好位置时,不确定性反而增加,为多语言AI应用提供了重要指导。
ScanBot是康涅狄格大学研究团队开发的首个专为高精度表面扫描设计的指令条件数据集,旨在解决机器人在精细工具使用方面的能力缺口。与传统数据集专注于抓取和导航不同,ScanBot关注亚毫米级精度控制,包含12个物体、6类任务和近900个扫描轨迹。研究评估了GPT-4、Gemini等大模型在参数选择、区域定位和轨迹生成方面的能力,发现即使最先进模型也难以满足工业扫描所需的精度要求,揭示了机器人智能向工具特定感知与控制发展的新方向。
康奈尔大学研究团队提出了"价值引导搜索"方法,通过训练标记级价值模型来优化大型语言模型的推理过程。他们收集了250万个数学推理轨迹,训练了15亿参数的评估模型,实现了基于块的高效搜索。这种方法不需要预定义"步骤"概念,也无需昂贵的每步标注。在四个数学竞赛基准测试中,该方法使DeepSeek-1.5B模型达到了45.7%的平均准确率,与更大模型相当,同时显著减少了计算资源需求。研究团队开源了数据集、模型和代码,为高效人工智能推理提供了新范式。
天津大学和清华大学研究团队开发的FuxiMT是首个中文为中心的多语言翻译模型,基于BLOOMz模型并整合了混合专家技术,支持65种语言的翻译。其采用两阶段训练策略:先在50亿中文句子上预训练,再通过课程学习方法在多语言并行语料上微调。实验表明,FuxiMT在各种资源水平的语言对翻译任务中均优于主流基线,尤其在低资源语言和零样本翻译中表现突出,为跨语言交流提供了新解决方案。
伊利诺伊大学研究团队开发的s3框架只需2,400个训练样本,就能超越需要17万个样本的现有方法,大幅提升语言模型的搜索质量。通过将搜索与生成解耦,s3使用"超越朴素RAG的增益"奖励,专注训练搜索智能体而保持生成模型不变。在通用和医学问答任务中,s3均取得最佳性能,同时实现33倍训练速度加快,适用于各类冻结或专有模型,为RAG系统开辟高效新路径。