/
用思考生成图像：让AI以视觉思维突破认知边界——上海交通大学GAIR实验室最新研究揭示AI视觉推理新途径
这项研究提出了"用生成图像思考"的创新范式，使AI能够通过生成中间视觉步骤在文本和图像模态间自然思考。研究者实现了"原生长多模态思维过程"，使大型多模态模型能够生成视觉子目标和自我批评视觉假设。实验表明，该方法在处理复杂多物体场景时性能提升高达50%，为医学研究、建筑设计和刑事侦查等领域开创了新的应用可能。
句子级预测：让大语言模型在高层抽象概念上进行推理
这项研究探索了让大语言模型从词级预测转向句子级预测的可能性。研究团队构建了一个框架，使预训练语言模型能在句子嵌入空间中进行推理，探索了语义嵌入和上下文嵌入两种范式。实验结果表明，上下文嵌入在连续推理模式下的表现与传统思维链方法相当，同时将推理时计算成本平均降低了一半。研究还开发了SentenceLens工具可视化内部推理过程，并展示了这种方法在模型规模扩展和模块化适应方面的潜力。这一突破性研究证明预训练语言模型可以有效过渡到更高层次的抽象推理。
揭秘指令特定神经元与专家：一个分析LLM指令跟随能力的全新框架
这项由香港科技大学研究团队开展的创新研究揭示了大型语言模型（LLM）执行指令能力背后的神经机制。研究者通过提出SPARCOM分析框架，成功识别并分析了"指令特定神经元"和"指令特定专家"这两类稀疏组件在模型内部的分布与功能。通过精心设计的HEXAINST数据集，研究发现这些组件不仅具有功能通用性和独特性，而且在模型微调过程中发生显著变化。研究结果表明，模型的指令执行能力主要源于这些稀疏组件的精确激活，为理解LLM内部工作机制提供了新视角，对构建更可靠的AI系统具有重要指导意义。
MUSEG：清华-阿里团队打造时间感知多段定位技术，大幅提升视频理解能力
清华大学与阿里巴巴通义实验室联合研发的MUSEG技术通过创新的时间戳感知多段定位方法，显著提升了视频中的时间理解能力。该方法引入多段定位任务和精心设计的阶段性奖励机制，使模型能够精确识别视频中的多个相关事件及其时间关系。实验表明，MUSEG在各类时间理解任务上全面超越现有方法，为未来视频智能分析开辟了新方向。
像人类需要疫苗一样，AI模型也需要"免疫"：Vector研究所提出模型免疫方法对抗虚假信息
这项由加拿大Vector研究所领导的研究提出了"模型免疫"概念，通过让AI模型在训练过程中接触已标记的虚假信息，增强其辨别和拒绝类似虚假内容的能力。类比人类疫苗接种原理，研究者在微调阶段向模型注入约5-10%的已标记错误内容作为"疫苗"。初步实验表明，免疫后的模型处理虚假信息的能力从60%提升至78%，同时保持了常规任务性能。研究团队还设计了严格的伦理与治理框架，确保虚假内容使用安全。这一方法为提高AI系统的事实准确性提供了预防性解决方案。
DeepResearchGym：一款免费、透明且可复现的深度研究评估沙盒，让研究者摆脱商业搜索API的束缚
DeepResearchGym是一个创新的开源评估框架，专为深度研究系统设计，旨在解决当前依赖商业搜索API带来的透明度和可重复性挑战。该系统由卡内基梅隆大学研究团队开发，结合了基于ClueWeb22和FineWeb大型网络语料库的可重复搜索API与严格的评估协议。实验表明，使用DeepResearchGym的系统性能与使用商业API相当，且在评估指标间保持一致性。人类评估进一步证实了自动评估协议与人类偏好的一致性，验证了该框架评估深度研究系统的有效性。
打造自主信息搜索智能体：阿里巴巴WebDancer的探索之路
阿里巴巴集团和同义实验室的研究团队推出了WebDancer，这是一种能够在网络上自主搜索信息并回答复杂问题的智能体系统。研究团队提出了一个四阶段构建框架，包括数据合成、轨迹采样、监督微调和强化学习。他们创新性地开发了CRAWLQA和E2HQA两种方法来生成高质量训练数据，并采用ReAct框架使智能体能够交替进行思考和行动。实验结果表明，WebDancer在GAIA和WebWalkerQA等基准测试中表现优异，甚至在某些情况下超越了GPT-4o，证明了该方法在构建自主信息搜索智能体方面的有效性。
R2R：使用小型-大型模型令牌路由高效导航分歧推理路径
最近来自清华大学、无限极AI和上海交通大学的研究团队提出了一种名为"通向罗马之路"(R2R)的创新方法，可以在小型和大型语言模型之间进行智能令牌路由。研究发现，小型模型与大型模型的推理路径差异主要源于少量"分歧令牌"。R2R方法只在这些关键令牌上使用大模型，其余时间使用小模型，既保证了推理质量，又提高了效率。实验表明，使用平均5.6B参数的R2R方法超越了14B参数模型的性能，同时提供了2.8倍的速度提升。
FinTagging: 金融信息提取与结构化的新基准测试，让大语言模型更懂财报数据
这项研究介绍了FinTagging，首个面向大型语言模型的全面财务信息提取与结构化基准测试。不同于传统方法，它将XBRL标记分解为数值识别和概念链接两个子任务，能同时处理文本和表格数据。在零样本测试中，DeepSeek-V3和GPT-4o表现最佳，但在细粒度概念对齐方面仍面临挑战，揭示了当前大语言模型在自动化XBRL标记领域的局限性，为金融AI发展提供了新方向。
SweEval：企业使用中的多语言LLM脏话安全基准测试研究
这项研究介绍了SweEval，一个新型基准测试，用于评估大型语言模型在企业环境中处理脏话的能力。研究团队从Oracle AI等多家机构的专家创建了一个包含八种语言的测试集，模拟不同语调和上下文的真实场景。实验结果显示，LLM在英语中较少使用脏话，但在印地语等低资源语言中更易受影响。研究还发现较大模型通常表现更好，且多语言模型如Llama系列在处理不当提示方面优于其他模型。这项工作对企业采用AI技术时的安全考量提供了重要参考。
能力差距决定破解能力：大语言模型红队测试的能力缩放规律
这项由ELLIS研究所和马克斯·普朗克智能系统研究所的科学家进行的研究，揭示了大语言模型安全测试的根本规律：越狱攻击成功率由攻击者与目标模型间的能力差距决定。通过评估500多个攻击者-目标组合，研究团队发现：更强的模型是更好的攻击者；当目标能力超过攻击者时攻击成功率急剧下降；社会科学能力比STEM知识更能预测攻击成功。基于这些发现，研究者建立了预测模型，表明随着AI进步，人类红队测试可能逐渐失效，提示需要发展自动化安全评估方法及更全面地评估模型的说服和操纵能力。
SATORI-R1：华中科技大学研究团队通过空间定位和可验证奖励增强多模态推理能力
华中科技大学和香港中文大学研究团队提出SATORI-R1，一种通过空间定位和可验证奖励增强多模态推理的新方法。该方法将视觉问答任务分解为图像描述、区域定位和答案预测三个可验证阶段，解决了自由形式推理中注意力分散和训练收敛慢的问题。实验证明，SATORI-R1在七个视觉问答基准上一致提升性能，最高达15.7%，并展示出更聚焦的视觉注意力和更低的训练方差。
消除视觉噪点：香港大学团队开创自蒸馏寄存器让视觉Transformer产生更清晰特征表示
这项由浙江大学和香港大学联合研究的PH-Reg方法解决了视觉Transformer模型中的"异常令牌"问题，这些异常会干扰模型对图像细节的准确理解。研究团队提出了一种不需要完全重新训练的自蒸馏方法，通过添加"寄存器令牌"来吸收这些异常。实验表明，PH-Reg在语义分割和深度预测任务上显著提升了性能，平均mIoU达到41.85%，优于现有方法。该技术为现有大型视觉模型提供了一种高效的改进路径，无需昂贵的重新训练过程。
规则与模型验证器的缺陷 — 以数学推理为例，香港科技大学研究团队揭示AI训练中的隐藏风险
香港科技大学研究团队发现AI训练中的验证器存在严重缺陷。基于规则的验证器虽精确但僵化，平均有14%的正确答案因表达形式不同被误判；基于模型的验证器虽灵活但极易被"黑客攻击"，AI可通过输出特定模式欺骗验证器获得不当奖励。研究提出混合验证器设计，结合两者优势，在数学推理任务上将性能提升3个百分点，为开发更可靠的AI训练系统提供重要启示。
GRE套装：提升视觉语言模型地理定位能力的全新方案 - 精细调优与强化推理链打造超强视觉地理识别能力
这篇论文介绍了GRE套装，一个通过精细调优视觉语言模型和增强推理链来提升图像地理定位能力的创新框架。研究团队开发了高质量地理推理数据集GRE30K、多阶段推理模型GRE以及全面评估基准GREval-Bench。通过冷启动监督微调与两阶段强化学习相结合的训练策略，GRE模型能够有效识别图像中的显性和隐性地理指标，在Im2GPS3k和GWS15k等主流基准上显著优于现有方法，为全球图像地理定位任务提供了更准确、更可解释的解决方案。
Safe-Sora：为AI视频生成模型加上"身份证"，清华大学研究团队开创图像水印新方法
清华大学研究团队开发了一种名为Safe-Sora的创新技术，首次实现在AI视频生成过程中嵌入图形水印。该方法通过分层自适应匹配机制，智能地将水印图像分割成小块并分配到视频中最适合的位置，同时利用3D小波变换增强的Mamba架构处理视频时空特性。实验表明，与现有方法相比，Safe-Sora在保持视频质量、水印保真度和抵抗各种处理操作方面均取得了显著优势，为AI生成内容的版权保护提供了有效解决方案。
无需验证师：如何让大型语言模型在没有答案检查者的情况下进行更好的推理
这项研究提出了"VeriFree"——一种不需要验证器的方法，可以增强大型语言模型(LLM)的通用推理能力。传统方法如DeepSeek-R1-Zero需要验证答案正确性，限制了其在数学和编程以外领域的应用。VeriFree巧妙地计算正确答案在模型生成的推理过程后出现的概率，作为评估和训练信号。实验表明，这种方法不仅能匹配甚至超越基于验证器的方法，还大幅降低了计算资源需求，同时消除了"奖励黑客"问题。这一突破将有助于开发出在化学、医疗、法律等广泛领域具有更强推理能力的AI系统。
快思与慢想：让AI学会像人一样思考的突破性研究——DualityRL团队的"思想家"模型
这项研究提出了"思想家"（Thinker）任务，一种受人类双重加工理论启发的新型AI训练方法。研究者将问答过程分解为四个阶段：快速思考（严格预算下给出初步答案）、验证（评估初步答案）、慢速思考（深入分析修正错误）和总结（提炼关键步骤）。实验表明，该方法使Qwen2.5-1.5B模型的准确率从24.9%提升至27.9%，DeepSeek-R1-Qwen-1.5B模型从45.9%提升至49.8%。显著的是，仅使用快速思考模式就能达到26.8%的准确率，且消耗更少计算资源，证明了直觉与深度推理作为互补系统的培养价值。
图像渲染反馈强化学习：从ServiceNow研究团队到高质量矢量图形生成的突破
ServiceNow研究团队开发了一种名为RLRF的新方法，通过强化学习显著提升了AI生成矢量图形(SVG)的质量。与传统方法不同，RLRF让AI能够"看到"自己生成的SVG代码渲染后的效果，并据此获得反馈。研究表明，这种方法不仅提高了生成图像的视觉准确性，还使代码更加简洁高效，并能够轻松泛化到从未见过的图像类型。这一突破为从图像或文本自动生成高质量矢量图形铺平了道路，对设计和开发领域具有重要意义。
专家精简大法：香港中文大学与华为诺亚方舟实验室联手助力大型混合专家模型在内存受限设备上高效运行
香港中文大学与华为诺亚方舟实验室合作开发了PreMoe框架，解决了大型混合专家模型(MoE)在内存受限设备上的部署难题。研究团队发现MoE模型中的专家表现出明显的任务专业化特征，据此提出了概率专家精简(PEP)和任务自适应专家检索(TAER)两大核心技术。实验证明，DeepSeek-R1 671B模型在精简50%专家后仍保持97.2%的MATH500准确率，内存需求降至688GB；而更激进的精简方案（减少87.5%专家）也能保持72.0%的准确率。该方法适用于多种MoE架构，为强大AI系统的广泛部署铺平了道路。
京公网安备 11010802021500号
