2025-05-27
破解大模型量化训练之谜：香港大学与字节跳动的量化缩放定律研究
这项研究首次提出了一个统一的量化感知训练(QAT)缩放定律，通过268组实验揭示了模型大小、训练数据量和量化粒度对4位量化误差的影响规律。研究发现量化误差随模型增大而减少，随训练数据增加和量化粒度变粗而增加。通过分解分析...
2025-05-27
仅需312个电脑操作轨迹，GAIR团队打造超高效电脑操作AI助手：数据质量胜过数据量
上海交通大学与GAIR实验室研究团队开发了PC Agent-E，一种高效的计算机操作AI代理训练框架。通过仅使用312个人类操作轨迹并利用Claude 3.7 Sonnet进行数据增强，该模型在WindowsAgentA...
2025-05-27
对比扩散与自回归语言模型：从文本嵌入角度的深度分析
这项研究比较了扩散与自回归语言模型在文本嵌入领域的表现差异。研究团队提出，自回归语言模型由于单向注意力机制而难以捕捉全局语境，而扩散语言模型的双向注意力架构天然更适合文本嵌入任务。他们开发的DIFFEMBED模型在长文档...
2025-05-27
游戏测试揭秘：大语言模型玩游戏到底有多厉害？——加州大学圣地亚哥分校研究团队带你了解LMGAME-BENCH
LMGAME-BENCH是一项创新研究，通过六款经典游戏评估大语言模型的游戏能力。研究发现直接让模型玩游戏效果不佳，因此团队设计了感知、记忆和推理支架来解决视觉识别弱、提示敏感和数据污染等问题。测试13款顶级模型显示，o...
2025-05-27
如何提升大型推理模型的安全性？清华CoAI团队全面实证分析告诉你答案
清华大学CoAI团队发现大型推理模型的安全性存在三大失败模式：缺乏安全意识、过度思考和推理与回答不一致。研究表明，通过针对性优化提示策略，攻击成功率从77.0%降至7.0%；同时发现简短推理方式较长推理链更易学习且同样有...
2025-05-27
软思维：让大型语言模型在连续概念空间中释放推理潜力
软思维是一种创新方法，让AI能在连续概念空间而非离散语言中思考。通过保留词汇表的完整概率分布而非选择单个词，这种无需训练的技术让大型语言模型能同时考虑多种推理路径。实验表明，软思维在数学和编程任务上提高了准确率（最多2....
2025-05-27
ConvSearch-R1：利用强化学习的推理能力提升对话式搜索中的查询重构
这篇研究论文介绍了一种名为ConvSearch-R1的创新方法，它彻底改变了对话式搜索中的查询重构方式。由复旦大学等机构研发的这一技术，通过强化学习与推理能力相结合，完全摆脱了对人工标注或大型语言模型的依赖。研究采用两阶...
2025-05-27
原理流：利用多智能体协同实现原理驱动的科学发现
西湖大学和浙江大学研究团队提出PiFlow，一种原理驱动的科学发现框架，通过多智能体协作解决现有方法中的无方向假设和证据脱节问题。PiFlow将科学发现视为结构化的不确定性降低问题，使用最小-最大优化策略平衡探索与利用。...
2025-05-27
MMaDA：一个跨越边界的多模态扩散语言模型，来自普林斯顿和北京大学的革命性研究
MMaDA是由普林斯顿大学和北京大学研究团队开发的革命性多模态AI模型，它通过统一的扩散架构、混合长思考链训练和创新的UniGRPO强化学习算法，成功实现了文本推理、多模态理解和图像生成三大核心能力的高效整合。实验表明，...
2025-05-27
从视频到世界：如何将视频扩散模型转变为交互式世界模型 - 清华大学与重庆大学联合研究
清华大学与重庆大学研究团队提出Vid2World方法，成功将预训练视频扩散模型转变为交互式世界模型。该方法通过视频扩散因果化和因果动作引导两大创新，使模型能够进行自回归生成并响应动作条件。在机器人操作和游戏模拟领域的实验...
2025-05-27
推理引导+强化学习：清华&阿里巴巴推出UniVG-R1，让AI读懂复杂视觉指令的全新突破
清华大学深圳国际研究生院与阿里巴巴AMAP团队合作开发了UniVG-R1，这是一种基于推理引导的通用视觉定位模型。研究者通过构建高质量思维链数据集和应用强化学习技术，显著增强了模型处理多图像复杂指令的能力。实验表明，Un...
2025-05-27
AutoMat：清华大学与上海AI实验室联合打造的"智能显微镜"——从电镜图像自动重建晶体结构的革命性工具
清华大学和上海人工智能实验室联合开发的AutoMat是一个突破性工具，能自动将电子显微镜图像转换为精确的晶体结构模型并预测材料性质。系统整合了模式自适应降噪、物理引导模板匹配、对称感知结构重建和机器学习性质预测四大模块，...
2025-05-27
巧用代理解决视觉计算冗余：南洋理工大学突破大型多模态模型效率难题
南洋理工大学与SenseTime Research的研究团队提出了ProxyV，一种创新算法，解决大型多模态模型处理视觉信息时的计算冗余问题。与传统方法不同，ProxyV不减少视觉标记数量，而是引入少量"代理视觉标记"替...
2025-05-27
一张照片变出立体城镇：UCSC和哥伦比亚大学联合研发的3DTown技术突破
这篇论文介绍了3DTown，一种从单一俯视图生成3D城镇场景的创新方法。研究团队结合区域化生成和空间感知3D修复技术，无需额外训练即可创建几何一致、布局协调的3D场景。通过将场景分解为重叠区域并使用预训练生成器处理每个区...
2025-05-27
深度思考的启示：大语言模型如何通过"先验知识"在知识图谱上进行可信推理
西安交通大学等机构研究团队提出的"基于先验的深度思考"(DP)框架，通过充分利用知识图谱中的结构信息和约束条件，显著提升了大语言模型的推理可靠性。该框架包含知识蒸馏、规划、实例化和内省四个组件，通过渐进式知识蒸馏策略和推...
2025-05-27
WEB-SHEPHERD：让网络代理更智能的过程奖励模型
这项研究介绍了WEB-SHEPHERD，这是首个专为评估网络导航轨迹设计的过程奖励模型。延世大学和卡内基梅隆大学的研究团队创建了包含40K步级别注释的WEBPRM COLLECTION数据集和WEBREWARDBENCH...
2025-05-27
RLVR-World：用强化学习训练世界模型，突破视觉和语言边界的突破性研究
清华大学研究团队提出RLVR-World框架，通过可验证奖励的强化学习直接优化世界模型的预测质量，而非传统的最大似然估计。这一方法在文本游戏状态预测和网页导航中显著提升了准确率，在机器人视频预测中改善了视觉质量并减少重复...
2025-05-27
强化微调的幻觉税：如何通过合成不可回答数据解决大语言模型的过度自信问题
这项研究揭示了强化微调（RFT）在提升大语言模型推理能力的同时，会产生一种意外副作用——"幻觉税"：模型拒绝回答不可回答问题的能力显著下降，导致提供虚构答案的倾向增强。南加州大学的研究者通过创建"合成不可回答数学"（SU...
2025-05-27
视觉指令瓶颈调优：通过信息压缩提升多模态大语言模型的鲁棒性
这篇研究介绍了"视觉指令瓶颈调优"（Vittle）方法，该方法通过应用信息瓶颈原理，增强多模态大语言模型应对分布偏移的能力。研究不依赖增加数据量或模型规模，而是教会模型像人类一样进行"概念压缩"，在保留关键信息的同时丢弃...