如何提升大型推理模型的安全性?清华CoAI团队全面实证分析告诉你答案
清华大学CoAI团队发现大型推理模型的安全性存在三大失败模式:缺乏安全意识、过度思考和推理与回答不一致。研究表明,通过针对性优化提示策略,攻击成功率从77.0%降至7.0%;同时发现简短推理方式较长推理链更易学习且同样有...
清华大学CoAI团队发现大型推理模型的安全性存在三大失败模式:缺乏安全意识、过度思考和推理与回答不一致。研究表明,通过针对性优化提示策略,攻击成功率从77.0%降至7.0%;同时发现简短推理方式较长推理链更易学习且同样有...
软思维是一种创新方法,让AI能在连续概念空间而非离散语言中思考。通过保留词汇表的完整概率分布而非选择单个词,这种无需训练的技术让大型语言模型能同时考虑多种推理路径。实验表明,软思维在数学和编程任务上提高了准确率(最多2....
这篇研究论文介绍了一种名为ConvSearch-R1的创新方法,它彻底改变了对话式搜索中的查询重构方式。由复旦大学等机构研发的这一技术,通过强化学习与推理能力相结合,完全摆脱了对人工标注或大型语言模型的依赖。研究采用两阶...
西湖大学和浙江大学研究团队提出PiFlow,一种原理驱动的科学发现框架,通过多智能体协作解决现有方法中的无方向假设和证据脱节问题。PiFlow将科学发现视为结构化的不确定性降低问题,使用最小-最大优化策略平衡探索与利用。...
MMaDA是由普林斯顿大学和北京大学研究团队开发的革命性多模态AI模型,它通过统一的扩散架构、混合长思考链训练和创新的UniGRPO强化学习算法,成功实现了文本推理、多模态理解和图像生成三大核心能力的高效整合。实验表明,...
清华大学与重庆大学研究团队提出Vid2World方法,成功将预训练视频扩散模型转变为交互式世界模型。该方法通过视频扩散因果化和因果动作引导两大创新,使模型能够进行自回归生成并响应动作条件。在机器人操作和游戏模拟领域的实验...
清华大学深圳国际研究生院与阿里巴巴AMAP团队合作开发了UniVG-R1,这是一种基于推理引导的通用视觉定位模型。研究者通过构建高质量思维链数据集和应用强化学习技术,显著增强了模型处理多图像复杂指令的能力。实验表明,Un...
清华大学和上海人工智能实验室联合开发的AutoMat是一个突破性工具,能自动将电子显微镜图像转换为精确的晶体结构模型并预测材料性质。系统整合了模式自适应降噪、物理引导模板匹配、对称感知结构重建和机器学习性质预测四大模块,...
南洋理工大学与SenseTime Research的研究团队提出了ProxyV,一种创新算法,解决大型多模态模型处理视觉信息时的计算冗余问题。与传统方法不同,ProxyV不减少视觉标记数量,而是引入少量"代理视觉标记"替...
这篇论文介绍了3DTown,一种从单一俯视图生成3D城镇场景的创新方法。研究团队结合区域化生成和空间感知3D修复技术,无需额外训练即可创建几何一致、布局协调的3D场景。通过将场景分解为重叠区域并使用预训练生成器处理每个区...
西安交通大学等机构研究团队提出的"基于先验的深度思考"(DP)框架,通过充分利用知识图谱中的结构信息和约束条件,显著提升了大语言模型的推理可靠性。该框架包含知识蒸馏、规划、实例化和内省四个组件,通过渐进式知识蒸馏策略和推...
这项研究介绍了WEB-SHEPHERD,这是首个专为评估网络导航轨迹设计的过程奖励模型。延世大学和卡内基梅隆大学的研究团队创建了包含40K步级别注释的WEBPRM COLLECTION数据集和WEBREWARDBENCH...
清华大学研究团队提出RLVR-World框架,通过可验证奖励的强化学习直接优化世界模型的预测质量,而非传统的最大似然估计。这一方法在文本游戏状态预测和网页导航中显著提升了准确率,在机器人视频预测中改善了视觉质量并减少重复...
这项研究揭示了强化微调(RFT)在提升大语言模型推理能力的同时,会产生一种意外副作用——"幻觉税":模型拒绝回答不可回答问题的能力显著下降,导致提供虚构答案的倾向增强。南加州大学的研究者通过创建"合成不可回答数学"(SU...
这篇研究介绍了"视觉指令瓶颈调优"(Vittle)方法,该方法通过应用信息瓶颈原理,增强多模态大语言模型应对分布偏移的能力。研究不依赖增加数据量或模型规模,而是教会模型像人类一样进行"概念压缩",在保留关键信息的同时丢弃...
这篇研究论文介绍了"GeoRanker",这是一种突破性的全球图像地理定位方法,由香港城市大学和威斯康星大学麦迪逊分校研究人员联合开发。不同于传统方法,GeoRanker采用了距离感知排序框架,利用大型视觉语言模型对查询...
这项研究揭示了大语言模型中存在"空域"——在推理过程中几乎不活跃的神经网络层。研究者开发了L2自适应计算方法,无需额外训练即可准确识别这些空域。惊人的是,在Qwen2.5-7B模型上,跳过70%的层后性能反而从69.24...
Vox-Profile是南加州大学和约翰霍普金斯大学联合开发的语音特征全面分析基准测试系统,能从语音中识别说话者的静态特征(如年龄、性别、口音)和动态特征(如情绪、语流)。研究团队使用15个以上的公开语音数据集和多种语音...
CoIn是马里兰大学研究团队开发的创新框架,旨在解决大型语言模型商业API不透明计费问题。这些API隐藏推理过程只显示最终答案,却仍对所有"看不见"的令牌收费。CoIn通过令牌数量验证和语义有效性验证两大组件,使用户能够...
近年来,视频内容创作与消费显著增长,而协调视听元素对于打造优质内容至关重要。罗切斯特大学的Chao Huang及合作者开发了视觉引导的声音高亮(visually-guided acoustic highlighting)...