微软研究院重大突破:更稳定高效的大语言模型强化学习算法—OPO如何解决算法不稳定和计算浪费问题
微软研究院推出的"基于最优奖励基线的在策略强化学习"(OPO)算法解决了大语言模型强化学习中的两大问题:训练不稳定和计算效率低。通过严格遵循在策略训练和引入理论最优奖励基线,OPO无需额外的辅助模型或复杂正则化项,就能实...
微软研究院推出的"基于最优奖励基线的在策略强化学习"(OPO)算法解决了大语言模型强化学习中的两大问题:训练不稳定和计算效率低。通过严格遵循在策略训练和引入理论最优奖励基线,OPO无需额外的辅助模型或复杂正则化项,就能实...
SWE-bench-Live是微软与上海人工智能实验室联合开发的持续更新基准测试平台,解决了现有代码修复评估工具的数据老化、覆盖有限和人工依赖问题。核心创新是REPOLAUNCH自动化流水线,能从GitHub抓取2024...
Google研究团队推出Atlas,一种革命性的AI记忆优化模型,解决传统Transformer架构在处理长文本时的计算复杂度问题。Atlas通过三大创新:超线性容量的记忆模块、基于上下文而非单词的记忆优化、及使用Muo...
LoRAShop是弗吉尼亚理工大学研究团队开发的突破性框架,首次实现了无需额外训练的多概念图像编辑。该技术通过在整流流变换器中识别概念特定区域,创建分离的潜在掩码,并仅在相应区域混合LoRA权重,有效解决了"LoRA交叉...
NVIDIA联合麻省理工学院和香港大学的研究团队提出Fast-dLLM,一种无需重新训练即可显著加速扩散大语言模型的新方法。该技术通过两大创新解决了扩散模型的主要性能瓶颈:首先设计了适用于双向注意力机制的块式近似KV缓存...
北京大学与小红书公司联合研究团队提出的Uni-Instruct框架,成功统一了10多种现有单步扩散蒸馏方法。该框架基于新颖的f-散度扩散扩展理论,通过可计算的等价损失函数训练单步扩散模型。实验表明,Uni-Instruc...
这篇研究介绍了KVzip,一种创新的查询无关KV缓存压缩方法,通过上下文重建机制为大型语言模型提供高效存储解决方案。该技术能将KV缓存大小减少394倍,同时提高解码速度约2倍,在各种任务上性能几乎不受影响。不同于传统查询...
腾讯与上海交通大学联合推出的DeepTheorem研究突破了大型语言模型在数学定理证明领域的限制。该项目创建了包含12.1万个IMO级别非形式化定理的大规模数据集,开发了专门的RL-Zero强化学习策略,并设计了全面的评...
MAGREF是字节跳动智能创作团队开发的多主体视频生成框架,能从多张参考图像和文本提示生成高质量视频。该技术引入了区域感知动态遮罩机制,使单一模型灵活处理人物、物体和背景,无需架构变化;并采用像素级通道拼接机制,在通道维...
这项研究揭示了大型语言模型(LLMs)偏好决策的内在机制。以色列理工学院和IBM研究院的团队开发了一种自动化方法,不需人工预设即可发现和解释影响AI判断的关键概念。研究横跨八个领域(从一般问答到安全评估),分析了12种偏...
PATIENTSIM是韩国科学技术院等机构最新研发的医患交流模拟系统,它突破了传统模拟器的限制,通过四个维度(性格、语言水平、记忆能力和认知混乱程度)构建了37种独特的患者角色。基于MIMIC数据集中的真实临床资料,系统...
UniTEX是香港科技大学与Light Illusion团队联合开发的创新3D纹理生成框架,彻底突破了传统UV映射的限制。该技术引入了"纹理函数"概念,将纹理定义为3D空间中的连续函数,完全绕过了拓扑歧义问题。配合精心设...
研究人员训练了13,440个大型语言模型,发现熵最小化方法仅需一个未标记数据和10步优化,就能实现比传统强化学习更好的性能提升。这种"单样本熵最小化"完全无监督,基于两个简单假设:语言模型生成过程本质上是随机的,且正确答...
这项研究首次从图论视角探索大语言模型的知识结构模式,揭示了模型知识的三峰分布特性、节点度数与知识水平的正相关关系,以及知识同质性现象——拓扑位置相近的实体往往具有相似的知识水平。基于这些发现,研究团队开发了图神经网络模型...
大模型时代,玛丽·米克尔(Mary Meeker)的名字可能大家不一定熟悉,但是在互联网时代,这位被可被誉为“互联网女皇”的。她是美国风险投资家和前华尔街证券分析师,专注于互联网及新兴技术领域。玛丽·米克尔(Mary M...
毫无疑问,Agent,也就是智能体已经预定了今年的最火AI关键词。不知道明年会不会是AGI呢,既然OpenAI和Anthropic的预测都是在2027年左右。而在Agent领域,非常有发言权的一位就是吴恩达。LangCh...
在千亿模型满天飞,MOE架构正流行的当下,一个在AI领域名不见经传的企业,贝壳找房,发布了一款32B的稠密模型,AM-Thinking- V1。在包括AIME在内的多项AI基准测试中,这款中等参数模型碾压了满血版671B...
北京时间5月21日,百度发布2025年第一季度财报,这场会议不仅仅是一次常规的财务数据披露,更像是百度在AI时代战略布局的全景展示,李彦宏在开场发言中,将2025年第一季度形容为一个“稳健的开局”。
首尔国立大学研究团队提出了"多模态对抗组合性"(MAC)基准测试,评估预训练多模态表示(如CLIP)在理解文本与图像、视频、音频关系时的组合性弱点。研究使用大语言模型生成欺骗性文本,通过样本成功率和多样性双重指标进行评估...
SridBench是首个评估人工智能模型科研插图绘制能力的基准测试,由中国科学技术大学等机构研究团队创建。该测试包含1,120个来自自然科学和计算机科学13个学科的高质量样本,并设计了六维评估标准。实验结果显示,即使是目...