最新文章
AI发展新方向:从模型压缩到数据压缩——上海交通大学EPIC实验室研究团队揭示大语言模型效率优化的重要转变

AI发展新方向:从模型压缩到数据压缩——上海交通大学EPIC实验室研究团队揭示大语言模型效率优化的重要转变

这篇研究论文揭示了人工智能效率研究的重要转变:从以模型参数为中心的压缩技术转向以数据为中心的Token压缩方法。随着模型参数增长放缓而上下文长度呈指数级增长,自注意力机制的二次方计算复杂度已成为主要瓶颈。上海交通大学EPIC实验室研究团队系统分析了Token压缩的工作原理、优势及面临的挑战,提出了数据-模型协同压缩等未来研究方向,为下一代高效AI系统开发提供了新思路。

具有记忆力的个性化助手:解析宜远大学团队如何让机器人真正理解你的喜好

具有记忆力的个性化助手:解析宜远大学团队如何让机器人真正理解你的喜好

这项研究探讨了具身智能体(如机器人)如何通过记忆为用户提供个性化服务。宜远大学研究团队开发了MEMENTO评估框架,通过两阶段设计评估智能体利用记忆的能力。研究将个性化知识分为物体语义(如"我最喜欢的杯子")和用户模式(如"早餐习惯")两类。实验表明,即使是GPT-4o等前沿模型在需要综合多记忆的任务中也表现出30.5%的性能下降,特别是在理解用户模式方面存在明显挑战。

ARM:自适应推理模型如何解决大型推理模型的"过度思考"问题

自适应推理模型(ARM)解决了大型推理模型的"过度思考"问题,能够根据任务难度自动选择合适的推理格式。研究团队通过创新的Ada-GRPO算法训练,使ARM在保持性能的同时平均减少30%的计算量,并提供自适应、指令引导和共识引导三种工作模式。这一突破使AI更接近人类思维方式,在简单问题上直接作答,复杂问题上才详细推理,极大提升了计算效率。

生命长久安全对齐:让大语言模型持续抵御不断进化的越狱攻击

生命长久安全对齐:让大语言模型持续抵御不断进化的越狱攻击

这项研究提出了一种创新的"生命长久安全对齐"框架,使大语言模型能够持续适应不断进化的越狱攻击策略。框架核心是元攻击者与防御者之间的对抗演化循环:元攻击者不断发现新的攻击策略,防御者则学习抵御这些攻击。实验表明,经过两轮迭代后,防御者成功将攻击成功率从73%降至7%,同时保持了模型的有用性。这种动态进化方法相比传统静态安全对齐更有效,为构建持续安全的大语言模型提供了新方向。

Enigmata:通过合成可验证的拼图让大语言模型的逻辑推理能力扩展到新高度

Enigmata:通过合成可验证的拼图让大语言模型的逻辑推理能力扩展到新高度

Enigmata是一项突破性研究,通过合成可验证的拼图训练大语言模型的逻辑推理能力。该研究创建了包含36种任务、7大类推理能力的完整训练系统,每项任务都配备了可控难度生成器和自动验证器。基于此训练的Qwen2.5-32B-Enigmata模型在拼图推理基准上超越了o3-mini-high和o1等顶尖模型。更令人惊喜的是,当应用于更大规模模型时,这些拼图数据不仅提升了模型解决拼图的能力,还意外增强了其数学和STEM推理能力,展示了纯逻辑训练带来的广泛泛化优势。

MLLMs能帮我找到回家的路吗?——新加坡国立大学等机构发布基于交通地图的细粒度视觉推理基准研究

MLLMs能帮我找到回家的路吗?——新加坡国立大学等机构发布基于交通地图的细粒度视觉推理基准研究

这项来自新加坡国立大学等机构的研究引入了REASONMAP,一个用于评估多模态大语言模型细粒度视觉理解能力的基准测试。研究团队使用来自13个国家30个城市的高分辨率交通地图,构建了1,008个问答对,设计了两级评估框架测量答案的正确性和质量。对15个流行模型的评估揭示了一个意外发现:开源领域的基础模型表现优于推理型模型,而闭源模型则相反。研究还表明,当视觉输入被遮盖时,模型性能普遍下降,证明真正的细粒度视觉推理任务仍需要有效整合多模态信息。

Nvidia 超预期Q1业绩,营收同比增长 69%

Nvidia 超预期Q1业绩,营收同比增长 69%

Nvidia公布2026财年一季度业绩,营收441亿美元,同比增长69%;新AI超算与显卡产品陆续亮相,尽管出口管控对H20业务造成影响,但整体AI市场前景依然乐观。

世界上最大的芯片创下 AI 速度记录,超越 NVIDIA

世界上最大的芯片创下 AI 速度记录,超越 NVIDIA

Cerebras WSE 芯片拥有 40 亿晶体管,推理速度达到 NVIDIA 集群的约 2.5 倍,刷新了全球 AI 推理速度记录,为复杂 AI 代理应用提供高性能计算支持。

B-score:利用响应历史检测大语言模型中的偏见

B-score:利用响应历史检测大语言模型中的偏见

这项研究提出了"B-score",一种新指标用于检测大语言模型中的偏见。研究人员发现,当模型能看到自己之前对同一问题的回答时(多轮对话),它能够减少偏见并给出更平衡的答案。B-score计算单轮与多轮对话中答案概率的差异,无需外部标注即可识别有偏见的回答。实验证明,将B-score用于回答验证可显著提高准确率,在标准基准测试上平均提升2.9个百分点。这一发现不仅提供了实用工具,还表明大语言模型具有自我纠正能力。

强化微调赋能多模态大语言模型的推理能力:从清华来的新研究揭示AI进化新阶段

强化微调赋能多模态大语言模型的推理能力:从清华来的新研究揭示AI进化新阶段

这篇论文探讨了强化微调(RFT)如何增强多模态大语言模型(MLLMs)的推理能力。研究指出,作为一种后训练算法,RFT已在各种模态(视觉、音频、GUI等)、任务和领域中取得显著成功。论文详细分析了现有工作,总结了RFT在多模态推理中的五大成功:多样化模态应用、广泛的任务与领域支持、算法改进、丰富的评测基准和完善的工程框架。作者还提出五个未来研究方向:提升跨模态泛化能力、结合不同奖励范式、加强安全性研究、探索数据增强技术以及开发更优算法和应用场景。

解构大模型的推理轨迹:上海人工智能实验室揭示大语言模型推理背后的优化机制

解构大模型的推理轨迹:上海人工智能实验室揭示大语言模型推理背后的优化机制

上海人工智能实验室研究团队提出了"RaML"框架,首次从元学习视角解释大语言模型的推理机制。研究将推理轨迹解析为模型参数的"伪梯度下降"更新,揭示了不同训练方法的内在联系,并证明了更长推理轨迹和多样化训练能显著提升模型性能与泛化能力。这一理论框架不仅深化了对大模型工作原理的理解,还为推理效率优化和能力提升提供了实用指导。

突破极限:科学家通过层级搜索让大模型实现精细化科学假设发现

突破极限:科学家通过层级搜索让大模型实现精细化科学假设发现

近期,由南洋理工大学和上海人工智能实验室等机构组成的研究团队在arXiv上发布了一项重要研究成果。这项名为"MOOSE-Chem2"的研究提出了精细化科学假设发现的全新任务,并通过层级搜索方法探索了大语言模型在该任务中的极限能力。研究团队将这一挑战定义为组合优化问题,并设计了一种层级启发式搜索方法,使模型能够从粗略的研究方向逐步细化到可直接实施的精细假设。实验结果表明,该方法不仅显著优于基线方法,还能生成与专家假设高度一致的结果,为AI辅助科学发现开辟了新途径。

Omni-R1:浙大团队打造全模态推理新范式,让AI同时掌握视频、音频和精细像素理解能力

Omni-R1:浙大团队打造全模态推理新范式,让AI同时掌握视频、音频和精细像素理解能力

浙江大学研究团队提出的Omni-R1是一种创新型全模态AI框架,它采用"双系统"协作架构解决了长时间视频理解与精细像素处理之间的根本矛盾。全局推理系统处理低分辨率完整视频并选择关键帧,细节理解系统则对高分辨率关键帧进行精细分析。通过端到端强化学习方法训练,Omni-R1在指代音视频分割和推理视频物体分割等任务中显著超越了现有模型,同时还意外地减轻了多模态幻觉问题。这一研究为构建更全面的通用AI基础模型提供了新思路。

众智有为 致敬同路人 | 风沙砺金,胡杨为骨:中天乾坤的18年数智征途

众智有为 致敬同路人 | 风沙砺金,胡杨为骨:中天乾坤的18年数智征途

本期“众智有为 致敬同路人”系列采访,走进了一家有着胡杨精神的公司——中天乾坤,公司发展至今已有18年,研发人员占比超6成,业务覆盖全国20余城,一直投身于数智化征途中。

用"难题负样本"教大型视觉语言模型如何读懂几何图形——清华大学开发全新对比学习方法提升几何推理能力

用"难题负样本"教大型视觉语言模型如何读懂几何图形——清华大学开发全新对比学习方法提升几何推理能力

清华大学研究团队提出了一种名为"硬负样本对比学习"的创新方法,显著提升了大型多模态模型在几何理解与推理方面的能力。通过构建图像和文本两类负样本,以及开发MMCLIP训练策略,他们的MMGeoLM模型在四个几何基准测试中表现卓越,甚至以7B参数规模与GPT-4o相媲美。实验证明,仅4K个真实图像负样本的效果就超过了100K个文本负样本,为AI细粒度视觉理解开辟了新路径。

离散马尔可夫桥:一种全新框架,让离散数据模型学习能力飞跃

离散马尔可夫桥:一种全新框架,让离散数据模型学习能力飞跃

《离散马尔可夫桥》研究提出了一种新型离散数据表示学习框架,克服了传统离散扩散模型使用固定转移矩阵的局限。该框架包含矩阵学习和分数学习两个核心组件,能够自适应学习转移率矩阵并有效重建原始数据分布。理论分析证明了其有效性和收敛性,而在Text8和CIFAR-10数据集上的实验展示了其优越性能,证明了这一方法作为离散表示学习统一框架的潜力。

效率大提升!华盛顿大学和新加坡国立大学联合研究突破视觉自回归模型内存瓶颈

效率大提升!华盛顿大学和新加坡国立大学联合研究突破视觉自回归模型内存瓶颈

这项由华盛顿大学和新加坡国立大学研究团队提出的ScaleKV技术,针对视觉自回归模型中的内存瓶颈问题提供了创新解决方案。研究发现不同变压器层具有不同的缓存需求,将它们分为需要大量历史信息的"起草者"和专注于当前细节的"精细器",实现了尺度感知的KV缓存分配。实验表明,该方法能将Infinity-8B模型的内存需求从85GB减少到8.5GB,同时保持生成质量几乎不变,为高分辨率AI图像生成的普及应用铺平了道路。

直觉力:无需外部奖励的大语言模型自主推理学习

直觉力:无需外部奖励的大语言模型自主推理学习

这项研究提出了一种名为INTUITOR的创新方法,让大语言模型无需外部奖励即可自主学习推理能力。研究者利用模型自身的"自我确定性"作为唯一奖励信号,替代传统需要人工标注或答案验证的方法。实验表明,该方法在数学推理上与使用标准答案的方法相当,并在代码生成等跨领域任务上展现出更好的泛化能力。这为开发能在缺乏外部验证的情况下自我提升的AI系统开辟了新途径,对未来自主学习AI具有深远影响。

从数十小时到数万小时:突破语音识别的数据瓶颈,新加坡科技设计大学和字节跳动联合研发突破性方案

从数十小时到数万小时:突破语音识别的数据瓶颈,新加坡科技设计大学和字节跳动联合研发突破性方案

新加坡科技设计大学和字节跳动研究团队提出了"语音反向翻译"方法,解决语音识别中的数据稀缺问题。研究表明,仅用几十小时的标注语音数据就能训练TTS模型生成数万小时高质量合成语音,将数据扩充数百倍。他们引入归一化可理解度指标评估合成语音质量,确定了合成数据能有效增强ASR性能的质量阈值。将方法扩展到十种语言,生成了50万小时合成语音,对Whisper-large-v3模型进行预训练,平均降低错误率30%,对低资源语言尤其有效,错误率降低46%。

WINA:微软推出权重感知神经元激活技术,让大语言模型推理速度提升60%以上

WINA:微软推出权重感知神经元激活技术,让大语言模型推理速度提升60%以上

WINA是一种由微软等机构研究人员开发的训练无关稀疏激活框架,它通过同时考虑隐藏状态大小和权重矩阵的列式l2范数来加速大型语言模型推理。与仅基于隐藏状态选择神经元的现有方法不同,WINA能更精确识别影响模型输出的关键神经元,在理论上提供更紧的误差界限。实验证明,WINA在相同稀疏度下比最先进方法表现更优(提升最多2.94%),同时减少高达65%的计算量,为资源受限环境中部署大型语言模型提供了高效解决方案。