最新文章
双头优化:一种简单高效的半监督式视觉-语言模型知识蒸馏方法

双头优化:一种简单高效的半监督式视觉-语言模型知识蒸馏方法

本研究提出了双头优化(DHO)框架,一种解决视觉-语言模型知识蒸馏中梯度冲突问题的创新方法。通过设计两个独立的预测头分别学习标记数据和教师信号,DHO有效缓解了传统单头方法中的梯度冲突,提升了特征学习质量。实验结果显示,DHO在ImageNet等11个数据集上一致超越基线方法,使用1%标记数据时较现有最佳方法提高了3%的准确率,同时参数量更少。此外,DHO支持推理时通过线性组合双头输出灵活调整模型表现,为半监督学习下的知识蒸馏提供了一种简单高效的解决方案。

Group Think:多个并行推理智能体如何在标记级别协同合作

Group Think:多个并行推理智能体如何在标记级别协同合作

这篇研究论文介绍了一种名为"Group Think"的创新方法,让单个大型语言模型能够同时扮演多个并行推理智能体,这些"思考者"能在标记级别相互协作。传统多智能体系统通常采用轮流推理方式,而Group Think实现了实时并行协作,智能体可以看到彼此的部分生成内容并动态调整。实验表明,这种方法不仅提高了推理质量,还显著降低了延迟,特别适合资源有限的边缘设备。研究团队提出了两种高效实现方案,并通过三类代表性问题验证了Group Think的优势。

Mergenetic:一款简单易用的进化式模型合并工具库|让普通GPU也能创造顶尖语言模型

Mergenetic:一款简单易用的进化式模型合并工具库|让普通GPU也能创造顶尖语言模型

Mergenetic是一个开源工具库,让研究人员能在普通GPU上进行进化式模型合并。由罗马萨皮恩扎大学和洛桑联邦理工学院研究者开发,它集成了19种进化算法和6种合并策略,支持数据集抽样以减少计算负担,并提供Python API、命令行和图形界面三种交互方式。通过案例研究证明,该工具能有效合并多语言模型和促进跨语言能力迁移,降低了高质量模型合并的技术门槛,使普通研究者也能创造出优秀的语言模型。

MuToR:为什么大语言模型在学习时需要"寄存器"?雅典娜研究中心突破性发现

MuToR:为什么大语言模型在学习时需要"寄存器"?雅典娜研究中心突破性发现

本研究提出了MuToR,一种通过在输入序列中插入"寄存器令牌"来改进大语言模型训练的创新方法。与传统的"下一个词预测"方法相比,MuToR使模型能够同时预测多个未来词,从而提供更丰富的学习信号。这种方法不需要改变模型架构,仅增加极少量参数,并且在微调预训练模型时表现尤为出色。研究团队在数学推理、文本摘要和图像生成等多种任务上验证了其有效性,证明MuToR不仅能提高模型性能,还能在保持推理速度的同时增强模型的规划能力。

视觉守门员:新加坡国立大学团队推出具有推理能力的AI内容安全模型

视觉守门员:新加坡国立大学团队推出具有推理能力的AI内容安全模型

新加坡国立大学和南洋理工大学联合研究团队开发的GuardReasoner-VL是一种具备推理能力的视觉-语言模型安全守门员,能有效防护AI系统免受有害内容影响。该模型通过先推理再决策的方式,不仅能判断内容是否有害,还能提供详细的推理过程作为解释。研究者构建了包含12.3万样本的训练语料库,并通过监督微调和在线强化学习优化模型性能。实验结果显示,GuardReasoner-VL在安全评估基准上的平均F1分数比现有最佳模型高19.27%,为AI安全领域提供了新的解决方案。

图像思维:用纯视觉规划替代语言推理的全新范式

图像思维:用纯视觉规划替代语言推理的全新范式

剑桥大学和伦敦大学学院的研究团队提出了一种名为"视觉规划"的全新范式,让人工智能系统能够完全通过图像序列而非文本进行推理。与传统依赖语言的方法不同,这种方法模仿人类在解决空间问题时直接在"心眼"中想象解决方案的能力。研究团队开发的基于强化学习的视觉规划框架(VPRL)在导航任务上比基于文本的方法平均提高了40%的准确率,证明了非语言推理在特定任务中的优越性,为AI系统开辟了一条更接近人类直觉思维的新路径。

MPS-Prover:多视角搜索和数据精选让自动定理证明更上一层楼

MPS-Prover:多视角搜索和数据精选让自动定理证明更上一层楼

腾讯AI实验室和腾讯LLM部门研究人员开发的MPS-Prover是一种创新的逐步自动定理证明系统,通过两大关键创新解决了现有方法的局限:一个高效的训练后数据精选策略,剔除约40%冗余训练数据;以及一个多视角树搜索机制,整合了学习型评价模型与策略性设计的启发式规则,提高策略选择多样性并增强搜索稳健性。实验表明,MPS-Prover在miniF2F和ProofNet等基准测试上实现了最先进性能,生成的证明比现有方法更简洁多样,为开发更强大的混合证明系统提供了宝贵思路。

如何教会AI理解手部接触:首尔国立大学研究者解决手部接触检测中的数据不平衡问题

如何教会AI理解手部接触:首尔国立大学研究者解决手部接触检测中的数据不平衡问题

韩国首尔国立大学研究者提出HACO框架,解决手部接触估计中的数据不平衡问题。论文《Learning Dense Hand Contact Estimation from Imbalanced Data》针对手部接触数据中的类别不平衡(大多数样本无接触)和空间不平衡(接触主要集中在指尖)提出两大创新:平衡接触采样和顶点级类别平衡损失函数。他们利用14个数据集的84万张图像进行训练,在多种手部交互场景中显著超越现有方法,F1得分从之前最佳的0.197提升至0.531,同时在3D抓取优化和物体重建等下游任务中也展现出强大应用价值。

Dell打造统一管理的私有云平台,并在数据中心内实现资源绑定

Dell打造统一管理的私有云平台,并在数据中心内实现资源绑定

戴尔推出订阅服务,支持在自家服务器与存储上部署基于 VMware、 Nutanix 和 Red Hat 堆栈构建的私有云。借助 Dell Automation Platform,可更快实现集中管理与全生命周期服务,同时还引入了边缘自动化和 AI 硬件创新。

红帽推出 AI 推理服务器,推动产品线扩展

红帽推出 AI 推理服务器,推动产品线扩展

Red Hat 推出的 AI 推理服务器基于 vLLM 与 Neural Magic 技术,通过压缩模型和优化 GPU 内存管理,实现生成式 AI 快速推理和混合云部署。

Gartner发布企业构建AI就绪型员工队伍的五个步骤
2025-05-21

Gartner发布企业构建AI就绪型员工队伍的五个步骤

Gartner 2025大中华区高管交流大会于近日盛大召开,Gartner 发布最新研究,仅靠技术堆砌难以释放 人工智能(AI) 潜能,企业要想扩大业务影响,首要任务是建立一支 AI 就绪型员工队伍。

Google 在封锁 Nextcloud Files 应用后逆转决定

Google 在封锁 Nextcloud Files 应用后逆转决定

受全文件访问权限撤销影响导致安卓端文件同步受阻,谷歌在用户和社区呼声中恢复了该权限,Nextcloud将尽快发布更新以恢复完整功能。

物联网面临不断升级的网络威胁

物联网面临不断升级的网络威胁

本文概述了物联网设备安全面临的不断升级的网络攻击风险,讨论了因设备普及和互联带来的漏洞、AI驱动的恶意软件威胁以及供应链风险,并提出了通过风险管理、标准制定和先进防护措施来应对这些挑战的重要性。

Microsoft 重启 DOS 时代的 Edit 编辑器,在现代外壳中运行

Microsoft 重启 DOS 时代的 Edit 编辑器,在现代外壳中运行

微软在 Build 发布会上推出了一款由 Rust 编写的开源 TUI 编辑器 Edit。这款经典 DOS 文本编辑器体积小巧、功能全面,并计划未来集成于 Windows 11。

Gravitee 平台助力企业管理 API 获得 6000 万美元融资

Gravitee 平台助力企业管理 API 获得 6000 万美元融资

Gravitee 平台获 6000 万美元 C 轮融资,将用于新功能开发与全球扩展。该平台支持同步与异步 API 管理,已服务数百客户,2024 财年年化收入达 2200 万美元。

零售网络攻击波及食品配送商 Peter Green Chilled

零售网络攻击波及食品配送商 Peter Green Chilled

英国冷链物流供应商 Peter Green Chilled 遭勒索软件攻击,导致无法接收新订单,引发对食品零售供应链脆弱性的关注。

人形机器人马拉松背后的思考,兆易创新如何赋能机器人产业
2025-05-21

人形机器人马拉松背后的思考,兆易创新如何赋能机器人产业

机器人在成为“人”的道路上又跨出了新一步尝试。4月19日,北京亦庄的一场特殊竞技成为舆论关注的焦点,二十几支人形机器人队伍在马拉松的赛场上展开竞技。这场戏剧化的演出引发了大家对人形机器人相关问题的进一步思考。

2025-05-21

SAP商业AI重塑企业运营

在一年一度的SAP蓝宝石大会上,SAP重磅发布了一系列创新成果与战略合作,旨在将商业 AI 的强大能力赋予每一位用户,彻底重塑企业的工作方式。

用保证的 IT 成果彻底改变您的存储拥有体验

用保证的 IT 成果彻底改变您的存储拥有体验

本文介绍了 HPE Alletra Storage MP B10000 的全新存储保障计划,重点推出网络韧性、能源节约和零数据丢失的 SLA 承诺。依托 AIOps、分离式架构及专业支持,该产品保障关键业务稳健运行,降低风险、成本并提升效率。

微型数据中心:小型 IT 团队实用指南

微型数据中心:小型 IT 团队实用指南

本文介绍了微型数据中心的定义、优势和搭建流程,适用于需要一处专属、成本低廉的数据中心以支撑数十到上百服务器的小型组织。