被难倒的视觉语言模型:为什么人工智能看不懂视觉谜题?
这项研究揭示了视觉语言模型在解决视觉文字谜题方面的重大局限性。研究团队通过432个手工注释的谜题数据集,评估了从OpenAI到Google等多家公司的AI模型表现。结果显示,即使最先进的模型在抽象推理、横向思维和理解视觉...
这项研究揭示了视觉语言模型在解决视觉文字谜题方面的重大局限性。研究团队通过432个手工注释的谜题数据集,评估了从OpenAI到Google等多家公司的AI模型表现。结果显示,即使最先进的模型在抽象推理、横向思维和理解视觉...
上海人工智能实验室研究团队开发了MMSI-Bench,这是首个专注于多图像空间智能评估的全面基准。研究人员花费300多小时,从12万张图像中精心构建了1000道问题,涵盖了位置关系、属性和运动等多种空间推理任务。评测结果...
这项研究提出了ZPressor,一种轻量级模块,可帮助前馈式3D高斯渲染(3DGS)模型更有效地处理大量输入视图。研究团队通过信息瓶颈理论,将输入视图分为锚点视图和支持视图,然后使用交叉注意力将支持视图信息压缩到锚点视图...
卡内基梅隆大学研究团队开发了ViGoRL系统,通过视觉定位强化学习显著提升AI的视觉推理能力。该方法让模型将每个推理步骤明确锚定到图像的特定坐标,模拟人类注视点转移的认知过程。与传统方法相比,ViGoRL在SAT-2、B...
华盛顿大学和UC伯克利的研究团队开发了一种创新框架,让动物在音乐节奏下翩翩起舞。该研究《当你不在时,动物们是如何跳舞的》从少量生成的关键帧开始,通过图优化问题找出满足特定编舞模式的最佳路径,并应用视频扩散模型生成中间帧。...
LUNGUAGE是由KAIST、微软和多家医疗机构联合开发的胸片X光报告结构化评估框架,解决了现有评估方法忽视时间连贯性和细节准确性的问题。该框架包含1,473份专家标注的胸片报告和80份纵向序列标注,通过两阶段结构化流...
意大利布鲁诺·凯斯勒基金会研究团队发布FAMA,首个遵循开放科学原则的英意双语语音基础模型。与Whisper等闭源模型不同,FAMA完全开放训练数据、代码和模型权重,在超过15万小时开源语音数据上训练。研究创建了包含1....
这项研究提出了KronSAE,一种新型稀疏自编码器架构,通过克罗内克积分解显著降低了训练成本。研究者引入了模拟二进制AND操作的mAND激活函数,在减少参数量的同时提高了重建质量和特征可解释性。实验证明,KronSAE在...
这项由加州大学伯克利分校研究团队开发的REOrder框架,通过重新排列图像块的处理顺序,显著提升了视觉模型性能。研究发现,传统的行主序排列并非最优选择,而通过信息论先验和强化学习寻找最佳排序,可在不修改模型架构的情况下,...
这篇研究介绍了香港科技大学团队开发的难度感知提示法(DAP),一种能够根据问题难度智能调整推理链长度的创新方法。通过这一方法,研究者构建了LiteCoT数据集,包含10万个简洁推理样本,平均仅720个标记,比传统方法减少...
格罗宁根大学和哈佛大学的研究团队发现,当前大型推理模型在被要求用非英语语言"思考"时,面临严重的语言匹配与准确性权衡。他们通过评估六个先进模型,揭示即使最强大的32B参数模型也经常默认使用英语推理,而非用户指定的语言。提...
这篇研究综述探讨了大语言模型(LLMs)与知识图谱(KGs)在问答系统中的结合方式。研究者提出新的分类法,根据问答类型和KG角色将方法分为:KG作为背景知识、推理指南或验证器。文章系统性分析了各种复杂问答类型(多文档、多...
AIRI研究院团队开发的cadrille是一款突破性多模态CAD重建模型,能同时处理点云、多视角图像和文本描述输入,并生成精确的Python代码来构建CAD模型。该研究首次将在线强化学习应用于CAD重建任务,采用两阶段训...
这项研究提出了一种可微分求解器搜索方法,通过优化时间步长和求解器系数,显著加速扩散模型的采样过程。在仅使用10步采样的情况下,该方法使修正流模型和DDPM模型在ImageNet数据集上的FID得分分别达到2.40和2.3...
《Afterburner: Reinforcement Learning Facilitates Self-Improving Code Efficiency Optimization》这篇论文提出了一种创新的代码效率优...
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和...
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯...
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的...
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面...