大模型能否欺骗CLIP?通过文本更新测试预训练多模态表示的对抗组合能力
首尔国立大学研究团队提出了"多模态对抗组合性"(MAC)基准测试,评估预训练多模态表示(如CLIP)在理解文本与图像、视频、音频关系时的组合性弱点。研究使用大语言模型生成欺骗性文本,通过样本成功率和多样性双重指标进行评估...
首尔国立大学研究团队提出了"多模态对抗组合性"(MAC)基准测试,评估预训练多模态表示(如CLIP)在理解文本与图像、视频、音频关系时的组合性弱点。研究使用大语言模型生成欺骗性文本,通过样本成功率和多样性双重指标进行评估...
SridBench是首个评估人工智能模型科研插图绘制能力的基准测试,由中国科学技术大学等机构研究团队创建。该测试包含1,120个来自自然科学和计算机科学13个学科的高质量样本,并设计了六维评估标准。实验结果显示,即使是目...
ChartLens是马里兰大学与Adobe研究院合作开发的创新技术,专门解决多模态大型语言模型在图表理解中的"幻觉"问题。这项研究提出了"后验细粒度视觉归因"方法,能够将AI对图表的分析结果与图表中的具体视觉元素(如特定...
这篇论文介绍了一个名为"CrEval"的创新框架,用于跨领域评估文本创造力。研究团队构建了"CreataSet"数据集,包含超过10万条人类水平和100多万条合成创意文本,涵盖87个领域。基于此训练的CrEval评估器在...
这项研究由清华大学和新加坡国立大学团队完成,系统探讨了大推理模型在事实查询任务中的幻觉问题。研究发现,仅通过单一训练阶段(仅SFT或仅RL)开发的推理模型更容易产生幻觉,而完整SFT+RL流程训练的模型幻觉较少。研究者识...
这项由香港理工大学和复旦大学联合领导的研究提出了"自适应无分类器引导"(A-CFG)技术,用于改进AI文本生成。传统CFG使用静态无条件输入,而A-CFG能识别模型在生成过程中最不确定的部分,动态地重新掩码这些低置信度标...
这项由中国科学院大学、新加坡国立大学、浙江大学和耶鲁大学研究人员联合发表的研究提出了VF-EVAL,一个专门评估多模态大语言模型对AI生成视频提供反馈能力的新基准。研究通过四项任务:连贯性验证、错误感知、错误类型检测和推...
伊利诺伊大学香槟分校研究团队开发了SafeScientist,一个安全优先的AI科学家框架,能主动拒绝不道德或高风险任务,并在整个研究过程中确保安全。该框架整合了四层防御机制:提示监控、智能体协作监督、工具使用控制和伦理...
ETH Zürich等机构研究人员提出TrustVLM框架,解决视觉-语言模型预测可信度问题。该方法利用模型中存在的"模态差距",创新性地结合图像到文本和图像到图像的相似度,实现无需重新训练即可大幅提升误分类检测性能。在...
这项研究提出了个性化安全概念,解决大语言模型对不同用户采用统一安全标准的问题。研究团队创建了PENGUIN基准测试集评估模型在处理高风险场景时的个性化安全能力,并开发了RAISE框架高效获取关键用户信息。实验表明,提供用...
明尼苏达大学研究团队提出了一种创新方法,通过回合级信誉分配显著提升大语言模型(LLM)智能体的多回合推理能力。传统方法只对整个过程进行评价,而他们的MT-GRPO算法能够精确评估每个决策步骤的价值,就像为每一步提供具体反...
这篇研究介绍了PISCES——一种能精确从大语言模型参数中移除特定概念知识的创新技术。与现有方法不同,PISCES通过解缠器模型识别概念相关特征,直接编辑模型参数,实现了更精准的知识移除。在Gemma和Llama模型上的...
这项研究探究大语言模型从真实文本中推断因果关系的能力,创建了首个真实世界基准数据集ReCAST。研究发现,即使最先进模型在此任务上表现也不佳,最高F1分数仅为0.477。模型尤其难以处理隐含因果关系、区分关键因素与背景信...
知名科技播客Acquired刚放出了一期微软第二任CEO鲍尔默的访谈,时长高达三小时。
P1.AI创始人保罗·埃雷门科正用合成数据训练AI设计物理系统,从住宅冷却到星际飞船,突破工程AGI的终极瓶颈——数据稀缺。他的AI工程师Archie已能像人类一样处理多物理场任务,目标是让机器设计人类无法想象的复杂系统...
波士顿大学研究团队开发的DORI基准测试从四个维度评估多模态大语言模型的物体方向理解能力:正面对齐、旋转变换、相对方向和规范方向感知。研究评估了15个最先进模型,发现即使最佳模型在粗粒度任务上的准确率也仅为54.2%,在...
这篇研究介绍了Oracle AI团队开发的一种针对企业系统的域特定检索硬负样本挖掘框架。该方法通过整合多种嵌入模型、降维处理和独特的语义选择标准,动态识别具有挑战性但上下文无关的文档作为训练样本,显著提升了重排序模型的性...
Oracle研究团队开发了FS-DAG,这是一种用于视觉丰富文档理解的少样本领域适应图网络模型。与传统大型模型不同,FS-DAG仅需5份示例文档即可适应新文档类型,参数量不到90M,却在信息提取任务中表现卓越。模型采用模...
Prot2Token是密苏里大学研究团队开发的一种突破性蛋白质建模框架,它通过将各种蛋白质预测任务转化为统一的下一个标记预测问题,解决了传统方法需要为不同任务开发专门模型的限制。这个框架以自回归解码器为核心,配合预训练蛋...
这项研究提出了一种通过"替身模型"训练视觉编码器并实现零样本嫁接到大型语言模型的创新方法。研究团队分析发现大语言模型内部存在明显的处理阶段转折点,据此构建的替身模型保留早期处理层而压缩后期层。使用替身训练的视觉编码器可直...