最新文章
物理感知视频生成新突破:上海交大团队开发VideoREPA,通过关系对齐赋予AI视频物理常识

物理感知视频生成新突破:上海交大团队开发VideoREPA,通过关系对齐赋予AI视频物理常识

上海交大研究团队开发的VideoREPA是一种突破性的视频生成框架,通过令牌关系蒸馏技术将视频理解模型中的物理知识转移到文本到视频(T2V)扩散模型中。与传统方法不同,VideoREPA关注空间和时间关系的对齐,使生成的视频更符合物理常识。实验表明,这种方法在VideoPhy基准测试中将物理常识分数提高了24.1%,明显优于现有技术。该研究为创建更真实的AI生成视频提供了新思路,展示了理解能力与生成质量间的密切关联。

深度图表示重新思考:如何让3D高斯分布渲染更清晰的物体边界

深度图表示重新思考:如何让3D高斯分布渲染更清晰的物体边界

浙江大学和莫纳什大学研究团队开发了PM-Loss,一种用于改进前馈式3D高斯分布渲染的新型正则化损失函数。研究针对深度图在物体边界处的不连续性问题,通过预训练Transformer模型预测的点图提供几何先验知识,实现了更平滑、准确的3D场景重建。实验表明,PM-Loss在多个数据集上显著提升了渲染质量,PSNR提高至少2dB,特别改善了物体边界处的细节表现。该方法易于集成到现有模型中,无需修改架构,为3D视觉和图形学领域提供了新的研究思路。

语言模型加持:阿里巴巴发布Qwen3系列文本嵌入和重排模型,在多语言和代码检索任务中超越行业巨头

语言模型加持:阿里巴巴发布Qwen3系列文本嵌入和重排模型,在多语言和代码检索任务中超越行业巨头

阿里巴巴和同济实验室联合推出的Qwen3 Embedding系列模型在文本嵌入和重排技术上取得突破性进展。这套模型基于Qwen3大语言模型构建,采用多阶段训练策略,结合大规模合成数据和高质量监督数据,实现了在MTEB多语言、英文、中文和代码等多个基准测试中超越现有最佳开源和商业模型的性能。该系列提供0.6B至8B参数的多种规模选择,以Apache 2.0许可开源,为搜索引擎、推荐系统和检索增强生成应用提供强大支持。

视觉密码破解:清华大学团队揭示多模态大语言模型中的视觉头稀疏性现象

视觉密码破解:清华大学团队揭示多模态大语言模型中的视觉头稀疏性现象

清华大学研究团队在多模态大语言模型(MLLMs)中发现了一个惊人现象:只有不到5%的注意力头负责视觉理解,称为"视觉头"。基于此,他们开发了SparseMM优化策略,针对视觉头和非视觉头分配不同的计算资源,实现了模型推理速度提升1.38倍,内存减少52%,同时保持性能不变。这一发现不仅揭示了MLLMs内部视觉处理机制,还为提高多模态AI系统效率提供了新思路。

StreamBP:让大语言模型训练长序列变得更轻松——香港中文大学(深圳)团队突破性研究

StreamBP:让大语言模型训练长序列变得更轻松——香港中文大学(深圳)团队突破性研究

香港中文大学(深圳)和上海交通大学的研究团队开发了StreamBP,这是一种用于大语言模型长序列训练的内存高效反向传播方法。通过沿序列维度线性分解链式法则,StreamBP显著减少了存储激活值所需的内存,使最大序列长度比梯度检查点技术提高了2.8-5.5倍,同时保持或减少了计算时间。该方法适用于SFT、GRPO和DPO等常见训练目标,并支持多GPU分布式训练。

数学视觉推理新突破:CUHK多媒体实验室的MINT-CoT如何让AI更好地理解数学图形

数学视觉推理新突破:CUHK多媒体实验室的MINT-CoT如何让AI更好地理解数学图形

香港中文大学多媒体实验室开发的MINT-CoT是一种创新方法,能让AI在数学视觉推理中实现精确的"视觉交织"。这项技术通过引入特殊的"交织令牌",使模型能够在推理过程中自动选择关注任意形状的相关图像区域,而非仅限于矩形框。研究团队构建了包含54K样本的数据集,并通过三阶段训练策略显著提升了模型性能,在多个数学视觉基准测试上取得32.59%到23.2%不等的巨大进步。

EOC-Bench: 多模态大语言模型能否识别、回忆和预测第一人称视角下的物体?

EOC-Bench: 多模态大语言模型能否识别、回忆和预测第一人称视角下的物体?

这项研究介绍了EOC-Bench,一个创新基准测试,专门评估多模态大语言模型在第一人称视角场景中对物体的认知能力。研究团队从三个时间维度(过去、现在和未来)构建了3,277个问答对,涵盖11个细粒度评估维度,创新性地使用视觉提示解决物体引用问题。评估结果显示,即使最先进的模型如GPT-4o在物体时间感知方面也显著落后于人类,特别是在绝对时间感知上。这一研究为发展更强大的体感AI系统提供了重要参考,对增强现实和机器人技术等领域具有深远影响。

语言-图像对齐不需要联合训练文本编码器?伯克利大学研究发现固定LLM模型即可

语言-图像对齐不需要联合训练文本编码器?伯克利大学研究发现固定LLM模型即可

这篇论文由加州大学伯克利分校和香港大学的研究团队提出了LIFT方法,挑战了传统视觉语言模型需要同时训练文本和图像编码器的假设。研究发现,使用预训练的大型语言模型作为固定文本编码器,只训练图像编码器就能在多项任务上超越CLIP,特别是在理解空间位置、对象属性关联等组合信息方面。LIFT不仅提高了计算效率,还解决了CLIP在处理复杂语义关系和长文本描述时的短板,为视觉语言模型提供了一条更高效的发展路径。

FlexPainter:香港科技大学团队打造的灵活多视角一致性纹理生成系统

FlexPainter:香港科技大学团队打造的灵活多视角一致性纹理生成系统

FlexPainter是香港科技大学团队开发的创新纹理生成系统,通过多模态输入控制实现灵活创作,并解决了多视角一致性问题。系统构建了共享条件嵌入空间,能同时理解文字和图像输入;提出基于图像的CFG方法实现结构与风格分离;通过多视角图像网格表示和视角同步机制确保全局和局部一致性;最终生成高质量、无缝的纹理贴图。实验证明系统在灵活性和生成质量上显著优于现有方法,为3D内容创作提供了更直观高效的工具。

Infosecurity 2025:中小企业在网络攻击面前感到孤立无援

Infosecurity 2025:中小企业在网络攻击面前感到孤立无援

研究显示,英国中小企业虽占企业总数99.9%,但因资源与专业不足,难以有效应对网络攻击。CyCOS项目旨在通过构建支持社区,帮助中小企业提升网络防御能力。

Wispr 的 Flow 语音转写软件现已可在 iPhone 上使用

Wispr 的 Flow 语音转写软件现已可在 iPhone 上使用

Wispr 的 Flow 是一款创新的 iOS 语音输入软件,借助 AI 技术能将语音无缝转换为精美文字,每周免费 2000 字,支持 100 多种语言,并能实现多设备同步。

开源软件应用面临现实检验

开源软件应用面临现实检验

专家指出,虽然开源软件极大推动了创新和开发,但其复杂性、合规、安全等问题要求企业投入更多精力,务必加强测试与管理,确保系统稳定运行。

Merlin Ventures 为种子阶段网络安全基金成功筹集逾7500万美元

Merlin Ventures 为种子阶段网络安全基金成功筹集逾7500万美元

Merlin Ventures 成功募集超7500万美元种子阶段网络安全基金,通过美国 CISO 网络和战略投资推动初创企业成长,并重点发展以色列科技生态系统。

CISO 影响力上升,但安全预算依然紧张

CISO 影响力上升,但安全预算依然紧张

大型企业的CISO薪酬和职责不断提升,涵盖业务风险、产品安全及数字战略,但预算紧缩使得安全投入必须直接与业务增长挂钩,进而带来角色定位及满意度的不确定性。

词汇偏向技术:通过词汇偏向为自回归图像生成模型打造抗重生成攻击的水印方案

词汇偏向技术:通过词汇偏向为自回归图像生成模型打造抗重生成攻击的水印方案

这项研究提出了一种名为"词汇偏向水印"(LBW)的新方法,专为自回归图像生成模型设计,能够抵抗传统水印技术容易被删除的重生成攻击。研究团队将代币库分为绿色和红色列表,通过软硬两种偏向策略鼓励模型在生成过程中选择绿色列表中的代币,并采用多绿色列表策略增强安全性。实验表明,LBW在多种攻击下展现出卓越的稳健性,尤其是在面对重生成攻击时表现突出,为AI生成内容的可追溯性提供了更可靠的技术保障。

视频数学问答:突破性基准测试,通过视频理解检验模型数学推理能力

这项研究推出了VideoMathQA,一个创新基准测试,专门评估人工智能模型在视频中的数学推理能力。不同于静态图像或文本基准,它要求模型在时间轴上整合视觉、音频和文本信息,模拟真实教学场景中的"多模态大海捞针"挑战。基准测试涵盖10个数学领域,视频长度从10秒到1小时以上,设计了三种推理挑战:直接问题解决、概念迁移和深度理解。对30个模型的评估显示,专有与开源系统的差距正在缩小,而模型成功不仅取决于规模,还受架构和训练质量影响。

解锁物体组合的新时代:南方科技大学团队开创几何可编辑与外观保持双重平衡的对象组合技术

解锁物体组合的新时代:南方科技大学团队开创几何可编辑与外观保持双重平衡的对象组合技术

南方科技大学林剑满团队开创性提出DGAD模型,解决通用物体组合中几何编辑与外观保持的双重挑战。该方法首先利用语义嵌入隐式捕捉物体几何特性,再通过密集交叉注意力机制精确对齐外观特征,成功实现物体在任意场景中的灵活编辑同时保持细节不变。实验表明,DGAD在编辑灵活性和外观保真度上均优于现有技术,为AR/VR内容创建等应用提供了强大工具。

矫正点流:斯坦福大学和英伟达联合打造的通用点云姿态估计新方法

斯坦福大学和英伟达研究院联合开发的"矫正点流"为点云姿态估计提供了全新解决方案,将成对配准和多部件组装统一为条件生成问题。该方法学习连续点流场,将点从随机噪声引导至目标位置,并通过自监督重叠预测增强几何理解。实验证明,矫正点流在六个基准测试中均超越现有技术,特别是在处理部件对称性和互换性方面表现出色。联合训练策略使单一模型能从不同数据集中学习共享几何先验,大幅提升性能。

Micro-Act:用自主推理解决问答中的知识冲突

Micro-Act:用自主推理解决问答中的知识冲突

这篇研究介绍了Micro-Act,一种创新框架,旨在解决问答系统中的知识冲突问题。由香港大学等机构研发的这一方法能够自动感知上下文复杂度,并将知识源分解成一系列细粒度比较,有效克服了传统方法在处理复杂冲突时的局限性。实验表明,Micro-Act在五个基准数据集上显著超越了现有技术,并在无冲突场景中保持稳健性能,为构建更可靠的检索增强生成系统提供了新思路。

评估真相大揭秘:DeepSeek推理模型在基准测试中的浮动陷阱

评估真相大揭秘:DeepSeek推理模型在基准测试中的浮动陷阱

这项研究揭示了评估大语言模型推理能力时的一个重要问题:微小的评估条件变化可能导致基准测试结果大幅波动。研究者发现,DeepSeek-R1-Distill系列等模型的评估结果极易受到种子初始化方法、数据集版本等因素影响,波动幅度甚至超过模型训练带来的性能提升。研究团队提出了一个基于透明性和稳定性原则的严格评估范式,建议使用统计学方法确定适当的测试次数,并详细披露所有评估条件,以提高评估的公平性和可靠性。