物理感知视频生成新突破:上海交大团队开发VideoREPA,通过关系对齐赋予AI视频物理常识
上海交大研究团队开发的VideoREPA是一种突破性的视频生成框架,通过令牌关系蒸馏技术将视频理解模型中的物理知识转移到文本到视频(T2V)扩散模型中。与传统方法不同,VideoREPA关注空间和时间关系的对齐,使生成的...
上海交大研究团队开发的VideoREPA是一种突破性的视频生成框架,通过令牌关系蒸馏技术将视频理解模型中的物理知识转移到文本到视频(T2V)扩散模型中。与传统方法不同,VideoREPA关注空间和时间关系的对齐,使生成的...
浙江大学和莫纳什大学研究团队开发了PM-Loss,一种用于改进前馈式3D高斯分布渲染的新型正则化损失函数。研究针对深度图在物体边界处的不连续性问题,通过预训练Transformer模型预测的点图提供几何先验知识,实现了更...
阿里巴巴和同济实验室联合推出的Qwen3 Embedding系列模型在文本嵌入和重排技术上取得突破性进展。这套模型基于Qwen3大语言模型构建,采用多阶段训练策略,结合大规模合成数据和高质量监督数据,实现了在MTEB多语...
清华大学研究团队在多模态大语言模型(MLLMs)中发现了一个惊人现象:只有不到5%的注意力头负责视觉理解,称为"视觉头"。基于此,他们开发了SparseMM优化策略,针对视觉头和非视觉头分配不同的计算资源,实现了模型推理...
香港中文大学(深圳)和上海交通大学的研究团队开发了StreamBP,这是一种用于大语言模型长序列训练的内存高效反向传播方法。通过沿序列维度线性分解链式法则,StreamBP显著减少了存储激活值所需的内存,使最大序列长度比...
香港中文大学多媒体实验室开发的MINT-CoT是一种创新方法,能让AI在数学视觉推理中实现精确的"视觉交织"。这项技术通过引入特殊的"交织令牌",使模型能够在推理过程中自动选择关注任意形状的相关图像区域,而非仅限于矩形框...
这项研究介绍了EOC-Bench,一个创新基准测试,专门评估多模态大语言模型在第一人称视角场景中对物体的认知能力。研究团队从三个时间维度(过去、现在和未来)构建了3,277个问答对,涵盖11个细粒度评估维度,创新性地使用...
这篇论文由加州大学伯克利分校和香港大学的研究团队提出了LIFT方法,挑战了传统视觉语言模型需要同时训练文本和图像编码器的假设。研究发现,使用预训练的大型语言模型作为固定文本编码器,只训练图像编码器就能在多项任务上超越CL...
FlexPainter是香港科技大学团队开发的创新纹理生成系统,通过多模态输入控制实现灵活创作,并解决了多视角一致性问题。系统构建了共享条件嵌入空间,能同时理解文字和图像输入;提出基于图像的CFG方法实现结构与风格分离;...
这项研究提出了一种名为"词汇偏向水印"(LBW)的新方法,专为自回归图像生成模型设计,能够抵抗传统水印技术容易被删除的重生成攻击。研究团队将代币库分为绿色和红色列表,通过软硬两种偏向策略鼓励模型在生成过程中选择绿色列表中...
这项研究推出了VideoMathQA,一个创新基准测试,专门评估人工智能模型在视频中的数学推理能力。不同于静态图像或文本基准,它要求模型在时间轴上整合视觉、音频和文本信息,模拟真实教学场景中的"多模态大海捞针"挑战。基准...
南方科技大学林剑满团队开创性提出DGAD模型,解决通用物体组合中几何编辑与外观保持的双重挑战。该方法首先利用语义嵌入隐式捕捉物体几何特性,再通过密集交叉注意力机制精确对齐外观特征,成功实现物体在任意场景中的灵活编辑同时保...
斯坦福大学和英伟达研究院联合开发的"矫正点流"为点云姿态估计提供了全新解决方案,将成对配准和多部件组装统一为条件生成问题。该方法学习连续点流场,将点从随机噪声引导至目标位置,并通过自监督重叠预测增强几何理解。实验证明,矫...
这篇研究介绍了Micro-Act,一种创新框架,旨在解决问答系统中的知识冲突问题。由香港大学等机构研发的这一方法能够自动感知上下文复杂度,并将知识源分解成一系列细粒度比较,有效克服了传统方法在处理复杂冲突时的局限性。实验...
这项研究揭示了评估大语言模型推理能力时的一个重要问题:微小的评估条件变化可能导致基准测试结果大幅波动。研究者发现,DeepSeek-R1-Distill系列等模型的评估结果极易受到种子初始化方法、数据集版本等因素影响,波...
这周,《Lex Fridman Podcast》放出了谷歌/ Alphabet的CEO桑达尔·皮查伊(Sundar Pichai)的深度访谈。Lex Fridman Podcast的节目时长都很夸张,一如既往,这场对话也...
CapSpeech是约翰·霍普金斯大学等机构联合提出的风格描述文本转语音合成基准,包含超过1000万机器标注和36万人工标注的语音-描述配对。它支持五大下游任务:基础风格描述、带音效的语音合成、口音控制、情感表达和表现力...
华盛顿大学和卡内基梅隆大学的研究团队开发了"位置专家"(PosS)技术,解决了推测性解码中的关键挑战。传统方法使用单一草稿模型预测多个位置的词汇,导致预测质量随位置深入而急剧下降。PosS创新性地引入多个专业化层,每层负...
这篇研究论文《段级策略优化》提出了一种介于词元级和轨迹级之间的新型强化学习框架SPO,用于提升大语言模型的推理能力。研究者将生成序列划分为连续段落,并在段级粒度上估计优势,实现了更精确的信用分配和更准确的优势估计。SPO...
NVIDIA研究团队在最新研究中指出,小语言模型(SLM)将成为AI智能代理的未来。他们论证了SLM不仅足够强大,还在操作上更适合且经济性更高。研究显示现代SLM已可媲美更大模型的性能,同时推理成本降低10-30倍,微调...