LIVE INDEX / 最新文章
混合线性注意力机制的系统性分析:当传统Transformer遇上创新"混血"架构——加州大学圣克鲁兹分校与字节跳动的突破性研究

混合线性注意力机制的系统性分析:当传统Transformer遇上创新"混血"架构——加州大学圣克鲁兹分校与字节跳动的突破性研究

这项研究通过训练72个不同配置的模型,系统分析了混合线性注意力架构的设计原则。研究发现独立表现最佳的线性注意力机制在混合架构中未必最优,并识别出选择性门控、分层递归和控制性遗忘是成功混合架构的三大关键要素。结果表明,采用...

清华大学联合多校团队重磅发布:让自动驾驶汽车能看、能说、还能开——首份视觉-语言-行动模型全景调研

清华大学联合多校团队重磅发布:让自动驾驶汽车能看、能说、还能开——首份视觉-语言-行动模型全景调研

这是首份关于自动驾驶领域视觉-语言-行动模型的全景调研,由清华大学等多校团队完成。研究梳理了让汽车能看、能说、能开的VLA4AD技术发展历程,从早期语言解释器到最新推理增强系统的四个阶段,分析了20多个代表性模型,整理了...