模型 关键字列表
DeepMind:AI模型需瘦身,自回归路线将成主流

DeepMind:AI模型需瘦身,自回归路线将成主流

以Transformer为核心的自回归注意力类程序始终难以跨过规模化这道难关。为此,DeepMind/谷歌最近建立新项目,提出一种帮助这类程序有效瘦身的好办法。Perceiver AR架构回避了一大严重占用资源的任务,将输入与输出的组合性质计算至潜在空间。