一种名为"priming"的新方法，能将混合架构预训练成本降低超过99%
亚马逊云科技（AWS）发布的一篇新论文提出了一种名为priming（预热）的方法，该方法通过利用已经预训练好的Transformer权重，将混合架构模型的预训练成本降低了99%以上，从而节省了数万亿Token和数十万GPU小时的计算资源。
研究团队基于这一方法构建了一个320亿参数的Gated KalmaNet（GKA）混合模型。测试结果显示，该模型在推理类基准测试中的表现与其源Transformer模型相当，但在处理12.8万Token的上下文长度时，解码速度最高可提升至两倍。
论文还指出，状态空间模型（state space models）的表现持续优于滑动窗口注意力机制（SWA），即便后者获得了两倍的内存预算也是如此。此外，GKA所采用的可变迭代机制能够实现快10%的解码速度，同时准确率损失仅约1%。
Q&A
Q1：priming方法是什么？它有什么作用？
A：priming是AWS提出的一种新方法，它可以利用已有的预训练Transformer权重来构建混合架构模型，从而将预训练成本降低超过99%，大幅节省Token和GPU计算资源的消耗。
Q2：GKA混合模型的性能表现如何？
A：320亿参数的GKA混合模型在推理基准测试中与源Transformer模型表现相当，但在12.8万Token上下文长度下，解码速度最高可提升两倍，效率明显更高。
Q3：状态空间模型相比滑动窗口注意力机制有什么优势？
A：即使滑动窗口注意力机制获得两倍的内存预算，状态空间模型的表现依然更优。同时GKA的可变迭代机制能让解码速度提升10%，而准确率仅损失约1%。
Amazon Science
