我们能否在不从头重新训练的情况下改变AI模型的架构？

AWS研究提出"priming"方法，利用预训练Transformer权重初始化混合架构，可节省逾99%的预训练算力，减少数万亿token训练量。基于该方法的320亿参数GKA混合模型在推理基准上媲美原始Transfor...