TorchNeuron是亚马逊为AWS Trainium芯片推出的开源PyTorch后端。在开发过程中，研发团队借助AI智能体，从Hugging Face平台数十万个模型中筛选出841个具有代表性的模型，用于后续的调优与基准测试工作。
缓存机制与共享编译优化技术的应用，使得在多个加速器之间共享的大语言模型训练任务中，首次训练步骤的耗时缩短了约三分之一。
此外，TorchNeuron还提供了一种可选启用的"自适应即时编译"（adaptive eager）模式。该模式通过将编译时间与执行过程相互重叠，使系统性能能够逼近完全编译状态下的表现，同时有效降低了额外开销。
Amazon Science
