谷歌基于TensorFlow Lite演进的设备端推理框架LiteRT引入先进加速功能,基于下一代GPU引擎ML Drift。LiteRT的GPU性能比TFLite快1.4倍,提供GPU和NPU跨边缘平台的统一加速工作流,支持生成式AI模型的优秀跨平台部署,并通过无缝模型转换提供PyTorch和JAX支持。该框架支持OpenCL、OpenGL、Metal和WebGPU,可在移动、桌面和Web端部署模型,同时提供简化的NPU部署工作流。