新闻要点
Arm AI Portal连接超过2200万名开发者及其智能体,为覆盖云端、边缘和物理AI的Arm计算平台提供优化AI软件
开发者可以从预优化模型快速起步,也可以带入并优化自己的模型,以在Arm平台上实现最佳性能
随着开发日益智能体化,AI Portal使模型、性能数据和工作流程能够被机器发现,在开发者和智能体已经使用的平台上满足其需求,简化对Arm最新AI技术的访问
智能体AI正从云端向边缘和物理AI延伸,这为开发者在模型、运行时和硬件目标之间的构建带来了复杂性。Arm的计算平台横跨这一连续体,由超过2200万名需要优化AI软件的开发者提供支持。
构建AI应用程序不应该从数周的搜索、基准测试和优化开始。开发者需要找到合适的模型并了解其性能,而智能体则需要清晰的信号来发现同样的模型、工具和信息。
今天,Arm正式推出Arm AI Portal,为开发者和智能体提供一种通用方式,用于在Arm计算平台上发现、优化和部署AI软件。开发者可以找到针对特定任务的预优化模型,获取性能和准确性数据,比较延迟、内存占用和模型大小,并访问代码示例和部署工作流程。
AI Portal即将提供工具,让开发者能够带入自己的模型(包括专有模型),在Arm平台上进行性能分析和优化。面向智能体的AI资源已通过早期访问渠道提供,尚未正式全面发布。
借助Arm优化AI更快起步
AI Portal支持基于Arm的计算平台上的语言、语音、视觉和神经图形应用。在发布之初,预优化模型包括阿里巴巴Qwen、谷歌Gemma和Ultralytics YOLO,运行时环境包括ExecuTorch、LiteRT和ONNX-RT,并得到了阿里巴巴、树莓派和Ultralytics等生态系统合作伙伴的支持。
AI Portal在开发者和智能体已经使用的平台上与他们对接,Arm优化模型可通过Hugging Face获取,Portal资源也可通过MCP供编码智能体访问。
Arm优化模型已经带来了显著的性能提升:
Qwen3-TTS在vivo X300智能手机上使用单线程执行和混合量化(Q8_0语音生成器与代码预测器结合),并通过可扩展矩阵扩展-2(SME2)加速,实现了超过4倍的速度提升。
Ultralytics YOLO26n在配备SME2的vivo X300智能手机上,使用单线程执行FP16相较于FP32,性能提升超过40%;在配备NEON的树莓派5上,使用FP16与INT8混合量化相较于FP32,同样实现了这一提升幅度。
在Arm计算平台上实现优化AI
AI Portal覆盖云端、边缘和物理AI在内的整个Arm计算平台,帮助开发者找到针对其目标场景优化的模型,从机器人视觉模型到智能手机上的生成式AI,再到云端CPU上的特定任务大语言模型,应有尽有。
AI Portal将SVE、SME和神经加速等Arm技术与优化软件相连接。Arm CSS for Mobile 2便是一个例子,通过SME2和配备神经加速器的GPU加速的模型均可通过AI Portal获取。
数十年来,Arm一直在投资软件生态系统。AI Portal将这一投入延伸至AI时代,帮助超过2200万名开发者及其智能体找到并使用针对其目标硬件优化的软件。
Sharbani Roy,Arm AI与开发者平台副总裁
Q&A
Q1:Arm AI Portal是什么?
A:Arm AI Portal是Arm推出的一个平台,为开发者和智能体提供发现、优化和部署AI软件的通用方式,覆盖云端、边缘和物理AI,服务于超过2200万名开发者。
Q2:Arm AI Portal支持哪些预优化模型?
A:发布之初支持阿里巴巴Qwen、谷歌Gemma和Ultralytics YOLO等模型,运行时环境包括ExecuTorch、LiteRT和ONNX-RT,并得到阿里巴巴、树莓派和Ultralytics等合作伙伴支持。
Q3:使用Arm优化模型能带来多大性能提升?
A:例如Qwen3-TTS在vivo X300手机上实现超过4倍速度提升,Ultralytics YOLO26n在手机和树莓派5上均实现超过40%的性能提升。
