Axelera AI近日发布Voyager(R) 软件开发套件(SDK)v1.9版本,相比以往任何版本,此次更新将平台能力更多地交到开发者手中。如果你关注过9月发布的AxScript介绍文章,这次更新就是AxScript模型开始正式交付的版本。如果你跟踪过v1.6中Pipeline Builder的首次亮相,这次更新则让它进入Beta阶段,带来更快的流水线、原生Windows支持,以及以独立Python配方形式呈现的模型库。

1.9版本发布亮点

三大核心亮点:

AxScript作为Axelera AI平台的新编程语言,配合新的大语言模型、视觉语言模型(VLM)和视觉Transformer(ViT),以AxScript模型形式交付

通过升级后的Pipeline Builder构建更快的流水线,现已原生支持Windows

模型库中的模型提供独立Python配方

此版本的其他新特性包括:

AxGraph,面向生成式AI和Transformer模型的全新实验性MLIR图编译器

可记录完整流水线的便携式.axe格式

新增任务类型:RetinaFace人脸检测、YOLACT实例分割以及YOLO26单目深度估计

Pipeline Builder API中的预处理内核融合及性能提升

基于Vulkan的渲染(现为默认渲染器),并支持Windows上的追踪器

Pipeline Builder中的多流调度、无GIL限制的多线程扩展,以及全新的逐模型性能分析器

运行时中全新的Executor V2(Beta版),支持同步和异步两种执行模式

新产品命名:Axelera Embedded 110m / 113m / 111c、Axelera Edge 130p / 232p,以及Axelera Server 150p,取代原有的Metis板卡命名

AxScript模型:在Axelera AIPU上运行生成式AI与Transformer

AxScript是我们在此前文章中介绍的基于Python的领域专用语言,它让开发者能够在较低层级对我们的芯片进行编程,提供高度的可编程性、控制力和灵活性。先行客户已经通过AxScript实现模型创造了大量价值;Voyager SDK 1.9正是让更多开发者开始受益的版本。

AxScript模型以代码形式交付,因此你可以准确了解每个模型在我们编程模型中的实现方式和运行方式。你还可以复用这些代码,根据自身需求进行修改和适配。相关代码位于model_axscript/目录下,每个模型对应一个Python软件包,其中包含全部代码和内核,AxScript语言规范与指南则收录在我们的文档中。

此版本提供一系列生成式AI和基于Transformer的模型,包括大语言模型、视觉语言模型和视觉Transformer,并为每个系列中的多个前沿模型提供支持。

更多信息可参见发布说明。

Pipeline Builder:更快、更强大,并支持Windows

v1.6中引入的Pipeline Builder API让开发者能够以可组合的Python代码定义整个推理流水线,并在同一Python编程单元中完成构建和执行。在v1.9中,Pipeline Builder API进入Beta阶段,并带来新特性和性能提升。例如,在基于Yolo的检测模型上,使用Pipeline Builder API构建的流水线,对于中型(m)、大型(l)和超大型(x)模型变体,现已能达到与传统基于YAML的流水线相同的性能,而后续版本的进一步改进也将使小型(s)和超小型(n)变体达到相同水平。

Pipeline Builder API让代码变得非常简洁、易读且易于维护,诸如允许用户自带后处理内核等新特性也带来了极大灵活性。例如,使用自定义内核实现后处理的Yolov8流水线可以这样构建:

pipeline = op.seq(

op.color_convert(dst='RGB'),

op.letterbox(width=640, height=640),

op.to_tensor(),

axm_path是已编译模型的路径

op.load(str(axm_path), using_postamble=POSTAMBLE, device_config=DEVICE_CONFIG),

op.decode_detections(algo='yolov8', num_classes=80),

op.nms(),

op.to_image_space(),

op.ax_detection(class_id_type=op.CocoClasses),

)

for _frame, results in pipeline.stream(video, max_in_flight=1):

显示检测结果 print(display.format_objects(results))

值得关注的新特性和改进包括:

全新融合通路将预处理整合为单一融合OpenCL内核,速度比OpenCV快达10倍

新的调度器默认设置实现了更高吞吐量(例如Yolov8n提升81%)

便携式.axe格式可完整记录一个流水线,方便打包与交接

内核操作符可跨线程扩展,不再受Python GIL限制而串行化:一个8线程预处理工作负载的扩展效率从0.2倍提升至7.8倍,零拷贝缓冲区导入使1080p和4K图像缩放至640×640的速度提升3倍

全新性能分析器会将每个操作符归属到对应模型及其角色,区分实际工作时间与等待时间,并报告设备占用率和处理深度

新增任务类型和操作符包括RetinaFace人脸检测、YOLACT实例分割、快速NMS算法、针对每个已交付检测头的解码器,以及透视和桶形失真校正

实时数据源保留最新帧而非滞后处理,文件可按选定速率回放,Vulkan成为默认渲染器,低延迟预览可提前于推理运行

原生Windows支持。Pipeline Builder现已通过axelera-runtime2的MSVC win_amd64版本,在Windows上原生运行,支持Python 3.10至3.14版本,包含基于Vulkan的渲染器,并支持追踪器。可在Linux或WSL2上完成编译,然后在Windows上原生运行流水线。

模型库配方:一个模型对应一个Python文件

模型库现以model_recipes/目录下独立Python配方的形式交付。在v1.8中以Alpha版本引入的Python模型库(axzoo),现已升级为Beta版本,并成为构建、运行和评估模型的主要方式。基于YAML的模型库仍在v1.9中保留并继续得到支持,但从下一版本开始,新模型将只添加到axzoo中。

每个配方都是一个独立完整的文件,展示了生产部署的完整路径:

校准

量化

使用模型调优设置进行编译

端到端推理流水线,通过Pipeline Builder以几行代码完成连接

塑造我们公开数据的每一项设置,都是你可以阅读和修改的一行代码。

运行它、测量它、复现它。运行一个配方即可立即获得吞吐量和渲染结果窗口。添加–eval参数(通过pip install axelera-zoo[eval]安装)即可在我们用于生成数据的同一评分路径上复现公开的准确率数据。

三条命令即可覆盖整个工作流:

axzoo list 显示目录列表

axzoo info <model> 显示某个模型的上游来源及导出方式

axzoo fork <model> 将配方、配置或导出脚本复制到你自己的项目中,让参考模型成为你自有权重的起点

完整配方列表请参见发布说明。

完整的发布说明、文档和技术支持,请访问Axelera AI客户门户。

立即体验

通过pip安装现已成为推荐方式。与v1.8相同,完整SDK安装需要同时安装axelera-devkit[all]和axelera-rt两个软件包:

安装软件包 pip install –extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple axelera-rt axelera-devkit[all] make operators

借助Axelera Wingman进行构建

你可以借助Axelera Wingman——我们为Voyager SDK打造的智能体伙伴——来运用此版本的全部特性。它基于Voyager SDK知识库构建,并持续同步最新的软件更新和文档,因此从发布首日起即可支持v1.9版本。

用自然语言描述你想要构建的内容,Axelera Wingman就会将其转化为可运行的AI:构建Axelera流水线、在真实硬件上运行,并与你共同迭代。无论你想探索新的模型配方、搭建Pipeline Builder流水线,还是了解新的AxScript模型,Axelera Wingman都能帮你找到切入点。

立即启动Axelera Wingman亲自体验。该服务完全免费,你可以通过社区注册账户。

我们非常期待看到你用它构建出的作品!欢迎在评论区留言,或在Axelera社区分享你的项目。

Q&A

Q1:AxScript是什么?

A:AxScript是Axelera AI推出的基于Python的领域专用编程语言,让开发者能够在较低层级对Axelera芯片进行编程,提供高度可编程性、控制力和灵活性,目前已支持大语言模型、视觉语言模型和视觉Transformer等模型的实现。

Q2:Pipeline Builder在v1.9版本中有哪些提升?

A:Pipeline Builder API在v1.9中进入Beta阶段,带来预处理内核融合、更高默认吞吐量、跨线程扩展能力、新的性能分析器,以及原生Windows支持等多项改进,部分Yolo模型性能已可与传统YAML流水线持平。

Q3:如何使用Axelera Wingman构建AI应用?

A:用户只需用自然语言描述想要构建的内容,Axelera Wingman就能将其转化为可运行的AI,自动构建Axelera流水线、在真实硬件上运行并与用户共同迭代,该服务免费,可通过社区注册账户使用。

Edge AI and Vision Alliance - Latest News