EdgeFirst模型库上线:边缘AI选型数据全部可追溯

本文最初发布于Au-Zone Technologies的Hugging Face页面,经该公司授权转载。

如果你正打算在本季度选择边缘计算芯片,那么你真正需要的那个数字,并不存在于任何一份规格表中。

芯片厂商通常给出的是TOPS(每秒万亿次运算),或者类似的衍生指标。这个数字本身大体是真实的:它反映的是在合成负载下的峰值整数运算能力。但它几乎无法告诉你,一个检测模型在该芯片上、以你实际使用的输入分辨率运行时会表现如何。上游的模型说明文档也好不到哪去——它们报告的是模型作者在自己的硬件上、用自己的验证流程测出的结果,几乎从不是你最终要量产使用的那款芯片。

因此,边缘AI项目中最昂贵的决策——未来五年绑定哪种加速器——往往是基于一些既不相关、也无法验证的数字做出的。

EdgeFirst模型库正是我们尝试提供另一种数字的产物。我们覆盖了检测与实例分割任务中的四个YOLO系列模型,在真实硬件上进行转换和测量,每一个公开发布的数据都链接到产生它的验证会话:模型文件、数据集版本、各阶段耗时记录,以及主机描述信息(精确到内核版本和NPU型号)。

你今天就可以在自己的硬件上运行同样的测试。EdgeFirst Profiler只需一条命令即可安装到你的开发板上,并以测量我们数据相同的方式测量你的模型在你的数据集上的表现。你只需要一个免费的EdgeFirst Studio账号。

库中实际包含的内容

七个模型仓库:用于检测的YOLOv5、YOLOv8、YOLO11和YOLO26,以及用于实例分割的YOLOv8、YOLO11和YOLO26版本。每个仓库都包含nano、small和medium三种规格,提供ONNX FP32和INT8格式,以及我们验证过的每种加速器所对应的平台编译版本。

在这些模型背后,是837个已公开发布的验证会话。不是七次基准测试,而是837次独立测量,每一次都有对应的会话页面。

目前已验证的端侧加速器包括:

(此处为硬件列表)

此外还包括CUDA,以及多款x86和Arm架构CPU的参考数据(英特尔Xeon和Core i9、AWS Graviton和Graviton4),均同时提供浮点和INT8两种精度的测试结果。

以eIQ Neutron这一行数据为例:同样的NPU,出现在来自四家不同厂商的四块开发板上。这并非冗余测试——芯片本身是相同的,但测试数字并不相同。一块开发板包含的是存储子系统、散热设计和板级支持包,而不仅仅是一颗芯片。仅凭型号本身,无法判断哪块板子在你的实际负载下表现更稳定。

有一个空白之处值得说明:YOLO11和YOLO26在eIQ Neutron NPU上的适配仍在进行中。它们已经能够在NPU上完成编译、加载和运行,我们正在与NXP合作,将验证精度提升到与整个测试矩阵其他部分相当的水平,届时相应的数据格将被填补完整。随着我们不断扩展覆盖范围,类似情况会继续出现。新架构只有在通过验证后才会被收录进模型库,而不是提前加入。

每一个数字都可追溯溯源

这一点,比任何单独的数据本身都更重要。

以YOLOv8 Nano为例。其说明卡片上的参考数据行写着[email protected]为50.49%,[email protected]为35.83%,该行数据引用的是会话编号v-e89。点开它,你能看到实际运行的模型文件、所使用的数据集版本、相关参数、各阶段的详细运行轨迹,以及完整的机器配置描述。

每一个结果都是公开的,每一个结果也都是可复现的。这些测量数据均来自EdgeFirst Studio和EdgeFirst Profiler,你完全可以亲自运行一遍:复现我们在COCO数据集上的测试结果,或者将同一套流程指向你自己的数据集和重新训练过的模型。

测试矩阵立即揭示的两个现象

导出时使用的解码器,其影响程度不亚于量化方式本身。在高通Hexagon NPU上以INT8精度运行时,YOLOv8 Nano使用智能分离式解码器(会话v-1073)时得分为[email protected],而使用逻辑解码器(会话v-1074)时得分为46.37%。同样的芯片,同样的权重,同样的量化方案,仅仅因为计算图的切分方式不同,mAP就相差了两个百分点以上。

单帧延迟并不能直接换算成每秒帧数。在苹果M2 Max神经网络引擎上,同一个模型的推理耗时为1.80毫秒,整个端到端流程耗时为5.26毫秒。按此简单推算,吞吐量应约为190 FPS,但实测吞吐量却是791 FPS(会话v-9cd)。原因在于流水线会同时处理多个帧的不同阶段,因此这种简单除法并不成立。

这两个现象都将在本系列中获得专门的文章深入解读,目前也都已经可以在公开的测试矩阵中查看到。

重点并不在于我们测出的数字本身

我们选择COCO数据集进行基准测试,是因为它是行业标准数据集。但COCO本身并不是模型库存在的意义所在。

这里的每一项测量数据,都是由EdgeFirst Studio运行同一套对所有用户开放的工作流程所产生:导入数据集、训练或引入模型、针对目标硬件进行转换,并在真实设备上用真实数据进行验证。将这些模型中的任何一个,用你自己的数据集重新训练,你就能得到属于你自己的测试矩阵——你的数据、你的目标硬件、你的实际应用场景。这里展示的测试矩阵,只是这一流程的一个实例演示,并不是要求你盲目信任的排行榜。

真正值得问的问题,并不是YOLOv8 Nano在Hexagon NPU上能否达到48.46%,而是你的模型在你的数据上、在你正在比较的几款芯片中究竟能跑出什么分数——以及你能否在做出决策之前就拿出这个答案,并附带一份经得起设计评审的完整审计记录。

这正是EdgeFirst Studio存在的意义。而这个模型库,正是把它应用在公开数据集上、并将全部过程公开后的样子。

从这里开始

浏览模型库——全部七个仓库、每一张说明卡片、每一个会话链接,无需注册。

EdgeFirst文档——包含转换工具、验证流程以及硬件抽象层(HAL)说明。

EdgeFirst感知指数——这是基于本测试矩阵撰写的季度分析报告,内容涵盖跨平台规律、哪些架构表现与预期相悖,以及这些发现对芯片选型的意义。免费获取,仅需提供邮箱。

注册免费的EdgeFirst Studio账号——在你自己正在比较的硬件上,用你自己的数据集,运行属于你自己的验证测试。

为我们接下来的测试方向投票——三项投票:选哪个平台、选哪个模型系列、选哪项能力。每项仅需一次点击,评论区同样开放。

塞巴斯蒂安·泰勒

Au-Zone Technologies 研发副总裁

NXP、NXP标志、i.MX、eIQ和Neutron均为NXP半导体的商标。Ara240是NXP的产品。Hailo是Hailo Technologies Ltd.的商标。Jetson是NVIDIA公司的商标。所有其他商标均为其各自所有者的财产。

Edge AI and Vision Alliance - Latest News