关键要点：
为嵌入式应用确定AI模型合理规模的第一步，是明确其用途，包括目标设备功能和产品特性。
设计者通常会混合使用多种压缩技术，而非单一方法。常见策略包括量化、蒸馏和剪枝。
小语言模型（SLM）及紧凑型边缘模型需要紧密的系统级集成，以确保最佳效率。
当今AI行业面临两种截然不同的挑战。一方面，庞大的AI数据中心和AI工厂正寻求更高效的方式来处理高参数大语言模型，带宽和内存是主要瓶颈。另一方面，运行在边缘设备本地的小型AI模型，由于面积、功耗或内存不足，无法支撑复杂的高参数大语言模型。
“这引发了一场淘金热，人们筹集大量资金来建设超大型数据中心，但同时也激发了边缘计算领域的创新，”Imagination Technologies首席技术官埃德·普劳曼表示。“人们在想办法把一整箱液体装进一个很小的杯子里，这是因为目前计算资源并非主要问题。真正的瓶颈是带宽，这也是为什么内存变得如此昂贵。这促使大批研究人员思考关键问题所在以及应对方案。由此催生了围绕量化的创新——同时减少激活值和权重——使模型进一步缩小，同时保持模型的输出能力。”
AI模型有多种形态和规模，以适配从耳机、手机、家用电器到工业物联网、机器人和汽车系统等各类边缘设备。设计者需要选择参数数量恰当的模型，因为规模过大的模型会拖慢设备运行速度甚至导致过热。反之，若模型过小，产品可能不够智能。
为嵌入式应用确定AI模型合理规模的第一步，是明确其用途。“你必须从想让模型做什么这个角度出发，但之后我们有无数种方法可以让它变得更小，”普劳曼说。“量化和自我压缩是非常有效的工具。蒸馏是另一种方法，在Transformer上的效果比在传统卷积神经网络（CNN）上更好。这些方法正开始相互结合，使我们逐渐摆脱对越来越大GPU的追逐。嵌入式系统的赋能，以及让相当智能的模型能够在真正的嵌入式平台上运行，正变得越来越现实。”
模型规模必须结合整个系统来考虑。“最难的部分是设计一个既足够复杂能解决问题，又足够小能装进设备的模型，”英飞凌科技旗下公司Imagimob的首席技术官兼首席产品官马格努斯·格达表示。“除此之外，模型通常要与应用程序的其他部分共享内存和算力，因此可用资源比规格表上写的更少。剪枝和量化等优化技术可以缩小模型，但这些技术是在设计之后、通常是训练之后才应用的，而且会带来一定的精度损失。你需要从一开始就选择规模合适的初始架构，使其优化后的版本仍能装进设备并达到性能目标。让这三者——问题适配度、规模、优化后的精度——相互匹配，是大部分工作量所在。”
其他人也认为系统级效率是核心挑战。“边缘AI正在推动一场转变，从‘模型越大越好’转向‘每瓦体验’，”Rambus杰出发明人及研究员史蒂夫·伍表示。“压缩、剪枝和低精度运算等技术有助于缩小模型以适配本地资源，但部署仍然困难，因为内存容量和带宽往往是限制因素。把模型装进设备只是开始。让它在严格的功耗和延迟预算内高效运行，才是工程挑战真正开始的地方。”
选错AI模型可能导致部署后需要额外工作，或产品质量不达标。“一旦有了优化后的模型，部署并不难，”英飞凌的格达说。“模型会被转换成C代码，为目标平台编译，然后刷入设备。挑战在于充分发挥硬件的潜力，使推理既节能又低延迟。边缘硬件种类极为繁多——MCU、加速器、NPU、DSP——而标准相对缺乏。因此，没有合适的工具，最终得到的往往是通用但低效的部署方案，或者需要针对每个目标平台进行大量人工工作。”
这些部署限制使得模型选择成为一项针对具体应用的工作。合适的架构取决于设备必须执行的功能及其需要支持的工作负载。
功能和工作负载决定合适的模型
边缘设备和物理AI的工作负载在各行业间差异很大，涵盖医疗、工业、汽车、家居或个人应用等领域。所采集传感器数据的具体模态，是选择最优AI模型类型和规模的主要驱动因素。
“针对物理AI的合理规模推理至关重要，”Cadence芯粒产品营销集团高级总监米克·波斯纳在最近的一篇博客中指出。“智能物理系统并不存在放之四海而皆准的计算配置。有些工作负载需要常开、低功耗的推理；而另一些则需要跨摄像头、雷达、激光雷达、音频、环境传感器和系统状态数据进行更高性能的多模态处理。”
每一项硬件功能和终端设备特性都需要被纳入考量并明确定义。“为边缘AI模型确定合理规模的最佳技术，是能够对功能进行分类，从而避免使用大型模型，”西门子EDA公司AI产品负责人萨蒂什·巴拉苏布拉曼尼表示。“一个用在传感器上的40亿参数模型是巨大的，尽管现在云端已经在谈论1万亿参数的模型了。将模型压缩到不足10亿参数并部署在每个传感器中是可行的。我们需要定义最高优先级、必须具备的功能，并在一个SLM（小语言模型）中对其进行充分训练。它甚至可以是一个机器学习模型或神经网络模型，不一定非得是大语言模型。”
在确定必须具备的功能后，设计者可以开始构建AI核心，然后逐步添加更多功能，包括必须具备、关键、以及锦上添花类的功能。
“这是我看到人们在架构设计方式以及智能功能归类方式上划分的三个类别，”巴拉苏布拉曼尼说。“确定好这些类别之后，必须具备的功能应尽可能靠近传感器部署。不能把所有功能都定为必须具备，真的需要进行优先级排序，并以一种方式进行设计，使[系统]能够在一个自包含的传感器闭环中运行，具备本地计算、本地内存需求，有时甚至还要有本地备份环境。所有东西都要被拆分开。你还需要确保至少有一到两个小时的功耗余量，这样设备才不会变慢或关闭。”
在汽车领域，企业正越来越多地为特定任务和功能部署AI模型，不过普劳曼指出，该行业的很大一部分仍在使用大约三四年前的CNN模型。“他们还没有完全转向Transformer，也没有采用最新的压缩技术。但某些外部机构已经开发出使用Transformer的图像分割目标识别系统。”
对于负责优化这些模型的IP供应商来说，一个挑战是他们可能看不到客户实际使用的模型。“汽车行业的厂商会训练自己的模型，出于安全、保密以及专有知识产权方面的原因，他们对此非常保密，”普劳曼说。“我们看不到这些模型。我们得到的大多是关于模型大致样貌的替代信息，或是他们希望加速的代理功能，但我们很少能拿到完整的模型进行研究。”
图2：用于边缘AI和物理AI的IP模块。来源：新思科技
在合理确定规模时，每个IP模块都需要与模型大小进行权衡。“为边缘设备确定模型的合理规模是一个系统问题，而不是单点优化问题，”新思科技产品管理高级总监利西尼奥·苏萨表示。“量化等技术有助于让模型适配设备，但实时延迟、功耗、成本和功能安全都必须统筹兼顾。由于AI模型的演进速度超过芯片开发周期，系统还需要具备足够的灵活性，不仅要支持当前的工作负载，也要能支撑未来的模型。”
一旦模型与系统架构确定匹配，设计者就必须确定哪些压缩技术能够在不牺牲关键精度或性能的前提下满足这些约束条件。
各类压缩技术面临的挑战
设计者通常会使用多种压缩技术来确定模型的合理规模，每种技术各有优缺点。
例如，蒸馏可以实现大幅缩减，但可能带来更多损失。“你需要对模型进行询问式分析，找出并观察哪些部分被激活，”Imagination的普劳曼说。“你会进行类似的操作，裁剪掉一些部分，但师生模型之间总会存在损失。学生模型试图从大模型中提炼出教师模型所掌握知识的精髓。这就是为什么其中可能存在更多固有损失的原因，但你能保留更多的推理能力。它能大幅缩小模型规模，但仅靠这种方法能做到的程度有限，之后还需要借助量化。”
量化使模型走一条绕行路径到达目的地，而非直接路径。“在向网络施加输入时，有一个导航起点，”普劳曼说。“然后，根据你所给定的数值，你需要导航到一个终点。每经过一层，你都会把这个变换稍微推向一个不同的方向。如果使用FP32或FP16这样的全宽度数值，你会更直接地到达给定的点。”
全宽度数值像乌鸦飞行般直线前进，而量化更像是城市街区式的导航。“我们向上走一格，向右走一格，再向上一格，再向右一格，但最终会到达完全相同的地点，”普劳曼说。“量化的诀窍在于，让这些较小、更曲折的步骤与直接导航具有相同的含义，同时又不需要承担与相关数学运算相关的额外功耗、内存等开销。它从模型中的所有权重开始，逐步将它们归入与量化方案匹配的桶中。实现量化的方法有很多很多种，这是一种相当粗暴的方式。”
一种更温和的方式是自我压缩。“自我压缩技术能够理解，随着模型的训练，某些路径会变得非常常用，而另一些则不那么常用，”普劳曼解释道。“你永远不知道这种维度形状会是什么样子。每次重新训练它都是随机的。你可以调整这个空间，以重现每次都想要的某些理想形状，或接近这些形状，但其中总存在一定的随机性。有些路径会成为其余系统的关键支撑结构，但从最终结果来看，它们并不重要。我们会寻找对这些路径的敏感度，然后不断对它们进行量化，直到降为零位。如果模型没有发生变化，且仍能得到相同的结果，那么这些[路径]很可能贡献极小、微乎其微，甚至没有贡献。”
图3：量化后的Transformer架构。来源：Imagination
对于量化和自我压缩技术来说，复杂之处在于如何管理损失。“你需要确保没有丢弃真正需要的内容，并且在量化流程的训练集中拥有良好的数据覆盖率，”普劳曼指出。
例如，在汽车领域，工程师需要避免丢失长尾数据，即边缘案例或稀有训练样本，这些数据能让自动驾驶系统应对异常的道路状况。
结论：规模趋于小型化
小语言模型及其他紧凑型模型适用于资源受限的边缘设备，但它们需要系统级的设计和优化，才能实现特定产品所需的功能和特性。
归根结底，成功的边缘AI部署始于明确工作负载并选择规模适当的架构——而不是简单地缩小现有的最大模型。压缩技术可以帮助弥补剩余差距，但其价值取决于能否在满足设备功耗、内存、延迟、成本和安全要求的同时保持精度。由于模型和硬件的演进速度不同，灵活的系统设计对于支撑当前应用及未来工作负载都将至关重要。
