台湾新竹,2026年8月3日 —— 晶心科技(Andes Technology)是一家高性能、低功耗32/64位RISC-V处理器核心及AI加速方案的领先供应商,同时也是RISC-V International的创始白金会员。日前,该公司正式宣布其AI产品线迎来重大同步升级:AndesAIRE(TM) AnDLA(TM) I370 v2.0深度学习加速器IP与AndesAIRE(TM) NN SDK v1.2.0正式推出。此次发布旨在解决业界一大核心难题——如何让资源消耗较高的Transformer架构(包括视觉Transformer(ViT)、视觉语言模型(VLM)及小型语言模型(SLM))在功耗与成本受限的边缘平台上高效运行。

突破硬件瓶颈:AnDLA(TM) I370 v2.0

为释放多模态VLM与生成式SLM工作负载所需的算力,I370 v2.0加速器IP在架构层面引入了多项重要增强:

可扩展算力,最高支持2048个MAC:可配置的MAC阵列(规模从32扩展至2048)为开发者提供灵活的可扩展性,以应对现代神经网络所需的大规模矩阵乘法运算。

超宽AXI总线,位宽最高达512位:AXI总线数据位宽可扩展至512位,同时增强了DMA未完成请求处理能力,有效消除重负载场景下的内存带宽瓶颈。

原生支持多模态VLM与生成式SLM:基于可编程张量算子集架构设计,在硬件层面提供对Transformer网络的原生支持。

丰富的硬件加速算子:集成除法(DIV)与平方根(SQRT)运算的原生执行能力,并支持算子融合,确保复杂的非线性函数完全在加速器内部完成计算。

解锁Transformer能力:AndesAIRE(TM) NN SDK v1.2.0

硬件算力的提升离不开强大软件编译工具链的配合。AndesAIRE(TM) NN SDK v1.2.0正是这一关键使能组件,其成熟的工具链专为应对Transformer网络的结构复杂性而优化,主要特性包括:

边缘Transformer优化:SDK原生支持注意力机制,并通过SLM预填充/解码阶段拆分,优化KV缓存的放置与内存调度策略。

完善的Linux与RTOS生态系统:通过提供Linux内核态驱动与用户态运行时,以及支持AnDLA任务抢占的RTOS环境,增强了平台的灵活性,满足时延敏感型实时响应需求。

协同设计工具与知识蒸馏:内置模型顾问(Model Advisor)与硬件顾问(Hardware Advisor),用于绘制性价比帕累托前沿,并结合词级知识蒸馏技术,将大型教师模型无缝压缩为可部署于AnDLA的学生模型。

上游框架集成:将AnDLA驱动及NN库封装函数更新至最新版LiteRT及面向微控制器的LiteRT AI框架基线。此外,SDK通过与面向微控制器的LiteRT集成,支持MLCommons MLPerf Tiny v1.4基准测试,并取得了优异的性能成绩。

"将Transformer模型和VLM引入成本敏感型边缘设备,可以说是当前AI领域最具挑战性的工程难题之一,"晶心科技总裁暨技术长苏泓萃博士表示,"借助搭载可编程张量算子集架构的I370 v2.0,以及NN SDK v1.2.0的强力支撑,我们已成功实现Transformer模型的端侧运行。开发者现在可以在RTOS和Linux双环境下本地运行ViT、VLM和SLM,为更智能的下一代边缘设备铺平了道路。"

此次全面升级重新定义了边缘计算的能力边界,使智能摄像头、工业自动化系统、机器人、可穿戴设备及边缘网关能够在本地完成语言与视觉模型的推理处理。如需了解AndesAIRE(TM) AnDLA(TM) I370 v2.0与NN SDK v1.2.0的更多信息,请访问 www.andestech.com 或发送邮件至官方联系邮箱。

关于晶心科技

晶心科技(台证所:6533)是RISC-V International的创始白金会员,也是商用CPU IP领域的领军企业,积极推动RISC-V在全球的广泛应用。晶心科技拥有完整的RISC-V处理器IP产品线,覆盖从超高效32位CPU到高性能64位乱序多处理器一致性集群的广泛应用场景。凭借先进的向量处理能力、DSP功能、强大的Andes自动化定制扩展(ACE)框架、端到端AI软硬件协同栈、ISO 26262认证及完整合规支持,以及完善的软件生态系统,晶心科技充分释放了RISC-V的潜力,助力客户在AI、汽车、通信、消费电子、数据中心及移动设备等领域加速创新。目前,全球已有超过200亿颗搭载晶心科技方案的SoC芯片,持续驱动各行业创新发展。欢迎访问 www.andestech.com 了解更多,并通过LinkedIn、X(原Twitter)、YouTube及Bilibili与晶心科技保持联系。

Q&A

Q1:AnDLA I370 v2.0在硬件层面做了哪些升级?

A:I370 v2.0主要有四项核心升级:一是MAC阵列可扩展至2048个,大幅提升矩阵运算能力;二是AXI总线位宽最高达512位,搭配增强的DMA处理,解决内存带宽瓶颈;三是基于可编程张量算子集架构,在硬件层面原生支持Transformer、VLM和SLM网络;四是集成DIV和SQRT等算子的原生执行及算子融合,确保复杂非线性函数无需离开加速器即可完成计算。

Q2:NN SDK v1.2.0如何支持Transformer模型在边缘端的部署?

A:NN SDK v1.2.0通过多项机制支持Transformer的边缘部署:原生支持注意力机制,并针对SLM的预填充与解码阶段进行拆分,优化KV缓存调度;提供Linux内核态驱动与用户态运行时,以及支持任务抢占的RTOS运行环境;内置模型顾问和硬件顾问工具,辅助开发者进行性价比评估;并通过词级知识蒸馏将大模型压缩为适合边缘部署的小模型,同时与最新版LiteRT框架保持集成同步。

Q3:晶心科技的边缘AI方案适用于哪些应用场景?

A:此次发布的AnDLA I370 v2.0与NN SDK v1.2.0面向多类边缘计算场景,包括智能摄像头、工业自动化系统、机器人、可穿戴设备和边缘网关等。这些设备可借助该方案在本地完成视觉和语言模型的推理,无需依赖云端,从而降低时延、保护数据隐私,并在功耗和成本受限的条件下实现较强的AI处理能力。

Edge AI and Vision Alliance - Latest News