昇腾AI:拓宽应用边界,缩小AI成本鸿沟

作者:任新勃
2022-09-28

AI在深刻地变革我们的生活和生产方式,并在不同行业呈现着巨大价值。

AI在深刻地变革我们的生活和生产方式,并在不同行业呈现着巨大价值。

有颠覆性的应用场景,比如在关乎生命安全的矿山作业,AI技术来代替人识别人员、设备、环境的运行状态。实时处理、分析和上报,保证矿井生产安全;

有提升生活水平的应用场景,比如多模态的内容生成、机器人应用以及自动驾驶;

有面向前沿领域的应用场景,AI与不同领域的技术进行碰撞,加速应用落地。比如药物研发,AI可以大幅度缩短药物研发中小分子药物筛选的周期。比如中国商飞上海飞机设计研究院联合华为发布了业界首个工业级流体仿真大模型“东方.御风”。基于昇腾AI打造的面向大型客机翼型流场高效高精度AI仿真预测模型,在昇思MindSpore流体仿真套件的支持下,有效提高了对复杂流动的仿真能力,将仿真时间缩短至原来的二十四分之一。

科技部近日也发布《关于支持建设新一代人工智能示范应用场景的通知》,公布了首批人工智能示范应用的十大场景,首批示范应用场景包括智慧农场、智能港口、智能矿山、智能工厂、智慧家居、智能教育、自动驾驶、智能诊疗、智慧法院、智能供应链10个场景。

但是我们看到,AI是一个包括芯片、开发在内的软硬件不断迭代的过程。随着摩尔定律的停滞,在当前技术迭代越来越贵的情况下,如何实现AI性能和成本的平衡,成为影响AI普及的重要因素。

昇腾AI基础软硬件不仅提供模块、板卡、小站、服务器、集群等丰富的产品形态,是面向“端、边、云”的全场景AI基础设施方案,同时还提供覆盖深度学习领域训练和推理全流程的开源AI计算框架MindSpore。因此对于人工智能技术从开发、部署到应用端到端流程都有深刻的理解。

为了了解影响AI成本有哪些因素,以及如何降低AI成本,至顶科技与华为昇腾AI领域的专家进行了交流。

算法、开发和规模化,AI架构新挑战

从AI架构来看,华为昇腾AI专家认为,当前AI企业面临三个挑战。

首先是算法的创新。中国的AI企业主要聚集在应用层,但是一个好的AI应用,是需要最底层的算法和模型来实现更高效的算子,如何实现底层算法的创新是当前AI企业面临的第一个挑战。

其次是开发应用上,当前包括在金融、医疗、人工智能等领域,其算力需求是一个无底洞,使用AI成本会很高,“如果我们把算力做成了一个公共的数字基础设施,更多的初创企业就可以去使用,来减少AI开发应用难的问题。”华为昇腾AI专家讲道。

三是规模部署难,一些新的技术应用研发出来,但是不能很好的找到商用场景。比如说像一些中小企业可能只会在当地找商业场景,如果需要跨区就没有人力或者影响力去做这件事情。

总结来说,影响AI企业发展的三个挑战,一是最底层技术上的创新难,二是应用开发上贵,三是规模部署难。

适配、训练和部署,AI模型新挑战

如果从模型、算法角度看,华为昇腾AI专家认为,会遇到适配,训练和部署三个挑战。

适配方面,不同AI平台的适配问题是造成AI开发和应用难的主要挑战。当前国际形势复杂,基础软件可获得性的不确定因素日益增高。昇思MindSpore作为开源的国产AI创新框架,已经实现了通用的AI模型适配,做到了技术安全可控。

训练方面,大模型训练的挑战主要是需要强大的算力,通过昇思MindSpore AI框架及昇腾AI处理器的协同优化,实现了运行态的高效,大大提高了计算性能;同时 昇思MindSpore原生支持大模型训练,提供自动并行和可视化调优等关键创新,能显著提高模型的训练效率。

部署方面,MindSpore提供全场景能力,可以实现模型零代码跨平台应用,做到模型一次开发全场景部署。

技术、场景、生态融合创新,实现AI成本降低

在华为昇腾AI专家看来,AI成本主要包括四个部分:

数据成本:没有数据如同无源之水,AI就没有办法学习。

硬件成本:通俗讲就是NPU、CPU、GPU等硬件成本。

软件成本:包括算法、应用的开发创新等成本。

落地成本:包括解决方案的推广,后续的服务等。

如何降低AI成本,从硬件层面,昇腾AI在全国布局AI人工智能计算中心,实现了AI的公共、普惠的获取,改变了从原来的专有、昂贵的AI的获取模式。目前,昇腾已上线的10多个城市人工智能计算中心,已经累计为各地550多家企业、60多所高校、30多个科研单位提供服务,诞生了一批原创领先的科研成果,孵化了一批行业新应用。

其次,在针对算法创新上昇腾AI通过开放典型的一些场景应用的SDK开发包,来助力一些AI的开发能力较弱的中小企业来快速开发AI应用。具体而就是把不同行业的实践经验通过SDK固化,实现运维平台低代码,甚至零代码的模式,通过图形化的操作界面去做后续的运维,降低用户使用AI的门槛。

最后推动成立一些产业联合体,比如围绕基于昇腾AI打造的全球首个遥感影像智能解译专用框架武汉.LuoJiaNet和业界最大遥感样本库武汉.LuoJiaSET成立的智能遥感开源生态联盟,包含了像武汉大学等处于遥感领域学术前沿的高校,和非常多的应用单位及科研机构,把需求和市场以及科研前沿能力做对接,通过免费并开源越来越多的数据来降低AI获取成本。

提升AI的效率也是降低TCO的一种方式,华为昇腾AI专家表示,在千亿大模型训练上,昇思MindSpore AI框架的通过提供自动并行和自动调优的等能力来提升训练效率。

“昇思MindSpore 原生支持AI大模型训练,是业界支持并行维度最多的AI框架,支持7种维度并行,能够实现计算和通信整体迭代时间最短。同时也业界是支持模型切分结构最全的AI框架,并行支持多模型类型切分:Transformer(稀疏/稠密)、卷积、高维稀疏等5种结构。”华为昇腾AI专家分享了在大模型训练上的优势。这样实现了自动并行的并行代码数量会相对传统方式下降80%,自动调优时间可以下降60%。

在模型部署上,昇思MindSpore提供的套件能够实现模型轻量化,通过自动剪枝、蒸馏、量化完成10倍级模型压缩率,降低模型部署门槛。

关于AI发展未来发展趋势,华为认为随着算力网络的建设以及AI应用的不断拓展,AI发展从数据、算力到应用的汇聚和流通将呈现生态化趋势。在这样的趋势下,华为将继续发力基于昇腾AI基础软硬件平台的大模型和科学计算两个领域,为AI普及作出自己的贡献。

本文章选自《数字化转型方略》杂志,阅读更多杂志内容,请扫描下方二维码

《数字化转型方略》杂志