本文最初发布于意法半导体(STMicroelectronics)官网,经意法半导体授权转载。
随着人工智能从云端走向边缘,传感技术正日益成为机器感知并作用于现实世界的核心。意法半导体的成像子集团(IMG)正处于这一变革的核心位置,其战略围绕深度感知、AI就绪视觉以及系统级集成展开。
在本次问答中,意法半导体成像子集团执行副总裁亚历山大·巴尔梅弗雷佐尔(Alexandre BALMEFREZOL)阐述了IMG如何超越传统成像业务,以及为何传感器的未来在于感知而非单纯的图像捕捉。
首先,请介绍一下意法半导体的成像子集团,以及成像技术在AI时代如何演进?
IMG是意法半导体内部一个历史悠久的组织,在光学传感领域拥有超过25年的专业积累。我们的技术已经大规模部署,嵌入到多个市场中数十亿台设备中。我们从相机图像传感器起步,逐步拓展业务范围。如今,我们的使命要广泛得多:我们致力于实现所谓的"物理AI"——即能够感知、解读并响应周围环境的系统。这意味着要超越传统成像,将视觉、深度和情境感知融合为真正的机器感知能力。整个行业正从为人类解读而设计的成像,转向为机器感知而设计的传感。这一转变带来两个重要影响。首先,传感器必须超越可见光范围,捕捉更多维度的信息,例如深度或红外信号。其次,传感器必须高效运作,因为大部分数据将在本地处理,往往要在严格的功耗和延迟限制下完成。
这在实践中对传感器设计意味着什么?意法半导体在这场变革中扮演什么角色?
这改变了设计的优先级。我们不再仅仅针对分辨率或图像质量进行优化,而是着眼于系统级性能:功耗、延迟、集成复杂度,以及传感器输出数据被AI使用的便捷程度。因此,我们的技术旨在提供情境信息,而不只是像素。它们被设计为更广泛系统中的组成部分,这个系统包括计算、软件和算法——所有这些都经过协同设计,以实现感知能力。
我们的角色是通过集成传感系统使这一转变成为可能。我们将视觉、深度和处理能力整合到协调一致、经过优化的解决方案中。这就是为什么我们说成像不再仅仅关乎相机,而是关乎将光转化为可用数据,为边缘智能行为提供动力。这正是解锁下一波AI应用在现实环境中落地的关键。
您如何描述IMG当前的战略和定位?
整个行业正从为人服务的成像转向为机器服务的传感,我们的战略正反映了这一演进。凭借超过30亿个飞行时间(ToF)传感器的出货量,意法半导体正从单纯的元器件供应商,转型为提供集成传感系统的企业,为现实世界应用整合深度、视觉和AI就绪处理能力。
我们的核心目标是将光转化为AI可直接使用的可信数据,以理解场景并支持决策。我们不追求覆盖整个成像市场,而是专注于真正能够驱动系统价值的领域:深度感知、AI驱动视觉以及高度集成的解决方案。这种专注使我们的定位不是普通相机供应商,而是在工业自动化、机器人技术和边缘智能等快速增长领域中先进感知技术的合作伙伴。
意法半导体的差异化优势
这种市场地位的可信度体现在哪里?意法半导体的差异化优势是什么?
主要有三大支柱:长期的持续创新、工业化规模,以及围绕两大核心平台构建的产品组合——用于深度感知的FlightSense和用于AI视觉的BrightSense,二者共同构成完整的边缘AI感知技术栈。
过去十年间,我们出货了数十亿个传感器,尤其是飞行时间(ToF)和全局快门系列产品。这样的出货量证明我们的技术不仅先进,而且在实际应用中稳健可靠、经过验证。同时,由于我们专注于差异化传感技术,我们能够在目标细分市场中保持强势地位,并持续投资于我们的独特优势所在。
我们的差异化优势建立在专注与集成之上,聚焦于感知能力、性能和系统级集成最为重要的高价值传感技术领域。一项关键资产是我们的集成器件制造商(IDM)模式,以及我们所说的"从像素到系统"的方法。我们掌握每一个环节,从像素架构、工艺技术到制造、封装和系统集成。这赋予我们创新速度优势,以及交付完整传感解决方案而非单一零部件的能力。
公司的业务布局和IDM模式有多重要?实际带来哪些好处?
这对我们的价值主张至关重要。得益于IDM模式,我们掌控端到端的整个产业链:传感器设计、工艺开发、在欧洲的前端制造以及在亚洲的后端运营,并由全球合作伙伴和客户网络提供支持。这种架构使我们能够快速实现创新成果的工业化,大规模保证质量和可靠性,并针对汽车和工业等高要求市场量身定制解决方案。
客户能看到三大主要优势。首先是速度:完全掌控整个技术栈意味着我们可以缩短开发周期,更快地将新技术推向市场。其次是差异化:我们能将传感、光学、处理和软件整合为预集成的子系统,从而简化客户的设计工作。第三是可扩展性和稳健性:我们的产品专为大批量、一致性制造而设计,这对于长生命周期、安全关键或任务关键型应用至关重要。
人才在IMG的成功中扮演什么角色?
人才是决定性因素。IMG在13个国家拥有800多名专业人员,其中很大一部分专门从事研发工作。在这样一个技术既复杂又快速演进的领域,这种对创新的投入至关重要。
我们的团队汇聚了半导体、光学、光电子学、信号处理、软件和系统方面的专业知识。这种广度使我们能够以完整解决方案而非孤立组件的思路进行思考,并对从像素到算法的每个环节进行协同优化。
IMG如何长期保持创新能力?
我们依靠强大的内部能力和丰富的外部生态系统共同支撑。
在内部,工艺技术、产品设计和系统工程紧密配合,使研究创意能够快速高效地转化为工业化产品。
在外部,我们与领先的研究机构以及大学和行业合作伙伴展开合作。这些合作帮助我们提前数年探索市场需求之外的前沿技术,并确保创新管道持续运转。内部整合与外部合作之间的平衡,使我们能够维持宏大的技术路线图并实现大规模交付。
支撑意法半导体战略的关键技术
这一战略背后的关键技术是什么?
两大支柱格外突出:飞行时间(ToF)深度感知,以及诸如全局快门和RGB红外成像之类的AI驱动视觉技术。我们还通过3D堆叠、超表面光学和嵌入式处理等先进能力加以补充。我们的目标是让传感器不仅能捕捉数据,还能对数据进行预处理和结构化,使其能被AI直接使用。当所有这些要素整合进更智能、更紧凑、更节能的系统中时,真正的差异化优势便会显现。
飞行时间技术已经存在一段时间了。这项技术如今成熟度如何?FlightSense有哪些新进展?
这项技术已经高度成熟。我们已经研发飞行时间(ToF)技术超过10年,出货量超过30亿个传感器。目前正在演进的不是核心技术本身,而是其部署的广度。ToF技术正从智能手机大步迈向需要可靠深度信息的各类系统,正在成为感知能力的主流构建模块。
我们最新的旗舰产品是VL53L9,一款完全集成的3D激光雷达模块。它将发射器、接收器、处理单元和电源管理整合到一个紧凑、无需校准的器件中。该产品提供超过2000个感知区域,最高可达每秒100帧的帧率,探测距离最远可达9米,且拥有宽广的视场角。
除了这些原始参数之外,该产品还专为便于集成和可靠运行而设计,能够应对从明亮户外光线到完全黑暗的各种环境。
在视觉方面,BrightSense的作用是什么?为何RGB与近红外结合如此重要?
BrightSense是我们专为机器设计的视觉传感器系列。
最新的500万像素器件结合了3D堆叠、2.25微米像素以及混合全局/卷帘快门架构等创新技术。因此,单个传感器就能同时提供高图像质量和精确的运动捕捉能力,而这些功能过去需要不同的技术才能分别实现。
在单个传感器中整合RGB和近红外(NIR)对于实际应用至关重要。这使系统能够在无需机械滤镜的情况下,同时适应昼夜条件。这简化了系统设计,降低了成本和复杂度,并提升了系统稳健性,这对于需要全天候可靠运行的应用尤为重要。
公司如何应对功耗问题?FlightSense和BrightSense如何协同工作?
功耗是一项关键设计参数,对于常开和电池供电系统尤为重要。我们已开发出超低功耗传感器,在自动唤醒模式下功耗约为1-2毫瓦。这使可穿戴设备和智能家居产品等设备能够在极其有限的能耗预算内实现持续感知,使常开AI在新型设备形态中变得切实可行。
FlightSense和BrightSense是感知能力互补的两大支柱。FlightSense提供深度和空间感知能力;BrightSense提供视觉和情境信息。两者结合,能够构建出既可以绘制周围环境地图,又能识别正在发生的事情的系统。换句话说,这些系统能够看见、理解并采取行动。这正是边缘端真实世界AI的基础。
这些技术如何转化为应用场景?这对客户和市场意味着什么
这如何转化为现实世界的应用?哪些应用正在推动需求增长?
VL53L9开启了广泛的应用场景,包括机器人技术、工业自动化、智能建筑和医疗健康领域。例如,人体检测或安全监控等分析功能可以直接在微控制器上运行。在某些场景中,应用程序能够以每秒30帧的速度运行,同时仅使用约13%的RAM和6%的闪存。这种效率水平是实现边缘AI的关键条件。
我们还看到智慧城市、工业自动化、机器人技术和安防领域展现出强劲的增长势头。在这些领域中,需求都是一致的:设备必须能理解其所处的环境,而不仅仅是记录环境。这正是我们强调感知而非传统成像的原因。
对客户和市场而言,最重要的启示是什么?
我们正在从单一传感器迈向整合传感、处理和软件的完整感知平台。这帮助客户更快地打造更智能、更高效的产品,同时降低功耗、减少系统复杂度并提升性能。传感正在成为一种系统级能力,通过将光转化为可信数据,意法半导体的成像业务部门正在帮助AI从云端走向物理世界。
Q&A
Q1:意法半导体的FlightSense和BrightSense分别是什么技术?
A:FlightSense是意法半导体用于深度感知的技术平台,核心是飞行时间(ToF)传感器;BrightSense是专为机器视觉设计的传感器系列,支持RGB和近红外成像。两者结合可以让系统同时具备空间感知和视觉理解能力。
Q2:VL53L9传感器有什么特点?
A:VL53L9是意法半导体最新的全集成3D激光雷达模块,集成了发射器、接收器、处理单元和电源管理,拥有超过2000个感知区域,帧率最高达100帧每秒,探测距离可达9米,且无需校准即可使用。
Q3:意法半导体的IDM模式有什么优势?
A:IDM模式指意法半导体掌控从传感器设计、工艺开发到制造封装的全产业链环节。这种模式能带来三大优势:加快产品开发速度、实现传感与处理软件的深度集成差异化、保证大规模制造的一致性和可靠性。
