纽拉机器人(Neura Robotics)正式推出了面向物理AI的多模态基础模型Neuron AI。
该模型结合三维视觉、触觉、听觉、机器人状态以及带记忆功能的语言理解能力,使机器人能够根据超越纯摄像头所能捕捉的信息来行动,同时在物体离开视野后仍能保留相关的上下文信息。
其“感知-语言-行动”(Perception-Language-Action,简称PLA)架构将机器人所看到、听到、感受到的内容与它此前已经完成的动作连接起来,把多感官信息转化为实际的物理行动。
纽拉机器人创始人兼首席执行官大卫·雷格(David Reger)表示:“一个智能机器人需要一个大脑,能够把各种感官信息汇聚在一起,并记住发生过的事情。通过Neuron AI,我们正在构建物理世界的大脑:这种物理AI能把人类的专业知识和物理经验转化为机器人可以学习和应用的能力。它诞生于德国,服务于全世界。”
天生多模态
摄像头能够捕捉几何形状、颜色和位置信息,但无法提供接触、力度或声音方面的信息。人类同样依赖不止视觉一种感官:他们能感觉到螺丝是否拧紧,也能听到连接器卡入到位时发出的声响。
Neuron AI将这一原理应用到机器人身上。该模型并非将每个传感器视为独立的输入,而是对三维视觉、触觉与力度数据、音频、机器人状态以及语言信息进行编码,将它们在一个共享空间中随时间对齐,并转化为单一的连续动作流。
多感官感知对于那些仅凭摄像头无法解决的任务尤为重要。当机器人打开一把锁时,只有声音和触觉才能确认锁是否真正打开。借助触觉,机器人可以抓取那些它看不到的物体。
额外的感官同样能提升视觉已经能够处理的任务:例如在焊接作业中,焊缝的质量可以通过焊接过程中产生的声音来判断。
此外,Neuron AI还具备记忆功能。要在物理世界中行动,机器人需要具备因果关系意识和物体永存性的概念——即在物体不可见时仍能记住它的能力,这种能力是人类在出生后的头两年里逐渐获得的。
与纯数字化的AI不同,机器人是在一个连续的物理世界中行动的,它必须随时间追踪物体以及自身行动所带来的后果,而且往往是在看不到这些物体的情况下进行。
纽拉特别调整了该模型的架构以引入记忆功能,并使用专门的数据集对其进行训练,以充分利用这一能力。
三大数据支柱
该模型基于三种互补的物理经验数据源进行训练:
真实世界机器人数据:不同形态的机器人在纽拉训练场(Neura Gyms,纽拉为认知机器人与物理AI打造的训练基础设施)以及真实环境中执行任务,生成同步的视觉、触觉、力度、音频和运动数据。
仿真增强数据:纽拉的数据增强器(Data Amplifier)及仿真技术栈通过对任务和环境进行模拟变化,来扩展训练数据的规模。
人类示范数据:穿戴传感器设备的人员捕捉人类的动作和任务示范过程,将实际的专业经验引入训练流程。
这三大支柱共同将真实的物理交互、模拟出的变化情形以及人类的专业知识结合起来,用于训练一个在五种不同纽拉机器人形态(配备不同的夹爪和手部结构)之间共享的基础模型。
从学习到机器人群组落地
纽拉训练场将数据采集、技能训练和基准测试连接起来,并在部署之前完成这些环节。在训练场中开发出的训练数据和技能,将为后续的模型发布提供依据。
Neuraverse平台则为将这些能力部署到机器人群组并进行更新提供了基础。它还为客户提供工具,使其能够针对自身的具体任务对模型进行微调,将行业流程方面的专业知识转化为机器人技能。
客户可以选择将自己开发的技能保密。如果客户选择共享技能或部署数据,这些贡献可以用于支持更广泛的生态系统以及未来模型的发展。
这使得“技能习得时间”(Time-to-Skill)成为衡量进展的核心指标:即机器人学习一项新任务并能可靠完成它所需要的时间。对工业客户而言,缩短这一时间对于将物理AI引入更多生产流程、并随需求变化而灵活调整至关重要。
德国制造的物理AI
Neuron AI是在德国梅青根(Metzingen)由纽拉自主研发并训练完成的。纽拉将机器人、灵巧手、感知技术、数据基础设施以及AI开发能力整合在一起,从而将模型训练与实际物理性能表现连接起来。
德国的工业基础为这项工作提供了重要的支撑条件:复杂的制造流程、专业化的技术知识以及高要求的运行环境。与舍弗勒(Schaeffler)、博世(Bosch)等工业企业开展的数据合作,进一步补充了纽拉训练场中的训练内容。
对纽拉而言,这种与产业的紧密联系将物理AI的开发与其所服务行业的知识和实际需求连接在一起。
英伟达GTC柏林2026现场演示
在英伟达GTC柏林2026大会上,纽拉将展示其人形机器人4NE1(发音近似“为任何人”)运用当前版本的Neuron AI,完成一段长达十一分钟的洗衣处理流程。
该流程包括对衣物进行分类、将衣物装入洗衣机、关闭并再次打开洗衣机、取出衣物并将其转移到烘干机中,整个过程无需人工干预。此次演示的重点在于洗衣流程中的操作与任务协调能力,其挑战不止于任何一个单独的动作本身。
机器人必须在整个流程中持续保持相关的上下文信息,完成每一个步骤并顺利过渡到下一个步骤。这次演示将纽拉的架构浓缩为一个具体而生动的例子:规划能力、多感官感知、记忆功能与物理行动协同运作。参观者可于10月20日至22日在柏林展览中心(Station-Berlin)3号厅3031号展位观看此次演示。
Q&A
Q1:Neuron AI是什么?它有什么特别之处?
A:Neuron AI是纽拉机器人推出的多模态基础模型,面向物理AI场景。它结合三维视觉、触觉、听觉、机器人状态和带记忆功能的语言理解,让机器人能根据超出摄像头所能捕捉的信息进行行动,并在物体离开视野后仍保留相关上下文。
Q2:Neuron AI的训练数据来自哪里?
A:训练数据来自三大支柱:真实世界机器人在纽拉训练场及真实环境中产生的同步多感官数据、通过仿真技术扩展生成的模拟增强数据,以及穿戴传感器设备的人员记录的人类示范数据,三者共同构成共享训练基础。
Q3:4NE1机器人在GTC柏林2026上会演示什么内容?
A:纽拉将在英伟达GTC柏林2026大会上,展示人形机器人4NE1运用Neuron AI完成一段十一分钟的洗衣处理流程,包括分类衣物、装卸洗衣机和烘干机等步骤,全程无需人工干预,展示感知、记忆与行动的协同能力。
