在医疗机器人真正走向现实应用之前,它必须先学会如何应对物理世界的种种挑战。人体解剖结构因人而异,器械会弯曲、施压、滑动,并与组织发生交互;成像数据可能存在噪声或信息缺失;而开发者最需要深入研究的罕见边缘场景,也不会按需出现。

这正是医疗机器人领域面临的最大瓶颈之一:开发者需要大量多样化数据来训练、测试和优化机器人行为,却难以获取。

英伟达医疗物理仿真框架(Medical Physics Simulation)作为英伟达 Isaac for Healthcare 平台中全新的开源、GPU加速功能,于近日正式发布。该框架可帮助医疗机器人开发者对解剖结构与医疗设备的交互进行建模,生成难以采集的场景,在硅基环境中开展测试,并在进行大量硬件测试之前完成机器人策略的训练或评估。

该框架将解剖结构与医疗设备行为、传感器仿真和机器人学习整合于一体,使团队能够构建可复用的仿真环境,而无需为每个工作流重新搭建自定义场景,从而节省开发者时间,加速创新成果落地。

由于医疗物理仿真框架采用开源方式发布,医疗机器人开发者可以深入了解框架内部机制,将其适配至自己的设备和工作流程,并在一个与英伟达整体技术栈无缝衔接的GPU加速基础上持续构建。

开源在医疗领域尤为重要,因为团队需要对影响系统行为的数据、模型和权重保持透明度。开放模型和模型权重有助于开发者复现结果、评估不同解剖结构和场景下的性能表现,识别局限性,并为监管审查积累依据。

物理AI的经验即动态数据

对于物理AI而言,经验就是运动中的数据。开发者需要训练机器人在解剖结构变化、设备表现各异、环境条件发生变化或策略意外失效等情况下,依然能够正常运作。

医疗物理仿真框架可帮助开发者模拟解剖结构、设备接触、摩擦力和传感器输入,继而测试交互过程与环境条件,评估机器人在各类变化场景下的表现。该框架由英伟达 CUDA 驱动,是 Isaac for Healthcare 的组成部分,基于英伟达 Warp、Newton 和 Cosmos 仿真与生成式 AI 技术构建,能够并行运行数百个仿真环境,帮助团队探索更多场景,并在开发早期发现潜在故障模式。

对于机器人构建者而言,这将仿真从一个定制化工程项目转变为可复用的基础设施。如今的变化在于规模:基准测试显示,8192个机器人训练环境在GPU原生仿真下并行运行,可将训练时间从五小时以上压缩至不足两分钟。

借助该框架,开发者可以将血管解剖结构、柔性器械(如导管和导丝)、模拟X射线成像与强化学习结合起来。该框架还被设计为可扩展至更多设备、解剖结构、传感器和医疗机器人应用场景。

经典物理仿真与生成式AI物理仿真的融合

医疗物理仿真框架融合了经典物理仿真与生成式AI物理仿真两种方式。经典仿真有助于对已知物理规则进行建模,例如设备接触、摩擦力和运动。英伟达 Cosmos-H Dreams 是医疗物理仿真框架内的实时生成式AI物理仿真功能,可对从程序化数据中习得的视觉场景动态进行建模。

两种方式相结合,为开发者提供了更丰富的手段,用于在虚拟环境中构建和测试医疗机器人系统,再推进到物理原型和实验室测试阶段。

行业领先企业的实践探索

医疗机器人领域的领军企业已率先将仿真驱动开发应用于具体手术挑战的解决。

CMR Surgical 与凯捷旗下的 Cambridge Consultants 正在使用 Cosmos-H Dreams,对软组织外科手术的交互物理特性进行隐式学习,并生成个性化患者仿真数据。CMR Surgical 向 Open-H Embodiment 开放数据集贡献了其 Versius 手术机器人系统近500小时的匿名临床数据,覆盖胆囊切除术、前列腺切除术、疝气修复术和子宫切除术等手术场景。

CMR Surgical 首席技术官 Chris Fryer 表示:"开源模型让我们得以在共享知识的基础上开展工作,从而加速负责任的创新,并最终有望为全球患者提供更一致的医疗服务和更好的治疗效果。"

强生医疗科技(Johnson & Johnson MedTech)正在利用 Isaac for Healthcare 的医疗物理仿真框架和基于 Cosmos 的基础模型,为其用于泌尿科的腔内 MONARCH 平台构建数字孪生,对复杂解剖结构和肾结石场景进行建模。XCath 正将医疗物理仿真框架用于血管内自主策略训练。Inner Logic 则借助英伟达医疗物理仿真框架,利用合成数据加速医疗技术演进,验证设备力学特性,并生成用于支持监管审批路径的硅基证据。美敦力结构性心脏(Medtronic Structural Heart)正在探索将医疗物理仿真框架与模拟X射线传感器结合,为导管导航研究生成数据。

模块化集成与开发者入口

作为英伟达 Isaac for Healthcare 平台内的模块化功能,医疗物理仿真框架既可独立使用,也可与数字孪生流水线、医疗传感器仿真、英伟达 Isaac Lab 开放机器人学习框架,以及英伟达开放模型和策略协同使用。

开发者可以直接探索开源医疗物理仿真框架,查阅可用的参考工作流,并开始为自己的设备、解剖结构和医疗机器人应用构建仿真环境。

Q&A

Q1:英伟达医疗物理仿真框架是什么,主要解决哪些问题?

A:英伟达医疗物理仿真框架(Medical Physics Simulation)是 Isaac for Healthcare 平台中新增的开源 GPU 加速功能,主要解决医疗机器人开发中多样化训练数据难以获取的瓶颈。它能帮助开发者对解剖结构与医疗设备的交互进行建模,生成罕见边缘场景,在硅基环境中测试机器人策略,从而在硬件测试之前完成系统验证,大幅降低开发成本和时间。

Q2:医疗物理仿真框架的训练效率具体提升了多少?

A:根据基准测试数据,医疗物理仿真框架可支持 8192 个机器人训练环境在 GPU 原生仿真下并行运行,将原本超过五小时的训练时间压缩至不足两分钟,效率提升极为显著。这使仿真从传统的定制化工程项目转变为可大规模复用的基础设施,大幅加快了医疗机器人的研发周期。

Q3:哪些医疗机器人公司已经在使用英伟达医疗物理仿真框架?

A:目前已有多家行业领先企业采用该框架。CMR Surgical 与 Cambridge Consultants 使用 Cosmos-H Dreams 生成软组织手术的患者个性化仿真数据;强生医疗科技利用该框架为 MONARCH 腔内平台构建数字孪生;XCath 用于血管内自主策略训练;Inner Logic 借助该框架生成合成数据支持监管审批;美敦力结构性心脏则探索将其与模拟X射线传感器结合用于导管导航研究。

NVIDIA