研究人员开发出一种新技术，能够快速准确地将手术过程中拍摄的X光图像与患者的术前3D医学扫描图像进行匹配。这种方法可以帮助临床医生更精准地操控微创手术工具，从而实现更快速、更安全的手术过程。
临床医生在进行许多微创手术时会使用实时X光图像，帮助引导导管和内窥镜等设备穿过微小切口。但由于X光图像是平面图像，很难确定手术工具在患者体内的确切位置和朝向，这增加了并发症的风险。
为了帮助定位手术设备，临床医生可能需要手动将X光图像与术前3D医学图像（如CT扫描或MRI）进行对齐。旨在简化这一流程的人工智能工具很难为所有患者提供稳健的图像对齐，这使其在实际应用中难以推行。
这套由麻省理工学院及合作机构的科学家和临床医生共同开发的新系统，使用一种能在约五分钟内针对每位患者进行自适应调整的AI模型。该模型可以在几秒钟内自动将一位患者的X光图像与3D扫描图像匹配，精度达到亚毫米级。
该系统命名为xvr（X-ray volume registration，X光体积配准），在涵盖广泛患者群体、身体部位和医疗手术类型的测试中，其表现比现有AI方法高出一个数量级。
“大多数美国人居住地距离能够进行微创手术（如急性脑卒中介入治疗）的医疗中心一小时以上路程。在脑卒中救治中，一小时的时间非常关键。通过将2D和3D信息结合，让这类手术操作变得更简便，可以使这些高度专业化的救命手术惠及更广泛的人群，”麻省理工学院计算机科学与人工智能实验室（CSAIL）博士后、哈佛-麻省理工健康科学与技术项目最新毕业生、该研究论文第一作者维韦克·戈帕拉克里希南（Vivek Gopalakrishnan）说。这篇关于xvr的论文今天发表在《自然》杂志上。
论文的合著者还包括他的导师、电气工程与计算机科学系（EECS）孙林与普里西拉·周教授、CSAIL首席研究员、医学视觉研究组负责人及论文共同资深作者波利娜·戈兰德（Polina Golland）；医学视觉研究组前博士后、现任哈佛医学院及麻省总医院研究员、论文共同资深作者尼尔·戴伊（Neel Dey）。其他合著者包括哈佛医学院研究员兼临床医生大卫-迪米特里斯·赫洛罗吉安尼斯（David-Dimitris Chlorogiannis）；圣路加马里昂·布洛赫神经科学研究所神经外科医生安德鲁·阿布穆萨（Andrew Abumoussa）；沙纳儿童医院儿科临床医生安娜·M·拉森（Anna M. Larson）；哈佛大学及布莱根妇女医院放射学助理教授纳齐姆·哈乌希内（Nazim Haouchine）；波士顿儿童医院医生兼科学家达伦·B·奥巴赫（Darren B. Orbach）；以及哈佛大学放射学副教授萨拉·弗里斯肯（Sarah Frisken）。
让X光图像更具信息量
在许多微创手术中，例如用于打通阻塞动脉的血管成形术，临床医生通过微小切口插入手术器械，并使用高速移动X光扫描仪生成图像，让他们能从任意角度观察手术过程。
但为了引导手术工具而不意外损伤其他组织，临床医生必须将实时X光图像与患者的术前MRI或CT扫描进行对齐。这一过程被称为“配准”，能帮助医生确定手术工具相对于解剖结构的位置。
“临床医生需要经过数十年的训练，才能熟练地从模糊的2D图像中判断各部分结构的朝向。我们希望让这些2D X光图像包含更多信息，从而让这些救命手术变得更安全、更简便，”戈帕拉克里希南说。
手动配准方法速度慢且负担重，需要临床医生通过在电脑中输入数字或在屏幕上点击解剖标志点来估计手术工具的位置。
为简化这一流程，研究人员正在开发能够预测2D/3D配准的AI模型。但由于人体解剖结构差异很大，一个对某些患者有效的模型可能对其他患者失效。
戈帕拉克里希南表示，高质量带标注医学图像数据的缺乏，使得训练一个足够稳健、能适应众多患者的深度学习模型变得困难。
研究人员没有试图打造一个适用于所有患者的机器学习模型，而是构建了一个专为特定患者高度适配设计的模型。
“我们为这一个特定患者量身定制这一个特定模型，至于它是否适用于其他人并不重要，因为其他人会有各自不同的模型，”戈帕拉克里希南补充道。
针对患者个体的机器学习
xvr利用患者的术前3D扫描图像（如MRI或CT），生成来自多个角度的数千张合成X光图像，每秒可生成约1000张图像。它使用基于物理学的X光成像过程模拟，确保这些合成图像具有真实感。
“与某些生成式AI从无到有生成数据不同，这种物理模拟完全基于该患者的CT扫描或MRI数据。由于xvr以纯粹基于物理学的方式生成患者特定数据，因此不存在‘幻觉’问题，”戈帕拉克里希南说。
xvr框架利用这些模拟数据训练AI模型，使其能在几秒钟内准确地将该患者的2D X光图像与其3D扫描图像对齐。
但尽管这种配准模型精度很高，为每位患者从零开始训练大约需要12小时，这使其无法在紧急情况下使用。为了加快这一过程，研究人员利用xvr预训练出一种更通用的AI系统——被称为基础模型，它能够快速适应每一位新患者。
他们收集了2000多名患者的全身3D医学扫描数据，涵盖广泛的年龄段、影像模式和身体区域。xvr利用这些多样化数据生成合成X光图像，并训练出一个能执行2D/3D配准的基础模型。
这个预训练模型能在约五分钟内适应一名新患者，其配准精度与从零开始训练的模型相当。
“这样一来，你就能获得针对患者个体的高精度，同时还能在非常快的时间内完成，”戈帕拉克里希南说。
研究团队在目前最大的真实2D/3D配准数据集上测试了该模型，数据来自五家医院，涵盖成人和儿童患者的数十种骨骼和器官系统。
xvr在准确性和稳健性方面明显优于其他基于AI的方法，同时运行速度足以满足急诊手术的需求。该模型还可用于提升机器人手术技术的性能。
未来，研究人员希望进一步提升xvr的速度以实现实时部署，开展更多研究以验证其在其他场景下的可靠性，并将系统扩展至处理更复杂的场景，例如运动中的身体部位。
“过去两年里，我们一直在细心开发和验证这一算法。目前，我们正与手术机器人公司和临床团队密切合作，将这项研究成果转化为实用的导航或部署工具，”戈帕拉克里希南说。
这项研究部分资金来自美国国立卫生研究院（NIH）、麻省理工学院CSAIL-纬创项目、麻省理工学院-IBM计算研究实验室、麻省理工学院贾米尔诊所、麻省理工学院健康与生命科学合作项目以及周氏家族变革性研究基金。
Q&A
Q1：xvr技术是什么？它有什么作用？
A：xvr（X光体积配准）是麻省理工学院团队开发的一种AI技术，能将手术中拍摄的X光图像与患者术前3D医学扫描快速准确匹配，帮助医生更精准地引导微创手术工具，提升手术安全性和效率。
Q2：xvr技术需要多长时间才能适应新患者？
A：xvr的预训练基础模型大约只需五分钟就能适应一位新患者，随后可以在几秒钟内完成图像配准，精度达到亚毫米级，速度足以满足紧急手术的需求。
Q3：xvr与传统人工配准方法相比有什么优势？
A：传统手动配准方法速度慢、负担重，需要医生凭经验估计工具位置。而xvr能针对每位患者自动生成定制化模型，配准速度快、精度高，且不会出现类似生成式AI的“幻觉”问题，因为它完全基于物理模拟和患者真实数据。
