对黑洞进行成像极具挑战性,因为它们距离遥远,在天空中显得极其微小——例如,M87*观测到的光环跨度仅为42微角秒。黑洞本身不发光,因此望远镜捕捉的是事件视界外超高温气体旋转发出的射电辐射。黑洞强大的引力会弯曲这些光的路径,从而形成围绕中心阴影的明亮光环。

事件视界望远镜(EHT)通过超长基线干涉测量(VLBI)技术,将分布在夏威夷、智利、西班牙、墨西哥和南极等地的13个射电天文台连接起来,解决了这一难题。这些站点以高速电压流的形式记录毫米和亚毫米波段的射电信号,经过同步和合并后重建出详细图像。下一代事件视界望远镜(ngEHT)计划增加观测站点,以提升图像质量并追踪黑洞周围随时间发生的变化。

本文将介绍使用cuPhoton.xBeam进行基于GPU的干涉测量的完整流程,从读取望远镜记录数据到生成可见度数据,再到跨多GPU扩展。这些测量结果将作为后续校准和图像重建的输入,而这些后续步骤不在本教程的讨论范围内。

NVIDIA cuPhoton.xBeam执行基于GPU的干涉测量相关性计算,并对记录的数据进行组织以实现并行读取。它将成对望远镜的信号进行相关处理,为每对站点、每个频率通道和每个短时间间隔生成一个复数可见度值。下一步可以通过一个独立的下游处理过程(例如高斯泼溅技术)从这些可见度数据构建三维气体模型。该方法将发光气体建模为大量紧凑的发光团块,这些团块沿着旋转黑洞附近的轨道运动,通过优化使其与观测到的可见度数据相匹配。cuPhoton目前尚未集成这第二个环节。

NVIDIA cuPhoton团队与哈佛-史密森天体物理中心以及麻省理工学院海斯塔克天文台合作,利用xBeam加速数据摄取与相关性计算。在配备64颗GPU并采用兼容模式GPUDirect Storage(GDS)的NVIDIA Vera Rubin NVL72系统上运行时,xBeam仅用70秒便处理完10TB的数据集——相比x86 CPU基准所需的31,992秒(8.89小时),速度提升约460倍。

天空成像:一个逆问题

事件视界望远镜以每台望远镜高达每秒64吉比特的速率记录两种极化方向的射电信号,产生海量的PB级数据。对望远镜对之间的信号进行相关处理会产生可见度数据,这些数据对天空亮度的傅里叶分量进行采样。地球自转会描绘出稀疏的测量轨迹,重建算法将这些采样数据组合成图像。诸如人马座A*等源的快速变化使这一过程更加复杂,因为观测过程捕捉到的是一个随时间演化的天体源。

一个以1.3毫米波长观测、规模与地球相当的阵列,只能沿着地球自转所描绘的椭圆轨迹采集(u, v)测量数据。由于没有实体透镜能够直接成像,重建算法必须解决一个逆问题,从稀疏采样数据中合成图像。对于人马座A*这样的目标,在一次观测过程中天体源本身会发生变化,这使得假设天体源静止不变的重建方法变得更加复杂(详见"首个人马座A*观测结果专题")。

图2展示了使用合成信号源的成像工作流程。左图显示了一个按照2017年事件视界望远镜布局排列的阵列在一夜之间随地球自转所采样的(u, v)轨迹。下一张图显示了可见度振幅|V(u, v)|相对于基线长度的变化曲线,随后是由稀疏采样数据形成的"脏图像"。右图显示了一个新月形模型,这是一种简单的环形图像,研究人员可以用它来拟合这些振幅数据。

光线在黑洞附近经过时可能会先绕其轨道运行后再逃逸,从而在阴影边缘附近形成一个细薄的光子环。该光子环的大小和形状有助于约束黑洞的质量、自旋和观测角度,而其干涉信号会产生特征性的振荡。拟议中的黑洞探测器(BHEX)项目旨在测量这一光环,未来ngEHT在345吉赫兹频段的观测有望通过极化测量探测到其特征信号。

cuPhoton.xBeam的计算内容

cuPhoton.xBeam是cuPhoton工具包中的FX相关器。它对记录数据进行重组以实现并行读取,构建.vdix索引文件以便后续读取能直接定位到每一帧数据,并将电压数据加载到GPU内存中。随后,它执行与DiFX(基于CPU的开源软件相关器)类似的FX处理:对每个站点的电压数据进行傅里叶变换以转换为频率通道(F),并在任务所要求的每个频率通道上对站点和极化对进行交叉相乘(X)。这些步骤均在GPU上运行。按顺序,xBeam执行以下五个步骤:

1. 数据摄取。读取VDIF帧并将每一帧放置在正确的时间位置上。xBeam构建一个小型索引文件,即.vdix附属文件,记录每一帧的位置而无需复制数据,以便后续读取能直接定位到正确位置。

xBeam按时间戳、线程和物理位置对VDIF帧进行索引。其.vdix附属文件使后续读取能够定位所需数据,而无需重写记录文件。缺失或无效数据会被明确标记跟踪。

2. 延迟校正与条纹校正。根据任务模型中的延迟量对每个站点的采样数据进行偏移,使相同的波前在每个站点上对齐,并消除由地球运动引起的相位漂移。延迟校正涉及快速傅里叶变换(FFT)前后两个阶段。整数采样对齐和条纹旋转发生在信道化之前;随后通过频率相关的相位校正处理剩余的小数采样延迟。

3. 信道化。对每个站点的电压流进行FFT运算,将其分解为若干频率通道。

4. 交叉相乘与累加。对于每对站点,将一个站点某通道的频谱与另一个站点对应通道频谱的复共轭相乘,并在积分时间内对乘积求和。无效输入会被屏蔽,累加的乘积使用基于有效性推导的曝光权重进行归一化处理。所选的处理配置文件控制着额外的准入规则和权重报告约定。

5. 写入可见度数据。将结果保存为DiFX的SWIN格式或xBeam自有的xbeam-v1格式,具体取决于任务要求。

xBeam所应用的延迟量来自任务文件。它是多种延迟量之和:几何延迟(以参考时间t0附近的时间多项式形式参数化)、每个站点时钟偏移和线性漂移所产生的延迟,以及每个频段的固定时钟偏移量。

在单次FFT运算范围内,xBeam要么保持延迟恒定,要么用一条直线或一条抛物线来近似表示它,这对应于fringe_approximation_order设置中0、1或2阶的选项。

对于站点a和b在频率ν处,求和的乘积是站点a的频谱与站点b频谱复共轭的乘积。

xBeam并不根据站点位置计算延迟量,而是使用任务中给定的延迟值。它也不追踪光线在黑洞周围的传播路径。DiFX是用于验证xBeam结果的基准CPU相关器。诸如HOPS、rPICARD和eht-imaging等工具会从中获取可见度数据,用于校准和成像处理。

数据从磁盘进入GPU内存的方式有两种:通过固定主机内存的标准POSIX读取方式,或通过cuFile(即GPUDirect Storage API)读取方式。cuFile是否采用直接存储到GPU的路径取决于具体配置和运行时条件。相位校正、FFT运算以及交叉相乘均在GPU上执行。使用多个GPU的任务会按时间对扫描数据进行分片处理(--shard-count、--shard-index),并通过merge-shards操作合并各部分SWIN输出结果。

运行一个任务

xBeam(cuPhoton v0.1.3的组成部分)接受标准化的JSON任务文件(模式版本1)或受支持的DiFX .input文件。在NVIDIA/cuPhoton代码仓库中可以找到示例录制数据和对应的任务文件。任务文件指定了站点、时钟、频率、VDIF数据流、基线和扫描信息。将JOB.json指向录制数据所在位置。输出目录必须是全新的。运行结果将以任务指定的输出格式(swin或xbeam-v1)写入可见度数据。读者可以通过检查输出结果是否与预期的SWIN可见度记录相符并验证完成状态标头来确认运行是否成功。

首先检查录制数据。inspect-vdif命令仅读取文件头信息。

VDIF文件可能包含交错的线程、缺失的帧或按时间戳乱序存储的帧。在进行相关性计算之前构建.vdix附属文件,使xBeam能够定位所需的时间戳范围而无需重写录制数据。只要源文件保持不变,这些附属文件即可被重复使用。此后每次读取都能直接跳转到正确的帧位置。构建工具默认使用cuFile,如果机器没有配备GPUDirect Storage,可传入--backend posix参数。

在GPU上运行相关性计算。--backend cupy选项用于选择GPU处理路径。默认情况下,xBeam通过固定主机内存(POSIX)读取数据。--vdif-io cufile选项用于通过GPUDirect Storage选择cuFile输入输出路径。这正是Vera Rubin系统运行中所采用的模式,且无需其他额外参数。

同样的任务也可以通过Python运行。load_job函数返回与命令行工具相同的任务对象。correlate函数逐条返回可见度记录;写入SWIN文件的工作则留给命令行工具完成。

录制数据中的间隙会影响相关器为后续采样数据分配时间和权重的方式。xBeam通过--profile interop-real-usb-buffered-window-replay-v1参数提供了一种明确的缓冲读取策略。

在一个保留的读取缓冲区内,该策略会继续使用缓冲区现有的时间基准来处理已录制的采样数据,直到下一次分配建立新的锚点为止。该策略同时决定了哪些FFT数据块参与运算及其报告的可见度权重。

该策略并不能恢复缺失的采样数据,而且报告出满权重并不意味着每个时间戳都被成功记录。如果不采用重放策略,xBeam会根据帧头时间戳对齐后续帧,并将缺失的时隙标记为无效,这可能产生不同的可见度数据和权重结果。

跨GPU与跨节点扩展

cuPhoton.xBeam通过按时间将扫描数据分割到多个GPU上实现扩展。每个GPU负责处理各自的时间段。在单个节点上,xBeam可以同时启动多个GPU。在多个节点间,每个GPU运行一个分片,然后通过merge-shards操作合并SWIN输出结果。

在单个节点上,--devices参数会为每个GPU启动一个相关器进程,为每个进程分配其应处理的积分份额,将结果写入RUN/shards/目录下,并将其合并。

在跨节点场景中,每个进程运行一个时间分片。需要同时设置--shard-count和--shard-index参数,且每个分片使用相同的扫描ID、起始积分点和积分数量。对于64个GPU的情况,使用--shard-count 64,索引值从0到63。

当所有分片均完成处理后,将它们合并为一套完整的可见度数据。在复制任何数据之前,合并操作会检查所有分片是否来自同一任务、它们合并后是否覆盖了完整的时间范围,以及它们的SWIN文件头信息是否一致。

--devices参数是单节点场景下的快捷方式。而--shard-count与--shard-index结合merge-shards操作则是跨节点场景下的处理路径。两种方式均在GPU上执行延迟与相位校正、FFT运算以及交叉相乘运算。

图4展示了xBeam在多节点GPU上的扩展结果。在Vera Rubin NVL72系统上,一个10TB的录制数据被分割到多个节点上的1至64个GPU上处理,随后各分片被合并为一套完整的可见度数据。在测试范围内,报告的加速比持续增长。该结果以端到端的总处理时间衡量:包括数据读取、预处理和相关性计算的全过程。在64个GPU上,总耗时为70秒,而x86 CPU基准耗时约为32,000秒,速度提升约460倍。

借助GPUDirect Storage技术,在同一10TB录制数据上的读取带宽随GPU数量增加而增长,从4个GPU时的20GB/s提升到64个GPU时的170GB/s。在测试范围内,读取带宽随GPU数量增加而持续提升。

AI智能体与工具包的其余部分

AI智能体为自主科学研究提供了一个强大的框架,可作为自动化助手来协调数据摄取、任务配置、并行执行和可见度提取等工作。在这一工作流程中,智能体能够自主解析接收到的VDIF元数据,生成标准化的JSON任务规范(模式版本1),在GPU集群上调用cuphoton xbeam correlate命令,并监控执行过程。尽管当前的基准测试主要聚焦于GPU加速而非完全的智能体自主控制,但将AI智能体与xBeam相结合,为实现复杂多望远镜数据处理管道的端到端自动化提供了极具吸引力的潜在应用方向。

cuPhoton工具包的其他部分同样将这种GPU优先的处理模式应用于各领域的数据处理中。对于光学成像,xDataReader负责加载图像数据集,而xScan、xPois和xFit则负责对其进行分析。xRay可直接在GPU内存中处理X射线激光实验的探测器帧数据。从事材料科学、量子光学和核聚变研究的研究人员,可以在多节点、多GPU系统上应用类似的cuPhoton处理流程进行数据分析和仿真模拟。

开始使用

公开的cuPhoton代码仓库提供了成像模块和xBeam工具。请参阅公开仓库及相关文章,了解可用的工具和示例。

代码仓库:NVIDIA cuPhoton

成像指南:《借助NVIDIA cuPhoton实现更快速的科学图像分析》

相关案例:《面向新型材料纳米级成像的加速X射线分析(XANI)》以及《运用加速计算技术实时引导大型科研设施中的科学实验》

了解更多:NVIDIA cuPhoton

NVIDIA