量子处理器正在被整合进全球各地的超算中心。北美、欧洲和亚洲的国家级项目正在推动量子处理单元(QPU)与高性能计算(HPC)系统的协同部署。每一台超级计算机最终都将成为量子-经典混合设备,借助量子处理器拓展科学研究的边界。
那些将成为量子-GPU超算首批重度用户的科学家,目前已经在HPC系统上运行各类模拟和工作流程。化学、天气建模、工程仿真等传统上以HPC为核心的领域,有望从针对特定工作负载的量子加速中获益。对这些科学家而言,QPU只是又一种加速器,与超算中心已经提供的CPU和GPU并列存在。
让量子计算机易于获取、便于编程,并以熟悉的方式进行访问、预约和大规模执行,这对于科学研究人员将量子处理器纳入工作流程至关重要。此前,缺失的关键一环是工作负载管理器。Slurm 26.11版本通过分层资源(HRES)插件改变了这一局面,该插件允许站点通过一个简短、可移植的Lua插件,将QPU作为原生的集群级资源进行调度。
本文将介绍为何QPU此前无法适配Slurm为CPU和GPU设计的调度模型,并阐释解决方案:HRES如何对QPU进行建模,以及Slurm 26.11中的HRES插件新增了哪些中间件团队可以构建的API回调和功能。文章还将介绍QRMI和QDMI等社区驱动的接口如何已经基于这些API构建了开源插件,以及量子生态系统和超算中心的初步采用情况。
构建量子-GPU超算
在超算中心整合QPU,需要的不仅仅是物理安装。QPU必须与现有计算基础设施联网,用户必须能够像请求CPU和GPU一样在作业提交时请求使用它。其使用情况必须被跟踪、监控和核算,并且必须遵守站点特定的策略。换句话说,调度器(即工作负载管理器)必须像管理其他计算资源一样管理QPU。
迄今为止,调度器尚无原生方式对QPU进行建模,因此大多数整合工作都要针对每个新的超算站点或QPU制造商重复定制开发。这种碎片化带来的成本由所有相关方共同承担:
用户在每个站点面对的接口都不相同。
管理员必须维护使升级变得复杂的定制代码。
QPU厂商必须为每个客户重建集成方案,无法实现可移植性。
全球系统集成商(GSI)无法提供可复用的部署方案。
在QPU一侧,QRMI和QDMI等开源项目正在统一此类设备向HPC软件的描述与控制方式。而目前缺失的是超算中心用于将QPU整合进HPC部署中所使用调度器的统一接口。
为何现有Slurm资源模型无法适配QPU
QPU通常是集群范围内的加速器,而非节点的一部分。Slurm通用资源(GRES)是用于GPU的机制,属于单个计算节点。将QPU建模为GRES会将其绑定到某一个节点,因此只有该节点上的作业才能使用它。例如,如果该节点出现故障,QPU将一直无法访问,直到管理员重新配置集群为止。
许多集成方案转而将代表集群范围资源的许可证(license)用于调度,并使用SPANK插件实现用户接口和节点设置。这种方法虽然可行,但存在若干问题:
节点闲置:由于没有许可证机制,SPANK只能在Slurm分配节点之后才生效,因此一个作业可能会在等待QPU的过程中一直占用计算节点却使其处于闲置状态。
双标志请求:没有任何机制阻止作业在不持有许可证的情况下传递设备选项。
多QPU场景:在一个集群上托管多个QPU十分困难,因为它们的SPANK插件会争抢相同的命令行选项。
升级风险:在实际操作中,许多SPANK插件将第三方代码与Slurm内部API绑定,因此每次Slurm升级都存在破坏集成的风险。
缺乏设备感知:Slurm自身无法判断QPU何时处于校准或离线状态,因此会持续启动那些在设备恢复在线之前根本无法使用该设备的作业。
Slurm 26.11中的HRES插件如何实现整合
Slurm 26.11引入了HRES插件接口来弥补这些缺陷,使HPC和量子社区能够在不修改Slurm本身的情况下实现集成。其首个实现hres/lua运行一个简短的Lua脚本。该插件向调度器报告设备健康状态,接受设备选项作为资源请求的一部分,并在作业的每个阶段运行设置和清理代码。
站点在resources.yaml中将QPU描述为集群级HRES,并将其指向该插件。这两个文件分工明确:resources.yaml保存站点特定的细节和策略(如端点以及哪些节点可以访问该设备),由系统管理员掌控;插件则保存设备逻辑,因此社区或QPU厂商可以一次编写,并分发给每一个部署Slurm 26.11的站点。
将QPU建模为分层资源
HRES作为测试版功能已在Slurm 25.05中加入,是许可证机制的演进版本。与许可证类似,HRES是不属于任何单一节点的资源计数。但与许可证不同的是,这个计数与一组特定的节点相关联:即被允许使用该资源的那些节点(见图1)。Slurm 26.11还开始支持对节点与HRES之间关系进行更动态的建模。
HRES在resources.yaml中定义,该文件与slurm.conf位于同一目录下。每个资源拥有一个或多个层(layer),每个层都有名称、节点列表和计数。对于QPU而言,最简单的定义是单个层,覆盖能够访问该设备的节点,计数为1。插件配置块则用于附加Lua脚本及其站点特定设置:
- resource: qpu mode: MODE_1 plugin: type: hres/lua config: - name: path value: /etc/slurm/hres_qpu.lua - name: endpoint # 站点设置,绝非机密信息 value: https://qpu-gateway.example.org maintenance_cycle: 30 # 健康检查间隔秒数 layers: - layer_name: qpu1 nodes: ["node[0001-0123]"] count: 1
有了这样的定义,当某个层与作业分配到的节点存在重叠,且该资源的可用数量充足时,请求即可得到满足。请求该QPU的作业只会在该层所包含的节点上运行。作业通过--resources=qpu:1来请求该资源。
中间件是HPC与QPU之间的边界
在图2所示的模型中,无论是Slurm还是Lua插件都不会直接与QPU通信。第三方访问中间件位于HPC系统与QPU之间,为不同的量子硬件API提供统一接口。因此,中间件正是HPC系统与QPU之间的边界。
Slurm将QPU视为单一的可调度单元,决定该单元是否可用、由哪个作业占用、占用多长时间,以及从哪些节点发起访问。重要的是,Slurm不会编排该单元内部的任何事务:校准、纠错以及设备控制都由QPU及其自身的软件运行时负责。因此,这种方法既适用于当前的含噪声中等规模量子(NISQ)设备,也适用于未来的容错量子系统。
插件在两端之间进行转换:它向中间件查询状态和预约情况,并以Slurm能够理解的方式将结果报告给Slurm——某个层是否被禁用、某个作业是否可以启动,以及发送给作业所在节点的负载数据。
HRES插件API
目前HRES插件的实现方式是运行由社区或设备厂商编写的Lua脚本。
Lua
Lua插件是一个纯文本文件,厂商可以独立于Slurm发布周期对其进行交付和更新。它不链接每个版本都会发生变化的libslurm库API,因此每次Slurm升级都无需重新编译。Lua同样运行速度快,能够干净地嵌入C语言环境,并且已经被Slurm的作业提交和CLI过滤插件所使用。该脚本必须在控制节点和每个节点上位于相同路径,并且由于其大多数函数以root或SlurmUser身份运行,因此只有root用户才应被允许写入该文件。
关键能力包括:
可叠加性:slurmctld会为每个定义了插件的资源创建一个独立的插件上下文。一个集群可以托管多个QPU,甚至多种不同类型的QPU,而不会出现SPANK插件那样的选项冲突问题。
站点配置:端点及其他设置存储在插件的配置列表中,Slurm会将其传递给插件而不对其进行解析。配置信息、作业参数以及任何负载数据都会随作业一同发送到其所在节点,作业的用户可以读取这些信息,这意味着其中任何一项都不能包含机密内容。
用户输入:用户可以在请求中附加“名称=值”形式的参数,例如--resources='qpu:1[shot=1000]'。Slurm会将这些参数传递给插件而不进行解析,从而无需使用第二个命令行标志。
健康检查:每隔maintenance_cycle秒,一个维护回调函数会询问中间件QPU是否就绪,并据此在每个层上设置或清除disable_layer标志,以停止或恢复从该层进行分配。
作业启动与结束:一旦作业被调度且在其节点被分配之前,控制器的prerun回调可以准许或暂缓该作业,从而确保作业在等待QPU时不会一直占用闲置节点。由于prerun持有控制器的作业锁,像预约QPU这样的耗时操作应当放在可选的异步prerun中,Slurm会将其负载数据发送到作业所在节点。如果作业未能启动,revoke回调会撤销该预约;作业结束时,控制器的epilog回调会释放该预约。
故障处理:回调函数可以返回ESLURM_HRES_REMOTE_FAIL,以表明外部服务当前不可用而非存在故障。此时,prerun失败会使作业保持挂起状态,而节点prolog或epilog失败则不会导致节点被标记为排空(drain)。
插件按照表1中的顺序实现这些回调函数,供作业生命周期中依次调用。
大多数集成方案只需要少数几个回调函数。以下代码骨架展示了插件的基本结构:健康检查、在任何节点被分配之前做出的准入决策,以及作业结束时的释放操作。其中的middleware_*调用代表中间件自身客户端库中的函数。
-- 回调名称、参数、字段和返回码均为Slurm的hres/lua API规范 -- middleware_* 调用为中间件客户端库函数的占位符 -- 健康检查:由slurmctld每隔maintenance_cycle秒执行一次 function hres_maintenance(ctx, layers) local ready = middleware_status(ctx.config.endpoint) for _, layer in ipairs(layers) do layer.disable_layer = not ready end return slurm.SUCCESS end -- 准入:作业被调度后、节点分配之前执行 function hres_controller_job_prerun(ctx, job, prep) if not middleware_can_admit(ctx, prep.plugin_args) then -- 已缓存,无需网络请求 return slurm.ESLURM_HRES_REMOTE_FAIL -- 作业保持挂起状态 end return slurm.SUCCESS end -- 释放:在作业节点的epilog执行之后 function hres_controller_job_epilog(ctx, job, prep) middleware_release(ctx.config.endpoint, prep.payload) return slurm.SUCCESS end -- 其余必需的回调函数均返回slurm.SUCCESS
HRES插件的社区集成示例
构建QPU访问中间件的团队通常也负责编写对应的HRES插件。其中两个社区——QRMI和QDMI——已经基于Slurm 26.11的API发布了开源插件。这两种插件都只在QPU可用时才准许作业运行,并且在两者中,层的计数都决定了同时能有多少作业使用同一个QPU。QRMI插件会在每个作业运行前为其获取QPU访问权限;而QDMI插件只负责准入作业,之后每个作业会自行向服务提供商排队提交任务。无论使用哪种插件,运行Slurm 26.11的站点都可以将其集群连接到来自多个服务商的量子计算机。
QRMI:为每个作业获取QPU访问权限
每个HRES资源都以QRMI配置文件中的某个资源命名。在作业运行之前,该插件会使用用户自身的凭证在调度器关键路径之外的单独线程中预约QPU的访问权限,并在作业结束后予以释放。根据后端的不同,这种预约可以是一次性预约或一个会话。现有应用程序无需修改即可运行,因为作业所看到的环境变量与使用QRMI SPANK插件时完全相同。完整的配置文件、插件及容器化测试集群,可访问QRMI HRES插件代码仓库获取。
QDMI:将排队工作交由服务提供商处理
每个HRES资源对应一台设备,并以其QDMI设备ID命名。该插件的维护回调函数会检查设备状态,仅在设备报告自身处于空闲或繁忙状态时才准许作业运行。该插件本身不进行任何预约:每个作业通过QDMI提交其任务,由服务提供商的队列系统负责在设备上进行调度。完整的配置文件和插件可访问MQSC Orchestrator获取。
了解更多量子生态系统中正在集成HRES插件的组织:
Alice & Bob
IBM
IQM
MQSC
Pasqal
Quantinuum
用户作业提交
从用户的角度来看,这两种集成方案在使用体验上基本一致。作业脚本通过其HRES资源名称请求QPU,这与请求节点或GPU的方式相同,并在包含该HRES所分配节点的分区中运行。Slurm会让作业保持等待,直到插件报告QPU可用(在中间件支持的情况下,还需完成预约)。下面的模板适用于这两种集成方案,仅资源名称需要相应更改。
#!/bin/bash #SBATCH --job-name=my-hybrid-job #SBATCH --nodes=4 #SBATCH --time=00:30:00 #SBATCH --resources=<qpu_resource> srun ./my_hybrid_app
开始使用Slurm HRES插件
Slurm 26.11为QPU在调度器中提供了原生的一席之地。HRES将QPU建模为与能够访问它的节点相绑定的集群级资源,而Lua插件则将该资源与管理该设备的中间件连接起来。由于Lua插件在设计上几乎不包含任何站点特定内容,厂商或社区项目可以一次编写、供所有Slurm站点复用,同时管理员仍能掌控自身的策略。
从设计理念上讲,这种方法既适用于当前这一代量子计算机,也适用于未来的容错量子系统,使其成为部署量子设备的超算中心的一项长久之选。
准备好开始了吗?你可以部署QRMI HRES插件或QDMI HRES示例,或将它们作为你自己集成方案的起点。欲了解更多信息,请查阅Slurm 26.11发行说明,并阅读HRES文档及resources.yaml参考手册。
致谢
我们感谢QRMI和QDMI社区基于HRES插件所做的开发工作,以及他们为本文做出的贡献。
