边缘端的AI应用通常需要在有限的算力和功耗预算内运行多个神经网络。NVIDIA深度学习加速器(DLA)平台提供了专用于深度学习推理的硬件。在NVIDIA Jetson AGX Orin上,DLA可执行受支持的神经网络运算,使应用能够将推理工作从GPU上卸载出去。这有助于提升能效,并为应用的其他任务保留GPU算力。
NVIDIA cuDLA是用于管理该加速器执行过程的运行时API。应用程序通过它创建DLA设备、加载已编译的网络、注册内存缓冲区并提交推理任务。cuda.bindings.cudla模块将这些API直接暴露给Python,使开发者无需编写C++代码来管理运行时,即可将DLA执行集成到应用中。
本文将以图像分类为例,介绍Jetson AGX Orin上的完整推理流程。内容简要涵盖安装步骤及将模型编译为DLA可加载文件的过程,随后依次介绍创建设备、加载网络、管理缓冲区、同步执行以及读取输出等执行环节。示例还展示了在单个Python应用中,GPU与DLA阶段如何协同工作。
cuDLA在Python应用中的定位
DLA是一种固定功能加速器。这意味着它能够高效执行卷积、池化等现代神经网络架构中常见的固定运算。相较于GPU,它所支持的层类型较少,但仍覆盖了许多流行神经网络架构中使用的多种层类型。关于何时以及为何使用DLA,可参阅《NVIDIA Jetson Orin深度学习加速器入门指南》。
cuda.bindings.cudla作为CUDA Python项目的一部分,在cuda-bindings 13.3.0版本中首次引入,它是基于Cython生成的轻量级Python层,封装了面向混合模式工作流的cuDLA C++ API。该模块暴露了十三个函数、九种数据类型以及八个枚举,用于支持混合模式工作流——在该模式下,CUDA流负责协调DLA执行与GPU工作。在Jetson Orin上,NVIDIA JetPack提供了底层的libcudla.so运行时。
这些Python绑定将该运行时直接暴露给应用程序,推理过程则在DLA硬件上执行。这一方式对现有的C++工作流形成了补充,使运行时管理和推理编排得以保留在Python中完成。图1展示了cuda.bindings.cudla在整个技术栈中的位置。
本文虽聚焦于Jetson平台,但NVIDIA RTX Spark首次将DLA推理能力带到了主流的Windows AI开发者笔记本电脑上,使cuDLA的应用范围远远超出了嵌入式与机器人领域。cuda.bindings.cudla API在两个平台上完全一致,因此本文中与cuDLA API相关的所有内容同样适用于RTX Spark。
前提条件与安装
如果使用的是运行JetPack的NVIDIA Jetson Orin,libcudla.so会随JetPack一同安装,并可被绑定自动发现。DLA运行时本身无需额外安装——不需要单独的cuDLA SDK,也不需要额外的运行时库。
安装cuDLA Python绑定:
pip install "cuda-bindings>=13.3.0"
JetPack默认的Python版本可能低于所需的最低版本3.10。如有需要,可从deadsnakes PPA安装Python 3.12:
sudo apt update && sudo apt install -y software-properties-common
sudo add-apt-repository -y ppa:deadsnakes/ppa
sudo apt update && sudo apt install -y python3.12 python3.12-venv python3.12-dev
python3.12 -m venv ~/dla-env
~/dla-env/bin/pip install "cuda-bindings>=13.3.0"
只有在需要将训练好的模型编译为DLA可加载文件时,才需要用到TensorRT。若只是运行已有的可加载文件,仅需JetPack自带的libcudla.so即可。
编译DLA可加载文件
DLA可加载文件是由TensorRT的trtexec工具生成的二进制产物,它以DLA硬件可直接执行的格式编码训练好的网络。本编译示例针对的是运行JetPack 7.2.2或更高版本的Jetson AGX Orin,使用TensorRT 11.4.1配合CUDA 13.4 Update 1。以下命令用于生成FP16 CHW16格式的可加载文件,前提是使用具有固定输入维度的FP16类型ONNX模型:
trtexec \
--onnx=your_model_fp16.onnx \
--useDLACore=0 \
--inputIOFormats=chw16 \
--outputIOFormats=chw16 \
--memPoolSize=dlaSRAM:1 \
--saveEngine=model.bin \
--buildDLAStandalone
关键参数说明:
--useDLACore=0 用于指定Orin上的第一个DLA引擎
--buildDLAStandalone 生成的原始DLA可加载文件在推理时无需依赖TensorRT
I/O格式选项用于设定CHW16布局
TensorRT 11会根据模型的张量类型自动确定精度,不再支持--fp16和--int8参数。本示例假设输入维度固定,因此省略了--shapes参数。
以上反映了当前示例所采用的FP16路径以及TensorRT 11的参数变化。
并非所有网络层都兼容DLA,因此通常需要对ONNX计算图进行预处理,裁剪掉与DLA不兼容的头部和尾部层。下一节介绍的Python工作流适用于任何生成的.bin或.nvdla文件。图2展示了一次性构建步骤与设备端运行时之间的划分。
Python工作流
对于CUDA和cuDLA的调用,以下三行导入语句涵盖了所需的全部内容:
import numpy as np
from cuda.bindings import cudla
from cuda.bindings import driver, runtime
cudla是新引入的模块,而driver和runtime是现有的cuda-python绑定,分别对应CUDA驱动和运行时API,在此用于流管理、内存分配以及数据传输。整个流程通过单个CUDA流运行,该流是混合模式下DLA与GPU工作协同的关键节点。
步骤1:初始化CUDA并创建DLA设备
cudla.Mode.CUDA_DLA用于选择混合模式,在此模式下,DLA任务通过CUDA流提交。这使得GPU-DLA流水线成为可能:预处理内核、DLA推理以及后处理内核均可排入同一流中,并按顺序执行。
driver.cuInit(0)
runtime.cudaSetDevice(0)
cudla_device = cudla.create_device(0, int(cudla.Mode.CUDA_DLA))
当前版本不支持独立模式(该模式需要NvSci缓冲区和同步原语)。如果请求该模式,create_device会抛出CudlaError(ErrorUnsupportedOperation)异常。
步骤2:加载可加载文件
将可加载文件作为Python字节对象直接传递给module_load_from_memory。无需文件路径或文件系统句柄——只需原始字节数据,这同样便于从内存映射文件、嵌入式资源或网络流中加载。
with open("model.bin", "rb") as f:
loadable_data = f.read()
module_handle = cudla.module_load_from_memory(
cudla_device, loadable_data, len(loadable_data), 0
)
步骤3:检查已加载的模块
在分配任何内存之前,先查询模块以确切了解其所需的张量信息:
num_inputs = cudla.module_get_attributes(
module_handle, int(cudla.ModuleAttributeType.NUM_INPUT_TENSORS)
)
num_outputs = cudla.module_get_attributes(
module_handle, int(cudla.ModuleAttributeType.NUM_OUTPUT_TENSORS)
)
input_descs = cudla.module_get_attributes(
module_handle, int(cudla.ModuleAttributeType.INPUT_TENSOR_DESCRIPTORS)
)
output_descs = cudla.module_get_attributes(
module_handle, int(cudla.ModuleAttributeType.OUTPUT_TENSOR_DESCRIPTORS)
)
每个描述符都是一个cudla.ModuleTensorDescriptor对象,包含缓冲区大小(size_)、张量形状(n、c、h、w)、名称、数据格式以及步幅等属性。此后所有的内存分配调用都依据desc.size_进行,应用程序中不存在任何硬编码的尺寸值。正是这一检查步骤使整个工作流具备了模型无关性:无论网络架构如何,同一套代码路径都能处理任何可加载文件。
步骤4:分配GPU内存
input_gpu = runtime.cudaMalloc(input_descs[0].size_)[1]
output_gpu = runtime.cudaMalloc(output_descs[0].size_)[1]
CUDA驱动和运行时调用会返回一个元组,其第一个元素为状态码。完整示例中会用辅助函数包装每一个此类调用,用以检查返回状态并在失败时抛出异常——此处的代码片段为了便于阅读而省略了这部分,但在生产环境代码中错误检查是必不可少的。对于具有多个输入或输出的模型,需遍历input_descs和output_descs,为每个张量分配一个缓冲区。每个描述符的size_字段给出了确切的字节数。
步骤5:向cuDLA注册GPU缓冲区
这是cuDLA特有的步骤。GPU缓冲区必须先在DLA设备上完成注册,才能出现在任务中。注册操作会返回一个DLA侧的句柄,供硬件访问该缓冲区:
input_registered = cudla.mem_register(
cudla_device, int(input_gpu), input_descs[0].size_, 0
)
output_registered = cudla.mem_register(
cudla_device, int(output_gpu), output_descs[0].size_, 0
)
int()强制类型转换用于从CUDA内存对象中提取原始指针。cuda.bindings返回的是不透明的句柄对象,而int()是将其传递给期望指针参数的C级API的方式。
步骤6:准备输入数据并拷贝至GPU
预处理——包括数值归一化、匹配预期的张量步幅和数据格式——是脚本中唯一与具体模型相关的代码。张量描述符中的stride、data_format和data_type字段准确地说明了数据应如何排布。对于多输入模型,需对每个输入缓冲区重复拷贝操作。除此之外,此步骤前后的所有代码无论加载文件内部是何种网络都保持一致。
stream = driver.cuStreamCreate(driver.CUstream_flags.CU_STREAM_NON_BLOCKING)[1]
将输入数据预处理为numpy数组input_cpu # 使其布局匹配input_descs[0]中描述的张量布局 ...
runtime.cudaMemcpyAsync(
input_gpu, input_cpu, input_descs[0].size_,
runtime.cudaMemcpyKind.cudaMemcpyHostToDevice, stream
)
runtime.cudaMemsetAsync(output_gpu, 0, output_descs[0].size_, stream)
步骤7:构建任务并提交
cudla.Task封装了cudlaTask这一C结构体。将Python列表赋值给task.input_tensor或task.output_tensor会自动更新对应的计数字段。submit_task会将推理任务加入CUDA流队列,使其与同一流上前后的GPU内核保持顺序执行。
task = cudla.Task()
task.module_handle = module_handle
task.input_tensor = [int(input_registered)]
task.output_tensor = [int(output_registered)]
task.wait_events = 0
task.signal_events = 0
cudla.submit_task(cudla_device, int(task), 1, int(stream), 0)
步骤8:同步并读回结果
第一次同步用于等待DLA任务完成。将output_cpu分配为与描述符字节大小一致的numpy数组,为设备到主机的拷贝提供目标缓冲区;第二次同步则确保数据传输完成后再进行读取。
runtime.cudaStreamSynchronize(stream)
output_cpu = np.empty(output_descs[0].size_, dtype=np.uint8)
runtime.cudaMemcpyAsync(
output_cpu, output_gpu, output_descs[0].size_,
runtime.cudaMemcpyKind.cudaMemcpyDeviceToHost, stream
)
runtime.cudaStreamSynchronize(stream)
步骤9:清理资源
每个创建的句柄都有对应的销毁调用——包括DLA设备、模块、已注册的内存句柄、GPU内存分配以及流。
cudla.mem_unregister(cudla_device, input_registered)
cudla.mem_unregister(cudla_device, output_registered)
cudla.module_unload(module_handle, 0)
cudla.destroy_device(cudla_device)
runtime.cudaFree(input_gpu)
runtime.cudaFree(output_gpu)
driver.cuStreamDestroy(stream)
错误处理原生支持Python方式
所有cuDLA API调用在失败时都会抛出cudla.CudlaError异常,而非返回错误码。该异常同时携带数值状态码及其可读名称:
try:
device = cudla.create_device(0, int(cudla.Mode.CUDA_DLA))
except cudla.CudlaError as e:
print(e) # 例如 "ErrorInvalidDevice (8)"
DLA工作流能够很自然地融入标准的Python异常处理机制中。建议使用try/finally进行资源清理。DLA设备句柄属于不透明的C资源,不会在垃圾回收时自动释放。可以根据e.status对照cudla.Status枚举值进行分支处理,以应对从参数错误(ErrorInvalidParam)到硬件级故障(ErrorDlaErrEngineTimeout)等各种具体的失败情形。
最终输出结果是什么?
当cudaStreamSynchronize返回后,output_cpu中保存的是网络的原始DLA输出,以numpy数组形式呈现,可供任意标准Python后处理流程使用。具体如何处理该数据完全取决于模型本身,可能是类别得分、特征图,或是边界框坐标。cuDLA Python层负责将字节数据交给开发者,而对其进行解读的方式,与在任何Python推理流水线中编写的后处理代码并无二致,并且可以直接与NumPy、PyTorch或OpenCV衔接,无需离开Python进程。
举一个具体的例子:对于编译为DLA可加载文件的ResNet-50骨干网络,示例输出大致如下:
cuDLA device created: 0x55a1b2c30000
Module loaded: 0x55a5b6c70000
numInputTensors = 1
numOutputTensors = 1
Input 0: size=..., shape=(1,64,56,56), name=resnetv17_pool0_fwd
Output 0: size=..., shape=(1,2048,7,7), name=resnetv17_stage4_activation2
SUBMIT IS DONE (task queued; completion pending)
Output tensor written to host
上述示例输出给出了可加载文件所需的确切缓冲区大小和张量名称,预处理与后处理代码可以直接读取这些信息,而无需进行硬编码。同步完成后,output_cpu是一个扁平的numpy数组;可以利用output_descs[0]中的data_type、data_format、stride和shape字段对其进行解读或重塑,并传递给流水线所需的任意下游阶段。
从create_device到cudaStreamSynchronize的整个工作流程,无论网络架构如何都保持一致,只有张量名称、大小以及后处理方式会随之变化。
结语
cuda.bindings.cudla模块已随cuda-bindings 13.3.0版本发布。安装该模块、使用trtexec编译出可加载文件,按照上述九个步骤,便可在同一块开发板上直接通过Python从.bin文件得到DLA推理结果。
pip install "cuda-bindings>=13.3.0"
针对枚举、POD类型及API接口的单元测试已发布在NVIDIA/cuda-python的GitHub仓库中的cuda_bindings/tests/cudla/目录下,且无需DLA硬件即可完整运行——不依赖libcudla.so:
pytest cuda_bindings/tests/cudla/ -v
开始在Python中使用cuDLA
如需完整的端到端推理示例、样例输入,以及用于本地准备模型并编译DLA可加载文件的脚本,请参阅深度学习加速器示例相关资料。
如需了解更多内容,请访问NVIDIA/cuda-python的GitHub仓库。
