2026-10-27
利用全局性能调优器扩展NVIDIA TensorRT性能优化：超越单一构建路径（第二部分）
NVIDIA TensorRT 11.1推出的全局性能调优器（Global Performance Tuner）通过将编译器调度策略表示为可搜索的构建路由，实现自动化、精度感知的端到端性能调优。该功能提供超200个可调节...
2026-10-27
借助全局性能调优器，将NVIDIA TensorRT性能优化扩展到多条构建路径（第一部分）
NVIDIA TensorRT 11.1 新增 Global Performance Tuner，通过可定制化构建路由与精度感知调优，自动为不同模型选择最优编译策略，突破单一启发式调度方案的性能上限。
2026-10-08
AI原生设计之道：TensorRT Model Connect的开发启示
NVIDIA发布开源项目TensorRT Model Connect，提供基于TensorRT的C++ AI模型参考实现，已覆盖128个模型家族，支持文本、视觉、音频等多类任务，旨在降低开发者使用NVIDIA推理栈的门槛...
2026-09-22
通过NVIDIA Dynamo-Triton中的TensorRT多设备集成简化跨GPU模型服务
NVIDIA Dynamo-Triton 26.07新增TensorRT多设备推理能力，单个Triton实例可调度最多8块GPU协同执行，以Cosmos 3 Nano视频生成为例，端到端延迟从156.6秒降至34.2秒，...
2026-07-23
用Python或C++让NVIDIA TensorRT引擎构建过程可观测、可取消
NVIDIA TensorRT引擎构建耗时从数秒到数分钟不等，开发者往往面临进度不透明、无法中途取消的困境。本文介绍如何通过TensorRT提供的IProgressMonitor API，在Python和C++中实现最小...
2022-05-31
TAO系列13-执行部署的TensorRT加速引擎
很多开发人员在转换完TensorRT加速引擎之后，最后准备调用起来执行推理任务的时候，就遇到一些障碍。这个环节是需要开发人员自行撰写相关代码，去执行读入数据（前处理）、执行推理、显示结果（后处理）等工作。