IBM与Groq宣布战略合作,将IBM的watsonx Orchestrate与Groq的硬件加速推理技术相结合,加速企业级AI智能体部署。合作将为IBM客户提供通过IBM平台访问Groq语言处理单元的能力,旨在降低大规模低延迟AI成本。Groq的定制LPU架构在推理速度和成本效率方面比传统GPU高出五倍以上。两家公司还将扩展对虚拟大语言模型的支持。
极智视界分享了YOLO11目标检测算法的训练与TensorRT部署实战。项目基于coco_minitrain_10k数据集进行训练,使用py TensorRT加速推理。包括数据集整备、训练环境搭建、推理测试、开启训练和算法部署。部署过程涉及导出ONNX模型、安装TensorRT环境、生成trt模型引擎文件和执行trt推理。