推理加速 关键字列表
英伟达GTC 2026发布Vera Rubin AI平台,目标2027年营收万亿美元

英伟达GTC 2026发布Vera Rubin AI平台,目标2027年营收万亿美元

英伟达在GTC 2026大会上发布Vera Rubin AI基础设施平台,这是一个垂直整合的五机架系统,旨在为AI的各个阶段提供动力,包括下一波代理推理。CEO黄仁勋将营收预期从2026年的5000亿美元上调至2027年的1万亿美元。该平台集成了英伟达收购Groq后的低延迟处理器,结合了GPU、CPU和专用推理加速器,为代理AI工作负载进行优化。英伟达还预览了将AI基础设施扩展到轨道的计划。

d-Matrix与Gimlet Labs合作提升智能体AI推理性能

d-Matrix与Gimlet Labs合作提升智能体AI推理性能

AI基础设施初创公司d-Matrix与应用AI企业Gimlet Labs合作,将专用推理硬件引入AI云环境,旨在提升实时代理工作负载的性能和能效。Gimlet计划将d-Matrix Corsair加速器集成到Gimlet Cloud中,与传统GPU协同工作。在这种混合架构中,GPU处理推理的计算密集型阶段,而内存和延迟敏感操作则路由至Corsair。

OpenAI与Cerebras达成超100亿美元AI推理芯片合作协议

OpenAI与Cerebras达成超100亿美元AI推理芯片合作协议

OpenAI宣布将部署750兆瓦的Cerebras晶圆级加速器来增强推理服务,合作协议价值超过100亿美元,将持续到2028年。Cerebras的WSE-3芯片拥有44GB SRAM和21PB/s的内存带宽,相比英伟达GPU快近1000倍,可实现每秒3098个令牌的推理性能。该合作旨在提升AI响应速度,但SRAM空间效率限制使大模型需要多芯片并行处理。

IBM与英伟达竞争对手Groq达成合作,加速企业AI部署

IBM与英伟达竞争对手Groq达成合作,加速企业AI部署

IBM与Groq宣布战略合作,将IBM的watsonx Orchestrate与Groq的硬件加速推理技术相结合,加速企业级AI智能体部署。合作将为IBM客户提供通过IBM平台访问Groq语言处理单元的能力,旨在降低大规模低延迟AI成本。Groq的定制LPU架构在推理速度和成本效率方面比传统GPU高出五倍以上。两家公司还将扩展对虚拟大语言模型的支持。

极智项目 | YOLO11目标检测算法训练+TensorRT部署实战

极智项目 | YOLO11目标检测算法训练+TensorRT部署实战

极智视界分享了YOLO11目标检测算法的训练与TensorRT部署实战。项目基于coco_minitrain_10k数据集进行训练,使用py TensorRT加速推理。包括数据集整备、训练环境搭建、推理测试、开启训练和算法部署。部署过程涉及导出ONNX模型、安装TensorRT环境、生成trt模型引擎文件和执行trt推理。