推理浪潮来袭,AI网络如何应对新一轮基础设施挑战
随着AI应用加速普及,推理工作负载正成为网络基础设施的新核心压力。与训练阶段的集中式算力需求不同,推理流量具有全球分布、持续增长的特点。多模态模型、推理链扩展与上下文窗口增大,使单次交互的数据量大幅提升。网络运营商正通过...
随着AI应用加速普及,推理工作负载正成为网络基础设施的新核心压力。与训练阶段的集中式算力需求不同,推理流量具有全球分布、持续增长的特点。多模态模型、推理链扩展与上下文窗口增大,使单次交互的数据量大幅提升。网络运营商正通过...
AI推理平台初创公司Baseten正寻求融资15亿美元,参与方包括Altimeter Capital、Conviction、Spark Capital等机构,部分投资者对应估值为110亿美元,另一部分则为130亿美元。B...
云基础设施提供商Vultr宣布与HPE和英伟达合作,部署新一代AI基础设施。双方将采用英伟达GB300 NVL72系统、Spectrum-X以太网络及HPE液冷技术。随着企业AI需求从实验阶段转向生产推理工作负载,Vul...
AMD正围绕企业市场构建全新战略,将CPU与GPU业务深度融合。戴尔PowerEdge XE7745和R7725服务器将支持AMD新款Instinct MI350P PCIe GPU,使企业无需大规模改造现有数据中心即可...
HPE扩展了ProLiant服务器家族,推出三款专为边缘环境设计的新产品,包括基于Intel Xeon 6处理器的EL2000机箱(支持EL220/EL240 Gen12服务器)和搭载AMD EPYC 8005处理器的D...
HPE扩展了ProLiant边缘计算产品组合,推出ProLiant Compute EL2000机箱及两款Gen12服务器,并升级HPE ProLiant DL145 Gen11服务器。新产品基于Intel Xeon 6...
英特尔CEO Lip-Bu Tan在2026年Q1财报电话会议上表示,AI浪潮正推动芯片市场总规模迈向万亿美元,而CPU正重新成为AI时代的核心基础。随着推理与智能体工作负载向边缘设备和机器人延伸,英特尔认为CPU将迎来...
随着AI从简单文本查询发展为多模态交互,AI推理正成为未来网络需求的主要驱动力。与高度本地化的AI训练不同,推理在各种应用、企业和消费设备中无处不在。多模态AI模型处理文本、图像、音频和视频的能力,以及推理模型的复杂化,...
联想在英伟达GTC大会上发布混合AI优势平台扩展版本,提供端到端AI推理解决方案。新产品线涵盖客户端设备到企业基础设施和大规模AI云部署,旨在加速AI采用并减少首令牌时间。联想将英伟达AI企业软件与自身全栈混合AI平台结...
英特尔与AI提供商SambaNova宣布建立多年合作伙伴关系,支持企业高效AI推理能力。SambaNova获得3.5亿美元E轮融资,英特尔资本参与投资。合作将推出基于英特尔至强处理器的AI云服务,支持大语言模型和多模态模...
基于与英伟达的持续合作,红帽承诺为英伟达新发布的Vera Rubin平台提供"零日"支持。该企业开源软件公司旨在缩小英伟达硬件平台发布与其支持软件堆栈正式发布之间的时间差。Vera Rubin平台专为降低AI推理成本而设...
高通发布两款全新AI加速器芯片AI200和AI250,正式进军蓬勃发展的数据中心市场,直接挑战GPU巨头英伟达的AI市场主导地位。这家此前专注于移动和无线设备芯片的半导体公司表示,新芯片将通过全新内存架构提供机架级性能,...
d-Matrix在AI基础设施峰会上发布JetStream IO加速卡,这款定制PCI卡可提供400Gbps带宽和2微秒延迟。该产品基于FPGA技术,可与去年发布的Corsair推理加速平台配合使用,支持在服务器内部和多...
AI推理初创公司Baseten完成1.5亿美元D轮融资,估值达21.5亿美元。该轮融资由BOND领投,谷歌母公司Alphabet旗下CapitalG等多家知名机构参投。Baseten提供AI推理加速平台,声称性能比竞品快...
GridGain软件通过集群服务器实现内存共享,使内存密集型应用能在单独内存不足的服务器上运行。该技术在AI推理领域日益重要,因为所需令牌数量不断增长。软件提供跨x86服务器集群的分布式内存空间,具备大规模并行架构。Gr...
网络巨头HPE Aruba推出了适用于零售的网络产品组合,其中包括最现代的连接技术例如Wi-Fi 7、私有5G和边缘计算。该产品组合可以将接入点、全新的蜂窝桥、紧凑型交换机与HPE旗舰网络管理和AI平台HPE Aruba...
在英伟达,负责引导研究朝着应用、而非纯学术项目前进的,是斯坦福大学计算机科学与电气工程兼职教授,公司首席科学家、高级研究副总裁以及GPU、网络与CPU芯片设计师Bill Dally。
深度学习深刻改变了计算机应用程序的功能与形态,为了加速深度学习模型的推理,NVIDIA 英伟达推出了高性能深度学习推理优化器TensorRT。