在人工智能领域,"Token"是AI模型处理或生成的基本数据单位(类似于单词的一部分)。AI基础设施只有在为用户持续生成Token时才能产生收入。据RCRTech出版人杰夫·穆奇(Jeff Mucci)介绍,他最近参加了在拉斯维加斯举行的Yotta大会,"响应Token时间"这一框架正变得愈发关键,用于衡量从购买AI硬件到硬件完全安装、配置并开始实际生成Token(AI数据)和产生收入这一整个过程所耗费的总时间。

在他撰写的文章《AI基础设施经济学:新型云服务商竞相缩短响应Token时间》中,穆奇探讨了新型云服务商如何通过比AI实验室自行搭建计算能力更快的方式,来缩短响应Token时间。通过购买芯片、租用数据中心、搭建网络并承担相关风险,新型云服务商帮助AI实验室租用即用型算力,同时也让AI实验室免除了通常在建设AI基础设施过程中会遇到的物流、资金和技术方面的延误问题。

欢迎查看这篇文章,以及下方其他"热门资讯"。

苏珊娜·施瓦茨

技术编辑

RCRTech

分析视角:AT&T首席执行官约翰·斯坦基表示,小型地面无线电设备的成本将与移动网络相当,但埃隆·马斯克认为带宽和覆盖范围更为重要。直连卫星系统将如何改变人们对边缘计算的看法?

施耐德电气收购PTC:该交易将扩大施耐德在工业软件、人工智能和数字化能力方面的布局,PTC专注于CAD、产品生命周期管理、应用生命周期管理和服务生命周期管理领域。

联邦土地上的数据中心:随着特朗普政府正在考虑批准数个位于土地管理局管辖土地上的数据中心开发项目,荒野协会呼吁对联邦土地项目实施暂停。

西班牙的数据中心热潮:快速审批通道已将人口稀少的阿拉贡地区变成一个价值700亿美元的数据中心聚集地,QTS、亚马逊云科技和微软正利用当地丰富的风能和太阳能资源。

十大标志性数据中心交易:全球数据中心枢纽盘点了近几个月排名最高的交易,例如AI实验室正成为关键的"锚定租户",Anthropic和OpenAI参与了其中一些规模最大的交易。

AI重塑电力需求:麦肯锡的数据显示,数据中心是经合组织电力市场中增长最快的负荷细分领域,按照"持续增长"基准情景预测,到2030年数据中心电力需求的年均复合增长率将达到24%。

DayOne提交IPO申请:尽管近期营收录得净亏损,总部位于新加坡的DayOne数据中心本周仍提交了美国IPO申请,债券收益率飙升和利率高企促使其他多家大型企业推迟了上市计划。

报告:非地面网络(NTN)发展态势——标准演进与服务扩展

数据中心世界大会推动产业界与教育机构之间的"研讨会"协作

贝莱德与微软募集125亿美元私募资金

储能系统何时最具优势?

印度AI影响力峰会最后一天

Q&A

Q1:什么是"响应Token时间"?

A:响应Token时间指的是从购买AI硬件到硬件完全安装、配置并开始实际生成Token(AI数据)和产生收入这一整个过程所耗费的总时间,这是衡量AI基础设施效率的关键指标。

Q2:新型云服务商如何帮助AI实验室缩短响应Token时间?

A:新型云服务商通过购买芯片、租用数据中心、搭建网络并承担相关风险,帮助AI实验室租用即用型算力,从而免除了AI实验室自行搭建基础设施时通常会遇到的物流、资金和技术延误问题。

Q3:西班牙阿拉贡地区的数据中心热潮是如何形成的?

A:阿拉贡地区凭借快速审批通道以及当地丰富的风能和太阳能资源,吸引了QTS、亚马逊云科技和微软等公司投资,形成了一个价值700亿美元的数据中心聚集地。

RCR Tech - AI INFRASTRUCTURE