编者按:欢迎阅读Tech Bytes栏目,这是CIO Dive的常设专栏,专为CIO及其他高级IT领导者汇总相关产品与行业资讯。
AI系统正在快速消耗算力资源,给现有基础设施带来压力,并推动了大规模扩建交易的产生。对于CIO而言,这种影响正以成本上升和内存短缺的形式显现出来。
本周,包括美国银行、花旗、摩根士丹利和黑石在内的一批金融机构公布了一项计划,将投入630亿美元资金,用于资助前沿模型开发商Anthropic扩建AI算力基础设施。这些金融合作方将购买博通的XPU AI加速器及网络产品,并从2027年开始将其租赁给Anthropic。
美国银行联席总裁Jim DeMare在新闻稿中表示:"要负责任地推进AI发展,需要将宏大的技术规划转化为切实可行的算力基础设施。"
据Gartner预测,这股争相为AI算力提供融资的热潮正推动全球IT支出增长,到2027年将达到7.35万亿美元,原因是各机构都在寻求"实现AI部署的规模化"。目前,算力供应已经超过了企业需求,各厂商纷纷在模型和Token定价上提供优惠以争夺用户。
然而,Gartner杰出副总裁分析师John-David Lovelock此前接受CIO Dive采访时表示,账单最终还是会落到CIO头上。
他说:"尽管CIO们现在已经在担忧AI的成本问题,但这个价格不会一直这么低。"
随着算力成本即将上涨,企业开始更加审慎地思考AI模型的使用策略,这其中也包括为Anthropic这笔巨额交易提供资金的金融机构。美国银行的AI路由层Orchestra采用一个小型分类模型,将查询请求发送至最具成本效益的选项,从而帮助银行避免在处理基础查询时使用成本更高的前沿模型。
CIO面临的另一项财务挑战在于内存芯片短缺,以及由AI基础设施建设所引发的价格上涨。PC、笔记本电脑、平板电脑和手机制造商正将不断上涨的内存价格转嫁到终端设备上,Lovelock表示这种情况至少将持续到2030年。
以下是CIO值得关注的其他几项重要动态:
英伟达与Meta正合作提升Meta旗下Muse模型及智能体的推理与训练性能,这些产品均基于英伟达的基础设施构建。根据周二公布的新闻稿,作为此次合作的一部分,英伟达还计划向Meta的股权发行投资30亿美元,以支持Meta的AI基础设施发展规划。
此次针对个人AI智能体Muse的合作升级,正值金融机构应对第三方AI智能体接入其系统所带来的安全风险之际。包括摩根大通等多家银行近期已以安全隐患为由,决定封锁相关智能体接入。
据周三公布的消息,前沿模型提供商OpenAI正将甲骨文的应用程序和数据接入ChatGPT。此举是在双方现有合作关系基础上的进一步拓展,此前OpenAI的模型已为甲骨文的新产品和服务提供支持。双方的目标是"利用AI运行核心业务"。
新闻稿中写道:"我们的目标是让甲骨文软件更易于发现、使用和管理,实现更简化的管理流程、统一登录,并根据每个组织自身的权限与审批设置来管控访问权限。"
周三,IBM公布了一系列针对其AI运营模式的调整方案,旨在为IT和安全团队提供对AI智能体更好的控制权、授权管理及问责机制。
该公司将HashiCorp Vault——一款用于管理应用程序访问业务系统所需密钥和凭证的数据保护工具——扩展应用至AI智能体领域。IBM还扩展了HashiCorp Vault的智能体身份验证与凭证控制功能,使IT团队能够在检测到未经授权的操作时实时制止智能体的行为。
Salesforce旗下的Slack于8月推出了Slack Code服务,使包括GitHub在内的合作伙伴能够在不离开Slack频道的情况下开发智能体。本周,Slack正式全面开放了Slack Code API,允许开发者让智能体在Slack中创建频道、添加相关人员并发布更新内容。
GitHub资深工程师Tim Hunter在新闻稿中表示:"我们正将大家已经熟悉的GitHub Copilot交互方式,整合到你用于完成其他所有工作的同一空间中。能够在Slack内部直接查看智能体的工作成果并对其进行引导,这将是一项颠覆性的变革。"
