140万亿。
这是国家数据局公布的数字:截至今年3月,国内日均Token调用量已超过140万亿,比2024年初增长了一千多倍。
Token是大模型处理信息的基本单位,也是大模型服务的计费单位。调用量增长一千倍,说明大模型消耗算力的方式变了。过去,行业的算力投入主要集中在训练任务上,而如今,Agent开始进入企业的生产环境,越来越多的算力用于推理,也就是让模型每天响应海量请求。区别在于,训练任务决定模型能力的上限,推理任务决定每一次调用的成本。
一个判断是,产业的重心,正在从“训练出好模型”转向“以可持续的成本规模化供给Token”。但这并不是最终目标;企业真正需要的是可按需调用、稳定运行并持续服务业务的模型能力。
范式智能(6682.HK)是这一方向上较早加大投入的企业之一。公司今年4月配售募资约15.7亿港元,其中八成投向异构GPU算力。随后又以4亿元人民币采购GPU服务器。截至今年6月末公司在手授信额度约人民币66亿元,多元化、低成本的融资组合为算力扩张提供了有力支撑。上半年财报显示,其API业务收入同比增长860.8%。
然而,市场长期把范式智能当作企业级AI软件公司。一家软件公司为什么要买GPU、自建“Token工厂”?带着这个问题,至顶网与范式智能首席战略官、资本市场副总裁曾慈雯Maryann及其技术团队进行了深度交流。
对于这个问题,范式智能(第四范式)首席战略官兼资本市场副总裁曾慈雯给出的回答是, Token工厂的核心不是简单持有多少GPU,而是能否通过调度、适配和推理优化,将算力持续转化为稳定、具备成本效率的Token产能,并进一步支撑模型能力的规模化服务。
在范式智能看来,企业把模型部署到生产环境之后,衡量AI的标准就变了,不再只看模型能力,还要看模型能否以合适的成本被稳定、持续地调用。Token工厂解决的是底层生产效率问题,而建立在其上的MaaS (Models as a Service),则进一步将Token产能与多元模型能力封装为企业可调用、可管理、可持续交付的模型服务。
因此,范式智能的工作并不是简单从软件走向算力,而是将软件和工程能力延伸到Token生产,并进一步通过MaaS实现模型能力的服务化交付。 
01 加码算力:范式智能的价值迁徙
事实上,范式智能加大算力投入,起因是客户需求的变化。
今年上半年,范式智能客户的Token调用量同比增长约620%,API业务收入达到4.64亿元;同期,AI Platform业务收入30.88亿元,同比增长30%。
具体而言,这两项业务面向两类客户。API业务的客户不自建推理环境,通过接口调用模型,按Token付费。AI Platform业务的客户则把算力和模型部署在自己的机房里,需要私有化部署和异构算力管理。
前者增长,说明企业对Token服务的需求在扩大;后者增长,说明企业对AI基础设施的需求也在扩大。
进一步来看,需求扩大,算力就要跟上。范式智能今年4月的配售募资和随后的GPU服务器采购,就是为承接这部分需求做的准备。这批GPU不会只作为固定资产放在机房里,而是由范式智能用自己的模型适配和调度优化能力来运营,以Token服务的形式交付给客户,并按调用量计费。
不过,自持算力依旧属于重资产投入,GPU一旦利用率不足,折旧和运维成本就会侵蚀收益。因此,范式智能坚持按需建设,先有业务需求,再建算力。同时,通过异构调度和推理优化,提高现有算力的产出,并根据业务增长,动态调整自有算力和外部算力的比例。
可以看出,投资的风险能否控制住,取决于算力的使用效率;而使用效率的高低,又取决于调度、适配和运维这些软件与工程能力。
而这正是范式智能多年积累的长项。
但外界熟悉的,是范式智能的软件业务,很少有人把它和算力基础设施联系起来。投资银行麦格理近期首次发布关于范式智能的研究报告时就指出,市场仍主要把它当作一家传统的企业AI软件公司。
对此,曾慈雯的解释是,范式智能的产品形态随时代发展经历了演变,但要解决的问题本质一直没有改变,就是如何让AI从一项技术,变成企业能持续使用、能创造价值的生产力。
整体上看,范式智能的业务经历了两个阶段。
早期,范式智能主要聚焦机器学习和决策类AI,帮助企业改善预测和决策,同时积累了对企业业务流程和生产环境的理解。大模型出现后,企业开始用AI生成内容、执行复杂任务、让智能体协同工作,范式智能的业务也随之扩展到模型服务、AI平台和智能体应用。
不过,模型能力变强,并没有让企业更容易用好AI。算力怎么管、模型怎么适配、推理怎么运行、Token怎么稳定交付、AI怎么嵌入业务流程,每一个环节都需要专门解决。
为此,范式智能用AI Platform、API和Agentic AI三大业务板块,把从底层算力到业务应用的链路逐段打通。
众所周知,Token工厂负责的就是“把算力变成Token”这一段。所以,建设Token工厂并不是范式智能的一次“转身”,而是原有能力的延伸。在曾慈雯看来,公司由“第四范式”更名为“范式智能”,英文名改为Phancy.ai ,也是希望外界从完整的产品体系来理解它,而不是只看某一个产品。
对于今天的定位,曾慈雯用一句话概括:“一家帮助企业高效驾驭异构算力、连接多元模型,并将AI能力转化为实际生产力的全栈AI基础设施平台。”
之所以强调“全栈”,是因为企业落地AI时,问题往往出在不同环节的衔接处。买了算力,不会调优模型;有了模型,又做不出能落地的场景。企业自己把这些环节拼接起来,成本高、周期长。全栈定位,正是被这样的客户需求“倒逼”出来的。
按照这一定位,范式智能打造的能力可分为三层,即算力调度、模型适配和Agent交付。前两层决定GPU能否高效地变成Token,第三层决定Token能否进入企业的业务流程。
02 从GPU到Token,中间隔着三道工序
先看GPU如何转化为Token。这一过程分为三道工序,即算力调度、模型适配与推理优化。
作为第一道工序,算力调度位于整个链路的最底层,直接决定GPU的资源利用率。在范式智能技术团队看来,这一层的难点在于大规模集群的精细化运营,即在千卡乃至万卡级集群中,实现训练与推理任务混合部署、GPU与NPU等异构芯片统一调度、故障秒级自愈以及资源弹性伸缩。
据范式智能技术团队介绍,这些能力来自多年运营大规模集群的实践积累,背后是海量的业务负载数据和调优经验。
其中,异构算力的虚拟化与调度能力,集中体现在源自范式智能的开源项目HAMi上。HAMi脱胎于范式智能内部的vGPU实践。在推理场景中,大量任务对显存和算力的需求低于单块GPU的容量,若以整卡为单位分配,剩余资源将长期闲置。vGPU技术通过将一块物理GPU按显存和算力切分为多个虚拟实例,分配给不同任务并实现资源隔离,从而提升单卡利用率。
在此基础上,HAMi以Kubernetes(业内主流的容器编排平台)为运行底座,将vGPU能力延伸至NVIDIA、昇腾、寒武纪、海光、昆仑芯、摩尔线程、沐曦等多家厂商的加速器,使不同架构的GPU能够纳入同一资源池统一调度。
据了解,HAMi是唯一被云原生计算基金会(CNCF)纳入“孵化”级别的GPU虚拟化与异构算力调度开源项目,目前已在金融、制造、能源、电商等众多领域的头部企业中落地。

HAMi架构:向上承接AI负载与Kubernetes调度生态,向下纳管多家厂商的异构加速器
(截取自HAMi官方GitHub仓库 github.com/Project-HAMi/HAMi)

使用HAMi前后对比:两组任务原本占用4块GPU,共享隔离后仅需2块
(截取自HAMi官方GitHub仓库)
在多芯片混合部署的环境中,除了调度本身,软件生态兼容同样是一项关键工作。不同厂商的GPU各有其底层架构、驱动与软件接口体系,部分功能的实现方式也不尽相同。
因此,HAMi一方面在软件层面针对不同芯片进行适配优化,另一方面与硬件厂商协同推进底层能力的对接。这类工作需要开源社区与产业链上下游长期协作。
除兼容性之外,企业生产环境对易用性、管理能力与业务稳定性也提出了更高要求。基于此,范式智能在HAMi之外推出商业版Rise vGPU。
二者定位有所区分:HAMi面向开发者与生态社区,属于基础设施层组件;Rise vGPU则以HAMi为核心虚拟化组件,补充企业级能力。
例如,Rise vGPU支持显存超售,当GPU显存不足时,可“透明”调用CPU侧内存扩展可用显存,无需修改业务代码,同时提供资源管理、用户管理及监控等集群管理功能。
今年上半年,Rise vGPU付费客户数量同比增长约5倍。
算力完成统一调度之后,第二道工序是模型适配,即让模型能够在不同芯片上稳定运行。这一层的难点在于标准的统一。
当前,开源与闭源模型数以百计,框架、参数与部署方式各不相同,范式智能需要将其纳入统一的接口、计费、权限与监控体系,再针对不同场景进行性能优化。据了解,这套标准源于服务上千家客户业务场景、适配十余种主流模型的长期积累。
芯片类型越多,模型适配的工作量也越大。不同芯片平台的软件栈各不相同,模型每迁移至一类新的芯片平台,往往都需要重新适配。针对这一问题,范式智能于2025年9月上线信创模盒ModelHub XC,旨在降低模型在不同硬件环境下的适配成本,提升国产算力的使用效率。
截至目前,ModelHub XC已积累超过30万组“模型×芯片”适配组合,每周可完成约1万次芯片与模型的适配测试。

支撑这一测试规模的,是自动化的适配流程。对于底层兼容性较好的芯片平台,系统可批量完成模型适配、测试与验证;对于需要深度优化的模型,工程师会修改底层框架、优化算子,并与硬件厂商协同完成适配。
范式智能认为,国产算力适配效率的提升,有赖于硬件、软件与兼容三个层面协同推进:芯片硬件能力持续提升,软件生态逐步完善,兼容方案不断成熟,而这三个层面都需要产业链上下游的长期投入。
最后一道工序是推理优化。如果说算力调度与模型适配解决的是模型“能否运行”,那么推理优化决定的是“运行效率”,而运行效率直接决定Token的成本。
今年上半年,范式智能可用算力扩容至2.8万PFLOPS。在算力规模既定的前提下,单位时间、单位算力的Token产出(即吞吐效率),决定了每个Token所分摊的成本。
吞吐效率的提升是一项系统工程,有赖于推理架构、资源调度、参数调优与稳定性保障的协同作用。
推理架构层面,大模型推理分为Prefill与Decode两个阶段。前者一次性处理用户输入的全部提示词,以计算密集为主;后者逐个生成输出Token,主要受显存带宽约束。两类负载混合部署于同一组GPU时,会相互干扰。
为此,范式智能的ModelSphere支持PD分离部署,针对两个阶段的计算特点分别调度资源,并结合KV Cache缓存已处理Token的中间计算结果,减少重复计算。
资源调度层面,在高并发场景下,单纯追求吞吐会导致首Token时延上升,影响用户体验。范式智能因此引入基于服务质量(QoS)的限流机制,在吞吐能力与响应速度之间实现动态平衡。
参数调优层面,由于不同GPU、模型与业务负载的组合差异显著,推理系统并不存在通用的最优配置。范式智能通过Model Catalog与Auto Tune,依据实际负载自动优化部署参数。
稳定性层面,推理服务一旦异常中断,已消耗的算力就会被浪费。范式智能一方面通过向开源推理框架贡献代码修复稳定性问题,另一方面支持断流续写,当某一节点出现异常时,请求可迁移至其他节点继续生成,无需从头开始。
在上述四个方面的基础上,范式智能还针对具体业务场景开展系统级优化,提升实际Token产出。
03 从Token到业务:智能体落地的两道考题——进入生产,保持中立
推理优化提升的是Token的产出效率,而Token能否转化为收入,还取决于其能否在业务场景中被持续使用。
截至今年上半年,范式智能AI Platform业务在手订单约70亿元。在这些订单对应的AI项目中,哪些场景已经从试点走向规模化生产?
对于“规模化生产”,范式智能内部有三项判断标准。
其一是预算常态化,项目进入企业年度IT常规预算,具备明确且持续的年度采购计划,而非部门级的创新试点预算或一次性项目投入。
其二是业务全链路,AI深度嵌入企业核心业务流程,承载真实业务流量,覆盖全部或大部分业务场景,而非停留于单一环节的概念验证(POC)。
其三是价值可量化,客户能够清晰核算投入产出比(ROI),具备明确的降本、提效或增收指标,并愿意基于效果持续扩大投入。
按照上述标准,目前已明确进入规模化生产的场景主要有三类,即AI Coding、视频生成与智能体(Agent)。
其中,智能体的落地需要与企业内部系统、权限体系和合规要求深度结合。“Demo级的Agent谁都能做,但能跑在企业生产环境里、对接内部系统、符合合规要求、稳定可运维的Agent,门槛极高。”范式智能技术团队表示。
第一道考题,是智能体能否从演示走进生产环境。这中间需要跨越的鸿沟主要在于三个方面,即运行是否稳定、操作是否合规、结果是否具备实际价值。
于是,范式智能的工程设计也围绕这三个方面展开。
稳定性层面,范式智能搭建了智能体全链路可观测体系,从意图识别、工具调用、模型推理到结果返回,每一节点均具备全量日志、实时监控与秒级告警。同时,系统设有多级熔断降级机制,任一环节出错或超时,都会自动降级至备选方案,例如工具调用失败时切换为通用应答,避免服务中断;系统还支持多实例负载均衡,以保障生产级可用性。
合规层面,智能体的每次数据访问与系统调用,均与企业身份与访问管理(IAM)体系打通。不同角色、不同场景下的智能体,可访问的数据范围与可调用的系统能力各不相同,所有操作全程留痕、可回溯、可审计,满足等保与行业监管的合规要求。
价值层面,范式智能建立了三层自动化评测体系,分别从基础能力(意图识别准确率、工具调用成功率)、流程能力(端到端任务完成率)与业务价值(处理时长、成本节约)三个层面进行量化评估,并支持自动化回归测试,使每次迭代的效果可量化、可对比。
某头部股份制银行的对公业务智能经办Agent,是上述工程体系落地的一个案例。在传统模式下,该行对公业务审核需经过客户提交材料、柜员初审、后台专员人工审核、查询征信、核定额度、审批、反馈客户等环节,全流程平均耗时3~5个工作日;一名专员日均最多处理20笔业务,且容易出现人工差错。
引入智能体后,客户线上提交材料,Agent自动完成材料识别、信息校验、征信查询、额度核算与合规校验,并出具审核意见,仅异常场景转交人工处理,全流程最快可在半小时内完成。
具体到工程实现上,该Agent对接了银行内部8套业务系统,依托全链路监控告警,工具调用成功率达99.9%,并可在业务高峰期自动弹性扩容。
权限方面,Agent严格对接银行权限体系,仅能访问授权范围内的客户数据,所有操作全程留痕,符合金融监管的合规要求。
上线前,团队以10万笔历史业务数据进行自动化评测,审核准确率达98.7%,优于人工平均水平。
从效率提升看,按范式智能提供的数据,单笔业务处理时长由平均48小时缩短至2小时,客户满意度提升35%;业务合规差错率由1.2%降至0.3%,合规处罚风险随之大幅降低。目前,该Agent已在该行全量上线,覆盖全部对公营业网点。
随着智能体进入客户核心业务,范式智能的业务已覆盖算力、平台、模型与应用多个层次。
第二道考题,是保持中立。当一家企业同时扮演算力供给方、平台方与应用方,客户难免担心被绑定。
范式智能技术团队的回应是,中立并不意味着不做自研,而是不绑定客户、不绑架生态、不进入客户的业务领域。
技术层面,客户可自由选择算力、模型与应用的提供方,不会被强制使用范式智能的自有产品。
商业层面,范式智能只做底层能力提供商,不与零售、金融等行业客户在同一赛道竞争。
数据层面,客户数据所有权完全归属客户,不会被挪用或用于训练范式智能的自有模型,并通过合同条款与技术手段双重保障。
然而,这三项能否兑现,最终取决于范式智能如何安排自身的算力、模型和应用业务。对此,范式智能技术团队进一步强调:“中立的核心是边界清晰,要用产品设计和商业模式来保证,而不是靠口头承诺。”
这些边界,体现在范式智能对三类自有业务的定位上。
自持算力的目的,是为客户提供更稳定、更具性价比的算力交付,而非绑定客户。客户同样可以接入第三方算力,两类算力在平台层统一调度、统一管理,使用体验一致。
自有模型的定位是“标杆级的基础能力”,主要解决客户拿到底层模型后难以完成行业适配的问题。
与此同时,平台原生兼容主流第三方模型,客户的私有模型也可以接入。自有应用则主要承担“场景样板”的作用,用于验证技术可行性和参考演示,范式智能不会规模化直接开展终端应用业务,而是将相关能力开放给生态合作伙伴。按照范式智能的定位,公司要做“AI时代的水电煤”,从机制上避免了与客户的利益冲突。
04 写在最后:算力越紧缺,越要用好GPU
当前,算力依然紧缺,AI需求却日益旺盛,市场正处在越来越供不应求的阶段。越是如此,算力用得好不好,越成为一个凸显的问题。
国内日均Token调用量已超过140万亿,推理成为AI产业的日常负载。在GPU供给有限的情况下,同样一批GPU能否产出足够生产质量的Token、以什么成本交付,决定着一家AI基础设施企业的竞争力。
从这个角度看,范式智能并没有把重仓算力当作单纯的资产扩张,而是把企业服务中积累的工程能力,转化为Token的生产效率。
或许,在算力紧缺的当下,比起谁手里的GPU更多,更重要的是谁能让每一张GPU产出更多Token。
