中国人工智能创业公司杭州深度求索人工智能基础技术研究有限公司今日开源了DeepInfer，这是支撑其自身生产服务的推理框架。
此次发布直面向公众提供大模型服务的成本问题。DeepSeek在随代码一同发布的部署问答文档中表示，以合理价格触达海量用户是"推理框架必须解决的核心问题"。据同一文档披露，目前一个集群每天处理155万亿个Token，按非高峰时段定价计算，每个图形处理器每小时能带来38美元的收入。
目前DeepInfer仅支持一款模型，即DeepSeek-V4.1-Flash，默认加载的是DeepSeek上周末发布的更新版本1017。英伟达公司的SM100 Blackwell图形处理器可以运行该框架，华为技术有限公司的昇腾950神经处理单元同样可以。而Hopper架构及其他更早的英伟达架构则不在支持列表之列。
有两项能够保证每次运行输出结果一致的功能仅适用于英伟达硬件。所有已发布的性能基准测试也均在英伟达芯片上完成，相关数据均为DeepSeek自行测算。
DeepInfer中的推测解码功能通过DSpark系统运行，该系统由一个草稿模型一次提议五个Token，再由一个置信度预测头判断主模型将接受其中哪些Token。验证计算仅针对最可能被接受的候选内容进行。这使每一步需要检查的草稿Token数量减少约30%，DeepSeek估算在其生产负载下可带来4%至7%的吞吐量提升。另一项技术据该公司称几乎能将总预填充计算量减半，该技术仅对每个提示词最后128个Token重新执行解码层运算。
DeepSeek尚未发布其键值缓存管理和负载均衡相关代码，称这两部分与内部基础设施紧密耦合。该公司在知乎发布的一篇博客文章详细说明了二者的工作原理。将预填充和解码拆分到不同机器上运行的工作也留给了使用者自行完成，README文件中提到，支持该功能所需的大部分引擎工作已经就位。DeepSeek描述的最小高效部署方案是使用64个图形处理器用于预填充，另外64个用于解码。
同样的耦合问题曾使DeepSeek未能在2025年4月发布完整引擎，当时该公司将其软件描述为基于vLLM构建的早期分支，围绕其集群管理工具打造。该公司当时还写道，维护一个大型开源项目的工作量，超出了"一个专注于开发更好模型的小型研究团队"所能承担的范围。
DeepSeek此前已发布了FlashMLA、DeepGEMM和DeepEP等内核库组件，DeepInfer目前正是调用了这些组件。新发布的README文件将vLLM列为其最初的基础框架。
DeepInfer对昇腾的支持，是继9月30日发布之后的又一进展，彼时DeepSeek在华为芯片制造商的协助下，将TileLang内核编程语言引入了华为芯片。据彭博社9月报道，这家创业公司计划在内蒙古新建的一个数据中心部署至少16万块昇腾950DT加速器。
该框架发布的前一天，美国国土安全部刚刚下令联邦民用机构将DeepSeek产品从其系统中移除，其中包括基于其技术构建的第三方服务。
DeepInfer已在GitHub上以Apache 2.0许可证开源，与其配套发布的deepseek-recipe库采用与DeepSeek官方应用程序接口相同的逻辑，将请求转换为Token序列。DeepSeek表示，未来模型的推理代码也将发布至同一代码库中。
