DeepSeek已将其用于生产环境的推理引擎开源，而此举此前该公司曾表示尚不具备可行性。
这一名为DeepInfer的框架旨在让开发者能够在自己的基础设施上运行DeepSeek的V4.1 Flash模型，并享有该公司用于其API背后的诸多相同优化措施。未来还计划支持DeepSeek即将发布的其他模型。
“高效运行一个模型则完全是另一回事。”
当然，DeepSeek一直以来都会公开模型权重，供开发者下载并使用诸如vLLM之类的第三方软件运行。但高效运行模型则完全是另一回事。管理请求、在芯片间分配工作负载并生成响应的软件，会对速度、吞吐量和计算成本产生重大影响。因此，DeepInfer本质上让开发者得以获取DeepSeek自身应对这些挑战的方法。
“我们分享我们的生产技术栈，是为了帮助社区降低计算成本、减少能源消耗，让AI变得更加普及和可负担。”
让AI更加平价
DeepSeek周二在X平台上表示，公司正将其内部推理技术向外部开发者开放，以降低运行大型AI模型的成本。
该公司写道：“我们分享我们的生产技术栈，是为了帮助社区降低计算成本、减少能源消耗，让AI变得更加普及和可负担。”
DeepInfer以Apache 2.0许可证发布，其中包含优化的计算核心和通信库，涵盖了DeepSeek此前已开源的FlashMLA、DeepGEMM和DeepEP，以及用于在多芯片间分配推理任务的机制。该框架还支持推测性解码技术，这项技术通过同时预测和验证多个Token来加速响应生成，并支持异步调度以减少处理器等待新任务的时间。此外，该框架还支持结构化输出，允许开发者指定模型响应的格式。
除DeepInfer外，该公司还开源了配套库deepseek-recipe，该库负责处理API请求如何转换为模型输入，以及输出结果如何处理成响应。该库支持Rust和Python，旨在帮助开发者在自行部署时复现DeepSeek官方API的行为。该库于9月悄然发布，周二发布了更新版本。
此次公告发布的时间，正值DeepSeek发布V4.1 Flash更新版本（名为DeepSeek-V4.1-Flash-1017）之后几天，该版本在编码性能和效率方面有所提升。据The New Stack周一报道，该版本发布的同时，DeepSeek还通过新的Search和Fetch API向开发者开放了其内部网页搜索技术。
DeepSeek为何在2025年有所保留
DeepInfer的开放程度超过了DeepSeek此前分享其推理技术的计划。早在2025年4月，该公司曾发布一份文档，概述了其推理引擎的规划，解释称曾考虑公开整个系统，但最终决定转而向现有项目贡献单个组件和改进方案。
当时，DeepSeek指出了若干障碍。其推理软件是从vLLM的早期版本演变而来，已变成一个高度定制化的系统，公司对其相对规模较小的研究团队能否维护另一个重大开源项目存有疑虑。此外，使该软件能在DeepSeek自身基础设施之外使用也存在实际困难。
该公司当时写道：“该引擎与我们的内部基础设施（包括集群管理工具）紧密耦合，若不做大幅修改便难以公开部署。”
那么如今究竟发生了什么变化呢？DeepSeek并未解释其如何克服此前的困难，不过此次新发布的范围提供了一些线索。DeepInfer的文档明确表示，目前公开发布的软件支持离线推理，具备该公司所说的“大规模服务所需的核心功能”。然而，运营完整生产服务所需的多个组件仍然缺失，包括KV缓存管理系统、用于在不同机器间分离推理各阶段的基础设施，以及跨副本的负载均衡。
换言之，DeepSeek已经开放了负责运行其模型的引擎中的大部分内容，但将运营完整服务所需的部分周边基础设施留给了开发者自行提供。这种相对有限的发布范围，或许有助于解释该公司如何在克服去年所指出的挑战的同时提供这项技术。
英伟达与华为并列
尽管DeepSeek推理引擎的发布本身已足够重要，但或许更有意思的细节在于该框架从首日起便支持的硬件。
“或许更有意思的细节在于该框架从首日起便支持的硬件。”
不出所料，英伟达芯片被纳入支持范围，但仅限于其用于Blackwell数据中心GPU的SM100架构。值得注意的是，另一个受支持的平台是华为的Ascend 950系列NPU，这使这家中国芯片制造商与英伟达一同出现在DeepSeek的兼容硬件列表中。而英伟达较旧的架构，包括Hopper，则明显未被列入其中。
这一点也与DeepSeek在2025年公布的开源计划相呼应。尽管该公司当时不愿公开整个推理引擎，但承诺将在未来模型发布前与硬件制造商展开合作，力求让其模型从发布首日起便可在不同芯片架构上运行。
美国的出口限制使中国企业获取英伟达最先进芯片的渠道变得复杂，这也为DeepSeek与华为日益密切的联系增添了新的维度。今年9月，彭博社报道称，DeepSeek计划在内蒙古新建的一座数据中心部署至少16万枚华为Ascend 950DT芯片，专门用于运行其模型。该公司此前主要依赖英伟达芯片进行训练，不过The Information在9月报道称，DeepSeek还计划增加华为芯片在训练中的使用比例，预计最早在第四季度开始交付。
同月晚些时候，路透社报道称，DeepSeek与华为正在合作开发软件工具，旨在让Ascend处理器更易于编程，进一步凸显了该公司在中国AI硬件方面的投入。
华为被纳入支持列表已在更广泛的开发者社区中引发关注。在Reddit上的一场讨论中，一位评论者特别提到这两个受支持的硬件平台是此次消息的亮点，另一位则指出DeepSeek起源于量化金融领域，或许可以解释其技术实力。
该评论者写道：“DeepSeek再次展示了高频交易员在性能优化方面的深厚功底……而且还是在Ascend NPU上实现的！！”
另一位用户似乎是在调侃Anthropic的Claude Opus 5.5，此前有报道称，涉及华为AI芯片内核编程的请求可能触发安全机制，将某些高级AI开发任务重定向到旧版模型处理。
该用户开玩笑说：“别让Opus 5.5看到这个！它会把Ascend支持删掉的。”
值得注意的是，英伟达和华为的实现版本在功能支持上存在差异。DeepInfer中的批次不变性推理和确定性采样功能（有助于在特定条件下确保输出结果可复现）仅适用于英伟达硬件。DeepSeek公布的性能数据也是基于英伟达GPU测得，其中预填充阶段使用了4块SM100 GPU，解码阶段使用了64块，这使得该框架在华为芯片上的表现相较之下仍是一个待解之谜。
对于没有这两类芯片的开发者而言，眼下的价值或许在于研究这些新公开的代码，并将其优化思路应用到其他推理引擎中。就目前而言，DeepSeek已经向更广泛的开源社区提供了相当多可供实验的推理技术。
