10月20日，DeepSeek官方账号宣布开源内部推理框架DeepInfer，并称该框架用于支撑DeepSeek-V4.1-Flash的大规模推理服务，目标是提高吞吐、降低延迟和计算成本。DeepSeek官方公告
根据DeepInfer官方GitHub仓库说明，该项目采用Apache License 2.0，当前支持DeepSeek-V4.1-Flash，并适配NVIDIA SM100 GPU和华为昇腾950 NPU。功能包括优化内核、分布式推理、专家并行、推测解码、异步调度、确定性采样和结构化输出等。DeepInfer官方仓库
这次开源的重点不只是模型权重，而是推理服务的软件基础设施。对于大模型应用而言，模型推理成本不仅取决于参数规模，也受到批处理调度、通信、缓存管理、并行方式和硬件适配的影响。DeepInfer公开了部分面向规模化部署的实现，有助于开发者研究如何在不同加速器上提升服务效率。
不过，官方仓库也明确说明，当前版本主要提供离线推理及规模化服务所需的核心能力，完整线上服务仍需要额外的KV缓存系统、视觉编码器与预填充和解码阶段的拆分，以及跨副本负载均衡等组件。因此，开源并不等于任何团队都能直接复制DeepSeek的生产环境，实际部署还需要自行补齐工程系统、硬件资源和运维能力。
目前可以确认的是，DeepInfer已经以Apache 2.0协议公开，且官方表示未来还会继续开放面向后续模型的推理代码。至于第三方部署能够达到怎样的性能，仍取决于具体模型、硬件配置、网络互联、缓存命中率和工作负载，不能直接套用DeepSeek内部服务的性能描述。
参考来源：
- DeepSeek on X：Introducing DeepInfer 2026-10-20
- GitHub - deepseek-ai/DeepInfer 2026-10-16
由 AI 整理，仅供参考；请以原始来源为准。
