DeepInfer：DeepSeek 开源推理框架
DeepInfer 是 DeepSeek 用于大规模模型推理的框架。当前开源仓库支持 DeepSeek V4.1 Flash 离线推理；完整在线服务还需要额外的缓存和调度基础设施。
本页内容
DeepInfer 是什么
DeepInfer 负责在加速器上运行 DeepSeek 模型。DeepSeek 称这套框架支撑其大规模生产推理服务。公开仓库提供离线推理路径和核心引擎能力，但不能直接视为一套可上线的 API 服务。
当前开源了哪些能力
- 支持 DeepSeek V4.1 Flash，提供优化算子、模型运行时和采样运行时。
- 提供 Attention 与 MoE 并行、异步调度、推测解码和有界重放。
- 提供批次不变推理、确定性采样和结构化输出；具体设置与平台限制以官方文档为准。
完整在线服务还缺什么
官方 README 明确列出仍需补齐的部分：KV 缓存系统、视觉编码器与 Prefill/Decode 分离式部署，以及数据并行副本之间的负载均衡。离线示例跑通，不代表生产 API 已经就绪。
运行前先核对条件
官方起步条件为 Linux、Python 3.12 和 GCC 13 或更高版本。当前硬件列表包括使用 CUDA 13 的 NVIDIA SM100 GPU，以及使用 CANN 9.2 的华为昇腾 950 NPU。示例运行 DeepSeek V4.1 Flash 离线推理；未指定本地模型目录时，首次运行会下载默认权重。
DeepInfer 与 DeepSeek Harness 的关系
DeepInfer 是模型推理层；DeepSeek Harness（DSH）负责 Agent 会话、工具和工作区。本站尚未验证 DSH 对 DeepInfer 的直接集成。若计划接入自部署服务，应先建立兼容的 API 端点，再通过 DSH 的服务商配置验证连接。
官方资料
资料核对于 2026-10-23。硬件支持和开源范围可能继续变化，部署前请重新核对官方仓库。