快速结论
DeepInfer 当前开放离线推理能力,支持 V4.1-Flash;它与官方托管 API 的完整服务系统有不同边界,不能仅靠下载仓库获得整套线上服务。
- 当前模型支持项为 DeepSeek-V4.1-Flash,默认示例为 1017 检查点。
- 硬件支持列表为 NVIDIA SM100、华为昇腾 950。
- 10 月 21 日提交更新 DeepEP 依赖并移除构建脚本的 SSH→HTTPS 重写。
本次更新:10 月 26 日复核:10 月 26 日:增加公开框架对照阅读入口。保留原网址和首次发布时间。
DeepSeek 已在官方仓库开放 DeepInfer。项目公开提交历史包含 10 月 20 日的初始代码与问答更新,以及 21 日的依赖改动;本文于 22 日补齐这一重要进展。
本次开放了什么
README 将项目描述为支撑其大规模服务的推理框架,当前公开内容提供离线推理,模型支持列表为 DeepSeek-V4.1-Flash。框架包括优化算子、并行与调度、推测解码和结构化输出等能力,代码采用 Apache-2.0 许可证;模型权重的使用条件应另看对应仓库。
硬件列表明确列出 NVIDIA SM100 与华为昇腾 950。不能把它扩展成所有显卡或所有昇腾设备均已获得支持。环境与模型要求见离线推理准备教程。
在线服务还需要哪些部分
README 列出完整服务仍需 KV 缓存系统、视觉编码 / 预填充 / 解码分离部署,以及副本间负载均衡。官方部署问答解释了内部系统设计,其中部分组件尚未完整开源。框架的公开范围与内部生产系统要分别阅读。
21 日的依赖更新
提交 9bd9cf2更新 DeepEP 依赖到 f6aa38fe,并移除构建脚本中的 SSH→HTTPS 重写。部署时保存提交与子模块版本,不能仅记录 main 分支名称。
性能图的硬件与负载条件也应一并保留。项目公开测量不是本站实测,不能据此推算任意设备或业务的吞吐。
10 月 26 日:增加公开框架对照阅读入口
SGLang 团队 24 日发布了 DeepInfer 基准对照,vLLM 团队也提供了工程报告。本站新增对照阅读教程,建议连同版本、硬件、缓存与统计方法一起阅读。
本文原有 DeepInfer 离线开放范围仍以官方 README 为依据;第三方框架的服务能力不能倒填为本次 DeepInfer 已包含的组件。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。