HiDeepSeekDev
空闲特惠
新闻资讯DeepSeekDeepInfer华为昇腾开源推理

DeepSeek 开放 DeepInfer:支持 Flash-1017 与昇腾 950,先看离线推理范围

补齐 DeepInfer 开源框架及 10 月 21 日依赖更新记录。当前列出 SM100、昇腾 950 支持,在线服务仍需缓存、分离部署和负载均衡组件。

快速结论

DeepInfer 当前开放离线推理能力,支持 V4.1-Flash;它与官方托管 API 的完整服务系统有不同边界,不能仅靠下载仓库获得整套线上服务。

  • 当前模型支持项为 DeepSeek-V4.1-Flash,默认示例为 1017 检查点。
  • 硬件支持列表为 NVIDIA SM100、华为昇腾 950。
  • 10 月 21 日提交更新 DeepEP 依赖并移除构建脚本的 SSH→HTTPS 重写。

本次更新:10 月 26 日复核:10 月 26 日:增加公开框架对照阅读入口。保留原网址和首次发布时间。

DeepSeek 已在官方仓库开放 DeepInfer。项目公开提交历史包含 10 月 20 日的初始代码与问答更新,以及 21 日的依赖改动;本文于 22 日补齐这一重要进展。

本次开放了什么

README 将项目描述为支撑其大规模服务的推理框架,当前公开内容提供离线推理,模型支持列表为 DeepSeek-V4.1-Flash。框架包括优化算子、并行与调度、推测解码和结构化输出等能力,代码采用 Apache-2.0 许可证;模型权重的使用条件应另看对应仓库。

硬件列表明确列出 NVIDIA SM100 与华为昇腾 950。不能把它扩展成所有显卡或所有昇腾设备均已获得支持。环境与模型要求见离线推理准备教程。

在线服务还需要哪些部分

README 列出完整服务仍需 KV 缓存系统、视觉编码 / 预填充 / 解码分离部署,以及副本间负载均衡。官方部署问答解释了内部系统设计,其中部分组件尚未完整开源。框架的公开范围与内部生产系统要分别阅读。

21 日的依赖更新

提交 9bd9cf2更新 DeepEP 依赖到 f6aa38fe,并移除构建脚本中的 SSH→HTTPS 重写。部署时保存提交与子模块版本,不能仅记录 main 分支名称。

性能图的硬件与负载条件也应一并保留。项目公开测量不是本站实测,不能据此推算任意设备或业务的吞吐。

10 月 26 日:增加公开框架对照阅读入口

SGLang 团队 24 日发布了 DeepInfer 基准对照,vLLM 团队也提供了工程报告。本站新增对照阅读教程,建议连同版本、硬件、缓存与统计方法一起阅读。

本文原有 DeepInfer 离线开放范围仍以官方 README 为依据;第三方框架的服务能力不能倒填为本次 DeepInfer 已包含的组件。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01DeepInfer 官方 READMEgithub.com
  2. 02官方部署问答github.com
  3. 0310 月 21 日 DeepEP 与构建改动github.com
  4. 04SGLang 原始报告www.lmsys.org
  5. 05vLLM 原始报告vllm.ai
阅读至此返回学习中心