HiDeepSeekDev
空闲特惠
教程指南DeepSeekDeepInfer离线推理昇腾部署

DeepInfer 离线推理准备教程:硬件、环境、权重与提交版本逐项核对

保留离线准备流程,新增 10 月 25 日环境变量严格解析要求:布尔开关使用明确值,平台、路径和整数参数分别处理。

快速结论

先满足官方硬件与依赖要求,固定仓库提交和子模块,再在隔离环境构建。当前教程针对离线示例,不会自动部署完整托管 API。

  • NVIDIA 和昇腾使用不同加速平台设置。
  • 默认模型为 DeepSeek-V4.1-Flash-1017。
  • 本文提供阅读与准备步骤,没有安装或执行模型。

本次更新:补充严格布尔解析和启动配置检查,保留原硬件与离线范围。

本教程按 10 月 22 日官方 README与示例说明整理。命令供具备相应集群资源的开发者参考,本站没有运行构建或推理。

1. 核对支持列表

项目 官方当前要求
系统与编译器 Linux,GCC 至少 13.0
Python 3.12
NVIDIA SM100 GPU、CUDA 13
华为昇腾 Ascend 950 NPU、CANN 9.2
模型 当前支持 V4.1-Flash,默认示例使用 1017 检查点

硬件在列表中不等于任意卡数、量化或上下文配置均能运行。根据目标模型与示例核对显存、磁盘、互联和并行设置,再决定是否开展验证。

2. 固定源码与子模块

在专用目录获取官方仓库,记录完整提交 SHA 和子模块版本。10 月 21 日的提交更新了 DeepEP 依赖及构建脚本,不能用 main 的名称替代版本记录。

先创建并激活空白 Python 3.12 环境,再在仓库根目录按 README 选择平台:

# NVIDIA 平台;昇腾平台将值改为 ascend
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

运行示例时继续保留该环境变量,使扩展选择正确平台。出现构建错误时,保留首个失败位置与依赖版本,不通过混装另一平台的软件包来试错。

3. 明确模型从哪里读取

默认模型首次运行会下载到 Hugging Face 缓存。已准备本地副本时,可按官方说明设置:

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py

路径是占位示例。示例文档说明,显式传入 --model_name 时,该参数不会被上述默认路径变量覆盖。本地目录应包含所需配置与权重文件,不能只创建一个同名空目录。

4. 离线成功后再规划服务层

检查样本输出、设备日志与实际模型版本,再扩大任务范围。完整在线服务还需要缓存、分离部署和副本负载均衡等部分,公开仓库没有把这些全部交付。

评测方法见DeepInfer 离线评测教程,服务选型可参考API 与权重部署对照。

10 月 25 日:启动前核对严格布尔解析

提交 5537415 更新 environ.py:通过 _bool 读取的变量只接受明确真假集合,非法字符串会报错。0/1 与 true/false 可按源码使用,yes、off 或前后空格不要沿用。

平台名、模型路径与整数参数不属于同一种配置。保留原启动记录,按环境变量教程逐层检查覆盖项,并在新进程验证;不要用 main 名称替代具体提交。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01DeepInfer 官方 READMEgithub.com
  2. 02官方部署问答github.com
  3. 03官方示例与模型路径说明github.com
  4. 0410 月 21 日依赖更新github.com
  5. 05DeepInfer 10 月 25 日严格布尔解析提交github.com
  6. 06该提交 environ.py 源码github.com
阅读至此返回学习中心