HiDeepSeekDev
空闲特惠
教程指南DeepSeekSGLang部署教程预览镜像

SGLang 部署 DeepSeek Flash 前检查什么:预览镜像、硬件配方与接口验收

依据当前官方 Cookbook 组织部署前核对流程,保存镜像和配置,并按普通回答、思考和工具调用逐步验收。

快速结论

当前 Cookbook 提醒 V4.1 Flash 支持尚未进入普通发布包,NVIDIA 使用指定预览镜像;必须随所选硬件配方核对。

  • 本轮读取时间为 10 月 26 日。
  • 预览镜像与普通安装包的支持状态需要区分。
  • 教程为准备和验收建议,未执行容器或下载权重。

本次更新:10 月 27 日下午补充:10 月 27 日:把请求隔离加入部署验收。保留原网址与首次发布时间。

开始前确认目标硬件、可用内存、模型权重和软件来源。本文是部署前准备流程,不是一条可用于任意机器的启动命令。

1. 先核对当前分发路径

10 月 26 日读取的官方 Cookbook 提醒,DeepSeek-V4.1 Flash 支持尚未进入普通 SGLang 发布包;NVIDIA 配方使用 lmsysorg/sglang:dev-dsv41 预览镜像。实际执行时再次查看文档,因为分发状态可能改变。

不要仅凭装好了名为 sglang 的包判断目标模型已经受支持。记录镜像标签,并在能获取时保留 digest、构建版本和依赖清单。

2. 按目标任务选配方

在文档中选择自己的硬件和目标部署方式,保存生成的完整参数及解释。第一次试跑先使用对应配方,避免从多个博客拼接不同版本的参数。

将任务目标写成可验收的句子,例如“单个测试会话能返回正确结果,并留下模型与请求记录”。后续再根据真实需求扩展并发和上下文长度。

3. 逐层核对接口

阶段 验收记录
进程启动 模型、权重、设备与错误日志
普通文本 返回内容、结束状态、用量
思考输出 思考与最终答案是否按客户端预期分开
工具调用 参数、实际执行、结果回传与最终回答
多轮会话 上下文是否正确延续

服务返回 HTTP 200 与客户端能正确消费内容是两个检查点。工具测试先用只读样例,保留每一步原始响应与执行记录。

4. 扩容前形成基线

记下请求集、并发、耗时分布、失败数和显存占用,再一次调整一个变量。大上下文、缓存和分离部署另建记录,不把单用户试跑结果直接作为生产容量。

配置更新后重新核对镜像与参数,保留可回到的工作版本。本文没有启动容器、访问设备或运行模型,不能据此声称已完成部署。

10 月 27 日:把请求隔离加入部署验收

SGLang 新披露了分离式服务的请求隔离修复,部署准备需另留拓扑、后端和构建记录。参见升级验收教程。这项维护检查与本篇模型接入准备分别记录,本文没有确认读者的具体部署是否受影响。

参考资料

本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。

  1. 01SGLang DeepSeek-V4.1 官方 Cookbookdocs.sglang.ai
  2. 02SGLang 请求隔离维护公告www.lmsys.org
阅读至此返回学习中心