快速结论
云 API 使用服务别名并按实际账单结算;权重部署需要管理修订、推理后端、模板、硬件与运维。按实际任务比较总成本和可复现性。
- 官方云端 Flash 服务已升级至 1017。
- 官方模型卡提供开放权重。
- vLLM 配方中部分硬件测量仍来自旧检查点。
本次更新:增加 DeepInfer 引擎、服务层与许可的选型维度。
模型权重公开后,调用服务与部署模型是两种不同工作量。本篇结合模型卡和 vLLM 配方,提供选择框架,没有做两类部署实测。
| 维度 | 官方云 API | 自托管权重 |
|---|---|---|
| 版本记录 | 保存服务标识与日期 | 固定仓库修订、量化和模板 |
| 运行环境 | 由服务商维护 | 自行维护后端与设备 |
| 数据路径 | 核对云端服务条款 | 核对模型、工具与日志的数据流 |
| 费用 | Token、检索及业务工具 | 设备、资源、维护与人员 |
| 复现 | 保存请求和返回信息 | 同时保存镜像、参数及依赖 |
开放权重不等于可在任意设备直接运行
要分别判断内存、量化格式、推理内核与模板。先完成最小正确性检查,再观察目标负载;不要将活跃参数量直接当作全部显存需求。
旧测量不能冒充新测量
vLLM 配方将 1017 列为默认检查点,同时说明部分硬件及测量数据来自旧权重,未分别重跑。即使配置和结构相同,也应说明自己验证了哪一版。
昇腾部署应继续核对具体后端、权重和硬件支持范围;旧 V4.1 支持声明不能独自证明 1017 的所有运行组合已经验收。记录方法见昇腾版本矩阵。
如何选择
编辑建议先列延迟、数据范围、并发、可用性和维护能力,再用固定任务计算总费用。资料不充分时保留待验证项,避免凭一个单价或一个榜单决定方案。
10 月 22 日:部署权重还要选择服务引擎
DeepInfer 提供 Flash-1017 的离线示例,当前列出 SM100 和昇腾 950 支持。其公开引擎与官方托管 API 的整套服务系统有不同范围,不能仅凭相同检查点就宣称线上行为、吞吐和费用完全一致。
比较时增加引擎提交、子模块、协议编码、采样、缓存与服务层记录。完整在线服务所需的缓存、分离部署与负载均衡需另行规划。
框架采用 Apache-2.0,不代表模型权重条件随之改变;代码、权重与服务条款分别阅读。相关内容见DeepInfer 开源说明。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。