DeepSeek 推理框架跑分怎么比较：同机、缓存、吞吐与解码步长核对表

阅读推理框架图表时，先把结论还原为“哪个版本、在哪台机器、对什么负载、测了什么”。下面是本站建议的资料整理流程，不是新的性能测试。

1. 建立一张可追溯的记录表

字段	需要保留
实现	框架、提交、镜像标识
模型	权重版本、量化与模板
设备	加速卡型号、数量、互连、主机
工作负载	输入长度、输出长度、并发、请求分布
缓存	前缀命中情况、是否计入缓存 Token
计时	测量边界、预热、样本与统计方法
结果	吞吐、首 Token、尾延迟、失败数

未写明的字段标注“来源未提供”，不要用另一个页面的默认值补齐。

2. 区分三个层次

单步计时说明某个执行阶段；单请求完成时间包含等待与生成；服务容量还取决于并发、排队和失败。把三个层次分别保留，避免用单点步长推算网站能承受多少用户。

例如，运营者需要的是“高峰时段多数请求是否按时完成”，就应另看完成率与尾延迟；离线批处理更关注规定时间内完成多少有效任务。

3. 先核对分子与分母

吞吐表中的 Token 可能包含输入、缓存输入和输出；标注每一项。分母也要核对是单步、稳定窗口、完整运行还是包含启动加载。图上写 tokens/s 时，不能自动当作每秒生成字数。

SGLang 的近期报告保留了对照设置差异，vLLM 的报告也讨论了不同负载口径。阅读时将这些注释与曲线一起保存。

4. 最后才做业务验证计划

选取真实任务的脱敏样例，定义合格输出与超时条件；固定请求集后观察耗时、用量、失败及恢复。首次试验不同时更换模型、模板和框架。

准确率评测另见离线评测复核。本教程提供记录方法，不给出未经复现的统一排名。