Flash-1017 升级后检查什么：用固定任务核对工具、格式、耗时与费用

10 月 17 日 Flash 云服务升级后，旧代码可能仍然正常收到响应。下面的方法用于检查业务表现，没有运行模型评测。

1. 保存可比较的任务集

选择文本提取、严格字段输出、多轮工具、图片理解和真实业务案例。每项写清输入、预期结果、允许调用的工具与停止条件。用文件副本或测试对象隔离写操作。

2. 固定执行层

同一组样本使用相同提示、工具定义、外部数据和采样设置；保存实际模型标识及调用日期。外部网页内容可能改变，比较时优先使用已保存的公开资料快照。

3. 分开看结果与开销

记录项	核对问题
完成状态	真正完成、失败还是结果未知
结构与参数	字段、类型和工具参数是否正确
事实依据	引用能否支持结论
执行轮次	是否增加重试或重复动作
总耗时	包含模型、工具与等待
费用	模型 Token 与独立工具请求分开

4. 不用榜单代替验收

官方 1017 模型卡列出的结果使用特定任务和 Harness。自己的成功率、输出与工作负载不一定复现同样的变化。

对边缘样本重复观察并保存失败案例。先定位模型输出、解析器还是工具执行层的问题，再一次调整一个条件。

5. 区分两种版本控制

使用云端别名时，本文不假设旧模型快照仍能请求。自托管则记录权重修订、量化包、模板、后端和硬件。vLLM 配方也提醒，旧检查点上的测量不能直接当成 1017 已重新验证的结果。

更多方案差异见云 API 与权重部署对照。

10 月 28 日：模型回归记录另加 Harness 版本

比较 Flash-1017 任务表现时，把本轮官方 Harness 更新作为独立变量记录。先固定模型、端点和任务，再比较客户端版本；需要观察耗时时参考统计阅读教程。不要将客户端行为改变直接归因为模型权重更新。