快速结论
Fetch 的 404 可表示未获取到可用正文,不只表示网页不存在;先核对 URL 和错误类别,再决定是否改请求或重试。
- 403 表示 Fetch 被安全策略拒绝。
- 404 可能涉及链接、站点策略、内容类型或正文提取。
- 官方建议 408、429 或 5xx 等待后重试,其它规则分别处理。
本次更新:10 月 27 日下午核对原始来源后补充,区分事件日期、报告结论与本站操作建议。
用 Search 找到了链接,Fetch 却无法读到内容,先保留完整状态码和脱敏错误。网页能在浏览器打开,并不自动证明抓取接口可以取得可用正文。
1. 先分清错误类别
| 状态 | 官方说明的重点 | 下一步 |
|---|---|---|
| 403 | 安全策略拒绝 | 核对目标和允许范围,保留错误 |
| 404 | 未取得可用网页内容 | 检查 URL、站点策略、内容类型和正文 |
| 402 | 余额不足 | 先处理账号余额 |
| 408、429、5xx | 超时、限速或服务异常 | 等待后按策略重试 |
官方对其它 4xx 的建议是:若不修改请求,不要继续重试。具体范围和当前行为以来源文档为准。
2. 核对最终页面
检查链接是否完整、是否需要登录、是否跳转到另一个页面,以及内容是否主要依赖交互才能呈现。记录你实际请求的 URL;搜索结果的摘要也要与该页面区分。
Fetch 404 还可能表示正文不可提取,不能仅据此向读者断言原网站已经删除文章。可查找同一机构的公开公告、原始 PDF 或其它可核对入口。
3. 验收成功响应
成功后检查标题和正文是否对应,是否只是登录页、错误页或不完整导航。用于生成新闻时,再确认正文是否支持标题中的关键事实;抓到内容不等于内容足以作证。
4. 记录次数与费用口径
官方计费规则要求 HTTP 200 且产生结果;Fetch 需要返回网页正文。失败或空结果按文档说明处理,不以尝试次数直接当作成功计费次数。
把来源地址、请求时间、状态和可用性记入台账,反复失败时换用可核实的一手来源。账号 QPS 与队列另见429 教程。本站没有实际调用付费接口。
参考资料
本文依据以下资料整理,版本与接口信息请以来源页面的现行说明为准。