Unknown error
源站响应异常、响应头过大或连接中断。
查看 520专题入口
Cloudflare AI 爬虫排查专题
当 AI 爬虫无法稳定访问站点时，从这里开始。先定位错误类型，再按日志与规则逐层处理。
第一步：判断故障类型
- 看到 Cloudflare 5xx 错误页：先看 Cloudflare 520-526 错误对照。
- 不确定是“异常响应”还是“超时”：先看 520 和 524 快速区分。
- robots 已放行但日志仍是 403：先看 为什么 OAI-SearchBot 会被 403。
- 72 小时内 Claude-SearchBot 零命中：先看 Claude-SearchBot 零命中排查清单。
- 需要“放行爬虫但不放开敏感路径”：看 如何在 WAF 放行 OAI-SearchBot。
第二步：按 520-526 分页排查
Web server down
源站进程或防火墙导致连接被拒绝。
查看 521Connection timed out
源站时延或链路超时导致边缘等待失败。
查看 522Origin unreachable
DNS 指向和源站可达性不一致。
查看 523Timeout occurred
应用处理时间过长，超过边缘等待窗口。
查看 524TLS 与证书问题
握手、证书链、SNI 或 strict 校验不匹配。
查看 525/526第三步：修复后验证
- Cloudflare Security Events 里公开路径拦截量下降。
- 源站日志中爬虫访问以
200/304为主。 - 连续多天观察
/robots.txt、/sitemap.xml和核心页面访问稳定。