中文问答

Cloudflare Bot Fight Mode 会拦截 AI 爬虫吗?

会有这种情况。即使 robots 放行,边缘挑战策略仍可能让爬虫请求失败。

怎么验证

  1. 在 Cloudflare Security Events 看 AI 爬虫请求是否被 challenge 或 block。
  2. 检查 /robots.txt、sitemap、核心页面是否出现连续 403。
  3. 对照源站日志,确认请求是否到达源站。

使用 403 排查流程