中文问答
Cloudflare Bot Fight Mode 会拦截 AI 爬虫吗？
会有这种情况。即使 robots 放行，边缘挑战策略仍可能让爬虫请求失败。
怎么验证
- 在 Cloudflare Security Events 看 AI 爬虫请求是否被 challenge 或 block。
- 检查
/robots.txt、sitemap、核心页面是否出现连续 403。 - 对照源站日志，确认请求是否到达源站。
中文问答
会有这种情况。即使 robots 放行，边缘挑战策略仍可能让爬虫请求失败。
/robots.txt、sitemap、核心页面是否出现连续 403。