中文问答

为什么 GPTBot 还是被拦截？

更新于 2026年6月7日

大多数情况不是“少写一行”，而是策略冲突或发布链路问题。

排查顺序

检查是否有 User-agent: * 的全局 Disallow 覆盖。
确认 CDN 没有托管/替换 robots.txt。
访问线上 HTTPS 根域，确认看到的是最新 robots.txt。
用访问日志验证变更后是否出现新抓取记录。

先看日志再调策略