中文问答

如何在 Cloudflare WAF 放行 OAI-SearchBot

不建议直接关闭 Bot Fight Mode。更稳妥的做法是保留默认防护，再加一条“窄范围例外规则”。

推荐规则思路

1. 全局 Managed Challenge / Bot 策略保持不变。
2. 只对公开抓取路径增加放行规则。
3. 后台、登录、私有 API 路径继续保持拦截。
4. 每次改动后检查 Security Events 和访问日志。

Cloudflare 表达式示例

(http.user_agent contains "OAI-SearchBot")
and (http.request.uri.path matches "^/(robots\\.txt|sitemap\\.xml|llms\\.txt|guides/|questions/|tools/)")
and not (http.request.uri.path matches "^/(admin|wp-admin|login|api/private)")

验证清单

• Security Events 里 OAI-SearchBot 的 403 事件明显下降。
• 源站日志里允许页面返回以 200/304 为主。
• 同一时间窗口没有异常探测流量同步放大。

常见误区

只按 User-Agent 放行，不限制路径，容易把敏感路径一起打开。规则应至少同时包含 UA 条件和路径条件。

如果仍然被 403，可继续看：为什么 OAI-SearchBot 会被 Cloudflare 403。

用日志检查爬虫行为