中文问答

如何测试 robots.txt 单条规则？

当你怀疑策略冲突时，最有效的方法是“单 UA + 单路径”逐条验证，而不是肉眼通读整份文件。

推荐步骤

1. 复制线上根域的最新 robots.txt。
2. 输入要验证的爬虫标识（如 OAI-SearchBot、GPTBot）。
3. 输入具体路径（如 /pricing、/private/）。
4. 确认最终命中的规则与预期一致。

打开 robots.txt 规则测试器