中文问答

如何检查 OAI-SearchBot 访问？

先看日志，再改策略。不要在没有证据时频繁调整 robots 文件。

命令行快速检查

grep -i "OAI-SearchBot" /var/log/nginx/access.log | tail -n 50
grep -i "OAI-SearchBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head

重点核对

1. 是否访问了 /robots.txt 和核心内容页。
2. 状态码是否以 200 为主。
3. 是否被通配符规则误拦截。

打开 AI 爬虫日志检查器