中文问答

如何检查 ClaudeBot 访问？

更新于 2026年6月7日

先按 token 单独统计，不要把 ClaudeBot 和 Claude-SearchBot 混成一类。

快速命令

grep -i "ClaudeBot" /var/log/nginx/access.log | tail -n 80
grep -i "ClaudeBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head
grep -i "ClaudeBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -nr

Caddy JSON 日志命令

jq -r 'select(((.request.headers."User-Agent"[0] // "") | test("ClaudeBot"; "i"))) | [.ts, .request.uri, .status] | @tsv' /var/lib/caddy/logs/llmsfile-access.log | tail -n 120
jq -r 'select(((.request.headers."User-Agent"[0] // "") | test("ClaudeBot"; "i"))) | (.request.uri // "/")' /var/lib/caddy/logs/llmsfile-access.log | sort | uniq -c | sort -nr | head -n 20
jq -r 'select(((.request.headers."User-Agent"[0] // "") | test("ClaudeBot"; "i"))) | (.status // 0)' /var/lib/caddy/logs/llmsfile-access.log | sort | uniq -c | sort -nr

怎么看结果

• 200 占比高：抓取基本畅通。
• 403 多：通常是策略或防护拦截。
• 只命中 robots：说明还在早期探测阶段。

避免误判的三步

1. 把 ClaudeBot、Claude-SearchBot、Claude-User 分开统计。
2. 同时看“当天”和“近 7 天”趋势，不要只看单日波动。
3. 先核对 /robots.txt、/sitemap.xml 和核心公开页面。

如果公开路径连续 403，可继续看：Bot Fight Mode 会拦 AI 爬虫吗？

生成你的日志命令