中文问答
如何检查 Claude-SearchBot 访问？
不要把所有 Claude* 流量混在一起。至少要拆分 Claude-SearchBot、ClaudeBot、Claude-User 三类 token。
按服务类型快速检查
# Nginx
grep -i "Claude-SearchBot" /var/log/nginx/access.log | tail -n 30
grep -i "Claude-SearchBot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 20
grep -i "Claude-SearchBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -nr# Caddy JSON 日志
jq -r 'select(((.request.headers."User-Agent"[0]) // "") | test("Claude-SearchBot"; "i")) | "\(.status)\t\(.request.uri)"' /var/lib/caddy/logs/llmsfile-access.log | head -n 40
jq -r 'select(((.request.headers."User-Agent"[0]) // "") | test("Claude-SearchBot"; "i")) | .status' /var/lib/caddy/logs/llmsfile-access.log | sort | uniq -c | sort -nr健康信号怎么判断
- 入口文件可访问：
/robots.txt、/sitemap.xml或/sitemap-index.xml、核心公开页面。 - 状态码以
200/304为主，不是长期403/429。 - 多天都能看到命中，而不是一次性探测。
出现“零命中”时先做这 4 步
- 确认 grep 的 token 正确（
Claude-SearchBot不是ClaudeBot）。 - 检查 Cloudflare 安全事件里是否对公开路径发起了挑战或拦截。
- 核对 apex 与 www 两个主机名下的 robots 策略一致性。
- 从外部探针验证入口 URL 是否全球可达，不只是在你本地可达。
如果连续 72 小时仍是 0 命中，可以按这个页面逐项排查：为什么 Claude-SearchBot 没有访问记录。
日常巡检命令块
for p in /robots.txt /sitemap.xml /sitemap-index.xml /zh/questions/ruhe-jiancha-claude-searchbot-fangwen/; do
curl -s -A "Claude-SearchBot/1.0" -o /dev/null -w "%{http_code} %{url_effective}\n" "https://yourdomain.com$p"
done