AI 爬虫访问记录
把服务器日志里自称 AI 爬虫的请求按 UA 汇总，供自己和客户核对。这里只记录“来过没有”，不证明“被引用”。
先说清楚：这不是 AI 引用监测
记录窗口：2026-10-06 00:50 至 2026-10-20 19:29（15 个自然日）。
数据来源：本站 nginx 的 access.log（访问日志），只统计 www.yiyangweb.cn；不公开 IP，不追踪个人。
统计口径：按 UA（User-Agent，爬虫自称的身份）字符串归类。UA 可以伪造，404 路径多为漏洞扫描；因此下表把“返回 200 的有效页面请求”和“404/其他”分开列。
被抓取 ≠ 被收录 ≠ 被 AI 引用。一个页面被爬虫请求，只能说明它被访问过；是否进入索引、是否被回答引用，要看各平台自己的结果。
15 天汇总（按 UA 归类）
只列有 200 有效页面请求的爬虫；只在扫描路径出现的 UA 放在表后说明。
| 爬虫（UA 自称） | 总请求 | 200 有效 | 404/其他 | 主要 200 路径 |
|---|---|---|---|---|
| ClaudeBot | 197 | 178 | 19 | /、/robots.txt、/llms-full.txt、/sitemap_index.xml |
| ChatGPT-User | 75 | 65 | 10 | /、/llms.txt、/llms-full.txt、/fuwu/ai-sou-suo-you-hua/ |
| OAI-SearchBot | 58 | 45 | 13 | /robots.txt、/ |
| Bytespider | 61 | 33 | 28 | /、/robots.txt |
| GPTBot | 38 | 15 | 23 | /、/robots.txt、/llms.txt |
| PerplexityBot | 36 | 14 | 22 | /、/robots.txt、/llms.txt、/llms-full.txt |
| Claude-User | 34 | 13 | 21 | /robots.txt、/、案例图 |
| Kimi-SearchBot | 31 | 9 | 22 | /、/robots.txt、/llms.txt、/llms-full.txt |
| DeepSeek-Crawler | 8 | 8 | 0 | /robots.txt、/、/llms.txt、/llms-full.txt |
| KimiBot | 15 | 4 | 11 | /robots.txt、/ |
| Kimi-User | 4 | 4 | 0 | /robots.txt、/、/llms.txt |
| CCBot | 23 | 5 | 18 | /robots.txt、/、/llms.txt |
表内 12 个 UA 合计 580 次请求，其中 200 有效 393 次。数字是日志计数，不是访问人数，也不是 AI 平台的全量数据。
另有 4 个 UA 只在扫描路径或几乎只在 404 出现，未计入上表：Claude-SearchBot（19 次，0 次 200）、MoonshotBot（17 次，0 次 200）、DeepSeekBot（10 次，1 次 200）、Amazonbot（18 次，0 次 200）。这类请求多为
/.env、/.git/config、/proc/self/... 等探测路径，不能当作正常抓取。看到了什么
- ClaudeBot 和 OpenAI 系最活跃。ClaudeBot 有 178 次 200 有效请求；ChatGPT-User 65 次，OAI-SearchBot 45 次。它们读到了首页、robots、llms 和 sitemap。
- 给 AI 的说明文件确实被读。
/llms.txt与/llms-full.txt出现在 ClaudeBot、ChatGPT-User、PerplexityBot、DeepSeek-Crawler、Kimi-SearchBot 等 UA 的 200 路径里。被读到只说明入口有效，不代表回答会引用。 - 大量 404 是扫描，不是页面坏了。最常见的 404 是
/.env、/.git/config、/proc/self/...这类路径；正常页面在日志里是 200。UA 可以伪造，不能只凭 UA 判断“某家 AI 来抓过”。
怎么复测
下面的命令只适用于能读到服务器日志的人；普通访客不用执行。
grep -iE 'ClaudeBot|GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|Bytespider|DeepSeek|Kimi' access.log | wc -l要分清“有效抓取”和“扫描”，再按状态码过滤：
grep -iE 'ClaudeBot|GPTBot|OAI-SearchBot|ChatGPT-User' access.log | awk '$9 == 200' | wc -l日志格式不同，字段位置会变；上面只是本站的 nginx combined 格式示例。
这份记录不做什么
- 不把“被抓取”说成“被收录”或“被推荐”。
- 不公开访问者 IP，不做个人追踪。
- 不把伪造 UA 的扫描请求算成 AI 平台的正常抓取。
- 不补想象数据；这一期只有 15 天，就写 15 天。
后续会按周/月继续累积，满一个完整月后再做月度对比。AI 回答里的实际引用记录，另见 AI 查询记录方法；这套方法不承诺排名或引用。
