# yiyangweb.cn robots.txt
# 修订要点：
#   1) 放开 OAI-SearchBot（ChatGPT 搜索索引，决定是否被引用）与 Google-Extended（控制 Gemini/Vertex
#      的 grounding 引用）。两者与 Googlebot 收录、AI Overviews 均无关；此前的 Disallow 只是关掉了引用通道。
#      2026-10-16 更正（外稿 #39 复核）：原注释称 GPTBot「负责 ChatGPT 取正文」，表述不准 —— GPTBot 是
#      OpenAI 的训练语料抓取，与 ChatGPT 搜索引用无关；决定引用的是 OAI-SearchBot。GPTBot 是否放行属
#      「训练授权」问题，本站以 Content-Signal 的 ai-train=no 表达偏好（见第 3 条），不在此处 Disallow。
#   2) 显式声明 PerplexityBot / ClaudeBot / Claude-User / anthropic-ai / GoogleOther / Applebot /
#      Amazonbot / FacebookBot / meta-externalagent、DeepSeek-Crawler / DeepSeek-User、
#      Baidu-ETP（文心）、Sogou-Collector，不再依赖 User-agent:* 继承。
#   3) 拒绝模型训练改用 Content-Signal 表达（见下方）；保留 CCBot / Applebot-Extended 两段纯训练屏蔽。
#   4) 显式声明 Kimi 三爬虫（依据 kimi.com/policies/kimi-crawlers）：Kimi-SearchBot 负责分析相关性并建搜索索引，
#      屏蔽即不进 Kimi 搜索结果；Kimi-User 负责用户触发的取正文；KimiBot 为训练语料抓取，与 GPTBot 同口径处理。
#   5) 2026-10-16 修复 RFC 9309 分组继承错误：爬虫只服从「最匹配的那一组」，不会继承 * 组的规则。
#      原先给 Googlebot/Baiduspider/AI 爬虫单独建组且只写空的 Disallow:，等于对它们全量放开，
#      /wp-admin/、/wp-json/、/preview/ 对百度、谷歌及全部 AI 爬虫实际不设防，与第 2、3 条意图相悖。
#      现将所有放行爬虫合并为一组（多行 User-agent: 共用同一份规则），Disallow 列表与 Content-Signal
#      随组下发，才对点名爬虫真正生效。
#   6) 2026-10-16 修正 Content-Signal 字段名（外稿 #39 复核）：ai-retrieval 不是任何已定义 token，
#      改为 ai-input（Cloudflare Content Signals 仅定义 search / ai-input / ai-train 三个）。
#      原写法该项会被解析器整项丢弃，等于 ai-input 从未声明过。两处 Content-Signal 均已更正。

# ── 默认段 ──
User-agent: *
Disallow: /wp-admin/
Disallow: /preview/
# 2026-10-06 新增：屏蔽 REST API 索引。实测 /wp-json/ 返回 250,707 B 的完整
# 路由清单（公开、可爬），白吃抓取预算且等于对外公布全部插件与自定义端点。
# 本站自有埋点端点 /wp-json/yyw/v1/ev 走 POST，不需要被抓，故整段屏蔽。
# ⚠ 与页面级 noindex 严禁叠加：Disallow 会让爬虫读不到页面，也就读不到 noindex。
Disallow: /wp-json/
Allow: /wp-admin/admin-ajax.php
Allow: /
# Content-Signal 原先写在文件顶部（任何 User-agent 组之外），实测第 11 行、
# 首个 User-agent 在第 14 行 —— 按组解析的爬虫会整行丢弃。移入本组内生效。
Content-Signal: ai-train=no, search=yes, ai-input=yes
# 2026-10-16 修正字段名（外稿 #39 复核）：Cloudflare Content Signals 定义的 token 只有
#   search / ai-input / ai-train 三个，**不存在 ai-retrieval** —— 原写法该项不匹配任何已定义语义，
#   解析器会整项丢弃（等于 ai-input 一直从未声明过）。
#   口径：ai-train=no＝不授权模型训练抓取；search=yes＝授权进入搜索结果；
#   ai-input=yes＝授权作为 AI 输入（检索增强／引用）的来源。本站主攻 AI 搜索引用，后两项须为 yes。
#   注意：该指令不是 RFC 9309 的标准 Allow/Disallow 字段、不具强制力，各家实现进度不一；
#   个别爬虫若忽略本条，以其官方文档为准；拒训练另有下方 CCBot / Applebot-Extended 两段兜底。

# ── ①+② 传统搜索与 AI 搜索引用类：合并为一组放行（2026-10-16，RFC 9309 修复）──
# 以下爬虫共用同一份 Disallow / Allow / Content-Signal；后台与 REST 路由对它们同样关闭。
User-agent: Googlebot
User-agent: Bingbot
User-agent: Baiduspider
User-agent: Sogou web spider
User-agent: 360Spider
User-agent: YisouSpider
# 2026-10-06 增补：华为花瓣（PetalBot，覆盖移动搜索）、Yandex，
# 以及图片搜索爬虫（门头照/执照照/案例截图是本地业务图片搜索的主要入口）。
User-agent: PetalBot
User-agent: YandexBot
User-agent: Baiduspider-image
User-agent: Googlebot-Image
# AI 搜索与引用类（决定是否被引用）
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Kimi-SearchBot
User-agent: Kimi-User
User-agent: KimiBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Applebot
User-agent: Amazonbot
User-agent: FacebookBot
User-agent: meta-externalagent
# 2026-10-19 补充：DeepSeek 官方未公布爬虫规则，业内观测 UA 为 DeepseekBot，
# 与下方 DeepSeek-Crawler / DeepSeek-User 一并声明（组内规则相同，防御性覆盖）。
User-agent: DeepseekBot
User-agent: DeepSeek-Crawler
User-agent: DeepSeek-User
User-agent: Baidu-ETP
User-agent: Sogou-Collector
User-agent: Bytespider
User-agent: DuckAssistBot
Disallow: /wp-admin/
Disallow: /preview/
Disallow: /wp-json/
Allow: /wp-admin/admin-ajax.php
Allow: /
Content-Signal: ai-train=no, search=yes, ai-input=yes

# ── ③ 纯训练语料类：保持屏蔽（与是否被引用无关）──
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /

# noindex 页（如 /gongju/ 结果页）不在此 Disallow——
# Disallow 会阻止读到 noindex，严禁两者叠加。

# 只保留索引入口：sitemap_index.xml 已内联 pages / hangye / gongju 三个子 sitemap
# （见 inc/seo.php:yyw_sitemap_index_output()），再逐条声明只会造成抓取冗余。
Sitemap: https://www.yiyangweb.cn/sitemap_index.xml