AI 爬虫：完整清单，以及哪些决定引用
十三个真正要紧的 user-agent、各自是干什么的、以及封掉它到底要付什么代价。其中六个能让你从 AI 答案里消失，另外七个不能 —— 这个区别就是全部重点。
你的文件说了什么
检索爬虫 —— 这六个决定你会不会出现
训练爬虫 —— 这七个封了也没损失
为什么这两张表要分开
检索这一列是机械的。抓不到你页面的爬虫，没法把它摆到模型面前，写得多好都改变不了这一点。在我们 48 条来源的实验里，放行检索爬虫的页面被引用率 31.9%，拦住的是 7.1%。这是我们测到的、背后有物理机制支撑的最大差距。
训练这一列是政策。封掉 GPTBot 不会让你明天更难被引用；它只是把你的正文挡在训练未来模型的那个语料库之外。合理的内容方在这件事上两边都有。不合理的是把两列当成一个开关 —— 而这个品类里大多数工具就是这么干的。
48 条来源实际是怎么做的
封了东西的那 7 条里，有 2 条只封了训练爬虫。当成一个数字来读 ——「14.6% 的来源封 AI」—— 这 2 条就和那 5 条把自己切出答案池的看起来一模一样。它们不一样。一组做了一个授权决策、保住了引用；另一组把引用丢了。
比任何名单都可靠的判据
每一份名单，包括这一份，都只是「写它的那天存在的名字」的快照。新爬虫会出现，旧的会改名。耐用的判据是请求在你日志里的形状：真实用户提问后几秒到达、只取一个页面的抓取，是检索。按固定时间到达、把整站走一遍、发生在没人提问的时候的抓取，是采集。
这也是为什么我们不发布一份「每一行后面都带一个绿勾」的权威名单。你需要的那一行，是出现在你流量里的那一行，而它只被写在你的服务器上。
关于 AI 爬虫的问题
GPTBot 和 OAI-SearchBot 有什么区别？
GPTBot 采集文本用于训练。OAI-SearchBot 抓取页面、为 ChatGPT 搜索建索引。封第一个，你的内容不进训练语料；封第二个，你从答案里消失。它们被拆成两个 user-agent，正是为了让内容方能分开做这两个决策 —— 而大多数检查工具还是把它们扔进同一个桶里。
封 AI 爬虫会影响我的 Google 排名吗？
不会通过 Googlebot —— 它是另一个 user-agent，不在这张表上。这张表里相关的是 Google-Extended，它只控制 Gemini 的训练 —— Google 自己的文档写明它不影响搜索。封掉 Googlebot 本身完全是另一回事，那才会让你从搜索里消失。
CCBot 是什么？
Common Crawl 的爬虫。Common Crawl 是一个公开的网页数据集，包括模型训练方在内的很多机构都会下载它。封掉 CCBot 是把你的正文挡在那个数据集之外的标准做法，而它不会让你从 AI 答案里消失。
我怎么知道哪些 AI 爬虫真的来过我的站？
看你的服务器日志。在里面搜这一页上的 user-agent 字符串。时间戳会告诉你它是哪一类：真实提问后几秒内的抓取是检索，没人提问时按固定时间扫全站的是采集。任何公开名单都告诉不了你，你自己的流量长什么样。
我能直接复制一段进 robots.txt 吗？
可以 —— <a href="../tools/robots-txt-generator.html">robots.txt 生成器</a> 会写出一段把检索类和训练类分开的规则，复制前还能逐个翻开关。追加到你现有文件后面，不要整个替换，并保留 Sitemap 行。