AI 爬虫 robots.txt 生成器
选一个策略，逐个翻你要管的爬虫，拿到一段「说的就是你本来意思」的 robots.txt。检索爬虫和训练爬虫分开处理，因为封掉其中一类是内容决策，封掉另一类等于把自己从 AI 答案里删掉。
你的 robots.txt 段
如果你已经有 robots.txt，把这一段追加进去，不要整个替换文件。已有的 Sitemap: 行要保留 —— 这个生成器只在你填了网址时才写这一行。
这一段会做什么
检索和训练不是同一个决策
检索爬虫来抓你的页面，是因为刚刚有人提了一个问题，模型需要来源来回答。封掉它，你的页面就不再是候选 —— 不是排名低、不是被比下去，而是根本不在模型被允许查看的那个集合里。在答案这一层，这件事没有补救办法。
训练爬虫采集的是用来训练未来模型的文本。封掉它，你的内容不进训练语料；明天的答案不会因此有任何变化。这是关于你作品的一份授权决策，而且完全正当 —— 很多内容方都这么选。它只是和第一个决策不是同一件事。
大多数 AI 可见性检查工具把两者压成一个叫 <em>AI crawlers</em> 的开关，然后给一个红灯。这就是为什么它们的建议经常写成「你在封 AI」，而那个站其实只封了 CCBot —— 一点损失都没有。
在 48 条来源里，我们看到了什么
要紧的是 5 和 7 这两个数。5 条来源因为封了检索爬虫，把自己从答案池里切了出去。7 条封了某个 AI 爬虫，也就是说其中 2 条只封了训练爬虫 —— 那是谨慎的那一版，零成本。如果只报一个「封了 AI 爬虫」的数字，那 2 条就会看起来和那 5 条犯了同一个错。
还有 5 条完全判断不了：没有 robots.txt、robots.txt 解析不了、或者抓取根本没完成。我们把这些记成「未知」而不是「开放」，因为「我们看不出来」和「我们查过了，没问题」是两个不同的结论。
那个看起来很谨慎的错误
我们样本里有一个站 —— citegrade.com —— 封了 CCBot，放行 GPTBot 和 OAI-SearchBot。把它当策略读，它是自洽的：不给免费训练语料，但完整参与检索。把它当一个勾选框读，它看起来就像一个「半封 AI」的站 —— 而这正是单一开关的检查器会报出来的结果。
真正会让你丢引用的，是反过来的那一版：站主在某处读到「封掉 AI 爬虫」，于是在一个 AI 标题下写了 <code>User-agent: *</code> 加 <code>Disallow: /</code>，把 OAI-SearchBot 和 CCBot 一起封了。文件里没有任何一处看起来是错的。站只是从此不再出现，而从外面没人看得出来为什么。
# Training crawlers — blocking these costs you no citations User-agent: CCBot Disallow: / # Retrieval crawlers — these decide whether you enter the answer pool User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: /
拿不准就看日志
任何 user-agent 名单 —— 包括这一页上的 —— 都只是快照。可靠的判据在你的服务器日志里：如果某个爬虫在真实用户提问后几秒内出现、只抓一个页面，那是检索。如果它按固定时间出现、在没人提问的时候把整站走一遍，那是采集。
这个判据同时也告诉你：名单上哪些条目对你真的重要。一个从没访问过你站的爬虫，只是别人博客里的一行字，不是你今天必须做的决策。
关于 AI 爬虫与 robots.txt 的问题
应该放行哪些 AI 爬虫？
检索类的：OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User。这些抓取发生在有人提问的那一刻，它们决定你的页面会不会被摆到模型面前。封掉其中任何一个，都是在「排名」这个问题开始之前就把自己排除掉了。
封掉 CCBot 是错的吗？
不是。CCBot 为 Common Crawl 采集，那是一个用于训练模型的公开数据集 —— 它不决定你明天会不会出现在答案里。封掉它是一个正当的内容决策。而封掉 OAI-SearchBot 是另一个决策、另一个后果。把这两件事混为一谈，是这个品类里最常见的一个错误。
放行 AI 爬虫就能被引用吗？
它是必要条件，不是充分条件。在我们 48 条来源的实验里，放行检索爬虫的页面被引用率是 31.9%，拦住的是 7.1%。这是我们测到的、背后有物理机制支撑的最大差距 —— 抓不到你的爬虫引不了你 —— 但 31.9% 仍然不是承诺，样本也只有 48 个页面。
我应该封掉 GPTBot 吗？
这取决于你想不想让自己的正文进 OpenAI 的训练数据，跟你会不会被引用没有关系。我们的建议是：把它当成内容授权问题来决定，而不是 SEO 问题。如果你封了 GPTBot，不要顺手把 OAI-SearchBot 也封了 —— 它们被拆成两个 user-agent，本来就是有意的。
我已经有 robots.txt 了，是替换还是追加？
追加。整个替换会删掉你的 sitemap 行和其他爬虫的规则，而丢掉 Sitemap 指令是实打实的损失。把 AI 爬虫段粘到文件末尾，上面全部保留，并确认文件开头仍然是你原有的规则。