llms.txt、robots.txt 与 JSON-LD 生成器
填四个字段,拿走四个可以直接上线的文件:llms.txt、llms-full.txt、robots.txt 的 AI 爬虫段、以及 JSON-LD。每一份都是复制即用,每一份下面都有一行命令,能验证它真的上线了。
你的文件
上传到域名根目录,让它能从 /llms.txt 访问。大多数主机:和 index.html 放在一起。
llms-full.txt 放的是页面的正文,不只是链接。我们在这里读不到你的页面,所以给的是带占位的骨架 —— 把每页开头的几段粘进对应的槽里。
如果你已经有 robots.txt,把 AI 爬虫段追加进去,不要整个替换。已有的 Sitemap: 行要保留。
粘到首页的 </head> 之前。它声明了你的组织、站点和站内搜索动作 —— AI 助手最先找的三个节点。
每个文件回答什么问题,以及怎么证明它真上线了
每个文件对应可读性体检里的一行。上传之后跑一下它下面那行命令,就知道有没有生效 —— 不用看面板,也不用等某个报告变色。
- llms.txt 回答「AI 该先读我哪几页」。验证:
curl -s https://yoursite.com/llms.txt | head -1—— 应该打印一个 #,不是 <!DOCTYPE。最常见的错误是在那个路径上留着单页应用的兜底页:它返回 200,但内容是 HTML,检查判红,而检查是对的。 - llms-full.txt 是同一份清单,但带上了正文,这样助手不必再去抓每一页。验证大小:
curl -s https://yoursite.com/llms-full.txt | wc -c。它应该是 llms.txt 的好几倍。如果两个文件大小差不多,说明正文没进去。 - robots.txt 那一段回答「检索爬虫到底进不进得来」。验证:
curl -s https://yoursite.com/robots.txt | grep -A2 OAI-SearchBot,应该看到 Allow: /。最常见的错误是整个替换文件而不是追加 —— 那会把你原有的 Sitemap 行和别的规则一起丢掉。 - JSON-LD 回答「机器能不能不靠猜就知道你是谁」。验证:
curl -s https://yoursite.com/ | grep -c 'application/ld+json'—— 大于零就是有。想知道比「有」更多,把网址粘进 Google 的 Rich Results Test,它会指出缺哪个属性。
四个里只有一个越过了我们的显著性门槛。JSON-LD 是 ρ 0.391,门槛 0.285;llms.txt 是 0.168,没过。我们照样生成 llms.txt,因为成本低、也不会伤害你 —— 但我们不会告诉你它能提高引用。robots.txt 那段根本不是加分项,它是「在别的一切起作用之前,先别把自己关在门外」的那件事。
关于这四个文件,人们会问的问题
应该放行哪些 AI 爬虫?
检索类的:OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User。它们决定什么东西进检索池,封掉它们等于直接把自己排除在外。GPTBot、ClaudeBot、CCBot 是训练爬虫 —— 那是另一回事,封掉它们没有任何损失。
llms.txt 是官方标准吗?
不是。它是一个被提出的约定,采用程度参差不齐。加上它成本很低、也不会伤害你,所以我们生成它 —— 但我们不说它是排名因素,说证据很强是骗人。
这些真的能提高被引用率吗?
四个里有两个背后有引用率对比。带 JSON-LD 的页面被引用率 36%,不带的是 10%;放行检索爬虫的页面是 32%,拦住的是 7%。第三个 llms.txt 我们只有相关系数、没有对比:0.168,低于我们这个样本量所需的 0.285。这些全部来自同一份 48 条来源的实验,是相关性,不是因果证明 —— 完整的局限清单在方法论页。
这些文件多久生效?
文件本身在上传那一刻就上线了 —— 上面那些 curl 命令查的就是这个。但有没有谁来读它们是另一回事。爬虫会在它下一次访问时读到 robots.txt,而那个时间表没人公开。我们不会承诺 24 小时生效,因为那不是我们能承诺的。
我能只做一个吗?
能。如果只挑一个,挑 JSON-LD。它是这四个里唯一越过显著性门槛的(0.391 对 0.285)。robots.txt 那段的重要性排第二,但理由不同:它不是加分,是前提 —— 检索爬虫被封住的话,另外三个它一个都看不到。
这会覆盖我现有的 robots.txt 吗?
不会,也不该。生成器给的是一段供你追加的内容,不是一个用来替换的文件。整份替换是这里最常见的翻车方式:你会丢掉 Sitemap 行、已有的抓取频率规则和里面别的一切,而且没有任何东西会提醒你。
简单的部分做完了?
放进根目录的文件
- llms.txt 和 llms-full.txt
- robots.txt 的 AI 爬虫段
- 全站级 JSON-LD
生成器写不出来的部分
- 完整修复清单,按改动难度排序
- 每个模板的逐页 JSON-LD
- 你核心页面的 FAQ 块与摘要块
- 一步一步的上传说明
$199 一次性 · 尚未开放 · 你自己上传