站上每个数字是怎么测出来的
这个站上引用的每一个数字都来自同一场实验。这一页就是全部 —— 设计、原始计数,以及每个数字背后的确切条件,让你能自己复现任何一个,或者指出哪一个算错了。
我们一开始的问题
当 AI 助手回答一个问题时,它并不读整个互联网。它读的是一份短名单 —— 检索池 —— 里面是某个系统认为值得抓取的页面。其中大多数被读了,然后丢掉。最后答案里引用的只有几个。
所以有两种完全不同的输法。你可能根本进不了池子,也可能进了池子却还是把引用输给了别人。从外面看这两件事一模一样:你没被提到。我们想知道第二种输法 —— 进了池子却仍然输 —— 是不是可以诊断,以及什么能预测它。
实验设计
五个真实的搜索问题,每个扩展成若干 fan-out 子查询,跑一遍网页搜索。得到一个 48 条唯一来源的池子。然后每条来源都在同样的问题上、用同样的模型、同样的温度测两遍:
- 条件 A —— 模型只看到每条结果的标题和摘要。对应 AI 搜索的第一跳:读结果列表。
- 条件 B —— 模型看到标题、摘要和页面正文。对应 AI 真的把页面打开读了。
其余全部固定。每个条件跑 5 次,外加 1 次倒序。每次请求都带一个绕过缓存的随机串。因为两个条件用的是同一批来源,任何差异都只能来自「模型有没有读到页面」。
结果
真正让我们意外的是结构,不是某一个数字。在条件 A 里(模型只看标题和摘要),页面级特征几乎是平的:平均绝对相关 0.088,最大的一个是负的 0.40,出现在 h1 数量上 —— 这个结果我们找不到机制,也不把它当真。在条件 B 里(模型能读页面),15 个页面级特征里有 9 个转向正相关,平均绝对相关升到 0.114。这个升幅很小;在这个样本量下,只有一个特征 —— JSON-LD,0.391 —— 越过了显著性线。
我们还发现,不稳定是「查询」的属性,不是均匀的噪声。五个问题里,被引用集合的运行间重合度落在 0.472 到 0.700 之间。有一个问题 —— robots.txt allow ai crawler gptbot —— 每次都由同样那两三条来源回答;另一个 —— best ai ppt maker —— 十四条来源里每次被引用的是二到五条。这个区分是我们手上最有希望的东西,同时也是最没被验证的:五个问题不足以确立它。
这些数字覆盖什么、不覆盖什么
我们的引用模型不是 ChatGPT。我们用的是 gpt-oss-20b,选它是因为它独立于我们、而且可复现。它的引用偏好不能假定等同于任何商业助手,我们也不会把它当成等同来呈现。
48 条来源太少。在这个样本量下,秩相关的双尾显著性阈值大约是 0.285。只有一个特征过线 —— JSON-LD,0.391。其余我们报告的都只是方向,不是结论。
相关不等于因果。带 JSON-LD 的页面,可能只是碰巧由更懂行的人做的。对 36% vs 10% 这个差距最诚实的读法是:结构化数据是「页面做得专业」的一个标志,它是不是引用的原因,不知道。
我们的检索池不是助手的检索池。它来自通用网页搜索,每个查询返回 5 条结果。商业助手的池子是用不同的索引、不同的排序建的。
页面正文被截断到 900 词。但在我们自己的数据里,长度并没有表现为优势:池子里最长的一篇有 11,582 词,六次运行一次都没被引用;8,184 词那篇被引用 4/5。
爬虫那条结论建立在 5 个被封的页面上。48 条来源里有 5 条拒绝检索爬虫(OAI-SearchBot、ChatGPT-User 或 PerplexityBot);有 7 条至少拒绝一种 AI 爬虫,但另外两条只封训练爬虫,而那不在这条结论的范围内。机制是成立的 —— 抓不到页面就不可能引用它 —— 但数字背后的样本只有 5 条。把它当成一个你可以自己验证的机制,不要当成效应量。
llms.txt 没有被证明有效。它是一个被提出的约定,采用程度参差不齐。我们生成它是因为它便宜、无害,不是因为我们有证据说它能提高被引用率。谁跟你说它能,谁就是在卖东西。
我们早前的一个结论是错的。更早一轮的结论是「页面级特征不能预测引用」。那个结论是测量缺陷造成的假象:那一轮里模型根本看不到页面,页面特征当然不起作用。我们把更正公开出来,因为这个错误本身有教益 —— 一个看不见被测对象的测量,永远会报告「没有效应」。
我们永远不卖什么
我们不卖单一的可见性分数。有人做过公开实测:同一个品牌、同一批 40 个提示词,三家工具分别报出 22、19、24 个命中。一个换个工具就变的数字,不是你能据以行动的数字。
我们不把结论锁在付费墙后面。体检把每一项结果都给你。付费买的是人工 —— 有人进到你站里把改动做掉 —— 不是信息。
我们不收钱改排名。任何我们收了钱的东西都会标注是付费的。如果我们将来有任何排名类产品,钱不能改变名次。
这一页就是方法本身。如果你在里面找到错误,那个错误才是有意思的部分 —— 我们宁愿公开更正,也不愿替它辩护。
关于方法的问题
你们的引用模型跟 ChatGPT 一样吗?
不一样。我们用的是可复现的第三方模型 gpt-oss-20b,温度 0.7。它独立于我们、可以重复,但不能假定它的引用偏好等同于任何商业助手。
你们为什么要公开局限?
因为这个品类里其他工具都只给一个分数、不给方法。如果我们的数字经不起被读,那就不该被引用。