哪些查询根本没有赢家
把同一条查询跑六次,再比较每次被点名的来源集合。我们那五条查询里,这个重合度从 0.472 到 0.700 —— 就这一个数,能说明一条查询有没有霸主,以及它到底值不值得你去争。
这个指标
每条查询我们跑六次,记下每次答案点名的来源集合。然后把每一对运行拿来比:这两个引用集重合多少?我们把这些两两重合度取平均,叫「被引用集合的跨运行重合度」。数值高,说明总是同一批来源被点名;数值低,说明答案每次都落到另一份短名单上。
这测的是不稳定性,不是质量。它不说明一个页面好不好,它说明的是:这个答案定下来了吗。
一条每次运行被点名的来源几乎不变的查询,是已经有人占住的查询。一条两次运行之间共享不到一半来源的查询,是答案还在被决定的查询。
我们那五条查询的区间
- 最稳:0.700,出现在「robots.txt allow ai crawler gptbot」上。池子里 5 个来源,每次点名两三个,其中有一个在每一次运行里都被点名。
- 最不稳:0.472,出现在「best ai ppt maker」上。池子里 14 个来源,只有其中一个在全部 5 次可用运行里都被点名。
- 同样的模型、同样的温度、同一天。唯一的变量是查询。
那条不稳的,展开看
在「best ai ppt maker」上,5 次可用运行一共出现了 14 个不同的网址,其中只有一个 —— ppt.ai —— 五次都被点名。14 个里有 8 个一次都没被点名。这条查询的任意两次运行,通常共享不到一半的被引用来源。
把它当决策依据而不是分数来看,这个数字说的是:这条查询没有人锁住。测它不便宜 —— 每条查询六次运行不是免费的 —— 但它是决定下个月该往哪投的唯一诚实依据。
那条稳的,以及它警告你的事
我们那组里最稳的是一条关于 robots.txt 指令的技术查询,0.700。池子里 5 个来源,其中一个每次都被点名。如果你为这条查询写一个页面,你是在跟一个已经定下来的答案竞争 —— 而你要打败的第一样东西不是另外几个页面,而是「引擎已经知道自己要说什么」这件事本身。
这不能告诉你的事
高重合度可能意味着答案定了,也可能意味着池子太小、没别的可挑。正因为如此,我们在每个查询页上把池子大小和重合度并排印出来 —— 5 个来源上的 0.700,和 14 个来源上的 0.472,是两种不同的情况,单看那个数字分不出来。
这篇会引出的问题
跨运行重合度到底是什么?
把每次运行点名的来源集合拿出来,两两比较,再把这些 Jaccard 重合度取平均。0.70 意味着两次运行之间点名的来源合起来有十个,其中七个是共享的;0.47 意味着共享不到一半。它算在被引用集合上,不是算在检索池上。
能拿它来选关键词吗?
作为一项输入可以 —— 重合度低意味着被引用集合还在动,也就还有空间。但它不是需求信号:一条查询可以既不稳定、又没人搜。我们没有搜索量数据,也不假装有。
为什么只有五条查询?
每条查询要跑六次检索,而公开方法的全部意义就在于让成本可见。五条是我们一次能诚实跑完的量;再多是预算问题,不是方法问题。