成对谓词核验：怎样量出 AI 对一个品牌「信什么、说反了什么」

出现率量不到的东西

做 AI 可见度监测，最先量的是出现率：向引擎问一批买家会问的问题，数一数回答里有多少次提到这个品牌。这个数字有用，但它只回答了一半的问题。

一个品牌可以被频繁提到，同时被说错。AI 可以在十次回答里九次提到你，却把你「全港首家」的说法归给了对手，或者对你最看重的那项资历一无所知。出现率对这两种情况是瞎的：它数的是名字，不是认知。

要量认知，直觉的做法是让另一个模型给回答「打准确度分」。我们没有这么做，原因在下一节。

为什么不让 AI 给 AI 打准确度分

准确度打分要求有一个裁判知道真相。但关于一家公司的事实——它有多少门店、哪年推出了什么、拿过什么排名——真相不在我们手里，也不在裁判模型手里。它在这家公司自己公开的材料里，而且会变。

让模型裁定这些事实，等于用一个可能说错的系统去给另一个可能说错的系统判卷。让我们来裁定，则是越权：谁先推出了某项服务，不是一家测量机构该下结论的事。

所以这把尺换了一个问法。它不问「AI 说得对不对」，而问两件可以直接观察的事：AI 的说法与品牌公开说法是否一致；AI 自己前后是否自洽。 这两件事都不需要裁判。

方法：同一条声明，正着问一遍，反着问一遍

取品牌公开材料里的一条声明，记作 C；再写出它的直接否定，记作 ¬C。然后在两次互不相干的调用里分别问引擎：这句陈述是否正确？引擎只能回答是、否或不确定，并给一句依据。

一致

引擎认可 C，且不认可 ¬C。它的说法与品牌公开说法一致。

矛盾

引擎不认可 C，却认可 ¬C。品牌这样公开陈述，引擎答的是反面。注意措辞：这不等于「引擎错了」——哪一方为真，本测量不作裁定。

自相矛盾

引擎对 C 和 ¬C 都答「是」。它对这件事没有稳定的表征，换个问法就换个答案。

真空

引擎对 C 和 ¬C 都不认可。它读过的材料里没有这条事实。

四种结果对应四种不同的工作。矛盾意味着网上有一个与你相反的说法比你的更强势；真空意味着你写了，但没有写在 AI 读得到的地方；自相矛盾意味着两种说法势均力敌。只报一个「准确度 87 分」，这三件事就被搅成了一件。

三个会让读数作废的陷阱

这个方法看起来简单，但少了下面任何一条，量出来的数字就没有意义。

1. 两句必须分开问。 放在同一次对话里，引擎回答第二句时看得见自己对第一句的回答，于是会刻意保持一致。那样量到的是它的一致性表演，不是它的认知。
2. 必须有对照组，而且其中一半的句子是假的。 语言模型有顺从偏误：你陈述什么，它都倾向于点头。没有对照，「两句都答是」既可能是它对这个品牌认知混乱，也可能只是它对什么都点头。所以每一轮都混入与品牌无关、真伪确定的句子，例如「5G 流动网络于 1998 年在香港全面商用」。对这种句子答「是」的引擎，这一轮的全部读数作废。
3. 复合声明必须拆开。 「全港首家推出、而且毋须拉线」是两条事实。引擎可以只同意其中一条，合在一起问，得到的回答无法解读。拆开之后才看得出问题出在「首家」，还是出在服务本身。

第二条不是我们的发明。问卷心理测量里早有「反向计分题」，用来识别对什么都选「同意」的受访者；近年也有研究用成对陈述去探测语言模型的回答是否随问法改变。我们做的是把这套纪律搬到品牌事实上，并把它写成可以复核的规程。

第五种结果：轮间不稳

同一个问题，隔一小时再问一遍，引擎的回答未必相同。只问一轮，就分不清一个「矛盾」是引擎的稳定立场，还是这一次碰巧这样答。

所以同一组问题至少问两轮。两轮落在同一种结果，才报那一种；两轮不同，就报轮间不稳。它不是数据缺陷，而是一个结论：引擎对这条声明没有稳定立场。

噪声底

两轮结果不同的读数个数，除以两轮都有读数的个数。它是这把尺自身的抖动幅度，必须和结果一起给出——读者要先知道噪声有多大，才能判断某一条结果有多少分量。

有一条规矩我们写得很死：不得用多数表决抹掉轮间不稳。 问三轮、其中两轮相同，仍然报不稳。引擎既然给出过两个不同的答案，它没有稳定立场这件事就已经成立；多数表决只是把这个发现藏起来，换一个看上去更干净的数字。

书写形式也是变量——以及我们改过一次的规则

同一句话用繁体写和用简体写，意思完全相同。但对语言模型来说，这是两串不同的字符，背后连着两批不同的语料。香港品牌的公开材料多用繁体，而向 AI 提问的人未必。

所以这套谓词有一个逐字转换的简体版本——不改词、不改语序，只换书写形式——用它再问，与繁体的结果对比。

第一版规则只要求繁体问两轮、简体问一轮。这样量出来的差异是 44 个读数里 8 个（18.2%）。补问简体之后我们发现这个数偏高：换一轮简体，不同的仍是 8 个，却不是同一批——简体自己也有噪声底，单轮对照把它算进了「书写形式差异」。

规则于是改成对称的：两种书写形式各问两轮，比较只在两边各自都稳定的读数上进行。任何一边自己不稳的地方，差异无法归因于书写形式。报告时除了给出有多少读数不同，还分别给出有多少条「离开一致」、多少条「走向一致」：方向比数量更能说明问题。

一次实测：一家香港电讯商

2026 年 10 月，我们用观澜 GEO 平台的示范品牌——一家香港上市电讯商——跑了这套规程。声明全部取自该品牌自己的公开材料，共 12 条事实，另加 4 条对照；每条正反各问一次，覆盖 ChatGPT、Claude、Gemini、Perplexity 四个引擎，每轮 128 次提问，繁体、简体各两轮。

繁体的两轮里，12 条事实中有 9 条在四个引擎上都没有变化。抖动集中在剩下的三条——一条「全港首家」的宣称、一条网络覆盖范围的宣称、一条品牌排名的资历。不稳定不是均匀撒开的，它集中在 AI 本来就握得不牢的那几条声明上。

以「全港首家」那一条为例：四个引擎里，一个与品牌的说法一致，一个持相反说法并给出了它认为的另一家，两个在两轮之间给出了不同结果。对品牌的内容团队来说，这比任何一个总分都具体：他们知道该去为哪一句话补上可查证的出处。

这些数字是一个品牌、四个引擎、一次测量的结果，不是通用常数。每个项目都要自己测自己的噪声底。逐条结果和每个引擎给出的依据，可以在实测看板上查看。

推理栈：每一层用什么模型，为什么

一次完整的测量由四层组成。我们的原则是：能用规则的地方不用模型，能用便宜模型的地方不用贵模型，下结论的那一层不用模型。

1. 提问层。 把买家会问的问题原样交给各个引擎，记录它们平时会怎么回答。这是成本的大头，也是唯一不能省的一层——我们要量的就是这些回答。
2. 判读层。 从回答里读出提到了哪些品牌、语气如何。这是分类工作，交给便宜的模型批量完成。
3. 核验层。 就是本文讲的成对谓词。每次调用只要一个判断词和一句依据，采样温度设为 0，让重跑时的抖动尽量只来自引擎本身。
4. 比较层。 把各轮结果合成五种结果、算噪声底、做书写形式对照。这一层是纯粹的计算，没有任何模型参与：结论必须能被第三方用同样的输入重算出来。

核验层目前用的是通用对话模型加强制格式的回答。专门输出概率而不是文字的「决策模型」正在出现，它们会让这一层更便宜，也能把「不确定」量得更细。但这把尺不依赖它们：四种结果由两个回答的组合决定，不由概率的精度决定。

这把尺量不了什么

• 它不量真假。 「矛盾」只说明引擎的说法与品牌公开说法相反。品牌的公开说法本身可能已经过时。
• 它量的是通过接口取得的模型回答。 消费者在应用里看到的回答，可能因为联网搜索、个性化和版本差异而不同。
• 样本很小。 一个品牌的十几条声明，足以指出该修哪几句话，不足以对一个引擎下总体结论。
• 否定句是人写的。 一句写偏了的否定——变成了另一件事而不是原句的反面——会让那一条读数作废，所以否定句入库前要人工审定。
• 声明只取自品牌自己的公开材料。 我们不新增事实，也不替品牌决定哪些话值得问。

常见问题

成对谓词核验是什么？

一种测量 AI 对品牌认知的方法：对品牌公开材料中的每条声明，分两次独立地询问引擎该声明及其直接否定是否正确，由两个回答的组合得出一致、矛盾、自相矛盾或真空四种结果之一；两轮结果不同则记为轮间不稳。

它和「准确度评分」有什么不同？

准确度评分需要裁判知道真相。成对谓词核验不裁定声明真假，只观察引擎的说法与品牌公开说法是否一致、引擎自身是否自洽，因此不需要任何人或模型充当裁判。

为什么一定要有对照组？

语言模型倾向于附和任何陈述。没有对照，「正反两句都答是」无法区分是引擎对该品牌认知混乱，还是它对什么都点头。对照组里放入已知为假的句子，对其答「是」的引擎，该轮读数全部作废。

「轮间不稳」是什么意思？为什么不取多数？

同一组问题问两轮，结果不同即为轮间不稳，表示引擎对该声明没有稳定立场。不取多数，是因为引擎既已给出两个不同答案，它没有稳定立场这一点已经成立，多数表决只会掩盖这个发现。

噪声底是什么？

两轮结果不同的读数个数除以两轮都有读数的个数，表示测量自身的抖动幅度。示范品牌 2026 年 10 月的一次测量里，繁体与简体的噪声底同为 4/48（8.3%）。它是单次测量值，不可当作通用常数引用。

用繁体和简体提问，AI 的回答会不同吗？

在示范品牌的一次测量里，两种书写形式各自都稳定的 41 个读数中，有 5 个结果不同（12.2%），其中 3 个离开「一致」、1 个走向「一致」。这只是一个品牌的单次结果，但说明书写形式应当被当作变量来测，而不是假定无关。

「矛盾」是不是说明 AI 说错了？

不是。「矛盾」只表示品牌如此公开陈述、而引擎回答的是反面。哪一方为真不由本测量裁定；品牌的公开说法也可能已经过时。