成對謂詞核驗：怎樣量出 AI 對一個品牌「信什麼、說反了什麼」

出現率量不到的東西

做 AI 可見度監測，最先量的是出現率：向引擎問一批買家會問的問題，數一數回答裡有多少次提到這個品牌。這個數字有用，但它只回答了一半的問題。

一個品牌可以被頻繁提到，同時被說錯。AI 可以在十次回答裡九次提到你，卻把你「全港首家」的說法歸給了對手，或者對你最看重的那項資歷一無所知。出現率對這兩種情況是瞎的：它數的是名字，不是認知。

要量認知，直覺的做法是讓另一個模型給回答「打準確度分」。我們沒有這麼做，原因在下一節。

為什麼不讓 AI 給 AI 打準確度分

準確度打分要求有一個裁判知道真相。但關於一家公司的事實——它有多少門市、哪年推出了什麼、拿過什麼排名——真相不在我們手裡，也不在裁判模型手裡。它在這家公司自己公開的材料裡，而且會變。

讓模型裁定這些事實，等於用一個可能說錯的系統去給另一個可能說錯的系統判卷。讓我們來裁定，則是越權：誰先推出了某項服務，不是一家測量機構該下結論的事。

所以這把尺換了一個問法。它不問「AI 說得對不對」，而問兩件可以直接觀察的事：AI 的說法與品牌公開說法是否一致；AI 自己前後是否自洽。 這兩件事都不需要裁判。

方法：同一條聲明，正著問一遍，反著問一遍

取品牌公開材料裡的一條聲明，記作 C；再寫出它的直接否定，記作 ¬C。然後在兩次互不相干的調用裡分別問引擎：這句陳述是否正確？引擎只能回答是、否或不確定，並給一句依據。

一致

引擎認可 C，且不認可 ¬C。它的說法與品牌公開說法一致。

矛盾

引擎不認可 C，卻認可 ¬C。品牌這樣公開陳述，引擎答的是反面。注意措辭：這不等於「引擎錯了」——哪一方為真，本測量不作裁定。

自相矛盾

引擎對 C 和 ¬C 都答「是」。它對這件事沒有穩定的表徵，換個問法就換個答案。

真空

引擎對 C 和 ¬C 都不認可。它讀過的材料裡沒有這條事實。

四種結果對應四種不同的工作。矛盾意味著網上有一個與你相反的說法比你的更強勢；真空意味著你寫了，但沒有寫在 AI 讀得到的地方；自相矛盾意味著兩種說法勢均力敵。只報一個「準確度 87 分」，這三件事就被攪成了一件。

三個會讓讀數作廢的陷阱

這個方法看起來簡單，但少了下面任何一條，量出來的數字就沒有意義。

1. 兩句必須分開問。 放在同一次對話裡，引擎回答第二句時看得見自己對第一句的回答，於是會刻意保持一致。那樣量到的是它的一致性表演，不是它的認知。
2. 必須有對照組，而且其中一半的句子是假的。 語言模型有順從偏誤：你陳述什麼，它都傾向於點頭。沒有對照，「兩句都答是」既可能是它對這個品牌認知混亂，也可能只是它對什麼都點頭。所以每一輪都混入與品牌無關、真偽確定的句子，例如「5G 流動網絡於 1998 年在香港全面商用」。對這種句子答「是」的引擎，這一輪的全部讀數作廢。
3. 複合聲明必須拆開。 「全港首家推出、而且毋須拉線」是兩條事實。引擎可以只同意其中一條，合在一起問，得到的回答無法解讀。拆開之後才看得出問題出在「首家」，還是出在服務本身。

第二條不是我們的發明。問卷心理測量裡早有「反向計分題」，用來識別對什麼都選「同意」的受訪者；近年也有研究用成對陳述去探測語言模型的回答是否隨問法改變。我們做的是把這套紀律搬到品牌事實上，並把它寫成可以覆核的規程。

第五種結果：輪間不穩

同一個問題，隔一小時再問一遍，引擎的回答未必相同。只問一輪，就分不清一個「矛盾」是引擎的穩定立場，還是這一次碰巧這樣答。

所以同一組問題至少問兩輪。兩輪落在同一種結果，才報那一種；兩輪不同，就報輪間不穩。它不是數據缺陷，而是一個結論：引擎對這條聲明沒有穩定立場。

噪聲底

兩輪結果不同的讀數個數，除以兩輪都有讀數的個數。它是這把尺自身的抖動幅度，必須和結果一起給出——讀者要先知道噪聲有多大，才能判斷某一條結果有多少分量。

有一條規矩我們寫得很死：不得用多數表決抹掉輪間不穩。 問三輪、其中兩輪相同，仍然報不穩。引擎既然給出過兩個不同的答案，它沒有穩定立場這件事就已經成立；多數表決只是把這個發現藏起來，換一個看上去更乾淨的數字。

書寫形式也是變量——以及我們改過一次的規則

同一句話用繁體寫和用簡體寫，意思完全相同。但對語言模型來說，這是兩串不同的字符，背後連著兩批不同的語料。香港品牌的公開材料多用繁體，而向 AI 提問的人未必。

所以這套謂詞有一個逐字轉換的簡體版本——不改詞、不改語序，只換書寫形式——用它再問，與繁體的結果對比。

第一版規則只要求繁體問兩輪、簡體問一輪。這樣量出來的差異是 44 個讀數裡 8 個（18.2%）。補問簡體之後我們發現這個數偏高：換一輪簡體，不同的仍是 8 個，卻不是同一批——簡體自己也有噪聲底，單輪對照把它算進了「書寫形式差異」。

規則於是改成對稱的：兩種書寫形式各問兩輪，比較只在兩邊各自都穩定的讀數上進行。任何一邊自己不穩的地方，差異無法歸因於書寫形式。報告時除了給出有多少讀數不同，還分別給出有多少條「離開一致」、多少條「走向一致」：方向比數量更能說明問題。

一次實測：一家香港電訊商

2026 年 10 月，我們用觀瀾 GEO 平台的示範品牌——一家香港上市電訊商——跑了這套規程。聲明全部取自該品牌自己的公開材料，共 12 條事實，另加 4 條對照；每條正反各問一次，覆蓋 ChatGPT、Claude、Gemini、Perplexity 四個引擎，每輪 128 次提問，繁體、簡體各兩輪。

繁體的兩輪裡，12 條事實中有 9 條在四個引擎上都沒有變化。抖動集中在剩下的三條——一條「全港首家」的宣稱、一條網絡覆蓋範圍的宣稱、一條品牌排名的資歷。不穩定不是均勻撒開的，它集中在 AI 本來就握得不牢的那幾條聲明上。

以「全港首家」那一條為例：四個引擎裡，一個與品牌的說法一致，一個持相反說法並給出了它認為的另一家，兩個在兩輪之間給出了不同結果。對品牌的內容團隊來說，這比任何一個總分都具體：他們知道該去為哪一句話補上可查證的出處。

這些數字是一個品牌、四個引擎、一次測量的結果，不是通用常數。每個項目都要自己測自己的噪聲底。逐條結果和每個引擎給出的依據，可以在實測看板上查看。

推理棧：每一層用什麼模型，為什麼

一次完整的測量由四層組成。我們的原則是：能用規則的地方不用模型，能用便宜模型的地方不用貴模型，下結論的那一層不用模型。

1. 提問層。 把買家會問的問題原樣交給各個引擎，記錄它們平時會怎麼回答。這是成本的大頭，也是唯一不能省的一層——我們要量的就是這些回答。
2. 判讀層。 從回答裡讀出提到了哪些品牌、語氣如何。這是分類工作，交給便宜的模型批量完成。
3. 核驗層。 就是本文講的成對謂詞。每次調用只要一個判斷詞和一句依據，採樣溫度設為 0，讓重跑時的抖動盡量只來自引擎本身。
4. 比較層。 把各輪結果合成五種結果、算噪聲底、做書寫形式對照。這一層是純粹的計算，沒有任何模型參與：結論必須能被第三方用同樣的輸入重算出來。

核驗層目前用的是通用對話模型加強制格式的回答。專門輸出概率而不是文字的「決策模型」正在出現，它們會讓這一層更便宜，也能把「不確定」量得更細。但這把尺不依賴它們：四種結果由兩個回答的組合決定，不由概率的精度決定。

這把尺量不了什麼

• 它不量真假。 「矛盾」只說明引擎的說法與品牌公開說法相反。品牌的公開說法本身可能已經過時。
• 它量的是透過接口取得的模型回答。 消費者在應用程式裡看到的回答，可能因為聯網搜尋、個人化和版本差異而不同。
• 樣本很小。 一個品牌的十幾條聲明，足以指出該修哪幾句話，不足以對一個引擎下總體結論。
• 否定句是人寫的。 一句寫偏了的否定——變成了另一件事而不是原句的反面——會讓那一條讀數作廢，所以否定句入庫前要人工審定。
• 聲明只取自品牌自己的公開材料。 我們不新增事實，也不替品牌決定哪些話值得問。

常見問題

成對謂詞核驗是什麼？

一種測量 AI 對品牌認知的方法：對品牌公開材料中的每條聲明，分兩次獨立地詢問引擎該聲明及其直接否定是否正確，由兩個回答的組合得出一致、矛盾、自相矛盾或真空四種結果之一；兩輪結果不同則記為輪間不穩。

它和「準確度評分」有什麼不同？

準確度評分需要裁判知道真相。成對謂詞核驗不裁定聲明真假，只觀察引擎的說法與品牌公開說法是否一致、引擎自身是否自洽，因此不需要任何人或模型充當裁判。

為什麼一定要有對照組？

語言模型傾向於附和任何陳述。沒有對照，「正反兩句都答是」無法區分是引擎對該品牌認知混亂，還是它對什麼都點頭。對照組裡放入已知為假的句子，對其答「是」的引擎，該輪讀數全部作廢。

「輪間不穩」是什麼意思？為什麼不取多數？

同一組問題問兩輪，結果不同即為輪間不穩，表示引擎對該聲明沒有穩定立場。不取多數，是因為引擎既已給出兩個不同答案，它沒有穩定立場這一點已經成立，多數表決只會掩蓋這個發現。

噪聲底是什麼？

兩輪結果不同的讀數個數除以兩輪都有讀數的個數，表示測量自身的抖動幅度。示範品牌 2026 年 10 月的一次測量裡，繁體與簡體的噪聲底同為 4/48（8.3%）。它是單次測量值，不可當作通用常數引用。

用繁體和簡體提問，AI 的回答會不同嗎？

在示範品牌的一次測量裡，兩種書寫形式各自都穩定的 41 個讀數中，有 5 個結果不同（12.2%），其中 3 個離開「一致」、1 個走向「一致」。這只是一個品牌的單次結果，但說明書寫形式應當被當作變量來測，而不是假定無關。

「矛盾」是不是說明 AI 說錯了？

不是。「矛盾」只表示品牌如此公開陳述、而引擎回答的是反面。哪一方為真不由本測量裁定；品牌的公開說法也可能已經過時。