方法閱讀時間 4 分鐘
為什麼樣本數是最重要的那個數字
一個能見度數字的可信度,取決於它背後的 n。一篇簡短而實用的說明。
測量能見度是在做民調,不是在排名次
因為 AI 的答案是機率性的,衡量能見度比較像做民調,而不像查排名。向引擎問一次,你得到的是一則軼事。跨不同模型與條件問上許多次,你得到的才是一個估計值——而它的誤差範圍,會隨著提問次數增加而縮小。樣本數 n,正是告訴你手上握的是這兩者中的哪一個。
我們為什麼把它寫成 θ
我們把能見度寫成 θ(theta)——這是統計學家用來表示『你正在估計的機率』的符號,而非你查得到的既定事實。這樣寫是一個長久的提醒:誠實的對象是『一則回答提及你的估計機率』,而且絕不該在沒有支撐它的 n 之下被報告出來。
失效模式:小樣本卻信心滿滿
一個在五則答案中被提及四次的品牌,看起來像是 80% 的明星——直到你發現接下來五次取樣只落在 40%,那條『趨勢』其實從頭到尾都只是雜訊。小樣本會劇烈擺盪;解方不是更花俏的圖表,而是更多資料,以及在資料稀薄時,願意誠實地把誤差範圍畫寬的紀律。
樣本數能防止刻意挑選有利數據
只要有夠多精挑細選的小型提示詞組,幾乎任何故事都能被講出來。一個公開、穩定、規模合理夠大的樣本,會讓這件事困難得多——分母正是那道誠實的約束,讓測量不至於淪為行銷操作。當你讀到任何 AI 能見度的說法,第一個該問的不是『有多高?』,而是『從多少個裡面算出來的?』
來源與延伸閱讀
- 延伸閱讀:如何看懂 AI 能見度報告該問任何能見度數字的三個問題。