方法约 4 分钟
为什么样本量是最重要的那个数字
一个可见度数字的可信度,只取决于它背后的 n。一份简短、实用的说明。
测量可见度是民调,不是查排名
由于 AI 回答是概率性的,测量可见度更像民意调查、而非查一个排名。向引擎问一次问题,你得到的只是一桩个例。多次询问,跨模型、跨条件,你得到的是一个估计——其误差范围随询问次数增多而收窄。样本量 n,正是告诉你手里拿的是这两者中的哪一个。
为什么我们把它写作 θ
我们把可见度写作 θ(theta)——统计学家用来表示「你正在估计的概率」、而非「你已查到的事实」的记号。这样写是一个长久的提醒:诚实的对象是「一个回答提及你的估计概率」,报告它时,永远都要带上支撑它的那个 n。
失败模式:小样本的自信
一个在五个回答里被提及四次的品牌,看起来像个 80% 的明星——直到你注意到接下来的五次采样落在 40%,而那个「趋势」自始至终都是噪音。小样本剧烈摆动;解药不是更聪明的图表,而是更多的数据,以及在数据稀薄时诚实地把误差棒放宽的纪律。
样本量防的是挑樱桃
有足够多的、小而精挑细选的提示词集,几乎任何故事都能讲出来。一个公开的、稳定的、合理大的样本,让这件事难得多——分母,是那个让「测量」不至于沦为「营销活动」的诚实约束。当你读到任何 AI 可见度的说法,第一个问题不是「多高?」,而是「几分之几?」
来源与延伸阅读
- 延伸:如何读懂一份 AI 可见度报告对任何可见度数字要问的三个问题。