Pourquoi la taille d'échantillon est le chiffre qui compte le plus

Mesurer la visibilité relève du sondage, pas du classement

Parce que les réponses de l'IA sont probabilistes, mesurer la visibilité s'apparente davantage à un sondage qu'à la vérification d'un classement. Posez une question à un moteur une seule fois et vous avez une anecdote. Posez-la de nombreuses fois, à travers différents modèles et conditions, et vous avez une estimation — avec une marge d'erreur qui diminue à mesure que vous interrogez davantage. La taille d'échantillon, n, est ce qui vous dit laquelle des deux vous tenez entre les mains.

Pourquoi nous le notons θ

Nous notons la visibilité θ (thêta) — la notation des statisticiens pour une probabilité que l'on estime, non un fait que l'on aurait vérifié. L'écrire ainsi est un rappel permanent : l'objet honnête est « la probabilité estimée qu'une réponse vous mentionne », et il ne devrait jamais être communiqué sans le n qui le soutient.

Le mode d'échec : la confiance à petit n

Une marque mentionnée dans quatre réponses sur cinq ressemble à une star à 80% — jusqu'à ce que vous remarquiez que les cinq échantillons suivants tombent à 40%, et que la « tendance » n'était que du bruit depuis le début. Les petits échantillons varient énormément ; la solution n'est pas un graphique plus astucieux mais davantage de données, et la discipline d'élargir honnêtement les barres d'erreur quand les données sont maigres.

La taille d'échantillon protège contre la sélection biaisée

Avec suffisamment de petits jeux de requêtes triés sur le volet, on peut faire dire presque n'importe quoi aux données. Un échantillon divulgué, stable et raisonnablement grand rend cela bien plus difficile — le dénominateur est la contrainte honnête qui empêche une mesure de devenir un exercice marketing. Quand vous lisez une affirmation sur la visibilité dans l'IA, la première question n'est pas « à quel point ? » mais « sur combien ? »