Comment lire un rapport de visibilité dans l'IA sans se leurrer

Le marché de la visibilité dans l'IA est jeune, et les marchés jeunes récompensent les chiffres assurés plutôt que les chiffres honnêtes. Un prestataire peut afficher « 82 % de visibilité » sur une diapositive et la plupart des acheteurs hocheront la tête. Or l'enjeu est réel : selon EAB, 18 % des étudiants ont retiré un établissement de leur liste sur la seule foi de résultats d'IA. Avant de vous fier à un chiffre, trois questions séparent une mesure d'une décoration.

Un : quel est le dénominateur ?

Un pourcentage sans taille d'échantillon est un nombre sans échelle. « 82% » sur onze prompts, c'est un tirage à pile ou face déguisé en fait ; le même chiffre sur deux mille prompts veut dire quelque chose. Tout chiffre de visibilité honnête devrait arriver avec son n, et vous êtes en droit de le demander avant toute chose.

Deux : quelles questions, et qui les a choisies ?

La visibilité sur votre propre nom de marque est facile et presque dénuée de sens — bien sûr que le moteur vous connaît quand on l'interroge à votre sujet. Ce qui compte, c'est la visibilité sur la question de catégorie qu'un vrai acheteur tape : « meilleur programme passerelle pour étudiants internationaux », pas « Acme est-il bon ». Si la liste de prompts est cachée, ou triée pour flatter, le chiffre n'est que du théâtre.

Trois : pouvez-vous voir la réponse derrière le chiffre ?

C'est celle où la plupart des outils échouent. Un rapport digne de confiance vous permet de descendre de n'importe quelle mesure jusqu'à la réponse mot pour mot de l'IA — les mots exacts, le moteur, l'horodatage — afin de vérifier que l'outil a compté une vraie mention et non une coïncidence de formulation. Si vous ne pouvez pas remonter du score à la phrase, on vous demande de faire confiance à une boîte noire.

Rien de tout cela n'exige un diplôme de statistiques. Dénominateur, jeu de questions, preuves mot pour mot — exigez ces trois éléments, et la plupart des chiffres assurés du marché deviennent discrètement plus honnêtes.