Besaid

Méthodologie

Les chiffres ne valent que par la façon dont on les mesure

Quand vous annoncez à votre conseil « l'IA nous recommande deux fois plus souvent », quelqu'un demandera comment vous le savez. Cette page est cette réponse. Nous publions notre méthode de mesure — pour que chaque chiffre que nous vous remettons puisse résister à la question.

(01)

Des chiffres que vous pouvez défendre devant votre conseil d'administration

Un score de visibilité sans n est une supposition déguisée en fait. Nous indiquons le dénominateur derrière chaque chiffre, pour que vous puissiez distinguer un vrai signal du bruit.

θ = 18%158 / 882 réponses échantillonnées

±IC affiché avec chaque θ · À titre indicatif

(02)

Nous testons ce que chaque marché voit réellement

Qui pose la question, où se situe le service, le point de vue simulé, le nœud de sortie réel et la langue de l'interface/de la réponse sont cinq choses différentes. Les confondre masque la vérité. Nous les gardons distincts.

L1qui pose la question
L2où se situe le service
L3point de vue simulé
L4nœud de sortie réel
L5Langue de l'interface / de la réponse

cinq couches, jamais confondues

(03)

Les deux versions de chaque IA, vérifiées

La réponse via l'API d'un moteur et sa réponse via l'application puisent dans des ensembles de sources différents. Nous échantillonnons les deux et calibrons l'écart — une distinction que les concurrents ne reconnaissent même pas.

même prompt
API
bassin de sources A
App
bassin de sources B

Δ échantillonné sur les deux canaux, écart calibré

(04)

Vos données gagnent en valeur chaque année

Nous conservons la réponse brute avec une empreinte d'intégrité, versionnée par extracteur. À mesure que l'extraction s'améliore, tout l'historique peut être réanalysé — ainsi vos données prennent de la valeur au lieu de se dégrader.

réponse brutesha:9f3a…c41d
extractor v1
extractor v2
extractor v3

l'historique réanalysé à mesure que l'extraction s'améliore

(05)

Chaque chiffre a sa preuve à l'appui

Chaque affirmation renvoie à la réponse source. L'auditabilité est une fonctionnalité de premier plan : quand le service achats d'un client demande « d'où vient ce chiffre », nous mettons la chaîne de preuves sur la table.

θ 18%métrique
“…Acme…”mot pour mot
★ acme.example.comsource

chaque affirmation se rejoue jusqu'à sa réponse — la chaîne est posée sur la table

La méthode est publique. Les années de réponses suivies ne le sont pas.

La mesure est le point de départ d'une mission, pas son aboutissement — notre équipe reprend les constats et réalise le travail d'optimisation. La méthode est ouverte ; l'archive de réponses accumulée qui la sous-tend se gagne, elle n'est pas à vendre.

Obtenez un diagnostic gratuit