Cómo leer un informe de visibilidad en la IA sin engañarte a ti mismo

El mercado de la visibilidad en la IA es joven, y los mercados jóvenes premian las cifras contundentes por encima de las honestas. Un proveedor puede poner «82 % de visibilidad» en una diapositiva y la mayoría de los compradores asentirá. Y lo que está en juego es real: EAB descubrió que el 18 % de los estudiantes ha eliminado un centro de su lista basándose únicamente en resultados de la IA. Antes de confiar en una cifra, tres preguntas separan una medición de un adorno.

Uno: ¿cuál es el denominador?

Un porcentaje sin un tamaño de muestra es un número sin escala. Un «82 %» sobre once prompts es un cara o cruz disfrazado de hecho; esa misma cifra sobre dos mil prompts significa algo. Todo número de visibilidad honesto debería llegar con su n adjunta, y usted está en su derecho de pedirla antes que ninguna otra cosa.

Dos: ¿qué preguntas, y quién las eligió?

La visibilidad sobre el nombre de su propia marca es fácil y casi irrelevante: por supuesto que el motor le conoce cuando le preguntan por usted. Lo que importa es la visibilidad sobre la pregunta de categoría que escribe un comprador real: «mejor programa puente (pathway) para estudiantes internacionales», no «¿es buena Acme?». Si la lista de prompts está oculta, o seleccionada para halagar, la cifra es puro teatro.

Tres: ¿puede ver la respuesta que hay detrás de la cifra?

Esta es la que la mayoría de las herramientas suspende. Un informe fiable permite descender desde cualquier métrica hasta la respuesta textual de la IA —las palabras exactas, el motor, la marca de tiempo— para comprobar que la herramienta contó una mención real y no una coincidencia de redacción. Si no puede pasar de la puntuación a la frase, le están pidiendo que confíe en una caja negra.

Nada de esto requiere una carrera en estadística. Denominador, conjunto de preguntas, pruebas textuales: pide esas tres cosas y la mayoría de los números confiados del mercado se vuelven discretamente más honestos.