No trates como una cifra precisa el CI de un test que no publica los fundamentos necesarios para evaluarlo. Los anuncios, la posición en los buscadores, una pantalla de resultados cuidada o un certificado de CI no demuestran su calidad psicométrica. Para valorar también el precio y las condiciones de contratación, consulta la guía para elegir un test de CI online fiable.
Los cuatro elementos que determinan la calidad de un test de CI
| Elemento | Qué hay que comprobar | Qué ocurre si falta |
|---|---|---|
| Estandarización | Si las condiciones de aplicación y puntuación son uniformes | Las diferencias de dispositivo, tiempo o corrección se mezclan con la puntuación |
| Baremos | Con qué datos se compara el resultado | Un CI de 100 o el 2 % superior no tienen un significado definido |
| Fiabilidad | Hasta qué punto las puntuaciones son consistentes | Los aciertos y errores fortuitos cambian mucho la cifra |
| Validez | Si la puntuación puede interpretarse como la capacidad indicada | Un resultado de razonamiento con figuras se extiende indebidamente al CI total |
Ninguno de estos cuatro elementos permite juzgar por sí solo la calidad de la medición. Por ejemplo, aunque la fiabilidad sea alta, si el test solo mide razonamiento con figuras, no es válido como CI total que incluya lenguaje, memoria y velocidad de procesamiento.
Estandarización y baremos
La estandarización consiste en uniformar las instrucciones, los límites de tiempo, la presentación de las preguntas, la corrección y el tratamiento de las respuestas fuera de tiempo y las interrupciones. En un test online también forman parte de las condiciones las diferencias de visualización entre móvil y ordenador, la latencia de la conexión, los intentos repetidos y el uso de búsquedas o notas. Si personas con la misma capacidad obtienen un CI muy distinto solo por el dispositivo o el número de intentos, la escala no permite compararlas.
Los baremos definen con quién se compara el CI. Convertir el número de aciertos a una escala con media 100 y desviación típica 15 es posible con los datos de cualquier grupo. Fijar en 100 la media de quienes visitan una web no significa que el resultado indique su posición entre la población adulta general de España.
Al valorar los baremos, hay que mirar más allá del número de participantes: edad, idioma, región, método de captación, tratamiento de los intentos repetidos, respuestas inusuales y abandonos, ajuste por edad, año de recogida y correspondencia con las preguntas y el sistema de puntuación actuales.
Aunque se anuncien «100.000 participantes», no puede juzgarse la calidad del baremo si no se sabe si incluye varios intentos de una misma persona, cuántas personas hay de cada edad o cuándo se recogieron los datos. Tampoco se pueden aplicar sin más los baremos de otra versión lingüística a un test que solo se ha traducido al español. Los principios básicos de la Sociedad Japonesa de Tests también exigen registrar y publicar el grupo normativo, la muestra, los procedimientos de estandarización y la información estadística.
Fiabilidad, error de medida e intervalo de confianza
La fiabilidad expresa, mediante un coeficiente de 0 a 1, cuánta información consistente contiene una puntuación. La fiabilidad que evalúa la coherencia entre los ítems y la fiabilidad test-retest, que evalúa la estabilidad al repetir la prueba otro día, responden a preguntas distintas. No basta con escribir «fiabilidad 0,90»: hay que indicar qué tipo se calculó, con qué datos y para qué puntuación.
A partir de la fiabilidad puede calcularse el error típico de medida (SEM) de una puntuación individual. En una escala de CI con desviación típica 15 y fiabilidad 0,90, el SEM es de unos 4,7 puntos. Si se calcula un intervalo de confianza del 95 % mediante ±1,96 SEM, un CI de 130 tendría un intervalo aproximado de 121 a 139. Una fiabilidad de 0,90 no significa que la puntuación sea precisa hasta el último punto.
Esto representa el error de medida presente en una puntuación individual obtenida en una aplicación. Un intervalo de confianza estrecho no corrige un sesgo en la muestra normativa ni resuelve si es válido llamar CI total a una puntuación de razonamiento con figuras.
Validez y amplitud de las capacidades medidas
La validez determina si una puntuación puede interpretarse como la capacidad que indica el test. Hay que comprobar si el contenido de las preguntas cubre esa capacidad, si los datos confirman la estructura de puntuaciones prevista y si los resultados se relacionan como se esperaba con pruebas de inteligencia o tareas afines ya existentes.
Las matrices y otros problemas con figuras pueden formar un buen test de razonamiento con figuras o razonamiento fluido. Sin embargo, aunque 30 preguntas de figuras produzcan una fiabilidad alta, eso no significa que se hayan medido vocabulario, conocimientos, memoria de trabajo y velocidad de procesamiento. Para mostrar un CI total hacen falta preguntas que midan varias capacidades y fundamentos que permitan reunirlas en una puntuación global.
Una «correlación de 0,70 con un test de CI existente» tampoco significa que el resultado sea un 70 % exacto. La correlación indica hasta qué punto dos puntuaciones suben y bajan juntas. Si se sumaran 10 puntos a la puntuación de todas las personas, la correlación con la puntuación original sería 1, aunque todas las cifras estuvieran desplazadas 10 puntos. Para decidir si los resultados pueden tratarse como el mismo CI hay que conocer el nombre y la edición de la prueba comparada, la muestra, la diferencia media y las diferencias según el tramo de puntuación.
Las preguntas y los baremos necesarios para medir un CI alto
Para distinguir un CI de 130 de uno de 140 hay que superar dos techos.
| Techo | Qué hace falta | Qué ocurre si no basta |
|---|---|---|
| Techo de las preguntas | Preguntas que sigan diferenciando entre personas de capacidad alta | Quienes obtienen mejores resultados aciertan casi todo y no se pueden observar sus diferencias de capacidad |
| Techo del baremo | Datos suficientes en el tramo superior y un método de conversión adecuado | No se pueden estimar con estabilidad cifras de CI muy próximas a partir del mismo número de aciertos |
Aunque la muestra total sea grande, en los extremos de la distribución hay pocas personas. Si se asume una distribución normal con media 100 y desviación típica 15, una muestra de 2.000 personas contendría unas 8 con un CI de 140 o más. Esos datos no bastan para distinguir con detalle entre un CI de 140, 142 y 145. El artículo sobre puntuaciones de CI y proporción de población explica por qué resulta más difícil reunir los datos necesarios cuanto más alta es la puntuación.
De los 2.200 menores de la muestra normativa habitual del WISC-V, 16 obtuvieron 150 o más en alguna puntuación compuesta. Por eso se elaboraron baremos ampliados para el tramo superior y se comprobaron también con una muestra separada de 108 menores de alta capacidad. Incluso las pruebas más conocidas necesitan un diseño de preguntas y datos específicos para el tramo superior.
La información pública necesaria para valorar la calidad de la medición
Al consultar la información pública, busca estas correspondencias en lugar de basarte en los mensajes publicitarios.
| Qué se valora | Información pública necesaria |
|---|---|
| Con quién se compara la puntuación | Población objetivo, composición de la muestra, año de recogida y método de conversión |
| Qué capacidad mide la puntuación | Composición de las preguntas, estructura de puntuaciones y métodos y resultados de la evaluación de la validez |
| Cuánto error contiene la puntuación | Condiciones de aplicación, tipo de fiabilidad, SEM y métodos de comprobación en el tramo superior |
No es necesario publicar todos los datos brutos, el algoritmo de puntuación ni las preguntas reales. Si se conocen la población objetivo, la muestra, las condiciones de aplicación, el método de conversión, la fiabilidad y el error, los principales resultados de validez y la correspondencia entre la información técnica y la versión actual, el usuario puede evaluar las afirmaciones.
En cambio, si no hay información para evaluarlas, aunque aparezca una cifra precisa como CI 137 no se pueden confirmar su significado y su precisión. No trates como una cifra precisa el CI de un test que no publica sus fundamentos. Esa es la conclusión práctica.
Los fundamentos de medición que publica BrainTypeIQ
BrainTypeIQ explica por qué eligió nueve tareas y cómo corresponden a cinco áreas, y cómo construye el CI total y las cinco áreas a partir de esas nueve tareas.
También publica la conversión a puntuaciones estandarizadas y el método de composición, los baremos de la versión japonesa basados en 841 personas que completaron su primer intento y una fiabilidad de 0,929 con un SEM aproximado de 4,0 puntos para el CI total. Si buscas una evaluación formal o un resultado para presentar a terceros, elige a partir de las diferencias de función entre la WAIS y los tests de CI online, en lugar de limitarte a comparar la calidad de los tests online.