Ne considérez pas comme précis le QI d'un test qui ne publie pas les données nécessaires pour l'évaluer. Une publicité, un bon classement dans les résultats de recherche, une belle présentation des résultats ou un certificat de QI ne prouvent pas la qualité de mesure. L'article Choisir un test de QI en ligne fiable traite aussi des tarifs et des conditions d'abonnement.
Les quatre éléments qui déterminent la qualité d'un test de QI
| Élément | Question à examiner | Conséquence s'il manque |
|---|---|---|
| Standardisation | Les conditions de passation et de cotation sont-elles uniformes? | L'appareil, le temps disponible ou la méthode de cotation influencent le score |
| Normes | À quelles données le résultat est-il comparé? | Un QI de 100 ou une position parmi les 2 % ayant les scores les plus élevés perd son sens |
| Fiabilité | Dans quelle mesure les scores sont-ils cohérents? | Des réponses justes ou fausses dues au hasard font beaucoup varier le résultat |
| Validité | Le score représente-t-il bien la capacité annoncée? | Un résultat de raisonnement visuel est présenté abusivement comme un QI global |
Aucun de ces quatre éléments ne suffit à lui seul. Par exemple, même un test très fiable ne permet pas de produire un QI global valide qui couvre le langage, la mémoire et la vitesse de traitement s'il ne mesure que le raisonnement visuel.
La standardisation et les normes
La standardisation consiste à uniformiser les consignes, les limites de temps, la présentation des questions, la cotation et le traitement des interruptions ou du temps écoulé. Pour un test en ligne, les différences d'affichage entre téléphone intelligent et ordinateur, les délais de connexion, les nouvelles tentatives, les recherches sur Internet et la prise de notes font aussi partie des conditions de mesure. Si deux personnes ayant les mêmes capacités obtiennent des QI très différents uniquement à cause de leur appareil ou du nombre de tentatives, les scores ne sont pas comparables.
Les normes définissent le groupe auquel votre QI est comparé. Il est possible de convertir les bonnes réponses de n'importe quel groupe pour obtenir une moyenne de 100 et un écart-type de 15. Fixer à 100 la moyenne des seuls visiteurs d'un site ne suffit pas à situer une personne parmi l'ensemble des adultes.
Pour comprendre les normes, la taille de l'échantillon ne suffit pas. Il faut aussi connaître l'âge, la langue, la région, le recrutement, le traitement des nouvelles tentatives, des réponses anormales et des abandons, l'ajustement selon l'âge, l'année de collecte et la correspondance avec les questions et la cotation actuelles.
Même l'annonce de « 100 000 participants » ne permet pas d'évaluer les normes si on ignore si une même personne compte plusieurs fois, combien de personnes appartiennent à chaque tranche d'âge ou quand les données ont été recueillies. Traduire simplement un test ne permet pas non plus de lui appliquer tels quels les résultats d'étalonnage d'une autre langue. Les principes de la Société japonaise de recherche sur les tests demandent aussi de documenter et de publier le groupe normatif, l'échantillon, les procédures de standardisation et les informations statistiques.
La fiabilité, l'erreur de mesure et l'intervalle de confiance
La fiabilité exprime, par un coefficient de 0 à 1, la part d'information cohérente contenue dans un score. La cohérence entre les questions et la stabilité du résultat lors d'une nouvelle passation à une autre date répondent à des questions différentes. La mention « fiabilité de 0,90 » doit donc préciser le type de fiabilité, les personnes dont les données ont été utilisées et le score analysé.
La fiabilité permet de calculer l'erreur standard de mesure, ou SEM, d'un score individuel. Sur une échelle de QI d'écart-type 15, une fiabilité de 0,90 donne une SEM d'environ 4,7 points. Avec un intervalle de confiance à 95 % calculé par ±1,96 SEM, un QI de 130 correspond à une plage d'environ 121 à 139. Une fiabilité de 0,90 ne signifie pas que le score est exact au point près.
Il s'agit ici de l'erreur de mesure associée au résultat d'une personne lors d'une passation. Un intervalle de confiance étroit ne corrige ni le biais du groupe normatif ni le problème de validité qui consiste à appeler « QI global » un simple résultat de raisonnement visuel.
La validité et les capacités mesurées
La validité détermine si le score peut être interprété comme la capacité annoncée. On examine si les questions couvrent cette capacité, si les données confirment la structure attendue des scores et si les résultats sont liés comme prévu à ceux de tests d'intelligence existants ou de tâches apparentées.
Des problèmes de figures ou de matrices peuvent constituer un bon test de raisonnement visuel ou de raisonnement fluide. Cependant, même une fiabilité élevée pour un test de 30 questions portant sur des figures ne signifie pas que le vocabulaire, les connaissances, la mémoire de travail et la vitesse de traitement ont été mesurés. Pour afficher un QI global, il faut des tâches qui couvrent plusieurs capacités et des données qui justifient leur regroupement en un score d'ensemble.
Une « corrélation de 0,70 avec un test de QI existant » ne signifie pas non plus une précision de 70 %. La corrélation décrit à quel point deux scores varient ensemble. Si l'on ajoute systématiquement 10 points au résultat de chaque personne, la corrélation avec les scores d'origine est de 1, mais tous les nombres sont décalés de 10 points. Pour savoir si les résultats peuvent être considérés comme des scores de QI équivalents, il faut connaître le test et l'édition utilisés pour la comparaison, l'échantillon, la différence moyenne et les écarts selon le niveau des scores.
Les questions et les normes nécessaires pour mesurer un QI élevé
Pour distinguer un QI de 130 d'un QI de 140, il faut dépasser deux plafonds.
| Plafond | Ce qui est nécessaire | Conséquence d'une limite trop basse |
|---|---|---|
| Plafond des questions | Des questions qui distinguent aussi les personnes aux capacités élevées | Les personnes les plus fortes réussissent presque tout, ce qui masque leurs différences |
| Plafond des normes | Assez de données sur les scores élevés et une conversion adaptée | Un même nombre de bonnes réponses ne permet pas d'estimer de façon stable des QI très proches |
Même dans un grand échantillon, les personnes aux extrémités de la distribution sont peu nombreuses. Dans une distribution normale de moyenne 100 et d'écart-type 15, un échantillon de 2 000 personnes ne comprend qu'environ huit personnes ayant un QI de 140 ou plus. Ces données ne suffisent pas à distinguer finement les QI de 140, 142 et 145. L'article sur les scores de QI et les proportions de la population explique pourquoi les données sont plus difficiles à réunir pour les scores élevés.
Dans l'échantillon normatif habituel de 2 200 enfants du WISC-V américain, seuls 16 enfants avaient obtenu au moins un score composite de 150 ou plus. Des normes étendues ont donc été établies pour ces scores, puis vérifiées sur un autre échantillon de 108 enfants aux capacités élevées. Même un test reconnu a besoin de questions et de données adaptées pour mesurer cette partie de la distribution.
Les informations publiées qui permettent d'évaluer la qualité
Les informations utiles relient le score à ses fondements psychométriques, au-delà des arguments publicitaires.
| Question à trancher | Informations nécessaires |
|---|---|
| Par rapport à qui le score est-il calculé? | Population visée, composition de l'échantillon, année de collecte et méthode de conversion |
| Quelle capacité le score représente-t-il? | Composition des questions, structure des scores, méthodes et résultats des études de validité |
| Quelle erreur le score comporte-t-il? | Conditions de passation, type de fiabilité, SEM et validation des scores élevés |
Il n'est pas nécessaire de publier toutes les données brutes, l'algorithme de cotation ou les questions réelles. Les utilisateurs peuvent évaluer les affirmations si la population, l'échantillon, les conditions de passation, la conversion, la fiabilité et l'erreur, les principaux résultats de validité et le lien entre la documentation technique et la version actuelle sont décrits.
À l'inverse, sans informations permettant cette évaluation, un chiffre aussi précis que 137 ne permet pas d'en connaître le sens ni l'exactitude. Ne considérez pas comme précis le QI d'un test qui ne publie pas ses fondements psychométriques.
Les fondements psychométriques publiés par BrainTypeIQ
BrainTypeIQ explique pourquoi neuf épreuves ont été choisies et comment elles correspondent aux cinq domaines, ainsi que la construction du QI global et des cinq domaines à partir de ces épreuves.
La conversion en scores standardisés et leur combinaison, les normes japonaises établies sur 841 personnes ayant terminé leur première passation, ainsi que la fiabilité de 0,929 du QI global et sa SEM d'environ 4,0 points dans la version japonaise sont également publiées. Pour une évaluation formelle ou un résultat à remettre à un tiers, le choix repose sur les rôles différents de la WAIS et des tests de QI en ligne, au-delà de la comparaison de leur qualité.