La fiabilité composite du QI global est de 0,929
BrainTypeIQ a analysé la fiabilité de sa version japonaise à partir de 841 personnes ayant terminé leur première passation. Elles ont été retenues parmi plus de 2 000 historiques après contrôle des réponses, des nouvelles passations et des conditions d'analyse.
| Indicateur | Estimation | Intervalle de confiance à 95 % | Ce qu'il indique surtout |
|---|---|---|---|
| Fiabilité composite du QI global | 0,929 | 0,924–0,932 | Précision du score construit à partir des neuf épreuves |
| Oméga hiérarchique du facteur général | 0,834 | 0,815–0,852 | Cohérence de la capacité cognitive générale commune aux neuf épreuves |
| Alpha de Cronbach standardisé des neuf épreuves | 0,845 | 0,828–0,860 | Cohérence de l'ensemble des neuf épreuves |
Le QI global agrège l'information des neuf épreuves et fournit donc une estimation plus stable qu'une épreuve isolée ou qu'un domaine construit avec une ou deux épreuves. La fiabilité de 0,929 correspond à une erreur standard de mesure, ou SEM, d'environ 4,0 points sur l'échelle de QI.
La SEM exprime l'ordre de grandeur de l'erreur contenue dans une passation, dans la même unité que le QI. Elle ne signifie pas que le score changera nécessairement de quatre points, ni que le « vrai QI » se trouve forcément dans une plage exacte de plus ou moins quatre. Elle rappelle surtout qu'une différence d'un point ne doit pas être traitée comme certaine.
Le résultat se retrouve dans les deux moitiés chronologiques
Les 841 personnes ont aussi été séparées selon la période de passation : 420 dans la première moitié et 421 dans la seconde. Cette comparaison vérifie si la cohérence des neuf épreuves reste similaire lorsque la période change.
| Données | Alpha standardisé des neuf épreuves |
|---|---|
| Première moitié, 420 personnes | 0,844 |
| Seconde moitié, 421 personnes | 0,846 |
| Ensemble, 841 personnes | 0,845 |
Les deux valeurs sont presque identiques. La cohérence observée ne dépend donc pas seulement des personnes qui ont passé le test à une période particulière. Une analyse de sensibilité utilisant une autre règle pour les nouvelles passations a également conservé la conclusion principale.
Ces 841 personnes sont les mêmes que dans l'étalonnage de la version japonaise. Les normes et les indicateurs de précision portent ainsi sur un groupe soumis aux mêmes contrôles de qualité.
La fiabilité est également estimée pour chacun des cinq domaines
Avec la structure actuelle des épreuves et la méthode de composition du produit, les estimations par domaine sont les suivantes.
| Domaine | Épreuves associées | Fiabilité estimée |
|---|---|---|
| Gc | Vocabulaire et analogies verbales | 0,852 |
| Gf | Raisonnement matriciel et logique des balances | 0,834 |
| Gv | Pliage de papier et puzzles d'assemblage | 0,789 |
| Gwm | Mémoire de calcul mental et mémoire en ordre inverse | 0,726 |
| Gs | Recherche de symboles | 0,734 |
Les estimations par domaine vont de 0,726 à 0,852, contre 0,929 pour le QI global. Le QI global rassemble neuf sources d'information, alors que chaque domaine n'en utilise qu'une ou deux.
Les scores par domaine servent donc à lire les grandes tendances du profil cognitif. Il est plus pertinent de tenir compte de l'ampleur des écarts, de la précision propre à chaque domaine et des observations du quotidien que de décider d'un point fort ou d'une difficulté à partir de quelques points.
L'estimation tient compte du fonctionnement réel des épreuves
Certaines épreuves de BrainTypeIQ s'arrêtent selon le déroulement de la passation, tandis que la recherche de symboles mesure le traitement effectué dans un temps limité. Une même formule simple n'a donc pas été appliquée indifféremment à toutes les tâches : la fiabilité de chacune a été estimée avec un modèle correspondant à son mode de présentation.
La valeur de 0,929 est ensuite obtenue en combinant ces résultats par épreuve avec la méthode actuelle du QI global. Il s'agit d'une fiabilité composite fondée sur le modèle. Ce coefficient n'est ni une mesure test-retest après un délai, ni une mesure d'accord avec la WAIS.
Le contenu des tâches est présenté dans la conception en neuf épreuves, et la manière dont les scores par épreuve deviennent des domaines et un QI global dans la méthode de calcul.
Comment utiliser ces résultats
- considérer le QI global comme l'indicateur le plus stable, puisqu'il regroupe les neuf épreuves ;
- tenir compte d'une SEM d'environ 4,0 points pour une passation du QI global ;
- se rappeler que les scores par domaine comportent davantage d'erreur que le QI global ;
- privilégier les grands écarts qui forment un profil cohérent plutôt que de petites différences isolées ;
- confronter le profil aux conditions dans lesquelles les capacités se manifestent le plus facilement au quotidien.
La fiabilité répond à la question de la cohérence de l'information contenue dans le score. Elle ne remplit pas le même rôle que l'étalonnage, qui détermine le groupe de comparaison, ni que la validité, qui examine si l'interprétation et l'usage proposés sont justifiés. Publier ces éléments séparément permet de lire les résultats de BrainTypeIQ avec leur méthode, plutôt qu'à partir du seul chiffre affiché.
La version française utilise actuellement une cotation provisoire pendant que ses propres données s'accumulent. L'analyse japonaise apporte déjà un résultat quantifié sur la cohérence du modèle de mesure utilisé par le produit.