Un groupe de référence de 841 personnes issu de plus de 2 000 passations terminées
La version japonaise de BrainTypeIQ ne transforme pas simplement le nombre de bonnes réponses pour lui donner une moyenne de 100. Parmi plus de 2 000 historiques terminés, les réponses et les nouvelles passations ont été contrôlées afin de retenir 841 personnes ayant terminé leur première passation dans les conditions d'analyse. Leurs résultats ont servi à construire les conversions des neuf épreuves.
Les 841 personnes ont ensuite été séparées cent fois entre 70 % de données d'apprentissage et 30 % de données de validation. À chaque répétition, la conversion construite sans les données de validation était appliquée à celles-ci afin de vérifier la distribution des scores et l'équilibre entre groupes d'âge.
| Vérification | Résultat |
|---|---|
| Division des données | 70 % / 30 %, avec maintien des groupes d'âge |
| Nombre de répétitions | 100 |
| QI global moyen dans les données de validation, 18–54 ans | 103,14 |
| Écart-type du QI global dans les données de validation, 18–54 ans | 14,41 |
| Écart maximal restant entre les moyennes de quatre groupes d'âge | 3,77 points |
Le point central de cet étalonnage est donc de ne pas dépendre d'une seule division favorable : la même procédure de conversion a été vérifiée sur cent répartitions différentes.
L'étalonnage rend les scores bruts comparables
Étalonner un test consiste à transformer le score brut d'une personne en une position par rapport à un groupe de référence.
Vingt bonnes réponses n'ont pas la même signification si les problèmes ou le groupe de comparaison diffèrent. Pour afficher un QI de 100, un rang parmi les 10 % les plus élevés ou un QI de 130, il faut indiquer à quelles données le résultat est comparé et comment le score brut est converti.
Dans BrainTypeIQ, la construction des scores suit cet ordre :
- coter séparément les neuf épreuves ;
- convertir la position de chaque score brut dans les données des 841 personnes sur une échelle commune ;
- appliquer, lorsque l'âge est renseigné, la tendance observée pour le domaine concerné ;
- combiner les scores par épreuve en cinq domaines, GAI, CPI et QI global.
La composition du QI global à partir des scores par épreuve est publiée dans la méthode de calcul. Les différences entre étalonnage, fiabilité et validité sont expliquées dans la qualité de mesure d'un test de QI.
Les données incluses respectent des conditions comparables
Utiliser toutes les passations terminées sans contrôle mélangerait les nouvelles tentatives d'une même personne, des versions différentes et des conditions qui ne correspondent pas à la passation actuelle. La comparaison serait alors moins équitable pour les nouveaux utilisateurs.
BrainTypeIQ a donc examiné, pour les personnes ayant terminé les neuf épreuves actuelles, le déroulement des réponses, l'historique des passations, les items présentés et les règles de cotation. L'échantillon a été limité aux premières passations utilisables. La priorité n'était pas d'afficher le plus grand nombre possible, mais de comparer des personnes placées dans des conditions suffisamment proches.
Les mêmes 841 personnes sont utilisées pour l'analyse de la fiabilité. Le groupe qui sert à construire la comparaison et celui qui sert à évaluer la précision des scores sont donc cohérents.
L'ajustement lié à l'âge repose principalement sur 739 personnes de 18 à 54 ans
Lorsque les performances montrent une évolution selon l'âge, l'ajustement a été estimé principalement à partir de 739 personnes âgées de 18 à 54 ans.
- Gc, l'intelligence cristallisée, ne reçoit pas d'ajustement lié à l'âge ;
- Gf, Gv, Gwm et Gs reflètent les tendances d'âge observées dans les données ;
- aucun ajustement individuel n'est appliqué selon le sexe, le diplôme ou le pays de résidence ;
- lorsqu'aucune information d'âge n'est disponible, aucun ajustement n'est appliqué.
Les résultats restent affichés avant 18 ans et après 54 ans, mais l'ajustement est conçu principalement à partir de la plage 18–54 ans. L'évolution générale des capacités au fil de l'âge est traitée dans intelligence et vieillissement.
Cent validations ont contrôlé la stabilité entre groupes d'âge
À chacune des cent répétitions, les 841 personnes ont été séparées en conservant la composition des groupes d'âge.
- construire les conversions des neuf épreuves avec les 70 % de données d'apprentissage ;
- estimer le modèle d'âge sur les personnes de 18 à 54 ans de ce même groupe ;
- appliquer la conversion complète aux 30 % de données qui n'ont pas servi à la construire ;
- examiner la moyenne, l'écart-type et les moyennes par groupe d'âge du QI global.
Sur les données de validation des 18–54 ans, le QI global atteint en moyenne 103,14 avec un écart-type de 14,41. L'écart maximal restant entre les moyennes de quatre groupes d'âge est de 3,77 points : la procédure ne produit pas de décalage important du QI global selon le groupe d'âge examiné.
Ces 3,77 points ne représentent pas l'erreur de mesure du score individuel. Ils décrivent l'écart maximal entre moyennes de groupes d'âge dans les données de validation. La précision individuelle est présentée séparément, avec une erreur standard de mesure d'environ 4,0 points, dans les indicateurs de fiabilité de BrainTypeIQ.
Ce que représente ce groupe de référence
Le QI et les percentiles de la version japonaise sont des scores standardisés par rapport aux personnes qui ont terminé BrainTypeIQ en japonais et dont la première passation répondait aux conditions retenues. Ils ne correspondent pas au rang obtenu dans une enquête aléatoire représentative de toute la population japonaise.
Ils ne sont pas non plus des scores de WAIS. Les problèmes, les conditions de passation, le groupe de comparaison et la méthode de calcul diffèrent. Cet étalonnage donne à un test de QI en ligne japonais une base permettant de comparer le QI global et le profil cognitif de ses utilisateurs.
Trois éléments soutiennent cette base : la sélection de 841 premières passations comparables, la prise en compte des tendances liées à l'âge et la répétition cent fois d'une validation sur des données mises de côté.
La version française utilise actuellement une cotation provisoire pendant que ses propres données s'accumulent. L'analyse japonaise montre que la méthode d'étalonnage et de validation a déjà été appliquée au produit sur un ensemble substantiel de passations.