Beschouw een IQ-score niet als een exact getal wanneer de onderbouwing niet openbaar is. Reclame, een hoge positie in zoekresultaten, een verzorgd resultatenscherm en een IQ-certificaat bewijzen geen meetkwaliteit. De combinatie van meetkwaliteit, prijs en abonnementsvoorwaarden staat in de gids voor een betrouwbare online IQ-test.
Vier elementen bepalen de meetkwaliteit van een IQ-test
| Element | Wat je controleert | Wat er zonder dit element misgaat |
|---|---|---|
| Standaardisatie | Zijn afname en scoring onder gelijke voorwaarden uitgevoerd? | Verschillen in apparaat, tijd of scoring beïnvloeden dan de score |
| Normen | Met welke groep worden deelnemers vergeleken? | IQ 100 of de hoogste 2% heeft geen vaste betekenis |
| Betrouwbaarheid | Hoe consistent is de score? | Toevallig goede of foute antwoorden kunnen het getal sterk veranderen |
| Validiteit | Meet de score werkelijk de genoemde vaardigheid? | Een score voor figuurredeneren wordt ten onrechte als totaal IQ gepresenteerd |
Geen van deze vier elementen is op zichzelf voldoende. Een test kan betrouwbaar figuurredeneren meten en toch niet valide zijn als maat voor totaal IQ, dat ook taal, geheugen en verwerkingssnelheid omvat.
Standaardisatie en normen
Standaardisatie betekent dat instructies, tijdslimieten, opgaven, scoring en de behandeling van tijdoverschrijdingen en onderbrekingen op elkaar zijn afgestemd. Bij een online test moet ook rekening worden gehouden met verschillen tussen smartphone en computer, verbindingsvertraging, herhaalde deelname en het gebruik van zoekmachines of notities. Als het gebruikte apparaat of het aantal pogingen de score sterk verandert, ontstaat er geen goed vergelijkbare schaal.
Normen bepalen met wie je score wordt vergeleken. Iedere verzameling ruwe scores kan rekenkundig worden omgezet naar een schaal met gemiddelde 100 en standaarddeviatie 15. Wanneer alleen het gemiddelde van websitebezoekers op 100 wordt gezet, geeft die score nog niet je positie onder Nederlandse volwassenen weer.
Naast het aantal deelnemers zijn vooral hun leeftijd, taal en herkomst, de manier van werven, de omgang met herhaalde afnames en de aansluiting op de huidige testversie belangrijk. ‘100.000 deelnemers’ zegt weinig zonder een beschrijving van de groep en de afnames die zijn meegeteld. Een vertaalde test heeft bovendien eigen onderzoek nodig voordat normen uit een andere taalversie kunnen worden gebruikt.
De COTAN beoordeelt tests in Nederland onder meer op testconstructie, materiaal en handleiding, normen, betrouwbaarheid en twee vormen van validiteit. Juist die samenhang laat zien dat een normgroep alleen nog geen volledige kwaliteitsbeoordeling is.
Betrouwbaarheid, meetfout en betrouwbaarheidsinterval
Betrouwbaarheid is een coëfficiënt van 0 tot 1 die aangeeft hoeveel consistente informatie een score bevat. Interne consistentie, die de samenhang tussen opgaven beschrijft, beantwoordt een andere vraag dan test-hertestbetrouwbaarheid, die de stabiliteit op verschillende dagen beschrijft. Bij ‘betrouwbaarheid 0,90’ moet dus ook staan welke coëfficiënt, steekproef en score zijn gebruikt.
Uit de betrouwbaarheid kan de standaardmeetfout (SEM) worden berekend. Op een IQ-schaal met standaarddeviatie 15 en betrouwbaarheid 0,90 is de SEM ongeveer 4,7 punten. Bij een 95%-betrouwbaarheidsinterval van ±1,96 SEM ligt het interval rond IQ 130 ongeveer tussen 121 en 139. Een betrouwbaarheid van 0,90 betekent dus niet dat een score tot op één punt nauwkeurig is.
Dit interval beschrijft meetfout in één individuele score. Het corrigeert geen scheve normgroep en beantwoordt niet of een figuurtest terecht als totaal IQ wordt gepresenteerd.
Validiteit en de breedte van de gemeten vaardigheden
Validiteit bepaalt of een score werkelijk mag worden geïnterpreteerd als maat voor de vaardigheid die erbij staat. Daarvoor moet de inhoud het bedoelde vaardigheidsgebied bestrijken, moet de verwachte scorestructuur in de gegevens terugkomen en moet de score op de verwachte manier samenhangen met bestaande intelligentietests en verwante taken.
Matrixopgaven kunnen een goede meting van figuraal of fluïde redeneren vormen. Maar ook met een hoge betrouwbaarheid meten dertig matrixopgaven nog geen woordenschat, kennis, werkgeheugen of verwerkingssnelheid. Voor totaal IQ zijn meerdere cognitieve domeinen nodig én bewijs dat hun scores zinvol tot één geheel kunnen worden samengevoegd.
‘Correlatie 0,70 met een bestaande IQ-test’ betekent niet 70% nauwkeurigheid. Correlatie beschrijft alleen in welke mate twee scores samen stijgen en dalen. Tel bij iedere score van een bestaande test tien punten op en de correlatie blijft 1, terwijl alle uitkomsten tien punten te hoog zijn. Testnaam en versie, steekproef, gemiddeld verschil en afwijkingen per scoregebied zijn nodig om twee IQ-schalen werkelijk te vergelijken.
Voor hoge IQ-scores zijn geschikte opgaven én normen nodig
Om IQ 130 en 140 van elkaar te onderscheiden, moet een test twee soorten plafondeffecten voorkomen.
| Plafond | Wat nodig is | Wat er bij een tekort gebeurt |
|---|---|---|
| Plafond van de opgaven | Opgaven die ook tussen hoog scorende deelnemers verschil laten zien | Veel deelnemers hebben vrijwel alles goed en onderlinge verschillen verdwijnen |
| Plafond van de normen | Voldoende gegevens en een passende omzetting in het hoge bereik | Kleine verschillen in ruwe score worden als te precieze IQ-verschillen weergegeven |
Ook een grote steekproef bevat weinig mensen aan het uiterste van de verdeling. Bij een normale verdeling met een gemiddelde van 100 en een standaarddeviatie van 15 zijn er in een groep van 2.000 mensen naar verwachting ongeveer acht met een IQ van 140 of hoger. Dat is te weinig om zonder aanvullende onderbouwing IQ 140, 142 en 145 nauwkeurig van elkaar te onderscheiden. IQ-scores en bevolkingspercentages laten zien waarom gegevens steeds schaarser worden naarmate de score stijgt.
In de normsteekproef van 2.200 kinderen voor de WISC-V hadden slechts zestien kinderen minstens één samengestelde score van 150 of hoger. Voor dit bereik zijn uitgebreide normen opgesteld en onderzocht met een aparte groep van 108 hoogbegaafde kinderen. Zelfs een gevestigde test heeft voor het hoogste bereik dus speciale opgaven en aanvullende gegevens nodig.
Openbare informatie die nodig is om meetkwaliteit te beoordelen
| Wat je wilt beoordelen | Benodigde openbare informatie |
|---|---|
| Met wie de score wordt vergeleken | Doelgroep, samenstelling en jaar van de steekproef, omzettingsmethode |
| Welke vaardigheid de score weergeeft | Opgavenstructuur, scorestructuur, methode en resultaten van validiteitsonderzoek |
| Hoe groot de meetfout is | Afnamevoorwaarden, soort betrouwbaarheid, SEM en onderzoek van het hoge bereik |
Een bruikbare onderbouwing vermeldt de doelgroep, steekproef, afnamevoorwaarden, omzetting, betrouwbaarheid, meetfout en belangrijkste validiteitsresultaten.
Ontbreekt die informatie, dan is de betekenis en precisie van een score als IQ 137 niet te beoordelen. Beschouw een IQ-score zonder openbare psychometrische onderbouwing niet als een exact getal.
De onderbouwing die BrainTypeIQ publiceert
BrainTypeIQ publiceert waarom negen onderdelen zijn gekozen en hoe ze bij vijf cognitieve domeinen horen, hoe totaal IQ en de vijf domeinen worden opgebouwd en hoe ruwe scores worden omgezet en samengevoegd.
BrainTypeIQ onderbouwt de Japanse versie met een normering op basis van 841 vergelijkbare eerste afnames en een betrouwbaarheid van totaal IQ van 0,929 met een SEM van ongeveer 4,0 punten. Voor Nederlandstalige resultaten gebruikt BrainTypeIQ voorlopig een daarop afgestemd scoringsmodel en bouwt het een eigen gegevensbasis op.
Heb je een formele beoordeling of een uitslag voor extern gebruik nodig, kies dan op basis van het verschil tussen WAIS-IV-NL en BrainTypeIQ.