Woorden als “gemiddelde 100”, “wetenschappelijk” en “nauwkeurig” zeggen op zichzelf niets over de meetkwaliteit van een IQ-test. Je moet kunnen vaststellen met wie de score wordt vergeleken, welke vaardigheden zijn gemeten en hoeveel meetfout er in het getal zit.
Is de informatie die nodig is om dat te beoordelen niet openbaar, vertrouw de weergegeven IQ-score dan niet als een precies getal. Reclame, een hoge positie in de zoekresultaten, een verzorgde resultatenpagina of een IQ-certificaat vormen geen bewijs van meetkwaliteit. In de gids voor een betrouwbare online IQ-test lees je hoe je daarnaast prijs, toegang tot de uitslag en abonnementsvoorwaarden controleert.
Vier elementen bepalen de meetkwaliteit van een IQ-test
| Element | Wat je controleert | Wat er zonder dit element misgaat |
|---|---|---|
| Standaardisatie | Zijn afname en scoring onder gelijke voorwaarden uitgevoerd? | Verschillen in apparaat, tijd of scoring raken met de score vermengd |
| Normen | Met welke groep worden deelnemers vergeleken? | IQ 100 of de hoogste 2% heeft geen vaste betekenis |
| Betrouwbaarheid | Hoe consistent is de score? | Een paar toevallig goede of foute antwoorden kunnen het getal sterk veranderen |
| Validiteit | Mag de score worden gelezen als de genoemde vaardigheid? | Een score voor figuurredeneren wordt ten onrechte uitgebreid tot totaal IQ |
Geen van deze vier elementen is op zichzelf voldoende. Ook een grote normgroep levert geen goede vergelijking op wanneer de afnamevoorwaarden sterk uiteenlopen. En een betrouwbare test die uitsluitend figuurredeneren meet, is daarmee nog geen valide maat voor een totaal IQ dat ook taal, geheugen en verwerkingssnelheid omvat.
Standaardisatie en normen
Standaardisatie betekent dat instructies, tijdslimieten, opgaven, scoring en de behandeling van tijdoverschrijding of onderbrekingen op elkaar zijn afgestemd. Bij een online test horen ook verschillen tussen smartphone en computer, vertraging van de verbinding, herhaalde deelname en het gebruik van zoekmachines of notities bij de testvoorwaarden. Als dezelfde vaardigheid een sterk andere score oplevert door het gebruikte apparaat of het aantal eerdere pogingen, is er geen goed vergelijkbare schaal.
Normen bepalen met wie je IQ wordt vergeleken. Iedere ruwe score kan rekenkundig worden omgezet naar een schaal met gemiddelde 100 en standaarddeviatie 15. Als alleen het gemiddelde van bezoekers van een website op 100 wordt gezet, geeft die score nog niet je positie onder Nederlandse volwassenen weer.
Controleer ten minste de volgende informatie:
- Naast de omvang van de steekproef ook leeftijd, taal, regio en manier van werven
- De behandeling van eerste en herhaalde deelnames, onwaarschijnlijke antwoorden en voortijdig gestopte tests
- Het aantal deelnemers per leeftijdsgroep en de methode voor leeftijdscorrectie
- Het jaar waarin de gegevens zijn verzameld en de aansluiting bij de huidige opgaven en scoring
- Of een Nederlandstalige versie normen gebruikt die met de Nederlandstalige opgaven en de bedoelde populatie zijn opgebouwd
Zelfs bij “100.000 deelnemers” kun je de kwaliteit van de normen niet beoordelen als onduidelijk blijft of herhaalde pogingen van dezelfde persoon meetellen, hoeveel mensen uit iedere leeftijdsgroep komen en wanneer de gegevens zijn verzameld. Een test vertalen en vervolgens zonder onderzoek de normen van een andere taalversie toepassen, maakt de uitkomsten evenmin vergelijkbaar.
De COTAN beoordeelt tests in Nederland op zeven gebieden: uitgangspunten van de testconstructie, kwaliteit van het testmateriaal, kwaliteit van de handleiding, normen, betrouwbaarheid, begripsvaliditeit en criteriumvaliditeit. Dat de COTAN een test heeft beoordeeld, betekent niet automatisch dat het oordeel op ieder gebied gunstig is; daarvoor bekijk je de afzonderlijke beoordelingen en testdocumentatie.
Betrouwbaarheid, meetfout en betrouwbaarheidsinterval
Betrouwbaarheid wordt uitgedrukt met een coëfficiënt van 0 tot 1 en geeft aan hoeveel consistente informatie een score bevat. Interne consistentie, die de samenhang tussen opgaven beschrijft, beantwoordt een andere vraag dan test-hertestbetrouwbaarheid, die de stabiliteit op verschillende dagen beschrijft. Bij de vermelding “betrouwbaarheid 0,90” moet daarom ook duidelijk zijn welk type coëfficiënt is berekend, met welke steekproef en voor welke score.
Uit de betrouwbaarheid kan de standaardmeetfout (SEM) van een individuele score worden berekend. Op een IQ-schaal met standaarddeviatie 15 en een betrouwbaarheid van 0,90 is de SEM ongeveer 4,7 punten. Als een 95%-betrouwbaarheidsinterval met ±1,96 SEM wordt berekend, loopt het interval rond IQ 130 ongeveer van 121 tot 139. Een betrouwbaarheid van 0,90 betekent dus niet dat een score tot op één punt nauwkeurig is.
Dit interval beschrijft de meetfout in één individuele score. Het corrigeert geen vertekening in de normsteekproef en beantwoordt evenmin de validiteitsvraag of figuurredeneren als totaal IQ mag worden weergegeven.
Validiteit en de breedte van de gemeten vaardigheden
Validiteit bepaalt of een score werkelijk kan worden geïnterpreteerd als de vaardigheid die erbij staat. Daarvoor moet je weten of de opgaven het relevante vaardigheidsgebied bestrijken, of de veronderstelde scorestructuur in de gegevens wordt teruggevonden en of de score op de verwachte manier samenhangt met bestaande intelligentietests en verwante taken.
Figuuropgaven en matrixredeneren kunnen samen een goede test van figuraal of fluïde redeneren vormen. Maar zelfs wanneer 30 figuuropgaven een hoge betrouwbaarheid opleveren, zijn woordenschat, kennis, werkgeheugen en verwerkingssnelheid daarmee niet gemeten. Voor de naam totaal IQ zijn opgaven uit meerdere cognitieve domeinen én bewijs nodig dat ze zinvol in één totaalscore kunnen worden samengebracht.
Ook “correlatie 0,70 met een bestaande IQ-test” betekent niet dat een test 70% nauwkeurig is. Correlatie beschrijft in welke mate twee scores samen stijgen en dalen. Als je bij iedere score van een bestaande test tien punten optelt, blijft de correlatie 1, terwijl alle waarden tien punten afwijken. Zonder de naam en versie van de vergelijkingstest, de steekproef, het gemiddelde verschil en eventuele afwijkingen per scoregebied kun je niet bepalen of beide uitkomsten als hetzelfde IQ mogen worden gelezen.
Voor hoge IQ-scores zijn geschikte opgaven én normen nodig
Om IQ 130 en 140 van elkaar te onderscheiden, moet een test twee plafonds overwinnen.
| Plafond | Wat nodig is | Wat er bij een tekort gebeurt |
|---|---|---|
| Plafond van de opgaven | Opgaven die ook tussen hoog scorende deelnemers verschil laten zien | Veel deelnemers beantwoorden vrijwel alles goed, waardoor vaardigheidsverschillen niet meer zichtbaar zijn |
| Plafond van de normen | Voldoende gegevens en een passende omzetting voor het hoge scoregebied | Kleine verschillen in ruwe score worden ten onrechte als precieze verschillen in IQ weergegeven |
Een grote totale steekproef bevat nog steeds weinig mensen in de uiteinden van de verdeling. Bij een normale verdeling met gemiddelde 100 en standaarddeviatie 15 zitten in een steekproef van 2.000 mensen naar verwachting ongeveer acht mensen met IQ 140 of hoger. Daarmee is het niet geloofwaardig om zonder aanvullende onderbouwing IQ 140, 142 en 145 nauwkeurig van elkaar te onderscheiden. De relatie tussen IQ-scores en bevolkingspercentages laat zien waarom gegevens in het hoge scoregebied steeds schaarser worden.
In de gebruikelijke normsteekproef van 2.200 kinderen voor de WISC-V hadden slechts 16 kinderen op ten minste één samengestelde score een waarde van 150 of hoger. Voor dit bereik zijn daarom uitgebreide normen ontwikkeld en met een afzonderlijke steekproef van 108 hoogbegaafde kinderen onderzocht. Ook bij een gevestigde test vraagt het hoogste bereik om speciaal ontworpen opgaven en aanvullende gegevens.
Welke openbare informatie je nodig hebt
Vergelijk openbare onderbouwing met de precieze claim die een test doet.
| Claim op de website | Informatie die nodig is om de claim te beoordelen |
|---|---|
| IQ 100 of hoogste 2% | Doelpopulatie, samenstelling en jaar van de steekproef, omzettingsmethode |
| Totaal IQ | Gemeten vaardigheden, opbouw van de opgaven, scorestructuur |
| Betrouwbaarheid 0,90 | Type coëfficiënt, analysesteekproef, SEM, nauwkeurigheid per scoregebied |
| Hoge correlatie met een bestaande test | Naam en versie van de test, steekproef, correlatie, gemiddeld scoreverschil |
| Meet ook IQ 140 en hoger | Moeilijke opgaven, aantal hoog scorende deelnemers, methode van extrapolatie en validatie |
| Wetenschappelijk of nauwkeurig | Welke methode en resultaten iedere concrete claim ondersteunen |
Ruwe data, het volledige scoringsalgoritme en de echte opgaven hoeven niet allemaal openbaar te zijn. Wel moeten doelgroep, steekproef, afnamevoorwaarden, omzettingsmethode, betrouwbaarheid en meetfout, de belangrijkste validiteitsresultaten en de aansluiting tussen technische documentatie en de huidige testversie te beoordelen zijn.
Ontbreekt die informatie, dan blijft de betekenis en precisie van een weergegeven score als IQ 137 onbekend. Vertrouw een IQ-score zonder openbare psychometrische onderbouwing niet als een precies getal.
BrainTypeIQ maakt de meetopzet concreet: de negen onderdelen en hun relatie tot vijf cognitieve domeinen, de opbouw van totaal IQ en domeinscores en de omzetting naar standaardscores zijn openbaar. Voor de normering van de Japanse versie zijn 841 volledig afgeronde eerste afnames gebruikt die aan de vergelijkbaarheidsvoorwaarden voldeden. De betrouwbaarheid van totaal IQ kwam in die versie uit op 0,929, met een SEM van ongeveer 4,0 punten. De Nederlandstalige versie werkt met dezelfde meetopzet en een voorlopige scoreberekening terwijl de eigen gegevens worden opgebouwd. Heb je een formele beoordeling of een uitslag voor extern gebruik nodig, kies dan op basis van het verschil tussen WAIS en een online IQ-test.