Lita inte på IQ som ett precist tal om testet inte publicerar det underlag som behövs för att bedöma det. Reklam, höga placeringar i sökresultat, en snygg resultatsida eller ett IQ-certifikat är inga belägg för mätkvalitet. Hur du väljer test med hänsyn även till avgifter och avtalsvillkor beskrivs i Så väljer du ett tillförlitligt IQ-test online.
Fyra faktorer avgör mätkvaliteten i ett IQ-test
| Faktor | Vad som behöver kontrolleras | Om det saknas |
|---|---|---|
| Standardisering | Om genomförande och poängsättning sker under enhetliga villkor | Skillnader i enhet, tid eller poängsättningsmetod blandas in i poängen |
| Normer | Vilka personers data resultatet jämförs med | Betydelsen av IQ 100 eller de högsta 2 procenten går inte att fastställa |
| Reliabilitet | Hur konsekventa poängen är | Slumpmässiga rätt och fel kan få talet att ändras mycket |
| Validitet | Om poängen kan tolkas som den förmåga som anges | Resultat i figurresonemang ges för bred innebörd som totalt IQ |
Ingen av de fyra faktorerna räcker ensam för att bedöma mätkvaliteten. Även ett test med hög reliabilitet saknar till exempel validitet som totalt IQ för språk, minne och bearbetningshastighet om det bara mäter figurresonemang.
Standardisering och normer
Standardisering innebär enhetliga instruktioner, tidsgränser, uppgifter, poängsättning och regler för avbrutna test eller överskriden tid. Online ingår också skillnader mellan mobil- och datorvisning, kommunikationsfördröjning, omtestningar samt regler för sökningar och anteckningar. Om personer med samma förmåga får kraftigt olika IQ enbart på grund av enheten de använder eller antalet testtillfällen är skalan inte jämförbar.
Normerna anger vilka du jämförs med. Rätt svar kan omvandlas till ett medelvärde på 100 och en standardavvikelse på 15 med data från vilken grupp som helst. Att sätta medelvärdet till 100 bland webbplatsens besökare betyder inte att resultatet visar en persons position i Sveriges vuxna befolkning.
Normerna behöver granskas utifrån mer än antalet personer. Ålder, språk, region, rekrytering, hantering av omtestningar, ovanliga svar och avhopp, ålderskorrigering, insamlingsår samt kopplingen till nuvarande uppgifter och poängsättningsmetoder spelar också roll.
Även uppgiften ”100 000 testpersoner” säger för lite om man inte vet om omtestningar ingår, hur många som finns i varje ålder eller när data samlades in. Ett test kan inte heller bara översättas till svenska och sedan använda en annan språkversions normer oförändrade. Även Japanska testsällskapets grundläggande riktlinjer kräver att referenspopulation, urval, standardiseringsförfarande och statistisk information dokumenteras och publiceras.
Reliabilitet, mätfel och konfidensintervall
Reliabilitet uttrycker hur mycket konsekvent information poängen innehåller med en koefficient mellan 0 och 1. Reliabilitet som beskriver hur uppgifterna hänger samman besvarar en annan fråga än test–retest-reliabilitet, som beskriver stabiliteten när testet görs en annan dag. Uppgiften ”reliabilitet 0,90” behöver därför kompletteras med vilken sorts reliabilitet som avses, vems data som användes och vilka poäng den gäller.
Utifrån reliabiliteten kan man beräkna standardmätfelet, SEM, för en individuell poäng. På en IQ-skala med standardavvikelsen 15 ger en reliabilitet på 0,90 ett SEM på cirka 4,7 poäng. Med metoden där ett 95-procentigt konfidensintervall beräknas som ±1,96 SEM får IQ 130 ett intervall på ungefär 121–139. Reliabilitet 0,90 betyder alltså inte att resultatet är exakt på en poäng när.
Detta beskriver mätfelet i ett enskilt individuellt resultat. Ett snävt konfidensintervall löser inte snedheter i normurvalet eller validitetsfrågan om figurresonemang får kallas totalt IQ.
Validitet och vilka förmågor testet mäter
Validitet avgör om poängen kan tolkas som den förmåga som anges. Det behöver undersökas om uppgifterna täcker förmågans bredd, om den förväntade poängstrukturen bekräftas av data och om sambanden med etablerade begåvningstest och relaterade uppgifter ser ut som förväntat.
Figuruppgifter och matrisresonemang kan bli bra test av figurresonemang eller fluidt resonemang. Men hög reliabilitet för 30 figuruppgifter innebär inte att ordförråd, kunskap, arbetsminne och bearbetningshastighet har mätts. För att kalla resultatet totalt IQ behövs uppgifter som mäter flera förmågor och stöd för att kombinera dem till en övergripande poäng.
”Korrelation 0,70 med ett etablerat IQ-test” betyder inte heller 70 % korrekt. Korrelation visar i vilken grad två poäng varierar tillsammans. Om alla fick 10 poäng tillagda till sitt resultat skulle korrelationen med ursprungspoängen vara 1, samtidigt som allas värden låg 10 poäng fel. För att bedöma om resultaten kan behandlas som samma IQ behöver man också veta jämförelsetestets namn och version, vilket urval som användes, skillnaden i medelvärde och skillnaderna inom olika poängnivåer.
Uppgifter och normer för att mäta högt IQ
För att skilja IQ 130 från 140 behöver testet klara två slags tak.
| Tak | Vad som behövs | Vad som händer om det saknas |
|---|---|---|
| Uppgifternas tak | Uppgifter som skiljer mellan personer även på hög förmågenivå | De med högst förmåga får nästan alla rätt, så skillnaderna kan inte observeras |
| Normernas tak | Tillräckliga data och omräkningsmetoder för höga poäng | Små IQ-skillnader kan inte skattas stabilt från samma antal rätt |
Även i ett stort urval finns få personer längst ut i fördelningen. Om man antar en normalfördelning med medelvärdet 100 och standardavvikelsen 15 innehåller ett urval på 2 000 personer ungefär 8 personer med IQ 140 eller högre. Det räcker inte för att noggrant skilja mellan IQ 140, 142 och 145. IQ-poäng och andel av befolkningen visar varför tillräckliga data blir allt svårare att samla in ju högre poängnivån är.
I WISC-V:s ordinarie amerikanska normurval på 2 200 barn hade 16 barn minst en sammansatt poäng på 150 eller högre. Därför skapades utökade normer för höga poäng, som också validerades i ett separat urval med 108 högt begåvade barn. Även välkända test behöver särskilt utformade uppgifter och data för de högsta nivåerna.
Offentlig information som behövs för att bedöma mätkvaliteten
Det är sambandet mellan påstående och underlag som ska bedömas i den offentliga informationen, inte reklambudskapet.
| Vad som ska bedömas | Offentlig information som behövs |
|---|---|
| Vilka personer poängen jämförs med | Målpopulation, urvalets sammansättning, insamlingsår och omräkningsmetod |
| Vilken förmåga poängen mäter | Uppgifternas sammansättning, poängstruktur samt metoder och resultat för validitetsprövningen |
| Hur stort mätfel poängen innehåller | Genomförandevillkor, typ av reliabilitet, SEM och validering av höga poäng |
Alla rådata, poängalgoritmer och faktiska uppgifter behöver inte publiceras. Användare kan bedöma påståendena om de får veta målgrupp, urval, genomförandevillkor, omräkningsmetod, reliabilitet och mätfel, de viktigaste validitetsresultaten samt hur den tekniska informationen motsvarar den nuvarande versionen.
Om informationen inte räcker för att bedöma detta går det däremot inte att avgöra betydelsen eller precisionen i ett exakt angivet tal som IQ 137. Lita inte på IQ som ett precist tal om testet inte publicerar underlaget. Det är den praktiska slutsatsen.
Det mätunderlag som BrainTypeIQ publicerar
BrainTypeIQ redovisar varför de nio testdelarna har valts och hur de fördelas över fem områden och hur nio testdelar ligger till grund för totalt IQ och fem områden.
Även omvandlingen till standardpoäng och sammansättningen av poäng, normerna från 841 personer som slutfört den japanska versionen för första gången och den japanska versionens reliabilitet på 0,929 och SEM på cirka 4,0 poäng för totalt IQ är publicerade. Om syftet är en formell bedömning eller ett underlag för en extern mottagare, välj utifrån skillnaden i roll mellan WAIS och IQ-test online i stället för att jämföra kvaliteten på onlinetest.