Stol ikke på IQ som et præcist tal, hvis testen ikke offentliggør det grundlag, der er nødvendigt for at vurdere den. Reklamer, placering i søgeresultater, en flot resultatside og et IQ-certifikat dokumenterer ikke målekvalitet. Sådan vælger du en pålidelig online IQ-test behandler også priser og aftalevilkår.
4 forhold afgør en IQ-tests målekvalitet
| Forhold | Det afgørende spørgsmål | Når det mangler |
|---|---|---|
| Standardisering | Er betingelserne for gennemførelse og scoring ensartede? | Forskelle i enhed, tid eller scoring påvirker resultatet |
| Normer | Hvem sammenlignes resultatet med? | Betydningen af IQ 100 eller de øverste 2 % er uafklaret |
| Reliabilitet | Hvor konsistente er scorerne? | Tilfældige rigtige og forkerte svar flytter tallet meget |
| Validitet | Kan scoren fortolkes som den angivne evne? | Et resultat i figurræsonnering får for bred en betydning som samlet IQ |
Ingen af de 4 forhold kan alene afgøre målekvaliteten. En test kan for eksempel have høj reliabilitet, men hvis den kun måler figurræsonnering, er det ikke gyldigt at fortolke resultatet som samlet IQ, der også dækker sprog, hukommelse og forarbejdningshastighed.
Standardisering og normer
Standardisering betyder, at instruktioner, tidsgrænser, opgavepræsentation, scoring og håndtering af udløbet tid eller afbrydelser er ensartede. Online omfatter betingelserne også forskelle mellem smartphone og computer, netværksforsinkelser, gentagne testforsøg samt regler for søgning og noter. Hvis personer med samme evneniveau får meget forskellige IQ-scorer alene på grund af deres enhed eller antal forsøg, giver testen ikke en sammenlignelig skala.
Normerne bestemmer, hvem en IQ-score sammenlignes med. Antal rigtige svar kan omregnes til et gennemsnit på 100 og en standardafvigelse på 15 med data fra en hvilken som helst gruppe. At sætte gennemsnittet for en hjemmesides besøgende til 100 gør ikke resultatet til en placering blandt voksne i den brede befolkning.
Normgrundlaget vurderes derfor ud fra mere end antallet af deltagere: alder, sprog, geografi, rekrutteringsmetode, håndtering af gentagne forsøg, usædvanlige svar og afbrudte test, alderskorrektion, indsamlingsår og sammenhængen med testens nuværende opgaver og scoring.
Oplysningen »100.000 testdeltagere« er ikke nok til at vurdere normernes kvalitet, hvis det er uklart, om tallet inkluderer gentagne forsøg, hvordan aldersfordelingen ser ud, eller hvornår data blev indsamlet. En test, der blot er oversat til dansk, kan heller ikke uden videre bruge normerne fra en anden sprogversion. Det japanske testselskabs grundlæggende bestemmelser kræver ligeledes, at referencegruppe, stikprøve, standardiseringsprocedurer og statistiske oplysninger dokumenteres og offentliggøres.
Reliabilitet, målefejl og konfidensinterval
Reliabilitet udtrykker med en koefficient mellem 0 og 1, hvor meget konsistent information der er i en score. Reliabilitet baseret på sammenhængen mellem opgaver besvarer et andet spørgsmål end test-retest-reliabilitet, der handler om stabilitet ved en ny test på en anden dag. »Reliabilitet 0,90« er derfor ikke tilstrækkeligt: Det skal fremgå, hvilken type der er beregnet, for hvilken score og med hvilke deltagerdata.
Reliabiliteten kan bruges til at beregne standardmålefejlen (SEM) for en persons score. På en IQ-skala med standardafvigelse 15 og reliabilitet 0,90 er SEM cirka 4,7 point. Hvis et 95 % konfidensinterval beregnes som ±1,96 SEM, giver IQ 130 et interval på cirka 121–139. En reliabilitet på 0,90 betyder altså ikke præcision ned til ét point.
Dette interval beskriver målefejlen i en enkelt persons testscore. Et smalt konfidensinterval løser ikke problemer med en skæv normstikprøve eller spørgsmålet om, hvorvidt figurræsonnering gyldigt kan kaldes samlet IQ.
Validitet og de evner, testen dækker
Validitet afgør, om scoren kan fortolkes som den evne, den præsenteres som. Det handler om, hvorvidt opgaverne dækker evneområdet, om den forventede scorestruktur er bekræftet i data, og om scorerne har de forventede sammenhænge med etablerede intelligenstest og beslægtede opgaver.
Figur- og matrixopgaver kan udgøre gode test af figurræsonnering eller flydende ræsonnering. Men selv høj reliabilitet i 30 figuropgaver betyder ikke, at testen har målt ordforråd, viden, arbejdshukommelse eller forarbejdningshastighed. En test, der viser samlet IQ, skal både have opgaver, der måler flere evner, og et grundlag for at kombinere dem til én samlet score.
»Korrelation på 0,70 med en etableret IQ-test« betyder heller ikke »70 % præcis«. Korrelation viser, i hvilken grad to scorer stiger og falder sammen. Hvis man lægger præcis 10 point til alles scorer, bliver korrelationen med de oprindelige scorer 1, selv om alles resultater er forskudt med 10 point. For at vurdere, om resultaterne er sammenlignelige som IQ-scorer, skal man kende sammenligningstestens navn og version, stikprøven, gennemsnitsforskellen og forskellene ved forskellige scoreniveauer.
Høje IQ-scorer kræver både opgaver og normdata
For at skelne IQ 130 fra 140 skal testen have et tilstrækkeligt højt loft på to områder.
| Loft | Hvad der kræves | Konsekvensen af et utilstrækkeligt grundlag |
|---|---|---|
| Opgavernes loft | Opgaver, der også skelner mellem personer med højt evneniveau | Personer med høje scorer har næsten alle opgaver rigtige, så testen ikke kan skelne mellem deres evneniveauer |
| Normernes loft | Tilstrækkelige data og en omregningsmetode, der understøtter høje scorer | Små IQ-forskelle kan ikke estimeres stabilt ud fra antallet af rigtige svar |
Selv i en stor stikprøve er der få personer i fordelingens yderområder. Med en normalfordeling med gennemsnit 100 og standardafvigelse 15 vil en stikprøve på 2.000 personer indeholde cirka 8 med IQ 140 eller derover. Det er et spinkelt grundlag for at skelne præcist mellem IQ 140, 142 og 145. IQ-scorer og befolkningsandele viser, hvorfor det bliver sværere at indsamle tilstrækkelige data, jo højere scoren er.
Blandt de 2.200 børn i WISC-V's almindelige normstikprøve havde 16 mindst én sammensat score på 150 eller derover. Derfor blev der udviklet udvidede normer til høje scorer, som også blev undersøgt i en særskilt stikprøve med 108 børn med høje evner. Selv etablerede test har brug for særligt opgavedesign og data til det øverste scoreområde.
Offentliggjorte oplysninger, der gør kvaliteten vurderbar
Det er sammenhængen mellem påstand og dokumentation, der tæller i de offentliggjorte oplysninger.
| Det, der skal vurderes | Nødvendige oplysninger |
|---|---|
| Hvem resultatet sammenlignes med | Målgruppe, stikprøvens sammensætning, indsamlingsår og omregningsmetode |
| Hvilken evne scoren måler | Opgavesammensætning, scorestruktur samt metode og resultater for undersøgelser af validitet |
| Hvor stor målefejl scoren indeholder | Gennemførelsesbetingelser, reliabilitetstype, SEM og validering af det høje scoreområde |
Alle rådata, scoringsalgoritmer og faktiske opgaver behøver ikke være offentlige. Brugeren kan vurdere påstandene, når målgruppe, stikprøve, gennemførelsesbetingelser, omregningsmetode, reliabilitet, målefejl og de vigtigste validitetsresultater er beskrevet, og det fremgår, hvordan de tekniske oplysninger hænger sammen med den aktuelle version.
Uden sådanne oplysninger kan hverken betydningen eller præcisionen vurderes, selv om testen viser et detaljeret tal som IQ 137. Stol ikke på IQ som et præcist tal, hvis testen ikke offentliggør sit målegrundlag.
BrainTypeIQs offentliggjorte målegrundlag
BrainTypeIQ beskriver valget af 9 testdele og deres fordeling på 5 områder og opbygningen af samlet IQ og de 5 områder ud fra testdelene.
Vi offentliggør også omregningen til standardscorer og metoden til at kombinere dem, normgrundlaget med 841 førstegangsdeltagere i den japanske version og den japanske versions reliabilitet på 0,929 og SEM på cirka 4,0 point for samlet IQ. Hvis formålet er en formel vurdering eller dokumentation til en ekstern modtager, er forskellen på WAIS og online IQ-test det relevante udgangspunkt for valget.