Rezultata IQ testa, ki ne objavi podlag za presojo, ne obravnavajte kot natančne številke. Oglas, visoka uvrstitev v iskalniku, lepo oblikovan prikaz rezultata ali potrdilo o IQ niso dokazi o kakovosti merjenja. Kako pri izbiri upoštevati tudi ceno in pogodbene pogoje, pojasnjuje članek Kako izbrati zanesljiv spletni IQ test.
Štirje dejavniki kakovosti merjenja pri IQ testu
| Dejavnik | Kaj preveriti | Kaj se zgodi, če manjka |
|---|---|---|
| Standardizacija | Ali so pogoji izvedbe in vrednotenja enaki | Razlike med napravami, časom in načinom vrednotenja vplivajo na rezultat |
| Norme | S podatki katere skupine se primerja rezultat | IQ 100 ali zgornja 2 % nimata določenega pomena |
| Zanesljivost | Kako dosleden je rezultat | Naključni pravilni ali napačni odgovori močno spremenijo številko |
| Veljavnost | Ali lahko rezultat razlagamo kot navedeno sposobnost | Rezultat sklepanja z liki se neupravičeno razširi na celotni IQ |
Kakovosti IQ testa ni mogoče presoditi samo po enem od teh štirih dejavnikov. Test je lahko zelo zanesljiv, toda če meri le sklepanje z liki, njegov rezultat ni veljaven kot celotni IQ, ki naj bi vključeval tudi jezikovne sposobnosti, spomin in hitrost obdelave.
Standardizacija in norme
Standardizacija pomeni, da so navodila, časovne omejitve, naloge, vrednotenje ter ravnanje ob poteku časa ali prekinitvi enaki za vse. Pri spletnem testu so del pogojev rezultata tudi razlike med prikazom na telefonu in računalniku, zakasnitev povezave, ponavljanje testa ter uporaba iskalnika ali zapiskov. Če človek z enakimi sposobnostmi dobi močno drugačen IQ samo zaradi naprave ali števila poskusov, rezultat ni primerljiva mera.
Norme določajo, s kom se primerja rezultat IQ. Poljubno porazdelitev pravilnih odgovorov je mogoče pretvoriti na lestvico s povprečjem 100 in standardnim odklonom 15. Če pa se povprečje 100 izračuna samo iz rezultatov obiskovalcev nekega spletnega mesta, to še ne pokaže položaja v splošni odrasli populaciji.
Pri normah ni pomembno samo število ljudi. Preveriti je treba njihovo starost, jezik, regijo in način pridobivanja vzorca, obravnavo ponovnih reševanj, nenavadnih odgovorov in nedokončanih testov, starostne prilagoditve ter povezavo med letom zbiranja podatkov in sedanjo različico nalog oziroma vrednotenja.
Tudi navedba »100.000 udeležencev« ne omogoča presoje kakovosti norm, če ni jasno, ali so vključena ponovna reševanja istih ljudi, koliko udeležencev je v posamezni starosti in kdaj so bili podatki zbrani. Prav tako testa ni mogoče samo prevesti v slovenščino in zanj nespremenjeno uporabiti norm druge jezikovne različice. Tudi temeljna načela Japonskega združenja za testiranje zahtevajo evidentiranje in objavo podatkov o normativni skupini, vzorcu, postopku standardizacije in statističnih lastnostih.
Zanesljivost, merilna napaka in interval zaupanja
Zanesljivost s koeficientom od 0 do 1 izraža, koliko dosledne informacije vsebuje rezultat. Zanesljivost, ki meri notranjo skladnost vseh postavk, in test-retest zanesljivost, ki meri stabilnost med dvema testiranjema, odgovarjata na različni vprašanji. Ni dovolj zapisati »zanesljivost 0,90«; navesti je treba, katero vrsto zanesljivosti so izračunali, na katerih ljudeh in za kateri rezultat.
Iz zanesljivosti lahko izračunamo standardno napako merjenja (SEM) posameznikovega rezultata. Pri lestvici IQ s standardnim odklonom 15 in zanesljivosti 0,90 je SEM približno 4,7 točke. Če se 95-odstotni interval zaupanja izračuna kot ±1,96 SEM, je območje rezultata IQ 130 približno od 121 do 139. Zanesljivost 0,90 torej ne pomeni natančnosti na eno točko.
Ta razpon izraža merilno napako v posameznem rezultatu enega testiranja. Ozko območje ne odpravi pristranskosti normativnega vzorca ali vprašanja veljavnosti, ali smemo sklepanje z liki razlagati kot celotni IQ.
Veljavnost in obseg merjenih sposobnosti
Veljavnost določa, ali lahko rezultat razlagamo kot sposobnost, ki jo test navaja. Pri tem preverjamo, ali vsebina nalog pokriva obseg sposobnosti, ali podatki potrjujejo predvideno zgradbo rezultatov ter ali se rezultat pričakovano povezuje z obstoječimi testi inteligentnosti in sorodnimi nalogami.
Naloge z liki in matrično sklepanje so lahko kakovostni testi neverbalnega oziroma fluidnega sklepanja. Toda tudi če ima 30 nalog z liki visoko zanesljivost, s tem nismo izmerili besedišča, znanja, delovnega spomina in hitrosti obdelave. Za prikaz celotnega IQ so potrebni sklopi nalog za več sposobnosti in dokazi, da se njihovi rezultati lahko upravičeno združijo v skupni rezultat.
Navedba »korelacija 0,70 z obstoječim IQ testom« ne pomeni 70-odstotne natančnosti. Korelacija pokaže, v kolikšni meri se dva rezultata skupaj zvišujeta in znižujeta. Če bi rezultatu vsakega človeka prišteli 10 točk, bi bila korelacija z izvirnim rezultatom 1, vendar bi bil vsak rezultat zamaknjen za 10 točk. Brez imena in različice primerjalnega testa, opisa vzorca, povprečne razlike ter razlik med razponi rezultatov ni mogoče presoditi, ali gre za isto lestvico IQ.
Za merjenje visokega IQ so potrebne ustrezne naloge in norme
Za razlikovanje med IQ 130 in 140 mora test preseči dve zgornji meji.
| Zgornja meja | Kaj je potrebno | Kaj se zgodi, če manjka |
|---|---|---|
| Zgornja meja nalog | Naloge, ki razlikujejo tudi med ljudmi z visokimi sposobnostmi | Najuspešnejši pravilno rešijo skoraj vse naloge, zato razlik med njihovimi sposobnostmi ni mogoče opaziti |
| Zgornja meja norm | Dovolj podatkov in primeren način pretvorbe za visok razpon rezultatov | Iz istega števila pravilnih odgovorov ni mogoče stabilno oceniti drobnih razlik v IQ |
Tudi v velikem vzorcu je ljudi na skrajnem robu porazdelitve malo. Ob predpostavki normalne porazdelitve s povprečjem 100 in standardnim odklonom 15 je v vzorcu 2.000 ljudi približno 8 ljudi z IQ 140 ali več. Na tej podlagi ni smiselno natančno ločevati med IQ 140, 142 in 145. Članek Rezultati IQ in deleži prebivalstva pokaže, zakaj je pri višjih rezultatih vedno težje zbrati dovolj podatkov.
V običajnem normativnem vzorcu WISC-V z 2.200 otroki je le 16 otrok doseglo vsaj 150 pri katerem koli sestavljenem rezultatu. Zato so pripravili razširjene norme za visok razpon in jih dodatno preverili na ločenem vzorcu 108 visoko sposobnih otrok. Tudi uveljavljen test potrebuje posebej zasnovane naloge in podatke za zgornji del razpona.
Javni podatki, potrebni za presojo kakovosti merjenja
Pri javno dostopnih podatkih iščite povezavo med trditvijo in dokazom, ne oglaševalskih gesel.
| Kaj presojate | Potrebni javni podatki |
|---|---|
| Na kateri skupini temelji rezultat | Ciljna populacija, sestava vzorca, leto zbiranja in način pretvorbe |
| Katero sposobnost meri rezultat | Zgradba nalog in rezultatov ter način in izid preverjanja veljavnosti |
| Kolikšno napako vsebuje rezultat | Pogoji izvedbe, vrsta zanesljivosti, SEM in način preverjanja visokega razpona |
Ni treba objaviti vseh surovih podatkov, algoritma vrednotenja ali dejanskih nalog. Če so znani ciljna populacija, vzorec, pogoji izvedbe, način pretvorbe, zanesljivost in napaka, glavni rezultati preverjanja veljavnosti ter povezava med tehničnimi podatki in sedanjo različico testa, lahko uporabnik oceni podane trditve.
Če teh podatkov ni mogoče oceniti, tudi natančno zapisana številka, kot je IQ 137, nima preverljivega pomena in natančnosti. Rezultata IQ testa, ki ne objavi svojih dokazov, ne obravnavajte kot natančne številke. To je praktični sklep.
Merilne podlage, ki jih objavlja BrainTypeIQ
BrainTypeIQ pojasnjuje razloge za izbiro 9 podtestov in njihovo povezavo s 5 področji ter način sestave celotnega IQ in 5 področij iz 9 podtestov.
Objavlja tudi pretvorbo v standardizirane rezultate in način njihovega združevanja, norme japonske različice na podlagi prvih 841 udeležencev, ki so test dokončali ter zanesljivost celotnega IQ 0,929 in SEM približno 4,0 točke. Če potrebujete uradno oceno ali rezultat za predložitev drugi ustanovi, namesto primerjanja spletnih testov izberite na podlagi razlike med vlogama WAIS in spletnega IQ testa.