IQ testa koji ne objavljuje dokaze potrebne za procjenu kvalitete nemojte prihvaćati kao preciznu brojčanu vrijednost. Oglasi, položaj u rezultatima pretraživanja, dotjeran prikaz rezultata i potvrda o IQ-u nisu dokaz kvalitete mjerenja. Kako odabrati test, uključujući cijenu i uvjete naplate, možete provjeriti u članku Kako odabrati pouzdan online IQ test.
Četiri sastavnice kvalitete mjerenja IQ testa
| Sastavnica | Što provjeriti | Posljedica ako nedostaje |
|---|---|---|
| Standardizacija | Jesu li uvjeti provedbe i bodovanja jednaki | Razlike u uređaju, vremenu ili načinu bodovanja ulaze u rezultat |
| Norme | S čijim se podacima rezultat uspoređuje | Nije određeno što znače IQ 100 ili najviših 2 % |
| Pouzdanost | Koliko je rezultat dosljedan | Slučajno točni i netočni odgovori znatno mijenjaju brojčanu vrijednost |
| Valjanost | Može li se rezultat tumačiti kao prikazana sposobnost | Rezultat figuralnog rasuđivanja neopravdano se proširuje na ukupni IQ |
Nijedna od ove četiri sastavnice sama nije dovoljna za procjenu kvalitete mjerenja IQ-a. Test može biti vrlo pouzdan, ali ako mjeri samo figuralno rasuđivanje, njegov rezultat nije valjan kao ukupni IQ koji obuhvaća i jezik, pamćenje te brzinu obrade informacija.
Standardizacija i norme
Standardizacija znači da su upute, vremenska ograničenja, zadaci, bodovanje te postupanje nakon isteka vremena ili prekida jednaki za sve. Na rezultat online testa utječu i razlike u prikazu na pametnom telefonu i računalu, kašnjenje veze, ponovno testiranje te uporaba tražilice ili bilježaka. Ako osobe iste sposobnosti dobivaju znatno različit IQ samo zbog uređaja ili broja pokušaja, takvi rezultati nisu međusobno usporedivi.
Norme određuju s kime se rezultat IQ-a uspoređuje. Bilo koji skup podataka može se preračunati tako da ima prosjek 100 i standardnu devijaciju 15. Ako se prosjek posjetitelja jedne stranice postavi na 100, rezultat time ne pokazuje položaj u općoj odrasloj populaciji Hrvatske.
Kod normi nije važan samo broj ljudi. Važni su i dob, jezik, regija, način uključivanja sudionika, postupanje s ponovnim testiranjima, neuobičajenim odgovorima i odustajanjem, prilagodba prema dobi te podudarnost godine prikupljanja podataka s aktualnim zadacima i načinom bodovanja.
Čak ni tvrdnja „100.000 ispitanika” ne omogućuje procjenu kvalitete norme ako nije poznato uključuje li ponovne pokušaje istih osoba, koliko je ljudi u pojedinoj dobnoj skupini i kada su podaci prikupljeni. Norma iz testa na stranom jeziku ne može se jednostavno primijeniti na njegov prijevod. I temeljne odredbe Japanskog društva za testiranje zahtijevaju bilježenje i objavu podataka o normativnoj skupini, uzorku, postupku standardizacije i statističkim pokazateljima.
Pouzdanost, mjerna pogreška i interval pouzdanosti
Pouzdanost se izražava koeficijentom od 0 do 1 i pokazuje u kojoj je mjeri rezultat dosljedan. Pouzdanost koja opisuje unutarnju povezanost svih zadataka ne odgovara na isto pitanje kao test-retest pouzdanost, koja opisuje stabilnost rezultata pri testiranju drugog dana. Nije dovoljno navesti „pouzdanost .90”: potrebno je navesti vrstu pouzdanosti, podatke na kojima je izračunata i rezultat na koji se odnosi.
Iz pouzdanosti se može izračunati standardna pogreška mjerenja (SEM) pojedinačnog rezultata. Na IQ ljestvici sa standardnom devijacijom 15 i pouzdanošću .90 SEM iznosi približno 4,7 bodova. Kada se 95-postotni interval pouzdanosti računa kao ±1,96 SEM, raspon za IQ 130 iznosi približno 121–139. Pouzdanost .90 ne znači da je rezultat točan u jedan bod.
Ovaj raspon prikazuje mjernu pogrešku u jednom pojedinačnom rezultatu. Uzak interval pouzdanosti ne rješava pristranost normativnog uzorka niti pitanje može li se figuralno rasuđivanje valjano nazvati ukupnim IQ-om.
Valjanost i raspon mjerenih sposobnosti
Valjanost određuje može li se rezultat tumačiti kao sposobnost koja je uz njega navedena. Provjerava se obuhvaća li sadržaj zadataka raspon te sposobnosti, potvrđuju li podaci pretpostavljenu strukturu rezultata i povezuju li se rezultati s postojećim testovima inteligencije i srodnim zadacima na očekivani način.
Figuralni zadaci i matrično rasuđivanje mogu činiti kvalitetan test figuralnog ili fluidnog rasuđivanja. Međutim, visoka pouzdanost na 30 figuralnih zadataka ne znači da su izmjereni vokabular, znanje, radno pamćenje i brzina obrade informacija. Da bi se rezultat prikazao kao ukupni IQ, test mora sadržavati zadatke za više sposobnosti i imati dokaze da se njihovi rezultati smiju spojiti u ukupni rezultat.
Ni tvrdnja „korelacija .70 s postojećim IQ testom” ne znači 70-postotnu točnost. Korelacija pokazuje u kojoj se mjeri dva rezultata zajedno povećavaju ili smanjuju. Kada bismo svim izvornim rezultatima jednostavno dodali 10 bodova, njihova bi korelacija s izvornikom bila 1, iako bi svaka brojčana vrijednost bila pomaknuta za 10 bodova. Bez naziva i izdanja usporednog testa, uzorka, razlike među prosjecima te razlika u pojedinim područjima rezultata ne može se zaključiti mogu li se te vrijednosti tretirati kao isti IQ.
Za mjerenje visokog IQ-a potrebni su zahtjevni zadaci i odgovarajuće norme
Za razlikovanje IQ-a 130 i 140 treba prevladati dva ograničenja: gornju granicu zadataka i gornju granicu normi.
| Ograničenje | Što je potrebno | Posljedica nedostatka |
|---|---|---|
| Gornja granica zadataka | Zadaci koji razlikuju i osobe vrlo visokih sposobnosti | Najuspješniji rješavaju gotovo sve zadatke pa se razlike među sposobnostima više ne mogu opažati |
| Gornja granica normi | Dovoljno podataka i način preračunavanja koji podupiru područje visokih rezultata | Iz istog sirovog rezultata nije moguće stabilno procijeniti sitne razlike u IQ-u |
I u velikom ukupnom uzorku malo je ljudi na krajevima raspodjele. Uz pretpostavku normalne raspodjele s prosjekom 100 i standardnom devijacijom 15, uzorak od 2.000 ljudi sadržavat će približno osam osoba s IQ-om 140 ili višim. Na temelju toga nije razumno precizno razlikovati IQ 140, 142 i 145. Članak IQ rezultat i udio stanovništva pokazuje zašto je sve teže prikupiti potrebne podatke što je rezultat viši.
U uobičajenom normativnom uzorku za WISC-V od 2.200 djece samo je njih 16 imalo barem jedan kompozitni rezultat 150 ili viši. Zato su izrađene proširene norme za područje visokih rezultata i dodatno provjerene na zasebnom uzorku od 108 darovite djece. Čak i poznati testovi trebaju poseban dizajn zadataka i podatke za područje vrlo visokih rezultata.
Javno dostupni podaci potrebni za procjenu kvalitete mjerenja
U javno dostupnim informacijama treba tražiti sljedeće podatke, a ne promidžbene tvrdnje.
| Što procjenjujemo | Potrebni javni podaci |
|---|---|
| S kime se rezultat uspoređuje | Ciljna populacija, sastav uzorka, godina prikupljanja i način preračunavanja |
| Koja je sposobnost izmjerena | Sadržaj zadataka, struktura rezultata te metode i nalazi provjere valjanosti |
| Koliku pogrešku rezultat sadrži | Uvjeti provedbe, vrsta pouzdanosti, SEM i način provjere područja visokih rezultata |
Nije potrebno objaviti sve sirove podatke, algoritam bodovanja ni stvarne zadatke. Kada su poznati ciljna populacija, uzorak, uvjeti provedbe, način preračunavanja, pouzdanost i pogreška, glavni nalazi valjanosti te veza tehničkih podataka s aktualnom verzijom testa, korisnik može procijeniti njegove tvrdnje.
Ako tih podataka nema, značenje i preciznost brojčane vrijednosti ne mogu se provjeriti čak ni kada je rezultat prikazan kao IQ 137. IQ testa koji ne objavljuje svoje dokaze nemojte prihvaćati kao preciznu brojčanu vrijednost. To je praktičan zaključak.
Dokazi o mjerenju koje objavljuje BrainTypeIQ
BrainTypeIQ objašnjava zašto je odabrao devet subtestova i kako su povezani s pet područja te kako od njih oblikuje ukupni IQ i pet područja.
Objavljeni su i način preračunavanja u standardne rezultate i postupak njihova spajanja, norme japanske verzije na 841 osobi koja je prvi put dovršila test te pouzdanost ukupnog IQ-a od .929 i SEM od približno 4,0 boda, također analizirani na japanskoj verziji. Ako vam je potreban formalni nalaz ili dokument za vanjsku uporabu, članak o razlici između uloge WAIS-a i online IQ testa pomoći će vam odabrati odgovarajuću vrstu testiranja; to nije pitanje usporedbe kvalitete različitih online testova.