Ja tests nepublicē izvērtēšanai nepieciešamos pierādījumus, neuzticieties tā IQ kā precīzam skaitlim. Reklāma, vieta meklēšanas rezultātos, glīti noformēts rezultātu ekrāns un IQ sertifikāts nav mērījuma kvalitātes pierādījumi. Izvēle, ņemot vērā arī cenu un līguma noteikumus, aplūkota rakstā par uzticama tiešsaistes IQ testa izvēli.
Četri IQ testa mērījumu kvalitātes elementi
| Elements | Kas jāpārbauda | Kas notiek, ja tā trūkst |
|---|---|---|
| Standartizācija | Vai veikšanas un vērtēšanas apstākļi ir vienādi | Ierīces, laika vai vērtēšanas metodes atšķirības ietekmē rezultātu |
| Normas | Ar kuru cilvēku datiem rezultātu salīdzina | Nav noteikta IQ 100 vai augstāko 2 % nozīme |
| Ticamība | Cik konsekvents ir rezultāts | Nejaušas pareizas un nepareizas atbildes ievērojami maina skaitli |
| Validitāte | Vai rezultātu var interpretēt kā norādīto spēju mērījumu | Spriešanas ar figūrām rezultātu pārmērīgi vispārina uz kopējo IQ |
Mērījumu kvalitāti nevar izvērtēt tikai pēc viena no šiem četriem elementiem. Piemēram, pat augstas ticamības gadījumā tests, kas mēra tikai spriešanu ar figūrām, nav derīgs kā kopējā IQ mērījums, kas ietver arī valodu, atmiņu un informācijas apstrādes ātrumu.
Standartizācija un normas
Standartizācija nozīmē vienādot skaidrojumus, laika ierobežojumus, uzdevumu pasniegšanu, vērtēšanu un rīcību laika beigšanās vai pārtraukuma gadījumā. Tiešsaistē testa veikšanas apstākļos ietilpst arī attēlojuma atšķirības viedtālrunī un datorā, savienojuma aizture, atkārtota testa veikšana un noteikumi par meklēšanu vai piezīmēm. Ja cilvēkiem ar vienādām spējām būtiski atšķirīgs IQ rodas tikai ierīces vai veikšanas reižu skaita dēļ, skala nav salīdzināma.
Normas nosaka, ar ko IQ salīdzina. Pareizo atbilžu skaitu var pārvērst skalā ar vidējo vērtību 100 un standartnovirzi 15, izmantojot jebkuras grupas datus. Taču, piešķirot vērtību 100 tikai vietnes apmeklētāju vidējam rezultātam, netiek iegūta cilvēka vieta Japānas pieaugušo populācijā.
Normās aplūko ne tikai dalībnieku skaitu, bet arī vecumu, valodu, reģionu, piesaistes metodi, atkārtotu testu, netipisku atbilžu un nepabeigtu testu apstrādi, vecuma korekciju, datu vākšanas gadu un atbilstību pašreizējiem uzdevumiem un vērtēšanas metodei.
Pat norāde “100 000 dalībnieku” neļauj izvērtēt normu kvalitāti, ja nav skaidrs, vai ieskaitīti viena cilvēka atkārtoti testi, cik dalībnieku ir katrā vecumā un kad dati vākti. Arī tikai japāņu valodā pārtulkotam testam nevar vienkārši piemērot citas valodas versijas normas. Japānas Testēšanas biedrības pamatprincipi prasa dokumentēt un publicēt normu grupu, izlasi, standartizācijas procedūras un statistisko informāciju.
Ticamība, mērījuma kļūda un ticamības intervāli
Ticamību izsaka ar koeficientu no 0 līdz 1, kas parāda, cik konsekvents ir rezultāts. Ticamība, kas aplūko uzdevumu savstarpējo saskaņotību, un atkārtotas testēšanas ticamība, kas aplūko stabilitāti, testu veicot citā dienā, atbild uz atšķirīgiem jautājumiem. Ar norādi “ticamība 0,90” nepietiek: jānorāda tās veids, kuru cilvēku dati izmantoti un kuram rezultātam tā aprēķināta.
No ticamības var aprēķināt individuālā rezultāta mērījuma standartkļūdu (SEM). IQ skalā ar standartnovirzi 15 un ticamību 0,90 SEM ir aptuveni 4,7 punkti. Ja 95 % ticamības intervālu aprēķina kā ±1,96 SEM, IQ 130 diapazons ir aptuveni 121–139. Ticamība 0,90 nenozīmē precizitāti viena punkta robežās.
Šeit atspoguļota viena individuāla mērījuma rezultātā ietvertā kļūda. Šaurs ticamības intervāls neatrisina normu izlases neobjektivitāti vai validitātes jautājumu — vai spriešanu ar figūrām drīkst saukt par kopējo IQ.
Validitāte un mērīto spēju apjoms
Validitāte nosaka, vai rezultātu var interpretēt kā norādītās spējas mērījumu. Jāpārbauda, vai uzdevumu saturs aptver attiecīgās spējas dažādos aspektus, vai iecerētā rezultātu struktūra ir apstiprināta datos un vai saistība ar esošiem intelekta testiem un attiecīgiem uzdevumiem atbilst prognozētajai.
Figūru uzdevumi un matricu spriešana var būt kvalitatīvi spriešanas ar figūrām vai fluīdās spriešanas testi. Taču pat augsta ticamība 30 figūru uzdevumos nenozīmē, ka izmērīts vārdu krājums, zināšanas, darba atmiņa un informācijas apstrādes ātrums. Lai rezultātu sauktu par kopējo IQ, vajadzīga uzdevumu struktūra, kas mēra vairākas spējas, un pamatojums šo spēju apvienošanai kopējā rezultātā.
Arī “korelācija 0,70 ar esošu IQ testu” nenozīmē 70 % precizitāti. Korelācija parāda, cik lielā mērā divi rezultāti kopīgi palielinās un samazinās. Ja visiem rezultātiem vienādi pieskaitītu 10 punktus, korelācija ar sākotnējiem rezultātiem būtu 1, bet katra cilvēka skaitlis atšķirtos par 10 punktiem. Lai izvērtētu, vai tos drīkst uzskatīt par to pašu IQ, jāaplūko salīdzinājuma testa nosaukums un izdevums, izlase, vidējo vērtību atšķirība un atšķirības atsevišķos rezultātu diapazonos.
Uzdevumi un normas augsta IQ mērīšanai
Lai atšķirtu IQ 130 un 140, jāpārvar divi ierobežojumi.
| Ierobežojums | Kas nepieciešams | Kas notiek, ja tā nepietiek |
|---|---|---|
| Uzdevumu grūtības robeža | Uzdevumi, kas atšķir arī cilvēkus ar augstām spējām | Augstāko rezultātu ieguvēji pareizi atrisina gandrīz visus uzdevumus, un spēju atšķirības nevar novērot |
| Normu robeža | Pietiekami dati un pārrēķina metode augstu rezultātu pamatošanai | No viena un tā paša pareizo atbilžu skaita nevar stabili novērtēt smalkas IQ atšķirības |
Pat lielā kopējā izlasē sadalījuma galos ir maz cilvēku. Pieņemot normālsadalījumu ar vidējo vērtību 100 un standartnovirzi 15, 2000 cilvēku izlasē aptuveni astoņiem būs IQ 140 vai augstāks. Ar to vien nepietiek smalkai IQ 140, 142 un 145 atšķiršanai. IQ rezultātu un iedzīvotāju īpatsvara tabula parāda, kāpēc augstākiem rezultātiem nepieciešamos datus savākt ir grūtāk.
WISC-V parastajā normu izlasē ar 2200 dalībniekiem bija 16 bērni, kuriem vismaz viens saliktais rezultāts sasniedza 150 vai vairāk. Tāpēc augstajam rezultātu diapazonam izveidoja paplašinātas normas un pārbaudīja tās arī atsevišķā izlasē ar 108 bērniem ar augstām spējām. Arī pazīstamiem testiem augšējam diapazonam nepieciešams īpašs uzdevumu dizains un dati.
Publiskā informācija mērījumu kvalitātes izvērtēšanai
Publiskajā informācijā jāaplūko tālāk norādītais pamatojums, nevis reklāmas saukļi.
| Kas jāizvērtē | Nepieciešamā publiskā informācija |
|---|---|
| Kura grupa ir skaitļa salīdzinājuma pamats | Mērķa grupa, izlases sastāvs, datu vākšanas gads un pārrēķina metode |
| Kuru spēju atspoguļo skaitlis | Uzdevumu sastāvs, rezultātu struktūra, validitātes pārbaudes metodes un rezultāti |
| Cik lielu kļūdu ietver skaitlis | Veikšanas apstākļi, ticamības veids, SEM un augstu rezultātu pārbaudes metode |
Nav jāpublicē visi sākotnējie dati, vērtēšanas algoritms un faktiskie uzdevumi. Ja ir zināma mērķa grupa, izlase, veikšanas apstākļi, pārrēķina metode, ticamība un kļūda, galvenie validitātes rezultāti un tehniskās informācijas atbilstība pašreizējai versijai, lietotājs var izvērtēt apgalvojumus.
Savukārt, ja nav informācijas šo aspektu izvērtēšanai, pat šķietami precīza skaitļa, piemēram, IQ 137, nozīmi un precizitāti nevar pārbaudīt. Ja tests nepublicē pamatojumu, neuzticieties tā IQ kā precīzam skaitlim. Tas ir praktiskais secinājums.
BrainTypeIQ publicētais mērījumu pamatojums
BrainTypeIQ skaidro deviņu apakštestu izvēles iemeslus un atbilstību piecām jomām un kopējā IQ un piecu jomu veidošanu no deviņiem apakštestiem.
Publicēta arī pārrēķināšana standartizētos rezultātos un to apvienošanas metode, japāņu versijas normas, kas veidotas no 841 dalībnieka pirmā pabeigtā testa, kā arī kopējā IQ ticamība 0,929 un SEM aptuveni 4,0 punkti. Ja mērķis ir profesionāls novērtējums vai rezultātu iesniegšana citā iestādē, izvēli nosaka WAIS un tiešsaistes IQ testu atšķirīgās lomas, nevis tiešsaistes testu kvalitātes salīdzināšana.