Jei testas neskelbia vertinimui reikalingų įrodymų, juo gauto intelekto koeficiento (IQ) nelaikykite tiksliu skaičiumi. Reklama, aukšta vieta paieškoje, dailiai pateikti rezultatai ar IQ sertifikatas nėra matavimo kokybės įrodymas. Kaip pasirinkti testą, įvertinant ir kainą bei sutarties sąlygas, skaitykite straipsnyje Kaip pasirinkti patikimą internetinį IQ testą.
Keturi IQ testo matavimo kokybės elementai
| Elementas | Ką tikrinti | Kas nutinka, jei jo trūksta |
|---|---|---|
| Standartizavimas | Ar atlikimo ir vertinimo sąlygos yra vienodos | Į rezultatą įsimaišo įrenginio, laiko ar vertinimo metodo skirtumai |
| Normos | Su kieno duomenimis lyginamas rezultatas | IQ 100 ar aukščiausių 2 % reikšmė lieka neapibrėžta |
| Patikimumas | Kiek nuoseklus yra įvertis | Dėl atsitiktinai teisingų ar klaidingų atsakymų skaičius smarkiai svyruoja |
| Validumas | Ar rezultatą galima interpretuoti kaip nurodytą gebėjimą | Figūrų samprotavimo rezultatas nepagrįstai išplečiamas iki bendrojo IQ |
Apie IQ testo matavimo kokybę negalima spręsti remiantis tik vienu iš šių elementų. Pavyzdžiui, net ir labai patikimas testas, apimantis vien figūrų samprotavimą, nėra validus kaip bendrasis IQ, apimantis kalbą, atmintį ir informacijos apdorojimo greitį.
Standartizavimas ir normos
Standartizavimas reiškia, kad suvienodinamos instrukcijos, laiko ribos, užduočių pateikimas, vertinimas bei tai, kaip elgiamasi pasibaigus laikui ar nutraukus testą. Internetiniame teste prie rezultato sąlygų taip pat priskiriami išmaniojo telefono ir kompiuterio vaizdo skirtumai, ryšio vėlavimas, pakartotinis atlikimas bei galimybė naudotis paieška ar užrašais. Jei vienodų gebėjimų žmonės gauna labai skirtingą IQ vien dėl naudoto įrenginio ar bandymų skaičiaus, tokia skalė nėra tinkama palyginimui.
Normos nustato, su kuo lyginamas IQ. Bet kurios grupės teisingų atsakymų skaičių galima perskaičiuoti į skalę, kurios vidurkis yra 100, o standartinis nuokrypis – 15. Tačiau svetainės lankytojų vidurkį prilyginus 100, rezultatas neparodo žmogaus vietos bendrojoje suaugusiųjų populiacijoje.
Vertinant normas svarbus ne tik žmonių skaičius. Reikia žinoti jų amžių, kalbą, regioną ir atrankos būdą, kaip tvarkomi pakartotiniai bandymai, neįprasti atsakymai ar nebaigti testai, kaip atsižvelgta į amžių ir ar duomenų rinkimo metai atitinka dabartines užduotis bei vertinimo būdą.
Net teiginys „100 tūkst. testą atlikusių žmonių“ neleidžia įvertinti normų kokybės, jei neaišku, ar įskaičiuoti tų pačių žmonių pakartotiniai bandymai, kiek buvo kiekvieno amžiaus žmonių ir kada duomenys surinkti. Vienai kalbinei versijai sudarytų normų negalima tiesiog pritaikyti testui vien todėl, kad jis išverstas į kitą kalbą. Japonijos testų draugijos pagrindinėse nuostatose taip pat reikalaujama fiksuoti ir skelbti norminę grupę, imtį, standartizavimo procedūras ir statistinę informaciją.
Patikimumas, matavimo paklaida ir pasikliautinasis intervalas
Patikimumo koeficientas nuo 0 iki 1 rodo, kiek nuoseklios informacijos yra įvertyje. Vidinį užduočių nuoseklumą rodantis patikimumas ir stabilumą pakartojus testą kitą dieną rodantis pakartotinio testavimo patikimumas atsako į skirtingus klausimus. Neužtenka parašyti „patikimumas 0,90“ – reikia nurodyti, kokios rūšies patikimumas skaičiuotas, kuriam įverčiui ir pagal kieno duomenis.
Pagal patikimumą galima apskaičiuoti individualaus įverčio standartinę matavimo paklaidą (SEM). IQ skalėje, kurios standartinis nuokrypis yra 15, esant 0,90 patikimumui SEM yra apie 4,7 balo. Taikant 95 % pasikliautinąjį intervalą ±1,96 SEM, IQ 130 intervalas būtų maždaug 121–139. Patikimumas 0,90 nereiškia, kad rezultatas yra tikslus vieno balo tikslumu.
Čia kalbama apie viename individualiame įvertyje esančią matavimo paklaidą. Siauras pasikliautinasis intervalas neišsprendžia norminės imties šališkumo ar validumo klausimo, ar vien figūrų samprotavimo rezultatą galima vadinti bendruoju IQ.
Validumas ir matuojamų gebėjimų apimtis
Validumas lemia, ar įvertį galima interpretuoti kaip nurodytą gebėjimą. Tikrinama, ar užduočių turinys apima gebėjimo ribas, ar duomenys patvirtina numatytą įverčių struktūrą ir ar rezultatas pagal prognozę siejasi su esamais intelekto testais bei susijusiomis užduotimis.
Figūrų ar matricų užduotys gali būti kokybiškas figūrų arba fluidžiojo samprotavimo testas. Tačiau net ir didelis 30 figūrų užduočių patikimumas nereiškia, kad buvo išmatuoti žodynas, žinios, darbinė atmintis ar informacijos apdorojimo greitis. Norint pateikti bendrąjį IQ, reikia keliems gebėjimams skirtų užduočių ir pagrindo jų rezultatus sujungti į bendrą įvertį.
Teiginys „koreliacija su esamu IQ testu yra 0,70“ irgi nereiškia 70 % tikslumo. Koreliacija rodo, kiek du įverčiai didėja ir mažėja kartu. Jei prie kiekvieno žmogaus rezultato vienodai pridėtume 10 balų, koreliacija su pradiniu įverčiu būtų 1, tačiau visų žmonių skaičiai skirtųsi 10 balų. Sprendžiant, ar juos galima laikyti tuo pačiu IQ, reikia žinoti lyginamo testo pavadinimą ir versiją, imtį, vidurkių skirtumą ir skirtumus įvairiuose įverčių lygiuose.
Aukštam IQ matuoti reikia tinkamų užduočių ir normų
Norint atskirti IQ 130 nuo 140, reikia įveikti dvejas „lubas“.
| Ribojimas | Ko reikia | Kas nutinka, jei to trūksta |
|---|---|---|
| Užduočių lubos | Užduočių, kurios atskiria ir aukštų gebėjimų žmones | Aukščiausių gebėjimų dalyviai beveik viską išsprendžia, todėl jų skirtumų nebeįmanoma išmatuoti |
| Normų lubos | Pakankamai aukštų rezultatų duomenų ir tinkamo perskaičiavimo metodo | Iš tokio paties teisingų atsakymų skaičiaus neįmanoma stabiliai apskaičiuoti smulkių IQ skirtumų |
Net jei visa imtis didelė, žmonių skirstinio pakraščiuose yra nedaug. Darant prielaidą, kad IQ pasiskirsto normaliai, o vidurkis yra 100 ir standartinis nuokrypis – 15, iš 2 000 žmonių maždaug 8 turės IQ 140 ar didesnį. Remiantis tokia maža grupe, tiksliai atskirti IQ 140, 142 ir 145 būtų nepagrįsta. Lentelė IQ įverčiai ir gyventojų dalis padeda pamatyti, kodėl didėjant įverčiui vis sunkiau surinkti reikiamus duomenis.
Įprastą WISC-V norminę imtį sudarė 2 200 vaikų, 16-os iš jų bent vienas sudėtinis įvertis siekė 150 ar daugiau. Todėl aukštų įverčių sričiai buvo sudarytos išplėstinės normos ir jos papildomai patikrintos atskiroje 108 aukštų gebėjimų vaikų imtyje. Net žinomiems testams aukščiausių įverčių sričiai reikia specialiai pritaikytų užduočių ir duomenų.
Kokia vieša informacija reikalinga matavimo kokybei įvertinti
Viešoje informacijoje reikia ieškoti ne reklaminių teiginių, o tokios informacijos.
| Ką norima įvertinti | Kokia informacija turi būti vieša |
|---|---|
| Kieno atžvilgiu apskaičiuotas rezultatas | Tikslinė grupė, imties sudėtis, duomenų rinkimo metai, perskaičiavimo metodas |
| Kokie gebėjimai išmatuoti | Užduočių sandara, įverčių struktūra, validumo tikrinimo metodai ir rezultatai |
| Kokia paklaida yra rezultate | Atlikimo sąlygos, patikimumo rūšis, SEM, aukštų įverčių tikrinimo metodas |
Nebūtina skelbti visų pradinių duomenų, vertinimo algoritmo ar tikrųjų užduočių. Jei aiškūs tikslinė grupė, imtis, atlikimo sąlygos, perskaičiavimo metodas, patikimumas ir paklaida, pagrindiniai validumo rezultatai bei techninės informacijos atitiktis dabartinei versijai, naudotojai gali įvertinti teiginius.
Jei ši informacija neskelbiama arba jos nepakanka, net toks tikslus atrodantis skaičius kaip IQ 137 neturi patikrinamo pagrindo, todėl jo tikslumo negalima įvertinti. Jei testas neskelbia savo pagrindimo, jo IQ rezultato nelaikykite tiksliu skaičiumi. Tai praktinė išvada.
BrainTypeIQ skelbiami matavimo pagrindai
BrainTypeIQ nurodo, kodėl pasirinkti 9 subtestai ir kaip jie atitinka 5 sritis, taip pat paaiškina, kaip iš 9 subtestų sudaromas bendrasis IQ ir 5 sričių įverčiai.
Viešai aprašytas perskaičiavimas į standartinius įverčius ir jų sujungimo metodas, japoniškos versijos normos, sudarytos iš 841 dalyvio duomenų, į analizę įtraukus tik kiekvieno dalyvio pirmojo užbaigto testo duomenis, ir bendrojo IQ 0,929 patikimumas bei maždaug 4,0 balo SEM.
Jei rezultato reikia oficialiam vertinimui ar pateikti kitai institucijai, rinkitės remdamiesi ne internetinių testų kokybės palyginimu, o WAIS ir internetinio IQ testo paskirties skirtumais.