Kui test ei avalda hindamiseks vajalikke tõendeid, ei tasu selle IQ-d usaldada täpse arvuna. Reklaam, otsingupositsioon, viimistletud tulemuste ekraan ja IQ-tunnistus ei tõenda mõõtmiskvaliteeti. Veebipõhise IQ-testi valimisel on olulised ka tasud ja lepingutingimused.
IQ-testi mõõtmiskvaliteeti määravad neli tegurit
| Tegur | Mida kontrollida? | Mis juhtub selle puudumisel? |
|---|---|---|
| Standardiseerimine | Kas sooritamise ja skoorimise tingimused on ühtsed? | Skoori mõjutavad seadme, aja või skoorimismeetodi erinevused |
| Normid | Kelle andmetega tulemust võrreldakse? | IQ 100 või parima 2% tähendus jääb määramata |
| Reliaablus | Kui järjekindel on skoor? | Juhuslikud õiged ja valed vastused muudavad arvu suuresti |
| Valiidsus | Kas skoori saab tõlgendada kuvatud võimena? | Kujundiarutluse tulemust laiendatakse liiga üldiselt kogu IQ-le |
Ühest neist neljast ei piisa IQ mõõtmiskvaliteedi hindamiseks. Näiteks võib test olla kõrge reliaablusega, kuid kui see mõõdab üksnes kujundiarutlust, ei ole seda valiidne tõlgendada üldise IQ-na, mis hõlmab ka keelt, mälu ja töötluskiirust.
Standardiseerimine ja normid
Standardiseerimine tähendab ühtseid selgitusi, ajapiiranguid, ülesandeid, skoorimist ning aja lõppemise või katkestuse käsitlemist. Veebis kuuluvad skoori tingimuste hulka ka telefoni ja arvuti kuvamise erinevused, võrguviivitus, kordussooritused ning otsimise või märkmete kasutamise reeglid. Kui sama võimega inimesed saavad üksnes seadme või soorituskordade tõttu väga erineva IQ, ei ole skaala võrreldav.
Normid määravad, kellega IQ-d võrreldakse. Õigete vastuste arvu saab teisendada keskmisele 100 ja standardhälbele 15 mis tahes rühma andmete põhjal. Ainult veebilehe külastajate keskmise seadmine 100-ks ei näita aga asukohta üldises täiskasvanud elanikkonnas.
Normide puhul vaadatakse inimeste arvu kõrval vanust, keelt, piirkonda, värbamisviisi, kordussoorituste, ebatavaliste vastuste ja poolelijätmiste käsitlemist, vanusekorrigeerimist ning andmete kogumise aasta vastavust praegustele ülesannetele ja skoorimismeetodile.
Ka „100 000 testi sooritanut” ei näita normide kvaliteeti, kui pole teada, kas arv sisaldab sama inimese kordussooritusi, kui palju on igas vanuserühmas inimesi ja millal andmed koguti. Üksnes teise keelde tõlgitud testile ei saa muutmata kujul üle kanda algse keeleversiooni norme. Ka Jaapani Testimisühingu põhinõuded nõuavad normrühma, valimi, standardiseerimisprotseduuri ja statistilise info dokumenteerimist ning avaldamist.
Reliaablus, mõõtmisviga ja usaldusvahemik
Reliaablus väljendab koefitsiendiga 0–1, kui palju järjekindlat infot skoor sisaldab. Ülesannete omavahelist kooskõla hindav reliaablus ja teisel päeval kordussoorituse stabiilsust hindav kordustesti reliaablus vastavad eri küsimustele. Väite „reliaablus 0,90” kõrval tuleb teada, milline liik arvutati, kelle andmetel ja millise skoori kohta.
Reliaabluse põhjal saab arvutada inimese skoori mõõtmise standardvea ehk SEM-i. IQ skaalal standardhälbega 15 ja reliaablusega 0,90 on SEM umbes 4,7 punkti. Kui 95% usaldusvahemik arvutatakse valemiga ±1,96 SEM, jääb IQ 130 vahemik ligikaudu 121–139. Reliaablus 0,90 ei tähenda ühe punkti täpsust.
See kirjeldab ühe inimese ühe skoori mõõtmisviga. Kitsas usaldusvahemik ei lahenda normvalimi kallutatust ega valiidsuse küsimust, kas kujundiarutlust võib nimetada üldiseks IQ-ks.
Valiidsus ja mõõdetavate võimete ulatus
Valiidsus määrab, kas skoori saab tõlgendada kuvatud võimena. Vaadatakse, kas ülesannete sisu katab võime ulatuse, kas eeldatud skooristruktuuri kinnitavad andmed ja kas skoor seostub olemasolevate intelligentsustestide või seotud ülesannetega oodatud viisil.
Kujundiülesanded ja maatriksarutlus võivad olla head kujundiarutluse või voolava arutluse testid. Kõrge reliaablus 30 kujundiülesandes ei tähenda aga, et mõõdeti sõnavara, teadmisi, töömälu või töötluskiirust. Üldise IQ kuvamiseks on vaja mitut võimet mõõtvat ülesannete koosseisu ning alust nende ühendamiseks üldskooriks.
Ka „korrelatsioon olemasoleva IQ-testiga 0,70” ei tähenda 70% täpsust. Korrelatsioon näitab, kui palju kaks skoori koos tõusevad või langevad. Kui kõigile skooridele lisada ühtlaselt 10 punkti, on korrelatsioon algsete skooridega 1, kuid iga inimese arv on 10 punkti nihkes. Sama IQ-na käsitlemise hindamiseks on vaja teada võrdlustesti nimetust ja versiooni, valimit, keskmiste erinevust ning erinevusi eri skoorivahemikes.
Kõrge IQ mõõtmiseks vajalikud ülesanded ja normid
IQ 130 ja 140 eristamiseks tuleb arvestada kahe ülempiiriga.
| Ülempiir | Mida on vaja? | Mis juhtub puudujäägi korral? |
|---|---|---|
| Ülesannete ülempiir | Ülesanded, mis eristavad ka kõrge võimekusega inimesi | Kõrge võimekusega inimesed vastavad peaaegu kõigele õigesti ja erinevusi ei saa vaadelda |
| Normide ülempiir | Piisavad andmed ja teisendusmeetod kõrgete skooride jaoks | Sama õigete vastuste arvu põhjal ei saa peeneid IQ erinevusi stabiilselt hinnata |
Ka suures valimis on jaotuse äärmises otsas vähe inimesi. Normaaljaotuse, keskmise 100 ja standardhälbe 15 korral on 2000 inimese valimis IQ-ga vähemalt 140 inimesi ligikaudu kaheksa. Ainult selle põhjal on raske täpselt eristada IQ-d 140, 142 ja 145. IQ-skooride ja rahvastiku osakaalude võrdlemine näitab, miks kõrgemate skooride jaoks on andmeid raskem koguda.
WISC-V tavapärases 2200 inimese normvalimis oli 16 last, kelle vähemalt üks liitskoor oli 150 või kõrgem. Seetõttu loodi kõrgete skooride laiendatud normid ja kontrolliti neid ka eraldi 108 kõrge võimekusega lapse valimis. Ka tuntud test vajab kõrges skoorivahemikus sobivat ülesannete kavandamist ja andmeid.
Mõõtmiskvaliteedi hindamiseks vajalik avalik info
Avalikus infos vaadatakse reklaamlause asemel järgmisi seoseid.
| Mida hinnata? | Vajalik avalik info |
|---|---|
| Kellega tulemust võrreldakse? | Sihtrühm, valimi koosseis, kogumise aasta ja teisendusmeetod |
| Millist võimet arv mõõdab? | Ülesannete koosseis, skooristruktuur ning valiidsuse kontrollimise meetod ja tulemused |
| Kui palju mõõtmisviga arv sisaldab? | Sooritamistingimused, reliaabluse liik, SEM ja kõrgete skooride kontrollimise meetod |
Kõiki algandmeid, skoorimisalgoritme ja tegelikke ülesandeid ei pea avaldama. Sihtrühma, valimi, sooritamistingimuste, teisendamise, reliaabluse ja mõõtmisvea, peamiste valiidsustulemuste ning tehnilise info vastavuse põhjal praegusele versioonile saab kasutaja väiteid hinnata.
Kui hindamiseks vajalik info puudub, ei saa ka täpse arvuna kuvatud IQ 137 tähendust või täpsust kontrollida. Testi IQ-d ei tasu usaldada täpse arvuna, kui test ei avalda selle aluseks olevaid tõendeid. See on praktiline järeldus.
BrainTypeIQ avaldatud mõõtmistõendid
BrainTypeIQ selgitab üheksa alltesti valiku põhjuseid ja vastavust viiele valdkonnale ning üldise IQ ja viie valdkonna moodustamist üheksast alltestist.
Avaldatud on ka standardskoorideks teisendamine ja ühendamine, jaapanikeelse versiooni normid 841 esmakordse lõpetaja põhjal ning jaapanikeelse versiooni üldise IQ reliaablus 0,929 ja SEM ligikaudu 4,0 punkti. Kui eesmärk on ametlik hindamine või tulemuse esitamine väljapoole, aitab veebitestide kvaliteedi võrdlemise asemel valida WAIS-i ja veebipõhise IQ-testi rollide erinevus.