Älä pidä testin IQ-lukua tarkkana mittaustuloksena, jos sen arviointiin tarvittavia perusteita ei ole julkaistu. Mainonta, hakukonesijoitus, viimeistelty tulosnäkymä tai IQ-todistus eivät ole näyttöä mittauslaadusta. Testin valintaa myös hintojen ja sopimusehtojen näkökulmasta käsitellään artikkelissa Luotettavan IQ-testin valinta verkossa.
IQ-testin mittauslaadun neljä osaa
| Osa | Mitä arvioidaan? | Mitä puutteesta seuraa? |
|---|---|---|
| Standardointi | Ovatko testin suorittamisen ja pisteytyksen ehdot yhtenäiset? | Laitteen, ajankäytön tai pisteytyksen erot vaikuttavat tulokseen. |
| Normit | Keiden tuloksiin pisteitä verrataan? | IQ 100:n tai ylimmän 2 prosentin merkitys jää määrittelemättä. |
| Reliabiliteetti | Kuinka johdonmukaisia pisteet ovat? | Satunnaiset oikeat ja väärät vastaukset muuttavat tulosta paljon. |
| Validiteetti | Voiko tuloksen tulkita ilmoitetun kyvyn mittariksi? | Kuviopäättelyn tulosta tulkitaan liian laajasti kokonais-IQ:na. |
Mikään näistä neljästä ei yksin ratkaise mittauslaatua. Testin reliabiliteetti voi esimerkiksi olla korkea, mutta jos testi mittaa vain kuviopäättelyä, tulos ei ole pätevä kokonais-IQ:n mittari, joka kattaisi myös kielelliset kyvyt, muistin ja prosessointinopeuden.
Standardointi ja normit
Standardointi tarkoittaa ohjeiden, aikarajojen, tehtävien, pisteytyksen sekä ajan loppumisen ja keskeytysten käsittelyn yhtenäistämistä. Verkkotestissä suoritusolosuhteisiin kuuluvat myös puhelimen ja tietokoneen näyttöerot, verkkoviiveet, uusintasuoritukset sekä hakujen ja muistiinpanojen käyttö. Jos yhtä kyvykkäiden ihmisten IQ eroaa paljon pelkän laitteen tai suorituskertojen määrän vuoksi, asteikko ei mahdollista mielekästä vertailua.
Normit määrittävät, keihin IQ-tulosta verrataan. Oikeiden vastausten määrän voi muuntaa asteikolle, jonka keskiarvo on 100 ja keskihajonta 15, minkä tahansa ryhmän tiedoista. Jos vain sivuston kävijöiden keskiarvoksi asetetaan 100, tulos ei vielä kerro sijoittumisesta Suomen aikuisväestössä.
Normeista tarvitaan osallistujamäärän lisäksi tietoa iästä, kielestä, alueesta, rekrytointitavasta, uusintasuoritusten, epäuskottavien vastausten ja keskeytysten käsittelystä, ikäkorjauksesta, aineiston keruuvuodesta sekä siitä, vastaako aineisto nykyisiä tehtäviä ja pisteytystä.
Ilmaus ”100 000 testin tekijää” ei riitä normien laadun arviointiin, jos ei tiedetä, sisältyvätkö lukuun samojen ihmisten uusintasuoritukset, kuinka paljon eri-ikäisiä osallistujia on tai milloin aineisto kerättiin. Pelkkä testin kääntäminen suomeksi ei myöskään oikeuta käyttämään toisen kieliversion normeja sellaisinaan. Esimerkiksi Japanin testitutkimusyhdistyksen perusperiaatteissa edellytetään vertailupopulaation, otoksen, standardointimenettelyjen ja tilastotietojen dokumentointia ja julkaisemista.
Reliabiliteetti, mittausvirhe ja luottamusväli
Reliabiliteetti kuvaa pisteiden sisältämän johdonmukaisen tiedon osuutta kertoimella 0–1. Tehtävien sisäistä yhtenäisyyttä kuvaava reliabiliteetti ja eri päivinä tehtyjen suoritusten vakautta kuvaava toistomittausreliabiliteetti vastaavat eri kysymyksiin. Pelkkä ”reliabiliteetti 0,90” ei siksi riitä. Tarvitaan tieto siitä, millainen reliabiliteetti laskettiin, keiden aineistosta ja mille tulokselle.
Reliabiliteetista voidaan laskea yksittäisen tuloksen mittauksen keskivirhe eli SEM. Kun IQ-asteikon keskihajonta on 15 ja reliabiliteetti 0,90, SEM on noin 4,7 pistettä. Jos 95 prosentin luottamusväli lasketaan kaavalla ±1,96 SEM, IQ-tuloksen 130 väli on noin 121–139. Reliabiliteetti 0,90 ei siis tarkoita yhden pisteen tarkkuutta.
Tämä kuvaa yhteen henkilökohtaiseen tulokseen sisältyvää mittausvirhettä. Kapea luottamusväli ei korjaa normiaineiston vinoumaa eikä ratkaise validiteettikysymystä siitä, voiko kuviopäättelyn tulosta kutsua kokonais-IQ:ksi.
Validiteetti ja mitattavien kykyjen kattavuus
Validiteetti ratkaisee, voiko pisteet tulkita ilmoitetun kyvyn mittariksi. Arvioinnissa tarkastellaan, kattavatko tehtävät kyseisen kyvyn, vahvistaako aineisto oletetun pisterakenteen ja liittyvätkö tulokset muihin älykkyystesteihin tai vastaaviin tehtäviin ennustetulla tavalla.
Kuviotehtävät ja matriisipäättely voivat muodostaa laadukkaan kuviopäättelyn tai joustavan päättelyn testin. Vaikka 30 kuviotehtävää tuottaisi korkean reliabiliteetin, testi ei silti ole mitannut sanastoa, tietoja, työmuistia tai prosessointinopeutta. Kokonais-IQ:n esittämiseen tarvitaan useita kykyjä mittaava tehtäväkokonaisuus sekä perusteet niiden yhdistämiselle kokonaistulokseksi.
Myöskään ”korrelaatio 0,70 tunnetun IQ-testin kanssa” ei tarkoita 70 prosentin tarkkuutta. Korrelaatio kertoo, kuinka paljon kaksi tulosta vaihtelee samansuuntaisesti. Jos kaikkien tuloksiin lisätään tasan 10 pistettä, uusien ja alkuperäisten pisteiden korrelaatio on 1, vaikka jokainen tulos on 10 pistettä eri. Sen arvioimiseksi, ovatko tulokset samalla IQ-asteikolla, tarvitaan vertailutestin nimi ja versio, otos, keskimääräinen piste-ero sekä erot eri pistetasoilla.
Korkean IQ:n mittaaminen vaatii sopivat tehtävät ja normit
IQ-tulosten 130 ja 140 erottaminen edellyttää kahden ylärajan ylittämistä.
| Yläraja | Mitä tarvitaan? | Mitä puutteesta seuraa? |
|---|---|---|
| Tehtävien yläraja | Tehtäviä, jotka erottelevat myös erittäin kyvykkäitä osallistujia | Korkeimmin suoriutuvat vastaavat lähes kaikkeen oikein, eikä kykyeroja pystytä havaitsemaan. |
| Normien yläraja | Riittävästi korkeiden tulosten aineistoa ja toimiva muunnosmenetelmä | Oikeiden vastausten määrästä ei voida arvioida pieniä IQ-eroja vakaasti. |
Suurestakin otoksesta vain harva sijoittuu jakauman ääripäihin. Kun oletetaan normaalijakauma, jonka keskiarvo on 100 ja keskihajonta 15, 2 000 ihmisen otoksessa on noin kahdeksan ihmistä, joiden IQ on vähintään 140. Tämä ei riitä erottamaan tarkasti tuloksia 140, 142 ja 145. IQ-pisteiden ja väestöosuuksien suhde selittää, miksi tarvittavan aineiston kerääminen vaikeutuu pistetason noustessa.
WISC-V:n 2 200 lapsen tavanomaisessa normiaineistossa vain 16 lapsella jokin yhdistelmäpistemäärä oli vähintään 150. Siksi korkeita pisteitä varten laadittiin laajennetut normit, joita tutkittiin myös erillisellä 108 erittäin kyvykkään lapsen otoksella. Tunnettujenkin testien korkeimmat tulokset tarvitsevat niihin soveltuvat tehtävät ja aineiston.
Mittauslaadun arviointiin tarvittavat julkiset tiedot
Mainoslupausten sijaan olennaista on, löytyvätkö kuhunkin kysymykseen sitä vastaavat tiedot.
| Arvioitava asia | Tarvittavat julkiset tiedot |
|---|---|
| Keihin luku vertautuu? | Kohdepopulaatio, otoksen rakenne, keruuvuosi ja pisteiden muunnosmenetelmä |
| Mitä kykyä luku mittaa? | Tehtäväkokonaisuus, pisterakenne sekä validiteetin arviointimenetelmät ja tulokset |
| Kuinka paljon virhettä luku sisältää? | Suoritusolosuhteet, reliabiliteetin tyyppi, SEM ja korkeiden tulosten arviointimenetelmä |
Kaikkea raakadataa, pisteytysalgoritmia tai varsinaisia testitehtäviä ei tarvitse julkaista. Käyttäjä pystyy arvioimaan väitteitä, kun saatavilla ovat kohdepopulaatio, otos, suoritusolosuhteet, muunnosmenetelmä, reliabiliteetti ja mittausvirhe, validiteetin keskeiset tulokset sekä tieto siitä, miten tekninen dokumentaatio liittyy nykyiseen testiversioon.
Jos näitä tietoja ei voi arvioida, esimerkiksi IQ 137:n kaltaisen tarkan luvun merkitystä ja tarkkuutta ei voi todentaa. Älä pidä testin IQ-lukua tarkkana mittaustuloksena, jos testin perusteita ei ole julkaistu. Tämä on käytännön johtopäätös.
BrainTypeIQ:n julkaisemat mittauksen perusteet
BrainTypeIQ kuvaa yhdeksän testiosion valinnan ja niiden yhteyden viiteen osa-alueeseen sekä sen, miten yhdeksästä testiosiosta muodostetaan kokonais-IQ ja viiden osa-alueen tulokset.
Julkaistuihin tietoihin kuuluvat myös standardipisteiden laskenta ja yhdistäminen, japaninkielisen version normit 841 ensimmäisen suorituksensa loppuun tehneen aineistosta sekä japaninkielisen version kokonais-IQ:n reliabiliteetti 0,929 ja SEM noin 4,0 pistettä. Jos tarvitset virallisen arvion tai tuloksen ulkopuoliselle taholle, sopivaa vaihtoehtoa kannattaa arvioida WAIS-tutkimuksen ja verkkotestien käyttötarkoitusten erojen kautta.