Ha egy teszt nem teszi közzé a megítéléshez szükséges mérési alapokat, az IQ-ját ne kezeld pontos értékként. A hirdetés, a keresőben elfoglalt hely, a gondosan kialakított eredményoldal és az IQ-tanúsítvány nem bizonyítja a mérés minőségét. A díjazást és szerződési feltételeket is figyelembe vevő választást a megbízható online IQ-tesztről szóló útmutató mutatja be.
Az IQ-teszt mérési minőségét négy tényező határozza meg
| Tényező | Mit kell látni? | Mi történik, ha hiányzik? |
|---|---|---|
| Standardizálás | Azonosak-e a kitöltés és a pontozás feltételei | Az eszköz, az idő vagy a pontozás különbsége belekeveredik az eredménybe |
| Norma | Kiknek az adataihoz viszonyítják az eredményt | Az IQ 100 és a felső 2% jelentése nem határozható meg |
| Megbízhatóság | Mennyire következetes a pontszám | A véletlen jó vagy rossz válasz túl nagyot mozdíthat rajta |
| Érvényesség | Az eredmény valóban a megjelölt képességet méri-e | Egy ábrakövetkeztetési eredményből indokolatlanul az összesített IQ-ra következtetnek |
E négy szempont közül egyik sem elég önmagában. Egy teszt lehet nagyon megbízható, de ha csak ábrakövetkeztetést mér, nem értelmezhető úgy, mint a nyelvi megértést, memóriát és feldolgozási sebességet is tartalmazó összesített IQ.
Standardizálás és norma
A standardizálás azt jelenti, hogy az instrukciók, az időkorlát, a feladatok, a pontozás, valamint a lejárt idő és a megszakítások kezelése azonos. Online kitöltésnél a telefon és számítógép közötti megjelenési különbség, a hálózati késés, az ismételt kitöltés, illetve a keresés vagy jegyzet használata is a mérési feltételek része. Ha két azonos képességű embernek csak az eszköz vagy a kitöltések száma miatt nagyon eltérő IQ-ja lesz, az eredmény nem alkalmas összehasonlításra.
A norma jelöli ki, kikhez hasonlítják a pontszámot. A helyes válaszokból bármilyen csoport adataival létrehozható 100-as átlagú, 15-ös szórású skála. Ha azonban csak az oldal látogatóinak átlaga lesz 100, az nem mutatja meg a helyet az ország felnőtt népességében.
A normánál nem csak a létszám számít. Fontos az életkor, a nyelv, a terület, a toborzás módja, az ismételt kitöltések, a természetellenes válaszok és a félbehagyások kezelése, az életkori korrekció, a gyűjtés ideje, valamint az, hogy a jelenlegi feladatok és pontozás megfelelnek-e az adatgyűjtés idején használt változatnak.
Még a „100 000 kitöltő” sem mond eleget, ha nem derül ki, hány ismételt kitöltés van benne, milyen korosztályból hányan szerepelnek, és mikor gyűjtötték az adatokat. Egy csak lefordított tesztre sem lehet változtatás nélkül más nyelvű normaadatokat alkalmazni. A Japán Tesztelméleti Társaság alapelvei is előírják a normacsoport, a minta, a standardizálási eljárás és a statisztikai adatok dokumentálását.
Megbízhatóság, mérési hiba és megbízhatósági tartomány
A megbízhatóság egy 0 és 1 közötti együttható, amely azt fejezi ki, mennyi következetes információ van a pontszámban. Más kérdésre válaszol a feladatsor egészének összetartását vizsgáló megbízhatóság és a különböző napokon kapott eredmény stabilitását mérő újratesztelési megbízhatóság. A „0,90-es megbízhatóság” önmagában kevés: tudni kell, melyik típusról, kiknek az adatairól és melyik pontszámról van szó.
A megbízhatóságból kiszámítható az egyéni pontszám mérési standard hibája, a SEM. Egy 15-ös szórású IQ-skálán 0,90-es megbízhatóságnál a SEM körülbelül 4,7 pont. Ha a 95%-os tartományt ±1,96 SEM-mel számítják, egy IQ 130-as eredmény hozzávetőleges tartománya 121–139.
A 0,90-es megbízhatóság mellett az eredmény nem tekinthető egyetlen, pontos és biztos értéknek. Ez az egy személy egyszeri eredményének mérési hibája. A norma torzulását vagy azt a kérdést, hogy egy ábrakövetkeztetési teszt összesített IQ-ként értelmezhető-e, szűk megbízhatósági tartomány sem oldja meg.
Az érvényességet az dönti el, milyen képességet és milyen szélességben mér a teszt
Az érvényesség azt dönti el, hogy a pontszám valóban a feltüntetett képességet méri-e. Ehhez azt kell látni, lefedik-e a feladatok a képesség tartományát, az adatok megerősítik-e a feltételezett pontszámszerkezetet, és a teszt a vártnak megfelelően kapcsolódik-e meglévő intelligenciatesztekhez vagy rokon feladatokhoz.
Az ábrás feladatok és a mátrixkövetkeztetés jó minőségben mérhetnek vizuális vagy fluid következtetést. Harminc ábrás feladat magas megbízhatósága azonban nem jelenti azt, hogy szókincset, tudást, munkamemóriát vagy feldolgozási sebességet is mértek. Összesített IQ-hoz több képességet mérő feladatszerkezet és annak bizonyítéka kell, hogy ezekből közös pontszám képezhető.
Egy meglévő IQ-teszttel mért 0,70-es korreláció sem jelent 70%-os pontosságot. A korreláció azt mutatja, mennyire mozog együtt két pontszám. Ha minden résztvevő eredményéhez egységesen 10 pontot adnánk, az új és a régi pontszám korrelációja 1 lenne, miközben minden érték 10 ponttal eltolódna. A két eredmény IQ-ként való összevetéséhez látni kell a referenciateszt nevét és változatát, a mintát, az átlagkülönbséget és a különböző pontszámtartományok eltéréseit is.
A magas IQ méréséhez a feladatoknak és a normának is el kell érnie a felső tartományt
Az IQ 130 és IQ 140 megkülönböztetéséhez kétféle plafont kell átlépni.
| Plafon | Mire van szükség? | Mi történik, ha hiányzik? |
|---|---|---|
| Feladatplafon | Olyan feladatokra, amelyek a magas képességűek között is különbséget tesznek | A felső tartományban sokan szinte minden feladatra jól válaszolnak, így a különbség nem figyelhető meg |
| Normaplafon | A magas pontszámokat megtámasztó elegendő adatra és átváltási módszerre | Ugyanabból a helyes válaszszámból nem lehet stabilan finom IQ-különbségeket becsülni |
Nagy teljes minta mellett is kevesen vannak az eloszlás szélén. Ha 100-as átlagú, 15-ös szórású normális eloszlással számolunk, egy 2 000 fős mintában körülbelül 8 ember ér el IQ 140 fölötti értéket. Ebből nem lehet megbízhatóan megkülönböztetni az IQ 140, IQ 142 és IQ 145 eredményeket. Az IQ-pontszámok és népességarányok megmutatják, miért nehéz a magas tartományhoz elegendő adatot gyűjteni.
A WISC-V szokásos, 2 200 fős normamintájában csak 16 gyermek ért el legalább 150-es összetett pontszámot. Emiatt külön, a magas tartományra készített kiterjesztett normát hoztak létre, és 108 magas képességű gyermek külön mintáján is ellenőrizték. A széles körben használt teszteknek is külön feladattervezésre és adatokra van szükségük a felső tartományban.
A mérési minőség megítéléséhez szükséges nyilvános információk
Nyilvános információból nem a reklámszöveget, hanem a következő megfeleléseket kell keresni:
| Mit szeretnél megítélni? | Milyen információ kell hozzá? |
|---|---|
| Kikhez viszonyítják az eredményt? | Célcsoport, mintaszerkezet, gyűjtési év, átváltási módszer |
| Milyen képességet mér a pontszám? | Feladatszerkezet, pontszámszerkezet, az érvényességet vizsgáló módszerek és eredmények |
| Mekkora hibát tartalmaz a pontszám? | Kitöltési feltételek, a megbízhatóság típusa, SEM, a magas tartomány ellenőrzésének módja |
Nem kell minden nyers adatot, pontozási algoritmust vagy tényleges feladatot közzétenni. Ha ismert a célcsoport, a minta, a kitöltési feltétel, az átváltás, a megbízhatóság és hiba, az érvényesség fő eredményei, valamint a technikai információ és az aktuális változat kapcsolata, a felhasználó értékelni tudja az állítást.
Ha ezek az értékelhető adatok hiányoznak, egy olyan pontosnak tűnő érték, mint az IQ 137, sem rendelkezik ellenőrizhető jelentéssel vagy pontossággal. Ha egy teszt nem teszi közzé a mérési alapjait, az IQ-ját ne kezeld pontos értékként.
A BrainTypeIQ által közzétett mérési alapok
A BrainTypeIQ bemutatja, miért ezt a kilenc feladatot választja, és hogyan kapcsolódnak az öt területhez, valamint hogyan képez összesített IQ-t és öt területi eredményt a kilenc feladatból.
A standard pontszámra váltás és az összetett eredmények számítása, a japán nyelvű kiadás 841, a tesztet első alkalommal befejező résztvevőjére épülő norma, valamint az összesített IQ 0,929-es megbízhatósága és körülbelül 4,0 pontos SEM-je is elérhető. A magyar változat pontozása jelenleg a japán nyelvű kiadáshoz igazodik; a magyar adatgyűjtés még folyamatban van.
Ha hivatalos értékelésre vagy külső benyújtásra van szükség, ne online IQ-tesztek mérési minősége alapján válassz, hanem a WAIS és az online IQ-teszt eltérő szerepe alapján.