IQ z testu, ktorý nezverejňuje podklady potrebné na posúdenie, nepovažujte za presné číslo. Reklama, pozícia vo vyhľadávaní, pekne spracované výsledky ani IQ certifikát nie sú dôkazom kvality merania. Výber vrátane ceny a zmluvných podmienok opisuje článok Ako vybrať dôveryhodný online IQ test.
Štyri prvky, ktoré určujú kvalitu merania IQ testu
| Prvok | Čo treba vedieť | Čo sa stane, ak chýba |
|---|---|---|
| Štandardizácia | Sú podmienky vykonania a skórovania rovnaké? | Do skóre sa premietnu rozdiely v zariadení, čase alebo spôsobe skórovania |
| Normy | S kým sa výsledok porovnáva? | IQ 100 ani horné 2 % nemajú určený význam |
| Reliabilita, čiže spoľahlivosť | Do akej miery je skóre konzistentné? | Náhodné správne a nesprávne odpovede výrazne menia číslo |
| Validita, čiže platnosť merania | Možno skóre chápať ako výsledok uvedenej schopnosti? | Výsledok usudzovania s obrazcami sa neoprávnene rozšíri na celkové IQ |
Kvalitu merania IQ nemožno posúdiť iba podľa jedného z týchto štyroch prvkov. Test môže mať vysokú reliabilitu, ale ak meria iba usudzovanie s obrazcami, jeho výsledok nie je platným celkovým IQ zahŕňajúcim aj jazyk, pamäť a rýchlosť spracovania.
Štandardizácia a normy
Štandardizácia znamená jednotné pokyny, časové limity, zadávanie úloh, skórovanie a postup pri uplynutí času či prerušení. Pri online teste patria medzi podmienky aj rozdiely zobrazenia na telefóne a počítači, oneskorenie pripojenia, opakované pokusy a pravidlá vyhľadávania či používania poznámok. Ak ľudia s rovnakými schopnosťami získavajú výrazne odlišné IQ iba podľa zariadenia alebo počtu pokusov, nejde o porovnateľnú stupnicu.
Normy určujú, s kým sa IQ porovnáva. Počet správnych odpovedí možno previesť na priemer 100 a štandardnú odchýlku 15 pomocou dát akejkoľvek skupiny. Ak sa na priemer 100 nastaví iba skupina návštevníkov stránky, výsledok tým nezačne vyjadrovať pozíciu medzi dospelými v celej populácii.
Pri normách nerozhoduje iba počet ľudí. Podstatné sú aj vek, jazyk, región, spôsob získavania účastníkov, postup pri opakovaných pokusoch, neobvyklých odpovediach a predčasnom ukončení, zohľadnenie veku, rok zberu dát a ich súlad so súčasnými úlohami a skórovaním.
Ani údaj „100 000 testovaných“ neumožňuje posúdiť kvalitu noriem, ak nie je jasné, či zahŕňa opakované pokusy tých istých ľudí, koľko účastníkov patrí do jednotlivých vekových skupín a kedy sa dáta zbierali. Na test iba preložený do slovenčiny nemožno bez ďalšieho použiť normy cudzojazyčnej verzie. Aj základné zásady Japonskej spoločnosti pre testovanie požadujú zaznamenávanie a zverejňovanie referenčnej skupiny, vzorky, štandardizačného postupu a štatistických údajov.
Reliabilita, chyba merania a interval spoľahlivosti
Reliabilita sa vyjadruje koeficientom od 0 do 1 a udáva, do akej miery je skóre konzistentné. Reliabilita založená na konzistentnosti položiek odpovedá na inú otázku než test-retest reliabilita, ktorá skúma stabilitu pri opakovaní v iný deň. Nestačí uviesť „reliabilita 0,90“. Potrebné je vedieť, aký druh reliability bol vypočítaný, z čích dát a pre ktoré skóre.
Z reliability možno vypočítať štandardnú chybu merania (SEM) individuálneho skóre. Pri IQ stupnici so štandardnou odchýlkou 15 a reliabilitou 0,90 je SEM približne 4,7 bodu. Ak sa 95 % interval spoľahlivosti počíta ako ±1,96 SEM, pre IQ 130 je rozsah približne 121–139. Reliabilita 0,90 neznamená presnosť na jeden bod.
Tento interval zachytáva chybu merania v jednom individuálnom výsledku. Úzky interval nevyrieši skreslenú normovú vzorku ani otázku validity, či možno usudzovanie s obrazcami označiť za celkové IQ.
Validita a rozsah meraných schopností
Validita určuje, či možno skóre chápať ako výsledok schopnosti, ktorú test uvádza. Posudzuje sa, či obsah úloh pokrýva danú schopnosť, či dáta potvrdzujú predpokladanú štruktúru skóre a či má výsledok očakávaný vzťah k existujúcim inteligenčným testom alebo súvisiacim úlohám.
Úlohy s obrazcami a maticami môžu tvoriť kvalitný test usudzovania s obrazcami alebo fluidného uvažovania. Ani vysoká reliabilita pri 30 takýchto úlohách však neznamená, že test meral slovnú zásobu, vedomosti, pracovnú pamäť a rýchlosť spracovania. Ak výsledok označuje ako celkové IQ, potrebuje úlohy pre viacero schopností a dôkazy, že ich možno spojiť do celkového skóre.
Ani „korelácia 0,70 s existujúcim IQ testom“ neznamená 70 % presnosť. Korelácia vyjadruje, do akej miery dve skóre stúpajú a klesajú spoločne. Ak by sa každému k pôvodnému skóre pripočítalo 10 bodov, korelácia s pôvodným výsledkom by bola 1, ale všetky čísla by sa líšili o 10 bodov. Na posúdenie, či ide o porovnateľné IQ, treba poznať názov a vydanie porovnávacieho testu, vzorku, rozdiel priemerov aj rozdiely v jednotlivých pásmach skóre.
Úlohy a normy potrebné na meranie vysokého IQ
Na rozlíšenie IQ 130 a 140 treba prekonať dva druhy stropového efektu.
| Strop | Čo je potrebné | Čo sa stane pri nedostatku |
|---|---|---|
| Strop úloh | Úlohy, ktoré rozlíšia aj ľudí s vysokými schopnosťami | Najlepší vyriešia takmer všetko správne a rozdiely medzi nimi sa nedajú pozorovať |
| Strop noriem | Dostatočné dáta a spôsob prepočtu pre vysoké skóre | Z rovnakého počtu správnych odpovedí nemožno spoľahlivo odhadnúť jemné rozdiely IQ |
Aj vo veľkej vzorke je na okrajoch rozdelenia málo ľudí. Pri normálnom rozdelení s priemerom 100 a štandardnou odchýlkou 15 obsahuje vzorka 2 000 ľudí približne 8 ľudí s IQ 140 alebo vyšším. Samotné tieto dáta nestačia na jemné rozlišovanie IQ 140, 142 a 145. Vzťah medzi IQ a podielom v populácii ukazuje, prečo je získavanie potrebných dát pri vyššom skóre čoraz ťažšie.
V bežnej normovej vzorke WISC-V s 2 200 deťmi malo iba 16 detí aspoň jedno zložené skóre 150 alebo vyššie. Preto sa vytvorili rozšírené normy pre vysoké skóre a overili sa aj na ďalšej vzorke 108 detí s vysokými schopnosťami. Aj známy test potrebuje pre najvyššie pásma osobitne navrhnuté úlohy a dáta.
Zverejnené informácie potrebné na posúdenie kvality merania
Pri zverejnených informáciách rozhodujú tieto súvislosti, nie reklamné tvrdenia.
| Čo posudzujeme | Potrebné zverejnené informácie |
|---|---|
| S kým sa výsledok porovnáva | Cieľová populácia, zloženie vzorky, rok zberu dát, spôsob prepočtu |
| Akú schopnosť číslo vyjadruje | Zloženie úloh, štruktúra skóre, metódy a výsledky overovania validity |
| Akú chybu číslo obsahuje | Podmienky vykonania, druh reliability, SEM, spôsob overenia vysokých skóre |
Netreba zverejniť všetky surové dáta, skórovací algoritmus ani skutočné testové úlohy. Ak sú zrozumiteľne uvedené cieľová skupina, vzorka, podmienky vykonania, spôsob prepočtu, reliabilita a chyba merania, hlavné výsledky validity a súlad technických údajov so súčasnou verziou, používateľ môže tvrdenia posúdiť.
Ak tieto podklady chýbajú, význam a presnosť výsledku nemožno overiť ani vtedy, keď test ukáže zdanlivo presné číslo ako IQ 137. IQ z testu, ktorý nezverejňuje podklady k meraniu, nepovažujte za presné číslo.
Aké podklady k meraniu zverejňuje BrainTypeIQ
BrainTypeIQ opisuje dôvody výberu deviatich subtestov a ich priradenie k piatim oblastiam aj výpočet celkového IQ a skóre piatich oblastí.
Zverejňuje aj prepočet na štandardné skóre a spôsob ich spájania, normy japonskej verzie založené na 841 ľuďoch, ktorí prvýkrát dokončili test a reliabilitu celkového IQ 0,929 so SEM približne 4,0 bodu. Uvedená vzorka a výsledky reliability sa týkajú japonskej verzie.
Ak je cieľom odborné posúdenie alebo predloženie výsledku inej organizácii, výberu pomôže skôr rozdiel medzi úlohou WAIS a online IQ testov než porovnávanie kvality online testov.