Jeżeli test nie publikuje informacji pozwalających ocenić jego metodę, nie traktuj wyświetlonego IQ jako precyzyjnej liczby. Reklama, wysoka pozycja w wyszukiwarce, elegancki raport i certyfikat nie są dowodami jakości pomiaru. Zasady rozpoznawania agresywnych płatności opisujemy w artykule Jak wybrać wiarygodny test IQ online?.
O jakości testu IQ decydują cztery elementy
| Element | Co trzeba sprawdzić | Co dzieje się bez niego |
|---|---|---|
| Standaryzacja | czy sposób wykonania i punktowania jest jednakowy | różnice w urządzeniu, czasie i zasadach punktowania zniekształcają wynik |
| Normy | z czyimi wynikami porównuje się badaną osobę | IQ 100 i górne 2% nie mają ustalonego znaczenia |
| Rzetelność | jak spójny i powtarzalny jest wynik | pojedyncze przypadkowe odpowiedzi nadmiernie zmieniają wynik |
| Trafność | czy wynik rzeczywiście opisuje deklarowaną zdolność | wynik zadań matrycowych jest bez podstaw interpretowany jako całkowite IQ |
Żaden pojedynczy element nie wystarcza. Test może być bardzo rzetelny, a jednocześnie mierzyć wyłącznie rozumowanie na materiale figuralnym. Wtedy nie ma podstaw, aby ten wynik nazywać całkowitym IQ obejmującym także język, pamięć i szybkość.
Standaryzacja wyrównuje warunki, a normy określają punkt odniesienia
Standaryzacja ustala instrukcję, limit czasu, kolejność zadań, punktowanie oraz sposób traktowania przerw i zadań niedokończonych. W teście online obejmuje też różnice między telefonem i komputerem, opóźnienia połączenia, ponowne podejścia oraz używanie wyszukiwarki czy notatek. Jeśli osoby o podobnych zdolnościach otrzymują inne IQ głównie z powodu ekranu lub liczby prób, skala nie jest porównywalna.
Norma określa grupę, na tle której interpretowany jest wynik. Każdy rozkład odpowiedzi można matematycznie przeliczyć tak, aby miał średnią 100 i odchylenie standardowe 15. Sam ten zabieg nie sprawia, że wynik pokazuje pozycję wśród dorosłych w Polsce.
Trzeba znać nie tylko liczebność próby, ale również wiek, język, region, sposób rekrutacji, moment zebrania danych oraz zasady usuwania powtórnych podejść, nienaturalnych odpowiedzi i porzuconych testów. „100 tysięcy użytkowników” niewiele mówi, jeśli jedna osoba mogła wykonać test wielokrotnie, a struktura wiekowa pozostaje nieznana. Dla każdej wersji językowej opis grupy odniesienia powinien jasno wskazywać, skąd pochodzą użyte dane.
Rzetelność mówi o spójności, a SEM o błędzie pojedynczego wyniku
Rzetelność jest współczynnikiem od 0 do 1 określającym stopień spójności informacji zawartej w wyniku. Rzetelność wewnętrzna opisuje zgodność elementów testu, a rzetelność test–retest — stabilność wyniku między dwoma terminami. Informacja „rzetelność 0,90” ma znaczenie dopiero po wskazaniu rodzaju współczynnika, badanej grupy i wyniku, którego dotyczy.
Z rzetelności można obliczyć standardowy błąd pomiaru, SEM. Na skali IQ o odchyleniu standardowym 15, przy rzetelności 0,90, SEM wynosi około 4,7 punktu. Jeżeli 95-procentowy przedział liczy się jako ±1,96 SEM, wynik IQ 130 obejmuje w przybliżeniu zakres 121–139. Rzetelność 0,90 nie oznacza więc dokładności do jednego punktu.
Ten przedział dotyczy błędu pojedynczego pomiaru. Nie naprawia źle dobranej grupy normatywnej ani problemu z nazwaniem pojedynczego wyniku matryc „całkowitym IQ”.
Trafność określa, jak szeroko wolno interpretować wynik
Trafność odpowiada na pytanie, czy wynik można interpretować jako miarę deklarowanej zdolności. Ocenia się zakres treści zadań, strukturę wyników oraz związki z uznanymi testami i zachowaniami, które dana zdolność powinna przewidywać.
Matryce i inne zadania figuralne mogą tworzyć dobry test rozumowania płynnego. Nawet wysoka rzetelność trzydziestu matryc nie oznacza jednak, że zmierzono słownictwo, wiedzę, pamięć roboczą i szybkość przetwarzania. Całkowite IQ wymaga kilku rodzajów zadań oraz danych potwierdzających, że można je połączyć we wspólny wynik.
Korelacja 0,70 z innym testem nie oznacza „70% dokładności”. Korelacja opisuje, w jakim stopniu dwa wyniki rosną i maleją razem. Gdyby do każdego wyniku dodać dziesięć punktów, korelacja z pierwowzorem wyniosłaby 1, mimo że wszystkie liczby byłyby przesunięte. Potrzebna jest nazwa i wersja testu porównawczego, opis próby, różnice średnich i zachowanie skali w różnych zakresach.
Pomiar wysokiego IQ wymaga trudnych zadań i danych z górnego krańca
Rozróżnienie IQ 130 od 140 wymaga pokonania dwóch ograniczeń:
| Ograniczenie | Co jest potrzebne | Skutek braku |
|---|---|---|
| Sufit zadań | zadania pozwalające różnicować także osoby o wysokich zdolnościach | najlepsi rozwiązują prawie wszystko i ich wyników nie da się rozdzielić |
| Sufit norm | dostatecznie dużo danych w górnym krańcu i stabilna metoda przeliczenia | temu samemu wynikowi surowemu przypisuje się pozornie bardzo precyzyjne IQ |
Duża próba ogółem nie oznacza dużej próby na samym krańcu rozkładu. Przy założeniu średniej 100 i odchylenia 15 wśród 2000 osób znajdzie się teoretycznie tylko około ośmiu z IQ 140 lub wyższym. To zbyt mało, aby pewnie odróżniać IQ 140, 142 i 145. Artykuł IQ i percentyle pokazuje, jak szybko maleje liczba osób wraz ze wzrostem wyniku.
W zwykłej próbie normatywnej WISC-V liczącej 2200 dzieci tylko 16 miało co najmniej jeden wynik złożony na poziomie 150 lub wyższym. Dlatego wydawca stworzył rozszerzone normy i dodatkowo sprawdził je na osobnej grupie 108 dzieci o wysokich zdolnościach. Nawet uznany test potrzebuje oddzielnej konstrukcji i danych do pomiaru skrajnie wysokich wyników.
Bez publicznie dostępnych informacji nie ufaj precyzyjnej wartości IQ
Do oceny wystarczą publiczne informacje odpowiadające na trzy pytania:
| Pytanie | Potrzebne informacje |
|---|---|
| Do kogo odnosi się wynik? | grupa docelowa, skład próby, rok zebrania danych i sposób przeliczenia |
| Jaką zdolność opisuje? | rodzaje zadań, struktura wyników oraz sposób i rezultat badania trafności |
| Ile błędu zawiera? | warunki wykonania, rodzaj rzetelności, SEM i sposób sprawdzania wysokich wyników |
Nie trzeba ujawniać prawdziwych zadań, pełnych danych ani algorytmu punktowania. Publiczne informacje muszą jednak pozwalać odnieść deklarowany wynik do badanej grupy, zakresu zdolności, warunków, sposobu przeliczenia, rzetelności i błędu. Bez tego IQ 137 wygląda precyzyjnie, ale jego znaczenia nie da się ocenić.
BrainTypeIQ publikuje podstawy swojej konstrukcji
BrainTypeIQ opisuje dziewięć zadań i ich przypisanie do pięciu obszarów, sposób tworzenia całkowitego IQ oraz pięciu wyników i kolejne etapy punktowania. Polska wersja korzysta obecnie z tymczasowego modelu punktacji dostosowanego na podstawie wersji japońskiej. Trwa gromadzenie danych.
Dla japońskiej wersji publikujemy normowanie na wynikach 841 osób, które ukończyły test po raz pierwszy oraz rzetelność całkowitego IQ 0,929 i SEM około 4,0 punktu. Dzięki temu można ocenić zarówno zakres testu, jak i empiryczną podstawę wyniku ogólnego.