Не приемайте IQ от тест без публикувани доказателства за измерването като прецизна стойност. Рекламите, позицията в търсачките, добре оформеният екран с резултати и сертификатът за IQ не доказват качество на измерването. Как да избирате, включително според цената и условията на договора, е обяснено в Как да изберете надежден онлайн IQ тест.
Четири елемента определят качеството на измерване при IQ тестовете
| Елемент | Какво да проверите | Какво се случва, ако липсва |
|---|---|---|
| Стандартизация | Еднакви ли са условията за провеждане и оценяване | Разликите в устройството, времето или оценяването се смесват с резултата |
| Норми | С чии данни се сравнява резултатът | Не може да се определи какво означават IQ 100 или горните 2% |
| Надеждност | Доколко резултатът е последователен | Случайните верни и грешни отговори променят значително стойността |
| Валидност | Може ли резултатът да се тълкува като заявената способност | Резултатът от задачи за фигурално разсъждение неправомерно се представя като общ IQ. |
Нито един от тези четири елемента сам по себе си не е достатъчен, за да се оцени качеството на измерване. Например дори тестът да е много надежден, ако обхваща само фигурално разсъждение, резултатът му не е валиден като общ IQ, включващ езикови способности, памет и скорост на преработка на информацията.
Стандартизация и норми
Стандартизацията означава указанията, времевите ограничения, задачите, оценяването и правилата при изтичане на времето или прекъсване да са еднакви. При онлайн тестовете в условията на измерване влизат и разликите в начина на показване на задачите на смартфон и компютър, забавянето на връзката, повторното полагане и използването на търсачка или бележки. Ако хора с еднакви способности получават значително различен IQ само заради устройството или броя опити, скалата не позволява съпоставимо измерване.
Нормите определят с кого се сравнява IQ резултатът. Всяко разпределение на верните отговори може да бъде преобразувано до средна стойност 100 и стандартно отклонение 15. Но ако за средна стойност 100 се използват само посетителите на даден сайт, резултатът няма да показва позицията сред общото пълнолетно население.
При нормите се проверяват не само броят хора, но и възрастта, езикът, регионът, начинът на набиране, третирането на повторните опити, необичайните отговори и незавършените тестове, възрастовата корекция, годината на събиране и съответствието с настоящите задачи и начин на оценяване.
Дори при „100 000 участници“ качеството на нормите не може да бъде преценено, ако не е ясно дали са включени повторни опити на едни и същи хора, колко души има във всяка възрастова група и кога са събрани данните. Нормите на чуждоезична версия не могат просто да бъдат приложени към тест, който само е преведен на български. Основните правила на Японското дружество по тестология също изискват да се документират и публикуват референтната група, извадката, процедурата за стандартизация и статистическата информация.
Надеждност, грешка на измерване и доверителен интервал
Надеждността се представя с коефициент от 0 до 1 и показва колко последователна информация съдържа резултатът. Вътрешната съгласуваност показва доколко всички задачи измерват последователно, а надеждността при повторно тестване — доколко резултатът е устойчив при повторно полагане в друг ден. Те отговарят на различни въпроси. Не е достатъчно да се посочи „надеждност .90“ — нужно е да се знае какъв вид надеждност, с чии данни и за кой резултат е изчислена.
От надеждността може да се изчисли стандартната грешка на измерване (SEM) за индивидуалния резултат. При IQ скала със стандартно отклонение 15 и надеждност .90 SEM е около 4.7 точки. Ако 95-процентният доверителен интервал се изчислява като ±1.96 SEM, интервалът около IQ 130 е приблизително 121–139. Надеждност .90 не означава точност до една точка.
Тук става дума за грешката на измерване в единичен индивидуален резултат. Пристрастна нормативна извадка или невалидното представяне на фигуралното разсъждение като общ IQ не се поправят с тесен доверителен интервал.
Валидност и обхват на измерваните способности
Валидността определя дали резултатът може да се тълкува като способността, чието име носи. Проверява се дали съдържанието на задачите покрива обхвата на тази способност, дали предполагаемата структура на резултатите се потвърждава от данните и дали връзките с утвърдени тестове за интелигентност и сродни задачи са според очакванията.
Фигуралните задачи и матричното разсъждение могат да съставят качествен тест за фигурално или флуидно разсъждение. Но дори 30 фигурални задачи да покажат висока надеждност, това не означава, че са измерени речникови знания, общи знания, работна памет и скорост на преработка на информацията. За да се показва общ IQ, са нужни задачи за няколко способности и доказателства, че резултатите от тях могат да се обединят в общ резултат.
„Корелация .70 с утвърден IQ тест“ също не означава 70% точност. Корелацията показва доколко два резултата се повишават и понижават заедно. Ако към резултата на всеки човек се добавят 10 точки, корелацията с първоначалния резултат ще остане 1, въпреки че всички стойности ще са изместени с 10 точки. За да се прецени дали двата резултата могат да се третират като един и същ IQ, трябва да се разгледат името и версията на теста за сравнение, извадката, средната разлика и разликите в отделните диапазони на резултатите.
За висок IQ са нужни подходящи задачи и норми
Разграничаването на IQ 130 от 140 изисква преодоляването на два тавана.
| Таван | Какво е нужно | Какво се случва, ако не достига |
|---|---|---|
| Таван на задачите | Задачи, които разграничават и хората с високи способности | Почти всички от горната група отговарят правилно и разликите в способностите не могат да се наблюдават |
| Таван на нормите | Достатъчно данни и метод за преобразуване, които поддържат високия диапазон | От един и същ брой верни отговори не може устойчиво да се оцени подробна IQ стойност |
Дори общата извадка да е голяма, в краищата на разпределението има малко хора. Ако се приеме нормално разпределение със средна стойност 100 и стандартно отклонение 15, в извадка от 2 000 души ще има около 8 души с IQ 140 или повече. Те не са достатъчни за прецизно разграничаване на IQ 140, 142 и 145. IQ резултати и дялове от населението показва защо колкото по-висок е резултатът, толкова по-трудно е да се съберат необходимите данни.
В нормативната извадка на WISC-V от 2 200 деца 16 са получили 150 или повече по поне един композитен резултат. Затова са създадени разширени норми за високия диапазон и са проверени с отделна извадка от 108 деца с високи способности. Дори утвърдените тестове се нуждаят от специално разработени задачи и данни за горния диапазон.
Каква публикувана информация е нужна за оценка на качеството
В публикуваната информация търсете не рекламни фрази, а следните данни.
| Какво оценявате | Необходима публикувана информация |
|---|---|
| Спрямо кого е изчислена стойността | Целева група, състав на извадката, година на събиране, метод на преобразуване |
| Коя способност измерва стойността | Съдържание на задачите, структура на резултатите, методи и резултати от проверката на валидността |
| Колко грешка съдържа стойността | Условия на провеждане, вид надеждност, SEM, метод за проверка на високия диапазон |
Не е необходимо да се публикуват всички сурови данни, алгоритъмът за оценяване и действителните задачи. Ако са ясни целевата група, извадката, условията на провеждане, методът за преобразуване, надеждността и грешката, основните резултати за валидността и съответствието между техническата информация и текущата версия, потребителите могат да оценят твърденията.
Обратно, когато няма информация, по която тези неща да се оценят, значението и точността не могат да се потвърдят дори ако се показва детайлна стойност като IQ 137. Не приемайте IQ от тест без публикувани доказателства като прецизна стойност. Това е практичният извод.
Какви доказателства за измерването публикува BrainTypeIQ
BrainTypeIQ показва защо са избрани 9 теста и как съответстват на 5 области, както и как от 9 теста се съставят общ IQ и 5 области.
Публикувани са също преобразуването към стандартизирани резултати и методът за съставянето им, нормите на японската версия, изградени с първите завършени тестове на 841 души, както и надеждност .929 и SEM около 4.0 точки за общия IQ. Ако целта ви е официална оценка или представяне на резултата пред външна институция, изберете според разликата в предназначението между WAIS и онлайн IQ тестовете, а не само чрез сравнение на качеството на онлайн тестовете.