Betrachten Sie den IQ-Wert eines Tests nicht als präzisen Messwert, wenn die erforderlichen Belege zur Beurteilung seiner Qualität fehlen. Werbung, Suchrang, eine ansprechende Ergebnisanzeige oder ein IQ-Zertifikat belegen keine Messqualität. Wie Sie auch Preise und Vertragsbedingungen in die Auswahl einbeziehen, erklärt Seriöse Online-IQ-Tests erkennen.
Vier Elemente bestimmen die Messqualität eines IQ-Tests
| Element | Was geprüft wird | Folge, wenn es fehlt |
|---|---|---|
| Standardisierung | Einheitliche Bedingungen für Durchführung und Auswertung | Unterschiede bei Gerät, Zeit oder Auswertung fließen in den Wert ein |
| Norm | Mit wessen Daten das Ergebnis verglichen wird | Die Bedeutung von IQ 100 oder „oberste 2 %“ ist nicht festgelegt |
| Reliabilität | Wie konsistent die Werte sind | Zufällig richtige oder falsche Antworten verändern das Ergebnis stark |
| Validität | Ob der Wert als die angegebene Fähigkeit interpretiert werden kann | Das Ergebnis aus Figurenaufgaben wird unzulässig auf den Gesamt-IQ übertragen |
Keines dieser vier Elemente reicht allein aus, um die Messqualität eines IQ-Tests zu beurteilen. Ein Test kann beispielsweise eine hohe Reliabilität besitzen. Wenn er aber nur Schlussfolgern mit Figuren erfasst, ist sein Wert kein valider Gesamt-IQ, der auch Sprache, Gedächtnis und Verarbeitungsgeschwindigkeit einschließt.
Standardisierung und Norm
Standardisierung bedeutet, Erklärungen, Zeitbegrenzungen, Aufgabendarbietung, Auswertung sowie den Umgang mit Zeitüberschreitungen und Unterbrechungen zu vereinheitlichen. Bei Online-Tests gehören auch Unterschiede zwischen Smartphone- und PC-Anzeige, Verbindungsverzögerungen, Testwiederholungen sowie die Nutzung von Suchhilfen und Notizen zu den Testbedingungen. Erhalten Personen mit derselben Fähigkeit allein wegen ihres Geräts oder der Anzahl ihrer Versuche deutlich unterschiedliche IQ-Werte, entsteht keine vergleichbare Skala.
Die Norm legt fest, mit wem ein IQ-Wert verglichen wird. Die Zahl richtiger Antworten lässt sich für jede beliebige Gruppe auf einen Mittelwert von 100 und eine Standardabweichung von 15 umrechnen. Wird lediglich der Durchschnitt der Website-Besucher auf 100 gesetzt, beschreibt das jedoch nicht die Position innerhalb der eigentlich gemeinten Allgemeinbevölkerung.
Bei einer Norm zählen neben der Personenzahl auch Alter, Sprache, Region und Rekrutierung. Ebenso wichtig sind der Umgang mit Wiederholungen, ungewöhnlichen Antworten und Abbrüchen, die Alterskorrektur, das Erhebungsjahr und die Übereinstimmung mit den aktuellen Aufgaben und Auswertungsregeln.
Selbst „100.000 Teilnehmende“ erlauben keine Beurteilung der Norm, wenn unklar ist, ob dieselben Personen mehrfach vorkommen, wie viele Personen welchen Alters vertreten sind und wann die Daten erhoben wurden. Auch lässt sich die Norm einer fremdsprachigen Version nicht unverändert auf einen lediglich ins Deutsche übersetzten Test übertragen. Das Testbeurteilungssystem des Diagnostik- und Testkuratoriums verlangt unter anderem Angaben zur Zielpopulation, zu Ort und Zeitpunkt der Erhebung, zur Größe und demografischen Zusammensetzung der Stichprobe, zur Rekrutierung und zur Übertragbarkeit der Normen.
Reliabilität, Messfehler und Konfidenzintervalle
Reliabilität beschreibt mit einem Koeffizienten zwischen 0 und 1, wie viel konsistente Information die Testwerte enthalten. Die interne Konsistenz, also der Zusammenhang zwischen den Aufgaben, und die Test-Retest-Reliabilität, also die Stabilität bei einer Wiederholung an einem anderen Tag, beantworten unterschiedliche Fragen. Zur Angabe „Reliabilität 0,90“ gehört deshalb, welche Art von Reliabilität anhand welcher Personen für welchen Wert berechnet wurde.
Aus der Reliabilität lässt sich der Standardmessfehler, kurz SEM, eines individuellen Testwerts berechnen. Auf einer IQ-Skala mit Standardabweichung 15 ergibt eine Reliabilität von 0,90 ein SEM von etwa 4,7 Punkten. Wird ein 95-%-Konfidenzintervall mit ±1,96 SEM berechnet, reicht es bei IQ 130 ungefähr von 121 bis 139. Eine Reliabilität von 0,90 bedeutet also keine Genauigkeit auf einen IQ-Punkt.
Dieses Intervall beschreibt den Messfehler eines einzelnen Testergebnisses. Eine verzerrte Normstichprobe gleicht auch ein enges Konfidenzintervall nicht aus. Ebenso wenig beantwortet es die Frage, ob Figurenaufgaben überhaupt einen Gesamt-IQ begründen.
Validität und Umfang der gemessenen Fähigkeiten
Validität bestimmt, ob ein Ergebnis als die angegebene Fähigkeit interpretiert werden kann. Dafür wird geprüft, ob die Aufgaben den Fähigkeitsbereich abdecken, ob die erwartete Struktur der Testwerte durch Daten bestätigt wird und ob die Ergebnisse wie erwartet mit etablierten Intelligenztests oder verwandten Aufgaben zusammenhängen.
Figuren- und Matrizenaufgaben können gute Tests für figürliches oder fluides Schlussfolgern sein. Selbst wenn 30 Figurenaufgaben eine hohe Reliabilität erreichen, wurden damit jedoch weder Wortschatz und Wissen noch Arbeitsgedächtnis oder Verarbeitungsgeschwindigkeit gemessen. Für die Bezeichnung Gesamt-IQ braucht es Aufgaben zu mehreren Fähigkeiten und Belege dafür, dass sich diese zu einem Gesamtwert zusammenfassen lassen.
Auch „Korrelation 0,70 mit einem etablierten IQ-Test“ bedeutet nicht „zu 70 % genau“. Die Korrelation beschreibt, wie stark zwei Werte gemeinsam steigen und fallen. Würden zu jedem Ergebnis pauschal zehn Punkte addiert, läge die Korrelation mit den ursprünglichen Werten bei 1, obwohl jedes Ergebnis um zehn Punkte verschoben wäre. Ob die Werte als derselbe IQ behandelt werden können, lässt sich erst anhand von Testname und Version, Stichprobe, mittlerem Unterschied und Abweichungen in einzelnen Wertebereichen beurteilen.
Aufgaben und Normen für hohe IQ-Werte
Um IQ 130 von IQ 140 zu unterscheiden, müssen zwei Obergrenzen hoch genug liegen.
| Obergrenze | Was benötigt wird | Was bei unzureichender Grundlage geschieht |
|---|---|---|
| Obergrenze der Aufgaben | Aufgaben, die auch zwischen Personen mit hoher Fähigkeit unterscheiden | Fast alle Aufgaben werden richtig gelöst; Unterschiede zwischen hohen Fähigkeiten bleiben unsichtbar |
| Obergrenze der Norm | Ausreichende Daten und ein Umrechnungsverfahren für hohe Werte | Aus der Zahl richtiger Antworten lassen sich keine stabilen, fein abgestuften IQ-Werte schätzen |
Auch eine große Gesamtstichprobe enthält nur wenige Personen an den Rändern der Verteilung. Bei einer Normalverteilung mit Mittelwert 100 und Standardabweichung 15 wären in einer Stichprobe von 2.000 Personen etwa acht mit IQ 140 oder höher zu erwarten. Damit lassen sich IQ 140, 142 und 145 nicht verlässlich voneinander trennen. Die Zuordnung von IQ-Werten zu Bevölkerungsanteilen zeigt, warum die benötigten Daten mit steigenden Werten schwerer zu erheben sind.
In der regulären US-amerikanischen Normstichprobe der WISC-V mit 2.200 Personen erreichten nur 16 Kinder in mindestens einem zusammengesetzten Wert 150 oder mehr. Deshalb wurden erweiterte Normen für hohe Werte entwickelt und zusätzlich an einer gesonderten Stichprobe von 108 hochbegabten Kindern geprüft. Selbst etablierte Tests benötigen für den oberen Bereich eine gezielte Aufgabenentwicklung und entsprechende Daten.
Welche veröffentlichten Informationen eine Beurteilung ermöglichen
Entscheidend ist, welche veröffentlichten Informationen die jeweilige Aussage stützen.
| Zu beurteilen | Benötigte Informationen |
|---|---|
| Auf welche Vergleichsgruppe sich der Wert bezieht | Zielpopulation, Zusammensetzung der Stichprobe, Erhebungsjahr, Umrechnungsverfahren |
| Welche Fähigkeit der Wert beschreibt | Aufgaben- und Ergebnisstruktur, Methoden und Ergebnisse der Validitätsprüfung |
| Wie viel Messfehler der Wert enthält | Durchführungsbedingungen, Art der Reliabilität, SEM, Prüfung des hohen Wertebereichs |
Dafür müssen weder sämtliche Rohdaten noch der gesamte Auswertungsalgorithmus oder alle Testaufgaben veröffentlicht werden. Wenn Zielgruppe, Stichprobe, Durchführungsbedingungen, Umrechnung, Reliabilität und Messfehler, zentrale Validitätsergebnisse sowie der Bezug der technischen Informationen zur aktuellen Version erkennbar sind, lassen sich die Aussagen bewerten.
Fehlen diese Informationen, bleiben Bedeutung und Präzision ungeklärt, selbst wenn eine fein abgestufte Zahl wie IQ 137 angezeigt wird. Betrachten Sie den IQ eines Tests ohne veröffentlichte Messgrundlage nicht als präzisen Messwert. Das ist die praktische Konsequenz.
Welche Messgrundlagen BrainTypeIQ veröffentlicht
BrainTypeIQ erläutert die Auswahl der neun Testteile und ihre Zuordnung zu fünf Bereichen sowie die Bildung des Gesamt-IQ und der fünf Bereiche aus neun Testteilen.
Veröffentlicht sind außerdem die Umrechnung in Standardwerte und deren Zusammenführung, die Normierung der japanischen Version mit 841 Personen, die den Test erstmals abgeschlossen haben, sowie die für diese Version ermittelte Reliabilität des Gesamt-IQ von 0,929 und ein SEM von etwa 4,0 Punkten. Die deutschsprachige Version verwendet derzeit eine vorläufige Auswertung, die auf Grundlage der japanischen Version angepasst wurde. Aktuell werden Daten gesammelt.
Wenn Sie eine formale Beurteilung oder ein Ergebnis zur Vorlage benötigen, ist der Unterschied zwischen WAIS und Online-IQ-Tests für die Auswahl entscheidend, statt allein die Qualität verschiedener Online-Tests zu vergleichen.