Μην εμπιστεύεσαι ως ακριβή μέτρηση τη βαθμολογία IQ που δίνει ένα τεστ που δεν δημοσιεύει τα στοιχεία που χρειάζονται για να αξιολογηθεί. Οι διαφημίσεις, η θέση στα αποτελέσματα αναζήτησης, μια προσεγμένη σελίδα αποτελεσμάτων ή ένα πιστοποιητικό IQ δεν τεκμηριώνουν την ποιότητα μέτρησης. Για την επιλογή τεστ, μαζί με το κόστος και τους όρους χρέωσης, δες πώς να επιλέξεις αξιόπιστο διαδικτυακό τεστ IQ.
Τα 4 στοιχεία που καθορίζουν την ποιότητα μέτρησης ενός τεστ IQ
| Στοιχείο | Τι εξετάζουμε | Τι συμβαίνει όταν λείπει |
|---|---|---|
| Τυποποίηση | Αν οι συνθήκες διεξαγωγής και βαθμολόγησης είναι ίδιες | Διαφορές στη συσκευή, στον χρόνο ή στη βαθμολόγηση επηρεάζουν το σκορ |
| Νόρμες | Με τίνος τα δεδομένα γίνεται η σύγκριση | Το IQ 100 ή το ανώτερο 2% δεν έχουν καθορισμένο νόημα |
| Αξιοπιστία | Πόση συνέπεια έχει η βαθμολογία | Τυχαίες σωστές ή λανθασμένες απαντήσεις μετακινούν πολύ το σκορ |
| Εγκυρότητα | Αν η βαθμολογία ερμηνεύεται ως η ικανότητα που αναγράφεται | Ένα αποτέλεσμα συλλογισμού με σχήματα παρουσιάζεται ως ευρύτερο συνολικό IQ |
Κανένα από τα τέσσερα στοιχεία δεν αρκεί μόνο του για να κρίνουμε την ποιότητα μέτρησης του IQ. Για παράδειγμα, ακόμη και με υψηλή αξιοπιστία, ένα τεστ που μετρά μόνο συλλογισμό με σχήματα δεν δίνει έγκυρη μέτρηση συνολικού IQ που περιλαμβάνει και τη γλώσσα, τη μνήμη και την ταχύτητα επεξεργασίας.
Τυποποίηση και νόρμες
Τυποποίηση σημαίνει κοινές οδηγίες, χρονικά όρια, παρουσίαση ερωτήσεων, βαθμολόγηση και κανόνες για τη λήξη του χρόνου ή τη διακοπή της εξέτασης. Στα διαδικτυακά τεστ, στις συνθήκες μέτρησης περιλαμβάνονται επίσης οι διαφορές εμφάνισης μεταξύ κινητού και υπολογιστή, η καθυστέρηση της σύνδεσης, η επανάληψη του τεστ και η χρήση αναζήτησης ή σημειώσεων. Αν άνθρωποι με την ίδια ικανότητα παίρνουν πολύ διαφορετικό IQ μόνο λόγω της συσκευής ή του αριθμού των προσπαθειών τους, η κλίμακα δεν προσφέρει συγκρίσιμα αποτελέσματα.
Οι νόρμες ορίζουν με ποιον συγκρίνεται το IQ. Ο αριθμός σωστών απαντήσεων μπορεί να μετατραπεί σε κλίμακα με μέσο όρο 100 και τυπική απόκλιση 15 χρησιμοποιώντας δεδομένα από οποιαδήποτε ομάδα. Αν όμως ο μέσος όρος των επισκεπτών ενός ιστοτόπου οριστεί στο 100, αυτό δεν σημαίνει ότι η βαθμολογία δείχνει τη θέση κάποιου στον γενικό ενήλικο πληθυσμό της Ελλάδας.
Για τις νόρμες εξετάζουμε περισσότερα από το πλήθος των συμμετεχόντων: ηλικία, γλώσσα, περιοχή, τρόπο προσέλκυσης του δείγματος, χειρισμό επαναληπτικών εξετάσεων, ασυνήθιστων απαντήσεων και εγκατάλειψης του τεστ, διόρθωση ως προς την ηλικία, έτος συλλογής και αντιστοιχία με τις τρέχουσες ερωτήσεις και τη μέθοδο βαθμολόγησης.
Ακόμη και η ένδειξη «100.000 εξεταζόμενοι» δεν αρκεί για να κρίνουμε τις νόρμες, αν δεν ξέρουμε αν περιλαμβάνει επαναλήψεις από τα ίδια άτομα, πόσοι ανήκουν σε κάθε ηλικία ή πότε συλλέχθηκαν τα δεδομένα. Ούτε μπορούν οι νόρμες μιας ξενόγλωσσης έκδοσης να εφαρμοστούν αυτούσιες σε ένα τεστ απλώς επειδή μεταφράστηκε στα ελληνικά. Οι βασικές αρχές της Ιαπωνικής Εταιρείας Μελέτης των Τεστ απαιτούν επίσης την καταγραφή και δημοσίευση της ομάδας αναφοράς, του δείγματος, των διαδικασιών τυποποίησης και των στατιστικών στοιχείων.
Αξιοπιστία, σφάλμα μέτρησης και διάστημα εμπιστοσύνης
Η αξιοπιστία δείχνει, με έναν συντελεστή από 0 έως 1, πόσο συνεπής είναι η πληροφορία που παρέχει μια βαθμολογία. Η αξιοπιστία που εξετάζει τη συνοχή των ερωτήσεων και η αξιοπιστία επαναληπτικής μέτρησης, που εξετάζει τη σταθερότητα όταν το τεστ επαναλαμβάνεται άλλη ημέρα, απαντούν σε διαφορετικά ερωτήματα. Η ένδειξη «αξιοπιστία 0,90» χρειάζεται να συνοδεύεται από το είδος της αξιοπιστίας, τα δεδομένα στα οποία υπολογίστηκε και τη βαθμολογία την οποία αφορά.
Από την αξιοπιστία μπορεί να υπολογιστεί το τυπικό σφάλμα μέτρησης (SEM) μιας ατομικής βαθμολογίας. Σε κλίμακα IQ με τυπική απόκλιση 15 και αξιοπιστία 0,90, το SEM είναι περίπου 4,7 μονάδες. Αν το διάστημα εμπιστοσύνης 95% υπολογιστεί ως ±1,96 SEM, για IQ 130 το εύρος είναι περίπου 121–139. Αξιοπιστία 0,90 δεν σημαίνει ακρίβεια μίας μονάδας.
Αυτό που εκφράζεται εδώ είναι το σφάλμα μέτρησης μιας ατομικής βαθμολογίας σε μία εξέταση. Ένα στενό διάστημα εμπιστοσύνης δεν διορθώνει τη μεροληψία του δείγματος των νορμών ούτε λύνει το ζήτημα εγκυρότητας του να ονομάζεται «συνολικό IQ» ο συλλογισμός με σχήματα.
Εγκυρότητα και εύρος των ικανοτήτων που μετρώνται
Η εγκυρότητα καθορίζει αν μια βαθμολογία μπορεί να ερμηνευτεί ως η ικανότητα που δηλώνει το τεστ. Εξετάζουμε αν το περιεχόμενο των ερωτήσεων καλύπτει το εύρος της ικανότητας, αν η προβλεπόμενη δομή των βαθμολογιών επιβεβαιώνεται στα δεδομένα και αν οι σχέσεις με υπάρχοντα τεστ νοημοσύνης ή συναφείς δοκιμασίες είναι οι αναμενόμενες.
Τα προβλήματα με σχήματα και οι μήτρες μπορούν να αποτελέσουν ποιοτικά τεστ συλλογισμού με σχήματα ή ρέοντος συλλογισμού. Ωστόσο, η υψηλή αξιοπιστία σε 30 προβλήματα με σχήματα δεν σημαίνει ότι μετρήθηκαν το λεξιλόγιο, οι γνώσεις, η εργαζόμενη μνήμη και η ταχύτητα επεξεργασίας. Για να παρουσιάζεται το αποτέλεσμα ως συνολικό IQ, χρειάζονται ερωτήσεις που μετρούν περισσότερες ικανότητες και τεκμηρίωση ότι αυτές μπορούν να συνδυαστούν σε συνολική βαθμολογία.
Η ένδειξη «συσχέτιση 0,70 με υπάρχον τεστ IQ» επίσης δεν σημαίνει «70% ακρίβεια». Η συσχέτιση δείχνει πόσο οι δύο βαθμολογίες αυξάνονται ή μειώνονται μαζί. Αν προσθέσουμε σε όλους ακριβώς 10 μονάδες, η νέα βαθμολογία θα έχει συσχέτιση 1 με την αρχική, αλλά κάθε τιμή θα διαφέρει κατά 10 μονάδες. Για να κρίνουμε αν οι βαθμολογίες μπορούν να αντιμετωπίζονται ως το ίδιο IQ, χρειαζόμαστε το όνομα και την έκδοση του τεστ σύγκρισης, το δείγμα, τη μέση διαφορά και τις διαφορές ανά επίπεδο βαθμολογίας.
Ερωτήσεις και νόρμες για τη μέτρηση υψηλού IQ
Για να διακρίνει ένα τεστ το IQ 130 από το 140, πρέπει να ξεπεράσει δύο ανώτατα όρια.
| Ανώτατο όριο | Τι χρειάζεται | Τι συμβαίνει όταν δεν επαρκεί |
|---|---|---|
| Όριο των ερωτήσεων | Ερωτήσεις που διαφοροποιούν ακόμη και άτομα με υψηλές ικανότητες | Οι καλύτεροι εξεταζόμενοι απαντούν σωστά σχεδόν σε όλα και οι διαφορές ικανότητας δεν παρατηρούνται |
| Όριο των νορμών | Επαρκή δεδομένα και μέθοδος μετατροπής που υποστηρίζουν τις υψηλές βαθμολογίες | Ο ίδιος αριθμός σωστών απαντήσεων δεν επιτρέπει σταθερή εκτίμηση του IQ με λεπτές διαβαθμίσεις |
Ακόμη και σε μεγάλο συνολικό δείγμα, τα άτομα στα άκρα της κατανομής είναι λίγα. Αν υποθέσουμε κανονική κατανομή με μέσο όρο 100 και τυπική απόκλιση 15, ένα δείγμα 2.000 ατόμων περιλαμβάνει περίπου 8 με IQ τουλάχιστον 140. Αυτά τα δεδομένα από μόνα τους δεν επαρκούν για λεπτή διάκριση μεταξύ IQ 140, 142 και 145. Η αντιστοιχία του IQ με τα ποσοστά του πληθυσμού δείχνει γιατί όσο ανεβαίνει η βαθμολογία τόσο δυσκολότερα συγκεντρώνονται τα απαραίτητα δεδομένα.
Από τα 2.200 παιδιά του βασικού δείγματος στάθμισης του WISC-V, μόνο 16 είχαν τουλάχιστον μία σύνθετη βαθμολογία 150 ή υψηλότερη. Γι’ αυτό δημιουργήθηκαν διευρυμένες νόρμες για τις υψηλές βαθμολογίες, οι οποίες ελέγχθηκαν και σε ξεχωριστό δείγμα 108 παιδιών με υψηλές ικανότητες. Ακόμη και τα καθιερωμένα τεστ χρειάζονται ειδικό σχεδιασμό ερωτήσεων και δεδομένα για το ανώτερο εύρος.
Ποια δημοσιευμένα στοιχεία χρειάζονται για να κρίνουμε την ποιότητα
Στα δημοσιευμένα στοιχεία αναζητούμε τις παρακάτω αντιστοιχίες, πέρα από τους διαφημιστικούς ισχυρισμούς.
| Τι κρίνουμε | Ποια δημοσιευμένα στοιχεία χρειάζονται |
|---|---|
| Σε σχέση με ποιον υπολογίστηκε η βαθμολογία | Πληθυσμός αναφοράς, σύνθεση δείγματος, έτος συλλογής, μέθοδος μετατροπής |
| Ποια ικανότητα μετρά η βαθμολογία | Περιεχόμενο ερωτήσεων, δομή βαθμολογιών, μέθοδοι και αποτελέσματα ελέγχου εγκυρότητας |
| Πόσο σφάλμα περιέχει η βαθμολογία | Συνθήκες διεξαγωγής, είδος αξιοπιστίας, SEM, μέθοδος επαλήθευσης στο υψηλό εύρος |
Δεν χρειάζεται να δημοσιεύονται όλα τα πρωτογενή δεδομένα, ο αλγόριθμος βαθμολόγησης ή οι ίδιες οι ερωτήσεις του τεστ. Οι χρήστες μπορούν να αξιολογήσουν τους ισχυρισμούς όταν γνωρίζουν τον πληθυσμό αναφοράς, το δείγμα, τις συνθήκες διεξαγωγής, τη μέθοδο μετατροπής, την αξιοπιστία και το σφάλμα, τα βασικά αποτελέσματα εγκυρότητας και τη σχέση των τεχνικών στοιχείων με την τρέχουσα έκδοση.
Αντίθετα, χωρίς στοιχεία που επιτρέπουν αυτή την αξιολόγηση, ακόμη και μια συγκεκριμένη ένδειξη όπως «IQ 137» δεν έχει εξακριβώσιμο νόημα ή ακρίβεια. Μην εμπιστεύεσαι ως ακριβή μέτρηση τη βαθμολογία IQ που δίνει ένα τεστ που δεν δημοσιεύει την τεκμηρίωσή του. Αυτό είναι το πρακτικό συμπέρασμα.
Η τεκμηρίωση μέτρησης που δημοσιεύει το BrainTypeIQ
Το BrainTypeIQ παρουσιάζει γιατί επέλεξε τις 9 υποδοκιμασίες και πώς αντιστοιχούν στους 5 τομείς, καθώς και πώς από αυτές προκύπτουν το συνολικό IQ και οι 5 τομείς.
Δημοσιεύει επίσης τη μέθοδο μετατροπής σε τυποποιημένες βαθμολογίες και σύνθεσής τους, τις νόρμες της ιαπωνικής έκδοσης από 841 άτομα που ολοκλήρωσαν το τεστ για πρώτη φορά και την αξιοπιστία 0,929 και το SEM περίπου 4,0 μονάδων του συνολικού IQ στην ιαπωνική έκδοση. Αν χρειάζεσαι επίσημη αξιολόγηση ή αποτελέσματα για κατάθεση σε φορέα, η επιλογή ξεκινά από τους διαφορετικούς ρόλους του WAIS και των διαδικτυακών τεστ IQ, πέρα από τη σύγκριση της ποιότητας των διαδικτυακών τεστ.