若一項測驗未公開足以判斷測量品質的依據,其 IQ 就不應被視為精確可信的數值。廣告、搜尋排名、精美的結果畫面與 IQ 證書,都不能證明測量品質。連同費用與合約條件一起判斷的方法,可以參考可信的線上 IQ 測驗怎麼選。
決定 IQ 測驗品質的 4 個要素
| 要素 | 要確認的內容 | 缺少時會發生什麼事 |
|---|---|---|
| 標準化 | 施測與計分條件是否一致 | 裝置、時間與計分方式的差異會反映在分數中 |
| 常模 | 分數會和哪些人的資料比較 | IQ 100 或排名前 2% 的意義無法確定 |
| 信度 | 分數在多大程度上具有一致性 | 偶然答對或答錯就讓數值大幅變動 |
| 效度 | 能否把分數解讀成所標示的能力 | 把圖形推理結果過度擴大成綜合 IQ |
不能只靠其中一項判斷 IQ 的測量品質。例如,即使信度很高,如果只測量圖形推理,就不能把結果解讀成包含語言、記憶與處理速度的綜合 IQ。
標準化與常模
標準化是把說明方式、限制時間、出題、計分,以及時間到或中斷時的處理統一。在線上測驗中,手機和電腦的顯示差異、網路延遲、重複受測,以及搜尋或筆記的使用方式,也都可能影響分數。如果能力相同的人只因裝置或受測次數不同,就得到差異很大的 IQ,這套分數尺度就無法進行比較。
常模是計算 IQ 時的比較對象。任何群體的原始分數都能被轉換成平均 100、標準差 15;但只把造訪網站的人平均設為 100,並不代表分數能顯示受測者在台灣一般成人中的位置。
判斷常模時,不只看樣本數,也要看年齡、語言、地區、招募方式、重複受測、異常作答與中途退出的處理、年齡校正,以及資料收集年份是否對應目前的題目與計分方式。
即使寫著「10 萬名受測者」,如果不清楚是否包含同一人的重複受測、各年齡層有多少人,以及資料何時收集,仍無法判斷常模品質。把測驗翻成繁體中文後,也不能直接套用其他語言版本的常模。日本測驗學會的基本條款同樣要求記錄並公開常模群體、樣本、標準化程序與統計資訊。
信度、測量誤差與信賴區間
信度以 0 到 1 的係數表示,分數包含多少一致的資訊。查看題目整體一致性的信度,和查看不同日期受測穩定性的重測信度,回答的是不同問題。不能只寫「信度 .90」,還要說明使用哪一種信度、分析誰的資料,以及針對哪一項分數計算。
信度可以用來計算個人分數的測量標準誤(SEM)。在標準差 15 的 IQ 尺度上,信度為 .90 時,SEM 約為 4.7 分。若以 ±1.96 SEM 計算 95% 信賴區間,IQ 130 的區間約為 121~139。信度 .90 並不代表分數精確到 1 分。
這裡描述的是單次測得的個人分數所包含的測量誤差。常模樣本是否偏誤,或只測圖形推理能不能稱為綜合 IQ,並不會因信賴區間較窄而得到解決。
效度與測量能力的範圍
效度決定一項分數能否被解讀成所標示的能力。要確認題目內容是否涵蓋該能力的範圍、資料是否支持預期的分數結構,以及結果是否和現有智力測驗或相關作業呈現預期關係。
圖形題或矩陣推理可以形成品質良好的圖形推理或流體推理測驗。不過,即使 30 題圖形題具有很高信度,也不表示測到了詞彙、知識、工作記憶與處理速度。要標示為綜合 IQ,就必須用多種題型測量不同能力,並有根據支持把它們整合成綜合分數。
「和既有 IQ 測驗相關 .70」也不代表 70% 準確。相關表示兩項分數一起升降的程度。假設把每個人的原始分數都加 10 分,新分數和原分數的相關仍然是 1,但所有數值都偏高 10 分。必須進一步查看比較測驗的名稱與版本、樣本、平均差,以及各分數區間的差異,才能判斷是否可當成相同 IQ 尺度。
測量高 IQ 所需的題目與常模
要區分 IQ 130 與 140,必須跨越兩種天花板。
| 天花板 | 需要具備的條件 | 不足時會發生什麼事 |
|---|---|---|
| 題目天花板 | 能在高能力受測者之間區分差異的題目 | 高分受測者幾乎全部答對,無法觀察能力差異 |
| 常模天花板 | 足以支持高分區間的資料與換算方式 | 無法從相同答對題數穩定估計細分 IQ |
即使樣本總數很大,位於分布兩端的人仍然很少。假設平均 100、標準差 15 的常態分布,2,000 人的樣本中,IQ 140 以上約只有 8 人。單靠這些資料,很難合理區分 IQ 140、142 與 145。查看 IQ 分數與人口比例,就能理解分數越高,為何越難蒐集足夠資料。
WISC-V 的一般常模樣本 2,200 人中,任一組合分數達 150 以上的兒童有 16 人。因此,WISC-V 另外建立高分區間的擴展常模,並以 108 名高能力兒童的獨立樣本進行驗證。即使是知名測驗,要測量高分區間,也需要專門的題目設計與資料。
判斷測量品質所需的公開資訊
查看公開資訊時,要確認的不是宣傳文字,而是以下主張與依據是否對應。
| 要判斷的內容 | 所需的公開資訊 |
|---|---|
| 分數以誰為比較基準 | 目標群體、樣本組成、資料收集年份、換算方式 |
| 分數測量什麼能力 | 題目組成、分數結構、驗證效度的方法與結果 |
| 分數包含多大誤差 | 施測條件、信度類型、SEM、高分區間的驗證方式 |
測驗不需要公開原始資料、計分演算法與實際題目。只要公開目標群體、樣本、施測條件、換算方式、信度與誤差、主要效度結果,以及技術資訊和現行版本的對應,使用者就能評估它的主張。
相反地,如果公開資訊不足以評估這些項目,即使畫面顯示 IQ 137 這類看似精確的分數,也無法確認它的意義與精度。若一項測驗未公開足以判斷測量品質的依據,其 IQ 就不應被視為精確可信的數值。這就是實用上的結論。
BrainTypeIQ 公開的測量依據
BrainTypeIQ 會說明選擇 9 個分項的理由,以及它們和 5 個認知領域的對應,並從 9 個分項構成綜合 IQ 與 5 個認知領域。
標準分數的換算與合成方式、日文版 841 名首次完成者建立的常模,以及日文版綜合 IQ 的信度 .929、SEM 約 4.0 分也都公開說明。台灣版目前採用以日文版為基礎調整的暫定計分,並持續累積資料。需要正式評估或提交給外部單位時,應參考 WAIS 與線上 IQ 測驗的角色差異,選擇適合的路線。