판단에 필요한 근거를 공개하지 않은 테스트의 IQ는 정밀한 수치로 신뢰하지 마세요. 광고, 검색 순위, 잘 꾸며진 결과 화면, IQ 인증서는 측정 품질의 근거가 아닙니다. 요금과 계약 조건까지 포함한 선택법은 신뢰할 수 있는 온라인 IQ 테스트 고르는 법에서 확인할 수 있습니다.
IQ 테스트의 측정 품질을 결정하는 4가지 요소
| 요소 | 확인할 내용 | 빠졌을 때 생기는 문제 |
|---|---|---|
| 표준화 | 실시와 채점 조건이 일정한가 | 기기, 시간, 채점 방식의 차이가 점수에 섞임 |
| 규준 | 누구의 데이터와 비교하는가 | IQ 100이나 상위 2%의 의미가 정해지지 않음 |
| 신뢰도 | 점수가 어느 정도 일관되는가 | 우연히 맞히거나 틀린 문항에 따라 수치가 크게 달라짐 |
| 타당도 | 그 점수를 검사에서 제시한 능력의 지표로 해석할 수 있는가 | 도형 추론 결과를 종합 IQ로 지나치게 확대함 |
이 네 요소 가운데 하나만으로 IQ의 측정 품질을 판단할 수는 없습니다. 예를 들어 신뢰도가 높더라도 측정 범위가 도형 추론뿐이라면 언어, 기억, 처리 속도까지 포함한 종합 IQ로 해석하기에는 타당하지 않습니다.
표준화와 규준
표준화는 안내, 제한 시간, 출제, 채점, 시간 초과와 중단 처리를 일정하게 맞추는 것입니다. 온라인에서는 스마트폰과 PC의 표시 차이, 통신 지연뿐 아니라 재응시를 허용하는지, 검색과 메모를 어떻게 통제하는지도 실시 조건에 포함됩니다. 같은 능력을 가진 사람이 사용한 기기나 응시 횟수만으로 크게 다른 IQ를 받는다면 비교 가능한 척도가 될 수 없습니다.
규준은 IQ의 비교 대상입니다. 정답 수를 평균 100·표준편차 15로 변환하는 일은 어떤 집단의 데이터로도 할 수 있습니다. 사이트 방문자만의 평균을 100으로 만들어도 한국 일반 성인 가운데 자신의 위치를 나타내지는 않습니다.
규준을 평가할 때는 인원뿐 아니라 연령, 언어, 지역, 모집 방법, 재응시·비정상 응답·중도 이탈의 처리, 연령 보정, 수집 연도와 현재 문항·채점 방법의 일치 여부까지 확인해야 합니다.
‘응시자 10만 명’이라고 해도 같은 사람의 재응시가 포함되는지, 연령별로 몇 명인지, 언제 수집했는지 알 수 없다면 규준의 품질을 판단할 수 없습니다. 한국어로 번역만 한 테스트에 외국어판 규준을 그대로 적용할 수도 없습니다.
신뢰도·측정오차·신뢰구간
신뢰도는 점수가 얼마나 일관되게 측정되는지를 0~1의 계수로 나타냅니다. 문항 전체의 일관성을 보는 신뢰도와 다른 날 다시 응시했을 때의 안정성을 보는 검사-재검사 신뢰도는 서로 다른 질문에 답합니다. ‘신뢰도 .90’이라고만 쓰는 것이 아니라 어떤 종류를 누구의 데이터로 어느 점수에 대해 계산했는지 밝혀야 합니다.
신뢰도를 이용하면 개인 점수에 대한 측정의 표준오차(SEM)를 계산할 수 있습니다. 표준편차 15인 IQ 척도에서 신뢰도가 .90이면 SEM은 약 4.7점입니다. 95% 신뢰구간을 ±1.96SEM으로 계산하는 방식에서는 IQ 130의 범위가 약 121~139가 됩니다. 신뢰도 .90은 1점 단위로 정확하다는 뜻이 아닙니다.
SEM이 나타내는 것은 한 번 측정한 개인 점수에 포함된 오차입니다. 규준 표본의 편향이나 도형 추론을 종합 IQ라고 불러도 되는지에 관한 타당성 문제는 좁은 신뢰구간만으로 해결되지 않습니다.
타당도와 측정하는 능력의 범위
타당도는 그 점수를 검사에서 제시한 능력의 지표로 해석할 수 있는지를 나타냅니다. 문제 내용이 능력의 범위를 포괄하는지, 가정한 점수 구조가 데이터로 확인됐는지, 기존 지능검사나 관련 과제와 예상한 관련성이 나타나는지를 확인합니다.
도형 문제와 행렬 추론은 도형 추론이나 유동 추론을 측정하는 좋은 테스트가 될 수 있습니다. 그러나 30개의 도형 문제에서 높은 신뢰도가 나왔더라도 어휘, 지식, 작업기억, 처리 속도를 측정한 것은 아닙니다. 종합 IQ라고 표시하려면 여러 능력을 측정하는 문항 구성과 이를 종합 점수로 묶을 수 있는 근거가 필요합니다.
‘기존 IQ 검사와 상관 .70’도 70% 정확하다는 뜻은 아닙니다. 상관은 두 점수가 함께 오르내리는 정도입니다. 모든 사람에게 일괄적으로 10점을 더한 점수를 만들면 원래 점수와의 상관은 1이지만 수치는 모두 10점씩 어긋납니다. 비교 대상 검사의 이름과 판본, 표본, 평균 차이, 점수 구간별 차이까지 확인해야 같은 IQ로 다룰 수 있는지 판단할 수 있습니다.
높은 IQ를 측정하기 위한 문항과 규준
IQ 130과 140을 구분하려면 문항과 규준이 모두 고득점 구간을 구분할 수 있는 충분한 상한을 갖춰야 합니다.
| 상한 | 필요한 것 | 부족할 때 생기는 문제 |
|---|---|---|
| 문항 상한 | 고능력자 사이에서도 차이가 나는 문항 | 상위권이 거의 모두 정답을 맞혀 능력 차이를 관찰할 수 없음 |
| 규준 상한 | 고득점 구간을 뒷받침할 충분한 데이터와 환산 방법 | 같은 정답 수에서 세밀한 IQ를 안정적으로 추정할 수 없음 |
전체 표본이 많아도 분포의 상위 극단에 있는 사람은 소수입니다. 평균 100·표준편차 15의 정규분포를 가정하면 2,000명의 표본에 포함되는 IQ 140 이상은 약 8명입니다. 이 데이터만으로 IQ 140, 142, 145를 세밀하게 구분하기는 어렵습니다. IQ 점수와 인구 비율을 보면 점수가 높을수록 필요한 데이터를 모으기 어려운 이유를 알 수 있습니다.
WISC-V의 일반 규준 표본 2,200명 가운데 여러 합성 점수 중 하나라도 150 이상이었던 아동은 16명이었습니다. 그래서 고득점 구간용 확장 규준을 만들고, 고능력 아동 108명의 별도 표본으로도 검증했습니다. 널리 알려진 검사도 상위 구간에는 전용 문항 설계와 데이터가 필요합니다.
측정 품질을 판단하는 데 필요한 공개 정보
공개 정보에서는 광고 문구가 아니라 다음 정보가 서로 맞는지 확인합니다.
| 판단할 내용 | 필요한 공개 정보 |
|---|---|
| 누구를 기준으로 한 수치인가 | 대상 집단, 표본 구성, 수집 연도, 환산 방법 |
| 어떤 능력을 측정한 수치인가 | 문항 구성, 점수 구조, 타당성을 확인한 방법과 결과 |
| 어느 정도의 오차가 있는 수치인가 | 실시 조건, 신뢰도의 종류, SEM, 고득점 구간 검증 방법 |
원자료, 채점 알고리즘, 실제 문항을 모두 공개할 필요는 없습니다. 대상, 표본, 실시 조건, 환산 방법, 신뢰도와 오차, 타당도의 주요 결과, 공개된 기술 정보가 현재 버전에도 적용되는지를 알 수 있다면 이용자는 주장을 평가할 수 있습니다.
반대로 이를 평가할 정보가 없다면 IQ 137처럼 세밀한 숫자가 표시돼도 그 의미와 정밀도를 확인할 수 없습니다. 근거를 공개하지 않은 테스트의 IQ는 정밀한 수치로 신뢰할 수 없습니다. 이것이 실용적인 결론입니다.
BrainTypeIQ가 공개하는 측정 근거
BrainTypeIQ는 9개 과목을 선택한 이유와 5개 영역의 관계를 밝히고, 9개 과목으로 종합 IQ와 5개 영역을 구성합니다.
표준점수 환산과 합성 방법, 일본어판 첫 응시 완료자 841명으로 만든 규준, 종합 IQ의 신뢰도 .929와 SEM 약 4.0점도 공개하고 있습니다. 한국어판은 일본어판 규준화를 참고한 잠정 채점을 사용하며, 현재 한국어판 데이터를 수집하고 있습니다. 공식 평가나 외부 제출이 목적이라면 K-WAIS-IV와 온라인 IQ 테스트의 역할 차이를 기준으로 선택하세요.