Não considere preciso o QI de um teste que não publica os fundamentos necessários para o avaliar. A publicidade, a posição nos resultados de pesquisa, um ecrã de resultados cuidado ou um certificado de QI não demonstram qualidade de medição. O artigo Como escolher um teste de QI online fiável aborda também o preço e as condições de contratação.
Os quatro elementos da qualidade de medição
| Elemento | O que confirmar | O que acontece quando falta |
|---|---|---|
| Padronização | Se as condições de aplicação e pontuação são uniformes | Diferenças de dispositivo, tempo ou método de pontuação influenciam o resultado |
| Normas | Com que pessoas são comparados os resultados | QI 100 ou «2% superiores» não têm um significado definido |
| Fiabilidade | Até que ponto a pontuação é consistente | Acertos e erros ocasionais fazem o valor variar muito |
| Validade | Se o resultado pode ser interpretado como a capacidade anunciada | Um resultado de raciocínio com figuras é generalizado em excesso para QI total |
Nenhum destes quatro elementos permite avaliar sozinho a qualidade de medição. Por exemplo, uma fiabilidade elevada não torna válido apresentar como QI total um teste que mede apenas raciocínio com figuras, sem abranger linguagem, memória e velocidade de processamento.
Padronização e normas
Padronizar significa manter uniformes as instruções, os limites de tempo, a apresentação dos itens, a pontuação e os procedimentos quando o tempo termina ou o teste é interrompido. Num teste online, também fazem parte das condições de pontuação as diferenças de apresentação entre telemóvel e computador, os atrasos na ligação, as repetições do teste e as regras sobre pesquisas ou notas. Se pessoas com a mesma capacidade obtiverem valores de QI muito diferentes apenas pelo dispositivo usado ou pelo número de vezes que fizeram o teste, a escala não permite uma comparação consistente.
As normas definem com quem se compara o QI. É possível converter dados de qualquer grupo para média 100 e desvio-padrão 15. Mas fixar em 100 a média dos visitantes de um site não faz com que o resultado represente a posição de uma pessoa na população adulta de Portugal.
Além do número de participantes, interessa conhecer a idade, a língua, a região, o recrutamento, o tratamento das repetições, das respostas anómalas e dos abandonos, a correção por idade e o ano de recolha dos dados. Também é necessário saber se os dados correspondem aos itens e ao método de pontuação atuais.
Mesmo que se anunciem «100 mil participantes», não se pode avaliar a qualidade das normas sem saber se incluem repetições das mesmas pessoas, quantos participantes existem em cada idade e quando foram recolhidos os dados. Também não se podem aplicar automaticamente as normas de uma versão noutra língua a um teste apenas traduzido para português. As orientações da International Test Commission para tradução e adaptação de testes integram a adaptação, a confirmação empírica, a aplicação, a pontuação e a documentação no mesmo processo.
Fiabilidade, erro de medição e intervalo de confiança
A fiabilidade indica, num coeficiente entre 0 e 1, quanta informação consistente existe numa pontuação. A consistência do conjunto de itens e a fiabilidade teste-reteste, que avalia a estabilidade em dias diferentes, respondem a perguntas distintas. Escrever «fiabilidade 0,90» exige indicar que tipo foi calculado, com que dados e para que pontuação.
A fiabilidade permite calcular o erro-padrão de medição (SEM) de uma pontuação individual. Numa escala de QI com desvio-padrão 15 e fiabilidade 0,90, o SEM é de cerca de 4,7 pontos. Num método que calcula o intervalo de confiança de 95% como ±1,96 SEM, um QI 130 corresponde aproximadamente ao intervalo entre 121 e 139. Uma fiabilidade de 0,90 não significa que o resultado seja exato.
O intervalo representa o erro de medição presente numa pontuação individual obtida numa ocasião. Um intervalo estreito não resolve o enviesamento da amostra normativa nem a questão de validade de chamar QI total a uma medida de raciocínio com figuras.
Validade e amplitude das capacidades medidas
A validade determina se a pontuação pode ser interpretada como a capacidade apresentada. Interessa saber se o conteúdo dos itens abrange essa capacidade, se a estrutura prevista das pontuações é confirmada pelos dados e se os resultados se relacionam da forma esperada com testes de inteligência estabelecidos e tarefas relacionadas.
Os problemas com figuras e o raciocínio matricial podem constituir bons testes de raciocínio visual ou de raciocínio fluido. Porém, uma fiabilidade elevada em 30 problemas com figuras não significa que se tenham medido vocabulário, conhecimentos, memória de trabalho ou velocidade de processamento. Apresentar um QI total exige problemas que meçam várias capacidades e fundamentos para as reunir numa pontuação global.
Uma «correlação de 0,70 com um teste de QI existente» também não significa 70% de precisão. A correlação indica até que ponto duas pontuações sobem e descem em conjunto. Se fossem acrescentados 10 pontos ao resultado de todas as pessoas, a correlação com a pontuação original seria 1, embora todos os resultados estivessem desviados 10 pontos. Para saber se os valores podem ser tratados como o mesmo QI, é necessário conhecer o nome e a edição do teste de comparação, a amostra, a diferença média e as diferenças entre intervalos de pontuação.
Itens e normas para medir valores de QI elevados
Para distinguir QI 130 de QI 140, é necessário ultrapassar dois tetos.
| Teto | O que é necessário | O que acontece quando falta |
|---|---|---|
| Teto dos itens | Itens que distingam também as pessoas com capacidades elevadas | Os participantes com maior capacidade acertam quase tudo e as diferenças deixam de ser observáveis |
| Teto das normas | Dados suficientes e um método de conversão que sustentem as pontuações elevadas | Não é possível estimar de forma estável valores de QI muito detalhados a partir do mesmo número de respostas certas |
Mesmo numa amostra grande, existem poucas pessoas nas extremidades da distribuição. Admitindo uma distribuição normal com média 100 e desvio-padrão 15, uma amostra de 2 000 pessoas incluiria cerca de 8 com QI igual ou superior a 140. Estes dados são insuficientes para distinguir com precisão QI 140, 142 e 145. A relação entre pontuações de QI e percentagem da população explica por que razão é cada vez mais difícil recolher os dados necessários à medida que o QI aumenta.
Na amostra normativa regular da WISC-V, com 2 200 crianças, apenas 16 tinham pelo menos uma pontuação composta igual ou superior a 150. Por isso, foram criadas normas alargadas para as pontuações elevadas, também verificadas numa amostra adicional de 108 crianças com capacidades elevadas. Mesmo os testes mais reconhecidos precisam de itens e dados específicos para medir os valores superiores.
A informação publicada necessária para avaliar a qualidade
A avaliação deve relacionar cada resultado com os dados que o sustentam, em vez de se apoiar em expressões promocionais.
| O que se pretende avaliar | Informação necessária |
|---|---|
| Com que pessoas se compara o resultado | População de referência, composição da amostra, ano de recolha e método de conversão |
| Que capacidade representa o resultado | Composição dos itens, estrutura das pontuações e métodos e resultados da avaliação da validade |
| Quanto erro contém o resultado | Condições de aplicação, tipo de fiabilidade, SEM e métodos de verificação das pontuações elevadas |
Não é necessário publicar todos os dados brutos, o algoritmo de pontuação ou os itens reais. Conhecer a população de referência, a amostra, as condições de aplicação, o método de conversão, a fiabilidade e o erro, os principais resultados de validade e a correspondência entre a informação técnica e a versão atual permite avaliar as afirmações do teste.
Sem informação que permita essa avaliação, um valor detalhado como QI 137 não tem significado e precisão verificáveis. Não considere preciso o QI de um teste que não publica os fundamentos da sua medição. Esta é a conclusão prática.
Os fundamentos de medição publicados pelo BrainTypeIQ
O BrainTypeIQ apresenta por que razão escolheu 9 provas e como correspondem às 5 áreas e como essas 9 provas formam o QI total e as 5 áreas.
Também publica a conversão para pontuações padronizadas e o método de composição, as normas da versão japonesa com 841 pessoas que concluíram o teste pela primeira vez e a fiabilidade de 0,929 do QI total, com SEM de cerca de 4,0 pontos, obtida na mesma versão. A versão em português (Portugal) utiliza atualmente um sistema provisório de pontuação, ajustado a partir da versão japonesa. A recolha de dados está em curso.
Se pretende uma avaliação formal ou resultados para apresentar a terceiros, escolha tendo em conta a diferença de função entre a WAIS e os testes de QI online, em vez de se basear numa comparação da qualidade de testes online.