Expressões como «média 100», «científico» ou «preciso» não permitem, por si só, conhecer a qualidade de medição de um teste de QI. É necessário saber quem serve de referência, que capacidades são medidas e qual é a margem de erro do valor.
Quando um teste não publica a informação necessária para avaliar estas questões, o QI apresentado não deve ser considerado um valor preciso. A publicidade, a posição nos resultados de pesquisa, um ecrã de resultados cuidado ou um certificado de QI não demonstram qualidade de medição. Para escolher considerando também o preço e as condições de pagamento, consulte como escolher um teste de QI online fiável.
Os quatro elementos que determinam a qualidade de medição
| Elemento | O que confirmar | O que acontece quando falta |
|---|---|---|
| Padronização | Se as condições de aplicação e pontuação são uniformes | Diferenças de dispositivo, tempo ou método de pontuação misturam-se na pontuação |
| Normas | Com que pessoas são comparados os resultados | QI 100 ou «2% superiores» deixam de ter um significado definido |
| Fiabilidade | Até que ponto a pontuação é consistente | Acertos e erros ocasionais alteram demasiado o valor |
| Validade | Se o resultado pode ser interpretado como a capacidade anunciada | Um resultado de raciocínio com figuras é generalizado em excesso para QI total |
Nenhum destes quatro elementos permite avaliar sozinho a qualidade de um teste de QI. Mesmo uma grande amostra normativa perde comparabilidade se as condições de aplicação variarem. E uma fiabilidade elevada não torna válido chamar QI total a um teste que mede apenas raciocínio com figuras, sem abranger linguagem, memória e velocidade de processamento.
Padronização e normas
Padronizar significa manter uniformes as instruções, os limites de tempo, a apresentação dos itens, a pontuação e o tratamento do fim do tempo ou das interrupções. Num teste online, também fazem parte das condições de pontuação as diferenças de apresentação entre telemóvel e computador, os atrasos de ligação, as repetições do teste e as regras sobre pesquisas ou notas. Se duas pessoas com a mesma capacidade obtiverem valores de QI muito diferentes apenas por usarem dispositivos distintos ou pelo número de vezes que realizaram o teste, não existe uma escala comparável.
As normas definem com quem se compara o QI. É possível converter qualquer conjunto de respostas certas para média 100 e desvio-padrão 15. Mas fazer com que a média apenas dos visitantes de um site seja 100 não mostra a posição de uma pessoa na população adulta de Portugal.
É necessário confirmar, no mínimo:
- Não só o tamanho da amostra, mas também a idade, a língua, a região e a forma de recrutamento
- Como foram tratados a primeira realização, as repetições, as respostas anómalas e os abandonos
- Quantas pessoas existem em cada grupo etário e como é feita a correção por idade
- O ano em que os dados foram recolhidos e a correspondência com os itens e o método de pontuação atuais
- Se um teste em português europeu usa itens dessa versão e uma referência adequada à população com a qual o resultado é comparado
Mesmo que se anunciem «100 mil participantes», não é possível avaliar a qualidade das normas sem saber se estão incluídas repetições das mesmas pessoas, quantos participantes existem em cada idade e quando foram recolhidos os dados. Também não se podem aplicar automaticamente as normas de uma versão noutra língua a um teste que foi apenas traduzido para português europeu. As orientações da International Test Commission para tradução e adaptação de testes tratam a adaptação, a confirmação empírica, a aplicação, a pontuação e a documentação como partes do mesmo processo.
Fiabilidade, erro de medição e intervalo de confiança
A fiabilidade, expressa por um coeficiente entre 0 e 1, indica o grau de consistência de uma pontuação. A fiabilidade que avalia a consistência do conjunto de itens responde a uma pergunta diferente da fiabilidade teste-reteste, que avalia a estabilidade em dias distintos. Não basta escrever «fiabilidade 0,90»: é necessário indicar o tipo de coeficiente, os dados usados e a pontuação a que se refere.
A fiabilidade permite calcular o erro-padrão de medição (SEM) de uma pontuação individual. Numa escala de QI com desvio-padrão 15 e fiabilidade 0,90, o SEM é de cerca de 4,7 pontos. Num método que calcula o intervalo de confiança de 95% como ±1,96 SEM, um QI 130 corresponde aproximadamente ao intervalo entre 121 e 139. Fiabilidade 0,90 não significa precisão ao ponto.
Este intervalo representa o erro de medição presente numa pontuação individual obtida numa ocasião. Não resolve um eventual enviesamento da amostra normativa nem a questão de validade de chamar QI total a uma medida de raciocínio com figuras.
Validade e amplitude das capacidades medidas
A validade determina se a pontuação pode ser interpretada como a capacidade apresentada. É necessário confirmar se o conteúdo dos itens abrange essa capacidade, se a estrutura de pontuações prevista é sustentada pelos dados e se os resultados se relacionam da forma esperada com testes de inteligência já estabelecidos ou com tarefas relacionadas.
Problemas com figuras e matrizes podem formar um bom teste de raciocínio visual ou raciocínio fluido. Contudo, mesmo que 30 problemas com figuras produzam uma fiabilidade elevada, isso não significa que tenham sido medidos o vocabulário, os conhecimentos, a memória de trabalho ou a velocidade de processamento. Para apresentar QI total, são necessários itens que meçam várias capacidades e fundamentos para as reunir numa pontuação global.
Uma «correlação de 0,70 com um teste de QI existente» também não significa 70% de precisão. A correlação indica até que ponto duas pontuações aumentam e diminuem em conjunto. Se fossem acrescentados 10 pontos à pontuação de todas as pessoas, a correlação com o valor original seria 1, embora todos os valores estivessem deslocados 10 pontos. Para saber se podem ser tratados como o mesmo QI, é necessário conhecer o nome e a edição do teste de comparação, a amostra, a correlação, a diferença média e as diferenças entre intervalos de pontuação.
Itens e normas para medir valores de QI elevados
Para distinguir QI 130 de QI 140, é necessário ultrapassar dois tetos.
| Teto | O que é necessário | O que acontece quando falta |
|---|---|---|
| Teto dos itens | Itens que distingam também as pessoas com capacidades elevadas | As pessoas no topo acertam quase tudo e as diferenças de capacidade deixam de ser observáveis |
| Teto das normas | Dados suficientes e um método de conversão que sustentem a zona superior | Não é possível estimar de forma estável valores de QI detalhados a partir do mesmo número de respostas certas |
Mesmo quando a amostra total é grande, existem poucas pessoas nas extremidades da distribuição. Numa distribuição normal com média 100 e desvio-padrão 15, uma amostra de 2 000 pessoas incluiria cerca de 8 com QI igual ou superior a 140. Estes dados não permitem distinguir com segurança QI 140, 142 e 145. A relação entre pontuações de QI e percentagem da população mostra por que se torna mais difícil recolher os dados necessários à medida que a pontuação aumenta.
Na amostra normativa regular da WISC-V, com 2 200 crianças, apenas 16 tinham pelo menos uma pontuação composta igual ou superior a 150. Por isso, foram criadas normas alargadas para a zona superior e foi usada uma amostra adicional de 108 crianças com capacidades elevadas para as validar. Mesmo os testes mais reconhecidos precisam de itens e dados próprios para medir a zona superior.
A informação pública necessária para avaliar a qualidade
Na informação publicada, procure a correspondência entre cada afirmação e os dados que a sustentam, não apenas expressões promocionais.
| Afirmação apresentada | Informação necessária para a avaliar |
|---|---|
| QI 100 ou 2% superiores | População de referência, composição da amostra, ano de recolha e método de conversão |
| QI total | Capacidades medidas, composição dos itens e estrutura de pontuações |
| Fiabilidade 0,90 | Tipo de coeficiente, amostra analisada, SEM e precisão por intervalo de pontuação |
| Correlação elevada com um teste existente | Nome e edição do teste, amostra, correlação e diferença média |
| Medição de QI 140 ou superior | Itens para capacidades elevadas, número de participantes no topo e método de extrapolação ou validação |
| Científico ou preciso | Que afirmação é sustentada por que método e resultado |
Não é necessário publicar todos os dados brutos, o algoritmo de pontuação ou os itens reais. Quando são conhecidos a população de referência, a amostra, as condições de aplicação, o método de conversão, a fiabilidade e o erro, os principais resultados de validade e a correspondência entre a informação técnica e a versão atual, é possível avaliar as afirmações do teste.
Quando essa informação não existe, um valor detalhado como QI 137 continua sem significado e precisão verificáveis. Não considere preciso o QI de um teste que não publica os fundamentos da sua medição. Esta é a conclusão prática.
O BrainTypeIQ explica por que escolheu 9 provas e como estas correspondem às 5 áreas, e como essas 9 provas formam o QI total e as 5 áreas. Também publica a conversão para pontuações padronizadas e o método de composição, as normas da versão japonesa baseadas nas primeiras 841 pessoas que concluíram o teste e a fiabilidade de 0,929 do QI total, com um SEM de cerca de 4,0 pontos. Estes resultados referem-se à versão japonesa; a versão pt-PT usa atualmente pontuações provisórias enquanto reúne dados próprios de Portugal. Se o objetivo é uma avaliação formal ou um resultado para apresentar a terceiros, escolha a partir da diferença de função entre a WAIS e um teste de QI online.