Mesmo que um teste mostre uma média de 100 ou se apresente como científico e preciso, isso não basta para conhecer a qualidade da medição. É preciso verificar quem serve de referência, quais habilidades são medidas e qual é a margem de erro do resultado.
Quando as evidências necessárias para essa avaliação não são publicadas, o QI exibido não deve ser tratado como um número preciso. Anúncios, posição nos resultados de busca, uma tela de resultados bem produzida ou um certificado de QI não demonstram a qualidade de um teste. Para avaliar também preço e condições de contratação, consulte como escolher um teste de QI online confiável.
Quatro elementos definem a qualidade de um teste
| Elemento | O que verificar | O que acontece quando falta |
|---|---|---|
| Padronização | Se as condições de aplicação e correção são consistentes | Diferenças de dispositivo, tempo ou correção passam a influenciar a pontuação |
| Normas | Com quais pessoas o resultado é comparado | Um QI de 100 e o percentil 98 ficam sem uma referência definida |
| Confiabilidade | Quanto a pontuação se mantém consistente | Acertos ou erros ocasionais podem alterar demais o resultado |
| Validade | Se a pontuação representa a habilidade anunciada | Um resultado de raciocínio com figuras é ampliado indevidamente para QI total |
Nenhum desses elementos, sozinho, determina a qualidade de um teste. Uma amostra normativa grande não resolve condições de aplicação inconsistentes. Uma pontuação pode ser muito confiável e, ainda assim, cobrir apenas raciocínio com figuras, sem sustentar uma interpretação de QI total que inclua linguagem, memória e velocidade de processamento.
Padronização e normas
Padronizar significa manter consistentes as instruções, os limites de tempo, a apresentação das questões, a correção e o tratamento de interrupções ou tarefas não concluídas. Em testes online, também entram nessa definição as diferenças de exibição entre celular e computador, os atrasos de conexão, as novas tentativas e as regras sobre pesquisas ou anotações. Se duas pessoas com a mesma capacidade podem receber resultados muito diferentes apenas pelo dispositivo ou pelo número de tentativas, a escala deixa de ser comparável.
As normas definem com quem o resultado é comparado. É possível transformar qualquer distribuição para uma média de 100 e um desvio padrão de 15. Fazer isso apenas com as pessoas que visitaram um site, porém, não significa representar a posição de alguém entre os adultos do Brasil.
No mínimo, verifique estas informações:
- número de participantes, idade, idioma, região e forma de recrutamento;
- tratamento de primeiras aplicações, novas tentativas, respostas incomuns e abandonos;
- quantidade de participantes por faixa etária e método de ajuste por idade;
- período de coleta e correspondência entre os dados, as questões e o método de pontuação atuais;
- uso de questões e de dados de participantes que fizeram a própria versão em português brasileiro para construir uma referência destinada ao pt-BR.
Mesmo a afirmação “mais de 100 mil participantes” diz pouco quando não informa se inclui novas tentativas da mesma pessoa, quantas pessoas existem em cada faixa etária ou quando os dados foram coletados. Uma tradução para o português brasileiro também não pode simplesmente receber as normas de outra versão linguística e passar a representar a população do Brasil. As diretrizes básicas da Japan Association for Research on Testing, por exemplo, exigem que o grupo normativo, a amostra, o procedimento de padronização e as informações estatísticas sejam registrados e divulgados.
Confiabilidade, erro de medição e intervalo de confiança
A confiabilidade indica, em um coeficiente de 0 a 1, quanta informação consistente existe em uma pontuação. A consistência entre os itens e a estabilidade em uma nova aplicação respondem a perguntas diferentes. Por isso, não basta publicar “confiabilidade 0,90”: é necessário informar o tipo de coeficiente, os participantes usados na análise e a pontuação a que ele se refere.
A confiabilidade permite calcular o erro padrão de medição (SEM) de uma pontuação individual. Em uma escala de QI com desvio padrão 15, uma confiabilidade de 0,90 corresponde a um SEM de aproximadamente 4,7 pontos. Se o intervalo de confiança de 95% for calculado como ±1,96 SEM, um QI 130 terá um intervalo aproximado de 121 a 139. Confiabilidade 0,90 não significa precisão de um ponto.
Esse intervalo descreve o erro de medição presente em uma aplicação individual. Ele não corrige uma amostra normativa enviesada nem resolve se um teste que mede apenas raciocínio com figuras pode ser interpretado como QI total.
Validade e amplitude das habilidades medidas
A validade determina se uma pontuação pode ser interpretada como a habilidade anunciada. Para avaliá-la, é preciso verificar se o conteúdo das questões cobre a habilidade, se a estrutura proposta para as pontuações é confirmada pelos dados e se o resultado se relaciona como esperado com testes de inteligência ou tarefas relevantes.
Questões com figuras e matrizes podem formar um bom teste de raciocínio com figuras ou raciocínio fluido. Mesmo que 30 questões desse tipo produzam alta confiabilidade, isso não significa que o teste também mediu vocabulário, conhecimento, memória de trabalho e velocidade de processamento. Para apresentar QI total, são necessárias tarefas que cubram diferentes habilidades e evidências de que seus resultados podem ser combinados.
Uma “correlação de 0,70 com um teste de QI reconhecido” também não significa 70% de precisão. Correlação indica quanto duas pontuações sobem e descem juntas. Se 10 pontos fossem somados ao resultado de todas as pessoas, a correlação com a pontuação original seria 1, embora cada número estivesse deslocado em 10 pontos. Para saber se as duas medidas podem ser tratadas como o mesmo QI, é preciso conhecer o teste e a versão usados na comparação, a amostra, a diferença média e o comportamento em diferentes faixas de pontuação.
Medir QI alto exige questões e normas adequadas
Para diferenciar QI 130 de QI 140, o teste precisa superar dois tetos.
| Teto | O que é necessário | O que acontece quando falta |
|---|---|---|
| Teto das questões | Questões que diferenciem pessoas de alta capacidade | Os participantes de maior desempenho acertam quase tudo e as diferenças deixam de ser observáveis |
| Teto das normas | Dados suficientes na faixa superior e um método de conversão adequado | O mesmo número de acertos não permite estimar valores altos com estabilidade |
Mesmo em uma amostra grande, poucas pessoas estão nos extremos da distribuição. Pressupondo uma distribuição normal com média 100 e desvio padrão 15, uma amostra de 2.000 pessoas teria cerca de oito participantes com QI 140 ou mais. Isso não sustenta uma separação fina entre QI 140, 142 e 145. A relação entre pontuações de QI e proporção da população mostra por que os dados ficam mais difíceis de reunir conforme a pontuação aumenta.
Na amostra normativa regular do WISC-V, com 2.200 crianças, apenas 16 alcançaram 150 ou mais em alguma pontuação composta. Para construir normas estendidas para a faixa superior, o teste também recorreu a uma amostra separada de 108 crianças com altas habilidades. Mesmo testes reconhecidos precisam de questões e dados específicos para medir com qualidade a parte mais alta da distribuição.
Que informações precisam ser públicas
Ao avaliar um teste, procure a evidência correspondente a cada afirmação, não apenas a linguagem usada na divulgação.
| Afirmação exibida | Informação necessária para avaliá-la |
|---|---|
| QI 100 ou percentil 98 | População de referência, composição da amostra, período de coleta e método de conversão |
| QI total | Habilidades medidas, composição das tarefas e estrutura das pontuações |
| Confiabilidade 0,90 | Tipo de coeficiente, amostra analisada, SEM e precisão por faixa de pontuação |
| Alta correlação com outro teste | Nome e versão do teste, amostra, correlação e diferença média |
| Medição acima de QI 140 | Questões para alta capacidade, número de participantes na faixa superior e método de validação ou extrapolação |
| Científico ou preciso | Qual afirmação é sustentada, por qual método e por quais resultados |
Não é necessário publicar os dados brutos, o algoritmo completo de pontuação ou as questões reais. Quando ficam claros o público de referência, a amostra, as condições de aplicação, o método de conversão, a confiabilidade e o erro, os principais resultados de validade e a correspondência entre as informações técnicas e a versão atual, o usuário consegue avaliar o que está sendo prometido.
Sem essas informações, mesmo um resultado como QI 137 não tem significado ou precisão verificáveis. Uma pontuação de QI sem evidências publicadas não deve ser tratada como um número preciso.
O BrainTypeIQ publica como as 9 tarefas se relacionam com os 5 domínios e como elas formam o QI total e o perfil cognitivo. Também apresenta o método de conversão e composição das pontuações, a normatização da versão japonesa com 841 primeiras aplicações e sua confiabilidade de 0,929, com SEM de aproximadamente 4,0 pontos. A versão em português brasileiro adota atualmente um modelo provisório de pontuação enquanto amplia seu próprio conjunto de dados. Para uma finalidade formal ou documental, veja as diferenças entre o WAIS e um teste de QI online.