Não confie na precisão do QI de um teste que não publica as evidências necessárias para avaliá-lo. Anúncios, posição nos resultados de busca, uma tela de resultados bem produzida ou um certificado de QI não demonstram a qualidade da medição. Para avaliar também preços e condições de contratação, veja como escolher um teste de QI online confiável.
Os 4 elementos que definem a qualidade da medição
| Elemento | O que verificar | O que acontece quando falta |
|---|---|---|
| Padronização | Se as condições de aplicação e pontuação são uniformes | Diferenças de dispositivo, tempo ou pontuação passam a influenciar o resultado |
| Normas | Com os dados de quem o resultado é comparado | O significado de QI 100 ou dos 2% superiores fica indefinido |
| Confiabilidade | Quanto a pontuação é consistente | Acertos ou erros ocasionais fazem o resultado variar muito |
| Validade | Se a pontuação pode ser interpretada como a habilidade anunciada | Um resultado de raciocínio com figuras é ampliado indevidamente para QI total |
Nenhum desses 4 elementos, sozinho, determina a qualidade da medição. Mesmo com alta confiabilidade, um teste que mede apenas raciocínio com figuras não sustenta a interpretação de QI total que inclui linguagem, memória e velocidade de processamento.
Padronização e normas
Padronizar significa uniformizar as instruções, os limites de tempo, a apresentação das questões, a pontuação e os procedimentos adotados quando o tempo se esgota ou há interrupções. Em testes online, também entram nessas condições as diferenças de exibição entre celular e computador, os atrasos de conexão, as novas tentativas e as regras sobre pesquisas e anotações. Se pessoas com a mesma habilidade recebem resultados muito diferentes apenas pelo dispositivo usado ou pelo número de tentativas, a escala não permite uma comparação consistente.
As normas definem com quem o resultado é comparado. É possível converter o número de acertos para uma média de 100 e um desvio padrão de 15 usando dados de qualquer grupo. Fazer a média dos visitantes de um site corresponder a 100, porém, não significa representar a posição de alguém entre os adultos da população brasileira.
Para avaliar as normas, é preciso considerar, além do número de participantes, a idade, o idioma, a região, a forma de recrutamento, o tratamento de novas tentativas, respostas atípicas e abandonos, o ajuste por idade, o ano da coleta e a correspondência dos dados com as questões e o método de pontuação atuais.
Mesmo “100 mil participantes” não permite avaliar a qualidade das normas sem saber se o total inclui novas tentativas da mesma pessoa, quantos participantes há em cada faixa etária e quando os dados foram coletados. Tampouco se pode aplicar diretamente as normas de uma versão em outro idioma a um teste que foi apenas traduzido para o português. As diretrizes básicas da Japan Association for Research on Testing, no Japão, também exigem o registro e a divulgação do grupo normativo, da amostra, dos procedimentos de padronização e das informações estatísticas.
Confiabilidade, erro de medição e intervalo de confiança
A confiabilidade expressa, em um coeficiente de 0 a 1, quanta informação consistente existe em uma pontuação. A confiabilidade que avalia a consistência entre os itens e a confiabilidade teste-reteste, que avalia a estabilidade em aplicações realizadas em dias diferentes, respondem a perguntas distintas. Não basta publicar “confiabilidade 0,90”: é necessário informar o tipo de coeficiente, de quem são os dados e a qual pontuação ele se refere.
A confiabilidade permite calcular o erro padrão de medição (SEM) de uma pontuação individual. Em uma escala de QI com desvio padrão 15, uma confiabilidade de 0,90 corresponde a um SEM de aproximadamente 4,7 pontos. Se o intervalo de confiança de 95% for calculado como ±1,96 SEM, um QI 130 terá um intervalo aproximado de 121 a 139. Confiabilidade 0,90 não significa precisão de um ponto.
Esse intervalo descreve o erro de medição presente na pontuação individual de uma aplicação. Um intervalo estreito não resolve o viés da amostra normativa nem a questão de validade envolvida em chamar um resultado de raciocínio com figuras de QI total.
Validade e amplitude das habilidades medidas
A validade determina se uma pontuação pode ser interpretada como a habilidade anunciada. Para avaliá-la, é preciso verificar se o conteúdo das questões cobre a habilidade, se a estrutura proposta para as pontuações é confirmada pelos dados e se os resultados se relacionam como esperado com testes de inteligência existentes e tarefas relevantes.
Questões com figuras e raciocínio matricial podem formar um bom teste de raciocínio com figuras ou raciocínio fluido. Mesmo que 30 questões desse tipo produzam alta confiabilidade, isso não significa que o teste também mediu vocabulário, conhecimento, memória de trabalho e velocidade de processamento. Para apresentar QI total, são necessárias questões que cubram diferentes habilidades e evidências de que seus resultados podem ser combinados em uma pontuação geral.
Uma “correlação de 0,70 com um teste de QI existente” também não significa 70% de precisão. Correlação indica quanto duas pontuações sobem e descem juntas. Se 10 pontos fossem somados ao resultado de todas as pessoas, a correlação com a pontuação original seria 1, embora todos os resultados diferissem em 10 pontos. Para saber se as duas medidas podem ser tratadas como o mesmo QI, é preciso conhecer o nome e a versão do teste usado na comparação, a amostra, a diferença média e as diferenças por faixa de pontuação.
Medir QI alto exige questões e normas adequadas
Para diferenciar QI 130 de QI 140, o teste precisa superar dois efeitos de teto.
| Teto | O que é necessário | O que acontece quando falta |
|---|---|---|
| Teto das questões | Questões que diferenciem pessoas de alta habilidade | Os participantes com maior desempenho acertam quase tudo e as diferenças de habilidade deixam de ser observáveis |
| Teto das normas | Dados suficientes na faixa superior e um método de conversão adequado | O mesmo número de acertos não permite estimar diferenças pequenas de QI com estabilidade |
Mesmo em uma amostra grande, poucas pessoas estão nos extremos da distribuição. Pressupondo uma distribuição normal com média 100 e desvio padrão 15, uma amostra de 2.000 pessoas teria cerca de 8 participantes com QI 140 ou mais. Isso não sustenta uma separação precisa entre QI 140, 142 e 145. A relação entre pontuações de QI e proporção da população mostra por que os dados necessários ficam mais difíceis de reunir conforme a pontuação aumenta.
Na amostra normativa regular do WISC-V dos Estados Unidos, com 2.200 crianças, apenas 16 alcançaram 150 ou mais em alguma pontuação composta. Por isso, foram criadas normas estendidas para a faixa superior, também validadas em uma amostra separada de 108 crianças com altas habilidades. Mesmo testes reconhecidos precisam de um desenho de questões e de dados específicos para medir as pontuações mais altas.
As informações públicas necessárias para avaliar a medição
Nas informações publicadas, avalie a relação entre a afirmação e suas evidências, em vez de se apoiar em frases de divulgação.
| O que avaliar | Informação pública necessária |
|---|---|
| Qual grupo serve de referência para a pontuação | População de referência, composição da amostra, ano da coleta e método de conversão |
| Qual habilidade a pontuação mede | Composição das questões, estrutura das pontuações e métodos e resultados da análise de validade |
| Quanto erro a pontuação contém | Condições de aplicação, tipo de confiabilidade, SEM e método de validação das pontuações altas |
Não é necessário publicar todos os dados brutos, os algoritmos de pontuação e as questões reais. Quando ficam claros o público de referência, a amostra, as condições de aplicação, o método de conversão, a confiabilidade e o erro, os principais resultados de validade e a correspondência das informações técnicas com a versão atual, a pessoa consegue avaliar as afirmações do teste.
Sem informações que permitam essa avaliação, mesmo um resultado detalhado como QI 137 fica sem significado e precisão verificáveis. Não confie na precisão do QI de um teste que não publica suas evidências. Essa é a conclusão prática.
As evidências de medição publicadas pelo BrainTypeIQ
O BrainTypeIQ apresenta por que escolheu as 9 tarefas e como elas se relacionam com os 5 domínios e como as 9 tarefas formam o QI total e os 5 domínios.
Também publica o método de conversão para pontuações padronizadas e de composição dos resultados, as normas da versão japonesa com 841 pessoas que concluíram o teste pela primeira vez e a confiabilidade de 0,929 do QI total, com SEM de aproximadamente 4,0 pontos, na versão japonesa.
A versão em português brasileiro usa atualmente um método provisório de pontuação, ajustado a partir da versão japonesa. Estamos coletando dados.
Para uma avaliação formal ou um documento a ser apresentado a terceiros, a escolha depende dos papéis diferentes do WAIS e dos testes de QI online, e não apenas da comparação de qualidade entre testes online.