TRI

Metodologia da Teoria da Resposta ao Item (TRI)

Uma comparação com a avaliação utilizando a metodologia da TRI é a de um atleta de salto à altura.  Imagina-se que ele já passou por uma prova de qualificação que garantiu a ele competir e quanto no mínimo deve se esperar deste atleta, portanto, inicia-se a prova com uma determinada altura, se o atleta passa pela prova e mostra uma desenvoltura que indica uma possibilidade de aumentar a altura em 30 cm, na próxima o sarrafo estará nesta nova altura, se, no entanto, não conseguir ultrapassar, diminui-se em, por exemplo, 15 cm, se mais uma vez obtém êxito, torna-se aumentar, e assim balanceamos as alturas até concluirmos que em determinada altura o atleta está atingindo o seu potencial máximo.

Desta forma, qualquer atleta, mesmo que não consiga completar a prova, não terá nota zero, pois seu histórico de vida dá garantia de um mínimo necessário para chegar a esta competição.

O exame proposto pelo INEP também vê assim o aluno concluinte do ensino médio.  O governo acredita que este examinando já traz uma bagagem que o qualifica, e que garante um mínimo de conhecimento frente às exigências que se colocarão no cotidiano. 

Segundo Andrade, a TRI é um modelo matemático que determina a probabilidade de um indivíduo dar uma resposta a um item em função de parâmetros do item e da habilidade do respondente.  Leva-se em conta para a aplicação da TRI três fatores:

i)                    A natureza do item – Dicotômico ou não dicotômico.

ii)                  O número de populações envolvidas – Apenas uma ou mais de uma.

iii)                A quantidade de traços latentes – Apenas um ou mais de um.

No ENEM, a natureza do item é dicotômica, ou seja, certo ou errado; apenas uma população está envolvida e queremos medir apenas um traço latente. 

1.Métrica do item

Para esta medida utilizamos uma escala estabelecida pelo INEP a partir do exame de 2009, onde foi estabelecido que, 500 seria o valor de posição ou de referência, este valor representa o desempenho médio dos concluintes do Ensino Médio da rede pública de 2009 que realizaram o exame naquele ano.  Atribuíram também 100 para o valor de dispersão, que seria a medida de variabilidade média das notas daqueles concluintes em relação ao valor de referência. 

Esta métrica, portanto, garante que um aluno com nota 700 está a duas unidades de desvio padrão acima da proficiência média dos concluintes de 2009.  Graficamente representaríamos uma régua conforme o gráfico abaixo apresentado na página do INEP.

Figura 1 – Escala de proficiência

Segundo o INEP

A sua nota na escala (régua) pode assumir qualquer valor no conjunto dos números reais, como, por exemplo, 632,6, 421,8, etc. Outro aspecto importante no cálculo da nota é que as notas mínima (nenhum acerto) e máxima (45 acertos) dependem do grau de dificuldade da prova. Como já comentado, a prova é constituída por um conjunto de itens com parâmetros previamente conhecidos. São esses parâmetros que definem os valores de mínimo e máximo da prova. Assim, quando a prova é composta com muitos itens fáceis, o máximo da prova tenderá a ser mais baixo, e quando ela é composta com muitos itens difíceis, o mínimo tenderá a ser mais alto. Então, está claro que a nota mínima não é “0” e a nota máxima não é 1.000.  (Fonte: Página do INEP .(7) )

Na Teoria Clássica do Teste (TCT), o importante é a prova na sua totalidade, ou seja, o aluno é classificado de acordo com o seu número de acertos, portanto, o aluno fica sujeito às intempéries do exame, isto é, um exame muito difícil, com notas muito baixas, leva à conclusão de que os alunos dominam pouco àquele conteúdo, em contrapartida, se a prova é muito fácil, pode de uma forma leviana levar à conclusão que os alunos são muito acima da média.

Na TRI o foco passa a ser o item, que deve avaliar apenas uma habilidade, que é construído atendendo a critérios estabelecidos pelo INEP, como:

Operação Cognitiva – que ações são requeridas para o examinando resolver a situação problema.

   

    Objetos do Conhecimento - O que o respondente deve dominar em termos de conhecimentos para executar a Operação Cognitiva.

    Contextualização – Dá a oportunidade ao respondente de fazer a ligação entre o que se aprende na escola e o cotidiano.   Permite que aplique   seu conhecimento acumulado e a partir de operações mentais resolva as situações envolvidas no item.

Na elaboração dos itens são considerados contextos relacionados a cada área do conhecimento que possam estabelecer relações entre problemas que se apresentem no cotidiano e os conhecimentos acumulados na sua experiência escolar.

2.Correção

Dentre os modelos propostos na correção do item pela TRI, utiliza-se o modelo logístico de 3 parâmetros (ML3) que leva em conta a proficiência do examinando (q),  e os parâmetros ligados ao item, tais como, discriminação do item(a), dificuldade do item(b) e a resposta ao acaso(c).  Um dos programas utilizados para corrigir estes exames é o Bilog- MG (Rabelo).

De acordo com Andrade, cada item, portanto, é corrigido e retorna como uma curva denominada Curva Característica do Item (CCI) e a cada respondente é atribuído um valor na Função Resposta do Item (FRI):

P(U_j=1½q_j) é a probabilidade de um indivíduo j com habilidade q_j responder corretamente o item i e é chamada de Função de Resposta do Item – FRI.

Uij é uma variável dicotômica que assume valores 1, quando o indivíduo j responde corretamente o item i, ou 0 quando o indivíduo j não responde corretamente o item i.

qj representa a habilidade (traço latente) do j-ésimo indivíduo.

b_i é o parâmetro de dificuldade do item i, medido na mesma escala da habilidade.

a_i é o parâmetro de discriminação do item i, com valor proporcional à inclinação da  Curva Característica do Item – CCI no ponto b_i.

c_i é o parâmetro do item que representa a probabilidade de indivíduos com baixa habilidade responderem corretamente o item i.

D é um fator de escala, constante e igual a 1.  Utiliza-se o valor 1,7 quando se deseja que a função logística forneça resultado semelhante ao da função ogiva normal.

Na figura 2, retirada da página do INEP, os parâmetros a, b e c estão representados, bem como um participante A. Por exemplo, este participante com proficiência 650, apresenta aproximadamente 85% de chance de responder corretamente a questão. O esperado é que 85 % dos participantes com proficiência 650 acertem este item.

   

Figura 2 – Curva de característica do item

Na TRI, mais que estimar as dificuldades dos itens e as proficiências dos participantes, essa metodologia permite que os itens de diferentes edições do exame sejam posicionadas em uma mesma escala, que é uma métrica ou uma régua.  Uma vez realizado este posicionamento na régua, a interpretação das características pedagógicas do item pode contribuir para uma análise qualitativa das habilidades que os participantes já dominam e daquelas cujo domínio eles ainda estão construindo. Cada uma das quatro áreas do conhecimento avaliadas pelo ENEM possui uma escala própria, uma vez que avalia constructos distintos, quais sejam, a proficiência em: Linguagens, Códigos e suas Tecnologias; Matemática e suas Tecnologias; Ciências da natureza e suas tecnologias; e Ciências Humanas e suas Tecnologias.  A interpretação pedagógica destas escalas é importante pra ampliar a compreensão do significado das proficiências dos parâmetros de dificuldades dos itens, na medida em que busca oferecer um sentido qualitativo e pedagógico às estimativas quantitativas. (Fonte: Página do INEP, (7))

A figura 3, também apresentada na página do ENEM (7), mostra dois participantes A e B posicionados na régua.  Observe que o participante A, que apresenta uma proficiência em torno de 650, tem grande probabilidade de responder os itens 1, 34, 45, 12 e 16.  Da mesma forma espera-se do participante B, com proficiência em torno de 400, que apresente conhecimento suficiente para responder com sucesso os itens 1 e 34. Espera-se que o participante A tenha dificuldade para responder corretamente os itens 19 e 35, e o participante B os itens 45, 12, 16, 19 e 35.  O exame tem caráter probabilístico, portanto, não se pode afirmar que o participante B, por exemplo, não acertará o item 35.

Figura 3 – Posicionamento na métrica do ENEM de 2 alunos

Uma característica da TRI é ter o índice de dificuldade (b) e a proficiência do participante (  na mesma escala. 

Segundo os critérios do ENEM, espera-se que alguém com determinada proficiência possa resolver questões cujos índices de dificuldade (b), sejam menores que   Em alguns casos o examinando poderá acertar itens mais difíceis e errar itens mais fáceis, no entanto, espera-se dos candidatos uma coerência nas suas respostas, ao conjunto de respostas do candidato está associado o seu traço latente (q).   

A TRI é um método que a partir do conjunto de respostas do candidato, determina qual proficiência maximiza a probabilidade do candidato ter dado aquele conjunto de respostas.

Cada participante responde às 45 questões de cada área de uma forma particular, ou seja, dois alunos podem acertar o mesmo número de questões, porém de formas diferentes, desta forma, terão resultados diferentes, a figura 4 apresentado na página do ENEM (7), apresenta dois alunos fictícios, com 5 acertos cada um e notas diferenciadas, pois acertaram questões distintas.

Figura 4 – Comparativo entre dois alunos com acertos diferentes