Notas e acertos na prova do ENEM

A nota do ENEM depende unicamente do número de acertos na prova?

Quantas questões eu tenho que acertar na prova para tingir uma boa nota?

 

• TEORIA CLÁSSICA DOS TESTES (TCT) 

Esta teoria leva em conta apenas o resultado bruto do candidato, isto é, a nota final é proporcional ao número de acertos, ou ainda, pode ser calculada de forma padronizada, usando o auxílio de desvio padrão.

 

Este processo considera a prova na sua totalidade e não tem a perspectiva de comparar resultados em provas diferentes.  Na prova de qualificação da UERJ, um examinando que acertou mais que 42 questões das 60 aplicadas e obteve  conceito A, não pode ser comparado a um outro que em outra prova de qualificação também tenha obtido  um A porque as provas são diferentes.   O índice de dificuldade da prova está diretamente ligado ao resultado final.

 

Para exemplificar esta  afirmação, no quadro abaixo apresento a porcentagem por conceitos na 1ª prova de qualificação da UERJ 2016, realizada em junho de 2015.  Apenas 5,28% dos 39558 alunos acertaram mais que 42 questões e ainda 22,33%  dos candidatos estariam eliminados por tirarem conceito E, pois acertaram menos que 24 questões. Só para lembrar apenas está definitivamente eliminado do concurso o candidato que nos dois exames de qualificação acertar menos que 24 questões em cada etapa. 

 

	ALUNOS	PERCENTUAL
INSCRITOS	39558
CONCEITO A	2008	5,28%
CONCEITO B	5389	14,17%
CONCEITO C	10239	26,92%
CONCEITO D	11902	31,30%
CONCEITO E	8492	22,33%

 

Em seguida o resultado da 1ª prova de qualificação de 2015, realizada em 2014.  Nesta avaliação 12% dos 39669 haviam acertado mais que 42 questões, ou seja, esta prova apresentou um nível de dificuldade menor que a do ano seguinte.  Isto também fica claro quando percebemos que 15,67% dos candidatos receberam o conceito E.
       

	ALUNOS	PERCENTUAL
INSCRITOS	39669
CONCEITO A	4660	12,19%
CONCEITO B	7640	19,98%
CONCEITO C	10391	27,18%
CONCEITO D	9549	24,98%
CONCEITO E	5991	15,67%

Apesar de praticamente o mesmo número de candidatos nas duas edições, o número de conceitos A no exame de qualificação da UERJ 2015 foi maior que o dobro do obtido no ano seguinte. Por este motivo não é possível comparar alunos com a mesma nota bruta, ou mesmo com o mesmo número de acertos em exames diferentes.  Este é um exemplo clássico da TCT.

 

• TEORIA DE RESPOSTA AO ITEM

O INEP utiliza a Teoria da Resposta ao Item (TRI) com a proposta de poder comparar estudantes que fazem o ENEM em diferentes edições.

 

ATRI leva em consideração cada item, que é testado anteriormente e recebe uma chancela que leva em conta seu grau de dificuldade, o seu grau de discriminação e ainda o parâmetro de acertos ao acaso.

 

Portanto, é possível equilibrar uma prova considerando esses três parâmetros. O conteúdo do ENEM é construído a partir de matrizes de referência nas quadro áreas do conhecimento:

 

• Linguagens, códigos e suas tecnologias, que abrange o conteúdo de Língua Portuguesa (Gramática e Interpretação de Texto), Língua Estrangeira Moderna, Literatura, Artes, Educação Física e Tecnologias da Informação.
• Matemática e suas tecnologias.
• Ciências da Natureza e suas tecnologias, que abrange os conteúdos de Química, Física e Biologia.
• Ciências Humanas e suas tecnologias, que abrange os conteúdos de Geografia, História,

Matriz deReferência

O INEP discrimina em sua Matriz de Referência os cinco Eixos Cognitivos que devem ser de conhecimento dos alunos que chegam nesta etapa:

 

1 - Dominar Linguagens – Dominar a norma culta da língua portuguesa e fazer uso das linguagens matemática, artística e científica e das línguas inglesa e espanhola..

2 - Compreender fenômenos – Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.

3 - Entender situações-problema – Selecionar, organizar, relacionar, interpretar dados e informações, representados de diferentes formas, para tomar decisões e enfrentar situações-problemas.

4 - Construir Argumentações – Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.

5 - Elaborar propostas éticas – Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural

• Competências e Habilidades

Cada item do exame está ligado a uma habilidade, que faz parte de um grupo denominado competência e que está descrita na Matriz de Referência do INEP em cada área do conhecimento.  Os quadros abaixo apresentam as relações de competência e habilidade em cada área do Conhecimento.

 

Ciências Humanas e suas Tecnologias
Competências	Habilidades por competência
C1	H1	H2	H3	H4	H5
C2	H6	H7	H8	H9	H10
C3	H11	H12	H13	H14	H15
C4	H16	H17	H18	H19	H20
C5	H21	H22	H23	H24	H25
C6	H26	H27	H28	H29	H30

Matemática e suas Tecnologias
Competências	Habilidades por competência
C1	H1	H2	H3	H4	H5
C2	H6	H7	H8	H9
C3	H10	H11	H12	H13	H14
C4	H15	H16	H17	H18
C5	H19	H20	H21	H22	H23
C6	H24	H25	H26
C7	H27	H28	H29	H30

Ciências da Natureza e suas Tecnologias
Competências	Habilidades por competência
C1	H1	H2	H3	H4
C2	H5	H6	H7
C3	H8	H9	H10	H11	H12
C4	H13	H14	H15	H16
C5	H17	H18	H19
C6	H20	H21	H22	H23
C7	H24	H25	H26	H27
C8	H28	H29	H30

Linguagens, Códigos e suas Tecnologias
Competências	Habilidades por competência
C1	H1	H2	H3	H4
C2	H5	H6	H7	H8
C3	H9	H10	H11
C4	H12	H13	H14
C5	H15	H16	H17
C6	H18	H19	H20
C7	H21	H22	H23	H24
C8	H25	H26	H27
C9	H28	H29	H30

Cada item da prova está relacionada a uma habilidade, como a prova é constituída de 45 itens uma habilidade pode não aparecer ou aparecer mais de uma vez. 

 

Os gráficos abaixo apresentam a incidência de cada habilidade no exame de 2013 em cada prova.  Em cada quadro abaixo o eixo horizontal refere-se às habilidades, sempre num total de 30, e o eixo vertical a incidência da habilidade na prova.  O Inep ao divulgar os microdados dos alunos também divulga, num arquivo denominado itens do ENEM o código da questão no banco de dados do ENEM, a habilidade referente ao item e a posição na prova, que varia de acordo com a cor da prova.  

·         Distribuição dos alunos por acertos no ENEM 2013 no Rio de Janeiro.

Os alunos sempre especulam a respeito do seu resultado de acordo com o seu número de acertos, em regra geral estão baseados nos seus conhecidos, mas afinal como comparar se eles não conhecem todos os alunos. Os gráficos a seguir apresentam, no exame de 2013, no estado do Rio de Janeiro, os alunos distribuídos, de acordo com o nº de acertos, em cada área de conhecimento. 

No eixo horizontal o número de acertos e no eixo vertical o número de examinandos das escolas do Estado do Rio de Janeiro. 

É interessante verificar como os alunos se comportam em cada área.  Em Ciências Natureza grande parte dos alunos apresentam entre 10 e 20 acertos, em Ciências Humanas este número já seria entre 11 e 18, em Linguagens e códigos, entre 12 e 24 e em Matemática entre 7 e 15.

A TRI valoriza a coerência nas respostas dos alunos e neste caso quanto maior o número de alunos por acertos maior a variabilidade de respostas, por isso, também existe uma variação muito grande nas notas dos alunos. Analisando as diferentes notas dos alunos do Estado do Rio de janeiro em relação ao número de acertos podemos perceber em muitos casos a grande variação de nota para o mesmo escore. Da mesma forma, surpreende a muitos a mesma nota para uma variação grande do número de acertos. 

 

·         Pontuação mínima e máxima em cada área do conhecimento

Os gráficos abaixo apresentam em cada área do conhecimento em relação ao número de acertos dos alunos do Estado do Rio de Janeiro a maior e a menor notas atribuídas no exame do ENEM 2013.

O INEP espera coerência nas respostas, isto é, o aluno deve acertas as fáceis e as médias e se possível as difíceis, se um aluno acerta questões consideradas difíceis e erra as fáceis, segundo a TRI, não está sendo coerente, é o mesmo que conseguir pular um obstáculo de 1metro e não pular obstáculos de 10 centímetros.

Em cada um dos gráficos acima sinalizo a maior e a menor nota de um aluno com 13 acertos, a diferença em matemática, por exemplo, chega a quase 300 pontos o que num vestibular é muito significativo. Da mesma forma observe que muitos alunos que acertaram até 10 acertos tiraram a mesma nota que os que erraram toda a prova.  

·         Notas Mínimas e Máximas desde 2009.

Interessante também é perceber que independente da prova, a variação da pontuação Mínima e Máxima é pequena ao longo das edições do ENEM.  

 

 

Respondendo a pergunta do início, a sua nota no ENEM não depende exclusivamente do seu número de acertos, mas da sua coerência nas respostas, portanto, se dois candidatos acertam o mesmo número de questões o que for mais coerente nas suas respostas terá a maior nota.  Quanto maior for o número de acertos menor será a variabilidade de respostas e assim menor será a variação da nota.

A sua nota corresponderá ao seu Traço Latente ou à sua Proficiência, que significa o quanto, segundo a métrica do INEP ao utilizar a TRI, o aluno apresenta de conhecimento. 

Este valor intrínseco  pode ser comparado, independente do grupo, do exame e até destes dos dois fatores, se for equilibrado adequadamente.  Mas este é um assunto para outra postagem.