Núcleo de Gestão por Resultados na Educação

Ano 1, nº 3

Recife, 04 de maio de 2020.

COMPARABILIDADE DE RESULTADOS NA TRI:

proficiência e dificuldade da prova

Olá, car@s!

Vamos seguir nas nossas conversas?

Hoje queremos conversar sobre os itens da avaliação externa, como eles se traduzem em proficiência e a
comparabilidade dos exames ao longo dos anos. Então vamos resgatar a pergunta que a Gestora Cíntia
Notaro fez no nosso último encontro:

Provas com níveis diferentes de dificuldade alteram os resultados de proficiência dos avaliados?

Para ser bem sincero, eu já me fiz esse questionamento. Eu achava que, por exemplo, bastava a prova ser
mais fácil para que o desempenho dos estudantes no SAEB ou SAEPE fosse melhor. Bastaria que eles
acertassem mais itens e a proficiência dele seria maior. E você, já pensou ou ainda pensa assim?

Vou fazer mais alguns questionamentos que você, assim como eu, já deve ter se feito:

O que é proficiência?

Como os erros e acertos são considerados para que se chegue à proficiência?

E por último:

Como é possível comparar os resultados ao longo das edições se as avaliações são diferentes?

Bem, para responder a essas e outras perguntas, estamos aqui e tentaremos fazer isso de forma o mais
didática possível.

Vamos começar com o que é proficiência. Entendemos proficiência como a capacidade para realizar algo,
de dominar certo assunto ou ainda de ter aptidão em determinada área do conhecimento. Essa capacidade
é relativa ao indivíduo e é construída nas mais diversas interações que ele tem ao longo da vida.
Por exemplo, alguém que consegue andar de bicicleta desenvolveu habilidades para isso nas suas
interações sociais, e pode-se afirmar que ele se tornou proficiente na “arte do pedal”.

Mas será que todo indivíduo pedala com a mesma competência? Certamente há indivíduos que não
desenvolveram essa habilidade, outros estão se equilibrando, outros já pedalam bem, mas há grupos que
desenvolveram a capacidade de pedalar em níveis desejáveis.
 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

Para continuarmos nossa conversa, vamos propor o seguinte desafio: qual das meninas abaixo sabe
andar melhor de bicicleta?

Já ganhou
Consegue Anda sem as
Já subiu em competições
equilibrar-se em mãos no guidão
uma bicicleta? ciclísticas
uma bicicleta? da bicicleta?
municipais?

ANA Não Não Não Não

BRUNA Sim Sim Não Não
CLARA Sim Sim Sim Sim
DENISE Sim Sim Sim Não

Mesmo sem conhecer as quatro meninas, observando padrão das respostas, percebemos que a maior
probabilidade é a de que CLARA seja a ciclista mais proficiente dentre elas. Do mesmo modo, fica fácil
perceber que ANA, provavelmente, é a que tem menor habilidade para pedalar.

Agora, apenas EDUARDA vai responder:

Já ganhou Já ganhou Já ganhou

Já ganhou
competições competições competições
mundial de
ciclísticas ciclísticas olímpicas de
ciclismo?
municipais? nacionais? ciclismo?

EDUARDA Sim Sim Não Não

O desafio agora é o saber quem seria a ciclista mais proficiente: EDUARDA, desse segundo quadro, ou
CLARA, a melhor ciclista do primeiro?

Se você respondeu CLARA, provavelmente você observou apenas a quantidade de respostas “Sim”, mas
deixou de perceber que o “nível” das perguntas mudou (compare-as e identifique isso). A probabilidade é
 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

de que EDUARDA, por ter ganhado competições municipais e nacionais, já tenha desenvolvido
competência suficiente para superar as três primeiras perguntas da primeira tabela. E, se realmente esses
títulos nacionais não foram obtidos ao acaso, ela seria a mais proficiente dentre todas.

Trazendo um pouquinho para nossa realidade: Observar a quantidade de acertos ou seu percentual é algo
que estamos familiarizados nas nossas avaliações internas. Na imensa maioria delas, definimos a nota dos
estudantes pela quantidade de acertos. Esse tipo de avaliação é muito útil, mas a nota do estudante
dependerá sempre da dificuldade da prova. Provas difíceis diminuirão a média da turma, provas muito
fáceis farão o oposto. A esse tipo de abordagem chamamos de Teoria Clássica dos Testes, ou
simplesmente TCT.

Já quando observamos o “nível” do item e a coerência pedagógica desses acertos, estamos trabalhando
com a Teoria da Resposta ao Item, conhecida TRI. Essa avaliação é bastante útil quando queremos
comparar algo ao longo dos anos ou quando queremos saber o quão proficientes somos em determinada
área.

Sendo mais incisivo: Na TRI, a quantidade de acerto dos nossos estudantes não faz deles mais proficientes
do que os do ano anterior e não é o percentual de acertos que definirá a proficiência do estudante. Afinal,
as perguntas de um ano para outro variam, a dificuldade da prova pode variar, mas não quer dizer que seu
aluno se tornou menos proficiente.

Vamos abordar casos de uma avaliação hipotética do SAEPE:

Agora observe a figura1 a seguir:

1
Imagem adaptada da animação do professor Glauker Amorim, cedida no evento da Disseminação do SAEPE 2019.
 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

Figura 1

Essa imagem nos traz a representação adaptada de uma prova do SAEPE. Nela observamos que há 11 itens
distribuídos ao longo da escala de proficiência em um intervalo de 0 a 5002. Observe os itens
isoladamente, veja que cada um já está estatisticamente posicionado em um local dessa escala. Perceba,
então, que o item mais fácil, entre todos da prova, é o Item 8 e, o mais difícil, o Item 6. O primeiro está no
nível mais elementar da escala, no qual estudantes com proficiência em torno de 160 são capazes de
acertá-lo. Já, no caso do Item 6, o mais difícil do exemplo, apenas estudantes com proficiência em torno
de 430 possuem boa probabilidade de respondê-lo corretamente.

Agora observe os três estudantes que fariam a avaliação. Eles apresentam três níveis de proficiência
diferentes: a estudante de blusa vermelha é uma aluna típica do nível elementar; o garoto, pode-se dizer,
tem nível básico; e a estudante de blusa bege construiu, ao longo de sua trajetória, padrões desejáveis de
desempenho.

Você conseguiria dizer como seria o desempenho de cada um desses três estudantes, considerando que
todas as respostas estivessem coerentes com sua proficiência? Tente fazer isso e veja se sua resposta

2
Essa escala de 0 a 500 corresponde ao SAEPE do 5º e 9ºs anos do Ensino Fundamental e do 3º do Ensino Médio. No caso
do 2º ano do Ensino Fundamental Anos Iniciais, essa escala vai de 0 a 1000.
 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

está de acordo com o que provavelmente ocorreria.

Provavelmente, você pensou que a estudante de blusa vermelha acertaria apenas os itens 8 e 10; que o
garoto acertaria os itens 8, 10, 3, 11, 1 e 4 e erraria os demais; e, finalmente, que a estudante de blusa
bege acertaria todos, exceto o item 6. Se isso ocorresse, poderíamos concluir que a primeira estudante
teria proficiência em torno de 220; o garoto, em torno de 330; e a segunda estudante, por volta de 425.
Se você pensou assim, está de parabéns, já está pegando o jeitinho com a TRI. Deu para ver que não é
coisa de outro mundo?

Agora vamos aplicar uma prova mais fácil para esses mesmos estudantes e ver o que acontece:

Observe a seguir, que os novos itens da prova estão mais deslocados para a esquerda da escala, mas perto
do “0” (zero). A prova, de uma forma geral, é mais fácil que a anterior.

Percebam que essa avaliação também possui 11 itens. Desta vez, o Item 9 é o mais fácil da prova, com
dificuldade em torno de 70, e o Item 7 é o mais difícil, com dificuldade em torno de 425.

Figura 2

Como você imagina que seria o desempenho dos mesmos estudantes da avaliação anterior?

Se os acertos foram coerentes, a garota de blusa vermelha provavelmente acertaria os itens 9, 4, 8, 6 e

 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

10, errando os demais itens; o garoto, além de todos esses que a primeira acertou, acertaria mais os Itens
3, 5, 1 e 11 e erraria apenas os itens 2 e 7, já a segunda garota acertaria todos os itens.

Mas agora vem o X da questão: as proficiências dos estudantes mudariam?

A resposta é não. Apesar de termos visto que a quantidade de acertos foi maior para todos eles, nenhum
deles acertou itens mais difíceis do que os que observamos no exemplo anterior. O comportamento dos
estudantes foi o mesmo: acertaram itens mais fáceis que a suas habilidades e erraram os mais difíceis.

Podemos afirmar que, mesmo que o instrumento tenha sido outro, com questões mais fáceis ou mais
difíceis, com percentuais de acerto maiores ou menores, a proficiência do estudante seria a mesma.

O objetivo da avaliação em TRI é identificar estatisticamente a proficiência do estudante. Se a prova for

fácil ele acertará mais, se a prova for mais difícil ele acertará menos, mas a proficiência dele continuará
a mesma.

Vamos refletir um pouco sobre a função da comunidade escolar. Podemos concordar que é, dentre outras,
contribuir para que o estudante seja cada vez mais proficiente. Um dos caminhos é construir, juntamente
com ele, alternativas para que ele desenvolva as habilidades fundamentais e consolide suas competências.
Dessa forma, teremos cada vez menos estudantes nos níveis mais elementares de aprendizagem. Esses
estudantes são a prioridade de todos nós!

Esse texto teve o objetivo de responder a questão de comparação das avaliações ao longo dos anos, para
isso usamos exemplos hipotéticos que teve como premissa a coerência pedagógica em todas as
situações. Desta forma, estudantes com proficiência mais elevada acertavam todos os itens mais fáceis, já
estudantes nos níveis mais elementares erravam todas as questões mais difíceis. Obviamente, há uma
série de fatores que interferem nessas situações. Sabemos que é possível que estudantes menos
proficientes acertem questões mais difíceis, inclusive, utilizando o chute. Também sabemos que
estudantes mais proficientes podem errar questões mais elementares, mesmo que isso ocorra na hora de
preencher o cartão resposta. No entanto, essas nuances também são verificadas e interpretadas pela TRI.

Esperamos ter contribuído para proporcionar melhor entendimento sobre a comparabilidade na TRI,
 Núcleo de Gestão por Resultados na Educação
Ano 1, nº 3

Recife, 04 de maio de 2020.

principalmente focando nos resultados de proficiência e de dificuldade da prova. Há outros detalhes que
queremos conversar, mas vamos deixar para outro momento.

Vamo-nos despedindo reforçando a importância de que a coerência pedagógica dos acertos (acertar o
mais fácil quando se acerta o mais difícil) é essencial para termos boa proficiência. Por isso, cuidemos para
que a base pedagógica de nossos estudantes esteja fortalecida. E o primeiro passo para isso é focar na
aprendizagem significativa dos estudantes dos níveis mais elementares.

Para finalizar, lanço uma perguntinha para o nosso próximo encontro: Como explicar os casos em que
estudantes com o mesmo percentual de acerto apresentam proficiências diferentes na avaliação SAEPE?

P.S.: Caso você tenha perdido os nossos papos anteriores, acessa aí e abre a pasta 5:

https://drive.google.com/open?id=1omybTnVxZQucLMH-Kq4o41iXh-d7NBrQ

Texto escrito por Eduardo Nascimento - Gestor Governamental

Gerente Geral de Gestão Por Resultados na Educação