Escolar Documentos
Profissional Documentos
Cultura Documentos
TRI x TCT1
Antes de começar a falar sobre o tema da oficina, é importante refletir sobre como é
possível produzir dados sobre a dinâmica de ensino e aprendizagem. Podem ser
elencados algumas estratégias para buscar refletir o que ocorre nessa relação, tais
como realizar testes, avaliações, exercícios, entrevistas, rodas de conversa, atividades
expositivas. Enfim, há das mais diversas formas de produzir dados que nos possibilitem
expressar em termos objetivos o que ocorre nas unidades escolares e que nos
permitam avaliar se o caminho adotado está sendo eficaz.
Quando se faz esse exercício para refletir sobre a produção desses dados, também
podemos trazer para o centro da reflexão o objeto que estamos medindo. Certo é que
não é um objeto de fácil medição. Não podemos buscar medir essa relação através de
instrumentos como fita métrica, balança ou termômetro. Esses instrumentos prestam-
se muito bem à medição de objetos que podem ser mensurados de forma concreta. Ao
medir a dinâmica de ensino aprendizagem estamos lidando com uma medida abstrata
e são necessários instrumentos de medição indireta. Para essa medição, assim como
ocorre com os que podem ser medidos de forma concreta, são necessários parâmetros
e metodologias que possam ser testados e que garantam a medição conforme
definido.
Agora podemos tratar da Teoria Clássica dos Testes (TCT) e da Teoria de Resposta ao
Item (TRI) tendo bem vivo nas nossas mentes que estamos medindo um traço não
concreto, um traço latente que pode ser medido de diversas formas, no entanto, cada
uma delas tem suas características e suas possibilidades de abordagem pedagógica.
1
Projeto desenvolvido pelo Núcleo de Gestão Por Resultados da SEPLAG na Educação para capacitação
de servidores públicos das secretarias estadual e municipais de educação. São inicialmente 08 oficinas
remotas sobre planejamento e gestão, monitoramento e avaliação.
Agora se chega à prática, que vamos aqui chamar de SAEPE. Aqui os itens validados são
organizados de modo a captar a proficiência dos estudantes dos diferentes níveis da
rede pública estadual, de acordo com a etapa a ser avaliada. São, portanto, incluídos
itens na avaliação que possibilitem medir estatisticamente os estudantes dos diversos
perfis que se encontram na rede ensino. Ao término da aplicação da prova, a
instituição responsável pela elaboração da avaliação fará os cálculos estatísticos e
novamente irá observar os itens que foram utilizados. Caso algum dos itens, que tenha
Assim como fizemos na TCT, vamos trazer uma imagem para representar o
comportamento dos estudantes submetidos a uma avaliação em TRI:
Como foi dito anteriormente, cada um dos itens, para que seja considerado válido,
agregando informações pedagógicas e sendo estatisticamente válido, precisa respeitar
ao menos três parâmetros. Agora vamos tentar entender um pouco o que são esses
parâmetros. Para representá-los, veja a imagem abaixo:
O parâmetro A
(discriminação) do item é
aquele que mede a
capacidade de distinguir
estudantes com níveis
diferentes de habilidades. Ou
seja, separa os estudantes
que sabem daqueles que não
sabem.
O parâmetro B (grau de
dificuldade do item) refere-se
à adequação entre a formulação do item e a capacidade de resposta do aluno. Ou seja,
refere-se ao quão difícil é o item, devendo ser acertado pelo estudante que tem o
domínio no nível no qual foi abordado.
Até agora entendemos um pouco sobre a elaboração dos itens, seus parâmetros e é
ainda interessante conhecer a estrutura do item em TRI. Abaixo é possível observar
essa estrutura básica do item:
Ao elaborar um item, o
especialista da área precisa
respeitar essa estrutura e, ao
mexer com cada uma dessas
partes, os parâmetros do item
podem ser alterados. Por
exemplo, caso o elaborador
altere o suporte, mesmo
tratando da mesma habilidade,
o parâmetro B será o que mais sofrerá alteração. Substituindo o texto por outro mais
complexo, estudantes com o conhecimento mais aprofundado terão condições de
acertar a questão e isso será estatisticamente medido. Outra coisa, ao construir o
item, os distratores precisam considerar raciocínios plausíveis e que correspondam ao
itinerário natural da aprendizagem. Caso haja distratores fora do contexto, o
parâmetro C será alterado e o acerto ao acaso será aumentado.
Agora que entendemos um pouco como são esses dois tipos de teste, vamos
apresentar uma imagem que compara as duas metodologias e, depois disso, vamos
observar como podemos nos apropriar das devolutivas do SAEPE que adotam a TCT e a
TRI.
Primeiro ponto que precisamos mencionar é que, para acesso a esses dados
específicos da escola, é necessário ter o login e a senha da escola. De posse dessa
informação, é necessário acessar o site do SAEPE, no endereço eletrônico abaixo:
https://avaliacaoemonitoramentopernambuco.caeddigital.net/#!/pagina-inicial
Ao observar os dados,
pode-se acessar o
percentual de acerto por
descritor e o total de
acerto da escola. É
fundamental entender
que esse percentual de
acerto relaciona-se
intimamente ao grau de
dificuldade no qual o
descritor foi abordado no
item em TRI. Caso não se tenha acesso a este grau de dificuldade, quaisquer
intervenções pedagógicas poderão ficar prejudicadas. Para provar isso, vamos
observar o comportamento dos descritores em relação ao percentual de acerto da
rede estadual. Abaixo, estão listados a etapa de ensino (9º ano do ensino fundamental
anos finais), os descritores, os percentuais de acerto e o parâmetro B (grau de
dificuldade do descritor no item).
Para que fique claro, quando se fala que o percentual de acerto é em TCT, faz-se isso
porque esse resultado observa que, quanto mais acertos, maior é o percentual
apresentado pela escola/aluno. Ou seja, não se observa a coerência da resposta do
estudante, apenas se ele acertou ou errou (o escore total do teste).
Novamente a escola deve acessar o site do SAEPE, só que agora se deve selecionar até
escola, conforme imagem abaixo:
A imagem a seguir é real e foi ajustada para caber de forma legível aqui. Foram
suprimidos os detalhes que identificariam a unidade escolar e os estudantes, para
evitar exposições desnecessárias. O objetivo aqui é que todos sejam capazes de
compreender como os dados são apresentados e compreendam também as diferenças
entre as formas de devolutiva em TCT e TRI.
Os resultados aqui são detalhados por estudante e o acerto e o erro são observados
por descritor e no total.
Ao lado, o que se
observa são as
proficiências dos
estudantes. Para que
sejam calculadas, há a
necessidade de
observar todos os
detalhes sobre os
quais falamos
anteriormente sobre a TRI.
Quando as devolutivas em TCT e TRI são comparadas, pode-se observar situações que
comprovam que há diferenças significativas entre elas. E essas diferenças sinalizam
que os usos pedagógicos devem ser diversos. Como foi dito, aqui, a sugestão é que a
escola utilize a devolutiva em TRI para intervenções pedagógicas, visto que é mais
completa e suficiente para atuar de modo significativo. Mas esse assunto será tratado
posteriormente. Agora será feito o comparativo entre as duas devolutivas desse
mesmo exemplo:
2
Os dados apresentados são reais e foram suprimidas as informações que possibilitem identificar a qual
escola referem-se, para evitar exposições desnecessárias. O objetivo aqui é utilizar os dados para
compreender a sugestão de estratégia pedagógica que pode ser adotada.
Essas proficiências representam, cada uma delas, a média das proficiências que os
estudantes obtiveram nas últimas avaliações SAEPE. Há, ainda, mais uma informação
que detalha essa informação: os padrões de desempenho, conforme imagem abaixo:
3
Para acesso às faixas de proficiência por etapa e disciplina, acessar o Anexo I.
4
Para acesso à Escala Interativa, acessar http://saepe.caedufjf.net/escalas/ e selecionar a etapa
correspondente.
Para exemplificar, ao
lado, estão
apresentadas as
atividades compatíveis
com estudantes com
proficiência média no
padrão Elementar I, do
Ensino Fundamental
Anos Finais de Língua
Portuguesa.
Para finalizar
Aqui, foram apresentadas informações gerais sobre as duas metodologias avaliativas
(TCT e TRI), além de apresentar um quadro comparativo entre elas. Depois disso, foi
mostrado caminho para acesso às devolutivas do SAEPE em TCT e TRI da escola. Com
essa informação, a escola pode identificar o seu perfil quanto ao padrão de
desempenho Elementar I ao longo dos anos. Foi salientada a importância de focar
nesse perfil de estudantes para minimizar deficiências de aprendizagem que serão
limitadoras do desempenho do estudante nas séries seguintes. Para atuar desse modo,
foram apresentadas as faixas de proficiência das etapas de ensino e a elas foram
relacionadas as informações disponibilizadas pela Escala Interativa. Considerando que
a escala apresenta atividades compatíveis ao nível do estudante de acordo com o perfil
de proficiência e padrão de desempenho, concluiu-se sugerindo que essas sejam
informações que se integrem às estratégias pedagógicas da unidade escolar.