A Divulgao dos Resultados das

Avaliaes dos Sistemas Escolares:

limitaes e Perspectivas
Nilma Santos Fontanive*

Resumo

O artigo vai discutir o impacto que os resultados das avaliaes em larga escala podem
ter na prtica docente com vistas a promover ganhos de aprendizagem. Os sistemas de
avaliao de desempenho dos alunos, introduzidos no Brasil h quase duas dcadas,
apesar da enorme quantidade de dados coletados e divulgados, parecem no ter
sido capazes de provocar as mudanas esperadas no cotidiano da relao professoraluno-aprendizagem. So levantadas hipteses de que os professores, coordenadores
pedaggicos e diretores das escolas no compreendam adequadamente as tecnologias
empregadas na avaliao dos estudantes e nos mecanismos e materiais utilizados na
divulgao dos resultados e, assim, no so capazes de orientar a prtica docente
para corrigir os erros e as dificuldades apresentadas pelos alunos.
O artigo tambm faz referncia a algumas iniciativas realizadas por agentes pblicos
da educao para promover melhorias na aprendizagem, mediante a criao de
materiais estruturados para alunos e professores, incluindo questes de avaliao
e exerccios para os alunos. Tais iniciativas podem produzir, a curto e mdio prazos,
impactos positivos no desempenho dos alunos. Discutem-se ainda as condies
para que a avaliao efetivamente possa, em um futuro prximo, promover a
aprendizagem dos estudantes.
Palavras-chave: Avaliao em Larga Escala. Impactos dos Resultados na Sala de
Aula. Apropriao de Resultados pelos Professores.

Presentation of Results from School Systems

Assessments: limitations and perspectives
Abstract

This paper discusses the impact of large scale assessments in the teacher
practice towards promoting learning gains. The assessment systems of
*

Doutorado em Educao, PUC-Rio; Coordenadora de Avaliao em Larga Escala da Fundao Cesgranrio.

E-mail: nilmaf@cesgranrio.org.br

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

84

Nilma Santos Fontanive

cognitive achievement introduced in Brazil about two decades ago apparently

was not able to induce the expected changes in the day-to-day relationship
teacher-student learning, in spite of the enormous quantity of collected and
released data. The paper raises the hypothesis that teachers, pedagogical
counselors and school principals do not understand adequately the
technologies used in student assessments and the materials released with the
result and, in this way, are not capable to guide teachers practice to correct
the mistakes and difficulties presented by the students.The paper also makes
references to some initiatives taken by public agents of education to improve
learning, by creating structured materials for students and teachers, including
assessment items and exercises for students. Such initiatives can produce,
in the short and medium term, positive impacts in student achievement. The
paper discuss yet conditions so that the assessment can affectively, in the
near future, promote student learning.
Keywords: Large scale assessment. Impact of the results in the classroom. Teacher
appropriation of the results.

La Divulgacin de los Resultados de las

Evaluaciones de los Sistemas Escolares:
Limitaciones y Perspectivas
Resumen

El artculo discute el impacto que los resultados de las evaluaciones en larga escala
pueden tener en la prctica docente con el objeto de promover mejora en el aprendizaje.
Parece que los sistemas de evaluacin de desempeo de los alumnos, introducidos
en Brasil hace casi dos dcadas, a pesar de la enorme cantidad de datos recogidos y
divulgados, no fueron capaces de originar los cambios esperados en la relacin cotidiana
profesoralumno-aprendizaje. Se elaboran hiptesis de que los profesores coordinadores
pedaggicos y directores de las escuelas quizs no entiendan adecuadamente las
tecnologas empleadas en la evaluacin de los estudiantes y en los mecanismos y
materiales utilizados en la divulgacin de los resultados y, por eso tal vez no sean
capaces de orientar la prctica docente para corregir los errores y las dificultades que
los alumnos presentan. El artculo tambin se refiere a algunas iniciativas que los
agentes pblicos de la educacin realizaron para mejorar el aprendizaje, mediante la
creacin de materiales estructurados para alumnos y profesores, incluyendo cuestiones
de evaluacin y ejercicios para los alumnos. Tales iniciativas pueden producir, a corto
y medio plazo, impactos positivos en el desempeo de los alumnos. Finalmente se
discuten las condiciones para que la evaluacin efectivamente pueda, en un futuro
prximo, promover el aprendizaje de los estudiantes.
Palabras clave: Evaluacin en Larga Escala. Impactos de los Resultados en el Aula.
Apropiacin de Resultados por parte de los Profesores.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 85

Contextualizao

Os sistemas de avaliao do desempenho de alunos desenvolvidos no mundo

contemporneo, em particular nas duas ltimas dcadas, frequentemente aplicados a
um grande nmero de estudantes e, por essa razo, chamados de sistemas de avaliao
em larga escala, tm assumido prioritariamente um carter diagnstico. Eles podem
ser mais bem definidos como sistemas de informaes consistentes, confiveis, vlidos
e comparveis, voltados, em uma primeira instncia, para fornecer s autoridades
educacionais e aos demais interessados respostas sobre a qualidade da educao
oferecida aos alunos pelas naes, estados, municpios ou determinada rede escolar.
Os sistemas de avaliao, em larga escala, mesmo com feies prprias em cada
local de aplicao, em geral adotam um programa de testes cognitivos, externos
escola, associados a outros instrumentos que buscam identificar os contextos intra e
extraescolares nos quais a educao se realiza. As avaliaes em larga escala so bastante
diferentes das prticas avaliativas realizadas pelos professores no mbito de uma sala de
aula, pois, no s abrangem um grande nmero de alunos de diferentes sries ou anos
escolares, como tambm, precisam apresentar uma grande quantidade de questes para
garantir a validade curricular, ou seja, que a avaliao abranja os principais contedos
ensinados. Esses sistemas contam ainda com novas teorias e prticas de medidas
educacionais que conjugam mtodos de coleta de dados e diferentes maneiras de julgar
sua qualidade, de um lado, e se apoiam no uso de modelos matemticos e estatsticos
complexos, de outro. Tais especificidades trouxeram para a rea da Avaliao Educacional
o grande desafio de buscar formas eficazes de divulgao dos resultados encontrados,
uma vez que as tecnologias empregadas no so do senso comum dos professores, dos
demais membros da comunidade escolar e da sociedade em geral.
Considere-se que, no cotidiano da escola, o professor avalia os alunos da sua turma,
alunos, que ele conhece, com provas ou outros instrumentos que ele elabora, tendo como
referncias o programa de ensino que ele cumpriu e os materiais didticos que selecionou
para criar as experincias de aprendizagem na sala de aula. Assim, quando o professor
atribui um grau ou um conceito a um aluno particular, pode avaliar com relativa preciso o
que aquele aluno sabe, que habilidades adquiriu, o que ele aprendeu ou deixou de aprender.
Portanto, a nota ou conceito atribudo aos alunos tem, para esse professor, um significado
prprio, particular que fruto do domnio do seu processo de trabalho como um todo. Se,
por hiptese, esse resultado, nota ou conceito, fosse apresentado a um professor de outra
escola, essa nota ou conceito s poderia ser bem interpretado, caso esse professor tivesse
acesso s questes da prova ou aos outros instrumentos aplicados, porque o significado
dos resultados dependem do conhecimento do que foi utilizado para obt-los.
Outro aspecto a considerar quanto ao conhecimento preciso dos resultados
das avaliaes de desempenho refere-se ao uso desses resultados para fornecer
feedbacks aos alunos e propiciar ganhos de aprendizagem. No cho da escola, a
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

86

Nilma Santos Fontanive

interao professor-aluno possibilita, no s, que ele selecione variados instrumentos

de avaliao - provas, trabalhos, portflios, apresentaes orais, entre outros - como
tambm orienta a seleo dos recursos didticos mais adequados para superar as
dificuldades e corrigir as eventuais lacunas de aprendizagem encontradas.
Embora com as limitaes inerentes s suas caractersticas e aos seus propsitos,
os sistemas de avaliao em larga escala popularizaram-se no mundo e tambm no
Brasil, a ponto de poder-se afirmar que, no sculo XXI, poucos so os pases, estados
ou municpios que deixaram de desenvolver e aplicar avaliaes abrangentes do
desempenho dos seus estudantes.
Apresenta-se como exemplo dois grandes sistemas de avaliao em larga escala:
o Sistema de Avaliao da Educao Bsica- SAEB/Prova Brasil e o Programa
Internacional de Avaliao de Estudantes - PISA.
O SAEB, aplicado pela primeira vez em 1995 pelo Instituto de Estudos e Pesquisas
Educacionais Ansio Teixeira- INEP/MEC, adotando as modernas tcnicas de obteno
e anlise dos desempenhos dos alunos, produziu escalas de proficincias em Lngua
Portuguesa e em Matemtica, comparveis ao longo de todos esses anos, permitindo
assim o acompanhamento da evoluo do desempenho dos alunos brasileiros. (KLEIN;
FONTANIVE, 1995; FONTANIVE, 1997). O SAEB utiliza amostras de alunos de escolas
pblicas e particulares do Pas e complementado, desde 2005, pela Prova Brasil, aplicada
censitariamente a estudantes de escolas pblicas brasileiras (KLEIN; FONTANIVE, 2009)
Ambos os Sistemas de Avaliao utilizam modelos estatsticos da Teoria da
Resposta ao Item (TRI) para obteno de escalas de desempenho. Essas escalas so
invariantes - exceto pela escolha da origem e do intervalo de medida - e ordenam
os desempenhos dos alunos do menor para o maior em um continuum.
Em 1997, as distribuies de proficincia, tanto em Lngua Portuguesa como em
Matemtica, da 8 srie do Ensino Fundamental de 8 anos (hoje 9 ano do Ensino
Fundamental de 9 anos) tiveram suas mdias arbitradas em 250 e seus desvios
padres em 50. Os pontos interpretados das escalas do SAEB/Prova Brasil, at
hoje, tm valores numricos compreendidos entre 125 e 425, com intervalos de 25
pontos, meio desvio padro. Os pontos das escalas so interpretados em termos
das habilidades e conhecimentos que os alunos, em geral, dominam quando suas
proficincias esto situadas em torno desses pontos das escalas. A interpretao
feita analisando-se as respostas dadas pelos alunos aos itens de teste aplicados que
discriminam os desempenhos em cada um desses pontos da escala. (KLEIN, 2005).
importante assinalar que as escalas do SAEB, at sua ltima edio em 2011,
apresentavam as seguintes propriedades:
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 87

so comuns aos anos e sries avaliadas para cada componente curricular;

a interpretao dos pontos das escalas so cumulativas, ou seja, os alunos
posicionados em um ponto em geral dominam as habilidades descritas
nos pontos anteriores. Assim, quanto maior o ponto da escala, melhor o
desempenho dos alunos nele posicionados.
Os pontos ou nveis como o 125, 150, 250, por si ss no determinam o significado
da aprendizagem demonstrada pelos alunos, da mesma forma que a nota 7 ou o
conceito B s fazem sentido para o professor que elaborou as questes, aplicou-as
e corrigiu as provas. Entretanto, em uma avaliao em larga escala como o SAEB/
Prova Brasil faz-se necessrio utilizar uma quantidade considervel de itens em cada
componente curricular, ano/ srie e, por essa razo, pouco prtico apresent-los
um a um para explicar os resultados obtidos.
Visando a facilitar a compreenso desses resultados, desenvolveu-se, desde
1995, uma metodologia de interpretao de escala baseada em dois procedimentos:
1. Identificao dos nveis ncora da escala
Deve-se acrescentar que a adoo da Teoria da Resposta ao item permite
ao avaliador colocar em uma mesma escala os itens de teste utilizados na
avaliao de uma disciplina e o desempenho dos alunos que participaram
daquela avaliao. Para a interpretao das escalas obtidas so selecionados
os itens que se posicionam em um determinado nvel (ou ponto) da escala.
A seleo desses itens para um nvel da escala feita a partir de critrios
previamente definidos (KLEIN, 2005)1.
2. Apresentao dos itens ncora especialistas das reas curriculares avaliadas
para que eles interpretem o que os alunos sabem, so capazes de fazer ou
que habilidades demonstraram possuir para acertar aqueles itens.
Os especialistas tambm recebem os resultados estatsticos obtidos pelos itens
para analisar seus parmetros, tais como ndices de dificuldade, de discriminao,
os coeficientes bisseriais e o ajuste das curvas de informao do item obtidas pela
TRI. Os especialistas podem ento apreciar dificuldade de cada item, tipos de erros
mais frequentemente cometidos pelos alunos, analisar a atrao de cada uma das
alternativas, entre outros comportamentos que os itens apresentam.

Nota Tcnica: Um item ncora em um nvel

se o nmero de alunos no ponto que respondeu ao item maior que 50. Esse valor
arbitrrio e seu uso evita concluses com poucas observaes.

O percentual de acerto do item nos pontos anteriores menor que 65%;

O percentual de acerto do item no ponto considerado e nos pontos acima maior que 65%;

A curva tem bom ajuste.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

88

Nilma Santos Fontanive

O PISA avalia, desde 2000, o desempenho de jovens de 15 anos dos pases

membros da OCDE e de outros pases convidados. So avaliadas as disciplinas de
Matemtica, Cincias e Leitura, a cada 3 anos, sendo que na sua ltima edio em
2009, contou com a participao de 65 pases.
Para facilitar a interpretao dos resultados, o PISA estabeleceu em
cada ciclo de avaliao vrios nveis de desempenho baseados em alguns
princpios estatsticos (OCDE: PISA Results, v. 1). A interpretao dos nveis
permite posicionar o desempenho dos estudantes e descrever o que so
capazes de fazer.
A ideia principal das avaliaes em larga escala, como o SAEB e o PISA, saber
como est o sistema educacional de um pas e, de outros estratos de interesse, e
no avaliar, classificar, aprovar ou promover indivduos em particular.
O PISA tambm apresenta os resultados em escalas de habilidades com a
pontuao que delimita os nveis de proficincia definido em cada um dos trs
domnios avaliados Leitura, Matemtica e Cincias. Os nveis vo de 1 a 6, nas 3
reas, Leitura, Matemtica e Cincias.
Em avaliaes de larga escala, como o caso do PISA que envolve pases
em diferentes estgios de desenvolvimento social e educacional, previsvel
que a distribuio das proficincias dos diferentes pases varie muito. Em
qualquer das trs reas, considera-se que os estudantes abaixo do nvel 1
de proficincia no so capazes de executar as tarefas mais simples que a
avaliao solicita.
O Brasil, at o ano de 2006, evitou definir os pontos de proficincias considerados
adequados nas duas disciplinas nos anos e sries escolares avaliadas. A partir de
ento, surgem duas iniciativas para definir padres de qualidade para a Educao
Bsica: o Movimento Todos pela Educao e o ndice de Desenvolvimento da
Educao Bsica IDEB.
O Movimento Todos pela Educao, criado em 2006 uma aliana de
representantes da sociedade civil, da iniciativa privada, organizaes sociais,
educadores e gestores pblicos de Educao que tem como objetivo garantir
Educao Bsica de qualidade para todos os brasileiros at 2022, bicentenrio
da independncia do Pas. O Movimento Todos Pela Educao definiu os
pontos das escalas recomendados para as trs sries avaliadas pelo SAEB
apresentados na tabela abaixo.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 89

Tabela 1 Pontos das Escalas Recomendados pelo Movimento Todos Pela Educao
Srie

Lngua
Portuguesa

Matemtica

4 srie

200

225

8 srie

275

300

3 srie EM

300

350

Fonte: Todos Pela Educao.

O ndice de Desenvolvimento da Educao Bsica IDEB tem o objetivo de medir
qualidade de cada escola e de cada rede de ensino. O indicador calculado com
base no desempenho dos estudantes no SAEB/Prova Brasil e em taxas de aprovao.
Assim, para que IDEB de uma escola ou rede pblica cresa preciso que o aluno
aprenda, no repitao ano e frequente a sala de aula.
Para que pais e responsveis acompanhem o desempenho da escola de seus
filhos, basta verificar o IDEB da instituio pblica que apresentado numa escala
de zero a dez. Da mesma forma, gestores acompanham o trabalho das secretarias
municipais e estaduais pela melhoria da educao. O ndice medido a cada dois
anos e o objetivo que o Pas, a partir do alcance das metas, tenha IDEB 6 nos
anos iniciais em 2022 correspondente qualidade do ensino mdia da OCDE.
Na ltima dcada, o Brasil assistiu ao crescimento da aplicao de avaliaes
do desempenho dos alunos nas principais redes pblicas e particulares de estados
e municpios. Inicialmente, a maioria dessas avaliaes possuiu um carter
independente, ou seja, obtiveram e descreveram seus resultados sem referncia
avaliao nacional SAEB/Prova Brasil. Muito embora as avaliaes aplicadas
permitiram aos gestores das redes determinar a qualidade da aprendizagem dos seus
alunos, faltou a elas a possibilidade de relacionar esses desempenhos com aqueles
obtidos pelos alunos brasileiros, prejudicando, em uma certa medida, o alcance das
anlises realizadas. Acrescente-se ainda que as referidas avaliaes, de uma maneira
geral, incidiram sobre sries/anos escolares distintos daqueles avaliados pelo SAEB/
Prova Brasil e tambm no utilizavam as tecnologias de obteno e descrio de
escalas de proficincias, impedindo o acompanhamento da evoluo do desempenho
dos alunos e, tambm a avaliao do impacto da adoo de polticas e programas
de melhoria da qualidade do ensino-aprendizagem ao longo dos anos.
Entretanto, todo o esforo que os gestores das redes fizeram para implementar
seus sistemas de avaliao foram muito importantes uma vez que contriburam
para colocar a avaliao na agenda de discusso e preocupao no Pas e ajudaram
a criar uma cultura e uma conscincia avaliativas.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

90

Nilma Santos Fontanive

Como consequncia da multiplicao dos sistemas de avaliao, associado

popularizao do SAEB/Prova Brasil, assiste-se, nos dias atuais, um crescimento do
nmero de estados e municpios que, graas aos acordos de cooperao tcnica
realizados com o INEP/MEC, obtm itens calibrados nas escalas do SAEB e, desse
modo, colocam os resultados dos seus alunos nessas escalas, ampliando o escopo
das avaliaes do desempenho escolar realizadas.
Analisando-se a evoluo do desempenho dos alunos na srie histrica do
SAEB/Prova Brasil, no se constata grandes ganhos de aprendizagem nos anos /
sries escolares e disciplinas avaliadas, apesar de estarem disponveis e divulgados
tantos resultados do desempenho de alunos em todo o Pas. Uma pequena melhoria
de aprendizagem j se verifica atualmente no 5o ano do E.F. Permanece ento a
indagao do porqu do pouco impacto das avaliaes nas salas de aula e coloca-se
como a premente necessidade de fomentar pesquisas em duas direes. A primeira
seria investigar as formas de apresentao dos resultados s escolas visando
identificar como esses resultados esto chegando aos professores e demais membros
da comunidade escolar, se, por exemplo, eles so efetivamente compreendidos e
capazes de orientar processos mudanas na prtica pedaggica. A outra direo
da pesquisa seria verificar quais so os impactos que os resultados das avaliaes
em larga escala tm provocado na formao inicial e continuada dos professores,
coordenadores pedaggicos e diretores das escolas.

Estratgias da Apresentao dos resultados das

Avaliaes de Sistemas Escolares Algumas Limitaes

Desde a divulgao dos resultados do primeiro SAEB, realizado em 1995, os

pesquisadores tiveram que enfrentar o desafio de divulg-los de maneira que eles
pudessem ser compreendidos pela comunidade escolar, pais e a todos os interessados
em conhecer os nveis de desempenho de uma determinada populao de alunos.
As escalas de proficincias foram divulgadas e, os pontos descritos, foram acompanhados
de exemplos de itens demonstrativos do desempenho dos alunos nesses diferentes pontos.
Apesar do esforo em traduzir pedagogicamente os resultados encontrados, as escalas
no foram bem compreendidas pela comunidade escolar. Acredita-se que os professores
tiveram dificuldades em transpor as descries das proficincias para sua prtica cotidiana,
associando as habilidades apresentadas nos pontos das escalas aos enunciados dos objetivos
dos seus programas de ensino, to familiares para eles.
Essa afirmao pode ser ilustrada com os exemplos apresentados a seguir,
nos quais algumas descries das habilidades do ponto 125 da escala de Lngua
Portuguesa e do 150 da escala de Matemtica do SAEB foram selecionadas para
subsidiar a discusso que est sendo proposta.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 91

Quadro 1 Escala do SAEB Nvel 125

A partir de textos curtos, como contos infantis, histrias em quadrinhos e convites,
os alunos do 5 e da 9anos do Ensino Fundamental:
125

localizam informaes explcitas que completam literalmente o enunciado da questo;

inferem informaes implcitas; reconhecem elementos como o personagem principal;
interpretam o texto com auxlio de elementos no-verbais; identificam a finalidade
do texto; estabelecem relao de causa e consequncia, em textos verbais e noverbais e conhecem expresses prprias da linguagem coloquial.

Fonte: Escola de lngua portuguesa do SAEB.

As habilidades descritas informam o que os alunos demonstraram saber fazer
quando apresentados aos gneros literrios especificados: contos infantis, histrias
em quadrinhos e convites. Eles deveriam ser capazes de, por exemplo, de reconhecer
o personagem principal de um conto infantil ou de uma histria em quadrinhos. Essa
uma habilidade que o professor trabalha frequentemente nas suas aulas quando,
utilizando os materiais ou livros didticos, explora a histria com perguntas do tipo:
quem o personagem principal da historia? Como ela/ele se chama? Igualmente, o
professor costuma ter como objetivo do ensino das habilidades de leitura induzir o aluno
a identificar a finalidade do texto (para que o texto serve? Para convidar as pessoas a
uma festa de aniversrio, por exemplo), ou ainda, em uma histria infantil conhecida
como a do chapeuzinho vermelho trabalhar as relaes de causa e consequncia, tais
como: Porque o lobo vestiu-se com as roupas da vov? O que ele pretendia? Porque a
chapeuzinho desconfiou que no era a vov? O que ela fez? E assim por diante.
Na disciplina matemtica o ponto 150 da escala apresenta a descrio das
seguintes habilidades:
Quadro 2 Escala do SAEB Nvel 150
Os alunos do 5 e do 9anos do Ensino Fundamental:
150

resolvem problemas envolvendo adio ou subtrao, estabelecendo relao entre

diferentes unidades monetrias (representando um mesmo valor ou numa situao de
troca, incluindo a representao dos valores por numerais decimais); reconhecem o valor
posicional dos algarismos em nmeros naturais e localizam nmeros naturais (informados)
na reta numrica; leem informaes em tabela de coluna nica e identificam quadrilteros.

Fonte: Escala de matemtica do SAEB.

A anlise do trecho apresentado conduz a interpretaes bastante claras dos conceitos e
operaes matemticas, em geral, dominadas pelos alunos cujos desempenhos posicionamEnsaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

92

Nilma Santos Fontanive

se no nvel 150 da escala. Eles sabem resolver problemas com adio e subtrao em
situaes que apresentem unidades monetrias incluindo as operaes com centavos
(numerais decimais), conhecem o valor de posio de nmeros naturais e localizam esses
algarismos em uma reta numrica. Dada uma tabela de coluna nica, os alunos so capazes
de extrair as informaes solicitadas. Na rea de geometria os alunos so capazes de
identificar o quadriltero entre formas geomtricas apresentadas na questo.
A escala de matemtica foi descrita em 13 nveis do 125 a 425 e a de Lngua
Portuguesa apresenta 11 nveis do 125 a 375. As descries das habilidades de cada
um desses nveis podem ser encontradas em www.inep.gov.br.2
Como os dois exemplos mostram, as habilidades descritas nos nveis das duas escalas
utilizam linguagem clara e cujos significados so bem prximos dos enunciados dos
objetivos instrucionais encontrados nos programas de ensino, materiais e livros didticos.
A maioria dos materiais de divulgao dos resultados dirigidas comunidade
escolar, divulgam alguns exemplos de itens representativos dos pontos das escalas.
Esses itens, em geral acompanhados das suas estatsticas, procuram mostrar para os
interessados a habilidade requerida do aluno para que ele acerte o item. Alm das
estatsticas, frequente a apresentao de comentrios pedaggicos, explicaes
da soluo do item e ainda anlise das respostas erradas e correo dos erros.
Figura 1 - Exemplo de item de Cincias SIADE 2009

Fonte: Sistema de Avaliao do Desempenho das Instituies Educacionais

do Distrito Federal (SIADE) 2009.
http://portal.inep.gov.br/web/prova-brasil-e-saeb/prova-brasil-e-saeb

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 93

Nesse outro exemplo, apresentado a seguir, os autores do material de divulgao

optaram por apresentar as estatsticas completas obtidas pelo item com a adoo
da Teoria Clssica dos Testes (TCT) e da Teoria da Resposta ao Item (TRI), incluindo
tambm comentrios e anlises da resposta correta e dos erros. Em um primeiro
momento, o pblico-alvo dos materiais estranharam a complexidade dessas
estatsticas e tiveram dificuldade em compreend-las e aceit-las.
No entanto, apesar da resistncia inicial, os responsveis por essas avaliaes
continuaram a apresent-las, acreditando que com essa deciso estavam
contribuindo para formar uma cultura de avaliao nos professores, coordenadores
pedaggicos e gestores de redes. Houve tambm o esforo de promover inmeros
seminrios e jornadas de capacitao, anlise e discusso dos resultados.
Figura 2 - Exemplo de item de Matemtica Rio Grande do Sul 2009

Tema: Nmeros e operaes

Habilidade: Determinar o resultado de uma adio com ou sem reagrupamento (reserva).
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

94

Nilma Santos Fontanive

Continuao
Comentrios pedaggicos:
Para resolver adequadamente este item, os alunos precisariam conhecer as regras do
sistema de numerao decimal e o algoritmo da adio, fazendo reagrupamento da
ordem das unidades para a ordem das dezenas. Os alunos que acertaram esta questo
marcaram como resposta o nmero 571.
Este item foi relativamente difcil, pois menos da metade dos alunos avaliados
o acertaram (46%). Alm da necessidade de reagrupar as unidades, o fato
de as parcelas terem quantidade diferente de ordens pode ter aumentado o
grau de dificuldade.

524
+47
994

Os alunos que marcaram o nmero 994 como resposta devem ter armado a conta de forma
equivocada, como mostrado ao lado. Essa alternativa incorreta foi escolhida por 22% dos
alunos. 19% dos alunos testados marcaram o nmero 561 como resultado da operao e
devem ter armado corretamente a conta, mas quando reagruparam as unidades (4u + 7u
= 11u = 1d + 1 u), encontraram uma unidade solta, mas esqueceram de somar a dezena
formada s j existentes nas parcelas .
Houve uma boa correlao entre o desempenho no teste e o acerto no item.
A curva de informao do item mostrada na figura revela que o item posiciona-se no nvel
225 da escala. Aproximadamente15% dos alunos esto acima do nvel 225 nessa escala.

Fonte: Projeto de Avaliao de Leitura e Escrita e Matemtica do Ensino

Fundamental no Rio Grande do Sul.
Entretanto, mesmo depois de quase duas dcadas de divulgao das escalas
e, apesar da grande quantidade de material produzido, tanto pelos tcnicos
do INEP/MEC, secretarias de educao e equipes das Instituies responsveis
pelas avaliaes nos diferentes nveis de abrangncia, constata-se que os
resultados das avaliaes parecem no ter sido adequadamente incorporados
prtica docente e capazes de promover a melhoria da aprendizagem dos
alunos da Educao Bsica, no Brasil.
Em outras palavras, as tentativas de simplificar informaes complexas, tanto
nos materiais de divulgao de variados formatos, como, manuais, livretos, boletins,
entre outros, quanto na realizao de numerosos seminrios, videoconferncias,
jornadas de capacitao de professores, coordenadores pedaggicos e gestores,
parecem no ter sido bem sucedidas, pois no provocaram os impactos esperados
na qualidade e equidade da educao oferecida s crianas e aos jovens brasileiros.
claro tambm que a melhoria da aprendizagem dos alunos est condicionada
a outros fatores, e que a divulgao dos resultados das avaliaes tem um papel
relativo no conjunto das prticas educacionais, no entanto, seria razovel esperar
que o desempenho dos alunos brasileiros apresentasse uma evoluo mais positiva
em quase duas dcadas de avaliao sistemtica.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 95

provvel que o pouco impacto verificado seja explicado, em uma primeira

anlise, pela distncia entre resultados obtidos nacionalmente, como os do SAEB,
ou por secretarias estaduais e municipais de educao e a sala de aula ou o cho
da escola, a despeito das inmeras iniciativas fazer os resultados chegarem aos
professores e demais membros da comunidade escolar, como apontado nos
pargrafos anteriores. Em resumo, tem-se a impresso de que o professor no se
identifica com esses resultados ou no v sua prtica pedaggica neles representada.

O Uso das avaliaes de desempenho para

promover ganhos na aprendizagem dos alunos

Nos meados do anos 60, introduziu-se no cenrio pedaggico o conceito de avaliao

formativa desenvolvido por Scriven (1967) e com a funo de constatar o que est sendo
aprendido mediante coleta de informaes feita pelo professor de forma contnua, com
diversos procedimentos metodolgicos e julgar o grau de aprendizagem, ora em relao
a todo grupo-classe, ora em relao a um determinado aluno em particular.
A avaliao formativa, na sua concepo original, no tem como objetivo
classificar, selecionar, aprovar ou reprovar o aluno, mas adequar o processo de
ensino ao grupo e ou queles alunos que apresentam dificuldades, tendo em vista
o alcance dos objetivos propostos.
Para que o aluno seja imediatamente informado dos seus erros e acertos, o professor,
aps a aplicao dos testes, de exerccios, de questes construdas pelos alunos (abertas)
deve corrigir as questes com a classe, utilizando variadas formas de estimular a
participao de todos os alunos. Os alunos podiam ser convidados a apresentar oralmente
como chegaram resposta ou irem ao quadro para demonstrar como resolveram a questo.
O professor deve aproveitar os erros mais frequentes para promover o
reensino dos aspectos da matria no dominados pela maioria dos alunos.
explicando o significado dos erros.
H bastantes evidncias na literatura sobre a importncia do professor corrigir
os erros no momento em que eles so cometidos, pois a motivao ativada quando
o aluno corrige suas respostas logo aps ter realizado o esforo para resolver as
questes ou realizar o trabalho, Pesquisa realizada por Rosenshine e Stevens, em
1986, citada por Bressoux ( 2003 p.35) aponta que os professores eficazes corrigem
imediatamente os erros dos alunos a fim de evitar que eles se tornem sistemticos.
Num estudo mais recente feito por Frome, Lasater e Cooney (2005), os
autores usaram informaes sobre caractersticas dos professores de escolas
secundrias e as ligaram com o desempenho dos alunos da 8 srie em avaliao
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

96

Nilma Santos Fontanive

na Gergia. Analisando dados da experincia e titulao e da prtica docente eles

encontraram caractersticas dos professores e das salas de aula de Matemtica que
se correlacionavam com melhores desempenhos.
motivao do professor e expectativas positivas de sucesso dos alunos;
prtica instrucional tal como trabalho em grupo em situaes desafiadoras,
apresentao oral e relatrios escritos em projetos de Matemtica, explicaes da
soluo de problemas para a classe estavam correlacionados com altos desempenhos;
participao em atividades de monitoramento, capacitao e induo de
novas experincias de aprendizagem nas escolas esto correlacionadas com
mais altos escores alcanados pelos alunos em Matemtica.
Nos ltimos anos, algumas secretarias de educao vm produzindo materiais
didticos para professores e alunos, estruturados sob a forma de livros para o
professor e cadernos/ folhas de exerccios para os alunos. Tais materiais no s
unificam e sequenciam os programas de ensino, como tambm propem questes/
sugestes de atividades de avaliao da aprendizagem.
Tais iniciativas, se bem aceitas e usadas pelos professores de uma rede de
ensino, tm grande potencial de provocar mudanas positivas no desempenho dos
alunos, desde que o professor saiba usar os resultados das avaliaes e resoluo
de exerccios de maneira formativa para promover a aprendizagem.
Essas iniciativas so relativamente recentes para que possam ser observados
aumentos significativos na aprendizagem dos alunos. Entretanto de suma
importncia que essas iniciativas continuem e se multipliquem no Pas e que os
professores estejam capacitados em todos os nveis - para usarem os resultados
das avaliaes, tanto as em larga escala quanto as do dia a dia, para melhorarem o
desempenho dos alunos fazendo efetivamente um uso formativo dos seus resultados,
Van Haneghan (2009) chama a ateno para que as informaes sobre as
avaliaes sirvam para facilitar a aprendizagem. O conjunto de escores numricos
sem referncia aos conceitos ou procedimentos sobre o que os alunos aprenderam
no prov informao adequada para relacionar a avaliao com a aprendizagem.
Se o professor no tem o conhecimento conceitual para interpretar a avaliao,
ele incapaz de determinar como aquela avaliao pode ajudar o aluno a aprender.
As iniciativas de fornecer feedbacks aos alunos sobre os resultados da avaliao
e tambm disponibilizar materiais didticos para alunos e professores so bastante
recentes no Brasil e, ainda no h evidncias conclusivas sobre o impacto desses
programas na melhoria do desempenho dos alunos.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 97

Seria importante direcionar pesquisas para estudar o efeito do uso das avaliaes
externas na evoluo do desempenho dos alunos.
No Brasil so poucas as pesquisas que procuram ligar prtica docente a melhoria
do desempenho dos alunos, medido por avaliaes externas. Essa no uma rea
de fcil investigao, pois exige o uso de instrumentos variados que requerem um
grande investimento de tempo para desenvolv-los e valid-los, treinar pessoas
para aplic-los, analisar e consistir os bancos de dados.
Essas pesquisas que procuram relacionar a qualidade da prtica docente e o
desempenho dos alunos so tambm difceis de conduzir, pois de acordo com Braun
(2004) difcil isolar o efeito da instruo do professor dos outros efeitos no nvel da
sala de aula, como clima, influncia dos pares, disponibilidade de livros e outros materiais
didticos e outros fatores extraescolares que esto fora do alcance do professor.
Por outro lado investigar a relao entre o efeito do professor na aprendizagem de
um grupo de alunos bastante complexo do ponto de vista do desenho metodolgico
da pesquisa. Precisa-se contar com uma medida de desempenho de entrada, os fatores
extraescolares, como as caractersticas das famlias, ou a pobreza, devem ser controlados,
os alunos precisam permanecer um bom tempo com o mesmo professor e necessrio
contar dados longitudinais de desempenho dos alunos nos anos focalizados no estudo.

Concluses

O primeiro aspecto a ser discutido o que diz respeito nfase que deve ser dada
pelos programas de capacitao docente ao domnio da matria, investindo fortemente
no ensino dos contedos dos programas das disciplinas da Educao Bsica e garantindo
que os professores efetivamente os aprendam. Para tal, os programas devem ser
relativamente longos, sistemticos e apresentar mecanismos de avaliao frequentes dos
professores, aplicando testes, exerccios e ou trabalhos sobre os contedos ensinados.
importante que os programas de capacitao criem tambm as condies de reforo
para os professores que no alcancem os nveis adequados de aprendizagem.
Da mesma forma, importante ensinar o professor a transpor os contedos aprendidos
para seu dia a dia na sala de aula, criando situaes dinmicas de aprendizagem e, para isso,
os programas de melhoria da qualidade docente devem desenvolver materiais de formatos
variados, como roteiros, cadernos de exerccios para o aluno, Dvds com simulaes de
situaes concretas e como o professor deve atuar na sala e na escola. Esses Dvds, alm
de demonstrarem o ensino de aspectos crticos do ensino dos contedos, podem tambm
abordar questes sobre indisciplina, falta de motivao e violncia, dinmica do trabalho em
grupos cooperativos, entre outros. possvel tambm, nos dias atuais, usar o computador para
manter o professor em uma rede de comunicao entre os consultores e coordenadores das
capacitaes e com os demais colegas do curso, com plataformas de educao a distncia.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

98

Nilma Santos Fontanive

O acompanhamento do desempenho dos alunos deve ser realizado

frequentemente e deve ser fornecido ao professor um banco de questes de avaliao
formativa para serem aplicadas nos alunos. H experincias no Brasil, criada pelo
INEP que disponibilizou no seu Portal questes de alfabetizao que os professores
e escolas podem aplicar para acompanhar a aprendizagem dos alunos. No seria
impossvel, portanto, criar e atualizar um banco de questes das disciplinas do Ensino
Fundamental e Mdio calibrados nas escalas do SAEB e coloc-las disposio
das escolas e dos professores. importante por outro lado, ajudar ao professor a
interpretar os resultados obtidos e os programas de capacitao tm que ensinar
aos professores a dominar a tecnologia de avaliao e de interpretao de escalas
de proficincias, empregada com sucesso no Brasil desde 1995.
O acompanhamento do desempenho dos alunos no pode, por outro lado,
dispensar medidas de aprendizagem externas e, assim, os programas de capacitao
precisam criar ou aproveitar mecanismos de avaliao externos s escolas.
Por fim, sugere-se o debate sobre dois aspectos importantes e que o Brasil precisa
desenvolver e divulgar tecnologias apropriadas.
O primeiro trata dos mecanismos de monitoramento dos programas de
capacitao dos professores na sala de aula e nas escolas, que tenham caractersticas
de controle da efetividade docente e de apoio para as dificuldades encontradas.
A formao, a superviso e o acompanhamento desse profissional altamente
especializado um desafio que precisa ser enfrentado em conjunto com as
Universidades, o Ministrio de Educao e Secretarias de Educao.
A ltima questo levantada para o debate diz respeito carreira docente
sugerindo que, os estudos que esto hoje na agenda do Ministrio de Educao e
do Conselho Nacional de Secretrios de Educao incluam, na avaliao docente,
para admisso ou promoo na carreira, uma parcela varivel da remunerao, alm
da titulao, anos de servio, aprovao em exames, o desempenho dos alunos.
Para concluir retomam-se as recomendaes do Relatrio McKinsey, que estudou os
melhores sistemas educacionais do mundo e aqueles que estavam situados nas primeiras
posies apontaram que para garantir altos desempenhos dos alunos deve-se:
atrair as pessoas certas para a carreira docente;
transform-las em instrutores efetivos;
garantir que a escola e o sistema sejam capazes de fornecer a melhor instruo
possvel para cada aluno.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

A Divulgao dos Resultados das Avaliaes dos Sistemas Escolares: limitaes e Perspectivas 99

Referncias

BRESSOUX, P. As pesquisas sobre o efeito escola e o efeito professor. Educao

em Revista, Belo Horizonte, n. 38, dez. 2003.
BRAUN, H. Value-added modeling: What does diligence require? Princeton, N.J:
Educational Testing Service, 2004.
FONTANIVE, N.S. Avaliao em larga escala no Brasil: Sistema Nacional de
Avaliao da Educao Bsica (SAEB/95). In: BOMENY, HELENA. (Org.). Avaliao
e determinao de padres na educao latinoamericana. Rio de Janeiro:
Fundao Getlio Vargas/Preal,1997.
FROME, P.; LASATER, B; COONEY, S. Well-qualified teacher and high-quality
teching: are they the same? Atlanta, GA: Southern Regional Educational Board,
Research Brief, 2005.
FUNDAO CESGRANRIO. Relatrio Pedaggico do SIADE, Cincias e Cincias da
Natureza. Rio de Janeiro: Cesgranrio, 2009.
______. Avaliao de Leitura, Escrita e Matemtica do Ensino Fundamental do
Rio Grande do Sul. Relatrio Pedaggico. Rio de Janeiro: Cesgranrio, 2009.
INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira.
Brasilia, c. 2011, Disponvel em: <www.inep.gov.br>. Acesso em: 19 nov. 2012.
KLEIN, R.; FONTANIVE, N. S. Avaliao em larga escala. Em Aberto, Braslia, DF, v.
15, n. 66, p. 29-34, 1995.
KLEIN, R. Utilizao da Teoria de Resposta ao Item no Sistema Nacional de
Avaliao da Educao Bsica. Ensaio Aval. e pol. pub. Edu., Rio de Janeiro, v.
11, n. 40, p. 283-296, jul./set, 2003.
KLEIN, R. Testes de Rendimento Escolar. In: SOUZA, A. M. (Org). Dimenses da
avaliao Educacional. Petrpolis, RJ: Vozes, 2005. p. 110-138.
KLEIN, R.; FONTANIVE, N. Alguns indicadores educacionais de qualidade no
Brasil de hoje. So Paulo em Perspectiva, So Paulo, v. 23, n. 1, p. 19-28,
jan./jun, 2009.
McKINSEY REPORT: How the Worlds Best-performing School Systems Come Out
on Top. London: McKinsey&Company, 2007.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013

100

Nilma Santos Fontanive

OCDE: PISA 2009 Results: What Students Know and Can Do? [S.l.]: OECD, 2010. v.1.
ROSENSHINE, B; STEVENS, R. Teaching functions. In: WITTROCK, M. C. (Ed.). Handbook
of Research on Teaching. 3nd ed. New York: Macmillan, 1986. p. 376-391.
SCRIVEN, M. The methodology of evaluation . In: TYLER, R. W.; GAGN, R.
M.; SCRIVEN, M. (Ed.). Perspectives of Curriculum Evaluation. Chicago: Rand
McNally, p. 39-83, 1967.
TODOS pela Educao. So Paulo,[s.d.]. Disponvel em: <www.todospelaeducacao.
org.br>. Acesso em: 19 nov. 2012.
VAN HANEGHAN, J. P. Validiting assessment for learning: Consequential systems
approaches. Journal of MultiDisciplinary Evaluation, v. 6, n. 12, june 2009.
Recebido em: 19/12/2012
Aceito para publicao em: 18/04/2013

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013