A POLÍTICA DO DESEMPENHO DO SAEB

Um aspecto problemático ronda a política do desempenho mensurado:

como converter em práticas pedagógicas efetivas os resultados apresentados pelo
SAEB? Pela maneira como as avalições externas estão organizadas, percebe-se
que ainda existe uma distância muito grande entre os índices percentuais e o seu
real uso como prática de intervenção pedagógica na escola. Para alguns autores
(BAUER e SILVA, 2005; VIANNA, 2002), os resultados do SAEB não chegam à
escola e ao professor naquilo que é mais importante em sua prática pedagógica.
Ou seja, pelo seu caráter técnico e complexo, os resultados do SAEB oferecem
poucas informações que possam servir de subsídios para uma reflexão do
processo pedagógica em sala de aula.

O grande problema do Saeb é que os seus resultados não chegam

à escola e nem aos professores, não gerando, por conseguinte,
qualquer impacto no sistema de ensino. Podem dar margem a
pesquisas, muitas de grande sofisticação estatística, e importantes
do ponto de vista científico, cujos resultados não se traduzem em
ações pelos professores (VIANNA, 2002, p. 136).

De fato, apesar de marcar eventuais flutuações de aumento e declínio das

médias de proficiência em matemática e língua portuguesa, de modo geral,
percebe-se certa estagnação nos resultados apresentados pelo SAEB dos anos
de 1995 a 2011. Veja:

SAEB – Média de proficiência em Matemática – Brasil (1995-2011)

Série 1995 1997 1999 2001 2003 2005 2007 2009 2011
5º EF 190,6 190,8 181,0 176,3 177,1 182,4 193,5 204,3 209,6
9º EF 253,2 250,0 246,4 243,4 245,0 239,5 247,4 248,7 250,6
3º EM 281,9 288,7 280,3 276,7 278,7 271,3 272,9 274,7 273,9

Fonte: INEP1

SAEB – Média de proficiência em Língua Portuguesa – Brasil (1995-2011)

1
INEP. Resultados SAEB. Disponível em: <http://sistemasprovabrasil2.inep.gov.br/resultados/>.
Acesso em: 23 dez. 2013.
Série 1995 1997 1999 2001 2003 2005 2007 2009 2011
5º EF 188,3 186,5 170,7 165,1 169,4 172,3 175,7 184,2 190,6
9º EF 256,1 250,0 232,9 235,2 232,0 231,9 234,6 244,0 243,0
3º EM 290,0 283,9 266,6 262,3 266,7 257,6 261,4 268,8 267,6

Fonte: INEP2

Com exceção dos resultados do 5º ano do Ensino Fundamental, percebe-

se que as médias de proficiência de matemática e língua portuguesa de 2011
estão abaixo das médias de 1995. Ora, como justificar uma satisfatória
implementação de práticas pedagógicas efetivas a partir dos resultados do SAEB,
se a maioria das médias de 2011 nem sequer superam as primeiras médias de
1995? E não se faz referência à estagnação das médias do SAEB num curto
tempo de 4 anos, mas em um período de 16 anos – quase duas décadas sem o
progresso real das próprias médias estabelecidas pelo sistema.
Por este motivo, segundo outros autores (LOCATELLI, 2002, p. 9), o SAEB
não tem como objetivo principal subsidiar diretamente as práticas pedagógicas no
interior da escola, mas monitorar a ‘qualidade’, ‘equidade’ e ‘efetividade’ da
educação de modo externo, como também repassar para a administração pública
da educação as principais informações para a avaliação de seus próprios projetos,
proporcionando assim, a divulgação dos resultados e dos fatores contextuais a
eles relacionados. No entanto, para Bauer e Silva (2005, p. 143), se de fato o
SAEB não tem como meta oferecer informações para o ambiente interno das
escolas, então se conclui uma certa contradição interna no SAEB ou ao menos a
falta de clareza na divulgação dos seus objetivos, uma vez que alguns
documentos oficiais sugerem a utilidade deste sistema de avaliação para o
ambiente de sala de aula3.
Dentre as questões metodológicas do SAEB, merece destaque a chamada
2
INEP. Resultados SAEB. Disponível em: <http://sistemasprovabrasil2.inep.gov.br/resultados/>.
Acesso em: 23 dez. 2013.
3
Como é o caso, por exemplo, do Relatório Nacional do SAEB de 2001: “Neste relatório, além da
escala comum, serão apresentados os níveis interpretados para cada uma das séries,
isoladamente, tanto para Língua Portuguesa, quanto para Matemática. Esta forma de apresentação
atende a pedidos de professores de todo o Brasil, servindo para uma análise mais acurada das
habilidades já desenvolvidas pelos alunos nos diversos níveis em cada série, possibilitando, ainda,
um olhar mais crítico para as competências e as habilidades que já deveriam ter sido, mas não
foram construídas nas séries avaliadas” (BRASIL/MEC, 2002, p. 18, grifo nosso).
Teoria da Resposta ao Item (TRI)4, introduzido em 1995 como a principal
ferramenta metodológica para a avaliação em larga escala. A partir de então,
modificaram-se “as orientações das matrizes que subsidiam e norteiam o que e
como será aferido o nível de aprendizagem dos alunos” (BAUER; SILVA, 2005, p.
138), cuja principal consequência foi a formulação, em 1997, das matrizes
curriculares de referência, que, baseadas nas concepções de ‘competências’ e
‘habilidades’ cognitivas5, deram origem aos conhecidos Parâmetros Curriculares
Nacionais (PCNs). Com isso, começou-se a veicular com mais intensidade a
discussão em torno de determinados parâmetros comuns, através dos quais seria
possível debater sobre qualidade em educação.
Para Silva (2008, p. 208), apesar de aparentemente apresentar um
interesse teórico no que diz respeito à descrição do desempenho escolar, as
definições de ‘competências’ e ‘habilidades’ estão mais orientadas para um caráter
de conveniência do que científico, pois o contexto de divulgação de tais
concepções não está voltado para a pesquisa científica, mas para a orientação
prática de determinadas políticas educacionais e o monitoramento de certos
processos escolares6. Nas palavras de Azanha (2006, p. 164), “definições são
explicitações de significado de palavras, termos, símbolos num determinado

4
“A adoção, nesta metodologia de avaliação [isto é, no SAEB], da Teoria de Resposta ao Item –
TRI permitiu a obtenção de resultados de desempenho cognitivo dos alunos comparáveis mesmo
que eles tenham respondido a cadernos de teste diferentes. A TRI é um conjunto de modelos
matemáticos, cuja origem remonta a década de 1950, mas que somente começou a ter maior
aplicabilidade nos anos 1980, graças ao rápido desenvolvimento da metodologia estatística e
computacional. A TRI modela a probabilidade de o aluno acertar o item em função de
características do item e de uma variável latente (não observável) do aluno que representa sua
proficiência (habilidade). Uma das propriedades da TRI é a invariância dos parâmetros dos itens
obtidos de grupos diferentes de alunos testados, e dos parâmetros de proficiência baseados em
grupos diferentes de itens, exceto pela escolha de origem e escala e portanto ambos são
arbitrados” (KLEIN; FONTANIVE, 2009, p. 20).
5
“Entende-se por competências cognitivas as modalidades estruturais da inteligência – ações e
operações que o sujeito utiliza para estabelecer relações com e entre objetos, situações,
fenômenos e pessoas que deseja conhecer. As habilidades instrumentais referem-se
especificamente ao plano do ‘saber fazer’ e decorrem diretamente do nível estrutural das
competências já adquiridas e que se transformam em habilidades” (PESTANA et al., 1999, p. 9).
6
“Não cabe, pois, avaliá-las como se fossem definições científicas. Não o são. A referência, no
caso das competências, a ‘modalidades estruturais da inteligência’ é irrelevante do ponto de vista
científico, pois é óbvio que, no contexto, essa referência não se vincula a nenhuma teoria explícita
de inteligência no corpo da psicologia. Trata-se apenas de encaminhar, aliás confusamente, um
propósito para o ensino. É, pois, em termos dos programas práticos que pretendem vincular que
essas definições devem ser avaliadas” (AZANHA, 2006, p. 165).
contexto. Nesse sentido restrito, definições devem ser avaliadas pela função ou
propósito a que visam no contexto considerado”. Ou seja, nenhuma definição é
capaz de captar a essência absoluta de algo, muito menos as definições de
habilidades e competências no âmbito da qualidade da educação.
Desta maneira, o SAEB posiciona-se como um mecanismo de
monitoramento estratégico para a mensuração do desempenho – e não para os
processos pedagógicos –, compreendido como resposta imediata sobre o que
deve ser popularmente aceito e divulgado como ‘qualidade’ em educação.
Observe a seguinte afirmação contida no Plano de Desenvolvimento da Educação:
“a Prova Brasil deu nitidez à radiografia da qualidade da educação básica”
(BRASIL/MEC, 2007, p. 20).
Mais que um diagnóstico do que precisa ser a aprimorado no processo, a
afirmação acima acaba promovendo, de maneira consciente ou não, uma
compreensão da avaliação em larga escala como instrumento descobridor de uma
pretensa ‘qualidade’ objetiva – que na realidade não existe, enfatizando assim,
cada vez mais, a avaliação como mecanismo legislador do que deve ou não ser
considerado como ‘qualidade’ em educação. Em síntese, esse logro demonstra
um agir estratégico daquilo que é previamente considerado como ‘qualidade’, ideia
esta que desmonta a ‘ocultação’ ideológica do a priori técnico-administrativo que
se faz presente no momento em que a avaliação é teoricamente configurada, em
vista da estandardização de determinadas metas e objetivos.

REFERÊNCIAS

AZANHA, José Mário Pires. O ENEM: afinal do que trará? In: _________. A
Formação do professor e outros escritos. São Paulo: Editora Senac, 2006, pp.
155-168.
BAUER, Adriana; SILVA, Vandré Gomes. SAEB e a Qualidade de Ensino:
algumas questões. Estudos em Avaliação Educacional, v. 16, n. 31, jan./jun.,
2005, pp. 133-152.
BRASIL/MEC. Plano de Desenvolvimento da Educação. Brasília: MEC, 2007.
BRASIL/MEC. Saeb 2001: Relatório Nacional. Brasília: Inep, 2002.
INEP. Resultados SAEB. Disponível em:
<http://sistemasprovabrasil2.inep.gov.br/resultados/>. Acesso em: 23 dez. 2013.
KLEIN, Ruben; FONTANIVE, Nilma. Alguns Indicadores Educacionais de
Qualidade no Brasil de hoje. São Paulo em Perspectiva, São Paulo, v. 23, n. 1,
jan./jun., 2009, pp. 19-28.
LOCATELLI, Iza. Construção de instrumentos para a avaliação de larga escala e
indicadores de rendimento: o modelo SAEB. Estudos em Avaliação
Educacional, São Paulo: FCC, n. 25, jan./jun., 2002, pp. 3-21.
PESTANA, Maria Inês Gomes de Sá et al. Matrizes Curriculares de Referência
para o Saeb. 2.ed. Brasília: Inep, 1999.
SILVA, Vandré Gomes. A Narrativa Instrumental da Qualidade da Educação.
Estudos em Avaliação Educacional, vol. 19, n. 40, maio/ago., 2008, pp. 191-
221.
VIANNA, Heraldo M. Construindo o campo e a crítica: o debate. In: FREITAS, Luiz
Carlos de. Avaliação: construindo o campo e a crítica. Florianópolis: Insular,
2002, pp. 99-214.