Escolar Documentos
Profissional Documentos
Cultura Documentos
RELATRIO FINAL
GAME/FAE/UFMG
Agosto/2011
Realizao: Parceria:
1
2011. Fundao Victor Civita. Todos os direitos reservados.
A Fundao Victor Civita, que tem por misso contribuir para a melhoria da qualidade
da Educao Bsica no Brasil, produzindo publicaes, sites, material pedaggico,
pesquisas e projetos que auxiliem na capacitao dos professores, gestores e demais
responsveis pelo processo educacional, implantou uma rea de estudos com o
objetivo de levantar dados e informaes que auxiliem as discusses sobre prticas,
metodologias e polticas pblicas de Educao.
REVISTA NOVA ESCOLA E GESTO ESCOLAR Clara Etiene Lima de Souza (Coordenadora da
Gabriel Grossi Avaliao da Educao Bsica / Inep)
Paola Gentile
Mozart Neves Ramos (Todos pela Educao)
ESTUDOS, PESQUISAS E PROJETOS
Mauro Morellato Ruben Klein (Consultor Fundao Cesgranrio)
Adriana Derbio
Sandra Maria Zakia Lian Sousa (USP e Unicid)
2
2011. Fundao Victor Civita. Todos os direitos reservados.
UNIVERSIDADE FEDERAL DE MINAS GERAIS
FACULDADE DE EDUCAO
Samira Zaidan
Diretora
EQUIPE DE PESQUISA
Nigel Brooke
Maria Amlia de A. Cunha
Matheus Faleiros
3
2011. Fundao Victor Civita. Todos os direitos reservados.
SUMRIO
Apresentao 06
1. Objetivos 11
2. Mtodos 12
6.1.2 Monitoramento 77
6.1.3 Planejamento 82
6.1.4 Pesquisa 85
6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as Estratgias de
Formao Continuada 87
5
2011. Fundao Victor Civita. Todos os direitos reservados.
Apresentao
1
Na pgina de perguntas frequentes sobre o Saeb e Prova Brasil do site do Inep
(http://www.INEP.gov.br/web/saeb-e-prova-brasil/perguntas-frequentes) a resposta dada pergunta
Com o Saeb e Prova Brasil o Governo Federal pretende acabar com os sistemas Estaduais e Municipais
de Avaliao?, leia-se a seguinte resposta: As avaliaes federais, as estaduais e as municipais so
independentes. A Prova Brasil e o Saeb so conduzidos nacionalmente pelo Governo Federal, enquanto
as avaliaes estaduais e municipais podem ter metodologia prpria e so concebidas e realizadas pelos
governos estaduais e municipais. Em muitos casos, h a cooperao tcnica entre os governos federal,
estadual e municipal, ou seja, h congruncia entre algumas avaliaes estaduais com a Prova Brasil e o
Saeb. Um dos objetivos da Prova Brasil e do Saeb estimular a cultura da avaliao, fomentando, assim,
a implementao de avaliaes estaduais e municipais. Nesse sentido, o Inep pode auxiliar, sob certas
condies, os estados e municpios a estruturarem e levarem adiante suas avaliaes por meio do seu
Banco Nacional de Itens.
7
2011. Fundao Victor Civita. Todos os direitos reservados.
estados em terreno antes exclusivamente federal. Em funo desses sentimentos,
consolidou-se a opinio que os estados deveriam apenas complementar o que a Unio
j faz, e no repetir a avaliao das mesmas disciplinas nos mesmos anos escolares
para no desperdiar recursos. Esse posicionamento no leva em considerao o
interesse dos estados em controlar todas as fases de produo e divulgao de
informao sobre as escolas, evitando os atrasos que acometem o Inep, e pode
encobrir as dvidas remanescentes a respeito da convenincia dos estados
desenvolverem seus prprios sistemas. A expanso das avaliaes subnacionais parece
refletir justamente a necessidade de controlar mais detidamente as etapas que
envolvem o processo de avaliao e, assim o fazendo, traar um diagnstico mais
contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e
estratgias talvez mais eficazes.
O presente estudo pretende remediar essa lacuna ao mostrar o papel cada vez
mais importante das avaliaes subnacionais na composio da poltica educacional.
Mesmo no chegando sempre aos jornais, h indcios suficientes de que est em curso
uma mudana importante na penetrao e diversificao da avaliao educacional em
nvel dos estados e municpios de porte maior ao ponto de muitas das inovaes nesse
campo estarem acontecendo no mais na esfera federal, mas em nvel subnacional. As
avaliaes da aprendizagem na fase de alfabetizao, a criao de instrumentos
8
2011. Fundao Victor Civita. Todos os direitos reservados.
padronizados para finalidades de diagnstico individual e o uso da avaliao para
polticas de incentivos salariais seriam apenas trs exemplos. Cada vez mais os estados
esto assumindo polticas educacionais que tm como pressuposto a existncia de
informaes detalhadas sobre a aprendizagem dos alunos e cuja execuo requer o
uso cada vez mais variado e sofisticado dessas informaes. Ou seja, os estados
tambm esto galvanizados para uma nova gerao de instrumentos de avaliao e de
uma variedade cada vez maior de polticas de interveno calcadas em informao
sobre o desempenho dos alunos. Portanto, na descrio dos esforos de todos os
sistemas para melhorar a qualidade do ensino, torna-se indispensvel captar os
avanos no uso dos resultados das avaliaes educacionais tambm em nvel
subnacional.
9
2011. Fundao Victor Civita. Todos os direitos reservados.
pelo movimento de reforma externo e interno chamado de neoliberal, que a partir da
dcada de 1990 estabeleceu a qualidade do ensino como o objetivo primordial da
poltica educacional e definiu os resultados escolares como seu indicador principal.
O fato de haver origens comuns no significa que as polticas seguidas por cada
estado que optou por implantar um sistema prprio de avaliao so todas iguais.
Mesmo havendo semelhanas, dentro das opes para a utilizao dos resultados das
avaliaes, os critrios e propsitos podem variar. Para distinguir entre as diferentes
polticas de avaliao, precisa-se criar um sistema classificatrio capaz de dar conta da
diversidade ao mesmo tempo em que categorize as polticas de acordo com os
propsitos dos gestores. Sem esse esforo classificatrio, as polticas acabam sendo
discutidas estado por estado como se a sua distribuio geogrfica fosse a razo pela
investigao. Com uma classificao por tipo de poltica, por outro lado, pode-se
contrastar as polticas dos estados e deixar mais ntidas as diferenas existentes entre
as diversas verses de uma mesma poltica.
10
2011. Fundao Victor Civita. Todos os direitos reservados.
1. Objetivos
11
2011. Fundao Victor Civita. Todos os direitos reservados.
2. Mtodos
12
2011. Fundao Victor Civita. Todos os direitos reservados.
geogrficos. Sero empregados exemplos de diferentes estados e municpios, mas sem
insinuar que esses so os exemplos nicos ou necessariamente os mais bem acabados.
13
2011. Fundao Victor Civita. Todos os direitos reservados.
3. A Expanso da Avaliao Educacional
14
2011. Fundao Victor Civita. Todos os direitos reservados.
na formao do professor e conectar a escola s demandas da sociedade. Quando as
reformas educacionais dos diferentes pases so categorizadas de acordo com seus
objetivos mais especficos, pode-se ver claramente o quanto as reformas seguiram os
mesmos rumos ao longo do continente. No entanto, no caso da implantao de
novos sistemas de avaliao padronizada que a verdadeira uniformidade das propostas
educacionais revelada. Nesse caso, observa-se que nada menos que 13 pases da
regio, incluindo o Brasil, adotaram sistemas de avaliao entre 1990 e 1998. No
quadro da autora que identifica o ano de implantao desses sistemas, as nicas
excees so o Chile, que criou o Simce no final da dcada anterior, e Cuba, um caso
parte, que j tinha um sistema prprio desde a dcada de 1970 (GAJARDO, 2000).
Incentivados pelo novo consenso e ativados pelas inmeras demandas dos pases
em desenvolvimento, os bancos internacionais se tornaram os financiadores da
reforma educacional na maioria dos pases da regio. O Banco Mundial adotou as
declaraes de Jomtien e moldou uma srie de estratgias consideradas eficazes na
realizao desses objetivos, incluindo o fortalecimento da autonomia das escolas e a
15
2011. Fundao Victor Civita. Todos os direitos reservados.
criao de sistemas de avaliao de aprendizagem. Diversos estados brasileiros foram
beneficirios desse receiturio, incluindo Minas Gerais, So Paulo, Paran e Cear.
16
2011. Fundao Victor Civita. Todos os direitos reservados.
competncias mnimas como requisitos para receber o diploma de Ensino Mdio e
para impulsionar reformas no currculo e na qualidade do ensino.
2
Literalmente, tabelas de ligas de futebol. Ranqueavam-se as escolas em Tabelas de Desempenho de
Escolas como se fossem times de futebol.
18
2011. Fundao Victor Civita. Todos os direitos reservados.
associados aos modelos de planejamento central. Nesse contexto, fazia todo sentido
no s enfraquecer as amarras administrativas e financeiras entre as autoridades
educacionais locais e as escolas como tambm criar um currculo nacional oficial e um
sistema de avaliao educacional correspondente, a ser usado no monitoramento e no
controle da qualidade das escolas.
20
2011. Fundao Victor Civita. Todos os direitos reservados.
Inspirado nas iniciativas do Governo Federal e nas experincias internacionais,
Minas Gerais foi um dos primeiros estados a incorporar o modelo de gesto por
resultados e oferece um exemplo da afinidade entre os propsitos da avaliao
educacional e as exigncias das novas polticas. Na primeira fase, iniciada em 2003, os
planejadores produziram o Plano Mineiro de Desenvolvimento Integrado, que serviu
como a viso do futuro para o perodo at 2020. Os cenrios futuros evidenciaram a
necessidade da reorganizao e modernizao do setor pblico estadual por meio do
chamado Choque de Gesto. Para criar a ponte entre os cenrios futuros e as aes do
secretariado, foram criados 30 projetos estruturadores e depois os programas setoriais
para compor o plano plurianual do governo para o perodo at 2006. Para definir os
objetivos de seus programas para o ensino fundamental e mdio, a Secretaria da
Educao optou por uma bateria de indicadores, entre os quais as proficincias mdias
dos alunos de 3, 5 e 9 anos e 3 ano do Ensino Mdio. Derivados do sistema
estadual de avaliao, Simave, essas proficincias oferecerem uma forma concreta de
fixar metas com base em resultados finalsticos, quando a maioria das Secretarias s
oferecia indicadores de processo.
21
2011. Fundao Victor Civita. Todos os direitos reservados.
educacional ser retomada em seo posterior. Por enquanto, basta enfatizar a sua
importncia para o uso crescente da avaliao educacional pelas Secretarias de
Educao e o uso dos produtos dessa avaliao para o planejamento.
Foi a partir da criao do Ideb, em 2007, que a Prova Brasil encontrou sua
verdadeira vocao. Pela incluso da mdia de desempenho dos alunos, juntamente
com uma medida de fluxo em uma frmula que permite expressar a qualidade da
escola em um nico nmero numa escala de 1 a 10, foi possvel potencializar os
resultados da Prova Brasil e criar pela primeira vez uma discusso nacional sobre a
direo e velocidade da melhoria da Educao. Por meio do Ideb, portanto, a Prova
22
2011. Fundao Victor Civita. Todos os direitos reservados.
Brasil comeou a exercer um poder de persuaso sobre os rumos da Educao nos
estados e municpios, permitindo que o Ministrio recuperasse sua ascendncia sobre
a poltica educacional. Como diz Vidal e Vieira:
23
2011. Fundao Victor Civita. Todos os direitos reservados.
apoio implementao, por Municpios, Distrito Federal, Estados e
respectivos sistemas de ensino, das seguintes diretrizes:
25
2011. Fundao Victor Civita. Todos os direitos reservados.
Ensino Fundamental, entre os anos de 1992 e 1996, sendo posteriormente realizado a
cada dois anos para que no coincidisse com as provas do Saeb.
26
2011. Fundao Victor Civita. Todos os direitos reservados.
pela primeira vez em 1995, na 4 srie do Ensino Fundamental, com testes de
portugus e matemtica. Em 1996, foram aplicados testes na 8 srie do ensino
fundamental em cincias, histria e geografia, alm dos conhecimentos em portugus
e matemtica, e portugus e matemtica para o 2 ano do Ensino Mdio. J em 1997 e
1998, avaliaram-se, nos dois anos, a 4 e 8 sries do Ensino Fundamental e as
habilidades em lngua portuguesa, matemtica e cincias. O objetivo geral do
programa era obter informaes gerais sobre o nvel de conhecimento e habilidades
dos alunos da Educao bsica do estado.
No final dos anos 1990 e no princpio da nova dcada, observa-se que vrios
estados comeam a criar o seu prprio sistema de avaliao educacional, enquanto
outros aprimoram a parte tcnica da avaliao, utilizando novos instrumentos e
procedimentos estatsticos. Pode-se dizer que um grande marco nas avaliaes
educacionais no Brasil se d com a utilizao da metodologia de anlise e
interpretao dos dados, chamada Teoria de Resposta ao Item (TRI). A utilizao dessa
27
2011. Fundao Victor Civita. Todos os direitos reservados.
tcnica realizada pela primeira vez em 1995, no terceiro ciclo de avaliao do Saeb3.
Com base nessa tcnica e nas novas Matrizes Curriculares de Referncia, foi construdo
um banco de itens para o quarto ciclo do Saeb, em 1997, utilizado at hoje.
Em 1999, com uma parceria entre MEC, Inep e Secretaria de Educao do Acre,
realizada, de modo censitrio, a avaliao dos alunos da 4 srie do Ensino
Fundamental nesse estado. A parceria realizou nova avaliao em 2003, tambm de
forma censitria, com os alunos de 8 srie do Ensino Fundamental e 3 ano do Ensino
Mdio, alm dos alunos de 4 srie do Ensino Fundamental novamente. Houve uma
orientao s escolas baseada nos resultados da avaliao. O retorno para as escolas
se deu por meio de relatrios individualizados e produzidos no estado, que foram
apresentados em seminrios com diretores e coordenadores pedaggicos.
3
As avaliaes anteriores do Saeb se realizaram em 1990 e 1993.
28
2011. Fundao Victor Civita. Todos os direitos reservados.
Em 2000, houve a Avaliao das Escolas Pblicas do Maranho, numa parceria
com a Fundao Cesgranrio. Foram avaliados, de forma censitria, os alunos da 4
srie do Ensino Fundamental da rede estadual. Em 2001, houve nova avaliao no
estado, de forma censitria para as escolas estaduais, e amostral para as escolas
municipais, destinada a alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do
Ensino Mdio. Em 2001, houve uma avaliao no Tocantins nos mesmos moldes da
realizada em 2001 no Maranho, numa parceria do Inep com a Fundao Cesgranrio.
Em todos os casos, foram realizados testes de portugus e matemtica. Os resultados
foram tratados pela metodologia adotada pelo Inep/MEC, com a anlise estatstica
baseada na TRI.
29
2011. Fundao Victor Civita. Todos os direitos reservados.
Outro estado que passou por modificaes em seu sistema de avaliao foi o
Cear. A partir de 2001, o Spaece passou a aplicar os testes via internet. Os alunos
includos nas amostras por srie respondiam aos testes em telessalas equipadas com
computadores. Nos trs anos de 2001 a 2003, o programa passou a denominar-se
Spaece-Rede. A partir de 2001, o Spaece aplicado anualmente at os dias de hoje,
possibilitando uma avaliao padronizada do progresso da Educao bsica sem
interrupes. Em 2007, foi criado o Spaece-Alfa para avaliar a aprendizagem dos
alunos nas sries iniciais de alfabetizao. O CAEd ficou responsvel pela avaliao,
que ocorre anualmente desde ento, usando uma metodologia baseada em itens
calibrados.
30
2011. Fundao Victor Civita. Todos os direitos reservados.
O sistema de avaliao prpria do estado do Rio de Janeiro foi criado pela
Secretaria de Educao tambm em 2000, baseado na implantao do programa Nova
Escola e aplicado em 2000, 2001, 2003, 2004 e 2005. Esse programa avaliava as escolas
se baseando em testes de portugus e matemtica para alunos de 4 e 8 sries do
Ensino Fundamental e 3 ano do Ensino Mdio. Tambm eram avaliados o fluxo
escolar dos alunos, em termos de aprovao, reprovao e abandono, e a gesto
escolar, na forma da assiduidade dos profissionais que trabalham na escola, relao
com a comunidade, correo da prestao de contas e a gesto com a matrcula. O
Programa Nova Escola tambm continha uma poltica de incentivo salarial para os
professores e demais profissionais da escola por meio de uma gratificao
proporcional aos objetivos alcanados pelas escolas, dentro de uma gradao de cinco
nveis de desempenho, variando de 5 a 25 pontos. A partir de 2008, a Secretaria de
Educao do Rio de Janeiro criou um novo sistema de avaliao, o Sistema de
Avaliao da Educao do Estado do Rio de Janeiro (Saerj), com o intuito de realizar
uma anlise do desempenho dos alunos do ensino fundamental e mdio, buscando
aprimorar os instrumentos para melhorar a Educao bsica no estado. Desde ento, o
Saerj realizado anualmente por meio do modelo CAEd, com a utilizao de Matrizes
de Referncias, TRI e produo de boletins.
31
2011. Fundao Victor Civita. Todos os direitos reservados.
Unesco. Os testes foram aplicados para alunos de 4 e 8 anos do Ensino Fundamental,
com a aplicao de provas de portugus e matemtica. H a previso de que o Saveal
se realize este ano. J a Secretaria de Educao de Gois implantou o Sistema
Integrado de Avaliao do Estado de Gois (Saego) para comparar a Educao no
estado com os nveis nacionais, buscando aperfeioar a Educao no estado. Foram
aplicados testes de lngua portuguesa e matemtica aos alunos de 4 e 8 sries do
Ensino Fundamental e 3 ano do Ensino Mdio de forma censitria. O Saego foi
aplicado novamente em 2002 e 2004.
32
2011. Fundao Victor Civita. Todos os direitos reservados.
pela utilizao da teoria clssica dos testes. Em 2008, a Secretaria Estadual de
Educao criou o Sistema de Avaliao do Desempenho da Educao do Amazonas
(Sadeam), com o objetivo de ter um monitoramento contnuo da Educao no estado e
planejar aes para melhor-la. O Cespe foi responsvel pela avaliao no estado.
Foram avaliados alunos de 5 ao 9 anos do Ensino Fundamental, 3 ano do Ensino
Mdio e EJA. O Sadeam continua em funcionamento, sendo aplicado anualmente
desde ento, utilizando em sua metodologia a Teoria Clssica e a TRI.4
Aps as avaliaes externas realizadas em 1996, 1997 e 1998, o Rio Grande do Sul
implantou seu prprio sistema de avaliao em 2005: o Sistema do Rendimento
Escolar do Rio Grande do Sul (Saers), com objetivo de obter dados e informaes sobre
o desempenho educacional dos alunos no que concerne ao seu desenvolvimento
cognitivo e, com isso, possibilitar a correo de polticas pblicas na rea. Foram
avaliados alunos de 2 e 5 sries do Ensino Fundamental, em relao leitura, escrita
e matemtica, de forma censitria, em escolas urbanas e rurais de duas
coordenadorias da rede estadual e em escolas municipais de 75 municpios. Tambm
4
Pela utilizao de ambas as teorias na produo de materiais, o estado de Amazonas poderia se tornar
um estudo de caso para testar a hiptese que quando os Estados e municpios convertem suas
metodologias para a TRI, eles perdem uma parte da capacidade de avaliar os processos de
aprendizagem. Pela falta de familiaridade com a noo de proficincia e as conhecidas dificuldades de
fazer uma interpretao das escalas, sugere-se que o avano tcnico da avaliao que traz vantagens em
outras reas possa tambm estar associado perda de compreenso dos resultados.
33
2011. Fundao Victor Civita. Todos os direitos reservados.
foram aplicados questionrios contextuais a alunos, professores e diretores. Em 2007,
segundo ano de aplicao do Saers, alm das sries citadas tambm foram avaliados
alunos do 1 ano do Ensino Mdio. Trabalhou-se, metodologicamente, com a Teoria
Clssica e com a Teoria de Resposta ao Item. O Saers foi aplicado em 2009 e 2010,
sendo interrompido aps esse ltimo ano de avaliao depois da mudana de governo.
...Desde que ele foi constitudo, desde que se ouvir falar do Siade, a
expectativa foi muito grande, e desde sua primeira publicao at hoje
todo mundo se interessa, e se interessa de maneira positiva, pais, alunos, a
prpria casa, profissionais. Tanto que a gente trabalha do lado da
ouvidoria e a gente no teve uma reclamao sequer da avaliao em
nenhum aspecto, seja logstico, seja de material, seja da sua aplicao, dos
prprios contedos, n? (Tcnico: SEE/DF)
Antes que se crie a noo que o avano da avaliao foi um processo tranquilo,
sem solavancos nem retrocessos, importante destacar a falta de continuidade das
polticas de avaliao mesmo nos estados com os sistemas mais consolidados. Nisso a
avaliao refletiu as dificuldades evidentes em outras dimenses da poltica
educacional, incluindo a fragmentao, falta de documentao e descontinuidade por
35
2011. Fundao Victor Civita. Todos os direitos reservados.
conta de rivalidades polticas. Devido tendncia de ver a poltica educacional como
questo partidria e as conhecidas resistncias aos processos de avaliao externa por
parte de alguns segmentos dos professores, no foi incomum nas dcadas passadas a
paralizao dos sistemas de avaliao por certo tempo e at por perodos longos.
Pode-se dizer que a falta de continuidade pela ausncia de consensos suprapartidrios
sobre os rumos da poltica educacional prejudicou a evoluo da avaliao educacional
e deixou marcas.
36
2011. Fundao Victor Civita. Todos os direitos reservados.
Quadro 1. Sistemas Estaduais de Avaliao Educacional 1992-2011
Regio Estado 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011*
NO AC AC AC SEAPE
AM AM SADEAM
PA
RR
RO *
AP
TO AEP SAD?
NE MA PAM AEP SIMADE?
PROVA *
PI
PIAU
SPAECE
CE SPAECE
ALFA
RN
PB
PE SAEPE
AL SAVEAL
SE EXAEB
BA PAE
CO MT
MS NAE SAEMS
GO SAEGO *
DF SIADE
SIMAVE
SE MG AVA-MG
PROALFA
ES PAEBES
37
2011. Fundao Victor Civita. Todos os direitos reservados.
PNE SAERJ
RJ
SAERJINHO
SP SARESP
SU PR AVA
SC
RS SAERS
AC - Avaliao Escolas Pblicas do Acre (1999 e 2003) Parceria Inep-Mec SAEGO Sistema de Avaliao da Educao de Gois
AEP - Avaliao Escolas Pblicas Cesgranrio SAEMS Sistema de Avaliao da Educao Bsica do Mato Grosso do Sul
AC - Avaliao Escolas Pblicas do Amazonas (2003) Parceria Inep-Mec SAEPE Sistema de Avaliao Educacional de Pernambuco
AVA - Programa de Avaliao do Sistema Educacional do Paran SAERJ Sistema de Avaliao da Educao do Estado do Rio de Janeiro
EXAEB-SE Exame de Avaliao da Educao Bsica do Estado de Sergipe SAERS Sistema de Avaliao do Rendimento Escolar do Rio Grande do Sul
NAE Ncleo de Avaliao Educacional do Mato Grosso do Sul SARESP Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo
PAEBES - Programa de Avaliao da Educao Bsica do Esprito Santo SAVEAL Sistema de Avaliao de Alagoas
PAE - Projeto de Avaliao Externa SEAPE Sistema Estadual de Avaliao da Aprendizagem Escolar
PAM Projeto de Avaliao do Maranho SIADE Sistema de Avaliao de Desempenho das Instituies Educacionais do
PNE Programa Nova Escola Distrito Federal
PROVA PIAU SIMADE Sistema Maranhense de Avaliao de Desempenho
SAD Sistema de Avaliao de Desempenho (dvida se nos mesmos moldes dos SIMAVE Sistema Mineiro de Avaliao (SIMAVE PROEB DESDE 2000 /
outros) PROALFA DESDE 2005)
SADEAM Sistema de Avaliao de Desempenho Educacional do Amazonas SPAECE Sistema Permanente de Avaliao da Educao Bsica do Cear
* A referncia de 2011 para estados que vo iniciar ou retomar a avaliao educacional neste ano com base em informaes no oficiais. Para os estados com sistemas
de avaliao consolidados, supe-se que haja a continuidade no ano corrente. O estado do Paran sinaliza com a volta de seu sistema de avaliao no segundo semestre
de 2012.
38
2011. Fundao Victor Civita. Todos os direitos reservados.
4. Accountability e as Avaliaes High-Stakes
39
2011. Fundao Victor Civita. Todos os direitos reservados.
requisito em lei (HAERTEL; HERMAN, 2005). Para evitar problemas polticos causados
pelo aumento no nmero de egressos do Ensino Mdio sem diploma, o nvel de
exigncia foi mantido relativamente baixo, e a nfase em competncias mnimas ou
bsicas, preservada. Se havia accountability, nesse momento era mais pelas cobranas
feitas aos distritos escolares para que cumprissem as resolues dos governos
estaduais e aos professores para cumprissem as normas da profisso (ANDERSON,
2005).
40
2011. Fundao Victor Civita. Todos os direitos reservados.
escola que no alcanasse o progresso anual adequado por anos consecutivos
(HAERTEL; HERMAN, 2005).
42
2011. Fundao Victor Civita. Todos os direitos reservados.
apoiar a concluso que os testes high-stakes de fato promovem desempenhos
melhores. Essas e outras evidncias tm influenciado os formuladores das polticas
educacionais dos estados, como de Nova York:
43
2011. Fundao Victor Civita. Todos os direitos reservados.
grupos em direo meta comum, chama a ateno a concluso do pesquisador de
que os resultados baseados em amostras de alunos por srie, como da Naep e a
maioria dos testes estaduais, sempre mascararo as desigualdades do sistema.
Enquanto a ateno se concentra nas diferenas de desempenho dos grupos raciais em
determinada srie, a verdadeira diferena se revela no progresso dos diferentes
grupos no sistema educacional (HANEY, 2006).
44
2011. Fundao Victor Civita. Todos os direitos reservados.
escolas, oferece pouco em termos de informao e orientao para a formulao de
respostas pedaggicas (SUPOVITZ, 2009).
Talvez por esse motivo existam autores que pensam que os sistemas de
accountability como o NCLB possam ainda promover mudanas positivas. Anderson
(2005) argumenta que, para um sistema de accountability produzir resultados de
aprendizagem ao mesmo tempo em que atende s necessidades legais e profissionais
do corpo docente, ele precisa satisfazer alguns requisitos, entre os quais a necessidade
de expressar uma completa harmonia de propsitos e instrumentos (ANDERSON,
2005). Para esse e outros autores, a conceito usado o do alinhamento dos objetivos,
do currculo, do ensino, dos recursos e das avaliaes. Sem esse alinhamento, que
comea com um consenso em torno de um currculo-padro e se estende para dentro
da sala de aula por meio do currculo ensinado, no h sistema de avaliao que possa
oferecer alguma orientao para a prtica do professor ou fornecer as bases para uma
distribuio justa de prmios.
45
2011. Fundao Victor Civita. Todos os direitos reservados.
causa da polmica sobre os novos sistemas de pagamento por resultados e de
incentivos salariais nos Estados Unidos, existe uma literatura j considervel sobre
esse tpico, que nos ajudar a especular sobre os possveis efeitos dos sistemas de
incentivos salariais para professores sendo implantados no Brasil e seus impactos no
resultado dos alunos.
46
2011. Fundao Victor Civita. Todos os direitos reservados.
desvios-padro em matemtica e lngua aps dois anos do programa
(MURALIDHARAN; SUNDARARAMAN, 2009).
47
2011. Fundao Victor Civita. Todos os direitos reservados.
professor ainda sofrem de flutuaes aleatrias e outras imprecises que dificultam
seu uso para incentivos individuais.
49
2011. Fundao Victor Civita. Todos os direitos reservados.
um efeito mdio de 0,08 d.p., mas com extremos na ndia, de 0,22 d.p., no caso de
escolas com incentivos individuais, e 0,15 d.p., nas escolas de incentivos coletivos.
50
2011. Fundao Victor Civita. Todos os direitos reservados.
seus alunos. Accountability, portanto, significa uma cobrana por bons resultados e a
demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na
produo desses resultados (BROOKE, 2006; CORVALN; MCMEEKIN, 2006; FERRER,
2006; MCMEEKIN, 2006).
51
2011. Fundao Victor Civita. Todos os direitos reservados.
prmios de excelncia de 25 para 35% (MIZALA; ROMAGUERA, 2005; VEGAS;
UMANSKY, 2005). Apesar de existirem sistemas de incentivos em outros pases da
Amrica Latina, como Bolvia e El Salvador, o Sned do Chile era o nico que enfatizava
principalmente os resultados dos alunos no clculo do indicador final de desempenho,
juntamente com alguns indicadores de processo e de igualdade de oportunidades.
Novos sistemas de responsabilizao no Brasil, a serem discutidos logo a seguir,
alteram esse panorama regional.
52
2011. Fundao Victor Civita. Todos os direitos reservados.
ou seja, mediante comparaes entre alunos de grupos ou coortes diferentes, em vez
de medir os ganhos intracoorte na aprendizagem dos mesmo alunos ao longo do
tempo passado na mesma escola entre a 4 e a 8 srie (CARNOY et al., 2004). Os
autores argumentam que existe pouca evidncia emprica de que os professores
respondam sistematicamente a incentivos intercoorte de 4 e 8 sries e que a
diferena nos resultados desses testes dependem mais de variaes naturais entre as
coortes e outras flutuaes aleatrias do que do nvel de esforo dos professores. Os
resultados desses pesquisadores mostram que h uma relao entre as duas medidas,
mas que muitas das escolas que receberam prmios no mostraram o mesmo
desempenho nas medidas intracoorte. Em concluso, os autores sugerem que a
melhor estratgia da escola concentrar-se na produo de bons resultados na 4 e 8
sries nos anos dos testes do Simce, antes de se preocupar com a aprendizagem dos
alunos ao longo de seus anos na escola.
53
2011. Fundao Victor Civita. Todos os direitos reservados.
Quadro 2 . Beneficirios e Recursos: SNED, 1996-2010
SNED SNED SNED SNED SNED SNED SNED SNED
1996- 1998- 2000- 2002- 2004- 2006- 2008- 2010-
1997 1999 2001 2003 2005 2007 2009 2011
Estabelecimentos
2.274 1.815 1.699 1.863 1.829 2.236 2.597 2.656
selecionados
Docentes
30.600 31.400 32.600 34.400 34.380 51.600 57.700 58.597
beneficiados
Premiao por aluno/
1.015 1.050 1.217 1.246 1.779 2.917 3.205 3.640
docentes ($)
Monto anual por
272.622 287.777 334.919 339.493 490.630 559.734 634.161 744.833
docente ($)
Gasto anual
premiao para
8.342 9.036 10.918 11.678 16.867 28.883 37.807 43.645
docentes (Milhes de
Pesos)
Professores
assistentes 27.000 28.455
beneficiados
% Gasto SNED/Gasto
1,02 0,87 0,9 0,84 1,03 1,62 1,8 1,85
total premiaes
54
2011. Fundao Victor Civita. Todos os direitos reservados.
5. Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional
55
2011. Fundao Victor Civita. Todos os direitos reservados.
instrumentos de avaliao usados pelas Secretarias nem sempre correspondiam aos
usos almejados pelos gestores.
56
2011. Fundao Victor Civita. Todos os direitos reservados.
diferentes usos da informao, mas dos propsitos genricos dos sistemas de
avaliao. Por exemplo, comum a distino entre a avaliao formativa e somativa,
sobretudo na descrio das avaliaes de sala de aula, e entre a avaliao diagnstica
e certificatria. Na avaliao formativa, procuram-se elementos para adequar o
processo de ensino ao grupo ou aos alunos que apresentam dificuldades, tendo em
vista o alcance dos objetivos propostos, enquanto a somativa a avaliao final para
determinar em que medida as metas foram alcanadas e para classificar, selecionar,
aprovar ou reprovar. No caso da avaliao diagnstica, conforme Ravela (2008), o
propsito explcito o de enriquecer a qualidade das percepes e decises sobre os
diversos atores dos sistemas (RAVELA, 2008). Nesse cenrio, o nvel de aprendizagem
empregado como indicador da sade do sistema e no traz consequncias imediatas
para os alunos. A avaliao certificatria, por outro lado, tem o objetivo de estabelecer
quais dos alunos alcanaram os conhecimentos e competncias considerados
necessrios para serem aprovados em determinado curso ou perodo de estudo e
receberem o diploma ou certificado correspondente.
57
2011. Fundao Victor Civita. Todos os direitos reservados.
Outro tipo de classificao que reconhece a multidimensionalidade da avaliao
procura encontrar as categorias que descrevem os diferentes tipos de informao
gerada. Shulha e Cousin, por exemplo, em estudo que resumia os usos da avaliao
nos Estados Unidos no perodo entre 1986 e 1996, empregaram trs categorias de
informao: instrumental, conceitual e simblica (SHULHA; COUSIN, 1997). Em
esquema parecido, descrito por Soares (2002), encontramos uma tipologia que fala
das trs funes genricas dos sistemas de avaliao. A primeira a funo mtrica,
de medir onde se situam os sistemas de Educao em comparao com algum
parmetro para responder perguntas sobre possveis avanos. A segunda funo a
analtica, ou seja, oferecer subsdios aos pesquisadores e gestores no seu trabalho de
investigar o funcionamento do sistema. A terceira, considerada a mais difcil, a
funo pedaggica, que trata do uso da avaliao como instrumento para a melhoria
do ensino (SOARES, 2002).
No caso brasileiro, fica evidente que os mesmos instrumentos esto sendo usados
com objetivos diversos de modo que a finalidade precpua ou original do instrumento
pouco esclarece sobre seus desdobramentos posteriores. Tambm fica evidente pelas
declaraes das autoridades que as finalidades dadas como razo pela criao dos
sistemas de avaliao so muito abrangentes e, s vezes, at ultrapassam a prpria
capacidade da avaliao educacional. Essas declaraes incluem, por exemplo, a
finalidade de melhorar a qualidade da Educao ou, no caso do Saeb, reverter o
quadro de baixa qualidade e produtividade do ensino caracterizado, essencialmente,
pelos ndices de repetncia e evaso escolar (SOUSA, 2003). A classificao com base
nas finalidades oferecidas pelas autoridades como justificativas deixaria de captar as
especificidades dos diferentes usos ao mesmo tempo em que obrigaria a incluso de
categorias fora do escopo real da avaliao.
Nesse cenrio, a nossa classificao dos usos dos sistemas precisa partir de outra
lgica, a das diferentes polticas efetivamente implementadas pelas autoridades uma
vez construdas e aplicadas as diversas formas de avaliao em larga escala. Ao fazer
essa distino, estaramos concordando com a diferena entre finalidade e utilidade
explicitada no trabalho de Dantas sobre o uso para efeitos pedaggicos dos resultados
58
2011. Fundao Victor Civita. Todos os direitos reservados.
do sistema de avaliao do estado da Bahia (DANTAS, 2009). Para essa autora, a
finalidade o objetivo expresso, enquanto a utilidade relaciona-se com a demanda de
informaes por parte dos stakeholders do sistema.
Para as nossas necessidades, essa lista tem dois defeitos. O primeiro reside no
desdobramento desnecessrio de pesquisa e avaliao de programas. Em ambos os
casos, os resultados podem ser usados como evidncia da existncia de efeitos
causados por polticas, programas e at situaes quase experimentais, em que h
interesse em medir os impactos de mudanas no funcionamento das escolas e na
aprendizagem dos alunos. As avaliaes podem acontecer em nvel estadual, municipal
ou escolar e podem ser para efeitos tanto somativos, para determinar as
consequncias de determinadas polticas, como formativos, para corrigir os rumos de
programas em andamento.
5
A traduo deste conceito problemtica e ser objeto de discusso especifica mais adiante.
59
2011. Fundao Victor Civita. Todos os direitos reservados.
descrio da evoluo da avaliao educacional no Canad, e Bauer, no caso dos
sistemas nacionais de avaliao na Amrica Latina, incorrem no mesmo erro ao criar
uma distino entre os objetivos das avaliaes relacionados accountability e os
objetivos relacionados com a seleo, classificao, premiao ou certificao
(KLINGER, 2008; BAUER, 2010). O que tem sido mostrado que accountability no
contexto educacional significa acima de tudo a associao entre resultados de
aprendizagem e consequncias, sejam para o distrito educacional, a escola, os
professores ou os alunos. O nvel de influncia que a autoridade educacional deseja
aplicar ao processo de induo pode ser calibrado de acordo com o tipo ou a seriedade
das consequncias. Nesse contexto, comum rotular os nveis de induo mais altos
de high stakes e os mais baixos de low stakes, usando a palavra inglesa stakes, que
significa o valor colocado em jogo pelo apostador. Por isso, pode haver uma poltica
de gesto com utilidade nica, mas cujas consequncias so variveis de acordo com o
contexto e as intenes das autoridades. Dependendo desses condicionantes, as
consequncias de resultados de aprendizagem baixos podem ser insignificantes ou
nulas ou podem ser extremamente prejudiciais vida futura do aluno ou da escola.
Para dar conta dessas diferentes realidades, em que o objetivo da avaliao pode estar
associado ou no a diferentes medidas de accountability, observa-se a necessidade de
conceituar a accountability como se fosse a segunda dimenso de um sistema
classificatrio bidimensional. Com isso, para todas as utilidades da avaliao,
potencialmente existe a possibilidade de agregar consequncias de impacto maior ou
menor.
60
2011. Fundao Victor Civita. Todos os direitos reservados.
critrio para o ingresso universidade, alterou o panorama da avaliao federal, mas
ainda no h sinal de interesse nem a cobertura legal para a criao de avaliaes
certificatrias equivalentes por parte dos estados.
61
2011. Fundao Victor Civita. Todos os direitos reservados.
Aprender Mais (PE) ndice Municipal de
Escola Referncia (MG) Qualidade Educacional (CE)
6
O governo federal dos Estados Unidos criou a National Assessment of Educational Progress Naep
(Avaliao Nacional do Progresso Educacional), no final dos anos 1960. A avaliao testa uma amostra
dos estudantes aos 9, 13 e 17 anos de idade em ingls e matemtica. Conhecido como o Boletim Escolar
da Nao, a Naep usado da mesma forma que o Saeb , ou seja, como parmetro para comparar o
avano ou retrocesso no nvel de aprendizagem dos estados e dos diferentes grupos de alunos ao longo
dos anos.
62
2011. Fundao Victor Civita. Todos os direitos reservados.
de escolas pblicas e privadas. Pela estrutura da amostra e a natureza dos dados
coletados, o Saeb e os sistemas estaduais que o imitam tm a ntida funo de
radiografar o sistema e acompanhar a sua evoluo ao longo do tempo. Essa segunda
atribuio foi melhorada significativamente em 1995, com a incorporao da Teoria de
Resposta ao Item na organizao das provas e anlise dos dados e na criao de uma
escala nica de desempenho. Pela localizao das proficincias dos alunos de
diferentes sries e diferentes anos de aplicao nessa mesma escala, possvel
acompanhar a evoluo da aprendizagem nos diferentes nveis do sistema e ao longo
dos anos.
A pesquisa do sistema pode significar o uso dos resultados das avaliaes para a
anlise das relaes entre as caractersticas das escolas e seu desempenho em estudos
chamados de fatores associados ou efeito escola. Essa modalidade de pesquisa,
relativamente recente, foi muito influenciada pela tradio de pesquisa em eficcia
escolar e faz uso tanto dos resultados dos alunos como das informaes coletados por
meio dos questionrios contextuais aplicados aos professores, diretores e alunos. O
uso dos resultados para outros tipos de pesquisa, incluindo a avaliao de polticas e
programas, tambm pode ser incentivado pelos estados da mesma forma que o Inep
procura incentivar o uso por pesquisadores das bases de dados dos sistemas nacionais
de avaliao.
63
2011. Fundao Victor Civita. Todos os direitos reservados.
2. Para informar as escolas sobre a aprendizagem dos alunos e as estratgias de
formao continuada. A preocupao dos gestores com a qualidade da Educao, e o
interesse em colocar os sistemas de avaliao a servio dos esforos de melhoria do
ensino, aflui para uma variedade de diferentes polticas pedaggicas. Essas tm em
comum a necessidade de devolver os resultados da avaliao para as escolas, em
processo comumente chamado de devolutivo, de modo que a instituio e seus
professores possam compreender as variaes no desempenho dos alunos e perceber
formas de influenciar futuros resultados mediante mudanas nas suas prticas
pedaggicas.
65
2011. Fundao Victor Civita. Todos os direitos reservados.
alguma influncia sobre a escola com base no conhecimento detalhado dos seus
resultados.
Esse objetivo se torna ainda mais claro na presena de dados comparativos, que
estabelecem a posio exata da escola mediante algum tipo de ranqueamento ou que
fornecem informaes suficientes para o usurio chegar a suas prprias concluses
sobre o nvel de desempenho dela. Esse tipo de divulgao orientada se tornou
bastante comum no Chile, nos Estados Unidos e na Inglaterra por causa da criao de
polticas de gesto que fomentam o uso de critrios de livre mercado na escolha da
escola dos filhos. De novo, h a necessidade de distinguir entre as informaes
divulgadas de acordo com as metodologias empregadas na comparao das escolas.
67
2011. Fundao Victor Civita. Todos os direitos reservados.
o grau de relevncia dos resultados para que o ensino se beneficie do aumento no
interesse dos professores e dos efeitos backwash positivos.
68
2011. Fundao Victor Civita. Todos os direitos reservados.
professor um elemento indispensvel no conjunto de informaes utilizadas. Mesmo
assim, a discusso bastante disseminada sobre a possibilidade de incluso dessas
informaes sugere que tal tipo de poltica possa surgir no nosso meio a qualquer
momento (DANTAS, 2009).
69
2011. Fundao Victor Civita. Todos os direitos reservados.
6. O Uso da Avaliao na Gesto da Educao nos Estados
71
2011. Fundao Victor Civita. Todos os direitos reservados.
identificao mais ntida dos problemas das escolas. At o final da mesma dcada, os
alicerces de um sistema nacional de avaliao j haviam sido criados (GATTI, 2002 ).
72
2011. Fundao Victor Civita. Todos os direitos reservados.
escolas de controle que tenham as mesmas caractersticas que as escolas do
programa, mas que mesmo assim no tenham sido contempladas.
73
2011. Fundao Victor Civita. Todos os direitos reservados.
proficincia no 5 ano do Ensino Fundamental entre 2008 e 2009, quando comparadas
com as demais escolas da rede estaduais e da rede municipal (CEAR, s.d.). Em
contrapartida, outros dois estudos pela mesma Secretaria, um sobre a Gesto
Integrada da Escola Gide, e outro fazendo uma avaliao de impacto do Projeto
Escola do Novo Milnio Penm, no usaram dados produzido pelo Spaece, apesar de
estabelecer como critrio para o sucesso desses programas a sua contribuio para a
melhoria efetiva dos indicadores de rendimento escolar e desempenho acadmico
(ECOSTRAT, 2008).
74
2011. Fundao Victor Civita. Todos os direitos reservados.
pesquisadora compara o desempenho no Saresp de alunos de escolas em que todos os
professores passaram pelo curso de um ano de durao com alunos de escolas cujos
professores no fizeram o curso, os resultados so mais claros. Quando h um nmero
de casos suficientes para fazer a comparao entre os grupos de tratamento e
controle, a vantagem dos alunos cujos professores fizeram o curso mais clara,
sobretudo em escolas do interior do estado (BAUER, 2011).
Em nenhum dos casos de avaliao de programas baseada nos dados dos sistemas
estaduais de avaliao, encontramos o uso das informaes para determinar a
mudana ou a continuidade do programa em questo. Caso houvesse esse tipo de
consequncia, poderamos fazer um paralelo com as avaliaes dos programas
75
2011. Fundao Victor Civita. Todos os direitos reservados.
compensatrios dos Estados Unidos, onde a continuidade do financiamento dependia
de resultados satisfatrios. Nesses casos, pode-se dizer que a avaliao de programas
high stakes e desenhada para responsabilizar as autoridades educacionais e as
equipes escolares pelos resultados dos alunos participantes.
Ento esse uso [da avaliao] de orientar polticas, ele mais antigo, n? E
em alguma medida ele um uso genrico. Mesmo quando eu fao
derivaes para usar como sistema de incentivo de professores, [...] ou para
estratgias de ensino, na verdade eu estou sempre reorientando polticas e
programas. Vamos dizer assim, esse o uso primeiro e mais preciso da
avaliao, n? (Gestor: SEE/CE)
Como voc implementa vrias coisas ao mesmo tempo, voc tem que ter o
efeito de uma ao sobre a outra tambm. [...] Por exemplo, como a
poltica de EJA interfere no desenvolvimento do Ensino Mdio, [...] como
que a Educao profissional altera os indicadores e o desempenho dos
76
2011. Fundao Victor Civita. Todos os direitos reservados.
alunos no Ensino Mdio e assim por diante. Tem os cruzamentos das
polticas e s vezes o efeito de um contrrio sobre o outro. Por exemplo,
[...] como a poltica foi muito forte no aumento de vagas e de oportunidade
de EJA, a taxa de concluso do Ensino Mdio diminua. [...] os meninos
esto indo para a EJA? Ento, analisar esses efeitos e ver tambm o efeito
sobre quem foi para a EJA. O desempenho melhorou ou piorou? T certo.
Tudo bem, aumentou a taxa de concluso. Ento no seria possvel voc
estar permanentemente fazendo essa adequao, ajustando as aes que
voc estava implementando a cada ano, se voc no tivesse uma
informao muito precisa sobre o que andava acontecendo. (Gestor:
SEE/MG)
77
2011. Fundao Victor Civita. Todos os direitos reservados.
informaes consistentes, confiveis, vlidos e comparveis para
responder basicamente a duas questes: Qual a qualidade da Educao
oferecida no pas? Em que condies ela se realiza? Alm de um programa
de testes, as avaliaes em larga escala coletam informaes para analisar
o contexto no qual se d a aprendizagem dos alunos - essencial para
qualquer proposta de melhoria de qualidade. (FONTANIVE; KLEIN, 2000) (p.
411)
78
2011. Fundao Victor Civita. Todos os direitos reservados.
Saresp consegue corrigir uma falha do Ideb e promover uma equidade maior nas
estratgias de melhoria das escolas.
79
2011. Fundao Victor Civita. Todos os direitos reservados.
Na busca pela melhoria dos indicadores da Educao, o Governo do Estado
do Amazonas implantou em 2008 o Sistema de Avaliao do Desempenho
da Educao do Amazonas - SADEAM, que objetiva ter um contnuo
monitoramento do sistema educacional, bem como subsidiar a gesto
institucional no que se refere s definies de polticas educacionais para
possveis correes de distores desse processo. No SADEAM foi
construdo o ndice de Desenvolvimento da Educao do Amazonas
IDEAM com o objetivo de possibilitar uma viso mais integrada do
desenvolvimento educacional do Estado, o qual est em consonncia com
o ndice de Desenvolvimento da Educao Bsica IDEB, cujo primeiro
resultado foi apresentado em 2009. (AMAZONAS, 2009)(p. 13)
80
2011. Fundao Victor Civita. Todos os direitos reservados.
Como palavras finais desta seo, oferecemos as falas de representantes de duas
Secretarias. Na primeira um tcnico da Secretaria de Educao de Minas Gerais d a
opinio que o uso da avaliao de desempenho naquele estado para o monitoramento
das escolas est inextricavelmente ligado ao modelo de gesto para resultados e que
no h como separar os efeitos motivadores do monitoramento dos efeitos da
interveno que decorre dele:
82
2011. Fundao Victor Civita. Todos os direitos reservados.
mais bem colocados nas avaliaes de resultados e formulou diversas metas
pensadas para levar o estado a essa posio. Entre as metas assumidas, constam a
elevao das mdias do 3 ano do Ensino Mdio do Saeb para 350 pontos em
portugus e 400 em matemtica, a elevao do Ideb das sries iniciais e finais do
ensino fundamental de, respectivamente 3,7 e 3,5 em 2005 para 5,9 em 2021, e o Ideb
no Ensino Mdio de 3,1 para 4,5. Se o Plano Estratgico Nova Escola ainda no
expressava suas metas em termos dos resultados do seu prprio sistema de avaliao,
Paebes, a incluso do projeto de avaliar sistematicamente as condies de
funcionamento das escolas e de desempenho dos alunos visando a obteno de
melhores resultados da aprendizagem deixa claro o quanto que o plano oferecia
respaldo s atividades de avaliao educacional e o quanto o esprito da avaliao
estava presente no pensamento dos planejadores.
85
2011. Fundao Victor Civita. Todos os direitos reservados.
decorrncia da melhoria do fluxo escolar (ALVES, 2007), e Klein, que mostra que a
proporo de alunos acima dos nveis satisfatrios em matemtica decresce com a
srie (KLEIN, 2006). O outro tipo de pesquisa que na ausncia de dados objetivos sobre
a aprendizagem dos alunos era vedado aos pesquisadores aquele que prope
identificar as caractersticas da escola e dos professores que mais incidem na produo
de bons e maus resultados. Por exemplo, Franco et alii indicam que no Brasil 39% da
varincia na proficincia em matemtica encontra-se entre escolas, enquanto, em
pases europeus e nos EUA, a varincia entre escolas usualmente est em torno de
20%. A alta porcentagem encontrada no Brasil um indicativo de que nosso sistema
educacional altamente estratificado, apresentando muita desigualdade entre as
escolas. Os pesquisadores tambm constatam a importncia de algumas
caractersticas escolares no desempenho mdio dos alunos. Os elementos que indicam
que a escola atribui nfase especial s questes acadmicas, como o uso de dever de
casa, bibliotecas na sala de aula e um bom clima disciplinar, apresentam efeitos
positivos no aumento do desempenho mdio das escolas (FRANCO et al., 2007).
O uso das bases de dados estaduais para esse tipo de pesquisa menos comum,
no havendo o mesmo empenho por parte das Secretarias de tornarem pblicos os
resultados das avaliaes. Uma exceo a linha de pesquisa desenvolvida pelo CAEd
desde 2002 com base nos dados do sistema mineiro de avaliao Simave. Em vrias
publicaes, Soares e colaboradores tm avanado na compreenso de fatores
associados aprendizagem e ao uso de diferentes modelos estatsticos para o estudo
hierrquico dos fenmenos escolares, mostrando a progressiva sofisticao conceitual
e metodolgica da pesquisa em efeito escola (SOARES, 2003; 2005; SOARES; TEIXEIRA,
2006). Estudos equivalentes realizados com base nos resultados do Saresp tambm
tm contribudo para a criao de um corpo de evidncias a respeito das
caractersticas da escola eficaz naquele estado.
86
2011. Fundao Victor Civita. Todos os direitos reservados.
6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as
Estratgias de Formao Continuada
Mas como essa dimenso pedaggica vem sendo trabalhada dentro desses
programas? Quais as estratgias tpicas das Secretarias para municiar as escolas e os
professores com as informaes que precisam para tornar a avaliao externa um
subsdio para a melhoria da sua prtica?
87
2011. Fundao Victor Civita. Todos os direitos reservados.
De incio uma produo bastante rudimentar, pouco a pouco o Boletim
Pedaggico passou a ser percebido como um instrumento rico de apoio pedaggico
quando bem construdo. Com a aprendizagem acumulada com base no ensaio e erro,
sobretudo no mbito dos programas pioneiros no Brasil (como os de Minas Gerais, So
Paulo e Cear), os gestores passaram a dar mais destaque produo desse material,
tal como percebemos na fala de alguns entrevistados:
Uma coisa tambm que a gente passou a trabalhar muito assim de 2007
pra c foi essa questo da forma de divulgao dos resultados, quer dizer a
88
2011. Fundao Victor Civita. Todos os direitos reservados.
gente no s melhorou o boletim, mas quando o boletim chega, primeiro
feito uma oficina geral com a empresa que ganhou com todos os
especialistas dos rgos das regionais. Ento todas as regionais mandam
os seus tcnicos para c, e cada municpio manda 2 tcnicos tambm que
coordenam o programa [...] e a gente apresenta o boletim, faz a primeira
leitura com ele, a primeira compreenso do material que foi produzido,
discute a lgica que est embutida naquele material. (Tcnico/SEE-CE).
(...) todos eles sabem pegar o boletim e ler aquele resultado. As cores
ajudaram muito. De longe, quando voc coloca o resultado de um
municpio, eles j percebem logo quantos alunos esto em cada nvel,
quantos esto numa situao no alfabetizada, quantos esto numa
alfabetizao incompleta. A gente tentou dar ao boletim uma cara mais
objetiva e fcil de ser compreendida pelo professor e pelos tcnicos do
municpio, que tm uma grande deficincia de trabalhar com os indicadores
educacionais. (Tcnico/SEE-CE).
Esse material devolutivo procura dar uma resposta ao compromisso de fazer dos
sistemas de avaliao um servio de melhoria do ensino, por meio da devoluo dos
resultados da avaliao para as escolas, de modo que esse material possa servir como
um instrumento para melhorar a prtica pedaggica nas escolas:
89
2011. Fundao Victor Civita. Todos os direitos reservados.
Uma parte do crdito pela melhoria progressiva dos materiais devolutivos
deve ser atribuda s prprias agencias de avaliao, como o CAEd, Cespe e Cesgranrio.
Incentivadas pelas Secretarias de Educao que so seus clientes, essas organizaes
experimentaram diferentes contedos e formatos ao longo dos anos e puderam
verificar o grau de acerto das diferentes maneiras de apresentar as informaes por
meio dos contatos diretos com professores e tcnicos. Quando chamadas para atender
a novos clientes ou a retomar avaliaes suspensas temporariamente, tais agncias
puderam oferecer um produto que incorporava a aprendizagem de muitos anos,
permitindo que as novas avaliaes principiassem em patamares mais sofisticados.
90
2011. Fundao Victor Civita. Todos os direitos reservados.
A despeito dos problemas levantados, o Boletim est sendo utilizado pela
equipe pedaggica das Secretarias para otimizar pedagogicamente os resultados da
avaliao. Na tentativa de transformar o produto (resultado) em processo (melhores
prticas), os Boletins Pedaggicos parecem colocar em questo o seguinte desafio: o
que fazer e como fazer se baseando na evidncia dos resultados?
[...] a primeira deciso que a gente tomou aqui foi a de quem leva e quem
explica o resultado o pedaggico. Ns no vamos mais, enquanto
gerncia de avaliao, ficar levando os resultados para a escola, porque se
o pedaggico no encampa, se o pedaggico no entende, isso aqui no vai
servir para nada. (Gestora/SEE-ES)
[...] traduzir essa linguagem para que isso possa ser revertido
especificamente nas competncias e habilidades que essas crianas esto
demonstrando ou esto deixando de demonstrar, para que [o professor]
possa entender como que se faz a interveno pedaggica. Ento, a
gerncia de avaliao nos mobiliza com relao a esses dados e nos
permite [...] uma compreenso disso em nvel central e em nvel regional
por parte dos tcnicos. Entretanto, mais importante do que isso so as
reunies que a gente faz com os diretores, professores e pedagogos das
escolas para que eles entendam o que isso que est chegando l e de fato
faa sentido e eles possam utilizar pelo carter diagnstico que isso que
nos interessa, para que haja promoo da aprendizagem. (Tcnica/SEE-ES).
[...] a chave do sucesso de uma boa apropriao dos Boletins que ele seja
levado com algum do pedaggico para dentro da escola, para poder
91
2011. Fundao Victor Civita. Todos os direitos reservados.
acompanhar esse uso. Porque se a gente simplesmente colocar isso no site
e entregar o documento na escola, como muita gente faz, no poderamos
cobrar algum resultado com base nesta avaliao, entendeu? (Tcnica/SEE-
ES).
92
2011. Fundao Victor Civita. Todos os direitos reservados.
Grande parte dos Boletins, especialmente aqueles confeccionados pelo CAEd,
produz um material que vai alm da divulgao dos resultados: eles analisam formas
de interveno pedaggica com base na anlise da produo do material e apresentam
dados gerais da avaliao, bem como os resultados de proficincia para todas as
sries/anos e disciplinas avaliadas. Apresentam os resultados da escola: resultados de
acordo com a proficincia e a interpretao qualitativa desses por meio da escala de
proficincia. Os Boletins Pedaggicos costumam apresentar tambm os padres de
desempenho e a anlise pedaggica dos itens dos testes. Para discutir outro aspecto
essencial da dimenso pedaggica, o nvel socioeconmico dos alunos, o CAEd criou
outro documento, chamado Boletim Contextual. Ele informa os fatores intra e
extraescolares que interferem nos resultados dos estudantes e o ndice da eficcia da
escola, fator que permite entender o resultado do desempenho escolar, controlando o
nvel socioeconmico dos estudantes.
93
2011. Fundao Victor Civita. Todos os direitos reservados.
Outro exemplo interessante de uso do Boletim Pedaggico como uma tentativa
de chamar a ateno dos pais sobre a importncia dos resultados de avaliao da
escola e assim criar um canal de comunicao entre escola e famlia encontrado no
estado do Esprito Santo. No interior do Boletim Pedaggico, encontra-se um termo de
compromisso que deve ser assinado pelo Conselho da Escola, Diretor, Professor e Pais,
cuja assinatura representa a confirmao do compromisso de cada um desses
responsveis pelo processo de aprendizagem do aluno:
[...] o que a gente precisa detalhar um pouco mais que o boletim no vai
sozinho. O boletim ele uma ferramenta de mostrar o nmero frio, o
nmero, o resultado pronto e frio, e uma distribuio percentual desses
alunos numa escala de proficincia. Agora, o que que deve vir
acompanhando esses boletins? Os relatrios pedaggicos que, apesar de
no ser algo to inovador, creio que o grande diferencial para as escolas
do DF. So cadernos, livros de cada componente curricular avaliado, e para
cada srie. (Tcnico/SEE-DF)
94
2011. Fundao Victor Civita. Todos os direitos reservados.
Em geral, pode-se dizer que as propostas dos Boletins e materiais auxiliares so
muito parecidas, ainda que e o emprego da palavra Boletim seja polissmico, como
denotam as seguintes expresses utilizadas para o mesmo fim: guia de interveno,
relatrio, boletim, caderno etc.
95
2011. Fundao Victor Civita. Todos os direitos reservados.
aula dele. Ento um documento pedaggico. (Gestor/SEE-ES)
96
2011. Fundao Victor Civita. Todos os direitos reservados.
oferece aos professores do Cear a oportunidade de serem sujeitos e partcipes do
processo contido na avaliao.
97
2011. Fundao Victor Civita. Todos os direitos reservados.
tambm oferece uma indicao dos provveis impactos de um programa de avaliao
sobre a prtica dos professores quando acompanhado de apoio pedaggico direto.
Para medir o impacto desse trabalho, foi aplicado, entre os responsveis pelo
acompanhamento pedaggico nas escolas estaduais de So Joo Del Rey, um
questionrio no qual a pergunta central era: O Proalfa causa alguma espcie de
impacto na prtica dos professores das sries iniciais da rede estadual de ensino de
Minas Gerais? As analistas foram unnimes em reconhecer que a prtica da avaliao
oficial, como o Proalfa, impacta o trabalho docente. Em outra pergunta Como voc
percebe (ou avalia) o tipo de impacto que o Proalfa causa na prtica dos professores
das sries iniciais na rede estadual de ensino? , das nove analistas educacionais, sete
s apontaram aspectos positivos e duas indicaram tambm aspectos negativos. Em
relao aos aspectos positivos, destacamos alguns excertos das analistas educacionais:
(...) Acredito que todo professor tem um certo receio do Proalfa, uma vez
que ele reflete tambm o trabalho desenvolvido pelo professor do ano
letivo em curso. Por isso, nas escolas estaduais s quais atendo, a
proximidade das avaliaes do Proalfa 2008 levaram a uma mudana da
98
2011. Fundao Victor Civita. Todos os direitos reservados.
prtica dos professores no que diz respeito ao planejamento. Os
professores do 3 ano do ensino fundamental realizaram semanas de
intensives dos alunos com questes do Proalfa de anos anteriores. (ANE
A)
Nesses excertos, possvel verificar que um bom Boletim Pedaggico que versa
sobre a anlise dos resultados da avaliao acaba sendo uma fonte de apoio
interessante para o professor, que passa a ter uma medida do que est funcionando
ou no na sua prtica em sala de aula. A preparao para o dia dos testes tambm
exige por parte do professor um planejamento do contedo que ele est ministrando,
alm de contextualizar o que est sendo ensinado com base em um trabalho mais
dialgico entre a matriz curricular e a matriz de referncia da avaliao.
99
2011. Fundao Victor Civita. Todos os direitos reservados.
uma vez que o professor corre o risco de deixar de lado contedos igualmente
importantes para a formao do aluno, mas que, pelo fato de no serem cobrados nos
testes de avaliao, no seriam objeto de ateno por parte dos professores.
No caso aqui de Minas Gerais, voc tem muitos projetos, mas somente um
deles que usa [os resultados] especificamente como um ponto de partida,
ou seja, estabelece um diagnstico e agora vamos trabalhar, vamos traar
estratgias. (Tcnicos-SEE/MG)
O objetivo fazer com que as escolas com os piores resultados recebam visitas de
uma equipe pedaggica competente para discutir e trabalhar pontualmente as lacunas
observadas com os resultados da avaliao.
7
Modelado em programa quase homnimo do estado de Cear chamado Programa de Alfabetizao na
Idade Certa.
102
2011. Fundao Victor Civita. Todos os direitos reservados.
Foi ento montada uma equipe central e regional de apoio pedaggico,
desenvolvido um material didtico para servir de guia ao professor, especialistas,
diretores e grupo regional e, concomitante produo do material, oferecer uma
capacitao em servio a esses professores. Depois da construo da equipe e do
suporte para sua operacionalizao, foram definidas as metas de interveno e,
posteriormente, planejada a execuo e acompanhamento da interveno.
Pode-se dizer que essa constitui uma das estratgias mais bem definidas da
Secretaria de Educao de Minas Gerais, uma vez que, ao acompanhar as dificuldades
dos professores no domnio de certos contedos, a equipe desenvolve um trabalho de
capacitao individual dos professores baseado no resultado da avaliao dos alunos.
As metas de alfabetizao para o estado, ultrapassadas com folga, demonstram o xito
do PIP:
Ento na verdade quando voc v, por exemplo, que tnhamos uma meta
103
2011. Fundao Victor Civita. Todos os direitos reservados.
de 74 para proficincia de alfabetizao, vamos assim dizer, e ns
atingimos 86, alguma coisa melhorou, alguma coisa eles esto indo atrs. A
gente no sabe se realmente a interveno do PIP, isso a, a gente ainda
no sabe qual que a causa dessa melhora. Mas de 74 que era a nossa
meta e ns atingirmos 86, muita coisa n? (Tcnico/SEE-MG)
104
2011. Fundao Victor Civita. Todos os direitos reservados.
acompanhados de materiais curriculares e didticos, pode-se prever a diversificao
ainda maior de iniciativas desta natureza.
Mesmo no sendo o instrumento ideal para esse propsito, para muitos gestores
a extrao das lies sobre as dificuldades dos alunos contidas nas proficincias
fornecidas para as diferentes sries e matrias a contribuio principal da avaliao
para a melhoria da Educao.
Apesar desse voto de confiana no valor das avaliaes para usos pedaggicos,
patente a frustrao dos responsveis com os retornos dessa poltica.
105
2011. Fundao Victor Civita. Todos os direitos reservados.
No basta mandar um boletim para a escola, voc tem que mandar
informaes significativas que fazem sentido para a escola, essa a
primeira coisa. Ento a primeira mudana , que tipo de informao a
escola tem que receber? (Especialista: CAEd)
106
2011. Fundao Victor Civita. Todos os direitos reservados.
na divulgao dos resultados por meio de boletins se no existir um currculo bsico
comum, que permita construir um dilogo com o professor a respeito daquilo que est
sendo cobrado pelo sistema de avaliao. No caso de So Paulo, por exemplo, a
prpria introduo ao novo currculo deixa evidente este propsito:
107
2011. Fundao Victor Civita. Todos os direitos reservados.
de um domnio cada vez mais satisfatrio desses contedos pelos alunos
gera consequncias positivas na carreira docente de todo professor.
(Proposta Curricular CBC: http://crv.educacao.mg.gov.br)
108
2011. Fundao Victor Civita. Todos os direitos reservados.
Posteriormente, uma pesquisa constatou que a carga horria dedicada
efetivamente ao ensino das habilidades era mnima e que se precisava partir para a
produo de um currculo bsico calcado em contedos:
De certa forma o currculo do estado uma coisa meio que tocada. A gente
tem conhecimento de alguns estados que avanaram muito nessa questo
de socializar e trabalhar o currculo com o professor assim, sem essa
questo da autonomia escolar. Durante muito tempo essa questo do
currculo parecia ser uma coisa que no poderia ser tocada por uma
secretaria de Educao do estado, que a escola tinha que fazer o seu
currculo e, em nome disso, se perdeu muito [tempo]. (Tcnico: SEE/CE)
Eu diria que mesmo com o CBC ainda tem um bom espao para andar [....]
principalmente porque o professor no sabe o CBC. Esse o problema, ele
no sabe. (Especialista-MG)
Essa evoluo na poltica dos estados pde acontecer no contexto brasileiro pelo
fato de a avaliao educacional ter sado na frente e se estabelecido como um pilar da
poltica educacional sem uma evoluo correspondente na especificao das
110
2011. Fundao Victor Civita. Todos os direitos reservados.
expectativas de aprendizagem para cada nvel e contedo de ensino. Essa
correspondncia a que normalmente define a relao entre o currculo e a avaliao.
Na Inglaterra, por exemplo, a criao do primeiro sistema nacional de avaliao no
contexto da reforma educacional da dcada de 1980 aconteceu pari passu com a
definio do currculo nacional. Ou seja, o caminho do sistema de avaliao aberto
geralmente pela implantao de objetivos de ensino que precisam ser monitorados. A
avaliao nessa conjuntura serve tanto para ajudar a implantar o novo currculo como
para medir o sucesso das escolas na sua execuo.
111
2011. Fundao Victor Civita. Todos os direitos reservados.
direo certa que em algum grau podem ser atribudos ao fato de os sistemas de
avaliao terem sado na frente.
Dentro desse mesmo raciocnio, seguido tambm pelo governo britnico a partir
da reforma de 1998 (BALL, 2008; RANSON, 2008), indispensvel tornar pblicos os
resultados de cada escola por meio de alguma mtrica que permita aos pais fazer uma
comparao entre as escolas. Se a essa divulgao de informao se acrescenta uma
112
2011. Fundao Victor Civita. Todos os direitos reservados.
delegao de poder de deciso aos pais a respeito de qual escola pblica eles preferem
para seus filhos, cria-se o tipo de concorrncia entre as instituies, necessria para o
funcionamento de um mercado educacional livre. Na prtica, as restries so
inmeras e o mercado funciona de uma forma imperfeita e irregular, mas a divulgao
de informao mesmo em um quase-mercado continua sendo um elemento forte da
poltica de livre escolha da escola (school-choice).
No foi nos Estados Unidos que a ideia do vale-Educao encontrou seu primeiro
teste, mas no Chile, durante o perodo da ditadura. Com a fora de um regime
autoritrio e de poderes extraordinrios, a gesto de todas as escolas pblicas foi
descentralizada para o nvel municipal, os professores foram desfiliados do governo
central, foram introduzidos instrumentos de financiamento baseados na ideia da
subveno, ou seja, a distribuio de verbas de acordo com o nmero de alunos
matriculados, e criaram-se os instrumentos e incentivos para os pais exercerem seu
direito de gastarem os vales-Educao nas escolas da sua escolha. Foi institudo o
Simce, o sistema nacional de avaliao educacional, e iniciado o processo de
publicao e divulgao dos resultados escola por escola. E, pela relao entre as
escolhas dos pais, a matrcula dos alunos e o sistema de financiamento per capita,
criou-se o primeiro exemplo de um sistema de divulgao high stakes na Amrica
Latina.
113
2011. Fundao Victor Civita. Todos os direitos reservados.
professores (TAYLOR; NGUYEN, 2006). Em reconhecimento aos problemas inerentes
ao uso de dados brutos, aps dez anos da poltica de Tabelas de Desempenho de
Escolas, o governo britnico introduziu indicadores de valor agregado para todas as
escolas pblicas. O indicador foi construdo com base no clculo do desempenho
esperado do aluno, levando em considerao seu desempenho na fase escolar
anterior. A diferena entre o desempenho esperado e o desempenho atingido a
medida do valor agregado pela escola ou para mais ou para menos da mdia nacional.
Por muito tempo, a disseminao dos resultados dos sistemas estaduais seguia
outra lgica. Na sua maioria, esses sistemas eram vistos pelos seus criadores
exclusivamente como instrumentos internos de gesto, e no como uma oportunidade
para a prestao de contas a um pblico com direito a informaes transparentes
sobre a qualidade da Educao. As polticas de divulgao se restringiam aos boletins
para os professores e a outros poucos documentos internos.
Uma das possveis razes pela falta de informao nos sites das Secretarias tem a
ver com a relao terceirizada entre o rgo pblico e a agncia responsvel pela
avaliao. No Brasil, so quatro ou cinco as principais agncias e empresas que
oferecem o servio de produo, aplicao e anlise dos testes previstos pela
legislao estadual que institui os sistemas de avaliao. De longe a maior dessas
agncias, o Centro de Polticas Pblicas e Avaliao da Educao CAEd, ligado
115
2011. Fundao Victor Civita. Todos os direitos reservados.
Universidade Federal de Juiz de Fora, oferece alguma informao no seu prprio site
sobre as avaliaes realizadas. A impresso, no entanto, que essa atividade de
divulgao ocupa um lugar secundrio para o CAEd, mesmo nos casos em que h o
pedido explcito da Secretaria da Educao. Se as prprias Secretarias fossem as
responsveis diretas pela anlise dos resultados e pela produo dos diversos textos
que so distribudos para as escolas, provvel que houvesse uma melhora na
qualidade e diversidade das informaes nos seus sites.
116
2011. Fundao Victor Civita. Todos os direitos reservados.
download a Matriz de Referncia para Avaliao, os Relatrios Pedaggicos Siade 2009
e um conjunto de apresentaes para ajudar na utilizao dos instrumentos de
avaliao e a interpretao dos resultados. Pelo fato de a Secretaria de Educao do
DF ter expandido seu sistema de avaliao para incluir a si mesma, do ponto de vista
tanto das suas polticas como da oferta da Educao, encontram-se entre os diversos
documentos a Sntese da Anlise dos Indicadores de Polticas Pblicas e a Sntese da
Anlise dos Indicadores de Gesto. Chamam a ateno os dois documentos por
conterem os checklists de todos os indicadores usados na avaliao da atuao do
governo na conduo de suas polticas e na gesto do sistema. Ainda mais
surpreendentes so as verses impressas de todos os diferentes documentos
encontrados no site, produzidas com capricho para a distribuio pblica.
117
2011. Fundao Victor Civita. Todos os direitos reservados.
s vezes, as informaes fornecidas ficam at incompletas justamente para
prevenir qualquer risco desse tipo de comparao. A imprensa, no entanto, tem outras
ideias:
118
2011. Fundao Victor Civita. Todos os direitos reservados.
Secretarias fazem bem em no permitir a divulgao de informaes que possam
facilitar o ranqueamento de escolas.
Outra modalidade de divulgao diz respeito ao uso dos resultados das avaliaes
como um elemento de propaganda poltica. Foram encontradas peas dessa natureza
em Minas Gerais, onde, no perodo anterior s eleies estaduais de 2010, foram
distribudos documentos pdf contendo informaes positivas sobre os avanos da
Educao no estado. Um desses documentos, intitulado Choque de Gesto e
Educao, se dedica a mostrar os avanos da Educao como consequncia do novo
modelo de gesto pblica. Ao falar dos avanos, d-se destaque ao aumento de 48,6
para 72,6% na proporo de alunos com nvel recomendado em leitura e escrita entre
2006 e 2009, sendo essas informaes derivadas dos testes Proalfa do sistema
120
2011. Fundao Victor Civita. Todos os direitos reservados.
estadual de avaliao. Em outro documento, de julho 2010, a Secretaria procura
mostrar a situao excepcional do Ideb de Minas Gerais, em comparao com os
outros estados. Dados mostravam que nas series iniciais em 2009, 94,8% das escolas j
alcanaram a meta do Ideb para 2011, que Minas passou do 3 lugar para 1 lugar em
portugus e matemtica, que das 149 escolas do pas com Ideb 7, 73,2% estavam em
Minas Gerais, que das 500 escolas com o Ideb mais alto, 63,6% estavam em Minas
Gerais, e assim por diante.
8
No municpio de Sobral, houve 34,7% de aumento no Ideb nas sries iniciais entre 2007 e 2009.
121
2011. Fundao Victor Civita. Todos os direitos reservados.
O que ganha mais visibilidade hoje o prmio Escola Nota 10. Tanto que na
solenidade de entrega o ministro veio. Aquela coisa. Foi feita com todos os
prefeitos presentes, os secretrios municipais. Ele ganhou uma dimenso
em termos de ser algo pomposo para a escola que ganhasse, o municpio
ter uma escola que ganhasse. Na primeira edio foi no centro de
conveno do estado que vieram todos os prefeitos e realmente foi um
evento. Tem sido feito assim com uma grande solenidade para a concesso
desse prmio. Nas edies anteriores era algo muito limitado. No governo
Lcio, por exemplo, o prmio de Escola Destaque no mximo eram
convidados diretores das escolas dos estados. (Tcnico: SEE/CE)
122
2011. Fundao Victor Civita. Todos os direitos reservados.
A concluso a que se chega que a avaliao educacional faz parte de um
movimento que, ao promover a melhoria dos resultados da escola, est propiciando
ganhos polticos pelos gestores dos sistemas de Educao. Nesse cenrio, a avaliao
que fornece as informaes sobre os avanos do sistema que ao serem divulgadas
angariam os apoios desejados, tanto em termos de colaborao como em termos
eleitorais. Se a Educao nos estados continuar a melhorar e se o interesse da
populao no assunto da qualidade da Educao continuar a crescer, pode-se esperar
um volume cada vez maior de informao nos sites das secretarias, em inseres na
televiso e em publicaes de diversos tipos. No h duvida de que a circulao de
maiores informaes e a divulgao de resultados educacionais com propsitos
polticos traro benefcios para a qualidade da Educao pblica.
123
2011. Fundao Victor Civita. Todos os direitos reservados.
da Qualidade da Educao (Simce) em maro de 1990, na volta da democracia chilena
aps 17 anos de ditadura, e at poucos anos atrs ainda orientava atividades e
recursos do Ministrio da Educao desse pas (GARCIA-HUIDOBRO, 2006).
124
2011. Fundao Victor Civita. Todos os direitos reservados.
DESARROLLO, 2000). O impacto do programa foi maior no seu perodo inicial, entre
1990 e 1992 e, de novo, entre 1996 e 1999, conseguindo diferenas entre as escolas
do programa e as outras escolas do sistema superiores a 3 pontos numa escala
parecida com a do Saeb. No perodo intermedirio, as diferenas diminuram devido
ao apoio dado pelo Ministrio a outras escolas do pas por meio das numerosas aes
do Programa de Melhoramento da Qualidade e Equidade da Educao Bsica, tambm
distribudas de acordo com o rendimento das escolas no Simce.
Um novo programa, chamado Mejor Escuela, que atende escolas com baixo
rendimento instaladas em regies de vulnerabilidade social, recupera alguns dos
critrios do P-900. O foco do novo programa gira em torno do cumprimento dos
objetivos previstos pelo currculo nacional do Chile e oferece materiais pedaggicos
aos professores e treinamento no uso de mtodos prticos apropriados s clientelas
atendidas. Resultados do Simce mostram o sucesso da estratgia com aumentos de 6
pontos em lngua e 8 em matemtica aps quatro anos (O Estado de S.Paulo,
4/4/2011).
126
2011. Fundao Victor Civita. Todos os direitos reservados.
de Educao do Rio Grande do Sul em 2010 para a identificao de escolas com
resultados insuficientes para receber apoio do poder pblico e replanejamento de
sua gesto e ao pedaggica; uma distribuio de recursos e aes pela Secretaria de
Educao de Minas Gerais para favorecer as escolas da regio Grande Norte do estado,
identificada como detentora dos piores resultados no Simave; e outra poltica de
Pernambuco chamada Certificao de Padres Base. Nesse caso, trata-se de um
processo de implantao e manuteno de um padro fsico de funcionamento das
221 escolas com o pior resultado no Idepe de 5 a 8 srie. Com dinheiro do Banco
Mundial e por meio da gerncia geral de engenharia da prpria Secretaria, prope-se
que as escolas atinjam um padro de ventilao, iluminao, salas, carteiras, material
etc. e recebam os recursos e o apoio para a manuteno desse padro.
Veja bem, o prefeito que nunca ligava para a Educao hoje ele est louco
aqui ligando pra gente o tempo todo, por qu? Por que tem o ICMS
atrelado ao resultado do 2 e 5 ano tambm. (Tcnica: SEE/CE)
127
2011. Fundao Victor Civita. Todos os direitos reservados.
Outra consequncia, menos interessante, tem sido a perda de receita da capital
por causa das caractersticas da populao, que confirma que a distribuio da receita
do ICMS com base em um critrio aparentemente meritocrtico um jogo de soma
zero:
...a gente viu agora em Fortaleza como tem perdido mais com isso por que
Fortaleza tem as adversidades maiores [...] mais difcil colocar os meninos
nessa mobilizao. No interior os prefeitos conseguem que os meninos
tenham participao de 100%, ou seja, no falta nenhuma na prova.
(Tcnica: SEE/CE)
128
2011. Fundao Victor Civita. Todos os direitos reservados.
realidade dessas escolas. Conforme as regras, foram aplicados 40% para a melhoria da
estrutura fsica, 40% para a compra de materiais pedaggicos e equipamentos
tecnolgicos e 20% para a realizao de eventos educacionais.
Em 2009, com base nos resultados do Spaece de 2008, foi beneficiado o total de
300 escolas entre premiadas e adotadas. No ano seguinte, na Solenidade da 2 Edio
da Entrega do Prmio Escola Nota 10, realizada no Centro Administrativo com a
presena do ministro da Educao e da maioria dos prefeitos, foram beneficiadas mais
300 escolas com os mesmos valores que no ano anterior. Na mesma ocasio, tambm
foram agraciados com trofu os prefeitos de 83 municpios, entre os 184 municpios
cearenses que atingiram o Nvel Desejado, com a mdia de 150 pontos ou mais na
prova Spaece-Alfa. Pelo menos na opinio dos governantes, o simbolismo do prmio,
carregado do prestgio de um evento que conta com a presena do ministro, tem valor,
na poltica do estado, de concentrar as atenes nos resultados dos alunos.
130
2011. Fundao Victor Civita. Todos os direitos reservados.
escolha das escolas adotadas e os usos do dinheiro. Na opinio de um gestor,
importante obrigar a escola premiada a se relacionar com escolas distantes e no se
acomodar com escolas mais prximas. Na opinio de um tcnico, a poltica melhoraria
se a premiao fosse menor, porm estendida a um nmero maior de escolas.
O efeito prmio ele foi muito mais forte no grupo das 148 escolas que
foram apoiadas. Ento a gente percebeu uma evoluo muito maior das
escolas que estavam num nvel baixo e passaram para o alto. Ao todo, das
148 foram 107 escolas que receberam a segunda parcela. Ento foi um
nmero altssimo das escolas que conseguiram crescer e atingir a meta 5. E
tivemos 8 que saram do status de apoiada de 2009 e em 2010 foram
premiadas e esto entre as 150 melhores do estado. Elas operaram uma
grande mudana. (Tcnico: SEE/CE)
131
2011. Fundao Victor Civita. Todos os direitos reservados.
Apesar da expanso do projeto para o total de 581 escolas com base nos
resultados do Proeb, ainda no existem avaliaes mais detalhadas desse modelo de
gesto. O que se encontram so dissertaes e outros estudos que focam aspectos da
estratgia, como o instrumento utilizado na formao continuada dos professores, o
PDP (FIGUEIREDO, 2007), o sistema de planejamento, o PDPI, e o papel do gestor
(REZENDE, 2010). Em estudo ainda em andamento, prope-se comparar os ganhos dos
alunos das escolas referncia e suas escolas associadas com escolas no includas no
projeto (PEREIRA, 2011). A grande questo desse estudo diz respeito justia em
concentrar esforos em um subconjunto de escolas em condies de se tornarem
escolas de excelncia, em vez de estender os benefcios dos investimentos a todas as
escolas da rede. Para responder a essa pergunta, preciso avaliar o possvel efeito de
demonstrao ao estabelecer um padro de qualidade e desempenho para toda a rede
por meio do exemplo de algumas escolas e o impacto nas escolas associadas da sua
proximidade com essas escolas de excelncia.
133
2011. Fundao Victor Civita. Todos os direitos reservados.
Ensino Mdio. No Chile e no Brasil, os resultados dos sistemas de avaliao no so
usados para classificar ou certificar o aluno e muito menos para influenciar seu futuro
no mercado de trabalho. Portanto, as consequncias criadas pelos sistemas de
premiao/incentivos desses pases so decorrncias secundrias dos resultados do
processo escolar que nos dizem mais sobre a viso dos gestores a respeito da
motivao do professor, e menos sobre a qualidade de Educao da escola. verdade
que nos Estados Unidos as consequncias se estendem tambm para as escolas e seus
professores mediante as polticas de interveno naquelas escolas que demonstram
um progresso anual insuficiente, mas mesmo nesses casos o indicador de qualidade ou
a falta dela so as taxas de graduao dos alunos. Nos casos brasileiro e chileno, o
indicador que se produz ao final dos clculos determina se a escola premiada ou no
e qual o nvel de premiao alcanada. Por mais sofisticada que seja a metodologia de
clculo, esse indicador bem menos transparente que a taxa de graduao.
Com essas diferenas em mente, convm fazer a distino de acordo com o nvel
em que a poltica de responsabilizao incide no processo escolar, em nvel do aluno,
do professor ou da escola. Com essa distino, pode-se dizer que as polticas
134
2011. Fundao Victor Civita. Todos os direitos reservados.
brasileiras de responsabilizao so direcionadas quase exclusivamente s escolas,
havendo s um registro, no caso de Sobral, no Cear, onde, alm de dar prmio
escola, a poltica de responsabilizao identificava e premiava professores
alfabetizadores individuais.
O segundo passo foi a escolha dos pontos de corte das proficincias do Saresp
para os quatro nveis. Encontrou-se uma distribuio de referncia por meio da
137
2011. Fundao Victor Civita. Todos os direitos reservados.
comparao do desempenho dos alunos brasileiros com o desempenho dos alunos de
um grupo de pases participantes do Pisa de 2000. Mediante a comparao da
distribuio da pontuao dos dois grupos e o clculo da diferena em desvios padro
foi possvel criar uma distribuio ideal das pontuaes para o Saeb. Com base nessa
distribuio, e a deciso de colocar aproximadamente 25% dos alunos no nvel
avanado e outros 25% no nvel bsico, chegou-se a duas tabelas com a definio dos
pontos de corte para cada nvel para 4, 8 e 3 e para leitura e matemtica do Saresp.
O significado desses passos se revela com a frmula para o clculo do Idesp para
cada escola. Ao mesmo tempo em que o Idesp mantm a ideia bsica do Ideb de
agregao dos indicadores de fluxo e desempenho, ele tambm incorpora a dimenso
de equidade no indicador de desempenho ao mudar a maneira de clculo do primeiro
fator, passando a utilizar um indicador baseado nos percentuais de alunos nos
diferentes nveis. O indicador de desempenho usado no Idesp obtido calculando-se
primeiramente a defasagem mdia dos alunos da escola em relao ao nvel avanado.
Para isso, atribuem-se aos alunos classificados no nvel Abaixo do Bsico, Bsico,
Proficiente e Avanado respectivamente trs, duas, uma e nenhuma defasagem. A
defasagem do sistema ou escola definida como a mdia ponderada das defasagens
de cada nvel, tomando como peso a porcentagem de alunos em cada nvel. Para
transformar essa medida de defasagem em um indicador similar ao Ideb, foi
necessrio transform-la em um nmero que assume valores entre 0 e 10, sendo
atribudo pior escola o valor 0 e melhor escola o valor 10. Isso obtido pela
aplicao da seguinte frmula: Indicador = (1 - (Defasagem/3))*10
Escore 0 2 6 8 10
140
2011. Fundao Victor Civita. Todos os direitos reservados.
um valor mximo arbitrado em 10. A escola com nvel socioeconmico mais alto teria
um ndice de esforo 5, enquanto a escola com o nvel socioeconmico mais baixo
teria o ndice 10. Usando a mesma lgica em relao aos nveis de ensino da escola, e
pressupondo o aumento de esforo na medida em que os alunos avanam desde as
primeiras sries do ensino fundamental at o Ensino Mdio, calcula-se o esforo total
da escola levando em considerao a composio do corpo estudantil por nvel de
ensino. A definio do modelo para o clculo e o pagamento da bonificao das
escolas premiadas tambm foi objeto de discusso detalhada para evitar certos
inconvenientes, incluindo o risco de fomentar um ranqueamento das escolas e a
prtica dos professores de procurarem transferncias para as escolas mais bem
classificadas. O pagamento da bonificao ao individuo condicionado a uma
frequncia mnima, como em So Paulo.
Para determinar a proporo da meta que foi atingida pela escola, feito um
clculo em duas etapas, segundo Ferraz (FERRAZ, 2009). Calcula-se primeiro um ndice
que represente o quanto a escola deveria melhorar para cumprir a meta o ndice de
Cumprimento (IC) e depois o ndice de Progresso (IP), para estimar o quanto a escola
efetivamente progrediu. A mdia para cada srie ponderada pela proporo de
alunos em cada ciclo. Finalmente, a proporo da meta global atingida pela escola
calculada pela diviso do que a escola efetivamente atingiu, o IP, pelo ndice de
141
2011. Fundao Victor Civita. Todos os direitos reservados.
cumprimento das metas, o IC. A remunerao por desempenho paga somente para
aquelas escolas em que o ndice de cumprimento global seja pelo menos de 50%.
142
2011. Fundao Victor Civita. Todos os direitos reservados.
prepararam as metodologias para o clculo do bnus, mas ainda no fizeram o
primeiro pagamento9. Essa demora se deve deciso de deixar passar o perodo
eleitoral de 2010 e aguardar as orientaes dos novos Secretrios de Educao. As
incertezas desse perodo, que se estendeu pelo primeiro semestre de 2011, dificultou
a pesquisa de campo e tornou necessrio restringir as entrevistas discusso das
polticas dos governos cujos mandatos tinham terminado. As mudanas j efetuadas
ou ainda em curso nas polticas educacionais de diversos estados a partir da chegada
dos novos governantes levam a crer que algumas das observaes dos pesquisadores
descritas a seguir possam estar j desatualizadas.
Cear
No caso do Cear, cabe esclarecer que o prmio Escola Nota 10, j apresentado na
categoria Alocao de Recursos, tambm ser estudado aqui pelo fato de parte do
prmio ser destinado aos professores. Conforme o Manual de Orientaes para
Elaborao, Execuo e Prestao de Contas do Plano de Aplicao dos Recursos
Financeiros do Prmio, documento de 63 pginas, dos 75% do valor total do prmio
recebidos na primeira parcela, as escolas podem destinar at 20% para bonificar os
professores do 2 ano do Ensino Fundamental; profissionais do ncleo gestor e demais
profissionais lotados na escola, no ano de referncia da premiao. Do resto do
prmio, at 70% destinado para aquisio de materiais de apoio pedaggico,
material permanente, formao continuada e adequaes dos ambientes fsicos da
9
No caso de Espirito Santo, o Bnus foi regulamentado em 31/5/11 e o primeiro pagamento, referente
ao ano de 2010, est programado para julho de 2011.
143
2011. Fundao Victor Civita. Todos os direitos reservados.
escola e outras aes que contribuam para a melhoria da qualidade do ensino e da
aprendizagem dos alunos, e at 20% destinados a deslocamento, alimentao e
hospedagem para a equipe escolar com o objetivo de desenvolver aes de
cooperao tcnico-pedaggicas junto escola apoiada. Dentre os limites fixados pela
legislao, a escola fica livre para seguir seus prprios critrios, at na forma de
calcular e fazer a distribuio da bonificao.
10
Em 2001, o projeto chamado Tempo de Avanar, que utilizou o telecurso 2000 da Fundao Roberto
Marinho para implantar 2 mil turmas de alfabetizao com alunos fora de idade escolar, foi a primeira
experincia com a poltica de premiao. De acordo com os resultados na Prova de xito, ao final do
curso foram premiados os professores dos alunos com o melhor desempenho.
11
Poltica similar institudo na cidade do Rio de Janeiro para homenagear e valorizar os alunos que
obtiveram as melhores notas em Portugus e Matemtica vai premiar os cinco melhores alunos de
cada disciplina dos dois anos avaliados com uma bicicleta.
145
2011. Fundao Victor Civita. Todos os direitos reservados.
estados como Cear que tem sistemas de premiao que j tem mais de 10
anos e o estado continua usando. Ou seja, pelo menos no nvel de uma
apreciao mais subjetiva de impacto desses programas eles esto
achando que eles tm razo que esses sistemas produzem bons resultados.
Agora esto aplicando inclusive para os alunos, dando prmios aos alunos
que saem com os melhores resultados e eles vem impactos instantneos.
(Especialista: UFMG)
Eu acho que essa ideia [do prmio], ela persiste porque as pessoas se
comportam diferentemente, tem nveis de compromisso e nveis de
competncias diferentes. Quem tem nvel de competncia diferente precisa
s vezes ser incentivado internamente para adquirir a competncia que no
tem. E quem no tem compromisso precisa saber que, ou passa a ter
compromisso ou passa a ter, vamos dizer assim, um tratamento
diferenciado em relao a quem tem. Que quem tem merece mais que
quem no tem. (Gestor: SEE/CE)
146
2011. Fundao Victor Civita. Todos os direitos reservados.
de premiao melhor do que nada, porque ns precisamos quebrar a
inrcia dessa indiferena pelos resultados. (Gestor: SEE/CE)
147
2011. Fundao Victor Civita. Todos os direitos reservados.
Outros problemas incluem a transferncia branca de alunos para outras escolas
para tentar se livrar de alunos de desempenho mais baixo e a insatisfao criada pela
presso irreal do prmio Aprender pra Valer, que estipula um crescimento de no
mnimo 7% ao ano na mdia de desempenho da escola, independentemente do
patamar j alcanado:
148
2011. Fundao Victor Civita. Todos os direitos reservados.
desempenho. Ento talvez o efeito psicolgico do prmio, do fato de ter o
prmio e ter a publicizao do resultado e a escola ser conhecedora que
est numa situao crtica e tudo mais. Talvez isso tenha gerado um
movimento interno na escola de tentar rever o seu projeto e tentar rever
suas prticas. Talvez muito mais do que o efeito do dinheiro que chegou
a essa escola ou mesmo o efeito da cooperao tcnica da apadrinhada
que chegou a essa escola. (Tcnico: SEE/CE)
Mesmo assim, nem todas as escolas premiadas conseguem manter suas mdias
para justificar o recebimento da segunda parcela da premiao, equivalente a 25% do
total. Das 148 premiadas em 2009, 75 no receberam a segunda parcela por no
manterem o IDE-Alfa da escola no mesmo nvel e mais 12 pelo fato de suas escolas
apoiadas no alcanarem o ndice de 5 nessa mesma escala.
Por que antes os alunos do Ensino Mdio muitos deles nem sequer liam a
prova. Marcavam qualquer letra, queriam se ver livre pra logo ir embora.
Alguns que sabiam que ia ter avaliao nem iam naquele dia por que eles
no so obrigados a fazer a prova. A gente no tem como obrigar o aluno a
fazer a prova, n. E agora na aplicao a gente observou o aluno
questionando com o aplicador o tempo da aplicao. Ento houve uma
mudana de paradigma do aluno ao fazer o teste por que ele estava
querendo, ele estava brigando pra fazer o teste, no era mais o aplicador
tentando convenc-lo a ficar na cadeira e a reler o teste de novo. (Tcnico:
SEE/CE)
149
2011. Fundao Victor Civita. Todos os direitos reservados.
que por motivos alheios tm perdido alunos por abandono ou transferncia. Nesses
casos, escolas com desempenho inferior podem chegar a receber a premiao por no
ter sofrido a mesma perda de alunos. H relatos de funcionrios das escolas viajarem
at os novos domiclios de alunos transferidos para receber a documentao oficial da
transferncia e de um diretor que teve que falar com o conselho tutelar do Rio de
Janeiro para garantir que o aluno transferido tivesse sido de fato matriculado em
escola do Rio. Um tcnico da SEE/CE sugere que uma forma de contornar o impacto da
perda inevitvel de alunos seria estipular um percentual mnimo de participao e
fazer a distribuio dos prmios entre os que satisfazem esse mnimo:
150
2011. Fundao Victor Civita. Todos os direitos reservados.
base no desempenho da prpria escola no ano anterior. Nesse formato, a escola
competia consigo mesma para alcanar pelo menos 90% da meta. A lio aprendida
que o sistema de incentivo nunca ser perfeito:
Eu j coloco que meu modelo esse, que vai funcionar assim, que esse ano
vai ser assim, doa a quem doer, esse ano vai funcionar assim. Agora, tenho
certeza que ele no perfeito, e ns poderemos tambm falar seriamente
de como melhor-lo. Mas no fazer nada porque nunca vai ser perfeito
errado. (Gestor: SEE/CE)
Esprito Santo
152
2011. Fundao Victor Civita. Todos os direitos reservados.
professores de uma mesma escola e que o incentivo pode no afetar a todos
igualmente:
[...] os diretores de escola, [...] eles aplaudem muito o bnus, porque eles
conseguem ver isso dentro da escola. Eles veem isso mais de perto, ou seja,
o esforo de determinados professores e o esforo menor de outros.
(Gestora: SEE/ES)
A gente chega a receber professores aqui que dizem que tiraram atestado
porque tinham que resolver um problema hoje na unidade central e falam
assim como se fosse a coisa mais normal do mundo tirar um atestado
mdico falso para usar o tempo para outra coisa. Ento a frequncia veio
como uma [razo] para compor esse ndice at para a gente saber at que
ponto essa falta realmente real ou ela enfim, uma cultura. (Gestora:
SEE/ES)
Minas Gerais
O sistema de premiao de Minas Gerais merece uma anlise mais detalhada por
seguir um modelo diferente dos outros estados. Chamado Acordo de Resultados, a
metodologia implantada em 2008, e repetido anualmente desde ento, se estende a
todas as Secretarias do governo. No caso da Secretaria da Educao, o acordo diz
respeito aos resultados da Secretaria, das Superintendncias Regionais de Ensino (SRE)
e de todas as escolas. No caso das escolas, a nota recebida composta em 65% da
nota da Secretaria, 10% da nota da SRE e 25% da avaliao dos indicadores
finalsticos da escola. Por meio dessa composio, mostra-se claramente que a
responsabilidade pelos resultados finais da escola compartilhada entre as trs
153
2011. Fundao Victor Civita. Todos os direitos reservados.
instncias. Essa caracterstica do Acordo de Resultados a diferencia das demais
polticas de incentivos estudadas que tendem a identificar os professores, os dirigentes
e demais membros das equipes escolares como os nicos integrantes do sistema de
ensino responsveis pelos resultados de aprendizagem, apesar da conhecida
importncia das condies materiais fornecidas pelo rgo central e os diversos
servios de apoio das instancias regionais.
Meta tem que ser flexvel por que meta rgida meta boba. Meta uma
coisa importante? importante, mas ela no foi feita para ser sustentada a
154
2011. Fundao Victor Civita. Todos os direitos reservados.
ferro e fogo; de qualquer jeito voc tem que ganhar. Se for a ferro e fogo o
cara toma anabolizante para no sei o que l nas olimpadas, se for a ferro
e fogo as pessoas usam tudo quanto tipo de artifcio para chegar l.
Passa menino sem saber, altera nota do menino, ensina o menino a fazer
prova. Acontece esse tipo de coisa por qu? Por que se eu no conseguir, eu
vou perder salrio e ningum est em condies de perder salrio. (Gestor:
SEE/MG)
[...] tem que ser pactuada, no pode ser imposto. Ento a gente tem um
sistema na internet onde a Secretaria examina o histrico da escola, as
condies com base no relatrio das visitas [...]. Com base nisso voc
elabora uma proposta de meta para todas as escolas, essa a primeira
providncia. [...] o diretor acessa, imprime e discute internamente. Olha a
meta da secretaria essa, d para fazer ou no d? Eles podem variar o
que est previsto l em 10%. [...] Eles podem propor variao pra cima ou
pra baixo e o gozado que alguns fazem pra cima. (Gestor: SEE/MG)
155
2011. Fundao Victor Civita. Todos os direitos reservados.
relao entre as metas dos planos governamentais e as metas colocadas para as
escolas. No caso de Minas Gerais, as metas do Plano Mineiro de Desenvolvimento
Integral PMDI 2003-2023 foram desdobradas em metas plurianuais por meio dos
PPAG Plano Plurianual de Ao Governamental. No caso do PPAG 2008-2011, coube
Secretaria planejar suas metas de acordo com o percentual de crescimento fixado
pelo estado:
A distribuio das metas est amarrada meta geral do Estado por que no
Estado foi dito: olha, ns vamos crescer 5% esse ano. Ento a distribuio
mais ou menos assim: umas [escolas] esto acima de 5, outros esto
abaixo, mas no fim, na hora em que todo mundo bater a meta, a gente
bate a meta daqui [do Estado] tambm. (Gestor: SEE/MG)
156
2011. Fundao Victor Civita. Todos os direitos reservados.
nossas metas, reduziram bem para o ano de 2010, que estavam bem altas.
(Tcnico: SEE/MG)
157
2011. Fundao Victor Civita. Todos os direitos reservados.
A Secretaria j percebeu esse problema e pensa resolv-lo ao criar requisitos para
melhorar a distribuio dos alunos entre as faixas de desempenho, de forma anloga a
de So Paulo e Esprito Santo:
158
2011. Fundao Victor Civita. Todos os direitos reservados.
traduz o trabalho que eles desenvolveram durante aquele ano. Muitos. E eu
acho que eles tm completa razo. (Tcnico: SEE/MG)
Ento a escola hoje gosta de receber as metas, ela gosta de trabalhar com
as metas, de ter o caderno dela. [...] Ento na verdade quando voc v, por
exemplo, que ns tnhamos uma meta de 74 pra proficincia de
alfabetizao [...] e ns atingimos 86, alguma coisa melhorou, alguma
coisa eles esto indo atrs. [...] a gente ainda no sabe qual que a causa
dessa melhora a gente no sabe. Mas de 74 que era a nossa meta e ns
atingimos 86, muita coisa, n? (Gestor: SEE/MG)
Pernambuco
O professor pode ter 70 horas-aula por semana uma coisa meio louca,
tem que rever isso. Ento ns temos muito claro o que o professor precisa.
O professor precisa ser bem remunerado, ter uma jornada de trabalho
plausvel, mas ns sabemos que s isso no basta porque sistemas que
159
2011. Fundao Victor Civita. Todos os direitos reservados.
adotaram isso sem um forte sistema de superviso no funcionam bem. [...]
Ento ns acreditamos que preciso ter um plano de carreira de incentivo,
de salrio bom, mas atrelado a isso o sistema de superviso, de
monitoramento, de aferio de resultados, de atrelar uma parte da
remunerao com esses resultados. Ns estamos caminhando pra isso, at
o final do ano a gente consegue fechar todas essas variveis, digamos
assim. (Gestora:SEE/PE)
So Paulo
A resistncia aos bnus anuais pagos pela Secretaria foi contnua. A oposio mais
vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de So Paulo,
161
2011. Fundao Victor Civita. Todos os direitos reservados.
expressou uma rejeio transferncia abusiva da lgica de mercado para a
Educao (CAVALIERE, 2003) (p.30) e competio entre as escolas e os diretores das
escolas, que seria fomentada por essa poltica (CDEP, 2006). Outras crticas tiveram
mais a ver com problemas de trapaas, havendo meios para os professores ajudarem
os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos,
uma vez que eram os professores que aplicavam e corrigiam as provas. Supostamente
esses casos eram bem conhecidos entre os professores das escolas estaduais
(DISSIDNCIA, 2006), bem como os problemas burocrticos associados ao clculo e ao
pagamento individual dos professores. Outro argumento, aparentemente bem
justificado, dizia respeito ao uso de resultados de desempenho mdio dos alunos sem
nenhuma tentativa de controlar por diferenas socioeconmicas entre as escolas ou
pelo impacto de diferenas no nvel anterior de aprendizagem.
Com a eliminao dos resultados dos alunos, o programa de bnus se tornou mais
uma maneira de justificar um benefcio natalino. Porm o uso contnuo de medidas de
assiduidade e at de taxas mnimas de comparecimento em cursos de treinamento
para os professores, tal como includo entre os critrios de 2005, uma indicao do
problema perene de absentesmo e da vontade da Secretaria de cobrar a frequncia
dos professores mesmo na ausncia de um indicador de qualidade da escola.
Com esses antecedentes, difcil saber se a resistncia atual de uma parte dos
professores se deve mais s cobranas de frequncia, ao sistema de avaliao em si ou
aos efeitos negativos provocados pela associao high stakes entre os testes e o
pagamento da bonificao. H evidncias de que ainda h restries ao Saresp no qual
a bonificao est fundamentada. Sem uma atitude tranquila em relao
legitimidade e confiabilidade do prprio sistema de avaliao, dificilmente ser
recebida de braos abertos uma poltica alicerada nesse instrumento. O que se
observa no caso do Saresp so os questionamentos que se arrastam h mais de uma
dcada e mostram a sobrevivncia de resistncias que em outros estados j foram
superadas. A forte politizao do tema da avaliao, classificada como produto das
reformas neoliberais de recorte gerencialista, e a falta de simpatia do principal
sindicato de professores para a poltica de avaliao do estado, impulsionado e
162
2011. Fundao Victor Civita. Todos os direitos reservados.
consolidado por um governo do PSDB, ajudaram a criar um ambiente ainda um tanto
hostil ao prprio tema da avaliao.
163
2011. Fundao Victor Civita. Todos os direitos reservados.
extrema ansiedade em alunos, pais, professores e administradores (MOVIMENTO,
2010).
Alm dos possveis efeitos colaterais negativos, o sindicato pode tambm apontar
a falta de evidncia de um impacto positivo na aprendizagem e at de evidncia pelo
contrrio. O incentivo pago em 2011 causou constrangimento ao revelar um recuo no
total pago e a queda no nmero de escolas aptas para receber o bnus, em
comparao com o ano anterior. O valor pago a 190 mil funcionrios, de 3.778 escolas
75% das 5.019 unidades estaduais foi de R$ 340 milhes. Em 2010, foram
concedidos R$ 655 milhes. O nmero de escolas que no receberam o bnus
triplicou. Em 2010, 510 escolas (9,9% do total) ficaram sem a bonificao, enquanto
em 2011 foram 1.474, o que representa 29,1% da rede pblica do estado. As causas
principais foram as variaes negativas do Saresp entre 2009 e 2010 nos anos finais do
Ensino Fundamental e no Ensino Mdio. Com isso, s houve aumento no valor do
Idesp nos anos iniciais do ensino fundamental, que subiu de 3,86 para 3,96, em uma
escala que vai at 10. Nos anos finais do Ensino Fundamental, houve o recuo de 2,84
para 2,52 e, no Ensino Mdio, o Idesp caiu de 1,98, em 2009, para 1,81.
6.5.2 Discusso
164
2011. Fundao Victor Civita. Todos os direitos reservados.
De toda forma, observa-se a necessidade de clareza maior sobre o tipo de impacto
desejado pelos sistemas de incentivos brasileiros. A falta de evidncia de que o prmio
incentive o professor a procurar se capacitar ou modificar sua prtica de ensino impe
a necessidade de explicitar que o propsito seja muito mais do que bonificar a
assiduidade. Nesse caso, talvez nem precisasse de indicadores de aprendizagem.
Outros usos de incentivos, como para trazer professores para reas menos atraentes,
como o caso das escolas rurais, ou para atrair professores para disciplinas
curriculares em que h falta de professores, ainda no constam do elenco de polticas
dos governos estaduais, mesmo havendo uma conexo bem mais clara entre o
pagamento de bnus para essas finalidades e os resultados alcanados.
165
2011. Fundao Victor Civita. Todos os direitos reservados.
bnus foram menores que em 2009, sugere que o sistema de bonificao no uma
ao suficiente para promover a melhoria dos resultados dos alunos em curto prazo.
167
2011. Fundao Victor Civita. Todos os direitos reservados.
6.6 Como Componente da Poltica de Avaliao Docente
A razo por essa restrio no uso dos resultados dos alunos tem relao com duas
caractersticas fundamentais das informaes produzidas pelos sistemas de avaliao
externa. A primeira a sua incapacidade de mostrar o quanto o rendimento dos
alunos em determinada disciplina e ano se deve atuao do seu professor. Sem
tomar em considerao o ponto de partida dos alunos que compem a turma do
professor, no legitimo atribuir o ponto de chegada ao esforo e competncia dele.
Quanto mais alta a srie escolar, mais o desempenho do aluno se deve a seus
professores e a suas experincias em anos anteriores. E, em um sistema educacional
que atende a alunos de diversas origens sociais, o uso de informao sobre a
proficincia dos alunos para medir o desempenho individual do docente pode levar a
classificaes que devem muito mais s caractersticas dos alunos do que s dos
professores.
168
2011. Fundao Victor Civita. Todos os direitos reservados.
desempenho dos alunos influenciado por diversos outros fatores escolares, alm do
professor, que incluem a qualidade dos materiais curriculares, o tamanho da turma, o
clima da escola e outras condies que afetam a aprendizagem. Em escolas que
prezam a colaborao entre os professores, atribuir o desempenho acadmico dos
alunos em determinada disciplina a um nico professor, mesmo que seja o responsvel
pela disciplina, tambm pode levar a erros.
Para tentar evitar esses problemas, e produzir uma medida que capte de maneira
mais fidedigna a contribuio do professor para a aprendizagem dos alunos, vrios
estados norte-americanos tm empregado modelos estatsticos de valor agregado (VA)
para mostrar o crescimento do desempenho em determinado ano escolar mediante a
comparao de duas avaliaes (BAKER et al., 2010; GLAZERMAN et al., 2010). Em
resposta falta de eficcia das polticas tradicionais e incentivada pelo governo
Obama, muitos estados esto comeando a determinar no s o pagamento de
professores individuais com base nessas medidas do valor agregado aos resultados dos
alunos mas tambm a sua situao funcional, incluindo a continuidade dos seus
contratos. H a esperana nesses lugares de que os incentivos tornem os professores
mais eficazes e os professores menos eficazes deixem a profisso.
169
2011. Fundao Victor Civita. Todos os direitos reservados.
Nesses casos, a instabilidade seria consequncia de mudanas nas caractersticas
das turmas e outros fatores dentro e fora da escola que influenciam a aprendizagem
dos alunos. Mesmo quando so empregados mtodos para ajustar por diferenas nas
caractersticas demogrficas e econmicas dos alunos e nas condies das escolas, os
professores de alunos de nvel socioeconmico mais baixo recebem classificaes mais
baixas. Portanto, a distribuio no aleatria de alunos entre escolas e professores e a
grande variao na experincia dos alunos em casa e na escola significa que no h
como comparar o mrito dos professores com base nos resultados das suas turmas,
mesmo quando se usam modelos que supostamente controlam caractersticas dos
alunos.
Faz sentido, portanto, que no haja quase registro no Brasil de uso de resultados
de avaliaes externas para organizar polticas de incentivo salarial que faam
distines entre os professores de uma mesma escola e muito menos para tomar
decises sobre a situao funcional dos professores. As nicas excees so o sistema
de avaliao de desempenho individual de Minas Gerais e uma poltica de curta
durao do Distrito Federal para decidir sobre a reconduo de diretores escolares
com base na mdia de desempenho da escola.
No caso do Distrito Federal, o uso da mdia da escola no Siade foi uma deciso ad
hoc para facilitar a reconduo de uma parte dos diretores e vice-diretores de escola.
As equipes gestoras eleitas em 2007 que ainda permaneciam em seus cargos poderiam
ganhar mais dois anos de mandato em 2009 se as comunidades escolares os
reelegessem. Para isso, as escolas dirigidas por elas precisavam ter um bom
desempenho do Siade 2009, realizado em outubro desse ano. Se o desempenho dos
alunos no fosse melhor em relao aos resultados de 2008, essas equipes
obrigatoriamente teriam que participar de novo processo seletivo no final de 2010.
Caso os ndices fossem alcanados, a equipe poderia permanecer na direo da escola
por mais dois anos. Portanto, os resultados dos alunos foi um critrio definitivo para
determinar a durao do perodo de gesto do diretor.
171
2011. Fundao Victor Civita. Todos os direitos reservados.
Essa avaliao high stakes para o professor, na medida em que a progresso
horizontal ou vertical na carreira s permitida para quem recebeu uma avaliao
igual ou superior a 70%. Por exemplo, quem obteve um diploma de ps-graduao,
mas no atingiu a nota mnima no ADI, fica impedido de ocupar o nvel correspondente
ao novo ttulo. E, com duas avaliaes seguidas inferiores a 70% ou com quatro em
dez avaliaes abaixo desse limite, o professor exonerado do cargo. At o presente,
mais de 400 professores j foram exonerados por esse motivo.
[...] vai ter [...] um sistema de informao. Ele vai ser em cima do resultado
do aluno, do tempo de ensino, do cumprimento do programa de ensino e
do resultado do Saepe. [...] o projeto j est desenhado. E por sua vez o
plano de carreira vai prever, porque ele j prev avaliao de desempenho.
A avaliao de desempenho vai ter tambm um link com o resultado do
172
2011. Fundao Victor Civita. Todos os direitos reservados.
desempenho do aluno. Tudo nosso em funo do desempenho do aluno.
(Gestora: SEE/PE)
173
2011. Fundao Victor Civita. Todos os direitos reservados.
Quadro 2. Ficha de Avaliao Individual. Secretaria de Educao de Minas Gerais
Participa de grupos de estudos, reunies pedaggicas, cursos, eventos e palestras disponibilizados pelo sistema; estuda e se
1 2
orienta pelos materiais institucionais da SEE e outros.
2 Compartilha conhecimentos, informaes, dificuldades, solues e prticas exitosas que agregam valor ao trabalho. 1
SUBTOTAL - 15 pontos
174
2011. Fundao Victor Civita. Todos os direitos reservados.
CRITRIO II - RELACIONAMENTO INTERPESSOAL 1 a 5 pts. Peso Total
Relaciona-se cordialmente com todos do seu ambiente de trabalho e com o pblico em geral, cumpre as normas legais e as
1 decises pactuadas ou emanadas das instncias hierrquicas, agindo segundo os princpios ticos que norteiam a administrao 1
pblica.
Respeita a diversidade, adotando prticas inclusivas e ticas no relacionamento com a comunidade e com os alunos em sala de
2 1
aula.
Participa do trabalho de equipe e das aes da escola que envolvem interao com as famlias e alunos, contribuindo para o
3 1
desenvolvimento das atividades de aprendizagem, recreao e convivncia.
SUBTOTAL - 15 pontos
Cumpre com responsabilidade suas atribuies e atende as normas da administrao pblica relativas assiduidade e
1 2
pontualidade.
2 Participa de projetos e aes coletivas e da realizao das avaliaes internas e externas da aprendizagem dos alunos. 1
SUBTOTAL - 20 pontos
Planeja seu trabalho, participa da construo do Projeto Pedaggico da escola, elabora e executa o planejamento didtico anual e
1 1
planos de aulas observando as diretrizes curriculares estaduais.
Analisa e utiliza os resultados de avaliaes internas e externas para diagnosticar os nveis de aprendizagem dos alunos, avaliar a
2 1
eficcia do ensino e implementar intervenes pedaggicas, quando necessrio.
175
2011. Fundao Victor Civita. Todos os direitos reservados.
Facilita a aprendizagem utilizando materiais didticos e processos pedaggicos que estimulam e desafiam os alunos na superao
3 1
das dificuldades.
Apresenta aos pais ou responsveis os resultados das avaliaes de aprendizagem e os indicadores do desenvolvimento do aluno
4 1
e busca caminhos para superar dificuldades identificadas.
Desenvolve eficiente gesto de sala de aula, cria ambiente propcio ao desenvolvimento da aprendizagem e de relaes humanas
5 saudveis, orienta os alunos quanto necessidade de organizao, limpeza e conservao dos equipamentos, mobilirio e do 1
prdio escolar.
Cria novas oportunidades de aprendizagens e avaliaes para os alunos com desempenho insatisfatrio, para que todos possam
6 1
aprender efetivamente o que foi ensinado.
Compromete-se com a aprendizagem de todos os seus alunos, esclarecendo dvidas, orientando e corrigindo, individual e
7 1
coletivamente, os trabalhos escolares e deveres de casa e presta atendimento diferenciado aos alunos com mais dificuldades.
Apresenta atitude positiva em relao capacidade de aprendizagem dos alunos e capaz de reconhecer talentos e de promover
8 1
o desenvolvimento da autoconfiana e autoestima.
Obtm bons resultados de aprendizagem de seus alunos evidenciados pelas avaliaes internas, realizadas pela escola, e por
9 2
avaliaes externas.
SUBTOTAL - 50 pontos
PONTUAO TOTAL
176
2011. Fundao Victor Civita. Todos os direitos reservados.
6.7 Para a Certificao de Alunos e Escolas
177
2011. Fundao Victor Civita. Todos os direitos reservados.
um instrumento de avaliao capaz de aferir o nvel alcanado por cada aluno em cada
uma das competncias e habilidades que compem o currculo do Ensino Mdio,
torna-se indispensvel o processo avaliativo interno respaldado pelo conhecimento do
aluno pelos seus professores.
O nico caso em que foram usados os resultados de uma avaliao externa para
determinar a progresso de alunos individuais foi em So Paulo no ano de 2001. Nesse
caso, porm, no foram os alunos do final do Ensino Mdio, mas alunos de 4 e 8
sries que foram promovidos ou retidos com base nos resultados do Saresp. A
experincia foi polmica por diversas razes, incluindo o problema de usar um
instrumento no desenhado para a avaliao de indivduos. Outro problema foi o fato
de os alunos no saberem de antemo que os resultados seriam usados com essa
finalidade. Pelo fato de o Saresp ser um instrumento de monitoramento, sem
consequncias para os alunos, estes nem sempre levam os testes a srio e podem ter
sido prejudicados na ocasio por no responderem s questes com o devido cuidado.
178
2011. Fundao Victor Civita. Todos os direitos reservados.
A criao e a consolidao do Enem como um exame certificador para os alunos
que querem continuar seus estudos mostram que algumas das restries histricas
sobre a avaliao externa ao final do Ensino Mdio foram superadas. Ao mesmo
tempo, o Enem mostra que, quando a matriz de referncia da prova definida mais
com base em competncias e menos em termos de conhecimentos curriculares,
possvel criar um instrumento capaz de medir o nvel alcanado por cada aluno. O que
o Enem nunca fornecer uma medida da qualidade da escola onde os alunos
estudaram. Apesar de ser muito usada com essa finalidade, a mdia dos resultados dos
alunos de determinada escola no indica a qualidade da escola porque os alunos que
fazem a prova no representam nem a totalidade nem uma amostra representativa
dos egressos daquela instituio. A falta de correspondncia exata entre a matriz de
referncia e o currculo das escolas e o fato de estas atenderem a populaes bastante
diferenciadas seriam outras razes para no confiarem nos resultados do Enem como
um indicador de qualidade da instituio.
179
2011. Fundao Victor Civita. Todos os direitos reservados.
avaliao estadual seletiva, com funes certificatrias, seria considerada
extremamente antidemocrtica.
O nico exemplo encontrado de uso dos resultados dos alunos para efeitos de
certificao no trata de decises sobre alunos, mas sobre escolas, no caso as escolas
privadas do Distrito Federal. Essa situao se deriva do fato da Secretaria de Educao
do DF ser o rgo responsvel pela autorizao de funcionamento das escolas privadas
e pela sua recertificao como estando aptas para continuarem em funcionamento
depois de cinco a dez anos, dependendo do tipo de escola. No ano anterior ao
vencimento da sua autorizao, as escolas privadas candidatas recertificao so
automaticamente inscritas entre as escolas a serem avaliadas pelo Siade. Outras
escolas privadas podem se inscrever voluntariamente para essa mesma avaliao
mediante o pagamento dos custos. A ideia da Secretaria era comparar os resultados da
escola privada durante dois anos seguidos para determinar se ela mantinha o mesmo
nvel de qualidade:
Quando ela for recredenciar, ela vai ser avaliada antes para [poder]
comparar se ela melhorou mesmo ou no, at para dizer se ela vai ser
recredenciada ou no, em cima de um resultado do Siade. (Tcnico:
SEE/DF)
180
2011. Fundao Victor Civita. Todos os direitos reservados.
181
2011. Fundao Victor Civita. Todos os direitos reservados.
7. Consideraes Finais
182
2011. Fundao Victor Civita. Todos os direitos reservados.
como um componente da poltica de avaliao docente e para a certificao de alunos
e escolas, observa-se o emprego desavisado das avaliaes para a tomada de decises
que precisam de informaes bem mais confiveis e de fontes diversas.
Nesse contexto e sob essa presso, possvel que acontea tudo aquilo que os
crticos da accountability high stakes arrolam como os efeitos colaterais negativos. A
literatura fala do estreitamento do currculo, do ensino voltado para o ensaio de
183
2011. Fundao Victor Civita. Todos os direitos reservados.
contedos previstos para os testes, da perda da autonomia e do esprito de
colaborao entre docentes e de condutas, incluindo as tentativas de falsear os dados
das avaliaes, que mostram uma deturpao do comportamento tico esperado dos
educadores. Mas, pelas presses a que esto sujeitos e por agirem na condio de
pessoas que podem fazer a diferena para a vida dos alunos, difcil culpar os
professores pelas atitudes tomadas.
Talvez por esse motivo, ainda no existam evidncias claras para os efeitos
negativos das polticas de responsabilizao no Brasil. Tambm no h evidncias, a
184
2011. Fundao Victor Civita. Todos os direitos reservados.
no serem anedotas, que os incentivos efetivamente motivam os professores a
produzirem resultados melhores.
A outra contribuio diz respeito aos avanos na implantao dos novos currculos
bsicos nos estados. Conforme discutido, as polticas de accountability tm sido usadas
em outros lugares como uma estratgia para a implementao de reformas. Existe at
a expresso evaluation-driven reforms para descrever o processo conhecido como
backwash, em que as questes abordadas pelas avaliaes sinalizam no s os
contedos cobrados mas tambm o tipo de ensino que deveria ser privilegiado. No
caso dos estados que j optaram pela criao de currculos prprios e j estabeleceram
uma nova correspondncia com as matrizes de referncia dos sistemas de avaliao,
no h dvida de que esses sistemas funcionaro como porta-vozes do currculo bsico
e que aceleraro a sua adoo. Se acharmos que a iniciativa dos estados de criar seus
prprios currculos um passo na direo certa, a consequncia dos testes high-stakes
deve ser levada em considerao. As dvidas ficam por conta dos possveis impactos
colaterais negativos na autonomia e na criatividade dos professores de um currculo
oficial fincado em contedos bsicos. Porm, no contexto brasileiro, a nossa aposta
que os professores que se beneficiaro de um currculo estadual que no s estrutura
os contedos mas tambm fornece sugestes didticas, representem a maioria.
186
2011. Fundao Victor Civita. Todos os direitos reservados.
Independentemente dos seus possveis efeitos, a pesquisa demonstrou o avano
tcnico da segunda gerao de polticas de responsabilizao. Mesmo assim, pode-se
observar a continuidade de determinados problemas, incluindo o uso de mdias de
desempenho de um nico perodo escolar, a falta de medidas de equidade com base
na distribuio dos alunos por faixa de desempenho e a falta de informao sobre o
fator principal na explicao do desempenho dos alunos, ou seja, seus antecedentes
socioeconmicos. Ainda no foi criado um sistema de responsabilizao que usa uma
mdia mvel com base nas vrias medies anuais para diminuir as flutuaes
inerentes s avaliaes. Tambm no foi testado o uso de modelos longitudinais para
aferir o valor agregado das escolas por meio da montagem de bancos de dados e do
acompanhamento dos mesmos alunos ao longo dos anos. Na falta desses avanos,
observa-se que os estados esto tomando decises que inevitavelmente incluem e
excluem escolas das diferentes categorias de premiao com base em erros de
medio.
O movimento dos currculos bsicos estaduais pode ser entendido como uma das
consequncias da dificuldade em usar as informaes tradicionais fornecidas pelos
Boletins e por outras estratgias de apoio pedaggico. Essa dificuldade atribuda s
deficincias na formao dos professores, mas tambm falta de compreenso do
significado pedaggico das proficincias e outras informaes providas pelas
avaliaes. Em um primeiro momento, essa dificuldade encarada mediante um
187
2011. Fundao Victor Civita. Todos os direitos reservados.
esforo em explicar os resultados por meio de um detalhamento cada vez maior dos
componentes tcnicos das avaliaes. Nesse momento, so introduzidas as
explicaes sobre a escala de proficincia, a matriz de referncia e a relao entre
determinados itens das provas e as habilidades que pretendem avaliar.
188
2011. Fundao Victor Civita. Todos os direitos reservados.
8. Referencias Bibliogrficas
ABRUCIO, F. L. Os avanos e os dilemas do modelo ps-burocrtico: a reforma da
administrao pblica luz da experincia internacional recente. In: BRESSER PEREIRA, L. C. e
SPINK, P., (ORGS.) (Ed.). Reforma do Estado e Administrao Pblica Gerencial. Rio de
Janeiro:: FGV, v.7 ed., 2006.
ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizo. In: FUNDAP, C. E. (Ed.). Avanos e
perspectivas da gesto pblicas nos Estados. Braslia: CONSAD, 2006.
AHN, T.; VIGDOR, J. The Impact of Incentives on Effort: Teacher Bonuses in North Carolina.
Harvard2010. 2010. (PEPG 10-06)
AMREIN, A.; BERLINER, D. The impact of high-stakes tests on student academic performance:
An analysis of NAEP results in states with high-stakes tests and ACT, SAT, and AP test results
in states with high school graduation exams. Education Policy Research Unit (EPRU),
Education Policy Studies Laboratory, College of Education, Division of Educational Leadership
and Policy Studies, Arizona State University, 2002. Disponvel em: <
http://epaa.asu.edu/ojs/article/viewFile/297/423 >.
ATKINSON, A. B., SIMON; CROXSON, BRONWYN; GREGG, PAUL; PROPPER, CAROL; SLATER,
HELEN; WILSON,DEBORAH. Evaluating the impact of performance-related pay for teachers in
England Labour Economics Elsevier B.V. 16: 251-261 p. 2009.
189
2011. Fundao Victor Civita. Todos os direitos reservados.
AU, W. High-Stakes Testing and Curricular Control: A Qualitative Metasynthesis. Educational
Researcher, v. Vol. 36, n. No. 5, p. pp. 258-267, 2007. Disponvel em: <
http://edr.sagepub.com/content/36/5.toc >.
BAKER, E. L. et al. Problems with the Use of Student Test Scores to Evaluate Teachers. The
Economic Policy Institute Washington D.C. 2010. (Briefing Paper # 2 7 8)
BALL, S. J. The Legacy of ERA, Privatization and the Policy Ratchet. Educational Management
Administration and Leadership., v. Vol. 36 n. 2, p. 185-199, 2008.
BAUER, A. Usos dos resultados das avaliaes de sistemas educacionais: iniciativas em curso
em alguns pases da Amrica. Revista Brasileira de Estudos Pedaggicos. , v. v. 91, n. n. 228, p.
p. 315-344, maio/ago. 2010 2010. Disponvel em: <
http://www.rbep.inep.gov.br/index.php/RBEP/article/viewFile/1690/1341 >.
CAREY, K. The Pangloss Index: How States Game the No Child Left Behind Act. Washington,
D.C: Education Sector 2007.
CARNOY, M.; LOEB, S. Does external accountability affect student outcomes? A cross-state
analysis. Educational Evaluation and Policy Analysis, v. 24, n. 4, p. 305, 2002. ISSN 0162-3737.
Disponvel em: < http://epa.sagepub.com/content/24/4/305.full.pdf+html >. Acesso em:
07/01/2011.
190
2011. Fundao Victor Civita. Todos os direitos reservados.
CDEP. Comit em Defesa da Escola Pblica. http://www.adusp.org.br/PEE/PEE.rtf So Paulo
2006.
CEAR. ANLISE DO USO DOS RESULTADOS DAS AVALIAES A PARTIR DOS PLANOS
ESCOLARES E DOS PROGRAMAS MUNICIPAIS E SUAS ESTRATGIAS DE EFETIVAO. s.d.
DOS SANTOS, G.; DE AVILA, S.; SILVA, W. A qualidade da Educao na Amrica Latina. Revista
da FACED. ISSN, v. 1980, p. 6620, 2010. Disponvel em: <
http://74.125.155.132/scholar?q=cache:EvOWzXA6U4AJ:scholar.google.com/+PEC+Mexico&hl
=pt-BR&as_sdt=2000 >.
EBERTS, R.; HOLLENBECK, K.; STONE, J. TEACHER PERFORMANCE INCENTIVES AND STUDENT
OUTCOMES. W.E. Upjohn InstituteAugust, 2000 2000
ESPIRITO SANTO. Plano Estratgico Nova Escola. Vitria, ES: Secretaria da Educao 2008.
FIGLIO, D. N.; KENNY, L. W. Individual teacher incentives and student performance. National
Bureau of Economic Research. Cambridge, Mass., p.26 p. 2006
191
2011. Fundao Victor Civita. Todos os direitos reservados.
FIGUEIREDO, J. PROJETO MINEIRO DE DESENVOLVIMENTO PROFISSIONAL DE EDUCADORES
PDP: um estudo da formao continuada de professores. 2007. (Mestrado). Educao, PUC-
Campinas, Campinas.
FONTANIVE, N. S.; KLEIN, R. Uma viso sobre o Sistema de Avaliao da Educao Bsica do
Brasil - SAEB. Ensaio, v. 29, n. Vol.8, p. pp.409-439, Outubro-Dezembro 2000.
FRIEDMAN, M. O Papel do Governo na Educao. In: SOLO, R. A. (Ed.). Economics and the
Public Interest. New Jersey: Rutgers University Press, 1955. p.1- 144.
GATTI, B. A., , AO/, PP. 17-41 AVALIAO EDUCACIONAL NO BRASIL: PONTUANDO UMA
HISTRIA DE AES EccoS revista cientfica, UNINOVE, So Paulo, Brasil, v. vol. 4, n. nmero
001, p. pp.17-41, junho 2002 Disponvel em: <
http://www4.uninove.br/ojs/index.php/eccos/article/viewFile/291/280 >.
GLAZERMAN, S. et al. Evaluating Teachers: The Important Role of Value-Added Brown Center
on Education Policy. 2010
GOODMAN, S.; TURNER, L. Teacher Incentive Pay and Educational Outcomes: Evidence from
the NYC Bonus Program. HarvardJune, 2010. 2010. (PEPG 10-07)
______. Qu est pasando en Chile con el SIMCE? Boletim Monografico No. 16 2010b.
192
2011. Fundao Victor Civita. Todos os direitos reservados.
HAERTEL, E.; HERMAN, J. L. A Historical Perspective on Validity Arguments for Accountability
Testing. In: HERMAN, E. H. J. L. (Ed.). Uses and Misuses of Data for Educational Accountability
and Improvement: 104th Yearbook of the National Society for the Study of Education.
Malden, MA: Blackwell Publishing, v.Part II, 2005. p.1-34.
HANEY, W. M. Evidence on Education under NCLB (and How Florida Boosted NAEP Scores and
Reduced the Race Gap). Broad Seminar for K-12 Reporters, 2006. Grace Dodge Hall, Teachers
College, Columbia University, New York City, Sept. 8-10, 2006. National Board on Educational
Testing and Public Policy.
HANUSHEK, E. A.; RAYMOND, M. E. Lessons about the Design of State Accountability Systems.
In: PETERSON, P. E. e WEST, M. R. (Ed.). No Child Left Behind? The Politics and Practice of
School Accountability. Washington, D.C.: The Brookings Institution, 2003.
HASTINGS, J. S. W., JEFFREY. No Child Left Behind : estimating the impact on choices and
student outcomes. NBER Working Paper No. 13009, Cambridge, Mass., p. 39 p., 2007.
Disponvel em: < http://www.nber.org/papers/w13009 >. Acesso em: 06/09/2010.
HERMAN, J. L.; HAERTEL, E. Uses and misuses of data for educational accountability and
improvement. Malden, Mass., p. xvi, 383 p., 2005.
HOUT, M.; ELLIOTT, S. W., Eds. Incentives and Test-Based Accountability in Education.
National Research Council. Committee on Incentives and Test-Based Accountability in Public
Education. Washington, D.C.: The National Academies Press, National Research Council.
Committee on Incentives and Test-Based Accountability in Public Educationed. 2011.
JOHNSON, D. D.; JOHNSON, B. High stakes : children, testing, and failure in American schools.
Lanham, Md.: Rowman & Littlefield Publishers, 2002. xxi, 223 p. ISBN 0742517888 (cloth alk.
paper) 0742517896 (pbk. alk. paper).
KIRKPATRICK, D. L. Evaluating training programs: the four levels. So Francisco (EUA): Barrett-
Koehler, 1994.
KLEIN, R. Como est a Educao no Brasil? O que fazer? Ensaio: aval.pol.pbl.Educ. Rio de
Janeiro., v. vol.14, n. n.51, p. pp. 139-171, 2006. Disponvel em: <
http://www.scielo.br/pdf/ensaio/v14n51/a02v1451.pdf >.
KLINGER, D. A., DELUCA, CHRISTOPHER & MILLER, TESS. THE EVOLVING CULTURE OF LARGE-
SCALE ASSESSMENTS IN CANADIAN EDUCATION Canadian Journal of Educational
Administration and Policy, n. Issue #76, July 3 2008. Disponvel em: <
http://www.umanitoba.ca/publications/cjeap/articles/klinger.html >.
KOEDEL, C.; BETTS, J. R. Re-Examining the Role of Teacher Quality in the Educational
Production Function. National Center on Performance Initiatives Nashville, TN. 2007
KRAWCZYK, N. A Construo Social das Polticas Educacionais no Brasil e na Amrica Latina. In:
(Ed.). O cenrio educacional latino americano no limiar do sculo XXI. Campinas: Editora
Autores Associados, 2000.
193
2011. Fundao Victor Civita. Todos os direitos reservados.
LAVY, V. Performance Pay and Teachers Effort, Productivity, and Grading Ethics. American
Economic Review v. 99, n. 5, p. 1979-2011, 2009. Disponvel em: <
http://www.economics.harvard.edu/faculty/staiger/files/Lavy%2Baer%2Bdec%2B2009.pdf >.
Acesso em: 15/11/10.
MALEN, B.; RICE, J. K. A Framework for Assessing the Impact of Education Reforms on School
Capacity: Insights From Studies of High-Stakes Accountability Initiatives. EDUCATIONAL
POLICY, v. 18, n. 5, p. 631-660, November 2004 2004. Disponvel em: <
http://epx.sagepub.com/content/18/5/631.abstract >. Acesso em: 06/10/10.
MANNA, P. The No Child Left Behind Act and educational accountability in the United States.
Prepared for the conference on Understanding and Evaluating New Accountability Regimes:
Canada in Comparative Perspective, University of Toronto, Canada, February 5-6, 2010. 2010.
MIZALA, A.; ROMAGUERA, P. Teachers Salary Structure and Incentives in Chile. In: VEGAS, E. E.
(Ed.). Incentives to Improve Teaching: Lessons from Latin America. Washington, D.C: The
World Bank, 2005.
MORTIMORE, P. et al. School Matters. Berkeley, CA: : University of California Press, 1988.
MOVIMENTO. Movimento contra Testes de Alto Impacto em Educao. 2010. Disponvel em:
< http://sites.google.com/site/movimentocontratestes/home >. Acesso em: 04/06/2011.
194
2011. Fundao Victor Civita. Todos os direitos reservados.
MUNIZ, R. M.; SILVEIRA, M. C. D.; BECHELAINE, C. O Caminho em Direo Gestao por
Resultados em Minas Gerais: uma anlise do Plaos Mineiros de Desenvolvimento Integrado. In:
GUIMARES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora
UFMG, 2010.
NICHOLS, S. L.; GLASS, G. V.; BERLINER, D. C. High-Stakes Testing and Student Achievement:
Problems for the No Child Left Behind Act. Education Policy Research Unit (EPRU)/ Education
Policy Studies Laboratory/ Arizona State University06/09/2010. 2005. (EPSL-0509-105-EPRU)
NYSED, N. Y. S. E. D. The Impact of High-Stakes Exams on Students and Teachers. Albany, NY.
2004
OLIVEIRA, N. V.; GUEDES, P. M. A aspirao das famlias por melhores escolas pblicas. In:
FUNDAO VICTOR CIVITA (Ed.). Estudos & Pesquisas Educacionais N 1. SP: Fundao Victor
Civita, 2010.
PRINCE, C. D. K., JULIA; AZAR, TAMARA MORSE; BHATT, MONICA; WITHAM, PETER J. Building
Teacher and Community Support for New Compensation Systems. Center for Educator
Compensation Reform. Washington, D.C. 2008
RAND. Designing Effective Pay-for-Performance in K12 Education. Policy Brief. Santa Monica,
CA: Rand education 2009.
195
2011. Fundao Victor Civita. Todos os direitos reservados.
RAVELA, P. A., PATRICIA; VALVERDE, GILBERT; WOLFE, RICHARD; FERRER GUILLERMO;
MARTNEZ RIZO, FELIPE; AYLWIN, MARIANA; WOLFF, LAURENCE,. Las evaluaciones educativas
que Amrica Latina necesita. Preal. Santiago: 2008. 2008
RUTTER, M. et al. Fifteen Thousand Hours: Secondary Schools and their Effects on Children.
London: Open Books, 1979.
SASS, T. R. The Stability of Value Added Measures of Teacher Quality and Implications for
Teacher Compensation Policy. National Center for Analysis of Longitudinal Data in Education
Research, Washington, D.C., 2008. Disponvel em: <
http://www.urban.org/uploadedpdf/1001266_stabilityofvalue.pdf >. Acesso em: 09/06/2011.
SHULHA, L. M.; COUSIN, J. B. Evaluation use: theory, research and practice since 1986.
American journal of Evaluation., v. vol 18, p. p.195-208, 1997.
196
2011. Fundao Victor Civita. Todos os direitos reservados.
______. Modelo de trs nveis hierrquicos para a proficincia dos alunos de 4 srie avaliados
no teste de Lngua Portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educao, v.
no.29 n. May/Aug. , p. 73-87, 2005 2005.
SOARES, T.; TEIXEIRA, L. Efeito do perfil do diretor na gesto escolar sobre a proficincia do
aluno. Estudos em Avaliao Educacional. So Paulo: Fundao Carlos Chagas, v. 17, p. 34,
2006.
SPRINGER, M. O., Ed. Performance Incentives: Their Growing Impact on American K-12
Education. Wadhington, D.C.: Brooking Institution Press, p.336ed. 2009.
SUPOVITZ, J. Can high stakes testing leverage educational improvement? Prospects from the
last decade of testing and accountability reform. Journal of Educational Change Published
online: 28 March 2009: 211-227 p. 2009.
TAYLOR, J.; NGUYEN, A. N. An Analysis of the Value Added by Secondary Schools in England: Is
the Value Added Indicator of Any Value?*. Oxford Bulletin of Economics and Statistics, v. 68,
n. 2, p. 203-224, 2006. ISSN 1468-0084.
VEGAS, E.; UMANSKY, I. Improving Teaching and Learning through Effective Incentives: What
Can We Learn from Education Reforms in Latin America? The World Bank. Washington, DC:
2005.
VOLANTE, L. Teaching to the test: What every educator and policy-maker should know.
Canadian Journal of Educational Administration and Policy, v. 35, p. 1-19, 2004.
197
2011. Fundao Victor Civita. Todos os direitos reservados.
WINTERS, M. A. R., GARY W.; MARSH, RYAN H.; GREENE, JAY P.; HOLLEY, MARC J. . The
Impact of Performance Pay for Public School Teachers: Theory and Evidence. Harvard
University. 2008. (PEPG 08-15)
198
2011. Fundao Victor Civita. Todos os direitos reservados.
ANEXO 1 Organizao dos arquivos da pesquisa em Google Docs
Exemplos: a) Nvel 2; b) Nvel 5; c) Nvel 2.
a) Nvel 2
b) Nvel 5
c) Nvel 2
199
2011. Fundao Victor Civita. Todos os direitos reservados.
ANEXO 2 Entrevistados
200
2011. Fundao Victor Civita. Todos os direitos reservados.
ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado
201
2011. Fundao Victor Civita. Todos os direitos reservados.