Relatorio Avaliacoes Externas

A AVALIAO EXTERNA COMO INSTRUMENTO DA GESTO VALIAO EDUCACIONAL NOS ESTADOS
RELATRIO FINAL
GAME/FAE/UFMG Com apoio da Fundao Vitor Civita
Agosto/2011
Realizao:
Parceria:
1
2011. Fundao Victor Civita. Todos os direitos reservados.
A Fundao Victor Civita, que tem por misso contribuir para a melhoria da qualidade da Educao Bsica no Brasil, produzindo publicaes, sites, material pedaggico, pesquisas e projetos que auxiliem na capacitao dos professores, gestores e demais responsveis pelo processo educacional, implantou uma rea de estudos com o objetivo de levantar dados e informaes que auxiliem as discusses sobre prticas, metodologias e polticas pblicas de Educao.
Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.
EQUIPE DA FUNDAO VICTOR CIVITA

DIRETORIA EXECUTIVA Angela Cristina Dannemann COORDENAO PEDAGGICA Regina Scarpa REVISTA NOVA ESCOLA E GESTO ESCOLAR Gabriel Grossi Paola Gentile ESTUDOS, PESQUISAS E PROJETOS Mauro Morellato
ESPECIALISTAS CONVIDADOS PARA APRECIAO DO RELATRIO PRELIMINAR Antnio Bara Bresolin (Coordenador Fundao Ita Social) Bernardete Gatti (Fundao Carlos Chagas) Clara Etiene Lima de Souza (Coordenadora da Avaliao da Educao Bsica / Inep) Mozart Neves Ramos (Todos pela Educao) Ruben Klein (Consultor Fundao Cesgranrio) Sandra Maria Zakia Lian Sousa (USP e Unicid) Tufi Machado Soares (Universidade Federal de Juiz de Fora) Wanda Engel (Superintendente Instituto Unibanco)
Adriana Derbio
2
UNIVERSIDADE FEDERAL DE MINAS GERAIS Cllio Campolina Diniz Reitor
FACULDADE DE EDUCAO Samira Zaidan Diretora
GRUPO DE AVALIAO E MEDIDAS EDUCACIONAIS ngela Imaculada Loureiro de Freitas Dalben Coordenadora
EQUIPE DE PESQUISA Nigel Brooke Maria Amlia de A. Cunha Matheus Faleiros
3
SUMRIO
Apresentao 1. 2. 3. Objetivos Mtodos A Expanso da Avaliao Educacional 3.1. 4. A Expanso dos Sistemas Estaduais de Avaliao
06 11 12 14 25 39 45 50 55 70 70 70 77 82 85
Accountability e as Avaliaes High-Stakes 4.1 4.2. Sistemas de Incentivos Sistemas de Responsabilizao na Amrica Latina
5. 6.
Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional O Uso da Avaliao na Gesto da Educao nos Estados 6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa Avaliao de Programas Monitoramento Planejamento Pesquisa
6.1.1 6.1.2 6.1.3 6.1.4
6.2 Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as Estratgias de Formao Continuada 87 6.2.1 6.2.2 6.3 6.4 6.5 Polticas de Formao Continuada Baseadas nos Resultados O Currculo Bsico 101 105 112 123 133 142 164
4
Para Informar ao Pblico Para a Alocao de Recursos Para Polticas de Incentivos Salariais Investigaes em Loco Discusso
6.5.1 6.5.2
6.6 6.7 7. 8.
Como Componente da Poltica de Avaliao Docente Para a Certificao de Alunos e Escolas
168 177 182 189 199 200 201
Consideraes Finais Referencias Bibliogrficas Organizao dos arquivos da pesquisa em Google Docs Entrevistados Ambiente NVIVO. Queries/Polticas de Incentivos por Estado
ANEXO 1 ANEXO 2 ANEXO 3
5
Apresentao Cada vez mais presente nos jornais e em outros meios de comunicao, a discusso da avaliao educacional permite que o pblico brasileiro se conscientize no s da complexa realidade da aplicao das avaliaes padronizadas em larga escala mas tambm dos resultados do ensino em diferentes nveis e localidades e em comparao com outros pases. O tema dos testes enfrentados por alunos de diversas idades e at por jovens e adultos que h tempo deixaram de frequentar a escola j ultrapassa os eventos de especialistas e se torna um assunto capaz de cativar as manchetes. Talvez o caso mais emblemtico seja o do Enem e as suas dificuldades de sigilo e logstica. Porm, ao longo dos ltimos anos tambm houve mltiplos debates pblicos em torno do indicador nacional de desenvolvimento da Educao, o Ideb, o Exame Nacional de Desempenho de Estudantes, Enade, o novo Exame Nacional para Certificao de Competncias de Jovens e Adultos, Encceja, e iniciativas do Congresso, como o projeto de lei (PLS 319/08) do senador Cristovam Buarque para conceder o 14 salrio aos profissionais de escolas que conseguirem elevar seu Ideb em 50% e o projeto do deputado Ronaldo Caiado para obrigar as escolas pblicas a expor na entrada do estabelecimento uma placa com seu Ideb. As comparaes internacionais, principalmente as do Programa Internacional de Avaliao de Alunos, Pisa, tambm suscitaram questionamentos que permitem perceber que os resultados fornecidos pelas avaliaes educacionais esto se firmando cada vez mais como a definio oficial da qualidade da Educao oferecida pelas escolas. Refletindo o crescente interesse na avaliao, nos indicadores derivados dela e na sua relao com a poltica educacional, o projeto do Plano Nacional de Educao em discusso no Congresso contm vrias indicaes para o uso da avaliao externa ao longo da prxima dcada. Fala da importncia de usar o Ideb para avaliar a qualidade do ensino, com base em uma avaliao nacional do rendimento escolar, de aplicar exame peridico especfico para aferir a alfabetizao de crianas, de aprimorar os instrumentos de avaliao da qualidade do ensino fundamental e mdio, de usar o Pisa como parmetro externo, de aferir o grau de analfabetismo de jovens e adultos e de avaliar a qualidade da Educao profissional tcnica de nvel mdio.
6
Como os jornais, o projeto do PNE tambm se concentra nas polticas de avaliao da esfera federal. Apesar de conferir vrios deveres especficos aos estados e municpios, como aprovar leis para disciplinar a gesto democrtica da Educao, instalar conselhos escolares, prever licenas para a ps-graduao de professores e nomear diretores com base em critrios tcnicos, todas as atribuies no campo da avaliao educacional feitas pelo PNE so do governo federal. Em nenhum momento, o PNE atribui funes especficas em relao avaliao da aprendizagem do ensino fundamental e mdio aos governos subnacionais, mesmo sendo essas as instncias com responsabilidade preferencial por esses nveis escolares, segundo a LDB. A falta de clareza em relao s obrigaes dos estados e municpios e se essas instncias deveriam ser responsabilizadas ou no pela avaliao externa dos seus alunos refletem certa ambiguidade do prprio Ministrio de Educao perante o crescimento dos sistemas subnacionais de avaliao. Desde a criao do Saeb, em princpio da dcada de 1990, as iniciativas dos estados em construir suas prprias ferramentas de avaliao tm sido vistas ora como uma expresso compreensvel da sua autonomia administrativa constitucional, ora como um desperdcio de recursos, dada a existncia de sistemas nacionais com coberturas e caractersticas tcnicas capazes de fornecer as informaes de que os gestores estaduais precisam. A ausncia de incentivos federais e de cooperao contnua entre as instncias governamentais na rea de avaliao, a no ser no emprstimo de itens do Saeb1, talvez reflita a falta de uma aceitao integral pelo Ministrio da importncia dos sistemas de avaliao subnacionais e at de um sentimento de rivalidade provocada pela intruso dos
Na pgina de perguntas frequentes sobre o Saeb e Prova Brasil do site do Inep (http://www.INEP.gov.br/web/saeb-e-prova-brasil/perguntas-frequentes) a resposta dada pergunta Com o Saeb e Prova Brasil o Governo Federal pretende acabar com os sistemas Estaduais e Municipais de Avaliao?, leia-se a seguinte resposta: As avaliaes federais, as estaduais e as municipais so independentes. A Prova Brasil e o Saeb so conduzidos nacionalmente pelo Governo Federal, enquanto as avaliaes estaduais e municipais podem ter metodologia prpria e so concebidas e realizadas pelos governos estaduais e municipais. Em muitos casos, h a cooperao tcnica entre os governos federal, estadual e municipal, ou seja, h congruncia entre algumas avaliaes estaduais com a Prova Brasil e o Saeb. Um dos objetivos da Prova Brasil e do Saeb estimular a cultura da avaliao, fomentando, assim, a implementao de avaliaes estaduais e municipais. Nesse sentido, o Inep pode auxiliar, sob certas condies, os estados e municpios a estruturarem e levarem adiante suas avaliaes por meio do seu Banco Nacional de Itens. 7
estados em terreno antes exclusivamente federal. Em funo desses sentimentos, consolidou-se a opinio que os estados deveriam apenas complementar o que a Unio j faz, e no repetir a avaliao das mesmas disciplinas nos mesmos anos escolares para no desperdiar recursos. Esse posicionamento no leva em considerao o interesse dos estados em controlar todas as fases de produo e divulgao de informao sobre as escolas, evitando os atrasos que acometem o Inep, e pode encobrir as dvidas remanescentes a respeito da convenincia dos estados desenvolverem seus prprios sistemas. A expanso das avaliaes subnacionais parece refletir justamente a necessidade de controlar mais detidamente as etapas que envolvem o processo de avaliao e, assim o fazendo, traar um diagnstico mais contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e estratgias talvez mais eficazes. A falta de ateno do PNE para a funo avaliadora dos governos estaduais e municipais pode refletir essas mesmas dvidas. Por outro lado, o silncio do PNE em relao a um instrumento to fundamental para o planejamento e a gesto dos sistemas de Educao pode tambm refletir simplesmente a ausncia de informao sobre a real extenso e diversidade das atividades atuais dos estados e municpios no campo da avaliao. As crticas suposta subutilizao dos resultados da avaliao externa e a sugesto de que as Secretarias de Educao tm pouca capacidade para aproveitar as informaes levantadas, a no ser para oferecer sugestes pedaggicas aos professores, parecem ultrapassadas perante a crescente sofisticao dos sistemas estaduais e indicam mais uma vez a necessidade de atualizar os nossos conhecimentos. O presente estudo pretende remediar essa lacuna ao mostrar o papel cada vez mais importante das avaliaes subnacionais na composio da poltica educacional. Mesmo no chegando sempre aos jornais, h indcios suficientes de que est em curso uma mudana importante na penetrao e diversificao da avaliao educacional em nvel dos estados e municpios de porte maior ao ponto de muitas das inovaes nesse campo estarem acontecendo no mais na esfera federal, mas em nvel subnacional. As avaliaes da aprendizagem na fase de alfabetizao, a criao de instrumentos
8
padronizados para finalidades de diagnstico individual e o uso da avaliao para polticas de incentivos salariais seriam apenas trs exemplos. Cada vez mais os estados esto assumindo polticas educacionais que tm como pressuposto a existncia de informaes detalhadas sobre a aprendizagem dos alunos e cuja execuo requer o uso cada vez mais variado e sofisticado dessas informaes. Ou seja, os estados tambm esto galvanizados para uma nova gerao de instrumentos de avaliao e de uma variedade cada vez maior de polticas de interveno calcadas em informao sobre o desempenho dos alunos. Portanto, na descrio dos esforos de todos os sistemas para melhorar a qualidade do ensino, torna-se indispensvel captar os avanos no uso dos resultados das avaliaes educacionais tambm em nvel subnacional. Entretanto, o objetivo do estudo no exclusivamente descritivo. preciso tambm entender as consequncias da expanso da avaliao subnacional para o desenvolvimento da Educao. O fato de os estados estarem assumindo novas polticas de avaliao de escolas e professores com base nos resultados dos alunos no encontra aprovao total e h a necessidade de pesar as evidncias. Outras polticas, como a alocao de recursos com base nos resultados das escolas, podem parecer menos problemticas, mas os critrios empregados podem variar e as consequncias tambm. H a necessidade, portanto, de submeter as novas polticas de gesto a um processo de anlise para determinar seus provveis efeitos. Com esse olhar, derivado em parte de pesquisas e em parte das opinies dos prprios envolvidos, torna-se possvel responder a perguntas como: as polticas de gesto baseadas nos resultados dos alunos so sempre bem-sucedidas? Quais os impactos de polticas baseadas na avaliao de alunos para a melhoria da Educao? Dado o que sabemos dos efeitos colaterais, os estados esto empregando as avaliaes educacionais da forma mais adequada? Para poder contribuir para essa discusso, necessrio, primeiro, entender os antecedentes dessa expanso. O processo pelo qual os estados comearam a montar sistemas de avaliao educacional e, em seguida, polticas de gesto derivados dos produtos desses sistemas no foi aleatrio. Em diferentes graus, foram influenciados
9
pelo movimento de reforma externo e interno chamado de neoliberal, que a partir da dcada de 1990 estabeleceu a qualidade do ensino como o objetivo primordial da poltica educacional e definiu os resultados escolares como seu indicador principal. Precisamos tambm estudar em alguma profundidade o elemento mais crtico do modelo de avaliao que foi se alastrando pela regio nessa poca. Estamos nos referindo ao componente de accountability, que se estabeleceu como uma alavanca nas mos dos gestores interessados em criar novos incentivos para motivar a mudana na Educao. Para entender como os gestores brasileiros esto aproveitando esse conceito, precisamos explicitar o significado do conceito nas suas origens, avaliar as polticas que empregam diferentes verses de accountability e mostrar a probabilidade de sucesso dessas polticas ao serem incorporadas ao leque de opes do gestor educacional brasileiro. O fato de haver origens comuns no significa que as polticas seguidas por cada estado que optou por implantar um sistema prprio de avaliao so todas iguais. Mesmo havendo semelhanas, dentro das opes para a utilizao dos resultados das avaliaes, os critrios e propsitos podem variar. Para distinguir entre as diferentes polticas de avaliao, precisa-se criar um sistema classificatrio capaz de dar conta da diversidade ao mesmo tempo em que categorize as polticas de acordo com os propsitos dos gestores. Sem esse esforo classificatrio, as polticas acabam sendo discutidas estado por estado como se a sua distribuio geogrfica fosse a razo pela investigao. Com uma classificao por tipo de poltica, por outro lado, pode-se contrastar as polticas dos estados e deixar mais ntidas as diferenas existentes entre as diversas verses de uma mesma poltica. Aps a explicao do sistema classificatrio, ser possvel entrar no assunto principal do estudo, que expor e analisar as diversas polticas seguidas pelos governos estaduais e alguns municpios de porte maior, principalmente das capitais, que empregam a avaliao educacional na busca da melhoria da Educao. Essas polticas de uso dos resultados dos sistemas de avaliao representam uma ferramenta poderosa quando bem entendidas suas potencialidades e limitaes.
10
1.
Objetivos De forma sinttica, os objetivos deste estudo so: i. Descrever, por meio do emprego de sistema classificatrio prprio, as
diferentes maneiras em que os governos estaduais e municipais usam os resultados das avaliaes externas na conduo da poltica educacional. ii. Mediante a coleta de informaes secundrias, fornecer uma sinopse mais
atualizada da variedade das polticas de gesto que fazem uso dos resultados da avaliao externa. iii. Com base em pesquisas nacionais e internacionais, e os subsdios oferecidos
por especialistas e gestores, fazer uma anlise de cada poltica de gesto para determinar se representam um aproveitamento apropriado das informaes disponveis e se contribuem para a poltica de melhoria da qualidade da Educao. iv. Como objetivo ltimo, oferecer subsdios para a formulao e reformulao de
polticas pblicas que fazem uso dos resultados dos sistemas de avaliao educacional.
11
2.
Mtodos O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de
todas as fontes secundrias possveis, de todas as informaes disponveis sobre a avaliao educacional em nvel subnacional. Havia limites de tempo e de pessoal e dentro desses parmetros descobriu-se que a fonte mais importante foi, de longe, a internet e os sites patrocinados pelos prprios governos estaduais e municipais. Organizou-se um banco de dados para o registro de informaes e armazenamento de documentos por estado e pela natureza oficial ou no oficial da informao. O ambiente usado para esse banco de dados foi o Google Docs (veja Anexo 1). Criou-se tambm um sistema classificatrio para todos os diferentes usos da avaliao padronizada (veja seo 5) e com base nesse sistema desenvolveu-se um instrumento que sintetizava a informao por tipo de poltica de gesto por cada estado ou prefeitura. Essa ficha funcionou como catlogo para todas as informaes secundrias coletadas. A segunda fase se concentrou no aprofundamento das ideias que surgiram na primeira fase e na elucidao de exemplos de polticas de gesto cujas informaes tinham chegado de forma incompleta ou que ainda suscitavam interesse especial. Nessa fase, foram realizadas 20 entrevistas semiestruturadas com gestores, tcnicos e especialistas em avaliao em sete estados diferentes (veja Anexo 2). Mediante essas entrevistas, esperava-se caracterizar melhor as polticas de gesto mais comuns e descobrir indicaes da sua eficcia. As entrevistas foram gravadas, transcritas e posteriormente analisadas dentro do ambiente fornecido pelo NVivo 8 (veja Anexo 3). Esse aplicativo tambm permitiu a organizao das opinies dos entrevistados de acordo com as categorias do sistema classificatrio. Pela natureza do estudo, que mais um levantamento para fins classificatrios do que um retrato de todos os exemplos nos diversos cantos do pas, no ser possvel oferecer uma medida da frequncia de uso das diferentes polticas de gesto encontradas. Por ter um propsito mais analtico, sero enfatizadas as caractersticas e qualidades das polticas encontradas, e no sua distribuio ou importncia em termos
12
geogrficos. Sero empregados exemplos de diferentes estados e municpios, mas sem insinuar que esses so os exemplos nicos ou necessariamente os mais bem acabados.
13
3.
A Expanso da Avaliao Educacional Entre os elementos que contriburam para a expanso da avaliao externa como
um instrumento da gesto educacional nos diversos nveis dos sistemas educacionais ao longo das ltimas dcadas, encontram-se dois fatores considerados primordiais pela literatura especializada: a) a disseminao de um modelo de reforma educacional na dcada de 1990 calcado na avaliao educacional e voltado para a melhoria da qualidade; e b) a incorporao pelos governos de metodologias de gesto baseadas em critrios de eficincia e de planejamento estratgico e voltadas para a melhoria nos resultados dos servios pblicos. No caso dos governos subnacionais brasileiros, devese acrescentar um terceiro fator: c) o incentivo criado pela inaugurao de um indicador nacional de desenvolvimento educacional e pela liderana do MEC ao fixar o foco nos resultados e no uso da avaliao educacional entre as diretrizes principais do Plano de Metas Compromisso Todos pela Educao.
a) Reforma educacional. A torrente de mudanas educacionais mltiplas e simultneas nas diversas regies do mundo na dcada de 1990 no foi aleatria. As semelhanas entre as reformas dos diferentes pases, como se estivessem seguindo um receiturio, denunciavam uma histria de origens comuns. As origens imediatas podem ser encontradas, em parte, nos eventos internacionais que galvanizaram os formuladores das polticas educacionais e tambm no papel dos bancos de desenvolvimento, as agncias de assistncia bilateral e at as ONGs internacionais na disseminao mundial das propostas de reforma. Em nvel mais conceitual, precisa-se de uma anlise da lgica da globalizao e da sua relevncia para a compreenso dos fenmenos educacionais. Usando a regio da Amrica Latina como um exemplo, Gajardo (2000) mostra a semelhana notvel nos objetivos das reformas simultneas de 19 pases. Na maioria desses pases, so especificados os objetivos gerais de descentralizar a gesto, melhorar a qualidade, a equidade e a eficincia dos sistemas, oferecer maior autonomia e tambm cobrar maior responsabilidade da escola, investir mais e melhor
14
na formao do professor e conectar a escola s demandas da sociedade. Quando as reformas educacionais dos diferentes pases so categorizadas de acordo com seus objetivos mais especficos, pode-se ver claramente o quanto as reformas seguiram os mesmos rumos ao longo do continente. No entanto, no caso da implantao de novos sistemas de avaliao padronizada que a verdadeira uniformidade das propostas educacionais revelada. Nesse caso, observa-se que nada menos que 13 pases da regio, incluindo o Brasil, adotaram sistemas de avaliao entre 1990 e 1998. No quadro da autora que identifica o ano de implantao desses sistemas, as nicas excees so o Chile, que criou o Simce no final da dcada anterior, e Cuba, um caso parte, que j tinha um sistema prprio desde a dcada de 1970 (GAJARDO, 2000). Devemos procurar a explicao das semelhanas e simultaneidade das reformas em dois nveis. Num primeiro momento, h que reconhecer o efeito das mltiplas reunies multilaterais e ministeriais e o esforo das agncias de desenvolvimento em forjar o novo consenso para levar a Educao ao topo da agenda. Antes das outras reunies e conferncias, cabe mencionar a Conferncia Mundial sobre Educao da Unesco de Jomtien, na Tailndia, que no princpio da dcada reuniu delegados de 155 pases para fixar diretrizes para a transformao dos sistemas de Educao. Os delegados criaram histria ao adotar a Declarao Mundial de Educao para Todos, que estabelece a Educao como um direito humano fundamental e define como obrigao de todo sistema satisfazer s necessidades bsicas de aprendizagem de toda a sua populao. Alm da chamada principal de universalizar o ensino fundamental at o final da dcada, foram tomadas decises de privilegiar as questes da equidade, de dar nfase aos resultados da aprendizagem, de criar ambientes voltados para a aprendizagem e de tornar a Educao um instrumento de desenvolvimento econmico e social. Incentivados pelo novo consenso e ativados pelas inmeras demandas dos pases em desenvolvimento, os bancos internacionais se tornaram os financiadores da reforma educacional na maioria dos pases da regio. O Banco Mundial adotou as declaraes de Jomtien e moldou uma srie de estratgias consideradas eficazes na realizao desses objetivos, incluindo o fortalecimento da autonomia das escolas e a
15
criao de sistemas de avaliao de aprendizagem. Diversos estados brasileiros foram beneficirios desse receiturio, incluindo Minas Gerais, So Paulo, Paran e Cear. Num segundo nvel, a explicao do consenso a favor da reforma educacional envolve a referncia nova ordem econmica mundial. Na opinio de diversos autores, o que alimentava o entusiasmo crescente com os temas educacionais e movimentava os ministros e os bancos de desenvolvimento eram as mudanas na organizao da economia global (GAJARDO, 2000; KRAWCZYK, 2000; LIMA ;AFONSO, 2002). Essa nova ordem significava a abertura das economias nacionais concorrncia em escala global e ao livre movimento de investimentos e tecnologia. Nesse novo cenrio de integrao e de concorrncia no plano econmico e de redemocratizao no plano poltico, cabia aos pases a reforma de seus sistemas educacionais para garantir a competitividade. Nesse debate, inconfundvel a ideia de que a reforma educacional fazia parte de uma estratgia econmica para alavancar a
competitividade. Fala-se da centralidade adquirida pela Educao na preparao das novas geraes para o trabalho, para a criao das competncias demandadas pela nova estrutura de empregos e pelas novas atividades produtivas. Entende-se que essas demandas provocadas pela globalizao da competio seriam mais bem atendidas aps serem implantadas as reformas dos sistemas educacionais. Nas entrelinhas dessa reforma educacional, aparece a conexo entre a competitividade internacional, a produtividade individual e a melhoria na qualidade da Educao. Se antes ela foi considerada apenas como um direito social, as reformas da dcada de 1990 deixaram claro que os governos enxergavam a qualidade como um ingrediente necessrio modernizao e ao desenvolvimento e os sistemas de avaliao como os guardies dos esforos de melhoria. Os modelos disponveis, e to habilmente propagados pelos organismos internacionais, foram as reformas institudas na Gr-Bretanha e nos Estados Unidos a partir da dcada de 1980. Ambas serviram para elevar o status da avaliao educacional. No primeiro caso, foram implantados o currculo nacional e um sistema prprio para sua avaliao. No segundo, deu-se cobertura para o uso cada vez mais frequente de sistemas de avaliao para exigir
16
competncias mnimas como requisitos para receber o diploma de Ensino Mdio e para impulsionar reformas no currculo e na qualidade do ensino. A quantificao dos resultados da escola ocupa a posio central no novo modelo de gesto educacional e eleva a avaliao ao status no s de fornecedor de informaes quantitativas mas tambm de pedra fundamental para diversas polticas orientadas para a melhoria nos resultados. Nos Estados Unidos, o grande estmulo a favor dessa nova orientao veio com o relatrio lanado em 1983 pela comisso criada pelo governo de Ronald Reagan para estudar a situao da Educao naquele pas. Chamado Uma Nao em Risco, o relatrio causou um furor ao fazer uma srie de previses sombrias sobre o prprio futuro do pas devido baixa qualidade do ensino das suas escolas. Na parte reservada s recomendaes, o relatrio trata primeiro dos contedos curriculares e argumenta a favor do fortalecimento dos requisitos para a concesso do diploma de Ensino Mdio em termos de anos de estudo. Na seguinte leva de recomendaes, apresenta-se a ideia que o nvel de exigncia para cada contedo precisa subir ao mesmo tempo em que se criem em todos os estados os sistemas de testes de desempenho para certificar o nvel de aprendizagem dos alunos. Com essas orientaes, foi definida a pea fundamental da reforma educacional das prximas dcadas tanto nos Estados Unidos como em outros pases. Trata-se do uso da avaliao externa como um instrumento da reforma educacional para a divulgao das mudanas desejadas e para o monitoramento dos avanos conseguidos. Uma Nao em Risco deu credito ideia da reforma baseada em padres. Na sua essncia, essa mudana colocou o desempenho dos alunos no centro das atenes como o objetivo primordial do trabalho da escola e legitimou o uso das avaliaes externas para medir a eficcia da escola e dos professores no cumprimento dessa tarefa. As consequncias que foram sendo associadas aos resultados dos alunos de determinada escola ou professor, incluindo o pagamento ou no de incentivos, sinalizam a transferncia do nus pelos esforos de melhoria em direo escola e deram sentido palavra que virou sinnimo das reformas accountability. A reforma da Inglaterra se inspirou e reforou essa mesma tendncia. Ao criar um currculo nacional com estrutura fortemente disciplinar, o governo de Margaret
17
Thatcher estabeleceu as condies para estruturar um sistema de avaliao externa que pela primeira vez permitiria a comparao de desempenho tanto de alunos como de escolas. Com base nesse sistema para medir e publicar o desempenho dos alunos nos anos finais de cada etapa chave do currculo, foram criados, primeiro, o sistema de ranqueamento de escolas por meio das chamadas league tables2 e, posteriormente, as metodologias mais sofisticadas de valor agregado que, ao controlar pela aprendizagem anterior e condio socioeconmica dos alunos, permitem comparaes mais autenticas entre as escolas (GRAY ;WILCOX, 1995).
b) Reforma da gesto pblica. A reforma educacional da Gr-Bretanha, que tanto contribuiu para a criao da agenda dos organismos internacionais, no foi um fenmeno s setorial, isolado do pensamento poltico do governo como um todo. O partido conservador de Margaret Thatcher, que tomou o poder em 1979, estabeleceu uma srie de prioridades inspiradas em ideias liberais norte-americanas e adotadas para combater a influncia do pensamento socialista, que permeava as polticas pblicas. Entre as prioridades, adotou-se um programa econmico liberal e incorporou-se um novo modelo de servio pblico baseado em ideais de livre mercado. Chamado posteriormente de New Public Management, a reforma do estado na Gr-Bretanha ao longo da dcada de 1980 se desenvolveu em trs dimenses. A dimenso mais gerencialista se caracterizou por uma nfase na produtividade e eficincia do aparato governamental. Uma segunda dimenso, atenta s necessidades da populao consumidora, procurou a melhoria na qualidade e efetividade dos servios pblicos, enquanto a preocupao com a accountability e a transparncia refletia a procura por um modelo de governana mais democrtico (ABRUCIO, 2006). Influenciado por atitudes favorveis ao livre mercado, o destaque desse modelo foi a criao de uma administrao pblica voltada mais para o controle dos resultados dos programas e servios do que o controle das normas e dos procedimentos mais
Literalmente, tabelas de ligas de futebol. Ranqueavam-se as escolas em Tabelas de Desempenho de Escolas como se fossem times de futebol. 18
associados aos modelos de planejamento central. Nesse contexto, fazia todo sentido no s enfraquecer as amarras administrativas e financeiras entre as autoridades educacionais locais e as escolas como tambm criar um currculo nacional oficial e um sistema de avaliao educacional correspondente, a ser usado no monitoramento e no controle da qualidade das escolas. Segundo Segatto (2011), os instrumentos desse modelo de estado so a horizontalizao de estruturas, a flexibilizao da gesto de pessoal, a criao de relaes contratuais entre o rgo central e as instncias descentralizadas e, acima de tudo, o fortalecimento dos mecanismos de avaliao de desempenho (SEGATTO, 2011). O controle a posteriori dos resultados supe a autonomia para as organizaes que executam a poltica (PETERS, 2008), que por sua vez pressupe a flexibilizao da administrao pblica, a adoo de metas claras e a construo de mtodos eficazes para a avaliao de desempenho das unidades inferiores e a aplicao de sanes para os que no alcanam os resultados contratados (CLAD, 2000). A reforma do estado mediante a assimilao das novas prticas de gesto pde ser observada tambm nos Estados Unidos e em vrios pases da Amrica Latina. Nos Estados Unidos, foi aprovado em 1993 o Government Performance and Results Act, que estabeleceu o planejamento estratgico e a mensurao do desempenho das agncias do governo federal. A partir de 1997, cada agncia governamental precisa declarar sua misso estratgica, seus objetivos de longo prazo e suas metas anuais de desempenho. Essas ltimas so expressas em termos de indicadores de desempenho para ajudar as agncias governamentais a melhorar seu trabalho e facilitar a comunicao com o pblico (MUNIZ ;SILVEIRA; BECHELAINE, 2010). Na Argentina, o Sistema de Informao, Avaliao e Monitoramento de Programas Sociais foi criado pelo governo federal em 1995 para cumprir funes similares e no Chile o governo tem usado um sistema de acompanhamento de indicadores de desempenho desde 1994. A gradual adoo desse modelo de gesto em nvel subnacional no Brasil comeou com o fim da inflao e a crise financeira dos estados, em 1995. Segundo Abrucio e Gaetani (2006), a privatizao dos bancos estaduais, a renegociao das dvidas em termos menos favorveis, a Lei Kandir e uma srie de outros regulamentos para
19
enquadrar as finanas subnacionais obrigaram os governos estaduais a reduzir gastos e procurar maior eficincia (ABRUCIO; GAETANI, 2006). Ou seja, a busca pela eficincia nas polticas governamentais comeou com o Plano Real e o cerceamento das prticas financeiras predatrias dos estados, que antes usavam a inflao como uma forma de resolver seu dficit fiscal. Ao mesmo tempo, o planejamento estratgico ganhou impulso com base em duas iniciativas do Governo Federal: o Estudo dos Eixos Nacionais de Integrao e Desenvolvimento, em 1997, e o Plano Plurianual 2000-2003, denominado Avana Brasil, que desdobrou o anterior e o organizou em programas referenciados a resultados. Esses programas continham objetivos, pblicos-alvo, metas, indicadores e procedimentos e normas para a avaliao dos programas: A avaliao de programas orientada para resultados insere-se nesse contexto, com a aferio da efetividade das aes do Governo. Nesse sentido, os planos anuais estabeleceram nveis de desempenho projetados atravs de indicadores, que deveriam ser quantificveis e mensurveis, que deveriam ser avaliados em razo do atingimento dos nveis de desempenho projetados ou dos objetivos programticos. (MUNIZ; SILVEIRA; BECHELAINE, 2010)(p. 35) Nos anos seguintes, essas prticas de planejamento e gesto com base em resultados se disseminaram por vrios estados, incluindo Minas Gerais, Esprito Santo, Rio de Janeiro, Mato Grosso e Santa Catarina (PORTO; SILVEIRA, 2010). De modo geral, esses estados adotaram uma lgica de gesto que se assemelhava ao planejamento estratgico do setor privado. O modelo seguido se baseava em uma anlise dos ambientes externo e interno para depois construir uma viso do futuro de longo e mdio prazo, desdobrado a seguir em objetivos, estratgias e indicadores de desempenho. A convergncia com o planejamento de empresas e organizaes do setor sem fins lucrativos reflete as origens do modelo e a sua afinidade com os ideais de livre mercado.
20
Inspirado nas iniciativas do Governo Federal e nas experincias internacionais, Minas Gerais foi um dos primeiros estados a incorporar o modelo de gesto por resultados e oferece um exemplo da afinidade entre os propsitos da avaliao educacional e as exigncias das novas polticas. Na primeira fase, iniciada em 2003, os planejadores produziram o Plano Mineiro de Desenvolvimento Integrado, que serviu como a viso do futuro para o perodo at 2020. Os cenrios futuros evidenciaram a necessidade da reorganizao e modernizao do setor pblico estadual por meio do chamado Choque de Gesto. Para criar a ponte entre os cenrios futuros e as aes do secretariado, foram criados 30 projetos estruturadores e depois os programas setoriais para compor o plano plurianual do governo para o perodo at 2006. Para definir os objetivos de seus programas para o ensino fundamental e mdio, a Secretaria da Educao optou por uma bateria de indicadores, entre os quais as proficincias mdias dos alunos de 3, 5 e 9 anos e 3 ano do Ensino Mdio. Derivados do sistema estadual de avaliao, Simave, essas proficincias oferecerem uma forma concreta de fixar metas com base em resultados finalsticos, quando a maioria das Secretarias s oferecia indicadores de processo. Na segunda fase de implantao do novo modelo de gesto, chamada Estado para Resultados, ficou ainda mais evidente o uso do Simave para atender aos requisitos dos planejadores. Como grandes estratgias para a criao de critrios comuns para a reorganizao e modernizao do servio pblico, foram aprimorados o sistema de avaliao de desempenho de todos os servidores e tambm o Acordo de Resultados. Esse ltimo, uma metodologia para fixar metas de desempenho para todas as instncias das Secretarias e pagar uma bonificao em caso de cumprimento dessas metas, encontrou na Secretaria de Educao o melhor exemplo de como calcular com exatido os resultados esperados. A orientao poltica a favor da melhoria dos resultados dos servios pblicos achou no sistema de avaliao educacional as respostas desejadas. Ao mesmo tempo, o sistema de avaliao se desdobrou e penetrou em todos os programas da Secretaria em resposta a um ambiente de planejamento francamente propcio ao uso de objetivos e metas quantificveis. Essa afinidade entre um modelo de gesto para resultados e os sistemas de avaliao
21
educacional ser retomada em seo posterior. Por enquanto, basta enfatizar a sua importncia para o uso crescente da avaliao educacional pelas Secretarias de Educao e o uso dos produtos dessa avaliao para o planejamento.
c) Liderana do MEC. O Sistema Nacional de Avaliao do Ensino Bsico criado pelo Inep no princpio da dcada de 1990 est na raiz de todos os sistemas estaduais de avaliao. Pela criao do precedente e pela aprendizagem tcnica oferecida pelo Saeb, o Governo Federal exerceu uma influncia forte na criao dos sistemas estaduais. Quando o Banco Mundial ofereceu financiamento para as reformas educacionais de estados como Paran, Minas Gerais e Cear, na dcada de 1990, j havia o exemplo de um sistema de avaliao em funcionamento, mesmo s amostral, e alguma confiana por parte dos estados que seria possvel reproduzir a experincia do Inep em nvel estadual. Apesar do inegvel efeito indutor do Saeb, a influncia do Ministrio na definio e diversificao dos sistemas estaduais s foi sentida de novo a partir da definio da poltica educacional do segundo governo Lula, com a criao do Ideb e o foco nos resultados do Decreto N 6.094, de 24 de abril de 2007. A Prova Brasil, criada em 2005, no teve a mesma influncia indutora que o Saeb, justamente por ser uma avaliao censitria de todos os alunos de 5 e 9 anos e ser entendida pelos seus idealizadores como uma fonte suficiente de informao, capaz de suprir as necessidades dos estados e municpios. Mesmo restrita s zonas urbanas, s escolas de ensino fundamental com mais de 20 alunos e ser bianual, a Prova Brasil de fato fornece um retrato valioso do funcionamento do sistema de ensino fundamental no pas. Foi a partir da criao do Ideb, em 2007, que a Prova Brasil encontrou sua verdadeira vocao. Pela incluso da mdia de desempenho dos alunos, juntamente com uma medida de fluxo em uma frmula que permite expressar a qualidade da escola em um nico nmero numa escala de 1 a 10, foi possvel potencializar os resultados da Prova Brasil e criar pela primeira vez uma discusso nacional sobre a direo e velocidade da melhoria da Educao. Por meio do Ideb, portanto, a Prova
22
Brasil comeou a exercer um poder de persuaso sobre os rumos da Educao nos estados e municpios, permitindo que o Ministrio recuperasse sua ascendncia sobre a poltica educacional. Como diz Vidal e Vieira: H uma aceitao incondicional do Ideb. O ndice passou a ser o elemento norteador, por excelncia, da poltica municipal de Educao. A gesto da Educao municipal gira em torno da melhoria do Ideb nas escolas, e para isso, as SMEs procuram estabelecer mecanismos de monitoramento das escolas. (VIDAL; VIEIRA, 2011)(p. 12) Ao mesmo tempo, o Ideb forneceu um modelo para os estados com sistemas prprios de avaliao e capacidade de enxergar o valor em captar em um nico ndice a situao de cada turma e de cada escola para o planejamento e a gesto do sistema. Resta saber se o Ideb levar outros estados a criar sistemas prprios de avaliao para poder ter indicadores prprios com base em informaes mais detalhadas e mais frequentes. A evidncia que os 15 estados que implementaram sistemas de avaliao conseguiram promover uma elevao da proficincia mdia em matemtica dos alunos da 4 srie entre 1997 e 2005 maior do que os outros estados tambm dever servir de incentivo (OLIVEIRA, 2007). O pensamento por trs dos passos do MEC e do Inep na criao primeiramente de uma avaliao censitria nacional e, em seguida, de um indicador que sintetizava a qualidade do ensino, ficou expressa no Decreto N 6.094, que implementou o Plano de Metas Compromisso Todos pela Educao. Essa legislao, uma pea central na estratgia do Ministrio de estabelecer uma espcie de cruzada nacional a favor da qualidade da Educao e galvanizar os estados e municpios em torno de um conjunto de metas, explicitou as principais estratgias do Ministrio para a melhoria dos resultados das escolas. As trs primeiras metas davam a avaliao educacional como o instrumento preferido e especificavam os resultados dos alunos como o parmetro e o objetivo dos esforos de melhoria: Art. 2 A participao da Unio no Compromisso ser pautada pela realizao direta, quando couber, ou, nos demais casos, pelo incentivo e
23
apoio implementao, por Municpios, Distrito Federal, Estados e respectivos sistemas de ensino, das seguintes diretrizes: I - estabelecer como foco a aprendizagem, apontando resultados concretos a atingir; II - alfabetizar as crianas at, no mximo, os oito anos de idade, aferindo os resultados por exame peridico especfico; III - acompanhar cada aluno da rede individualmente, mediante registro da sua frequncia e do seu desempenho em avaliaes, que devem ser realizadas periodicamente; No segundo captulo do mesmo decreto, o Ministrio estabeleceu o Ideb como a forma de aferir a qualidade da Educao bsica e como o indicador a ser usado na verificao do cumprimento das metas fixadas no termo de adeso ao Compromisso Todos pela Educao. Com um nico artigo, o MEC parecia querer encerrar uma discusso de dcadas sobre a melhor maneira de definir e medir a qualidade da Educao e optou por uma soluo de fcil compreenso. A partir de 2007, os resultados dos alunos, medidos por sistemas de avaliao externa, se tornaram o objetivo da poltica educacional e o parmetro a ser usado para medir o sucesso do governo na conduo dessa poltica. Em recente relatrio do Centro de Gesto e Estudos Estratgicos sobre o legado dos anos Lula, escrito em parceria com a Secretaria de Assuntos Estratgicos da Presidncia da Repblica, os autores escrevem: Modelado pelos patamares dos pases da OCDE, o Ideb estabeleceu objetivos para o pas, para cada sistema de ensino e cada escola, de modo a que, em 2021, venhamos a atingir o nvel educacional dos pases desenvolvidos em termos de proficincia em Linguagem e Matemtica. Teve o mrito de combinar resultados importantes, pois desejvel que os nveis de proficincia melhorem e aumentem os percentuais de aprovao. (OLIVEIRA; GADELHA, 2010) (p. 79) O instrumento escolhido para ajudar os municpios a adotarem as metas e trabalharem seriamente a favor da melhoria do Ideb foi o Plano de Aes Articuladas
24
PAR. Esse plano, baseado em diagnstico feito com a ajuda do MEC, seria a base de um convnio pelo qual o Ministrio exerceria o monitoramento da execuo do convnio ou termo de cooperao e do cumprimento das obrigaes educacionais fixadas no PAR [...] com base em relatrios ou, quando necessrio, visitas da equipe tcnica (Art. 11). Nas entrelinhas, leia-se o Ideb e a ideia de que os municpios aceitavam os recursos do Ministrio com a condio de implantar mudanas e promover a melhoria da qualidade medida pelo novo indicador. Esse sistema de accountability, uma novidade nas relaes entre nveis de governo na rea da Educao, s servia para enfatizar uma vez mais a importncia a ser atribuda aos resultados de desempenho dos alunos e necessidade de estar sempre monitorando a aprendizagem. No de surpreender que em pouco tempo o Ideb tenha se tornado uma questo poltica para os gestores da Educao em nvel estadual e municipal e a avaliao educacional um elemento da maior relevncia na definio de prioridades governamentais. O Ideb marca um divisor de guas na forma de fazer poltica educacional e uma mudana radical nos critrios a serem empregados na avaliao do trabalho da escola e dos responsveis pelos sistemas de Educao.
3.1.
A Expanso dos Sistemas Estaduais de Avaliao
O Quadro 1, apresentado na pgina 37, mostra a evoluo dos sistemas estaduais de avaliao educacional no Brasil. Os primeiros estados a criarem sistemas prprios so Cear e Minas Gerais, em 1992. O governo do Cear cria o Sistema Permanente de Avaliao da Educao Bsica em Cear (Spaece), que se mantm at hoje, contando com algumas mudanas durante os anos. Em Minas Gerais, foi criado o Programa de Avaliao do Sistema Estadual de Ensino de Minas Gerais, que posteriormente se tornou o sistema atual: o Sistema Mineiro de Avaliao da Educao Pblica (Simave). Essas primeiras iniciativas abrangeram testes de portugus e matemtica no ciclo Bsico (3 srie) e na 8 srie, no caso do primeiro, e, no segundo, foram aplicados, anualmente, testes de portugus e matemtica para os alunos de 4 e 8 sries do
25
Ensino Fundamental, entre os anos de 1992 e 1996, sendo posteriormente realizado a cada dois anos para que no coincidisse com as provas do Saeb. O ano de 1992 tambm foi marcado pela implantao da Avaliao da Jornada nica, pela Secretaria de Educao do estado de So Paulo. O projeto era verificar os efeitos da jornada nica nos anos do ciclo bsico, de 1 a 8 srie. Houve o acompanhamento longitudinal de 3.600 alunos do Ciclo Bsico de 60 escolas da regio metropolitana de So Paulo entre 1993 e 1995. Esse estudo teve grande importncia, na medida em que permitiu identificar alunos-fantasmas, matriculados sem estarem cursando, e por verificar que o desempenho dos alunos das chamadas Escolas-Padro era semelhante ao observado nas demais modalidades de escola da rede estadual de ensino, o que ocasionou a extino das Escolas-Padro (OLIVEIRA, 2007). Esse processo culminou com a implantao do Sistema de Avaliao do Rendimento Escolar (Saresp) em 1996. Os objetivos eram fornecer um perfil de realizao dos alunos que pudesse ser utilizado pelos professores para que tomassem conhecimento do padro de desempenho dos alunos, alm do objetivo de identificar os pontos crticos no processo de ensino e aprendizagem na Educao pblica do estado de So Paulo. O Saresp permanece com uma avaliao anual desde ento, sem interrupes. A avaliao do Programa de Avaliao do Sistema Estadual de Ensino de Minas Gerais foi realizada anualmente de 1992 a 1998, avaliando diferentes sries escolares de um ano para o outro. Os objetivos do programa contemplavam principalmente a avaliao do desempenho dos alunos das escolas estaduais referentes a aspectos dos contedos curriculares, o levantamento de dados e informaes que possibilitassem polticas de interveno para o desenvolvimento do processo de ensino-aprendizagem, oferecer subsdios para os professores conduzirem com maior efetividade o processo de ensino e permitir que a Secretaria de Educao como um todo direcionasse suas aes (OLIVEIRA, 2007). O estado do Paran tambm criou um sistema prprio de ensino na metade dos anos 1990. O Programa de Avaliao do Sistema Educacional do Paran foi aplicado
26
pela primeira vez em 1995, na 4 srie do Ensino Fundamental, com testes de portugus e matemtica. Em 1996, foram aplicados testes na 8 srie do ensino fundamental em cincias, histria e geografia, alm dos conhecimentos em portugus e matemtica, e portugus e matemtica para o 2 ano do Ensino Mdio. J em 1997 e 1998, avaliaram-se, nos dois anos, a 4 e 8 sries do Ensino Fundamental e as habilidades em lngua portuguesa, matemtica e cincias. O objetivo geral do programa era obter informaes gerais sobre o nvel de conhecimento e habilidades dos alunos da Educao bsica do estado. Tambm, na dcada de 1990, houve experincias de avaliao nos estados de Mato Grosso do Sul e Rio Grande do Sul. De 1993 a 1997, foram realizadas avaliaes pontuais pelo Ncleo de Avaliao Educacional do estado do Mato Grosso do Sul de algumas sries a cada ano nas escolas estaduais, mostrando um interesse maior em fazer o diagnstico do sistema do que o monitoramento do progresso. Em 1993, 15.000 alunos da 8 srie do Ensino Fundamental foram testados. Em 1994, 31.700 alunos da 5 srie do Ensino Fundamental e 1.364 alunos dos cursos de magistrio. Em 1995, 26.000 alunos da 5 srie do Ensino Fundamental e 13.500 da 8. Em 1996, alunos da 4 srie do curso do Cefam e da 3 srie do Curso do Ensino Mdio da Escola Hrculos Maymone, no total de 1.250 alunos. Em 1997, 12.000 alunos do 3 ano do Ensino Mdio foram testados. J no estado do Rio Grande do Sul, houve avaliaes nas mesmas sries nos anos de 1996, 1997 e 1998. Contudo no se obtiveram maiores informaes dessas avaliaes (LOPES, 2007). No final dos anos 1990 e no princpio da nova dcada, observa-se que vrios estados comeam a criar o seu prprio sistema de avaliao educacional, enquanto outros aprimoram a parte tcnica da avaliao, utilizando novos instrumentos e procedimentos estatsticos. Pode-se dizer que um grande marco nas avaliaes educacionais no Brasil se d com a utilizao da metodologia de anlise e interpretao dos dados, chamada Teoria de Resposta ao Item (TRI). A utilizao dessa
27
tcnica realizada pela primeira vez em 1995, no terceiro ciclo de avaliao do Saeb3. Com base nessa tcnica e nas novas Matrizes Curriculares de Referncia, foi construdo um banco de itens para o quarto ciclo do Saeb, em 1997, utilizado at hoje. Em 1999, com uma parceria entre MEC, Inep e Secretaria de Educao do Acre, realizada, de modo censitrio, a avaliao dos alunos da 4 srie do Ensino Fundamental nesse estado. A parceria realizou nova avaliao em 2003, tambm de forma censitria, com os alunos de 8 srie do Ensino Fundamental e 3 ano do Ensino Mdio, alm dos alunos de 4 srie do Ensino Fundamental novamente. Houve uma orientao s escolas baseada nos resultados da avaliao. O retorno para as escolas se deu por meio de relatrios individualizados e produzidos no estado, que foram apresentados em seminrios com diretores e coordenadores pedaggicos. O ano de 1999 tambm o incio do Programa de Avaliao Externa da Secretaria de Educao da Bahia, que aplica os primeiros testes em 2001. Esse programa se dividiu em trs eixos principais: 1. Avaliao de desempenho, com a aplicao de testes de lngua portuguesa e matemtica a alunos de 4 e 8 sries, alm de questionrios contextuais, aos alunos das escolas pblicas dos municpios conveniados ao Programa Educar para Vencer; 2. Avaliao da Aprendizagem, que teve incio em 2001, com a aplicao de testes de matemtica a alunos de 1 e 2 sries do Ensino Fundamental das escolas pblicas urbanas de 130 municpios baianos, e prosseguiu em 2002, com a aplicao a alunos de 1 a 4 srie em 273 municpios; 3. O terceiro eixo seria a criao de uma agncia permanente de avaliao independente para dar continuidade s avaliaes de desempenho criadas pela Secretaria de Educao da Bahia. Contudo, observou-se o fim do sistema de avaliao da Bahia j no ano de 2004. Os resultados das avaliaes foram divulgados por meio de relatrios e reunies entre os responsveis pela avaliao e secretrios municipais de Educao, diretores e professores das escolas pblicas.
As avaliaes anteriores do Saeb se realizaram em 1990 e 1993. 28

Em 2000, houve a Avaliao das Escolas Pblicas do Maranho, numa parceria com a Fundao Cesgranrio. Foram avaliados, de forma censitria, os alunos da 4 srie do Ensino Fundamental da rede estadual. Em 2001, houve nova avaliao no estado, de forma censitria para as escolas estaduais, e amostral para as escolas municipais, destinada a alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio. Em 2001, houve uma avaliao no Tocantins nos mesmos moldes da realizada em 2001 no Maranho, numa parceria do Inep com a Fundao Cesgranrio. Em todos os casos, foram realizados testes de portugus e matemtica. Os resultados foram tratados pela metodologia adotada pelo Inep/MEC, com a anlise estatstica baseada na TRI. As avaliaes estaduais em Minas Gerais e Paran no se realizam em 1999. No ano 2000, o Programa de Avaliao do Sistema Educacional do Paran passa a utilizar a TRI para o tratamento de seus resultados de modo a compatibilizar o produto das avaliaes com a escala e resultados do Saeb, tambm produzidos com esse mtodo. Em 2001, tambm no h avaliao. O ano de 2002 o ltimo a ter uma avaliao estadual no Paran. Alm dos testes de lngua portuguesa, foram includos cincias e matemtica para 4 e 8 sries, efetuados desde 1997, e testes de lngua portuguesa, matemtica, fsica, qumica e biologia para o 3 ano do Ensino Mdio. J em Minas Gerais, aps a interrupo da avaliao em 1999, criado em 2000 o Sistema Mineiro de Avaliao da Educao Pblica (Simave). Os objetivos principais de sua criao foram avaliar todos os alunos estaduais da 4 srie, no primeiro ano do ciclo intermedirio, da 8 srie, no segundo ano do ciclo avanado, alm do 3 ano do Ensino Mdio por meio do Programa de Avaliao da Rede Pblica da Educao Bsica (Proeb). Posteriormente, a partir de 2005, criado o Pro-Alfa para avaliar as sries iniciais de alfabetizao, os primeiros anos de aprendizagem escolar. O Simave em sua origem j estabelece como unidade de anlise o item do teste cognitivo, incorporando tambm a metodologia de anlise estatstica da TRI com o objetivo de explorar os resultados obtidos e possibilitar a comparao dos mesmos ao longo dos anos. O Simave, tanto por meio do Proeb quanto do Pro-Alfa, aplicado anualmente at os dias de hoje.
29
Outro estado que passou por modificaes em seu sistema de avaliao foi o Cear. A partir de 2001, o Spaece passou a aplicar os testes via internet. Os alunos includos nas amostras por srie respondiam aos testes em telessalas equipadas com computadores. Nos trs anos de 2001 a 2003, o programa passou a denominar-se Spaece-Rede. A partir de 2001, o Spaece aplicado anualmente at os dias de hoje, possibilitando uma avaliao padronizada do progresso da Educao bsica sem interrupes. Em 2007, foi criado o Spaece-Alfa para avaliar a aprendizagem dos alunos nas sries iniciais de alfabetizao. O CAEd ficou responsvel pela avaliao, que ocorre anualmente desde ento, usando uma metodologia baseada em itens calibrados. Em 2000, foi criado o Sistema de Avaliao Educacional de Pernambuco (Saepe), em parceria entre a Secretaria de Educao de Pernambuco, a Unesco e o Inep, por meio de um acordo de cooperao tcnica. Inicialmente, foram aplicados testes de leitura para os alunos de 2 srie e lngua portuguesa, matemtica e cincias para alunos de 4 e 8 sries do Ensino Fundamental. No 3 ano do Ensino Mdio, no foi aplicada a prova de cincias. Tambm foram aplicados questionrios contextuais para escolas, diretores, professores, alunos e pais. O Saepe foi aplicado novamente em 2002, depois em 2005 e, desde 2008, aplicado anualmente, pelo modelo CAEd, com testes padronizados e a utilizao da TRI. Tambm no ano de 2000, foi criado o Programa de Avaliao da Educao Bsica (Paebes) pela Secretaria de Educao do Esprito Santo com o intuito de avaliar a qualidade da Educao pblica nos nveis fundamental e mdio e, com base nos resultados, implementar polticas e aes educacionais que visem a melhoria dos processos de ensino-aprendizagem. Em 2004, o Paebes foi aplicado novamente com nova metodologia pautada em Matrizes de Referncia para a construo de itens, a utilizao da Teoria Clssica dos testes e da Teoria de Resposta ao Item (TRI), sendo disponibilizados relatrios para as escolas e para os pais e um relatrio geral. A terceira avaliao aconteceu em 2008 e desde ento o Paebes segue sendo aplicado anualmente pelo CAEd.
30
O sistema de avaliao prpria do estado do Rio de Janeiro foi criado pela Secretaria de Educao tambm em 2000, baseado na implantao do programa Nova Escola e aplicado em 2000, 2001, 2003, 2004 e 2005. Esse programa avaliava as escolas se baseando em testes de portugus e matemtica para alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio. Tambm eram avaliados o fluxo escolar dos alunos, em termos de aprovao, reprovao e abandono, e a gesto escolar, na forma da assiduidade dos profissionais que trabalham na escola, relao com a comunidade, correo da prestao de contas e a gesto com a matrcula. O Programa Nova Escola tambm continha uma poltica de incentivo salarial para os professores e demais profissionais da escola por meio de uma gratificao proporcional aos objetivos alcanados pelas escolas, dentro de uma gradao de cinco nveis de desempenho, variando de 5 a 25 pontos. A partir de 2008, a Secretaria de Educao do Rio de Janeiro criou um novo sistema de avaliao, o Sistema de Avaliao da Educao do Estado do Rio de Janeiro (Saerj), com o intuito de realizar uma anlise do desempenho dos alunos do ensino fundamental e mdio, buscando aprimorar os instrumentos para melhorar a Educao bsica no estado. Desde ento, o Saerj realizado anualmente por meio do modelo CAEd, com a utilizao de Matrizes de Referncias, TRI e produo de boletins. Em 2011, o estado do Rio implantou o Saerjinho, um teste diagnstico para os alunos de 5 e 9 anos do Ensino Fundamental e das trs sries do Ensino Mdio das escolas estaduais de ensino regular. Os testes de lngua portuguesa e de matemtica so aplicados ao final de cada bimestre. O objetivo acompanhar mais de perto o rendimento dos estudantes, detectando de maneira mais gil as dificuldades de aprendizagem das competncias e habilidades propostas no Currculo Mnimo. Em 2001, Gois e Alagoas tambm iniciaram seus prprios sistemas de avaliao. Em Alagoas, foi criado o Sistema de Avaliao Educacional de Alagoas (Saveal), visando dar um panorama da realidade educacional do estado, e com base nele construir indicadores bsicos de qualidade que direcionasse as polticas para o fortalecimento das escolas. A aplicao abrangeu todos os alunos das escolas pblicas da 4 srie do Ensino Fundamental. A segunda aplicao do Saveal ocorre em 2005, com o apoio da
31
Unesco. Os testes foram aplicados para alunos de 4 e 8 anos do Ensino Fundamental, com a aplicao de provas de portugus e matemtica. H a previso de que o Saveal se realize este ano. J a Secretaria de Educao de Gois implantou o Sistema Integrado de Avaliao do Estado de Gois (Saego) para comparar a Educao no estado com os nveis nacionais, buscando aperfeioar a Educao no estado. Foram aplicados testes de lngua portuguesa e matemtica aos alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio de forma censitria. O Saego foi aplicado novamente em 2002 e 2004. Em 2003, aps a experincia de avaliao em meados da dcada de 1990, a Secretaria de Educao do Mato Grosso do Sul, por meio de seu Ncleo de Avaliao Educacional, implantou o Sistema de Avaliao da Educao do Mato Grosso do Sul (Saems), tendo o CAEd como agncia avaliadora. Os princpios que nortearam o programa foram: a centralidade da escola, pela produo de indicadores de desempenho por meio da aplicao de testes a alunos de 4, 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio, produzidos por unidade escolar, oferecendo diagnstico do trabalho por elas produzidos; participao, por meio de oficinas de discusso da elaborao dos instrumentos de avaliao e a posterior produo de itens; gesto consorciada, por meio da participao compartilhada entre Inep, Secretaria Estadual de Educao, Universidade Estadual do Mato Grosso do Sul e CAEd do sistema de avaliao em diferentes nveis; equidade, como ideal de promoo poltica; publicidade, por meio da divulgao dos resultados s escolas e comunidades em geral; e independncia, no sentido de especialidade mais tcnica sem carter poltico partidrio. O Saems foi aplicado tambm nos anos de 2005, 2007, 2008, 2009 e h a previso de que seja aplicado este ano. O estado do Amazonas tambm implementou uma avaliao das escolas pblicas em 2003, uma parceria entre a Secretaria Estadual de Educao e o Inep/MEC. A avaliao foi feita nos moldes do Saeb. Houve treinamento dos professores, elaborao do banco de itens e produo das provas. Foram avaliados alunos de 2, 4 e 8 sries do Ensino Fundamental e 3 ano do Ensino Mdio. Contudo a equipe estadual responsvel pela avaliao teve dificuldades de trabalhar com a TRI e optou
32
pela utilizao da teoria clssica dos testes. Em 2008, a Secretaria Estadual de Educao criou o Sistema de Avaliao do Desempenho da Educao do Amazonas (Sadeam), com o objetivo de ter um monitoramento contnuo da Educao no estado e planejar aes para melhor-la. O Cespe foi responsvel pela avaliao no estado. Foram avaliados alunos de 5 ao 9 anos do Ensino Fundamental, 3 ano do Ensino Mdio e EJA. O Sadeam continua em funcionamento, sendo aplicado anualmente desde ento, utilizando em sua metodologia a Teoria Clssica e a TRI.4 Em 2004, foi implantado o Exame de Avaliao da Educao Bsica do Estado do Sergipe (Exaeb-SE) dentro do Sistema de Avaliao Peridica de Desempenho (Saped). Houve avaliaes em 2004, 2005 e 2006 com um exame aplicado anualmente a alunos da 5 8 srie do Ensino Fundamental e alunos do Ensino Mdio do Ensino Mdio das escolas pblicas estaduais. A avaliao foi amostral, mas contemplou todas as unidades escolares, turmas e disciplinas no estado. Contudo no h muita informao sobre esse sistema de avaliao, sobre os instrumentos e a metodologia utilizados, sobre o tratamento de resultados e a divulgao. O que se sabe que os relatrios foram devolvidos para as escolas e os diretores (LOPES, 2007). Aps as avaliaes externas realizadas em 1996, 1997 e 1998, o Rio Grande do Sul implantou seu prprio sistema de avaliao em 2005: o Sistema do Rendimento Escolar do Rio Grande do Sul (Saers), com objetivo de obter dados e informaes sobre o desempenho educacional dos alunos no que concerne ao seu desenvolvimento cognitivo e, com isso, possibilitar a correo de polticas pblicas na rea. Foram avaliados alunos de 2 e 5 sries do Ensino Fundamental, em relao leitura, escrita e matemtica, de forma censitria, em escolas urbanas e rurais de duas coordenadorias da rede estadual e em escolas municipais de 75 municpios. Tambm
Pela utilizao de ambas as teorias na produo de materiais, o estado de Amazonas poderia se tornar um estudo de caso para testar a hiptese que quando os Estados e municpios convertem suas metodologias para a TRI, eles perdem uma parte da capacidade de avaliar os processos de aprendizagem. Pela falta de familiaridade com a noo de proficincia e as conhecidas dificuldades de fazer uma interpretao das escalas, sugere-se que o avano tcnico da avaliao que traz vantagens em outras reas possa tambm estar associado perda de compreenso dos resultados. 33
foram aplicados questionrios contextuais a alunos, professores e diretores. Em 2007, segundo ano de aplicao do Saers, alm das sries citadas tambm foram avaliados alunos do 1 ano do Ensino Mdio. Trabalhou-se, metodologicamente, com a Teoria Clssica e com a Teoria de Resposta ao Item. O Saers foi aplicado em 2009 e 2010, sendo interrompido aps esse ltimo ano de avaliao depois da mudana de governo. Em 2008, alm da criao do Sadeam, tambm foram implementados os sistemas de avaliao do Piau e do Distrito Federal. A Prova Piau foi aplicada somente em 2008 at o momento. Desenvolvida pela Secretaria de Educao do Estado, a Prova Piau teve como objetivos, alm de avaliar o desempenho do aluno no estado e realizar polticas de interveno com base no diagnstico, tambm minimizar os ndices de evaso e repetncia na Educao pblica do estado. Os alunos de 3, 4, 7 e 8 sries do Ensino Fundamental e 2 e 3 anos do Ensino Mdio de todas as escolas pblicas do estado foram avaliados em testes de lngua portuguesa e matemtica. J a Secretaria de Educao do Distrito Federal implantou em 2008 a primeira avaliao do Sistema de Avaliao do Desempenho das Instituies Educacionais do Sistema de Ensino do Distrito Federal (Siade), ficando ela a cargo da Fundao Cesgranrio. A proposta avaliar 2, 4, 6 e 8 sries do Ensino Fundamental em relao a redao, matemtica e cincias e a 3 srie do Ensino Mdio, em que a avaliao de cincias seria substituda por testes de qumica, fsica e biologia. Novos contedos, como histria, geografia, filosofia e sociologia, tambm tm previso de serem avaliados. Desde 2008, o Siade realizado anualmente na rede pblica e na rede privada, quando solicitado ou em funo do recredenciamento. So disponibilizados matrizes de referncia e guia de itens. A metodologia contempla a utilizao da TRI e o desenvolvimento de ndice prprio para monitorar as escolas. Aps as avaliaes esparsas de 1999 e 2003, realizadas em parceria com o Inep/MEC, a Secretaria de Educao do Acre criou em 2009 o Sistema Estadual de Avaliao da Aprendizagem Escolar (Seape) com o intuito de fazer um diagnstico do sistema de ensino estadual e atuar como instrumento de monitoramento das polticas pblicas implementadas pelo estado. O CAEd o responsvel pelo Seape. So avaliados, anualmente, alunos de 4 e 8 sries do Ensino Fundamental e 3 ano do
34
Ensino Mdio das escolas estaduais e municipais do estado. So elaborados e discutidos os itens da prova e posteriormente analisados com base na TRI. So disponibilizadas tambm as matrizes de referncia. Pelo progressivo aumento da cor verde do Quadro 1, mostrando o crescimento dos sistemas estaduais de avaliao, percebe-se que esses sistemas j se tornaram aspectos fixos do panorama educacional do pas. Os estados que ainda no tm so minoritrios e alguns dos que j tiveram, mas por diferentes motivos suspenderam seu funcionamento, mostram a inteno de recuper-los. A reformulao da metodologia dos sistemas estaduais no princpio da dcada passada e a incorporao da TRI o divisor de guas na evoluo recente da avaliao. A partir desse momento, um nmero maior de estados se dispe a experimentar com a criao de sistemas prprios. No entanto, s a partir da metade da dcada passada que os sistemas se tornam mais permanentes, menos suscetveis aos reveses polticos dos primeiros anos da dcada de 1990 e mais slidos em termos tcnicos e metodolgicos. Quase no se escutam mais as dvidas expressadas pelos professores e outros profissionais a respeito da utilidade da avaliao externa. Como relatado por um dos tcnicos responsveis pela implantao de um dos sistemas mais recentes, o do Distrito Federal, a aceitao geral: ...Desde que ele foi constitudo, desde que se ouvir falar do Siade, a expectativa foi muito grande, e desde sua primeira publicao at hoje todo mundo se interessa, e se interessa de maneira positiva, pais, alunos, a prpria casa, profissionais. Tanto que a gente trabalha do lado da ouvidoria e a gente no teve uma reclamao sequer da avaliao em nenhum aspecto, seja logstico, seja de material, seja da sua aplicao, dos prprios contedos, n? (Tcnico: SEE/DF) Antes que se crie a noo que o avano da avaliao foi um processo tranquilo, sem solavancos nem retrocessos, importante destacar a falta de continuidade das polticas de avaliao mesmo nos estados com os sistemas mais consolidados. Nisso a avaliao refletiu as dificuldades evidentes em outras dimenses da poltica educacional, incluindo a fragmentao, falta de documentao e descontinuidade por
35
conta de rivalidades polticas. Devido tendncia de ver a poltica educacional como questo partidria e as conhecidas resistncias aos processos de avaliao externa por parte de alguns segmentos dos professores, no foi incomum nas dcadas passadas a paralizao dos sistemas de avaliao por certo tempo e at por perodos longos. Pode-se dizer que a falta de continuidade pela ausncia de consensos suprapartidrios sobre os rumos da poltica educacional prejudicou a evoluo da avaliao educacional e deixou marcas. Talvez o exemplo mais marcante de um sistema de avaliao que ficou suspenso em consequncia de resistncias polticas o de Paran. Esse sistema foi paralisado em 2002 e continua sem previso de retomada. A recente paralizao do Saers, no Rio Grande do Sul, pode tambm sinalizar um novo retrocesso caso o novo governo no recupere a confiana no valor de avaliaes estaduais regulares. Por outro lado, o caso de Minas Gerais parece oferecer exemplo dos benefcios de um sistema que manteve sua continuidade e que se consolidou justamente pela capacidade de fornecer informaes consistentes e comparveis, independentemente da colorao partidria do secretrio. Com essa continuidade, uma poltica educacional que se fundamenta nos resultados das avaliaes e outros produtos do sistema de informaes da Secretaria pde ser implantada gradativamente, permitindo uma consolidao mais consensual e segura.
36
Quadro 1. Sistemas Estaduais de Avaliao Educacional 1992-2011

Regio NO Estado AC AM PA RR RO AP TO NE MA PI SPAECE CE RN PB PE AL SE BA CO MT MS GO DF SE MG ES AVA-MG SIMAVE PROALFA PAEBES NAE SAEGO SIADE SAEMS * PAE SAEPE SAVEAL EXAEB SPAECE ALFA PAM AEP AEP PROVA PIAU SAD? SIMADE? * * 1992 1993 1994 1995 1996 1997 1998 1999 AC 2000 2001 2002 2003 AC AM SADEAM 2004 2005 2006 2007 2008 2009 SEAPE 2010 2011*
37
RJ SP SU PR SC RS SARESP AVA
PNE
SAERJ SAERJINHO
SAERS
AC - Avaliao Escolas Pblicas do Acre (1999 e 2003) Parceria Inep-Mec AEP - Avaliao Escolas Pblicas Cesgranrio AC - Avaliao Escolas Pblicas do Amazonas (2003) Parceria Inep-Mec AVA - Programa de Avaliao do Sistema Educacional do Paran EXAEB-SE Exame de Avaliao da Educao Bsica do Estado de Sergipe NAE Ncleo de Avaliao Educacional do Mato Grosso do Sul PAEBES - Programa de Avaliao da Educao Bsica do Esprito Santo PAE - Projeto de Avaliao Externa PAM Projeto de Avaliao do Maranho PNE Programa Nova Escola PROVA PIAU SAD Sistema de Avaliao de Desempenho (dvida se nos mesmos moldes dos outros) SADEAM Sistema de Avaliao de Desempenho Educacional do Amazonas
SAEGO Sistema de Avaliao da Educao de Gois SAEMS Sistema de Avaliao da Educao Bsica do Mato Grosso do Sul SAEPE Sistema de Avaliao Educacional de Pernambuco SAERJ Sistema de Avaliao da Educao do Estado do Rio de Janeiro SAERS Sistema de Avaliao do Rendimento Escolar do Rio Grande do Sul SARESP Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo SAVEAL Sistema de Avaliao de Alagoas SEAPE Sistema Estadual de Avaliao da Aprendizagem Escolar SIADE Sistema de Avaliao de Desempenho das Instituies Educacionais do Distrito Federal SIMADE Sistema Maranhense de Avaliao de Desempenho SIMAVE Sistema Mineiro de Avaliao (SIMAVE PROEB DESDE 2000 / PROALFA DESDE 2005) SPAECE Sistema Permanente de Avaliao da Educao Bsica do Cear
* A referncia de 2011 para estados que vo iniciar ou retomar a avaliao educacional neste ano com base em informaes no oficiais. Para os estados com sistemas de avaliao consolidados, supe-se que haja a continuidade no ano corrente. O estado do Paran sinaliza com a volta de seu sistema de avaliao no segundo semestre de 2012.
38
4.
Accountability e as Avaliaes High-Stakes A ideia de usar a avaliao educacional com o propsito de focar as atenes nos
resultados e, mediante diferentes estmulos ou medidas coercitivas, promover ou induzir mudanas nos professores e nas escolas no uma poltica nova. Em 1863, o parlamento britnico estabeleceu um sistema de financiamento educacional que durante quase 30 anos fixava os salrios dos professores de acordo com os resultados dos alunos em provas orais aplicadas pelos inspetores escolares (RAPPLE, 1994). Portanto, polticas de accountability efetivadas por meio do uso de provas high-stakes para determinar o pagamento de professores com base nos resultados dos alunos tm no mnimo 150 anos. Em tempos modernos, a associao entre resultados e consequncias, principalmente no uso de provas finais para determinar a graduao do Ensino Mdio nos Estados Unidos, data da dcada de 1970. Porm o uso mais recente de polticas que responsabilizam as escolas pelos seus resultados, coroado por uma legislao federal naquele pas que no princpio da dcada passada estipulava metas de proficincia para todos os grupos e ameaava fechar escolas que no as alcanavam, tem levado a prtica da accountability a um patamar de exigncia nunca antes experimentado. O descontentamento pblico com a qualidade da Educao na dcada de 1970 nos Estados Unidos se derivava do aparente fracasso dos programas de Educao compensatrios, das diferenas marcantes nos resultados dos grupos raciais, da falta de empregabilidade dos jovens e da sensao geral de que o diploma de Ensino Mdio, tradicional smbolo de uma Educao completada, j no estava significando grande coisa. O que nasceu desse caldo foi o movimento a favor das competncias mnimas e a ideia de que todo aluno deveria passar por testes para certificar se efetivamente satisfazia s exigncias mnimas para aquele curso ou ano de estudo. A mudana de nfase de insumos escolares para resultados escolares foi acompanhada por uma poltica de estabelecer a satisfao das competncias mnimas como requisito para receber o diploma de Ensino Mdio e, at 1985, 33 dos 50 estados j estipulavam esse
39
requisito em lei (HAERTEL; HERMAN, 2005). Para evitar problemas polticos causados pelo aumento no nmero de egressos do Ensino Mdio sem diploma, o nvel de exigncia foi mantido relativamente baixo, e a nfase em competncias mnimas ou bsicas, preservada. Se havia accountability, nesse momento era mais pelas cobranas feitas aos distritos escolares para que cumprissem as resolues dos governos estaduais e aos professores para cumprissem as normas da profisso (ANDERSON, 2005). Foi a criao de metas de proficincia com consequncias para as escolas, incorporadas em lei no Texas e em outros estados ao longo da dcada de 1990, que levou a poltica de accountability a um patamar ainda desconhecido. O novo sistema continuou de olho nos resultados das avaliaes, mas seguia um raciocnio diferente, derivado de um clima poltico que traava paralelos entre a Educao e o mundo dos negcios e refletia uma teoria explcita de ao a respeito da melhoria do desempenho dos alunos que enfatizava a motivao dos professores, alunos e gestores. Apesar de pesquisadores demonstrarem que o sistema de accountability implantado no Texas no trazia nenhum benefcio para os latinos (VALENZUELA, 2005), era quase inevitvel que se tornasse o modelo para a legislao federal quando o governador George Bush Jr. se elegeu presidente. A legislao federal, aprovada pelo congresso em 2001, recebeu o nome de Nenhuma Criana Deixada para Trs, ou NCLB (sigla em ingls). O NCLB aumentou significativamente as obrigaes dos estados na aplicao de avaliaes, estipulou metas de accountability para escolas, distritos e estados e legislou sobre o progresso anual aceitvel para todos os alunos e subgrupos de alunos por nvel socioeconmico, raa, lngua materna e necessidade especial (LINN; BAKER; BETEBENNER, 2002). A avaliao anual foi estendida para entre a 3 e a 8 srie, juntamente com recomendaes para a formulao de padres curriculares, e as metas para todos os alunos alcanarem proficincia at o ano de 2014 foram acompanhadas de uma srie de provises caso a escola no cumpra a sua tarefa. Essas variavam desde o direito dos pais de levarem seus filhos para outras escolas at o fechamento e reconstituio da
40
escola que no alcanasse o progresso anual adequado por anos consecutivos (HAERTEL; HERMAN, 2005). O objetivo da legislao era de pressionar as escolas pblicas, principalmente as consideradas de desempenho fraco, a melhorar seu rendimento de acordo com parmetros padronizados nas diferentes reas do currculo e para os diferentes subgrupos de alunos (MALEN; RICE, 2004). Segundo Fuhrman (2005), esse propsito tinha vrios pressupostos: que o desempenho dos alunos nas provas fosse o objetivochave da escola e o sistema de accountability devesse ser construdo em torno dele; que o desempenho pudesse ser medido de forma precisa; que as consequncias motivassem professores e alunos; que o efeito geral pudesse ser um ensino de qualidade e um nvel superior de desempenho; e que os efeitos colaterais e indesejados fossem mnimos (FUHRMAN, 2003). Esses pressupostos demonstram o quanto os novos sistemas de accountability so polmicos e indicam, portanto, a necessidade de fazer mltiplas perguntas para poder avali-los em todas as suas dimenses. No suficiente perguntar se os alunos esto aprendendo mais. H a necessidade de determinar se essa aprendizagem significa progresso educacional para todos (SUNDERMAN, 2008), se os sistemas de avaliao so vlidos e justos e se h formas de melhor-los para que a aprendizagem avance mais (FUHRMAN, 2003). E, mesmo quando se toma a aprendizagem como critrio, h de perguntar tambm se os alunos que esto sendo mudados para outras escolas por fora da legislao esto sendo beneficiados. A esse respeito, uma pesquisa indica que a proximidade e disponibilidade de escolas de notas altas so fatores preponderantes na capacidade de os sistemas de accountability e a poltica de dar a liberdade de escolha de escola aos pais impactarem os resultados dos alunos, mas que ainda essas condies no so frequentes (HASTINGS, 2007). As pesquisas que demonstram que h ganhos na aprendizagem so vrias. Jacob (2002) encontrou ganhos imediatos no desempenho em matemtica e leitura logo aps a introduo da poltica de accountability nas escolas pblicas de Chicago, em comparao com as tendncias anteriores e tambm em comparao com outros distritos urbanos do Meio-Oeste. Porm os ganhos identificados foram provocados por
41
melhorias nas habilidades especficas medidas pelos testes e na motivao dos alunos e no houve ganhos equivalentes em testes estaduais low-stakes, sem consequncias para os alunos (JACOB, 2002). O autor tambm notou que os professores responderam estrategicamente aos incentivos, classificando alunos como portadores de necessidades especiais, retendo alunos na srie anterior aos testes e procurando lecionar em reas curriculares no sujeitas aos testes. Esses comportamentos so observados em outras pesquisas que mostram que, quando h resultados positivos, indicando ganhos aparentes na aprendizagem dos alunos aps a implantao de sistemas de accountability, esses resultados podem tambm ser explicados por outros fenmenos. O mais comum dessas explicaes alternativas fornecido pela excluso de alunos de desempenho mais baixo que, por reteno ou por abandono, so removidos da coorte. Se esses alunos tivessem continuado entre os alunos testados, teriam anulado o ganho mdio do grupo (NICHOLS; GLASS; BERLINER, 2005). Outra explicao fornecida pelo comportamento gaming dos prprios estados perante as exigncias de melhorias anuais. Diversos autores (LINN; BAKER; BETEBENNER, 2002; CAREY, 2007) encontram evidncia de afrouxamento dos padres de contedos, do rigor dos testes e do nvel de exigncia dos estados. Em consequncia, o percentual de alunos que alcanam o nvel considerado satisfatrio ou proficiente nas avaliaes estaduais ao final do Ensino Mdio pode variar de um estado a outro e de um ano a outro sem que isso signifique uma diferena substantiva na qualidade do ensino. A diversidade dos parmetros das avaliaes estaduais tem levado muitos pesquisadores a abandonarem a taxa de graduao do Ensino Mdio como uma medida de progresso na aprendizagem e abraar como indicador independente os resultados da Avaliao Nacional de Progresso Educacional Naep, a maior e mais conhecida avaliao padronizada de 4 e 8 sries. Apesar de alguns no encontrarem uma relao significativa entre os resultados do Naep e os resultados medidos pelos testes estaduais high-stakes (AMREIN; BERLINER, 2002), a maior parte da pesquisa subsequente mostra essa conexo. As pesquisas de Carnoy e Loeb (CARNOY; LOEB, 2002) e de Braun (BRAUN, 2004) so exemplos de como dados transversais parecem
42
apoiar a concluso que os testes high-stakes de fato promovem desempenhos melhores. Essas e outras evidncias tm influenciado os formuladores das polticas educacionais dos estados, como de Nova York: Exames com consequncias atreladas, como a proibio de se graduar da escola de Ensino Mdio, fornecero os incentivos para os estudantes estudarem e trabalharem mais para passar. Mesmo no sendo conclusiva, a grande maioria dos estudos mostra a existncia de uma relao e estamos confiantes em concluir que a existncia de exames high-stakes geralmente leva a um desempenho acadmico mais alto (NYSED, 2004) (p. 3). No entanto, outras pesquisas mostram que os avanos medidos pelo Naep podem tambm ser ilusrios. Em pesquisa na Flrida para compreender os avanos dos alunos da 4 srie no teste de matemtica do Naep de 2005 em comparao aos alunos de outros estados, Haney (2006) comprova que o festejado resultado foi reflexo indireto do aumento na taxa de reprovao em 2003-2004. Alm do mais, os alunos obrigados a repetirem a 3 srie foram desproporcionalmente alunos de grupos minoritrios, o que levou a uma reduo igualmente falsa na diferena entre as mdias dos diferentes grupos raciais. O que causou a queda dramtica na diferena entre os grupos raciais nos resultados Naep na Flrida? A anlise da transio entre as sries com base em informaes de matrcula torna bastante clara a resposta [...] as anlises da matrcula por grupo racial (negro, hispnico e branco) deixa claro que quando a Flrida comeou, em 2003-2004, a aumentar a repetio na 3 srie, eram desproporcionalmente crianas negras e hispnicas (de 15 a 20% tiveram que repetir), em comparao com crianas brancas (cerca de 4 a 6% tiveram que repetir a 3 srie. (HANEY, 2006) (p. 6). Devido importncia atribuda reduo das diferenas entre os grupos raciais na legislao NCLB e no processo de monitoramento anual do progresso de todos os
43
grupos em direo meta comum, chama a ateno a concluso do pesquisador de que os resultados baseados em amostras de alunos por srie, como da Naep e a maioria dos testes estaduais, sempre mascararo as desigualdades do sistema. Enquanto a ateno se concentra nas diferenas de desempenho dos grupos raciais em determinada srie, a verdadeira diferena se revela no progresso dos diferentes grupos no sistema educacional (HANEY, 2006). Outra parte significativa da bibliografia mostra que no s no h resultados positivos mas que tambm as provas high-stakes chegam a fazer mal ao processo educativo. Nichols (2005) no encontra a evidncia de um efeito positivo de provas high-stakes, enquanto Malen (2004) demonstra como verses de sistemas de accountability high-stakes podem diminuir a capacidade das escolas com mais dificuldades de melhorarem seus resultados, mesmo na presena de recursos adicionais (MALEN; RICE, 2004; NICHOLS; GLASS; BERLINER, 2005). Outros efeitos colaterais incluem a reduo na criatividade e no entusiasmo dos professores devido s demandas pouco razoveis a que esto sujeitos e que os levam a abandonar a profisso (JOHNSON; JOHNSON, 2002), e a tendncia dos professores de ensinar para o teste, e dessa forma inflar artificialmente os resultados dos alunos, ao mesmo tempo em que se descuidam das atividades e reas curriculares no sujeitas ao monitoramento (VOLANTE, 2004). Muitos dos estudos acessados concluem que o accountability como poltica pblica que promete mudanas substanciais fica aqum do prometido (MANNA, 2010) ou produz resultados superficiais e contraditrios. O termo superficial se refere descoberta que, enquanto os testes high-stakes parecem motivar os professores e gestores a mudarem sua prtica, as mudanas tendem a ser antes meros ajustes superficiais no contedo ensinado e no preparo dos alunos para as provas do que melhorias permanentes na prtica de ensino. Ainda mais problemtico, a informao fornecida pelas avaliaes em larga escala serve mais para medir o progresso da escola ou do sistema do que para guiar o ensino, de modo que a poltica bem menos substantiva do que se costuma pensar. Enquanto serve para indicar as fragilidades das
44
escolas, oferece pouco em termos de informao e orientao para a formulao de respostas pedaggicas (SUPOVITZ, 2009). Os resultados tambm so conflitantes. Em meta-anlise de 49 estudos das relaes entre testes high-stakes e prticas docentes, Au (2007) encontra tendncias contraditrias. Os efeitos mais visveis so a reduo do contedo para os tpicos dos testes, a fragmentao dos conhecimentos em pedaos relacionados aos testes e o aumento nas prticas de ensino centradas no professor. Por outro lado, em determinados momentos, os testes high-stakes tm levado a uma expanso no currculo, integrao de diferentes reas curriculares e ao uso de estilos de ensino mais cooperativos, centrados nos alunos. Os achados contraditrios da pesquisa sugerem que o impacto da poltica de testes high-stakes sobre a prtica do professor esteja condicionado pela prpria natureza dos testes e pela relao deles com o currculo (AU, 2007). Talvez por esse motivo existam autores que pensam que os sistemas de accountability como o NCLB possam ainda promover mudanas positivas. Anderson (2005) argumenta que, para um sistema de accountability produzir resultados de aprendizagem ao mesmo tempo em que atende s necessidades legais e profissionais do corpo docente, ele precisa satisfazer alguns requisitos, entre os quais a necessidade de expressar uma completa harmonia de propsitos e instrumentos (ANDERSON, 2005). Para esse e outros autores, a conceito usado o do alinhamento dos objetivos, do currculo, do ensino, dos recursos e das avaliaes. Sem esse alinhamento, que comea com um consenso em torno de um currculo-padro e se estende para dentro da sala de aula por meio do currculo ensinado, no h sistema de avaliao que possa oferecer alguma orientao para a prtica do professor ou fornecer as bases para uma distribuio justa de prmios.
4.1 Sistemas de Incentivos Outro assunto levantado pelos novos sistemas de accountability diz respeito prpria teoria dos incentivos e seu impacto no comportamento dos professores. Por
45
causa da polmica sobre os novos sistemas de pagamento por resultados e de incentivos salariais nos Estados Unidos, existe uma literatura j considervel sobre esse tpico, que nos ajudar a especular sobre os possveis efeitos dos sistemas de incentivos salariais para professores sendo implantados no Brasil e seus impactos no resultado dos alunos. Quando a pesquisa se concentra na comparao dos resultados dos alunos de acordo com a presena ou no de sistemas de pagamento de incentivos, a tendncia nos Estados Unidos e em outros pases como ndia e Israel mostrar que os alunos tm desempenho superior quando seus professores esto aptos a receberem algum bnus. Usando dados de um experimento natural em um distrito escolar onde uma escola de Ensino Mdio adotou um sistema de incentivos e outro no, Eberts e colegas no conseguiram mostrar que houve impacto na mdia dos alunos, mas constataram que a proporo de alunos evadidos diminuiu significativamente (EBERTS; HOLLENBECK; STONE, 2000). Figlio e Kenny (2006), por outro lado, com base na Pesquisa Longitudinal Nacional sobre Educao (NELS), encontraram resultados melhores em escolas com sistemas de incentivos, mas pela natureza dos dados no puderam descartar a possibilidade de esse resultado ter sido causado pela adoo dos sistemas de incentivos pelas melhores escolas (FIGLIO; KENNY, 2006). Resultados mais convincentes foram encontrados por Winters em estudo do sistema de incentivos de Little Rock, Arkansas, onde os alunos dos professores includos no programa obtiveram ganhos substanciais (WINTERS, 2008) e Atkinson, na Inglaterra, onde o ganho equivalia a aproximadamente 40% de um ano escolar por aluno (ATKINSON, 2009). O estudo de Lavy de professores de ingls e matemtica includos em programa de premiao por aumentos no resultados dos alunos no exame de ingresso ao Ensino Mdio mostrou ganhos na proporo de alunos prestando o exame, nas mdias e na taxa de aprovao, causados por mudanas no ensino, nos cuidados dos professores com os alunos e o tempo gasto fora do horrio escolar (LAVY, 2009). Mesmo representando somente 3% do salrio anual, os incentivos oferecidos no estado indiano de Andra Pradesh foram suficientes para melhorar os resultados dos alunos em 0,28 e 0,16
46
desvios-padro
em
matemtica
lngua
aps
dois
anos
do
programa
(MURALIDHARAN; SUNDARARAMAN, 2009). Outros autores so menos otimistas e enfatizam possveis efeitos negativos dos sistemas de incentivos, incluindo a eroso da motivao intrnseca inerente docncia pela motivao extrnseca mais instrumental. Springer (2009) menciona a perda do ambiente colaborativo e a instalao de interesses mais competitivos ao mesmo tempo em que critica a incapacidade dos testes de retratar a complexidade multitarefa do trabalho do professor (SPRINGER, 2009). Relatrio da Corporao Rand tambm fala da possibilidade de efeitos negativos na moral dos professores, no esprito de colaborao entre membros da equipe e no desempenho dos alunos (RAND, 2009). Os trabalhos que no detectam ganhos entre os alunos de professores includos em programas de incentivos observam o efeito de pequenas variaes no prprio desenho dos programas e a necessidade de envolver os interessados no processo de formulao (PRINCE, 2008 ). Quando a pesquisa faz a distino entre sistemas de incentivos individuais e sistemas de incentivos coletivos, pagos a todos os integrantes da equipe escolar independentemente se foram ou no os professores dos alunos testados, os resultados se tornam mais relevantes para a situao brasileira. Com a exceo do prmio para os professores alfabetizadores de Sobral, os incentivos brasileiros so coletivos, pagos, mediante frmulas diversas, coletividade escolar com justificativas que geralmente explicitam o propsito de motivar a equipe inteira e evitar possveis divises causadas pelos incentivos individuais. Os motivos tambm so prticos. Como detalhado por Ahn e Vigdor, pela concentrao da avaliao em poucas reas curriculares e em s algumas sries escolares geralmente so poucos os professores cujos alunos so efetivamente testados, mesmo nos Estados Unidos, (AHN; VIGDOR, 2010). Outro problema a distribuio no aleatria de alunos entre as turmas e a consequente distribuio enviesada de resultados e incentivos entre os professores. O terceiro problema, a ser discutido em relao ao uso de novas metodologias de valor agregado para a avaliao docente, que os instrumentos de avaliao e os mtodos estatsticos para determinar a relao entre os resultados dos alunos e o trabalho do
47
professor ainda sofrem de flutuaes aleatrias e outras imprecises que dificultam seu uso para incentivos individuais. Apesar das aparentes vantagens do incentivo coletivo, a pesquisa no demonstra o mesmo impacto. Muralidharan mostra que, enquanto as duas modalidades de incentivo produziram impactos similares no primeiro ano, a partir do segundo ano os incentivos individuais superaram os outros (MURALIDHARAN; SUNDARARAMAN, 2009). Goodman e Turner, por outro lado, mostram pouco impacto para incentivos de grupo pagos de acordo com o cumprimento de metas pela escola. Em pesquisa conduzida no sistema pblico de Nova York, foram criadas diversas medidas de resultados, incluindo esforo docente, desempenho dos alunos em matemtica e leitura e prticas de sala de aula. Foi detectada a prtica de free-riding, em que os professores cujos alunos no foram testados beneficiaram-se do trabalho dos outros, mas sem esforo prprio, o que reduziu significativamente o efeito dos incentivos do programa. Em escolas com um nmero menor de professores, os incentivos levaram a uma melhora significativa na frequncia dos professores, mas essa mudana no se traduziu em ganhos nos resultados dos alunos (GOODMAN; TURNER, 2010). Talvez no seja to difcil entender esses resultados. No caso dos incentivos individuais, o professor que no ganha o bnus ter condio de modificar seu comportamento com base no modelo oferecido por outros professores da mesma escola que receberam o incentivo. Nesse caso, h uma conexo possvel entre o sistema de incentivos e a mudana pretendida na prtica dos professores menos produtivos. No caso do incentivo de grupo, essa conexo no existe. O professor que pertence a uma escola que no recebe o bnus no tem em quem se modelar para produzir um comportamento ou prtica docente diferente. Da mesma forma, a escola que ganha o bnus coletivo no recebe indicao das prticas consideradas bemsucedidas e deve encarar o pagamento mais como um adicional ou um 13 salrio do que propriamente um incentivo para o aprimoramento do ensino da escola. O resultado de que o incentivo de grupo talvez tenha impactado a motivao do professor, medida por sua frequncia ou assiduidade, sugere que os sistemas
48
brasileiros que condicionam o pagamento do bnus ao cumprimento de um nmero mnimo de dias de servio estejam no caminho certo. Nesses casos, os efeitos das duas condies, a do cumprimento das metas e a dos dias de servio, se somam em favor de um impacto dobrado. Resta saber se no caso brasileiro o efeito da melhoria na frequncia do professor se traduz em avanos na aprendizagem dos alunos. Os resultados de Nova York no encorajam otimismo a esse respeito. Publicao recente do Comit sobre Incentivos e Accountability Baseado em Testes na Educao Publica, do National Research Council dos Estados Unidos, pode nos ajudar a concluir essa discusso a propsito dos resultados de pesquisas sobre os efeitos dos incentivos salariais em outros pases (HOUT; ELLIOTT, 2011). Nessa metapesquisa, que classifica e avalia um nmero seleto de trabalhos da ltima dcada, os autores estabelecem uma srie de critrios para a excluso de estudos que por motivos metodolgicos no atingem um grau satisfatrio de confiabilidade. O primeiro critrio que os estudos precisam de grupo de controle, para poder provar que os incentivos so efetivamente a causa das mudanas na aprendizagem. O segundo critrio obriga o uso de um teste independente low-stakes para medir o efeito dos incentivos sobre a aprendizagem. Pelo conhecido efeito de inflao de resultados nos testes usados para determinar o pagamento de bonificaes, os autores insistem que este mesmo teste no pode ser usado como a medida usada pela pesquisa para aferir o impacto da poltica. O terceiro critrio exclui os estudos transversais que comparam os resultados de escolas includas e no includas em programas de incentivos que no controlaram pelos critrios de incluso. So 11 os estudos que satisfazem os critrios e oferecem uma base para concluses confiveis, cinco dos Estados Unidos e seis de outros pases. Nos Estados Unidos as pesquisas mostram que os programas de incentivos no tem influenciado os nveis de desempenho dos alunos de forma significativa. O efeito mdio varia de -0,02 a 0,06 desvio padro quando os programas so avaliados pelo uso de testes low-stakes de controle. Os estudos em outros pases, incluindo os estudos j mencionados de Muralidharan e Sundararaman na ndia e Lavy em Israel, os efeitos so maiores, com
49
um efeito mdio de 0,08 d.p., mas com extremos na ndia, de 0,22 d.p., no caso de escolas com incentivos individuais, e 0,15 d.p., nas escolas de incentivos coletivos. Os autores relutam em chegar a concluses gerais pelo fato de ainda existirem muitos desenhos de polticas de incentivos ainda sem experimentao e muita variao entre os desenhos j testados. Mesmo assim, eles acreditam que os benefcios so bem menores do que o esperado e pouco convincentes perante o tamanho do desafio para melhorar os resultados das escolas. Observam que os custos so altos, o que no deveria ser uma razo para deixar de investir em outras polticas de melhoria, potencialmente mais eficazes.
4.2. Sistemas de Responsabilizao na Amrica Latina Depois das reformas educacionais da dcada de 1990 e a incorporao dos sistemas de avaliao padronizada como instrumentos de gesto, a questo do acesso cedeu lugar aprendizagem e melhoria dos resultados escolares como objetivos principais dos sistemas educacionais da Amrica Latina. Na esteira desse movimento, grandemente facilitado pelas agncias das Naes Unidas e outros rgos multilaterais, tambm foi incorporada a discusso sobre o uso dos resultados dos sistemas de avaliao para induzir mudanas no mesmo sentido que os sistemas de accountability nos Estados Unidos. A primeira barreira a superar era a traduo correta da palavra accountability. Em ingls, a palavra expressa dois conceitos, um relacionado com a prestao de contas e a outra com a ideia da responsabilizao. Quando aplicada especificamente escola, a noo de prestao de contas significa a cobrana legtima de um servio pblico de qualidade em troca da manuteno da escola com recursos pblicos oriundos dos impostos pagos pela populao. Em jogo est o direito do cidado de esperar bons servios, medidos em termos da aprendizagem dos alunos, se esses so sustentados pelos dlares ou reais dos contribuintes. O segundo significado da palavra inseparvel e consequncia do outro, mas expressa a ideia que o pblico tem o direito de demandar que a escola assuma sua responsabilidade direta pelos resultados de
50
seus alunos. Accountability, portanto, significa uma cobrana por bons resultados e a demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na produo desses resultados (BROOKE, 2006; CORVALN; MCMEEKIN, 2006; FERRER, 2006; MCMEEKIN, 2006). No contexto latino-americano, em que a conscincia do contribuinte menos cultivada e no h o mesmo rigor ou sentimento de posse em relao a tudo o que pblico, foi o elemento da responsabilizao que tomou precedncia na hora de esboar uma traduo (BROOKE, 2006; BROOKE, 2008). A prpria discusso da poltica pblica pode ter sido prejudicada pela precipitao dos autores em optar por uma traduo incompleta, mas no h alternativa prtica vista. Entre os dois significados, parece que a responsabilizao o termo que mais exprime o sentimento de que a escola precisa ser lembrada das suas responsabilidades. O pioneiro da responsabilizao na Amrica Latina o Chile. O Sistema Nacional de Avaliao dos Estabelecimentos Subvencionadas (Sned) desse pas acionado a cada dois anos, desde 1996, para distribuir prmios s escolas com os melhores resultados no Simce e dessa forma estabelecer consequncias para o trabalho dos professores. Segundo Mizala e Romaguera (2003, 2005), essa poltica, dirigida a todas as escolas que recebem financiamento pblico com o objetivo explcito de aumentar a motivao dos professores, oferece prmios s escolas com as mdias mais altas na avaliao bianual do Simce, em comparao a escolas de caractersticas e nvel socioeconmico similares. Adicionalmente, o sistema de premiao se transforma em orientao para os pais ao entregar informao comunidade escolar sobre a qualidade das escolas mediante comparaes em diversas dimenses do ensino (MIZALA; ROMAGUERA, 2003). Em cada regio, as melhores escolas so premiadas at alcanar 25% dos alunos matriculados, o que na prtica significa aproximadamente 20% das escolas e 27% dos professores. A lei estipula que 90% do montante recebido seja distribudo entre os professores e o restante distribudo de acordo com as prioridades de cada escola. Em 2005, o valor distribudo para cada professor equivalia entre 5 e 7% do salrio anual, mas a legislao mais recente efetivamente duplica esse valor, alm de aumentar a proporo da matrcula regional que ser coberta pelos
51
prmios de excelncia de 25 para 35% (MIZALA; ROMAGUERA, 2005; VEGAS; UMANSKY, 2005). Apesar de existirem sistemas de incentivos em outros pases da Amrica Latina, como Bolvia e El Salvador, o Sned do Chile era o nico que enfatizava principalmente os resultados dos alunos no clculo do indicador final de desempenho, juntamente com alguns indicadores de processo e de igualdade de oportunidades. Novos sistemas de responsabilizao no Brasil, a serem discutidos logo a seguir, alteram esse panorama regional. A pesquisa sobre o impacto do Sned dificultada pela ausncia de um grupo de comparao, j que todas as escolas com financiamento pblico competem pelos prmios, e pelo problema de endogenia sofrido pelas avaliaes de impacto do Sned que precisam usar como indicador o mesmo resultado usado pelo Sned no clculo do ndice de desempenho da escola. A soluo encontrada por Mizala e Romaguera (2005) foi empregar um modelo de efeitos fixos, o que permitiu modelar a heterogeneidade de cada escola e criar uma funo de produo para ver o efeito do Sned no desempenho dos alunos. Com esse mtodo, os autores fornecem evidncias preliminares de que, quando os dados das diferentes aplicaes do Sned so comparados, h a evidncia de que o incentivo tem um efeito cumulativo e positivo no desempenho dos alunos para aquelas escolas que possuem boas chances de ganhar o prmio (MIZALA; ROMAGUERA, 2005). No h efeito para a quase metade das escolas que nunca foram premiadas. Vegas e Umansky (2005) interpretam esses resultados como a indicao de um problema no desenho da poltica. As falhas consideradas mais provveis so: 1) que somente uma pequena proporo dos professores sente o efeito do incentivo para melhorar a aprendizagem dos alunos, j que a maioria ou recebe o prmio automaticamente ou no tem nem chance de receb-lo; 2) que o tamanho do prmio to pequeno que os professores sentem que o esforo para melhorar o desempenho de seus alunos no vale a pena; e 3) que o prmio pode no estar suficientemente ligado ao trabalho do professor (VEGAS; UMANSKY, 2005). Carnoy et al. (2004) tambm levantam dvidas a respeito da eficcia do sistema de incentivo pelo fato de estar baseado, em parte, na diferena entre os resultados dos alunos de 4 e 8 sries,
52
ou seja, mediante comparaes entre alunos de grupos ou coortes diferentes, em vez de medir os ganhos intracoorte na aprendizagem dos mesmo alunos ao longo do tempo passado na mesma escola entre a 4 e a 8 srie (CARNOY et al., 2004). Os autores argumentam que existe pouca evidncia emprica de que os professores respondam sistematicamente a incentivos intercoorte de 4 e 8 sries e que a diferena nos resultados desses testes dependem mais de variaes naturais entre as coortes e outras flutuaes aleatrias do que do nvel de esforo dos professores. Os resultados desses pesquisadores mostram que h uma relao entre as duas medidas, mas que muitas das escolas que receberam prmios no mostraram o mesmo desempenho nas medidas intracoorte. Em concluso, os autores sugerem que a melhor estratgia da escola concentrar-se na produo de bons resultados na 4 e 8 sries nos anos dos testes do Simce, antes de se preocupar com a aprendizagem dos alunos ao longo de seus anos na escola. O quadro a seguir resume aspectos importantes do Sned desde a sua criao. Observa-se que o nmero de escolas e professores beneficiados aumentou a partir de 2006 com a legislao que ampliou o clculo de estabelecimentos premiados em cada regio at abranger 35% da matricula. No mesmo perodo, o valor por professor premiado quase triplicou, elevando o gasto anual com a poltica de premiao. Em relao proporo do total dos gastos do Ministrio da Educao com as escolas que recebem recursos pblicos, o programa de premiao aumentou 80% no perodo, aps a incorporao dos professores assistentes alocados nas escolas premiadas a partir de 2008. Tanto a continuidade como o aumento significativo nos gastos com o programa indica o sucesso da poltica aos olhos do Ministrio e do pblico. A definio de todas as variveis consideradas, a metodologia do clculo e a lista das escolas beneficiadas por regio so divulgadas abertamente no site do Sned juntamente com a explicao dos benefcios esperados da Subvencin por Desempeo de Excelencia em termos da motivao dos professores e a superao das escolas (CHILE, 2010).
53
Quadro 2 . Beneficirios e Recursos: SNED, 1996-2010

SNED 19961997 Estabelecimentos selecionados Docentes beneficiados Premiao por aluno/ docentes ($) Monto anual por docente ($) Gasto anual premiao para docentes (Milhes de Pesos) Professores assistentes beneficiados % Gasto SNED/Gasto total premiaes 2.274 30.600 1.015 272.622 SNED 19981999 1.815 31.400 1.050 287.777 SNED 20002001 1.699 32.600 1.217 334.919 SNED 20022003 1.863 34.400 1.246 339.493 SNED 20042005 1.829 34.380 1.779 490.630 SNED 20062007 2.236 51.600 2.917 559.734 SNED 20082009 2.597 57.700 3.205 634.161 SNED 20102011 2.656 58.597 3.640 744.833
8.342
9.036
10.918
11.678
16.867
28.883
37.807
43.645
27.000
28.455
1,02
0,87
0,9
0,84
1,03
1,62
1,8
1,85
Fonte: Sistema Nacional de Evaluacin del Desempeo de los Establecimientos Educacionales Subvencionados y de los Regidos por el Decreto Ley N 3166. 2010-2011. Hacia la Excelncia Acadmica. Ministrio de Educacin. http://www.sned.cl/mineduc/sned/documentos/tecnicos/FolletoDifusionSNED.pdf
54
5.
Sistema Classificatrio para os Diferentes Usos da Avaliao Educacional Em pesquisa comparativa realizada em 2006 sobre os sistemas de avaliao de
cinco estados brasileiros, os pesquisadores Sousa e Oliveira (2007) concluram que houve melhoras significativas no desenho tcnico dos instrumentos e na confiabilidade dos resultados. Entretanto, os pesquisadores observaram que o uso que as Secretarias de Educao faziam dos resultados para a formulao de polticas de gesto ainda era incipiente: Apesar de constar dos objetivos dos sistemas de avaliao, o uso de seus resultados por parte dos gestores tnue ou inexistente. Nesse nvel, observa-se a tendncia de que tais resultados sejam compreendidos como apenas um indicador (a ser justaposto a outros, tais como evaso, repetncia etc.), no informando polticas especficas. O gerenciamento do sistema apoia-se nas estruturas burocrticas no se orientando pelos resultados de desempenho escolares. O investimento maior humano e recursos financeiros - na direo da produo de informaes e no em sistemticas que estimulem e apoiem o uso dos resultados. A noo de accountability tanto em seu sentido de prestao de contas sociedade quanto no de responsabilizao ainda pouco explorada. (SOUSA; OLIVEIRA, 2007)(p. 197). Em documento de 2005, o prprio Consed parecia confirmar esta concluso ao afirmar que o principal uso dos resultados das avaliaes externas era para a orientao da formao continuada de professores e destacou como desafio para os prximos anos o melhor aproveitamento da avaliao em larga escala (CONSED, 2005). As explicaes mais correntes pela aparente incipincia de polticas de gesto calcadas em informaes sobre o desempenho dos alunos eram trs: as Secretarias ainda no percebiam o potencial dessas informaes para a formulao de polticas de gesto de recursos e pessoal; as Secretarias estavam constrangidas de formular novas polticas de gesto pelas resistncias encontradas entre os professores; e os
55
instrumentos de avaliao usados pelas Secretarias nem sempre correspondiam aos usos almejados pelos gestores. Os levantamentos feitos pelos pesquisadores no ano de 2010 sobre os diferentes usos dos sistemas estaduais de avaliao mostram que essas concluses esto desatualizadas. Pela expanso no nmero e sofisticao dos sistemas de avaliao durante os ltimos anos e pela explorao de novas formas de aproveitar as informaes geradas, constata-se a diversificao nas prticas de gesto educacional com base nos resultados dos alunos. De forma isolada ou em conjunto com outras informaes, os resultados gerados pelos sistemas estaduais de avaliao educacional esto sendo usados para finalidades que variam entre a criao de indicadores estaduais de desenvolvimento educacional at a avaliao de desempenho de diretores escolares. As Secretarias no esto sentindo os mesmos constrangimentos do passado e esto aproveitando de diversas formas as informaes geradas pelos instrumentos e anlises cada vez mais sofisticadas de uma nova gerao de polticas de avaliao. Se ainda h alguma dificuldade no uso dos instrumentos para orientar as prticas dos professores, chamadas genericamente aqui de polticas de gesto pedaggica, ela no tem impedido avanos na aplicao dos resultados em outras reas. Na maioria das vezes, essas outras reas envolvem a classificao das escolas do sistema com base nos resultados de portugus e matemtica dos alunos do 5 e 9 anos e do 3 ano do Ensino Mdio. Mesmo no sendo propriamente uma avaliao da escola, por no testar todos os alunos em todas as disciplinas e anos, as Secretarias presumem que os resultados das disciplinas bsicas nos anos finais de cada ciclo de estudos possam oferecer uma amostra das atividades da escola que sirva de indicador do desempenho geral da instituio. H alguma evidncia na literatura que esse pressuposto seja valido pela alta correlao entre diferentes medidas de desempenho acadmico dos alunos (RUTTER et al., 1979; MORTIMORE et al., 1988). Tanto a diversificao das polticas de gesto como a necessidade de fazer distines entre as novas reas de uso das avaliaes nos obrigam a procurar um sistema classificatrio que d conta da variedade. Essa tarefa representa um desafio pelo fato de as classificaes tradicionais se ocuparem principalmente no dos
56
diferentes usos da informao, mas dos propsitos genricos dos sistemas de avaliao. Por exemplo, comum a distino entre a avaliao formativa e somativa, sobretudo na descrio das avaliaes de sala de aula, e entre a avaliao diagnstica e certificatria. Na avaliao formativa, procuram-se elementos para adequar o processo de ensino ao grupo ou aos alunos que apresentam dificuldades, tendo em vista o alcance dos objetivos propostos, enquanto a somativa a avaliao final para determinar em que medida as metas foram alcanadas e para classificar, selecionar, aprovar ou reprovar. No caso da avaliao diagnstica, conforme Ravela (2008), o propsito explcito o de enriquecer a qualidade das percepes e decises sobre os diversos atores dos sistemas (RAVELA, 2008). Nesse cenrio, o nvel de aprendizagem empregado como indicador da sade do sistema e no traz consequncias imediatas para os alunos. A avaliao certificatria, por outro lado, tem o objetivo de estabelecer quais dos alunos alcanaram os conhecimentos e competncias considerados necessrios para serem aprovados em determinado curso ou perodo de estudo e receberem o diploma ou certificado correspondente. Em ambos os casos, a natureza da tarefa que vai determinar a forma da avaliao. Ou seja, o desenho do instrumento definido pelo tipo de informao que se precisa produzir de forma que, grosso modo, o uso da informao j dado pela natureza e propsito do instrumento. No caso do instrumento diagnstico, por exemplo, talvez nem seja necessrio aplicar os testes totalidade dos alunos nem colocar todos os itens num nico teste vultoso. Basta uma amostra de alunos e verses paralelas do teste para ter uma radiografia da aprendizagem das diferentes matrias. Esse o modelo de avaliao seguido pelo Saeb. O instrumento certificatrio, por outro lado, precisa ser aplicado a todos os alunos que querem a certificao e cada teste precisa dar conta da matria inteira para oferecer uma medida fidedigna da aprendizagem de cada aluno. Ravela admite que uma avaliao pode ter mais de uma finalidade e que as diferentes finalidades no so necessariamente exclusivas, mas lembra que cada opo requer um determinado desenho e tem diferentes exigncias tcnicas e custos (RAVELA, 2008) (p. 12).
57
Outro tipo de classificao que reconhece a multidimensionalidade da avaliao procura encontrar as categorias que descrevem os diferentes tipos de informao gerada. Shulha e Cousin, por exemplo, em estudo que resumia os usos da avaliao nos Estados Unidos no perodo entre 1986 e 1996, empregaram trs categorias de informao: instrumental, conceitual e simblica (SHULHA; COUSIN, 1997). Em esquema parecido, descrito por Soares (2002), encontramos uma tipologia que fala das trs funes genricas dos sistemas de avaliao. A primeira a funo mtrica, de medir onde se situam os sistemas de Educao em comparao com algum parmetro para responder perguntas sobre possveis avanos. A segunda funo a analtica, ou seja, oferecer subsdios aos pesquisadores e gestores no seu trabalho de investigar o funcionamento do sistema. A terceira, considerada a mais difcil, a funo pedaggica, que trata do uso da avaliao como instrumento para a melhoria do ensino (SOARES, 2002). No caso brasileiro, fica evidente que os mesmos instrumentos esto sendo usados com objetivos diversos de modo que a finalidade precpua ou original do instrumento pouco esclarece sobre seus desdobramentos posteriores. Tambm fica evidente pelas declaraes das autoridades que as finalidades dadas como razo pela criao dos sistemas de avaliao so muito abrangentes e, s vezes, at ultrapassam a prpria capacidade da avaliao educacional. Essas declaraes incluem, por exemplo, a finalidade de melhorar a qualidade da Educao ou, no caso do Saeb, reverter o quadro de baixa qualidade e produtividade do ensino caracterizado, essencialmente, pelos ndices de repetncia e evaso escolar (SOUSA, 2003). A classificao com base nas finalidades oferecidas pelas autoridades como justificativas deixaria de captar as especificidades dos diferentes usos ao mesmo tempo em que obrigaria a incluso de categorias fora do escopo real da avaliao. Nesse cenrio, a nossa classificao dos usos dos sistemas precisa partir de outra lgica, a das diferentes polticas efetivamente implementadas pelas autoridades uma vez construdas e aplicadas as diversas formas de avaliao em larga escala. Ao fazer essa distino, estaramos concordando com a diferena entre finalidade e utilidade explicitada no trabalho de Dantas sobre o uso para efeitos pedaggicos dos resultados
58
do sistema de avaliao do estado da Bahia (DANTAS, 2009). Para essa autora, a finalidade o objetivo expresso, enquanto a utilidade relaciona-se com a demanda de informaes por parte dos stakeholders do sistema. Encontramos uma classificao de utilidades em termos de polticas de gesto no trabalho de Shepard em que so listados sete propsitos ou polticas governamentais (SHEPARD, 1977). O autor no objetiva definir quais os propsitos que podem ser alcanados com os mesmos instrumentos. Pelo contrrio, parece subentendido que cada propsito significaria um instrumento diferente ou no mnimo um desenho para a avaliao que incorporasse as utilidades previstas. Eles so: 1. Diagnstico da aprendizagem do aluno 2. Certificao do aluno 3. Avaliao de pessoal docente, diretores e outros 4. Avaliao de programas 5. Alocao de recursos 6. Accountability5 7. Pesquisa Para as nossas necessidades, essa lista tem dois defeitos. O primeiro reside no desdobramento desnecessrio de pesquisa e avaliao de programas. Em ambos os casos, os resultados podem ser usados como evidncia da existncia de efeitos causados por polticas, programas e at situaes quase experimentais, em que h interesse em medir os impactos de mudanas no funcionamento das escolas e na aprendizagem dos alunos. As avaliaes podem acontecer em nvel estadual, municipal ou escolar e podem ser para efeitos tanto somativos, para determinar as consequncias de determinadas polticas, como formativos, para corrigir os rumos de programas em andamento. O segundo defeito reside no uso da categoria accountability para classificar determinadas avaliaes de forma exclusiva. Os autores Klinger, DeLuca e Miller, na
A traduo deste conceito problemtica e ser objeto de discusso especifica mais adiante. 59
descrio da evoluo da avaliao educacional no Canad, e Bauer, no caso dos sistemas nacionais de avaliao na Amrica Latina, incorrem no mesmo erro ao criar uma distino entre os objetivos das avaliaes relacionados accountability e os objetivos relacionados com a seleo, classificao, premiao ou certificao (KLINGER, 2008; BAUER, 2010). O que tem sido mostrado que accountability no contexto educacional significa acima de tudo a associao entre resultados de aprendizagem e consequncias, sejam para o distrito educacional, a escola, os professores ou os alunos. O nvel de influncia que a autoridade educacional deseja aplicar ao processo de induo pode ser calibrado de acordo com o tipo ou a seriedade das consequncias. Nesse contexto, comum rotular os nveis de induo mais altos de high stakes e os mais baixos de low stakes, usando a palavra inglesa stakes, que significa o valor colocado em jogo pelo apostador. Por isso, pode haver uma poltica de gesto com utilidade nica, mas cujas consequncias so variveis de acordo com o contexto e as intenes das autoridades. Dependendo desses condicionantes, as consequncias de resultados de aprendizagem baixos podem ser insignificantes ou nulas ou podem ser extremamente prejudiciais vida futura do aluno ou da escola. Para dar conta dessas diferentes realidades, em que o objetivo da avaliao pode estar associado ou no a diferentes medidas de accountability, observa-se a necessidade de conceituar a accountability como se fosse a segunda dimenso de um sistema classificatrio bidimensional. Com isso, para todas as utilidades da avaliao, potencialmente existe a possibilidade de agregar consequncias de impacto maior ou menor. Uma terceira caracterstica do esquema de Shepard, que no chega a ser um defeito, a incluso do propsito certificao de alunos. Diferentemente de outros sistemas, como dos Estados Unidos, os sistemas brasileiros de avaliao nunca foram usados para determinar a aprovao dos alunos do ensino bsico, salvo uma breve e polmica experincia no estado de So Paulo em 2001, quando o Saresp foi usado para definir a aprovao ou reprovao de alunos ao final dos ciclos do ensino fundamental (4 e 8 sries). A criao do Enem, que aos poucos assume as caractersticas de um exame certificatrio de sada do Ensino Mdio na medida em que se torna requisito e
60
critrio para o ingresso universidade, alterou o panorama da avaliao federal, mas ainda no h sinal de interesse nem a cobertura legal para a criao de avaliaes certificatrias equivalentes por parte dos estados. No entanto, a funo certificatria no pode ser eliminada do esquema classificatrio devido possiblidade do uso dos resultados da avaliao na funo supervisora que pode exercer a Secretaria de Educao em relao s escolas de outras redes. Nesses casos, a Secretaria pode usar os resultados da escola como critrio para autorizar ou reautorizar seu funcionamento. Para todos os efeitos, esse uso da avaliao, mesmo pouco usual, seria de certificao. Com as modificaes sugeridas, e a incluso de trs categorias novas que logo sero explicadas, chega-se a uma nova matriz classificatria para a tarefa de categorizar todas as polticas dos estados que fazem uso das informaes geradas pelos seus sistemas prprios de avaliao padronizada. Chamada A Avaliao Externa como Instrumento da Gesto Educacional: Classificao, esse sistema classificatrio apresentado a seguir, juntamente com a definio de cada categoria:
Quadro 3. A Avaliao Externa como Instrumento da Gesto Educacional: Classificao

Uso dos resultados da avaliao (Poltica de gesto) 1 Avaliao de programas, monitoramento, planejamento e pesquisa Sem consequncias ou consequncias menores (low stakes) Edurural (MEC) Avaliao PDE (Cear) Avaliao Escolas de Referncia (PE) Idedsp; Idepe; Ideam; IDE-Rio etc. Gesto para resultados (MG) 2 Para informar as escolas sobre a aprendizagem dos alunos e definir as estratgias de formao continuada. Para informar ao pblico Boletim de Resultados (PE) Relatrio Pedaggico (DF) PIP (MG) Boletim da escola (Paran) Propaganda poltica (MG) 4 Para a alocao de recursos P-900 (Chile) Escola Nota 10 (CE) School-choice (Chile) Relatrios comparativos (Reino Unido) Com consequncias importantes (high stakes) Continuidade de Head Start, Title 1, etc. (EEUU) PAR (MEC) Prog. Escolas - Padro (SP)
61
Aprender Mais (PE) Escola Referncia (MG) 5 Para polticas de incentivos salariais
ndice Municipal de Qualidade Educacional (CE) Acordo de Resultados (MG) Escola Nota 10 (CE) Bonificao Desempenho (SP) por
Como componente da poltica de avaliao docente Para a certificao de alunos e escolas
ADI (MG) Reconduo (DF)
de
diretores
Promoo de alunos de 4 e 8 series. 2001. (SP) Aprovao de funcionamento de escolas (DF)
1. Avaliao de programas, monitoramento, planejamento e pesquisa. A primeira categoria do sistema classificatrio reflete os objetivos explicitados pelos documentos oficiais de todos os sistemas estaduais de avaliao em existncia no Brasil. Esse uso precpuo dos sistemas de avaliao para a avaliao de polticas e o monitoramento de resultados dado pelo nvel de organizao e abrangncia dos sistemas de avaliao, que pressupe uma funo de controle e acompanhamento. Ele tambm dado pela natureza dos instrumentos dos sistemas estaduais, derivados do padro estabelecido pelo Saeb. Esse sistema nacional, criado de experincias iniciais no final da dcada de 1980 e consolidado por meio de mudanas metodolgicas em 1995, regionalmente reconhecido como um dos sistemas mais completos e tecnicamente sofisticados do seu tipo. Semelhante ao sistema norte-americano Naep6, no qual foi modelado, o Saeb coleta informao sobre o desempenho e caractersticas dos alunos nos trs pontos principais de transio do sistema de ensino bsico, alm de informaes contextuais de alunos, professores e diretores, de uma amostra nacional estratificada
O governo federal dos Estados Unidos criou a National Assessment of Educational Progress Naep (Avaliao Nacional do Progresso Educacional), no final dos anos 1960. A avaliao testa uma amostra dos estudantes aos 9, 13 e 17 anos de idade em ingls e matemtica. Conhecido como o Boletim Escolar da Nao, a Naep usado da mesma forma que o Saeb , ou seja, como parmetro para comparar o avano ou retrocesso no nvel de aprendizagem dos estados e dos diferentes grupos de alunos ao longo dos anos. 62
de escolas pblicas e privadas. Pela estrutura da amostra e a natureza dos dados coletados, o Saeb e os sistemas estaduais que o imitam tm a ntida funo de radiografar o sistema e acompanhar a sua evoluo ao longo do tempo. Essa segunda atribuio foi melhorada significativamente em 1995, com a incorporao da Teoria de Resposta ao Item na organizao das provas e anlise dos dados e na criao de uma escala nica de desempenho. Pela localizao das proficincias dos alunos de diferentes sries e diferentes anos de aplicao nessa mesma escala, possvel acompanhar a evoluo da aprendizagem nos diferentes nveis do sistema e ao longo dos anos. O uso dessa escala de resultados para efeitos de planejamento j foi realado na discusso sobre a implantao da gesto por resultados em muitos governos estaduais. Uma vez estabelecida a escala para a interpretao do desempenho dos alunos, fica evidente que as Secretarias podem estipular os avanos esperados ao longo dos anos, por srie e disciplina. A partir da criao do Ideb e a fixao de metas para escolas, municpios e estados, a utilidade da Prova Brasil e do Saeb para efeitos de planejamento e monitoramento foi elevada a outro patamar de qualidade. As iniciativas dos estados de formularem indicadores prprios similares devero ser registradas nessa categoria. A pesquisa do sistema pode significar o uso dos resultados das avaliaes para a anlise das relaes entre as caractersticas das escolas e seu desempenho em estudos chamados de fatores associados ou efeito escola. Essa modalidade de pesquisa, relativamente recente, foi muito influenciada pela tradio de pesquisa em eficcia escolar e faz uso tanto dos resultados dos alunos como das informaes coletados por meio dos questionrios contextuais aplicados aos professores, diretores e alunos. O uso dos resultados para outros tipos de pesquisa, incluindo a avaliao de polticas e programas, tambm pode ser incentivado pelos estados da mesma forma que o Inep procura incentivar o uso por pesquisadores das bases de dados dos sistemas nacionais de avaliao.
63
2. Para informar as escolas sobre a aprendizagem dos alunos e as estratgias de formao continuada. A preocupao dos gestores com a qualidade da Educao, e o interesse em colocar os sistemas de avaliao a servio dos esforos de melhoria do ensino, aflui para uma variedade de diferentes polticas pedaggicas. Essas tm em comum a necessidade de devolver os resultados da avaliao para as escolas, em processo comumente chamado de devolutivo, de modo que a instituio e seus professores possam compreender as variaes no desempenho dos alunos e perceber formas de influenciar futuros resultados mediante mudanas nas suas prticas pedaggicas. Na maioria das vezes, essa poltica de gesto pedaggica se expressa na forma de boletins escolares ou outros informativos contendo os resultados dos alunos para cada ano e rea curricular em estudo. A produo e a devoluo dos boletins podem estar acompanhadas de atividades estruturadas para facilitar a compreenso dos resultados e a incorporao deles em processos autnomos de autoavaliao e planejamento pedaggico. A incorporao de informaes aos boletins sobre outras escolas da regio ou do sistema um aspecto relevante, na medida em que possa agregar ao processo devolutivo um elemento de accountability. A comparao com outras escolas toca no esprito competitivo das pessoas e sinaliza, mesmo em grau menor, que as escolas tm alguma responsabilidade pelos resultados dos alunos. Essa concluso deriva da seguinte lgica: a comparao pressupe a comparabilidade, que por sua vez pressupe que as escolas estejam sujeitas s mesmas condies. Sendo assim, as diferenas entre elas no podem ser explicadas com base no que elas tm em comum, seno nas suas caractersticas individuais, que esto sujeitas ao dos membros das equipes escolares. Por causa dessa lgica, torna-se importante distinguir entre os boletins em relao s metodologias empregadas na comparao de escolas. Outra vertente das polticas de gesto pedaggica baseadas nas avaliaes envolve a interpretao dos resultados por especialistas e membros dos servios de superviso com o propsito de oferecer oportunidades de formao continuada aos professores para tratar as dificuldades evidenciadas. Nesse caso, h o pressuposto de
64
que as dificuldades ou lacunas identificadas sejam comuns a grupos ou totalidade dos professores, de modo que a sua soluo no resida em nvel da escola. A variedade de alternativas em termos dos objetivos, contedos, mtodos, logstica e abrangncia dessas polticas to grande quanto todo o panorama da formao continuada de cada rgo. Vale a pena destacar, no entanto, que a maioria desses esforos se concentra em questes curriculares, seja na discusso de contedos j definidos, seja no debate que acompanha a reforma e a redefinio desses contedos. Essa discusso se torna cada vez mais exigente na medida em que as autoridades se convenam da necessidade de estreitar o vnculo entre o currculo oficial, o currculo ensinado e as matrizes de referncia dos instrumentos de avaliao.
3. Para informar ao pblico. A preparao dos boletins escolares representa uma dimenso importante da poltica de divulgao dos resultados da avaliao. No entanto, h outras dimenses que indicam a presena de outras preocupaes alm da pedaggica. A divulgao junto sociedade pode ser para efeitos de publicizao do sistema de avaliao, com o intuito de disseminar a preocupao com a qualidade e os resultados alcanados e de angariar apoios genricos a favor da conduo da poltica educacional. Mais perto das eleies, essa divulgao se torna claramente eleitoral, indicando a relevncia dos resultados do sistema educacional para a populao e a probabilidade de serem relevantes para o julgamento da eficcia do governo. Pode-se encontrar tambm exemplos de disseminao menos interessada que enxergam na divulgao uma oportunidade de democratizao da informao no cumprimento do preceito da transparncia. A poltica de divulgao que mais nos interessa nesse contexto aquela direcionada especificamente aos pais dos alunos e a outros membros da comunidade prximos escola. No entanto, os propsitos por trs da inteno de informar os pais sobre os resultados das escolas de seus filhos precisam ser diferenciados. O gestor pode querer simplesmente motivar a participao da comunidade dos pais nas atividades da escola. Mais provvel, porm, o desejo do gestor que os pais exeram
65
alguma influncia sobre a escola com base no conhecimento detalhado dos seus resultados. Esse objetivo se torna ainda mais claro na presena de dados comparativos, que estabelecem a posio exata da escola mediante algum tipo de ranqueamento ou que fornecem informaes suficientes para o usurio chegar a suas prprias concluses sobre o nvel de desempenho dela. Esse tipo de divulgao orientada se tornou bastante comum no Chile, nos Estados Unidos e na Inglaterra por causa da criao de polticas de gesto que fomentam o uso de critrios de livre mercado na escolha da escola dos filhos. De novo, h a necessidade de distinguir entre as informaes divulgadas de acordo com as metodologias empregadas na comparao das escolas.
4. Para a alocao de recursos. O emprego dos resultados dos alunos como um dos critrios para a incluso das escolas em programas governamentais voltados para a melhoria ou como indicador para a simples distribuio de recursos talvez seja a poltica que mais bem expressa a relao entre a avaliao e a gesto educacional. Nesses casos, no h necessariamente propsitos de responsabilizao, mas a sua execuo, na prtica, pode criar dificuldades. Nos Estados Unidos, houve resistncia prtica dos estados de beneficiarem com recursos adicionais distritos mais atrasados em termos dos resultados dos alunos por ser uma poltica de premiao do fracasso. O contrrio dessa medida, ou seja, beneficiar escolas que mais progridem, pode ser uma alternativa, mas tambm sofre criticas por questes de equidade. No caso brasileiro, pela existncia de um sistema de distribuio de receitas fiscais entre os entes federados, pode-se prever a existncia de polticas de alocao de recursos entre as instncias governamentais de acordo com critrios que procuram avanar a poltica educacional.
5. Para polticas de incentivos salariais. Essa a categoria que contm as polticas mais polmicas, por reunir as iniciativas recentes de usar a avaliao padronizada como um instrumento da reforma educacional. A lgica das polticas de gesto nessa
66
rea que o prprio sistema de avaliao pode ser colocado a servio da mudana por causa de uma conhecida propriedade das provas chamada em ingls de backwash. Essa palavra descreve a capacidade da prova de sinalizar para os professores todo um conjunto de preferncias em termos de contedos e, pela natureza das questes, de mtodos de ensino tambm. Dessa forma, a prova o mensageiro do currculo desejado e do tipo de ensino a ser favorecido. Alm disso, a prova tambm sinaliza o nvel de domnio esperado do aluno em termos do patamar de competncia a ser atingido. Quando a prova escolhe aleatoriamente seus elementos curriculares e testa somente a capacidade de memorizao do aluno, o backwash, com toda a probabilidade, ser negativo. Quando a matriz de referncia da prova representa um currculo oficial e os itens procuram testar competncias cognitivas mais avanadas, o efeito da prova ser bem mais benfico ao levar os professores a abraarem o currculo oficial e buscarem desenvolver essas mesmas competncias entre os seus alunos. Para o gestor, o importante a capacidade da avaliao de instigar o professor a se preocupar com os resultados. Por mais bem pensada que seja a prova em termos das suas caractersticas tcnicas, ela provocar pouco interesse nos resultados e pouca mudana no comportamento do professor se no tiver alguma consequncia. As provas certificatrias e outras que influenciam o futuro do aluno, seja a aprovao no final do ano ou no final do curso, j por definio trazem consequncias para os alunos e tambm para os professores que se preocupam com o destino deles. Essas provas so high-stakes, o que, na expresso inglesa, significa que h bastante a ganhar ou perder dependendo do resultado da prova. As autoridades podem aumentar as consequncias dessas provas por meio da fixao de metas, definio de percentuais de alunos que precisam passar ou qualquer outra medida que tornem mais significativos os resultados da avaliao. Seriam includos aqui sistemas de bonificao, premiao e tambm medidas administrativas para ajudar ou fechar escolas com nveis de desempenho considerados insuficientes. Por aumentarem o nvel de responsabilidade dos professores, essas polticas costumam ser chamadas de accountability, ou responsabilizao. Seu objetivo elevar
67
o grau de relevncia dos resultados para que o ensino se beneficie do aumento no interesse dos professores e dos efeitos backwash positivos. As polticas de responsabilizao podem ser direcionadas para os alunos, para os professores e para as escolas. As polticas introduzidas nos Estados Unidos a partir da dcada de 1980, j discutidas, mostram a tendncia de se preocupar com a disseminao de padres curriculares mais exigentes para a graduao do Ensino Mdio. Por esse motivo, entende-se que a avaliao esteve a servio da reforma curricular do Ensino Mdio naquele pas. No caso brasileiro, as polticas de responsabilizao por meio de incentivos salariais tm outros objetivos, mas perseguem a mesma lgica em termos da conexo entre as provas, o comportamento dos professores e a melhoria do ensino e so desenhados para atingir o sistema como um todo. Por isso, as polticas desse tipo no so categorizadas junto com as prticas de gesto pedaggica. Seu raio de ao maior e tem como alvo o padro de qualidade de todas as escolas do sistema.
6. Como componente da avaliao docente. Ainda mais polmica, existe a possibilidade de o gestor empregar os resultados dos alunos como componente da avaliao do professor como profissional. Essa poltica, incomum fora dos Estados Unidos, no faz parte da categoria anterior pelas diferenas entre a avaliao de escolas, para efeitos do clculo de bonificaes ou qualquer outra medida temporria para beneficiar as escolas e suas equipes, e a avaliao docente que um processo individual destinado a determinar mudanas permanentes na situao funcional do professor, tipicamente promoes ou avanos salariais. Tipicamente os sistemas de avaliao docente tm trs finalidades, de reconhecer os docentes mais qualificados e identificar os que mais precisam de ajuda, de premiar docentes com atuao mais destacada para estabelecer novos padres de excelncia e, finalmente, para efeitos de certificao profissional, para sinalizar os requisitos mnimos necessrios e assegurar a qualidade profissional bsica antes que o professor se torne estvel. Em nenhum desses casos, o nvel de desempenho dos alunos do
68
professor um elemento indispensvel no conjunto de informaes utilizadas. Mesmo assim, a discusso bastante disseminada sobre a possibilidade de incluso dessas informaes sugere que tal tipo de poltica possa surgir no nosso meio a qualquer momento (DANTAS, 2009).
7. Para a certificao de alunos e escolas.
Mesmo incomum no contexto
brasileiro, o uso dos resultados da avaliao externa para determinar se os alunos esto aptos para receber seus diplomas/passar de ano ou se escolas so credenciadas para o funcionamento deve constar de um sistema classificatrio que pretende esgotar todas as possveis utilidades dessa informao para a gesto educacional.
69
6.
O Uso da Avaliao na Gesto da Educao nos Estados Esta seo est dividida em sete partes, correspondentes s sete categorias
definidas pelo sistema classificatrio. Cada parte se inicia com o levantamento bibliogrfico realizado pelos pesquisadores para descrever os diferentes tipos de poltica e para extrair das pesquisas nacionais e internacionais possveis indicaes das consequncias de cada poltica. A seguir, abre-se a discusso para as informaes coletadas que fornecem exemplos concretos de como os estados e alguns municpios de porte maior efetivamente utilizam os produtos de seus sistemas de avaliao. No caso de existirem exemplos de polticas high-stakes, com base na associao entre a poltica de uso dos resultados da avaliao e consequncias para os envolvidos, sejam alunos, professores ou a prpria instituio escolar, o texto dar destaque ao fato.
6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa
6.1.1 Avaliao de Programas. A histria da consolidao da avaliao educacional nos Estados Unidos nas dcadas de 1950 e 60 est calcada na sua funo de instrumento de avaliao de programas. A demanda por instrumentos padronizados nasceu da necessidade de avaliar os novos currculos escolares que surgiram sob a coordenao da Fundao Nacional de Cincia aps o lanamento do Sputnik e a deciso daquele pas de recuperar a qualquer custo a liderana mundial em cincia e tecnologia. Poucos anos depois, com a Guerra contra a Pobreza, do presidente Lyndon Johnson, foi aprovada a Lei de Educao Elementar e Secundria, que no seu primeiro captulo (Title 1) estabeleceu uma linha volumosa de financiamento para os estados para o desenvolvimento de programas
compensatrios de apoio s crianas de famlias de baixa renda. Entre os diversos mecanismos para garantir o uso adequado dos recursos, figurava a avaliao dos resultados alcanados. A avaliao no era um assunto novo, mas o uso de testes padronizados para medir o impacto das polticas pblicas de combate pobreza
70
combinava bem com a racionalidade dos novos mtodos da administrao pblica em processo de assimilao pelo governo Johnson (HERMAN; HAERTEL, 2005). S resta registrar que, na maioria dos casos, as avaliaes dos programas compensatrios, como Head Start e o chamado Title 1, no encontraram evidncias de que os investimentos em professores adicionais, equipamentos, ambientes escolares e enriquecimento curricular produzissem ganhos significativos na aprendizagem dos alunos. Para alguns autores, esse conjunto de dados apresentava uma viso bastante pessimista e uma base para a rejeio das crenas tradicionais sobre a eficcia da escola (MADAUS; AIRASIAN; KELLAGHAN, 1980) (p. 27). Uma possvel explicao do aparente fracasso fornece uma importante lio em relao aos riscos de usarem os resultados das avaliaes para finalidades inapropriadas. Os testes padronizados disponveis poca foram criados e normatizados para produzir medidas e ranqueamentos para crianas de habilidade mdia. s vezes, eram difceis demais para alunos de famlias mais pobres, tendo sido baseados em objetivos de aprendizagem bem diferentes daqueles dos programas compensatrios. E, como medidas de habilidade, no eram sensveis aos efeitos de curto prazo de mudanas nos mtodos de ensino (MADAUS; STUFFLEBEAM; SCRIVEN, 1983). Da mesma forma que nos Estados Unidos, a histria do desenvolvimento das avaliaes padronizadas em larga escala no Brasil est associada avaliao de programas educacionais com financiamento federal. No caso brasileiro, foi o Projeto Edurural, que se desenvolvia em todos os estados do Nordeste, que foi objeto da primeira avaliao com base em testes padronizados. Usando instrumentos criados sob medida baseados em exemplos de exerccios e trabalhos de sala de aula colhidos nas escolas dos trs estados onde a avaliao se desenvolvia Piau, Cear e Pernambuco , a avaliao acompanhou a implementao e o desenvolvimento do projeto de 1982 a 1986, medindo o rendimento dos alunos e analisando as formas de gerenciamento do projeto, professores, organizaes municipais de ensino, alunos e famlias. A avaliao do Edurural se tornou um marco justamente por ela fornecer as bases tcnicas e mostrar a relevncia da avaliao educacional em larga escala para a
71
identificao mais ntida dos problemas das escolas. At o final da mesma dcada, os alicerces de um sistema nacional de avaliao j haviam sido criados (GATTI, 2002 ). Apesar da conexo histrica entre a avaliao de polticas e programas governamentais e a avaliao educacional, os exemplos de uso dos resultados dos sistemas estaduais brasileiros para essa finalidade so limitados. Introduzir a aprendizagem dos alunos como uma varivel dependente em um modelo controlado de pesquisa para medir os resultados ou impacto de determinada poltica ou programa de interveno estadual ainda incomum em comparao com os estudos, muito mais frequentes, dos mtodos e processos de implantao desses mesmos programas. A explicao est dada em estudo sobre a avaliao de programas em que Kirkpatrick descreve as perguntas apropriadas para a avaliao das quatro fases de programas de treinamento, como seria o caso dos cursos de formao continuada para professores (KIRKPATRICK, 1994). As questes correspondentes s primeiras trs fases, sobre a reao dos participantes, sobre a aprendizagem alcanada pelos participantes e sobre o quanto os participantes esto aplicando seus novos conhecimentos ao trabalho, podem ser todas respondidas mediante o levantamento de opinies e expectativas e analisadas de forma qualitativa, o que explicaria a relativa frequncia dessa modalidade de avaliao. Conforme os cnones da pesquisa cientfica, a quarta e ltima fase na avaliao de um programa educacional, envolvendo primordialmente os resultados de
aprendizagem dos alunos, requer a utilizao de informaes quantitativas contrafactuais para poder mostrar o que teria acontecido se os alunos e as escolas no tivessem participado do programa. Para cumprir essa condio e garantir a fidedignidade da pesquisa, a avaliao de programas precisa formar um grupo de controle composto de alunos e escolas no participantes com as mesmas caractersticas e condies que os alunos e as escolas que participaram do programa em estudo. Essa condio se torna quase impossvel quando os programas em estudo so polticas educacionais que se estendem para todos os alunos e escolas da rede. Quando o programa se estende a um grupo menor de escolas, selecionadas com base em determinadas caractersticas, o problema do avaliador consiste em encontrar
72
escolas de controle que tenham as mesmas caractersticas que as escolas do programa, mas que mesmo assim no tenham sido contempladas. A dificuldade em formar grupos de controle para efetuar a comparao entre alunos e escolas que foram expostos aos efeitos da poltica e outras que no foram pode explicar a reticncia das Secretarias em embarcar em estudos avaliativos de suas polticas. Outros motivos podem incluir a complexidade da pesquisa quantitativa envolvendo grandes bases de dados, a falta de interesse poltico em submeter as aes da Secretaria ao escrutnio dos pesquisadores e dos meios de divulgao e a falta de continuidade de muitas das polticas por um perodo de tempo suficiente que justifique o emprego dos recursos e esforos da avaliao ou que permita que os resultados da avaliao tenham algum proveito prtico. Em pesquisa recente, Bauer sugere outra hiptese relacionada falta de accountability governamental e o pouco costume da sociedade brasileira em exigir uma prestao de contas aos governantes em termos da eficcia e custo/beneficio das polticas financiadas com recursos do contribuinte (BAUER, 2011). Independentemente dos motivos, a consequncia que a avaliao do impacto de programas e polticas educacionais constitui um campo de trabalho ainda muito incipiente com poucos exemplos de avaliaes de envergadura que contaram com o apoio das Secretarias da Educao. Apesar da importncia atribuda funo de avaliao de polticas pblicas na explicitao oficial dos objetivos dos sistemas estaduais de avaliao, pouco se realiza no cumprimento desse papel. Uma exceo recente o trabalho da Secretaria de Educao do Cear, em que foram usados indicadores baseados nos resultados do Spaece para avaliar trs programas, o Prmio Escola Nota 10, o Plano de Desenvolvimento da Educao (PDE) e o Prmio Aprender pra Valer. As avaliaes do primeiro e do terceiro programa sero discutidas mais adiante, juntamente com outras iniciativas do mesmo tipo, por se tratarem de polticas estruturadas com base no prprio Spaece e que usam os resultados desse sistema para a distribuio de prmios e incentivos. No caso da avaliao do PDE, a anlise teve como propsito verificar se as escolas estaduais do ensino fundamental que aderiram ao PDE apresentariam nveis diferenciados de
73
proficincia no 5 ano do Ensino Fundamental entre 2008 e 2009, quando comparadas com as demais escolas da rede estaduais e da rede municipal (CEAR, s.d.). Em contrapartida, outros dois estudos pela mesma Secretaria, um sobre a Gesto Integrada da Escola Gide, e outro fazendo uma avaliao de impacto do Projeto Escola do Novo Milnio Penm, no usaram dados produzido pelo Spaece, apesar de estabelecer como critrio para o sucesso desses programas a sua contribuio para a melhoria efetiva dos indicadores de rendimento escolar e desempenho acadmico (ECOSTRAT, 2008). De modo geral, as avaliaes de impacto de programas mediante a comparao da aprendizagem de alunos de um grupo de controle com o grupo de alunos atingidos pelo programa, o grupo de tratamento, so trabalhos de pesquisa de alunos de psgraduao que contaram com algum grau de colaborao dos rgos oficiais para poder acessar os dados das avaliaes educacionais. Um exemplo a pesquisa de dissertao de Corra (2007) em Minas Gerais, que empregou um desenho quase experimental para realizar uma anlise comparativa dos resultados de escolas antes e depois da implantao do projeto Escola Viva Comunidade Ativa, criado pela Secretaria de Educao para combater a violncia escolar. A avaliao usou dados de desempenho do Simave para os anos de 2005 e 2006 a fim de comparar as escolas de dois grupos de pesquisa: um grupo formado pelas 79 escolas estaduais de Belo Horizonte participantes da 1 fase de implantao do projeto e um grupo de controle, contendo 21 escolas estaduais no submetidas ao projeto, mas similares s escolas do projeto em termos de nvel de ensino, tamanho e nvel socioeconmico dos alunos (CORRA, 2007). A avaliao recente da poltica de formao continuada de professores alfabetizadores Letra e Vida, da Secretaria de Educao de So Paulo, outro exemplo. Em tese de doutorado, Bauer (2011) emprega anlises de regresso para determinar a importncia da Letra e Vida na explicao das variaes no rendimento dos alunos da 1 srie, tanto em termos da mdia no Saresp de 2007 como em termos do percentual de alunos da 1 srie no nvel 6 de proficincia. Os resultados das anlises so tnues e mostram que o impacto do curso Letra e Vida depende da presena de outras variveis do contexto escolar. No entanto, quando a
74
pesquisadora compara o desempenho no Saresp de alunos de escolas em que todos os professores passaram pelo curso de um ano de durao com alunos de escolas cujos professores no fizeram o curso, os resultados so mais claros. Quando h um nmero de casos suficientes para fazer a comparao entre os grupos de tratamento e controle, a vantagem dos alunos cujos professores fizeram o curso mais clara, sobretudo em escolas do interior do estado (BAUER, 2011). Em estudo similar, Fontanive mediu o impacto de um processo de formao em servio organizado pelo Cesgranrio chamado Projeto de Capacitao dos Professores do Tocantins para os professores da rede estadual de ensino desse estado. O estudo procurou identificar se nas escolas com professores que apresentavam um alto grau de participao nas atividades de capacitao houve o aumento das mdias de proficincias dos alunos em matemtica e lngua portuguesa, medidas no ano de 2001 pelo sistema estadual de avaliao organizado pela Fundao Cesgranrio e em 2007 pela Prova Brasil. Apesar da rotatividade de professores, a falta de contato direto entre formadores e professores e a falta de acompanhamento e de continuidade nos treinamentos, as anlises realizadas indicam uma relao entre a participao no Programa de Capacitao e no uso do material didtico fornecido e a melhoria de desempenho dos alunos da 8 srie (9 ano) na disciplina de matemtica, pelo menos no caso dos professores que responderam aos questionrios. O estudo se destaca pela engenhosidade da metodologia e sofisticao da anlise, impelidas pelas mudanas sofridas pelo prprio projeto de capacitao e a perda de professores ao longo dos anos, e demonstra as dificuldades reais para realizar pesquisas de avaliao de impacto com grupos de controle (FONTANIVE; KLEIN, 2010). Medir e atribuir mudanas nos resultados do sistema educacional a determinado programa, com base em raciocnio de causalidade, um grande desafio metodolgico mesmo quando disponibilizadas todas as informaes sobre o desempenho dos alunos. Em nenhum dos casos de avaliao de programas baseada nos dados dos sistemas estaduais de avaliao, encontramos o uso das informaes para determinar a mudana ou a continuidade do programa em questo. Caso houvesse esse tipo de consequncia, poderamos fazer um paralelo com as avaliaes dos programas
75
compensatrios dos Estados Unidos, onde a continuidade do financiamento dependia de resultados satisfatrios. Nesses casos, pode-se dizer que a avaliao de programas high stakes e desenhada para responsabilizar as autoridades educacionais e as equipes escolares pelos resultados dos alunos participantes. O que achamos foram exemplos de um tipo de avaliao de polticas e programas mais caseira, tipicamente com base em apreciaes informais, mesmo usando dados objetivos. Esses julgamentos, feitos pelos prprios gestores, parecem fazer parte do dia a dia do trabalho da gesto educacional: Ento esse uso [da avaliao] de orientar polticas, ele mais antigo, n? E em alguma medida ele um uso genrico. Mesmo quando eu fao derivaes para usar como sistema de incentivo de professores, [...] ou para estratgias de ensino, na verdade eu estou sempre reorientando polticas e programas. Vamos dizer assim, esse o uso primeiro e mais preciso da avaliao, n? (Gestor: SEE/CE) Em outros casos, como na avaliao das novas Escolas de Referncia de Ensino Mdio sendo implantadas no estado de Pernambuco, o uso do indicador de qualidade daquele estado como parmetro mostra o uso de dados objetivos: Em 2014 ns vamos ter Escolas de Referncia nesse modelo em quantidade suficiente pra atender todos os egressos de 8 srie das escolas municipal e estadual. [...] No primeiro ano em que implanta, o Idepe delas j vai pra 4 a 4,5. Ns tivemos 20 avaliadas j em 2009, e 10 atingiram mais de 5 [...] Quando comparada a mdia nossa de Ensino Mdio, que chega a 3, excepcional nesse caso. (Gestora: SEE/PE) No caso de Minas Gerais, o gestor entrevistado tinha usado a avaliao do Ensino Mdio para distinguir os efeitos de diferentes polticas para essa faixa etria: Como voc implementa vrias coisas ao mesmo tempo, voc tem que ter o efeito de uma ao sobre a outra tambm. [...] Por exemplo, como a poltica de EJA interfere no desenvolvimento do Ensino Mdio, [...] como que a Educao profissional altera os indicadores e o desempenho dos
76
alunos no Ensino Mdio e assim por diante. Tem os cruzamentos das polticas e s vezes o efeito de um contrrio sobre o outro. Por exemplo, [...] como a poltica foi muito forte no aumento de vagas e de oportunidade de EJA, a taxa de concluso do Ensino Mdio diminua. [...] os meninos esto indo para a EJA? Ento, analisar esses efeitos e ver tambm o efeito sobre quem foi para a EJA. O desempenho melhorou ou piorou? T certo. Tudo bem, aumentou a taxa de concluso. Ento no seria possvel voc estar permanentemente fazendo essa adequao, ajustando as aes que voc estava implementando a cada ano, se voc no tivesse uma informao muito precisa sobre o que andava acontecendo. (Gestor: SEE/MG)
6.1.2 Monitoramento. Alm da avaliao de polticas e programas, os sistemas estaduais costumam explicitar o objetivo de monitoramento ou acompanhamento da evoluo do sistema ao longo do tempo. Essa foi a razo fornecida pela criao do Saeb em princpios da dcada de 1990 e reafirmada na portaria 931/2005, que reformulou o sistema de avaliao com base na criao da Prova Brasil. Nessa legislao, o Saeb tem o objetivo de avaliar a qualidade, equidade e eficincia da Educao brasileira, ao mesmo tempo em que fornece subsdios para a formulao de polticas pblicas ao buscar comparabilidade entre anos e entre sries escolares, permitindo assim a construo de sries histricas. Nessas frases, fica explicitada a ideia central do monitoramento, ou seja, produzir informaes comparveis ao longo do tempo para servir de parmetro para medir a evoluo e distribuio da aprendizagem, entendidas como indicadores da qualidade e equidade da Educao e, ao mesmo tempo, ajudar na identificao de dificuldades. Segundo Fontanive e Klein (2000), o Saeb e outros sistemas de avaliao nacionais tm carter diagnstico: Eles so mais bem definidos como sistemas de informao do que como programa de testagem e visam, sobretudo, a construir sistemas de
77
informaes consistentes, confiveis, vlidos e comparveis para responder basicamente a duas questes: Qual a qualidade da Educao oferecida no pas? Em que condies ela se realiza? Alm de um programa de testes, as avaliaes em larga escala coletam informaes para analisar o contexto no qual se d a aprendizagem dos alunos - essencial para qualquer proposta de melhoria de qualidade. (FONTANIVE; KLEIN, 2000) (p. 411) No desempenho desse papel, o Saeb aplica um grande nmero de itens cerca de 130 a 170 itens por srie e disciplina , em vez de usar provas nicas compostas, tipicamente, de 20 a 30 questes. A cobertura de todos os aspectos do currculo para determinada rea e fase visa alcanar uma validade curricular maior. Isso significa poder identificar com maior propriedade o nvel de aprendizagem efetivamente alcanado pelos alunos em todos os componentes e identificar com maior facilidade os aspectos curriculares deficitrios. Haver a necessidade de voltar a essa questo quando da discusso da adoo do modelo Saeb pelos estados e o uso dos resultados para fins pedaggicos. O uso das avaliaes estaduais para fins de monitoramento evidenciado pela criao recente de indicadores que tentam captar em um nico nmero uma medida da qualidade de cada fase de Educao em cada escola. Influenciados e incentivados pela criao do Ideb em nvel nacional, alguns estados, incluindo Pernambuco (Idepe), Amazonas (Ideam), So Paulo (Idesp), Cear (IDE-Alfa), Rio de Janeiro (Iderj), e o municpio do Rio de Janeiro (IDE-Rio) e o Distrito Federal (IDDF) j criaram indicadores desse tipo. Porm o tema ainda no se tornou assunto de discusso acadmica. Com poucas excees, as discusses sobre os propsitos e as metodologias para a confeco dos indicadores tm sido mantidos no mbito das Secretarias. Uma exceo a discusso do indicador de So Paulo Saresp. Seguindo uma metodologia mais completa que o Ideb, o indicador de So Paulo capta tambm a equidade das estratgias educacionais usadas naquele sistema pela incluso de uma medida da distribuio dos alunos por faixa ou categoria de desempenho (SOARES, 2009). Ao incentivar a progresso de todos os alunos, e no somente a melhoria da mdia, o
78
Saresp consegue corrigir uma falha do Ideb e promover uma equidade maior nas estratgias de melhoria das escolas. O indicador de Pernambuco, chamado Idepe, tambm utiliza uma frmula anloga do Ideb, multiplicando as proficincias mdias de portugus e matemtica por uma medida de fluxo escolar para produzir um ndice de desempenho para cada disciplina/srie entre 0 e 10. Diferentemente do Idesp, no entanto, o ndice no cria categorias de desempenho e, ao empregar a nota mdia das provas, no gera incentivos para a escola procurar melhorar o desempenho somente daqueles alunos com notas prximas linha de corte das categorias, como no caso do Idesp (FERRAZ, 2009). Uma das responsveis pela implantao do Idepe reconhece a importncia da liderana do MEC, mas mostra a necessidade de o estado ter um indicador prprio: Nossa primeira preocupao foi ter um ndice estadual. Embora ns reconheamos que o MEC tem realmente um trabalho muito consistente, ns pensamos o seguinte: ns no pudemos pensar em implementar uma poltica educacional com o nvel de mudana que ns estamos pretendendo, sem ter segurana de um ndice estadual que no estivesse a merc de alteraes. Ento com isso ns decidimos. Foi uma deciso do governador, do secretrio na poca e nossa, da equipe, de que era importante ter um ndice de desenvolvimento de Educao em Pernambuco com periodicidade anual e que tivesse a mesma metodologia para ser comparado ao ndice do MEC. E a em 2009 coincidiu que ns tivemos o nosso ndice e o MEC teve o dele, o IDEB. E o nosso IDEPE foi metodologicamente validado. Ns tivemos l praticamente o mesmo resultado. (Gestora: SEE/PE) No caso do Ideam, do estado de Amazonas, observa-se em documento da Secretaria de Planejamento uma explicitao da esperana que a prpria criao do indicador possa contribuir para a melhoria dos resultados do sistema:
79
Na busca pela melhoria dos indicadores da Educao, o Governo do Estado do Amazonas implantou em 2008 o Sistema de Avaliao do Desempenho da Educao do Amazonas - SADEAM, que objetiva ter um contnuo monitoramento do sistema educacional, bem como subsidiar a gesto institucional no que se refere s definies de polticas educacionais para possveis correes de distores desse processo. No SADEAM foi construdo o ndice de Desenvolvimento da Educao do Amazonas IDEAM com o objetivo de possibilitar uma viso mais integrada do desenvolvimento educacional do Estado, o qual est em consonncia com o ndice de Desenvolvimento da Educao Bsica IDEB, cujo primeiro resultado foi apresentado em 2009. (AMAZONAS, 2009)(p. 13) O IDE-Alfa Indicador de Desempenho Escolar em Alfabetizao criado pela Secretaria de Educao do Cear um pouco diferente dos exemplos anteriores. Criado para facilitar a divulgao dos resultados do Spaece-Alfa, o indicador leva em conta a proficincia mdia dos alunos que possuem desempenho intermedirio e desejvel e o percentual de alunos que participaram da avaliao. Esse ltimo critrio utilizado para evitar que as redes impeam a participao dos estudantes que tm dificuldade de aprendizagem. O IDE-Alfa construdo em uma escala de 0 a 10. Os municpios que possuem IDE-Alfa igual ou maior do que 5 esto no nvel intermedirio e aqueles com ndice de 7,5 ou mais no padro desejvel. Voltaremos a falar do IDE quando apresentada a poltica do governo de Cear de premiar os municpios com base nesse indicador. Independentemente das frmulas usadas, os indicadores estaduais tm em comum a dependncia de informaes produzidas por sistemas estaduais de avaliao que empregam a Teoria de Resposta ao Item TRI. Esse detalhe permite que o ndice produzido ao longo do tempo no sofra flutuaes aleatrias devido a mudanas na medida, como no nvel de dificuldade dos testes. Essa consistncia da medida de desempenho to vital para o processo de monitoramento que sem a TRI dificilmente um sistema estadual poderia reivindicar esse papel.
80
Como palavras finais desta seo, oferecemos as falas de representantes de duas Secretarias. Na primeira um tcnico da Secretaria de Educao de Minas Gerais d a opinio que o uso da avaliao de desempenho naquele estado para o monitoramento das escolas est inextricavelmente ligado ao modelo de gesto para resultados e que no h como separar os efeitos motivadores do monitoramento dos efeitos da interveno que decorre dele: De 2008 pra 2009 sentimos um crescimento importante na alfabetizao, inclusive comparado com as redes municipais que no tiveram esse mesmo tipo de interveno que ns. A existncia de uma medida, ela desencadeia um processo. A existncia dela associada a uma gesto com foco em resultado, medio e acompanhamento, ela desencadeou um processo de monitoramento de interveno. Sem essa medida poderia at haver interveno, mas ela estaria mais desfocada. A gente no conseguiria saber se houve ou no um crescimento, n. Eu acho que a medida tem que estar associada a uma gesto, a um tipo de gesto e interveno. Por si s eu acho que [a medida] no produz, mas ter a medida fora a gesto a ir l de novo para acompanhar, a medir outra vez, a saber, por que. Eu acho que [a avaliao] um instrumento de motivao associada ao monitoramento. Eu entendo a avaliao desse jeito. [...] Ento a existncia da medida ela desencadeia um processo, uma mudana de atitude, de comportamento, de procedimento nos diversos nveis da gesto da Educao. (Tcnico: SEE/MG) Na segunda fala, que serve de ligao com a prxima seo, a gestora da Secretaria de Educao de Pernambuco mostra que o monitoramento anda de mos dadas tambm com o planejamento, no modelo de gesto para resultados. A fala tambm destaca a resistncia avaliao que ainda existe dentro da universidade: O governador introduziu aqui o modelo de gesto por resultados em 3 reas prioritrias em 2007. Ele comeou com Educao, sade, segurana e receita. [...] quando ns entramos em 2007 o resultado do Ideb de 2005 [...] deu conta que a rede estadual de ensino de 5 a 8 srie foi o pior resultado
81
do Brasil dentre todos os estados. Ento houve uma presso muito grande para melhoria. [...] Ento o que houve na verdade foi uma conjuno de fatores em que a administrao do governador Eduardo Campos possibilitou a introduo de mudanas muito grandes em pouco tempo. Porque ns tivemos uma resistncia razovel do sindicato com relao ao bnus, com relao gesto de resultado, com relao ao monitoramento. Em algum tempo ns fomos proibidos at de usar a palavra monitoramento porque as pessoas no aceitavam, pessoas da prpria universidade. A gente tem essa dificuldade ainda de trabalhar, eu acho que no currculo principalmente da graduao a questo de aferio de resultados na Educao. Mas acho que houve uma vontade poltica muito grande que fez com que isso pegasse, digamos assim. Ento hoje comum. Se voc conversa com as escolas, por exemplo, ns fazemos sempre pesquisa no final do ano, fazemos levantamento. A gente pergunta para as escolas: o que foi mais importante durante esses 4 anos? Elas respondem: foi o monitoramento. (Gestora: SEE/PE)
6.1.3 Planejamento. A utilizao dos resultados das avaliaes educacionais como pea central do planejamento estratgico dos estados j foi discutida na introduo. Alm do caso emblemtico de Minas Gerais, podem tambm ser destacados os casos de Esprito Santo e Pernambuco. No caso de Esprito Santo, o Plano Estratgico Esprito Santo 2025 reafirmou a prioridade absoluta a ser dada Educao pelo governo que tomou posse em 2003. Posteriormente, a parte do plano que cabia Secretaria da Educao recebeu um detalhamento para o perodo 20082011 e assumiu o nome Plano Estratgico Nova Escola. O objetivo maior era o alcance de escolas vivas, com capacidade criativa e inovadora, modernas e atrativas, que na essncia tenham como resultados de suas aes a aprendizagem dos alunos, segundo o Secretrio da poca, Haroldo Corra Rocha (ESPRITO SANTO, 2008) (p. 5). Alinhado com a nfase nos resultados de aprendizagem, o plano assumiu como sua Viso de Futuro 2011 um cenrio em que o Esprito Santo figuraria entre os estados
82
mais bem colocados nas avaliaes de resultados e formulou diversas metas pensadas para levar o estado a essa posio. Entre as metas assumidas, constam a elevao das mdias do 3 ano do Ensino Mdio do Saeb para 350 pontos em portugus e 400 em matemtica, a elevao do Ideb das sries iniciais e finais do ensino fundamental de, respectivamente 3,7 e 3,5 em 2005 para 5,9 em 2021, e o Ideb no Ensino Mdio de 3,1 para 4,5. Se o Plano Estratgico Nova Escola ainda no expressava suas metas em termos dos resultados do seu prprio sistema de avaliao, Paebes, a incluso do projeto de avaliar sistematicamente as condies de funcionamento das escolas e de desempenho dos alunos visando a obteno de melhores resultados da aprendizagem deixa claro o quanto que o plano oferecia respaldo s atividades de avaliao educacional e o quanto o esprito da avaliao estava presente no pensamento dos planejadores. O planejamento estratgico da Secretaria de Educao de Esprito Santo tambm serviu para colocar ordem em um verdadeiro cipoal de projetos e programas que se multiplicavam sem critrio: Quando eu cheguei aqui a gente foi fazer um inventrio de projetos para identificar todos os projetos que havia na Secretaria e a gente identificou 92 projetos. Impossvel de monitorar 92 projetos e totalmente sem foco, sabe, quase que um delrio das pessoas. O projeto uma ferramenta para chegar a algum resultado. Qual o seu resultado? E a a gente chegou numa viso para 2011 e com as metas que a gente tinha fomos fazendo um teste de aderncia [para ver] que projetos que j estavam na rede tinham mais aderncia a onde a gente queria chegar. A ficamos com esses 48. (Tcnica: SEE/ES) No caso do Programa de Modernizao da Gesto da Secretaria de Educao do Estado de Pernambuco, o sistema estadual de avaliao est no centro dos planos. Na definio da identidade estratgica da Secretaria de Educao, encontra-se como viso tornar-se referncia nacional em Educao de qualidade at 2011 e como misso assegurar, por meio de uma poltica de Estado, a Educao pblica de qualidade, focada em resultados.... Entre as diferentes prioridades para o alcance desses
83
objetivos consta a Implantao do Modelo de Avaliao, envolvendo a conjugao do Sistema de Avaliao da Educao de Pernambuco Saepe, com periodicidade anual a partir de 2008, o Termo de Compromisso, o Idepe e o Bnus de Desenvolvimento Educacional. No material de divulgao sobre os avanos do Idepe entre 2008 e 2009 encontram-se dados que mostram que 890 ou 94,3% das escolas do estado com 4 e/ou 8 e/ou Ensino Mdio consegui elevar seus ndices educacionais. Dessas escolas, 550 atingiram 100% da meta para aquele ano com base no Idepe e mais 211 alcanaram entre 50 e 99% da meta. Como esses percentuais tambm foram usados para o clculo do Bnus de Desenvolvimento Educacional a ser pago aos professores, voltaremos a esse tpico mais adiante. No obstante a importncia do planejamento estratgico, talvez o aspecto mais inovador da conexo entre a avaliao e o planejamento seja a relao, ainda em construo, entre os indicadores estaduais de desenvolvimento e a fixao de metas em nvel escolar. Com uma medida confivel do desempenho dos alunos e um ndice que capta a qualidade em um nico nmero compreensvel, a tarefa de fixar e cobrar metas se tornou mais fcil. Isso tem significado o avano na utilizao de metas no planejamento das atividades das Secretarias e tambm na formulao de polticas de incentivos que dependam do cumprimento das metas fixadas, como ser discutido em outra seo. O ndice de Desenvolvimento da Educao do Distrito Federal se apresenta como exemplo tanto da necessidade de criar um indicador compreensvel como do valor do indicador como um elemento estruturador dos planos da Secretaria. Na opinio de tcnico da SEE/DF: O IDDF surgiu por uma necessidade de trazer um nmero ao DF, um nmero escola. Assim, as pessoas j estavam acostumadas com um ndice, a questo do Ideb, mas no DF no se tinha isso, nada parecido. s vezes [a Secretaria] queria utilizar o resultado da avaliao de rendimento que no tem nada a ver para tentar botar nos jornais. A prpria imprensa, alis, faz questo de exibir alguma coisa nesse sentindo e ns no tnhamos e ento por deciso do gabinete, para no s satisfazer a opinio publica,
84
mas tambm para dar um horizonte e uma viso mais clara, o IDDF foi criado, se utilizando da avaliao de rendimento, dos resultados, assim como das taxas de aprovao. (Tcnico: SEE/DF) Segundo o material usado para explicar o IDDF s escolas, o desafio primordial da SEE/DF garantir que os alunos aprendam sem desperdiar tempo com reprovaes e sem abandonar a escola. Para cumprir essa tarefa, a SEE/DF precisa de indicadores objetivos para acompanhar a evoluo das escolas e definir metas individuais para cada instituio educacional, a serem alcanadas em curto prazo. O objetivo, em nvel da escola, que as metas sirvam como guia para seus gestores e se traduzam em esforos pedaggicos capazes de elevar o desempenho dos estudantes, garantindo que uma proporo cada vez maior de alunos domine um slido conhecimento dos contedos e habilidades esperados para o seu estgio escolar. Visando esse objetivo, com base em um indicador que junta os dois critrios para uma avaliao da qualidade da escola, o IDDF composto de uma medida da aprendizagem dos alunos, advinda dos exames do Siade, e de uma medida da movimentao escolar derivada das taxas de aprovao, em formula anloga ao do Ideb. Com a formulao do indicador e a fixao de metas para cada escola, a Secretaria parece ter cumprido a promessa de estabelecer um novo modelo de poltica educacional. Em comum com outras Secretarias, esse modelo traz a vantagem de converter esperanas em objetivos concretos e oferecer um foco legtimo para os esforos de melhoria.
6.1.4 Pesquisa. A qualidade da pesquisa em Educao no Brasil tem se beneficiado enormemente pela aplicao e divulgao dos resultados dos sistemas nacionais de avaliao. Aqui cabe registrar que o uso tem sido tipicamente de dois tipos. Um tipo de pesquisa se concentra no acompanhamento do desempenho dos alunos ao longo do tempo. A ttulo de exemplos, temos o trabalho de Alves, que mostra que cerca da metade da queda observada no desempenho mdio no Saeb dos alunos da 4 srie entre 1995 e 2003 deveu-se mudana no perfil dos alunos em
85
decorrncia da melhoria do fluxo escolar (ALVES, 2007), e Klein, que mostra que a proporo de alunos acima dos nveis satisfatrios em matemtica decresce com a srie (KLEIN, 2006). O outro tipo de pesquisa que na ausncia de dados objetivos sobre a aprendizagem dos alunos era vedado aos pesquisadores aquele que prope identificar as caractersticas da escola e dos professores que mais incidem na produo de bons e maus resultados. Por exemplo, Franco et alii indicam que no Brasil 39% da varincia na proficincia em matemtica encontra-se entre escolas, enquanto, em pases europeus e nos EUA, a varincia entre escolas usualmente est em torno de 20%. A alta porcentagem encontrada no Brasil um indicativo de que nosso sistema educacional altamente estratificado, apresentando muita desigualdade entre as escolas. Os pesquisadores tambm constatam a importncia de algumas caractersticas escolares no desempenho mdio dos alunos. Os elementos que indicam que a escola atribui nfase especial s questes acadmicas, como o uso de dever de casa, bibliotecas na sala de aula e um bom clima disciplinar, apresentam efeitos positivos no aumento do desempenho mdio das escolas (FRANCO et al., 2007). O uso das bases de dados estaduais para esse tipo de pesquisa menos comum, no havendo o mesmo empenho por parte das Secretarias de tornarem pblicos os resultados das avaliaes. Uma exceo a linha de pesquisa desenvolvida pelo CAEd desde 2002 com base nos dados do sistema mineiro de avaliao Simave. Em vrias publicaes, Soares e colaboradores tm avanado na compreenso de fatores associados aprendizagem e ao uso de diferentes modelos estatsticos para o estudo hierrquico dos fenmenos escolares, mostrando a progressiva sofisticao conceitual e metodolgica da pesquisa em efeito escola (SOARES, 2003; 2005; SOARES; TEIXEIRA, 2006). Estudos equivalentes realizados com base nos resultados do Saresp tambm tm contribudo para a criao de um corpo de evidncias a respeito das caractersticas da escola eficaz naquele estado.
86
6.2
Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as
Estratgias de Formao Continuada A preocupao com a qualidade da Educao bsica est no cerne dos programas subnacionais de avaliao. Apesar de usarem instrumentos descendentes do Saeb, que so fundamentalmente de monitoramento e no de diagnstico, todos tm como objetivo explcito fornecer feedback aos professores de sala de aula e ajudar na busca de solues para superar as dificuldades de aprendizagem dos alunos. Do ponto de vista do grande contingente de educadores envolvidos em todas as fases da avaliao externa seria de fato impensvel no extrair ao mximo as lies sobre as dificuldades de aprendizagem refletidas nas proficincias para as diferentes sries e matrias. E, para muitos professores, a avaliao externa s se justifica com base nas informaes fornecidas para melhorar a compreenso da situao dos alunos. Mas como essa dimenso pedaggica vem sendo trabalhada dentro desses programas? Quais as estratgias tpicas das Secretarias para municiar as escolas e os professores com as informaes que precisam para tornar a avaliao externa um subsdio para a melhoria da sua prtica? Sem exceo, as Secretarias fundamentam seu apoio pedaggico na produo de materiais informativos que tentam traar um diagnstico do nvel de aprendizagem dos alunos. Esses materiais so apresentados basicamente em duas verses: a) Boletins Pedaggicos, que seguem um formato prprio para o consumo do professor e disponibiliza, em meio a informaes padronizadas, resultados especficos de cada escola; e b) Relatrios, os quais resumem de forma mais tcnica os resultados da rede de forma global, destinados, sobretudo aos gestores. Juntamente com essa prtica, observam-se diversas estratgias para a formao continuada de professores com base nos resultados da avaliao para facilitar a compreenso dos Boletins ou remediar problemas comuns. Ambas as polticas tm evoludo de forma marcante ao longo dos anos, de modo que uma das concluses a que chegamos, aps a anlise do apoio pedaggico no mbito dos programas de avaliao, que esse apoio tem acompanhado a sofisticao dos prprios programas.
87
De incio uma produo bastante rudimentar, pouco a pouco o Boletim Pedaggico passou a ser percebido como um instrumento rico de apoio pedaggico quando bem construdo. Com a aprendizagem acumulada com base no ensaio e erro, sobretudo no mbito dos programas pioneiros no Brasil (como os de Minas Gerais, So Paulo e Cear), os gestores passaram a dar mais destaque produo desse material, tal como percebemos na fala de alguns entrevistados: A questo da avaliao do rendimento escolar do aluno e sua apropriao pela escola era uma coisa bem longe do cotidiano das escolas. Tanto que a gente percebe que a forma de divulgao dos resultados era mais os mapas dos resultados que eram mandados para as regionais. As regionais discutiam, as delegacias na poca de ensino discutiam com o diretor da escola, mas numa instncia muito tcnica e muito distante realmente do cho da sala de aula. [...] Os boletins eram boletins gerais, alm de no se produzir boletim para cada escola. (Tcnico/SEE-CE). Hoje o objetivo do Boletim Pedaggico parece estar alm da simples divulgao, pois, ao devolver os resultados, ele tambm espera familiarizar melhor o professor diante da linguagem mais tcnica e objetiva utilizada nesse tipo de material. Nesse sentido, pode-se dizer que o material contribuiu para aproximar o professor diante dos dados apresentados: A partir de 2007, o CAEd que passa a produzir o nosso material, s que cada boletim agora vem com a cara da escola, ele vem com o nome dos alunos da escola. No vem s com a mdia da escola, vem com a mdia de cada turma, o resultado por turma e o resultado por cada aluno da escola, alm de ser uma tentativa de ler esses resultados luz de uma escala que fosse mais associada a cada intervalo. A gente criou a uma descrio pedaggica desses intervalos que foi [.. ] bem mais objetiva e compreensvel para o professor. (Tcnico/SEE-CE). Uma coisa tambm que a gente passou a trabalhar muito assim de 2007 pra c foi essa questo da forma de divulgao dos resultados, quer dizer a
88
gente no s melhorou o boletim, mas quando o boletim chega, primeiro feito uma oficina geral com a empresa que ganhou com todos os especialistas dos rgos das regionais. Ento todas as regionais mandam os seus tcnicos para c, e cada municpio manda 2 tcnicos tambm que coordenam o programa [...] e a gente apresenta o boletim, faz a primeira leitura com ele, a primeira compreenso do material que foi produzido, discute a lgica que est embutida naquele material. (Tcnico/SEE-CE). No somente o contedo do Boletim passou a merecer destaque como tambm sua apresentao grfica: (...) todos eles sabem pegar o boletim e ler aquele resultado. As cores ajudaram muito. De longe, quando voc coloca o resultado de um municpio, eles j percebem logo quantos alunos esto em cada nvel, quantos esto numa situao no alfabetizada, quantos esto numa alfabetizao incompleta. A gente tentou dar ao boletim uma cara mais objetiva e fcil de ser compreendida pelo professor e pelos tcnicos do municpio, que tm uma grande deficincia de trabalhar com os indicadores educacionais. (Tcnico/SEE-CE). Esse material devolutivo procura dar uma resposta ao compromisso de fazer dos sistemas de avaliao um servio de melhoria do ensino, por meio da devoluo dos resultados da avaliao para as escolas, de modo que esse material possa servir como um instrumento para melhorar a prtica pedaggica nas escolas: O boletim foi evoluindo (...) a partir de alguns estudos que foram mostrando que isso era difcil, eles tentam fazer boletins com uma linguagem mais simplificada para as escolas. Voc fazer um boletim simplificando uma linguagem, explicando melhor, tipo: Olha, os seus alunos esto neste nvel, isso no significa que os professores conseguem se apropriar desses resultados e a partir dele, propor aes. Numa outra fase eles comeam ento a dar dicas de aes. (Especialista-Fundao Carlos Chagas/SP).
89
Uma parte do crdito pela melhoria progressiva dos materiais devolutivos deve ser atribuda s prprias agencias de avaliao, como o CAEd, Cespe e Cesgranrio. Incentivadas pelas Secretarias de Educao que so seus clientes, essas organizaes experimentaram diferentes contedos e formatos ao longo dos anos e puderam verificar o grau de acerto das diferentes maneiras de apresentar as informaes por meio dos contatos diretos com professores e tcnicos. Quando chamadas para atender a novos clientes ou a retomar avaliaes suspensas temporariamente, tais agncias puderam oferecer um produto que incorporava a aprendizagem de muitos anos, permitindo que as novas avaliaes principiassem em patamares mais sofisticados. Mesmo com a evoluo dos Boletins Pedaggicos, a divulgao dos resultados no redunda automaticamente na sua apropriao por parte dos professores. A crtica proveniente principalmente por parte dos professores sugere que os resultados no so imediatamente consumveis pela comunidade escolar (Diretores, Supervisores, Professores etc.), no obstante todo o empenho das Secretarias na apresentao de um material com cunho mais didtico e instrutivo para o professor, distanciando-se do formato do relatrio tcnico, geralmente endereado aos gestores. Alm disso, os Boletins Pedaggicos costumam chegar s escolas com certo atraso em relao s turmas que acabaram de ser avaliadas, dificultando a conexo entre os resultados apresentados e o tipo de interveno necessria: (...) na avaliao persiste o grande desafio que a questo da apropriao do resultado mesmo para o usurio final, que o professor. Apesar de todo esse movimento que a gente fez de oficinas de item de um lado, encontros do outro, seminrios para leitura de material, de fazer com que a coleo chegasse a cada escola, quer dizer, apesar de tudo isso voc tem um depoimento de uma professora [...] a professora no tinha o conhecimento de que no boletim tinha o nome de todos os alunos. Ento isso mostra que de fato, ns ainda no atingimos o objetivo de fazer com que cada professor saiba que exista um boletim na escola dele que tem o nome de cada aluno l com seu o desempenho. (Tcnico/SEE-CE).
90
A despeito dos problemas levantados, o Boletim est sendo utilizado pela equipe pedaggica das Secretarias para otimizar pedagogicamente os resultados da avaliao. Na tentativa de transformar o produto (resultado) em processo (melhores prticas), os Boletins Pedaggicos parecem colocar em questo o seguinte desafio: o que fazer e como fazer se baseando na evidncia dos resultados? [...] a primeira deciso que a gente tomou aqui foi a de quem leva e quem explica o resultado o pedaggico. Ns no vamos mais, enquanto gerncia de avaliao, ficar levando os resultados para a escola, porque se o pedaggico no encampa, se o pedaggico no entende, isso aqui no vai servir para nada. (Gestora/SEE-ES) Uma faceta da sofisticao por que passaram os Boletins Pedaggicos devese descentralizao dessa discusso, que agora sai do mbito da Gerncia de Avaliao de algumas Secretarias e passa a ser gerida por equipes pedaggicas incumbidas de avaliar o material produzido e elaborar estratgias para a sua divulgao, alm de monitorar o uso dessa produo no cotidiano da escola por parte dos professores: [...] traduzir essa linguagem para que isso possa ser revertido especificamente nas competncias e habilidades que essas crianas esto demonstrando ou esto deixando de demonstrar, para que [o professor] possa entender como que se faz a interveno pedaggica. Ento, a gerncia de avaliao nos mobiliza com relao a esses dados e nos permite [...] uma compreenso disso em nvel central e em nvel regional por parte dos tcnicos. Entretanto, mais importante do que isso so as reunies que a gente faz com os diretores, professores e pedagogos das escolas para que eles entendam o que isso que est chegando l e de fato faa sentido e eles possam utilizar pelo carter diagnstico que isso que nos interessa, para que haja promoo da aprendizagem. (Tcnica/SEE-ES). [...] a chave do sucesso de uma boa apropriao dos Boletins que ele seja levado com algum do pedaggico para dentro da escola, para poder
91
acompanhar esse uso. Porque se a gente simplesmente colocar isso no site e entregar o documento na escola, como muita gente faz, no poderamos cobrar algum resultado com base nesta avaliao, entendeu? (Tcnica/SEEES). A divulgao de informaes sobre as medidas de todas as escolas de uma nica rede poderia ser vista como um elemento de responsabilizao, uma vez que tal informao poderia incitar a comparao entre as escolas, sinalizando a responsabilidade das mesmas pelos resultados dos alunos. O que ouvimos nos estados, por outro lado, que a poltica das Secretarias de Educao no deve ser comparar as escolas e que as escolas s podem ser comparadas com elas mesmas. Essa afirmativa reflete um pouco o esprito dos Boletins, os quais cumprem mais o papel de divulgar e disponibilizar um material didtico que possa ser facilmente manuseado e compreendido por toda a comunidade educativa. Quando existem comparaes nos Boletins, elas seguem o padro estabelecido pela Prova Brasil, mostrando a mdia da escola ao lado da mdia do seu municpio e da sua rede. Essa informao o suficiente para a escola se situar, mas sem permitir comparaes com outras instituies especficas. Em nossa pesquisa, como dissemos, encontramos uma gama de material bem trabalhado, alguns com mais recursos, inclusive com recursos grficos mais sofisticados e agradveis para o leitor. o caso, por exemplo, do Esprito Santo, que, juntamente com Cear, Pernambuco, Minas Gerais e outros estados, tem seu material produzido pelo CAEd e disponibilizado em pdf tanto na pgina do CAEd como em um link disponvel nas pginas de sua Secretaria da Educao. O estado de So Paulo tambm chama a ateno pela amplitude e qualidade do repertrio pedaggico disponvel: caderno do gestor, caderno do professor, caderno do aluno. No link da Arquivoteca, esto disponveis todas as erratas e os materiais relacionados aos Cadernos. Vale lembrar que os Boletins Pedaggicos do estado de So Paulo encontram-se disponveis tanto nos sites da Secretaria como impressos, bimestralmente.
92
Grande parte dos Boletins, especialmente aqueles confeccionados pelo CAEd, produz um material que vai alm da divulgao dos resultados: eles analisam formas de interveno pedaggica com base na anlise da produo do material e apresentam dados gerais da avaliao, bem como os resultados de proficincia para todas as sries/anos e disciplinas avaliadas. Apresentam os resultados da escola: resultados de acordo com a proficincia e a interpretao qualitativa desses por meio da escala de proficincia. Os Boletins Pedaggicos costumam apresentar tambm os padres de desempenho e a anlise pedaggica dos itens dos testes. Para discutir outro aspecto essencial da dimenso pedaggica, o nvel socioeconmico dos alunos, o CAEd criou outro documento, chamado Boletim Contextual. Ele informa os fatores intra e extraescolares que interferem nos resultados dos estudantes e o ndice da eficcia da escola, fator que permite entender o resultado do desempenho escolar, controlando o nvel socioeconmico dos estudantes. Juntamente com a produo desse material de divulgao, percebe-se tambm um movimento por parte das Secretarias de Educao e das agncias contratadas para fazer a avaliao, em levar os Boletins Pedaggicos e os resultados at os pais. o caso do estado do Amazonas, que tem promovido reunies sistemticas entre pais, professores e alunos em um programa chamado Sbado nas Escolas: aulas de reforo, oficinas culturais e de redao, cantinho da leitura e experimentos cientficos costumam ser as atraes do programa. A finalidade do encontro apresentar aos pais as medidas que vm sendo planejadas e desenvolvidas e a classificao da escola de seus filhos. Para atrair esses pais em um espao destinado divulgao dos resultados da avaliao, foram ofertadas, durante alguns sbados do ano, atividades extraclasse, como aula de reforo, acompanhamento etc. Essa uma estratgia no negligencivel que busca tambm chamar a ateno dos pais sobre os resultados das escolas de seus filhos, ao mesmo tempo em que chama a responsabilidade dos pais e da escola para a produo desses resultados. A estratgia tambm pode ser eficaz, na medida em que vai alm da produo escrita do material a ser divulgado, cumprindo talvez uma funo mais diretiva.
93
Outro exemplo interessante de uso do Boletim Pedaggico como uma tentativa de chamar a ateno dos pais sobre a importncia dos resultados de avaliao da escola e assim criar um canal de comunicao entre escola e famlia encontrado no estado do Esprito Santo. No interior do Boletim Pedaggico, encontra-se um termo de compromisso que deve ser assinado pelo Conselho da Escola, Diretor, Professor e Pais, cuja assinatura representa a confirmao do compromisso de cada um desses responsveis pelo processo de aprendizagem do aluno: O professor tambm assina, o conselho de escola assina, o diretor assina, o pedagogo assina, todo mundo assina e a assim, para os professores, como para mim tambm, muito favorvel porque ele divide com o grupo de gestores da escola a responsabilidade pela aprendizagem do aluno. (Tcnica/SEE-ES) Alm desses exemplos de iniciativas chamando a responsabilidade da famlia pela aprendizagem do aluno, os Boletins Pedaggicos vm se sofisticando cada vez mais, como sugere o exemplo do Distrito Federal, confeccionado pelo Cesgranrio. O aspecto grfico no to atraente quanto o material produzido pelo CAEd, mas chamaram a ateno a quantidade e a qualidade de um material pedaggico bem circunstanciado, com descries mais detalhadas e tambm genricas, por habilidades e faixa de desempenho dos alunos. Mas mais interessante pareceu-nos a preocupao em esclarecer e se fazer didtico a um leitor pouco familiarizado com os jarges da avaliao, discutindo heuristicamente o que so os resultados, como utiliz-los, qual a importncia de apropriar-se deles, como explicitado nesta fala: [...] o que a gente precisa detalhar um pouco mais que o boletim no vai sozinho. O boletim ele uma ferramenta de mostrar o nmero frio, o nmero, o resultado pronto e frio, e uma distribuio percentual desses alunos numa escala de proficincia. Agora, o que que deve vir acompanhando esses boletins? Os relatrios pedaggicos que, apesar de no ser algo to inovador, creio que o grande diferencial para as escolas do DF. So cadernos, livros de cada componente curricular avaliado, e para cada srie. (Tcnico/SEE-DF)
94
Em geral, pode-se dizer que as propostas dos Boletins e materiais auxiliares so muito parecidas, ainda que e o emprego da palavra Boletim seja polissmico, como denotam as seguintes expresses utilizadas para o mesmo fim: guia de interveno, relatrio, boletim, caderno etc. Mesmo reconhecendo os avanos contidos nessa forma de apoio pedaggico, as Secretarias de Educao perceberam que a divulgao dos resultados no estava sendo capaz de promover uma mudana sistmica por parte dos professores. A estratgia passa a voltar-se para as Oficinas Pedaggicas, espaos destinados no somente apresentao dos resultados, mas como melhor apropriar-se deles. Assim, quase como uma extenso da divulgao, as Oficinas Pedaggicas aparecem como espaos de formao, as quais contam com a participao de especialistas e mesmo a Instituio/Agncia contratada pelas Secretarias para a produo da avaliao. Essa rotina acaba servindo para dois propsitos: a) divulgar os resultados; e b) colaborar para o processo formativo do professor: [...] a nossa equipe de avaliao tambm teve que ir a vrios municpios tambm ministrar oficinas por demandas municipais e de professores da rede municipal para essa questo de entender melhor os descritores, as competncias que sero avaliadas e a prpria leitura do boletim. (Tcnico/SEE-Cear) Em nosso mapeamento sobre os usos da avaliao com finalidade expressamente pedaggica, percebemos o quanto a formao continuada passa cada vez mais a depender da interpretao dos resultados dos testes de avaliao por equipes de especialistas que possam refletir sobre as lacunas no processo de ensinoaprendizagem e, com base nas primeiras inferncias, oferecer subsdio para tratar das dificuldades observadas: Na verdade, isso para ns o sentido da avaliao. A avaliao s tem sentido se ela for capaz de mexer na interveno pedaggica. Aqui, no final do livro, tem as sequncias didticas, que uma inspirao [...]. O professor olha a avaliao e aqui tem uma srie de ideias de como ele organiza a
95
aula dele. Ento um documento pedaggico. (Gestor/SEE-ES) As Secretarias passam a perceber que informar e familiarizar os professores com os preceitos da avaliao no suficiente para melhorar a qualidade das escolas. As equipes encarregadas pela produo da avaliao nos estados passam a perceber as inmeras dificuldades dos professores para entender as matrizes, associ-las aos contedos ministrados e trabalh-las em sala de aula: [...] dando muita formao, insistindo sobre o que a habilidade e onde que ele acha isso na matriz e como que ele desenvolve. Eu acho que so duas coisas. Uma delas entender o resultado da avaliao, a outra para mim didtica. (...). o professor saber ensinar dentro dessa linha porque ele no foi formado para ensinar a desenvolver habilidade, ele foi formado para dar contedo. (Tcnica/SEE-ES) De maneira mais pontual, alguns estados promovem um dia especfico para divulgar os resultados da avaliao para a comunidade escolar e, ao mesmo tempo, inseri-los em um processo de formao que leve em considerao os dados fornecidos pelo sistema de avaliao: Tem um Dia D, para fazer essa discusso [do planejamento]. Manda o boletim para as escolas e as aulas so suspensas por 2 dias por ano para isso. No dia D se discute os resultados e se reflete sobre o que que a escola vai fazer [..] No s uma questo de mandar o boletim. O boletim virou uma ferramenta importante para esse planejamento que eles sabem, cada professor sabe na sua turma como que est a situao de cada aluno. (Especialista-MG) As oficinas acabaram cumprindo o papel de formao em vrios aspectos: passaram a trabalhar, com os professores, sobre a importncia de ler e saber interpretar os resultados da avaliao. Com base nessa postura reflexiva, evidenciaram a importncia do planejamento didtico, da organizao dos contedos e da mediao entre a matriz de referncia e a matriz curricular, alm do prprio trabalho de formao presente na elaborao dos itens de avaliao, momento este em que se
96
oferece aos professores do Cear a oportunidade de serem sujeitos e partcipes do processo contido na avaliao. Com a ampliao dessas oficinas no interior, o ano passado, por exemplo, a gente capacitou aproximadamente 1.500 professores em todo o Estado com a elaborao de itens [...] No comeo, at o ano 2006, a gente tinha meio que um pacto com o professor. Ele vinha para essa oficina, ele produzia itens. A gente no remunerava esse item. A gente investia na formao desse professor que elaborava itens para o Spaece. Cada professor elaborava em mdia 3 itens. Ele recebia o descritor e elaborava 3 itens, eram esses itens que a gente selecionava para fazer a prova. (Tcnico-SEE/CE) Nesse processo, no s os professores so formados e informados de uma nova cultura escolar. Concomitante introjeo da chamada cultura de avaliao, percebemos um novo desafio posto a estes profissionais: Qual a dificuldade que a gente encontra? A dificuldade exatamente a cultura da avaliao, a cultura do contato com a avaliao externa em especial, de se apropriar de uma linguagem que feita por grficos, por escalas e uma srie de coisas que o professor no tem referncia e no est acostumado a lidar com isso. (Tcnica/SEE-ES) Uma constatao parece evidente: a de que o Boletim Pedaggico e as Oficinas Pedaggicas no conseguem produzir, sozinhos, uma mudana de atitude ou de prtica por parte do profissional docente. O trabalho dos Analistas Educacionais (ANEs) em Minas Gerais de fazer a mediao entre o trabalho de divulgao do Programa de Avaliao do Ciclo Inicial da Alfabetizao (Proalfa) e a formao dos professores mostra como as Secretarias comeam a oferecer apoio pedaggico individualizado para ir alm dos Boletins e as Oficinas Pedaggicas. O estudo de Carvalho e Macedo (CARVALHO; MACEDO, 2010) foca o trabalho dos ANEs da Superintendncia Regional de So Joo Del Rey e mostra como esses especialistas ocupam o papel de mediadores com base em discusses e reunies pedaggicas com os professores. O estudo
97
tambm oferece uma indicao dos provveis impactos de um programa de avaliao sobre a prtica dos professores quando acompanhado de apoio pedaggico direto. O Proalfa realizado em todas as escolas estaduais de ensino fundamental no estado de Minas Gerais. Seus resultados so divulgados por meio de Boletins Pedaggicos, que supem a interpretao e elaborao de intervenes por parte do professor com base nos nveis alcanados pelos alunos na escala de proficincia. O objetivo das ANEs em relao ao trabalho do professor ajudar a identificar os aspectos negativos e positivos e, no caso dos aspectos negativos, diagnosticar os principais problemas. Para medir o impacto desse trabalho, foi aplicado, entre os responsveis pelo acompanhamento pedaggico nas escolas estaduais de So Joo Del Rey, um questionrio no qual a pergunta central era: O Proalfa causa alguma espcie de impacto na prtica dos professores das sries iniciais da rede estadual de ensino de Minas Gerais? As analistas foram unnimes em reconhecer que a prtica da avaliao oficial, como o Proalfa, impacta o trabalho docente. Em outra pergunta Como voc percebe (ou avalia) o tipo de impacto que o Proalfa causa na prtica dos professores das sries iniciais na rede estadual de ensino? , das nove analistas educacionais, sete s apontaram aspectos positivos e duas indicaram tambm aspectos negativos. Em relao aos aspectos positivos, destacamos alguns excertos das analistas educacionais: As avaliaes do Proalfa servem como referncia para os professores avaliarem suas prticas de sala de aula, bem como o aprendizado dos alunos. Muitos, diante do resultado insatisfatrio nessa avaliao, vm repensando sua prtica e modificando-a para melhor. (ANE C) (...) O impacto positivo, pois faz com que os professores procurem mudanas em seu cotidiano. (ANE L) (...) Acredito que todo professor tem um certo receio do Proalfa, uma vez que ele reflete tambm o trabalho desenvolvido pelo professor do ano letivo em curso. Por isso, nas escolas estaduais s quais atendo, a proximidade das avaliaes do Proalfa 2008 levaram a uma mudana da
98
prtica dos professores no que diz respeito ao planejamento. Os professores do 3 ano do ensino fundamental realizaram semanas de intensives dos alunos com questes do Proalfa de anos anteriores. (ANE A) possvel perceber a escola elaborando seus planejamentos e preparando atividades com base na matriz curricular e matriz de referncia das avaliaes externas. (ANE R) (CARVALHO; MACEDO, 2010)(p. 266 e 267). Em relao aos aspectos negativos, as analistas educacionais destacaram os seguintes fatores: H uma espcie de acelerao ou supresso das disciplinas (do plano de ensino) em decorrncia do que cobrado na prova. Muitos professores deixam de trabalhar ou intensificam o trabalho com alguns descritores, deixando de lado coisas muitas vezes relevantes para o aprendizado escolar. (ANE G) [...] em vrias escolas os professores ficam ansiosos, apreensivos e podem mascarar os resultados, por exemplo, auxiliando os alunos na hora da avaliao ou colocando para fazer a prova apenas os alunos preparados [...]. Alm disso, hoje, a poltica pblica do estado vinculou resultado e remunerao, o que, na minha opinio, foi um equvoco, pois incentiva, ainda mais, a inteno de mascarar o resultado final. (ANE H) (CARVALHO; MACEDO, 2010)(p. 268). Nesses excertos, possvel verificar que um bom Boletim Pedaggico que versa sobre a anlise dos resultados da avaliao acaba sendo uma fonte de apoio interessante para o professor, que passa a ter uma medida do que est funcionando ou no na sua prtica em sala de aula. A preparao para o dia dos testes tambm exige por parte do professor um planejamento do contedo que ele est ministrando, alm de contextualizar o que est sendo ensinado com base em um trabalho mais dialgico entre a matriz curricular e a matriz de referncia da avaliao. Paradoxalmente, o alinhamento excessivo entre a matriz de referncia da avaliao e a matriz curricular apontado pelas analistas como um aspecto negativo,
99
uma vez que o professor corre o risco de deixar de lado contedos igualmente importantes para a formao do aluno, mas que, pelo fato de no serem cobrados nos testes de avaliao, no seriam objeto de ateno por parte dos professores. Talvez um dos aspectos positivos mais marcantes encontrados na fala das analistas educacionais sobre o impacto do Proalfa na rotina pedaggica do professor diga respeito capacidade de mobilizar as professoras para uma reflexo sobre suas prprias prticas pedaggicas. Essas mudanas foram percebidas por elas como uma atitude mais sensvel para a importncia do planejamento, para o estabelecimento de planos e metas a serem alcanados com vistas melhoria no desempenho dos alunos. Nesse processo, no se pode deixar de desconsiderar a importncia que as analistas educacionais tm na interpretao e divulgao dos resultados, bem como o papel de mediadoras de um trabalho pedaggico que pode alcanar bons resultados quando realizado em equipe. Entretanto, parece-nos que a prpria prova a catalizadora de mudanas, comportamentos e atitudes, uma vez ela traz consigo o diagnstico e, com ele, a possibilidade de observar e refletir sobre as possveis dificuldades a serem trabalhadas e suplantadas. Em nossa pesquisa, temos tambm vrios exemplos dos problemas apontados pelos gestores em Educao a respeito dos materiais pedaggicos de divulgao e formao. Para a maioria desses gestores, tcnicos e especialistas em Educao, o material pedaggico produzido para a divulgao e formao ainda no consegue promover uma mudana efetiva na prtica diria do professor. Esses casos forneceram evidncias de uma conexo ainda difcil de ser estabelecida entre as polticas de divulgao e formao implementadas pelas Secretarias e o currculo a ser ensinado, o que tem feito com que muitas delas reconheam que, apesar de todos os esforos nesse sentido, os Boletins Pedaggicos continuam sendo, em certa medida, objeto de difcil compreenso por parte dos professores. No faltaram exemplos das dificuldades manifestas pelos professores em relacionar os itens usados ao contedo ensinado. As oficinas pedaggicas, algumas das quais preveem a elaborao de itens, refletem mais a tentativa de mostrar a conexo entre o item e o descritor da matriz de referncia, mas o problema que essa matriz
100
nem sempre est explicitada em termos de contedo. Na tentativa de dirimir esse problema, algumas Secretarias, como a do Esprito Santo, passaram a elaborar um guia de interveno pedaggica, material auxiliar ao Boletim Pedaggico, para facilitar o processo de comunicao entre o material pedaggico de apoio e o professor: [...] ns produzimos para o professor um guia de interveno que tem todas as sequncias didticas, que um documento que quase um plano de aula para o professor, o passo a passo do que ele tem que fazer [...] porque ele no consegue interpretar a habilidade. O que significa desenvolver [habilidade]? Como que eu enxergo esta habilidade desenvolvida no aluno? Essa a maior dificuldade que a gente vem escutando. Por isso a gente se rene muito com os professores nas oficinas de item. (Tcnica/SEE-ES) Outra forma de superar esse desafio tem sido a criao de programas estruturados de formao continuada com base nos resultados das escolas, que vo alm do trabalho individual dos analistas ou supervisores pedaggicos, na tentativa de atingir um nmero mais significativo de professores. Trataremos do melhor exemplo desse tipo de estratgia na seguinte seo.
6.2.1
Polticas de Formao Continuada Baseadas nos Resultados
Com as informaes levantadas, observamos que muitas Secretarias comeam a instruir suas polticas de formao de professores baseadas no diagnstico fornecido pelas avaliaes externas. Nesses casos, as estratgias de formao vo alm das oficinas voltadas para a explicao dos resultados das avaliaes para se tornarem programas permanentes de interveno junto aos professores. Na cidade de Belo Horizonte, por exemplo, foi implantado o programa de Monitoramento da Aprendizagem. Com a anlise dos resultados das avaliaes externas realizadas na Rede Municipal de Educao (Proalfa, Provinha Brasil e Avalia BH), a Secretaria Municipal de Educao iniciou em 2009 um acompanhamento sistemtico e individualizado de todos os alunos do ensino fundamental, chamado de
101
Monitoramento da Aprendizagem. Alm de diversas aes, como o reforo escolar, visando melhorar o Ideb das escolas, so tambm desenvolvidas aes de formao docente, em que os professores recebem formao especfica e acompanhamento constante da Secretaria Municipal de Educao. Talvez o exemplo mais acabado de uma poltica de formao continuada calcada nos resultados da avaliao se chame Plano de Interveno Pedaggica PIP, da Secretaria da Educao do estado de Minas Gerais. Com base nos resultados das avaliaes do Proalfa, educadores e gestores elaboram um plano de interveno pedaggica cuja finalidade reside na construo de estratgias para melhorar o desempenho dos alunos. No caso aqui de Minas Gerais, voc tem muitos projetos, mas somente um deles que usa [os resultados] especificamente como um ponto de partida, ou seja, estabelece um diagnstico e agora vamos trabalhar, vamos traar estratgias. (Tcnicos-SEE/MG) O objetivo fazer com que as escolas com os piores resultados recebam visitas de uma equipe pedaggica competente para discutir e trabalhar pontualmente as lacunas observadas com os resultados da avaliao. O PIP teve incio em 2008 com a implantao do programa chamado Alfabetizao no Tempo Certo,7 cuja meta era garantir as competncias de leitura e escrita de toda criana at os 8 anos de idade at 2010. O PIP entra como suporte a esse programa a fim de oferecer subsdio para que o estado pudesse alcanar a meta de alfabetizao e letramento de todas as crianas na idade certa, corrigindo problemas de fluxo de desempenho entre as escolas das diferentes regies do estado, evidenciado pelos resultados da avaliao do Proalfa.
Modelado em programa quase homnimo do estado de Cear chamado Programa de Alfabetizao na Idade Certa. 102
Foi ento montada uma equipe central e regional de apoio pedaggico, desenvolvido um material didtico para servir de guia ao professor, especialistas, diretores e grupo regional e, concomitante produo do material, oferecer uma capacitao em servio a esses professores. Depois da construo da equipe e do suporte para sua operacionalizao, foram definidas as metas de interveno e, posteriormente, planejada a execuo e acompanhamento da interveno. Embora o PIP acompanhe todos os tipos de escola (estratificadas em escolas pequenas, melhores escolas e escolas estratgicas), a ateno se volta para o atendimento s escolas estratgicas. Essas recebem essa denominao pela SEE, mas na realidade so as escolas maiores que apresentam os piores resultados na avaliao externa. Essas escolas esto distribudas por todo o estado, mas com uma concentrao mais evidente na regio metropolitana de Belo Horizonte e na regio norte. A estrutura do PIP est apoiada na constituio de equipes de trabalho regionais ligadas s Secretarias Regionais do Ensino (SREs), que, por sua vez, esto ligadas Equipe Central da Secretaria. A capacitao da Equipe Regional treina analistas e inspetores escolares, os quais recebem os guias (materiais didtico-pedaggicos) e o sistema de acompanhamento. Todas as 46 SREs definem metas para as escolas do estado no ensino fundamental, com base na avaliao do 3 ano do ensino fundamental no Proalfa. interessante destacar que essas equipes, organizadas segundo um organograma que obedece a uma estrutura hierrquica, se mobiliza para intervir nas escolas, dentro de uma agenda pr-programada de reunies. Pode-se dizer que essa constitui uma das estratgias mais bem definidas da Secretaria de Educao de Minas Gerais, uma vez que, ao acompanhar as dificuldades dos professores no domnio de certos contedos, a equipe desenvolve um trabalho de capacitao individual dos professores baseado no resultado da avaliao dos alunos. As metas de alfabetizao para o estado, ultrapassadas com folga, demonstram o xito do PIP: Ento na verdade quando voc v, por exemplo, que tnhamos uma meta
103
de 74 para proficincia de alfabetizao, vamos assim dizer, e ns atingimos 86, alguma coisa melhorou, alguma coisa eles esto indo atrs. A gente no sabe se realmente a interveno do PIP, isso a, a gente ainda no sabe qual que a causa dessa melhora. Mas de 74 que era a nossa meta e ns atingirmos 86, muita coisa n? (Tcnico/SEE-MG) Um dos grandes diferenciais do PIP parece ser a realizao de um trabalho pedaggico em um nvel muito circunscrito. A possibilidade de elaborar um diagnstico da turma com base nos resultados de avaliao e, diante disso, inferir qual a dificuldade do professor diante da turma permite que a equipe elabore um plano de interveno muito circunstanciado, oferecendo uma possibilidade de formao em servio para aquele professor, no que diz respeito sua competncia nos contedos e habilidades ministrados. O resultado positivo fez com que a Secretaria pensasse na sua expanso para outros segmentos da Educao bsica, mas a disperso de contedo do segundo segmento do Ensino Fundamental, bem como dos trs anos do Ensino Mdio, pode servir de obstculo para a eficcia do PIP observada nos anos iniciais de alfabetizao: O PIP bom porque um Programa que tem metas. No Ensino Mdio no garantimos que isso vai ter sucesso porque o professor no muito favorvel e as disciplinas so vrias. Ento a sistemtica deve ser muito mais complexa. O outro problema que em geral, os resultados da avaliao so muito pouco utilizados, so pouco apropriados pelas escolas, pouco discutidos. (Tcnicos/SEE-MG) As nossas investigaes junto s outras Secretarias evidenciaram uma heterogeneidade de prticas, mtodos e concepes tericas sobre o uso dos resultados da avaliao na poltica de formao do professor. Se o PIP em Minas Gerais fornece um exemplo de um programa bem estruturado e aparentemente bemsucedido, ele no representa um fenmeno isolado. Essa dimenso do uso dos resultados das avaliaes parece estar em expanso. Na medida em que os instrumentos usados comeam a fornecer informaes sobre alunos individuais e vir
104
acompanhados de materiais curriculares e didticos, pode-se prever a diversificao ainda maior de iniciativas desta natureza. No estado de Esprito Santo encontrou-se a nica meno de uma conexo entre a avaliao e a formao inicial dos professores. Entre os tcnicos da Secretaria de Educao desse estado notou-se a esperana das matrizes de referncia do sistema de avaliao criar uma sinalizao para os cursos de formao de professores em relao s expectativas da SEE/ES. O mecanismo dessa sinalizao, e se haveria interferncia direta da Secretaria, no ficou estabelecido, mas o tema de interesse ao mostrar a impacincia da Secretaria com a falta de alinhamento entre a formao inicial e a realidade da profisso e falta de informao e prtica nos cursos de pedagogia na interpretao e uso da avaliao externa.
6.2.2
O Currculo Bsico
Mesmo no sendo o instrumento ideal para esse propsito, para muitos gestores a extrao das lies sobre as dificuldades dos alunos contidas nas proficincias fornecidas para as diferentes sries e matrias a contribuio principal da avaliao para a melhoria da Educao. Apesar desse voto de confiana no valor das avaliaes para usos pedaggicos, patente a frustrao dos responsveis com os retornos dessa poltica. Ns disponibilizamos os boletins pedaggicos com os resultados e a ns observamos que estava sendo pouco utilizada essa ferramenta. Esses resultados eles no estavam sendo utilizados como instrumento de gesto pedaggica ou de interveno pedaggica. (Gestor: SEE/PE) O constante aprimoramento dos boletins foi uma resposta a essa dificuldade e uma aposta que, ao aprofundar cada vez mais a compreenso do professor em relao s matrizes de referncia das provas e s habilidades que se pretendem formar nos alunos, o aproveitamento dos resultados das avaliaes seria cada vez melhor:
105
No basta mandar um boletim para a escola, voc tem que mandar informaes significativas que fazem sentido para a escola, essa a primeira coisa. Ento a primeira mudana , que tipo de informao a escola tem que receber? (Especialista: CAEd) Nesse sentido, foram sendo eliminadas informaes que no diziam respeito aprendizagem dos alunos, como as mdias no Saeb , no caso dos Boletins do Proeb em Minas Gerais, e enfatizados exemplos de itens para ajudar o professor a entender a natureza das habilidades cobradas pela matriz. Os Boletins se expandiram com visualizaes da escala de proficincia, mostrando a faixa de desempenho em que se situa a mdia da turma em relao a todas as principais competncias testadas, e com exemplos de itens usados nas provas para fazer a conexo entre a matriz, a escala e as habilidades identificadas pelos descritores. Ao mesmo tempo, e possivelmente como mais uma indicao da frustrao com a falta de impacto dos Boletins e os outros meios tradicionais de informar o professor, acendeu-se o interesse de algumas Secretarias em implantar um currculo oficial composto dos elementos considerados mnimos para cada srie. Chamado de Currculo Bsico Comum em Minas Gerais, a Base Curricular Comum em Pernambuco e a Proposta Curricular em So Paulo, esses currculos parecem advir da constatao de que os esforos na busca por melhores resultados podem ser incuos se no houver uma poltica bem focada nos contedos ensinados. O problema na matriz de referncia est no fato de que o MEC faz uma matriz de referncia nacional e nacional um negcio complicado [...] No nosso caso, a nossa matriz de referncia o CBC, ns fizemos o CBC e ela virou a nossa matriz de referncia. Sem isso eu acho que difcil interpretar. Por isso que o Saeb no tinha condio e continua no tendo condio de ser til na sala de aula. (Especialista-MG) Nossa investigao demonstrou uma dinmica de construo de um currculo comum oficial bastante recorrente: aps a implantao dos sistemas de avaliao, chega-se concluso de que pouco vale investir em formao, oficinas pedaggicas ou
106
na divulgao dos resultados por meio de boletins se no existir um currculo bsico comum, que permita construir um dilogo com o professor a respeito daquilo que est sendo cobrado pelo sistema de avaliao. No caso de So Paulo, por exemplo, a prpria introduo ao novo currculo deixa evidente este propsito: Estes documentos, que do origem aos Cadernos do Professor, do Aluno e do Gestor, so as referncias essenciais para o estabelecimento das matrizes de avaliao do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (Saresp). (SO PAULO [ESTADO] SECRETARIA DA EDUCAO, 2010.) (p. 3) Nesse caso, havia a inteno clara de reduzir a diversidade curricular reinante e, por meio de documentos bem estruturados, criar um consenso: [...] o diagnstico que se tinha da rede antes da implantao do Saresp era que, por exemplo, as escolas da rede tinham mais de 300 currculos e mesmo na mesma escola era complicado um aluno sair de um turno e ir para outro [...] Cada um construa ao seu bel prazer o que achava conveniente. [...] claro que a reao inicial [ao novo currculo] no foi, assim, natural. Depois foi caminhando, caminhando, caminhando. Eu acho que hoje no se discute mais a implantao do currculo h muito tempo. (Tcnico/SEE-SP) No caso de Minas Gerais, os documentos tambm mostram a inteno de traduzir os novos currculos em matrizes de referncia para os sistemas de avaliao e, dessa forma, criar um dilogo entre os dois: A importncia dos CBCs justifica tom-los como base para a elaborao da avaliao anual do Programa de Avaliao da Educao Bsica (Proeb) e para o Programa de Avaliao da Aprendizagem Escolar (Paae) e para o estabelecimento de um plano de metas para cada escola. O progresso dos alunos, reconhecidos por meio dessas avaliaes, constitui a referncia bsica para o estabelecimento de sistema de responsabilizao e premiao da escola e de seus servidores. Ao mesmo tempo, a constatao
107
de um domnio cada vez mais satisfatrio desses contedos pelos alunos gera consequncias positivas na carreira docente de todo professor. (Proposta Curricular CBC: http://crv.educacao.mg.gov.br) Em outros casos, como no do Esprito Santo, as prprias matrizes de referncia so transformadas em contedos curriculares bsicos. Nesse exemplo, a linguagem das competncias e habilidades usada pelas matrizes est ainda mais prxima aos objetivos do ensino: A avaliao puxou o currculo. Ns tnhamos a avaliao j avanada e no tnhamos o currculo [...] assim fica difcil, no tem uma referncia para o professor, o professor no pode ficar usando matriz de avaliao como currculo. A comeou a confeco do currculo com competncias [...] e eles partiram da matriz para montar o currculo. (Gestora/SEE-ES) [...] houve uma reunio com o secretrio de Educao e a gerencia de avaliao para apresentar o programa de avaliao e o currculo. A orientao toda foi para que o currculo contemplasse competncias e habilidades, desde que alinhado avaliao. Na verdade, o currculo nasceu a partir de um movimento contrrio, ou seja, o currculo acabou nascendo a partir da matriz de avaliao. (Tcnica/SEE-ES) No caso de Cear, a deciso da Secretaria em governo anterior foi encurtar o caminho e imprimir a lista de competncias e habilidades contidas nas matrizes de referncia nos prprios dirios dos professores. H reconhecimento dos perigos dessa atitude: [...] claro que a matriz de referncia da avaliao um recorte do currculo. [...] a gente v o professor procurando a matriz de referencia, mas isso a gente tambm tem muito medo. A gente tambm tem muito medo que eles reduzam o currculo matriz de referncia da avaliao [...] Eles trabalhavam era o livro, mas hoje j temos esse movimento curricular n, de interesse dos professores de pegar a matriz, de conhecer a matriz para ver o que est sendo cobrado na avaliao. (Gestor/SEE-CE)
108
Posteriormente, uma pesquisa constatou que a carga horria dedicada efetivamente ao ensino das habilidades era mnima e que se precisava partir para a produo de um currculo bsico calcado em contedos: Ento a escola gastava muito do seu tempo trabalhando coisas que no seriam objetos de avaliao. No que ela no tivesse que trabalhar essas outras dimenses n, mas percebia muito claro o desalinhamento entre [o] currculo trabalhado e o currculo avaliado. [...] A pesquisa tornou isso muito evidente, n. E foi a partir da que surgiu a ideia de construir esse documento sinalizando os contedos que queria que trabalhasse em cada semestre. A Secretaria do Cear reconhece que a deciso de produzir um currculo para o estado vem com atraso: De certa forma o currculo do estado uma coisa meio que tocada. A gente tem conhecimento de alguns estados que avanaram muito nessa questo de socializar e trabalhar o currculo com o professor assim, sem essa questo da autonomia escolar. Durante muito tempo essa questo do currculo parecia ser uma coisa que no poderia ser tocada por uma secretaria de Educao do estado, que a escola tinha que fazer o seu currculo e, em nome disso, se perdeu muito [tempo]. (Tcnico: SEE/CE) Em Pernambuco, j houve uma evoluo com a Base Curricular Comum em direo a uma especificao ainda mais detalhada dos contedos que os professores precisam ensinar: [...] ns j temos o que ns chamamos de OTMs que so as Orientaes Terico Metodolgicas, que como se fosse o currculo nosso. [..] Da Base Curricular Comum aperfeioou-se para as OTMs que um pouco mais, digamos assim, restrito n, talvez um pouco mais selecionado os contedos. (Gestor/SEE-PE) Na maioria dos casos, h indicaes de que os currculos em construo nos estados contam com a participao dos professores e refletem, portanto, um esforo
109
comum para estipular os objetivos do ensino. Essa construo coletiva cria a esperana de uma implantao mais tranquila: A Base Curricular comum, ela foi feita a partir de um trabalho coletivo. Um trabalho contemplando as 17 Gerncias Regionais de Educao, n? E esse trabalho, obviamente no foi feito diretamente com todos os professores, mas com uma boa amostra para que cada professor desses pudesse dar sua contribuio. Muitas GREs conseguiram avanar. (Gestor/SEE-PE) A implantao e adoo gradual dos currculos estaduais um processo lento. O domnio insuficiente dos contedos deixa os gestores frustrados e indicam problemas de fundo em relao formao inicial: Eu diria que mesmo com o CBC ainda tem um bom espao para andar [....] principalmente porque o professor no sabe o CBC. Esse o problema, ele no sabe. (Especialista-MG) Essas reflexes sobre a evoluo das estratgias das Secretarias em direo a um currculo de contedos bsicos servem para indicar que h uma vertente da relao entre avaliao e poltica de gesto que a presente pesquisa no teve condies de aprofundar. Essa relao no a do uso dos resultados do sistema de avaliao para estabelecer os critrios para uma poltica de gesto. Em vez disso, ela reflete uma interpretao da dificuldade em fazer uso mais produtivo dos resultados como consequncia da ausncia de uma poltica curricular. Portanto, mais a compreenso da fragilidade da avaliao externa em servir de instrumento pedaggico do que da sua utilidade. O movimento em direo ao currculo bsico expressa a concluso de que, na ausncia de um consenso compartilhado com os professores a respeito dos contedos curriculares e de um alinhamento entre os objetivos do ensino, o currculo da escola e as matrizes do sistema de avaliao, a contribuio deste para a melhoria da qualidade ser seriamente prejudicada. Essa evoluo na poltica dos estados pde acontecer no contexto brasileiro pelo fato de a avaliao educacional ter sado na frente e se estabelecido como um pilar da poltica educacional sem uma evoluo correspondente na especificao das
110
expectativas de aprendizagem para cada nvel e contedo de ensino. Essa correspondncia a que normalmente define a relao entre o currculo e a avaliao. Na Inglaterra, por exemplo, a criao do primeiro sistema nacional de avaliao no contexto da reforma educacional da dcada de 1980 aconteceu pari passu com a definio do currculo nacional. Ou seja, o caminho do sistema de avaliao aberto geralmente pela implantao de objetivos de ensino que precisam ser monitorados. A avaliao nessa conjuntura serve tanto para ajudar a implantar o novo currculo como para medir o sucesso das escolas na sua execuo. Pela natureza federativa do sistema educacional brasileiro e a aparente impossibilidade de um currculo nacional que v alm dos parmetros filosficos, o Saeb foi criado com base em pesquisas que, na mdia, tentaram espelhar o currculo real usado pelas escolas sem que ele fosse o oficial ou comum a todas as escolas. Quando os estados comearam a adotar sistemas de avaliao modelados no Saeb, eles tambm adotaram as mesmas matrizes e a mesma orientao no sentido da especificao de objetivos em termos de competncias de diferentes nveis de sofisticao. Isso no significa que no haja um amplo grau de convergncia entre as matrizes do Saeb e aquelas produzidas pelos estados que j passaram pelo processo de especificao do currculo bsico. A diferena reside na explicitao e implantao de um currculo que possa legitimamente servir de foco para todos os processos de formao continuada, sobretudo quando expressado em termos de expectativas e quando fruto de uma construo coletiva. Usar as matrizes definidas externamente para essa finalidade no s restringe o currculo a um subconjunto daquilo que as escolas deveriam ensinar como tambm obriga a utilizao de uma linguagem de especialistas que no a dos livros didticos e muito menos a das atividades que o professor precisa desenvolver. Uma pesquisa sobre essa vertente da relao entre a avaliao e a poltica educacional mostraria provavelmente que, se no fosse pela dificuldade em comunicar os resultados da avaliao aos professores, o progresso na definio dos currculos estaduais teria sido menor. Mesmo atrasados, os currculos bsicos dos estados e o progresso na definio de expectativas de aprendizagem para as sries so avanos na
111
direo certa que em algum grau podem ser atribudos ao fato de os sistemas de avaliao terem sado na frente.
6.3
Para Informar ao Pblico
Com a crescente preocupao com os resultados fracos dos Estados Unidos na dcada de 1980 em avaliaes comparativas internacionais, to habilmente explorados pela Comisso Nacional sobre Excelncia em Educao em seu relatrio Uma Nao em Risco, (THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION, 1983), o Programa Nacional de Avaliao do Progresso dos Alunos (Naep) decidiu ampliar sua amostra e, na dcada de 1990, comeou a publicar os resultados dos sistemas educacionais estado por estado (GTEE/PREAL, 2010a). Aos poucos, os estados tambm comearam a publicar seus resultados, dessa vez distrito por distrito e escola por escola. Por trs dessa prtica, encontrava-se a influncia do economista Milton Friedman e de outros economistas liberais, que contestavam o monoplio natural do estado na oferta da Educao pblica e procuravam estabelecer um mercado de livre escolha com base na circulao irrestrita de informao sobre as escolas. O
argumento desses tericos a favor da reduo das funes do estado e da devoluo ao indivduo do direito de escolha num mundo regido pelas regras do mercado livre. Se h razes para os governos arcarem com os custos da Educao, inclusive dos que vo alm da fase obrigatria do ensino, esses tericos no veem justificativa na estatizao da oferta. Ou seja, o fato de o estado subvencionar a Educao no significa que tem que ser o estado que oferea a Educao. Em vez disso, o estado poderia dar bolsas ou vales-Educao aos pais, que poderiam gast-los nas escolas que achassem melhor. O papel do estado nesse caso se reduziria ao monitoramento dos estabelecimentos educacionais no estatais para garantir um padro satisfatrio de qualidade (FRIEDMAN, 1955). Dentro desse mesmo raciocnio, seguido tambm pelo governo britnico a partir da reforma de 1998 (BALL, 2008; RANSON, 2008), indispensvel tornar pblicos os resultados de cada escola por meio de alguma mtrica que permita aos pais fazer uma comparao entre as escolas. Se a essa divulgao de informao se acrescenta uma
112
delegao de poder de deciso aos pais a respeito de qual escola pblica eles preferem para seus filhos, cria-se o tipo de concorrncia entre as instituies, necessria para o funcionamento de um mercado educacional livre. Na prtica, as restries so inmeras e o mercado funciona de uma forma imperfeita e irregular, mas a divulgao de informao mesmo em um quase-mercado continua sendo um elemento forte da poltica de livre escolha da escola (school-choice). No foi nos Estados Unidos que a ideia do vale-Educao encontrou seu primeiro teste, mas no Chile, durante o perodo da ditadura. Com a fora de um regime autoritrio e de poderes extraordinrios, a gesto de todas as escolas pblicas foi descentralizada para o nvel municipal, os professores foram desfiliados do governo central, foram introduzidos instrumentos de financiamento baseados na ideia da subveno, ou seja, a distribuio de verbas de acordo com o nmero de alunos matriculados, e criaram-se os instrumentos e incentivos para os pais exercerem seu direito de gastarem os vales-Educao nas escolas da sua escolha. Foi institudo o Simce, o sistema nacional de avaliao educacional, e iniciado o processo de publicao e divulgao dos resultados escola por escola. E, pela relao entre as escolhas dos pais, a matrcula dos alunos e o sistema de financiamento per capita, criou-se o primeiro exemplo de um sistema de divulgao high stakes na Amrica Latina. A divulgao bianual dos resultados do Simce no sofreu nenhuma descontinuidade com a volta da democracia. Pelo contrrio, o sistema foi se aperfeioando, como em outros lugares onde havia uma razo doutrinria para a divulgao dos resultados escolares. O aperfeioamento principal foi a incorporao de informao sobre o nvel socioeconmico dos alunos para permitir a comparao de escolas com caractersticas similares. Esse aperfeioamento tambm foi incorporado pelas publicaes de resultados escolares na Inglaterra a partir de 2002. At esta data, os resultados brutos publicados nesse pas no sofriam nenhum ajuste e refletiam muito mais o desempenho dos alunos do que o desempenho das escolas. Isso no seria um problema no fosse pelas consequncias para as escolas com resultados aparentemente ruins que so taxadas de fracas e comeam a perder alunos e
113
professores (TAYLOR; NGUYEN, 2006). Em reconhecimento aos problemas inerentes ao uso de dados brutos, aps dez anos da poltica de Tabelas de Desempenho de Escolas, o governo britnico introduziu indicadores de valor agregado para todas as escolas pblicas. O indicador foi construdo com base no clculo do desempenho esperado do aluno, levando em considerao seu desempenho na fase escolar anterior. A diferena entre o desempenho esperado e o desempenho atingido a medida do valor agregado pela escola ou para mais ou para menos da mdia nacional. Em 2010, com a ascenso de um governo conservador no Chile, houve um ntido retrocesso na qualidade das informaes prestadas naquele pas. Segundo o Preal (2010): Os caminhos que os novos dirigentes da Educao esto tomando para informar sobre os resultados das provas do Simce so contrrios ao mais elementar sentido comum em matria de divulgao e uso de resultados e jogam por terra 25 anos de trabalho durante os quais o Simce evoluiu e melhorou significativamente. Retrocedem aos enfoques e erros prprios da dcada de 1980, que h tempo foram deixados para trs tanto por pases como os Estados Unidos e o Reino Unido, como pela maior parte dos pases da regio. (GTEE/PREAL, 2010b) (p. 1) A razo da clera do Preal se resume na atitude desavisada do Ministrio de disponibilizar as informaes sobre as escolas em mapas virtuais na internet, em que cada escola est sinalizada por um alfinete de cor verde, amarelo ou vermelho, dependendo de se a mdia de proficincia da escola est acima, em torno ou abaixo da mdia do pas. Como dizem os autores, a entrega dos resultados brutos do Simce sem fazer ajustes pelas origens socioeconmicas das famlias confunde os pais e estigmatiza as escolas que atendem os alunos mais pobres. Ao suprimir as informaes de valor agregado, os alfinetes de cores acabam refletindo simplesmente a composio social do alunado de cada escola. Como na Inglaterra, o problema no seria to srio caso no fosse pelo impacto das decises dos pais sobre onde matricular seus filhos e sobre o volume de recursos recebido pela escola de acordo com o nmero de alunos matriculados (GTEE/PREAL, 2010b).
114
Felizmente, a histria da comunicao dos resultados dos sistemas federais de avaliao no Brasil segue outros caminhos. A lgica dessa comunicao publicizar as informaes com o intuito de apoiar as instncias subnacionais na sua tarefa constitucional de prover a Educao. Seria impensvel o Saeb ou a Prova Brasil sem um processo amplo de divulgao ou com uma divulgao enviesada, visando influenciar a opinio dos pais. Esses instrumentos foram construdos para um pblico externo ao MEC que abrange todos os governos subnacionais, a comunidade educacional e toda a populao nacional que acompanha os assuntos da Educao. Por muito tempo, a disseminao dos resultados dos sistemas estaduais seguia outra lgica. Na sua maioria, esses sistemas eram vistos pelos seus criadores exclusivamente como instrumentos internos de gesto, e no como uma oportunidade para a prestao de contas a um pblico com direito a informaes transparentes sobre a qualidade da Educao. As polticas de divulgao se restringiam aos boletins para os professores e a outros poucos documentos internos. A falta de transparncia pode refletir mais a atitude de autopreservao comum a todos os setores governamentais do que uma caracterstica prpria das Secretarias de Educao. Mesmo assim, surpreendente a ausncia de informaes detalhadas sobre os resultados das avaliaes nos sites das Secretarias na internet. Em vez de acesso irrestrito a todos os dados, desagregados por escola e agregados por rede, regio, municpio, nvel e disciplina, o comum um acesso liberado exclusivamente para as escolas, com informaes que permitem poucas comparaes. Em nenhum lugar se encontram as sries histricas do tipo publicado nos relatrios do Saeb para permitir que a populao faa suas prprias anlises das tendncias mostradas pelos sistemas estaduais. Uma das possveis razes pela falta de informao nos sites das Secretarias tem a ver com a relao terceirizada entre o rgo pblico e a agncia responsvel pela avaliao. No Brasil, so quatro ou cinco as principais agncias e empresas que oferecem o servio de produo, aplicao e anlise dos testes previstos pela legislao estadual que institui os sistemas de avaliao. De longe a maior dessas agncias, o Centro de Polticas Pblicas e Avaliao da Educao CAEd, ligado
115
Universidade Federal de Juiz de Fora, oferece alguma informao no seu prprio site sobre as avaliaes realizadas. A impresso, no entanto, que essa atividade de divulgao ocupa um lugar secundrio para o CAEd, mesmo nos casos em que h o pedido explcito da Secretaria da Educao. Se as prprias Secretarias fossem as responsveis diretas pela anlise dos resultados e pela produo dos diversos textos que so distribudos para as escolas, provvel que houvesse uma melhora na qualidade e diversidade das informaes nos seus sites. As excees que comeam a aparecer, juntamente com o foco nos resultados cada vez mais explcito, incluem os estados de So Paulo e Minas Gerais. No caso de So Paulo, encontram-se os dados do Saresp de 2007 a 2010 no site da Secretaria, com os documentos legais, os questionrios aplicados equipe escolar e a descrio das matrizes de referncia. Os resultados so apresentados ano a ano por rede, nvel, disciplina, coordenadoria da capital e interior e tambm de acordo com os diferentes nveis de desempenho, para ver a distribuio dos alunos em termos das competncias adquiridas. Mesmo na ausncia de grficos e tabelas para facilitar o processo de comparao, os interessados podem encontrar todas as informaes bsicas, incluindo cpia dos boletins remetidos para as escolas. No caso de Minas Gerais, so oferecidas informaes completas sobre os ltimos trs anos de aplicao das provas do Proeb, juntamente com a matriz curricular, o boletim pedaggico e a revista contextual, como chamado o documento contendo dados sobre o nvel socioeconmico da escola e seu grau de eficcia. No so mostrados nenhuma mdia por ano, disciplina, SRE ou qualquer outro parmetro de agregao. Como no caso do Rio Grande do Sul e outros estados, a divulgao via site se dirige escola e pressupe que o nico interesse dela seja ver seus prprios resultados, isolados de quaisquer comparaes. Outra Secretaria que leva a srio sua obrigao de comunicar os resultados da avaliao a do Distrito Federal. Nesse caso, a obrigao se deriva das prprias diretrizes do Sistema de Avaliao do Desempenho das Instituies Educacionais do Sistema de Ensino do Distrito Federal Siade, que estipulam a divulgao dos resultados comunidade escolar e sociedade civil, conforme o Sumrio Executivo do Siade 2009 (SEE/DF, 2010). No site da Secretaria, encontram-se disponveis para
116
download a Matriz de Referncia para Avaliao, os Relatrios Pedaggicos Siade 2009 e um conjunto de apresentaes para ajudar na utilizao dos instrumentos de avaliao e a interpretao dos resultados. Pelo fato de a Secretaria de Educao do DF ter expandido seu sistema de avaliao para incluir a si mesma, do ponto de vista tanto das suas polticas como da oferta da Educao, encontram-se entre os diversos documentos a Sntese da Anlise dos Indicadores de Polticas Pblicas e a Sntese da Anlise dos Indicadores de Gesto. Chamam a ateno os dois documentos por conterem os checklists de todos os indicadores usados na avaliao da atuao do governo na conduo de suas polticas e na gesto do sistema. Ainda mais surpreendentes so as verses impressas de todos os diferentes documentos encontrados no site, produzidas com capricho para a distribuio pblica. No caso do Rio de Janeiro, por outro lado, as informaes so escassas. Os resultados das ltimas duas avaliaes do Saerj esto organizados ou por lista de escolas, com uma indicao da mdia por disciplina e sua classificao como baixo, intermedirio ou adequado, ou por lista de alunos, devido importncia recente do ranqueamento do aluno com base na premiao com notebooks dos alunos que atingem os nveis mais altos em portugus e matemtica. No se encontram as mdias por nvel e disciplina e muito menos as comparaes entre os anos. Os sites visitados tambm no oferecem nenhum ranqueamento das escolas. Apesar de termos localizado esse tipo de informao nos jornais do Rio Grande do Sul, Minas Gerais e no Distrito Federal, a fonte das matrias no foram as Secretarias de Educao. Dentro das Secretarias, existe a convico que a divulgao no deve permitir a comparao entre as escolas, como nos informou um gestor no Esprito Santo: Os educadores aqui no concordam com o ranking, acham que o ranking no deve existir que isso em vez de estimular cria uma competitividade desnecessria, tira a questo de unidade de rede, fragiliza a escola mais do que estimula. uma cultura brasileira mesmo. (Gestora; SEE/ES)
117
s vezes, as informaes fornecidas ficam at incompletas justamente para prevenir qualquer risco desse tipo de comparao. A imprensa, no entanto, tem outras ideias: A imprensa tem liberdade. A gente no tem esse controle de dizer, divulgue dessa ou daquela maneira, n? Voc informa, passa uma lista, uma planilha com todos os resultados e eles ordenam em ordem decrescente, do maior para o menor, n? Acaba naturalmente virando um ranking, mesmo que a inteno no seja essa. (Tcnico: SEE/DF) Em Pernambuco, a imprensa mostra o mesmo interesse que em outros lugares: Quando a gente chama a coletiva da imprensa pra dar o resultado, a primeira coisa que eles querem um ranking. [...] na primeira vez que saiu o Idepe, sem querer [o Secretrio] deu o ranking e quase morreu todo mundo. Ento a gente segura isso como se fosse um tesouro, a gente no libera. Se a imprensa quiser entrar e pegar responsabilidade dela, ns no damos ranking de forma nenhuma. [...] E isso deu tranquilidade s escolas porque o diretor ele no entra em sofrimento. Se eu tenho uma escola que est numa situao de alta vulnerabilidade social, uma escola em que o diretor assumiu recentemente, uma escola em que o resultado muito ruim e de repente voc compara ela com outra escola que o diretor est l a 8, 10 anos, injusto. (Gestor: SEE/PE) No h dvida de que na ausncia de informaes que permitam controlar a influencia do nvel socioeconmico dos alunos e outros fatores externos escola, a comparao de escolas com base nos dados brutos dos sistemas estaduais no recomendvel. Pela impossibilidade de identificar claramente a contribuio da escola no resultado geral dos alunos, a comparao de dados brutos pode levar a concluses errneas tanto no sentido de atribuir qualidade maior a escolas com alunos de nvel socioeconmico mais alto como no sentido de achar de pior qualidade escolas com alunos mais pobres. Perante esse risco, e o possvel constrangimento das escolas, as
118
Secretarias fazem bem em no permitir a divulgao de informaes que possam facilitar o ranqueamento de escolas. A nica exceo que encontramos a essa regra geral foram os Relatrios de Desempenho Geral da Rede Estadual de Ensino produzidos pela Secretaria de Educao de Mato Grosso do Sul. Nesses relatrios, sobre os resultados dos alunos no Saems em lngua portuguesa, produo de texto e matemtica em 2009, encontram-se ranqueados escolas e municpios, abrindo os flancos para as mesmas comparaes enganosas ocorridas no Chile. No se sabe se os relatrios foram produzidos para circulao interna ou no, mas, ao apresentar como um dos objetivos oficiais da avaliao fornecer informaes s escolas da rede estadual e sociedade sul-matogrossense sobre o desempenho dos alunos e os fatores que interferem na aprendizagem, essa Secretaria mostra que gostaria que os pais se familiarizassem com os resultados das avaliaes. No entanto, como a divulgao dos boletins pedaggicos atinge somente os diretores das escolas e no h poltica explcita de disseminao externa, deve-se supor que os ranqueamentos no faziam parte de uma estratgia premeditada de divulgao de comparaes junto comunidade. O nico caso documentado de um canal oficial de comunicao com os pais dos alunos mediante a produo de um informativo contendo os resultados da escola o caso do Boletim de Escolas da Secretaria de Educao do Paran, descrito por Ayres (2003). Criado como parte de uma estratgia para fomentar um mnimo de responsabilizao para as escolas e dar poder aos pais para demandar resultados, o Boletim tambm tinha o propsito menos divulgado de fortalecer as associaes de pais e contrabalancear o poder do sindicato de professores, que na poca estava em desavena com o governo do estado. A teoria por trs dessa estratgia parece ser a de que as escolas se sentiriam mais pressionadas em demonstrar bons resultados se os pais estivessem mais bem informados a respeito da sua escola em comparao com as outras. Distribudo a todos os pais e membros da equipe escolar, o boletim era organizado em um informativo de quatro pginas que continha trs blocos de informao. O primeiro trazia os resultados do programa de avaliao estadual de 2000 com a mdia
119
das notas dos alunos de 4 e 8 srie em portugus e matemtica da escola, do municpio e do estado, classificados de acordo com quatro nveis de desempenho. Em 2002, o Boletim da Escola adicionou um indicador que informava se a escola tinha atingido ou no o nvel de desempenho esperado para ela, levando em considerao a condio socioeconmica mdia dos alunos de cada srie. O segundo bloco de informaes continha dados do censo escolar oficial, incluindo taxas de aprovao, reprovao e evaso, com comparaes com as mdias municipais e estaduais, mas sem nenhuma comparao com outras escolas especficas. O terceiro bloco apresentava afirmaes subjetivas em relao escola, retiradas dos questionrios aplicados a alunos, diretores e pais (AYRES, 2003). Com a mudana da administrao estadual em 2003 e a nomeao de um Secretrio da Educao com fortes laos com os sindicatos dos professores, o sistema de boletins foi abandonado. As dificuldades em treinar os pais na interpretao e no uso do boletim, a falta de comunicao real entre pais e professores e a falta de confiana geral dos professores e diretores com relao ao propsito do Boletim levaram ao seu abandono precoce. O fracasso do Boletim da Escola do Paran mostra que uma estratgia de divulgao aparentemente low stakes e sem consequncias para os professores pode criar desconfianas e ser combatida se no implementada de forma adequada. Pode-se supor que se o Boletim tivesse usado uma estratgia high stakes, incorporando comparaes entre as escolas e atribuindo alguma consequncia aos indicadores empregados, a sua vida teria sido ainda mais curta. Outra modalidade de divulgao diz respeito ao uso dos resultados das avaliaes como um elemento de propaganda poltica. Foram encontradas peas dessa natureza em Minas Gerais, onde, no perodo anterior s eleies estaduais de 2010, foram distribudos documentos pdf contendo informaes positivas sobre os avanos da Educao no estado. Um desses documentos, intitulado Choque de Gesto e Educao, se dedica a mostrar os avanos da Educao como consequncia do novo modelo de gesto pblica. Ao falar dos avanos, d-se destaque ao aumento de 48,6 para 72,6% na proporo de alunos com nvel recomendado em leitura e escrita entre 2006 e 2009, sendo essas informaes derivadas dos testes Proalfa do sistema
120
estadual de avaliao. Em outro documento, de julho 2010, a Secretaria procura mostrar a situao excepcional do Ideb de Minas Gerais, em comparao com os outros estados. Dados mostravam que nas series iniciais em 2009, 94,8% das escolas j alcanaram a meta do Ideb para 2011, que Minas passou do 3 lugar para 1 lugar em portugus e matemtica, que das 149 escolas do pas com Ideb 7, 73,2% estavam em Minas Gerais, que das 500 escolas com o Ideb mais alto, 63,6% estavam em Minas Gerais, e assim por diante. Essas peas de divulgao chamam a ateno justamente por serem to incomuns. Enquanto as notcias sobre a Educao eram sempre to infelizes e os resultados dos sistemas de avaliao tidos como ruins, no havia o que celebrar. Os governantes que cumpriam seu papel de dar ao pblico o conhecimento dos resultados das avaliaes o faziam mais por obrigao do que por querer a publicidade. Alm do mais, na ausncia de uma relao entre a poltica educacional e a popularidade do governo, no havia razo para o governante se expor. A divulgao dos resultados das avaliaes no era uma prtica calculada para ganhar votos. A mudana desse cenrio est associada consolidao de instrumentos de avaliao que permitem fazer comparaes ao longo dos anos e entre os estados e criao de polticas educacionais voltadas para os resultados que pelo menos em alguns estados parecem estar produzindo efeito. Nesses lugares, comeam a surgir melhorias que podem ser atribudas qualidade da gesto pblica e tambm sinais de que a populao est pronta para priorizar a qualidade da Educao e disposta a premiar os governantes que mostram avanos nessa direo. No Cear, o sucesso da poltica educacional do municpio de Sobral, disseminado por meio de todos os meios de comunicao, contribuiu para a eleio do governador e continua fazendo escola.8 Nesse estado, o governador procura fazer um evento poltico da entrega dos prmios dos sistemas estaduais de incentivos:
No municpio de Sobral, houve 34,7% de aumento no Ideb nas sries iniciais entre 2007 e 2009. 121
O que ganha mais visibilidade hoje o prmio Escola Nota 10. Tanto que na solenidade de entrega o ministro veio. Aquela coisa. Foi feita com todos os prefeitos presentes, os secretrios municipais. Ele ganhou uma dimenso em termos de ser algo pomposo para a escola que ganhasse, o municpio ter uma escola que ganhasse. Na primeira edio foi no centro de conveno do estado que vieram todos os prefeitos e realmente foi um evento. Tem sido feito assim com uma grande solenidade para a concesso desse prmio. Nas edies anteriores era algo muito limitado. No governo Lcio, por exemplo, o prmio de Escola Destaque no mximo eram convidados diretores das escolas dos estados. (Tcnico: SEE/CE) O comportamento do governador pode ser atribudo ao desejo de dar prestigio poltica educacional e angariar apoios entre os municpios para os esforos da Secretaria de Educao. O evento pomposo da Escola Nota 10 seria, ento, uma estratgia de mobilizao para entusiasmar os dirigentes e provocar melhorias nos resultados dos municpios. Por outro lado, pode tambm ser um evento com fins polticos de carter eleitoral. De qualquer forma, o clculo que o assunto da premiao render frutos tanto para o estado como para os municpios se houver uma melhoria nos resultados das escolas. A fala do tcnico da SEE sugere que a estratgia de dar destaque aos resultados est dando certo: Quando a gente fez a escala do Saeb a gente transformou aqueles intervalos e pintou os intervalos, atribuiu cores aos intervalos. A cor salmo um nvel intermedirio. Tem prefeito que at diz assim: "Eu no quero mais o verde ruim, eu quero o verde bom". Por que na escala tem o dgrad de verde. O suficiente um verdinho claro e o desejvel ou adequado seria o verde escuro. Ento o prefeito j dizia, eu no quero o verde ruim eu quero o verde bom. Ento assim, isso j mostra que mesmo aquelas pessoas que no so da rea da Educao, leigos, um prefeito que no tem uma facilidade muito boa pra entender os indicadores. (Tcnico: SEE/CE)
122
A concluso a que se chega que a avaliao educacional faz parte de um movimento que, ao promover a melhoria dos resultados da escola, est propiciando ganhos polticos pelos gestores dos sistemas de Educao. Nesse cenrio, a avaliao que fornece as informaes sobre os avanos do sistema que ao serem divulgadas angariam os apoios desejados, tanto em termos de colaborao como em termos eleitorais. Se a Educao nos estados continuar a melhorar e se o interesse da populao no assunto da qualidade da Educao continuar a crescer, pode-se esperar um volume cada vez maior de informao nos sites das secretarias, em inseres na televiso e em publicaes de diversos tipos. No h duvida de que a circulao de maiores informaes e a divulgao de resultados educacionais com propsitos polticos traro benefcios para a qualidade da Educao pblica. Mesmo no havendo nenhuma inteno de implantar polticas de escolha de escolas, a divulgao de informaes de valor agregado por escola aumentaria significativamente o interesse da populao e introduziria um elemento de responsabilizao, mesmo low stakes, ao processo de publicizao dos resultados. A questo se isso traria alguma vantagem para a rede em termos de melhorias ou se simplesmente abriria uma rea de conflito com as escolas. As experincias de outros pases no fornecem as respostas pelo fato de esse tipo de divulgao estar sempre associada a polticas de responsabilizao high stakes que confundem as evidncias sobre o impacto. Mesmo assim, possvel imaginar a retomada de polticas de Boletim Escolar, como no Paran, para efeitos de divulgao de informaes de valor agregado visando o engajamento da comunidade sem que haja a mesma reao por parte dos professores.
6.4
Para a Alocao de Recursos
O exemplo mais difundido, e aquele que mais resume o esprito e a tcnica da gesto de recursos educacionais com base em informaes do desempenho das escolas, o chileno. O Programa das 900 Escolas (P-900) foi formulado como uma poltica de melhoramento com base nos resultados do Sistema Nacional de Medio
123
da Qualidade da Educao (Simce) em maro de 1990, na volta da democracia chilena aps 17 anos de ditadura, e at poucos anos atrs ainda orientava atividades e recursos do Ministrio da Educao desse pas (GARCIA-HUIDOBRO, 2006). O programa P-900 foi criado para melhorar a aprendizagem de alunos de escolas de ensino fundamental das regies rurais e urbanas mais pobres do pas. As 900 escolas da primeira fase do programa representavam 10% de escolas com os piores resultados no Simce, que desde 1988 vem fazendo levantamentos a cada dois anos do desempenho escolar em matemtica e lngua espanhola de alunos de 4 e 8 sries do Ensino Fundamental. O objetivo do P-900 foi melhorar a aprendizagem de alunos de 1 a 4 sries em leitura, escrita e matemtica e para tanto foram desenvolvidas numerosas aes com as crianas e seus professores. A lgica subjacente foi a de que, para atingir uma qualidade mnima em todas as escolas, havia a necessidade de distribuir os recursos entre elas de forma desigual, num movimento que pode se chamar de discriminao positiva. Na medida em que as escolas foram alcanando a mdia de desempenho para sua regio, foram sendo substitudas por outras de alto risco, de modo que, at o ano 2000, o programa conseguiu atender o total de 2.500 escolas. Mesmo as escolas que no alcanavam as mdias regionais, e que continuavam entre as atendidas, registraram a melhora de 18,5 pontos em mdia, mais que o dobro das escolas no atendidas (GARCIA-HUIDOBRO, 2006). Das escolas atendidas pelo P-900, a metade delas foi de reas rurais, mas, nesse mesmo perodo, 75% dos alunos atendidos foram urbanos. Em 1997, o programa se expandiu para atender a pr-escola e as 5 a 8 sries. Isso representou o incremento de mais de 117% no nmero de alunos, que aumentou de 140 mil para 305 mil, e tambm de docentes, que aumentou de 5 mil para 11 mil. Para os padres brasileiros, esses nmeros podem no parecer to significativos, mas no contexto chileno representavam aproximadamente 10% de todo o sistema pblico de ensino do pas. Os resultados da avaliao realizada em 2000 mostraram que o programa P-900 contribuiu para a equidade do sistema, na medida em que os alunos de 4 srie das escolas atendidas aumentaram seu desempenho mais do que o das no atendidas (SANTIAGO CONSULTORES Y ASESORAS PARA EL
124
DESARROLLO, 2000). O impacto do programa foi maior no seu perodo inicial, entre 1990 e 1992 e, de novo, entre 1996 e 1999, conseguindo diferenas entre as escolas do programa e as outras escolas do sistema superiores a 3 pontos numa escala parecida com a do Saeb. No perodo intermedirio, as diferenas diminuram devido ao apoio dado pelo Ministrio a outras escolas do pas por meio das numerosas aes do Programa de Melhoramento da Qualidade e Equidade da Educao Bsica, tambm distribudas de acordo com o rendimento das escolas no Simce. Um novo programa, chamado Mejor Escuela, que atende escolas com baixo rendimento instaladas em regies de vulnerabilidade social, recupera alguns dos critrios do P-900. O foco do novo programa gira em torno do cumprimento dos objetivos previstos pelo currculo nacional do Chile e oferece materiais pedaggicos aos professores e treinamento no uso de mtodos prticos apropriados s clientelas atendidas. Resultados do Simce mostram o sucesso da estratgia com aumentos de 6 pontos em lngua e 8 em matemtica aps quatro anos (O Estado de S.Paulo, 4/4/2011). No principio da dcada passada, o Mxico estabeleceu outro exemplo de um programa de melhoramento em escolas urbanas de populaes de baixa renda escolhidas com base nos seus contextos sociais e nos resultados no Sistema Nacional de Evaluacin de la Educacin SNEE (FERRER, 2006). Chamadas de Escuelas de Calidad, foram incorporadas mais de 35 mil at o final de 2005. Segundo relato de pesquisadores brasileiros, o Programa de Escuelas de Calidad PEC segue a mesma lgica que o programa dos P-900 ao procurar promover igualdade de qualidade e de oportunidades educacionais para todos os educandos, independente de sua capacidade, origem social, etnia e ambiente familiar, mediante um processo de discriminao positiva a favor dos mais necessitados (DOS SANTOS; DE AVILA; SILVA, 2010). O mesmo SNEE que foi usado para a identificao das escolas tambm usado a cada dois anos para fazer uma avaliao detalhada dos avanos das escolas PEC. O Plano de Aes Articuladas implantado pelo MEC em 2007 contemplava originalmente os municpios considerados prioritrios em funo do Ideb alcanado em 2005 e por esse motivo se classifica aqui como poltica de alocao de recursos
125
federais com base em resultados da avaliao externa. Com a extenso do plano para todos os municpios, a poltica adquiriu conotaes de accountability. Pelo menos, nessa luz que Adrio e Garcia (2008) analisam os objetivos e mtodos do Ministrio. Composto de programas e aes com o objetivo declarado de promover a melhoria da qualidade da Educao bsica brasileira, o plano operacionalizado por meio de convnios entre os municpios e a Unio e da elaborao local de um PAR: Por esse instrumento, os gestores municipais se comprometem a promover um conjunto de aes no campo educacional, responsabilizando-se pelo alcance das metas estabelecidas pelo mbito federal. Em contrapartida, passam a contar com transferncias voluntrias e assessoria tcnica da Unio. (ADRIO; GARCIA, 2008) (p. 779) A existncia de um documento legal que estabelece um acordo pblico na forma de metas implica, necessariamente, algum grau de responsabilizao subjetiva. Dependendo da mobilizao da populao, o no-cumprimento das metas acordadas possa trazer um custo poltico para os gestores municipais. Resta saber se o MEC se interessa por condicionar a continuidade do financiamento ao cumprimento das metas e dessa forma elevar conscientemente os stakes dessa responsabilizao. Apesar de incipiente no Brasil, o uso das informaes sobre o desempenho escolar para a definio de polticas de alocao de recursos deve estar bastante difundido. Essa impresso se deriva da existncia em quase todos os estados visitados de exemplos de polticas de pequeno e de grande porte para a distribuio de materiais, treinamentos e outros recursos fsicos e financeiros com base em critrios que levam em considerao o desempenho da escola ou da sua regio no sistema de avaliao. No caso de polticas compensatrias ou de discriminao positiva, definidas para favorecer escolas com desempenho menor, podem ser citados o projeto Aprender Mais, da Secretaria de Educao de Pernambuco, que garante reforo escolar em portugus e matemtica dado por 3.275 professores temporrios para todos os estudantes de 4 e 8 sries e 3 srie do Ensino Mdio, um kit boletim e cursos para as escolas que no atingem as metas do Idepe; uma poltica veiculada pela Secretaria
126
de Educao do Rio Grande do Sul em 2010 para a identificao de escolas com resultados insuficientes para receber apoio do poder pblico e replanejamento de sua gesto e ao pedaggica; uma distribuio de recursos e aes pela Secretaria de Educao de Minas Gerais para favorecer as escolas da regio Grande Norte do estado, identificada como detentora dos piores resultados no Simave; e outra poltica de Pernambuco chamada Certificao de Padres Base. Nesse caso, trata-se de um processo de implantao e manuteno de um padro fsico de funcionamento das 221 escolas com o pior resultado no Idepe de 5 a 8 srie. Com dinheiro do Banco Mundial e por meio da gerncia geral de engenharia da prpria Secretaria, prope-se que as escolas atinjam um padro de ventilao, iluminao, salas, carteiras, material etc. e recebam os recursos e o apoio para a manuteno desse padro. H tambm polticas que favorecem escolas ou regies com base na lgica contrria. Nesses casos, os beneficirios so escolas ou regies com os melhores resultados. A lei 14023/07 do Cear, que distribui a cota estadual do ICMS para os municpios de acordo com os resultados do Spaece, seria um exemplo. Nesse caso, foi criado o ndice Municipal de Qualidade Educacional com base nos resultados de portugus e matemtica do 2 e do 5 ano do Ensino Fundamental e todo ano o governo calcula o repasse de ICMS aos municpios de acordo com os critrios estipulados no Decreto 29.306, de 5 de junho de 2008. Nessa legislao, em nome de uma gesto publica por resultados, se estabelece que 18 dos 25% da arrecadao do ICMS ser distribuda em funo do ndice Municipal de Qualidade Educacional de cada municpio, formado pela taxa de aprovao dos alunos do 1 ao 5 ano do ensino fundamental e pela mdia obtida pelos alunos de 2 e 5 ano da rede municipal em avaliaes de aprendizagem (Art. 1, Pargrafo nico, II). Pelo componente de responsabilizao inerente distribuio de recursos com base no desempenho, as consequncias dessa legislao tm sido a mobilizao dos prefeitos e uma concorrncia para melhorar os resultados nos municpios: Veja bem, o prefeito que nunca ligava para a Educao hoje ele est louco aqui ligando pra gente o tempo todo, por qu? Por que tem o ICMS atrelado ao resultado do 2 e 5 ano tambm. (Tcnica: SEE/CE)
127
Outra consequncia, menos interessante, tem sido a perda de receita da capital por causa das caractersticas da populao, que confirma que a distribuio da receita do ICMS com base em um critrio aparentemente meritocrtico um jogo de soma zero: ...a gente viu agora em Fortaleza como tem perdido mais com isso por que Fortaleza tem as adversidades maiores [...] mais difcil colocar os meninos nessa mobilizao. No interior os prefeitos conseguem que os meninos tenham participao de 100%, ou seja, no falta nenhuma na prova. (Tcnica: SEE/CE) Mesmo com as dificuldades provocadas pela perda de receita de alguns municpios, a poltica comea a fazer escola e em Pernambuco o governo j distribui 3% da receita do ICMS dos municpios com base em critrios parecidos. O governador est to fortemente motivado a isso que ele aprovou em 2008 o ICMS Educao em que 3% (dos 25%) so destinados aos municpios com o melhor resultado no Idepe. Isso est fazendo com que os municpios solicitem [..] que ns tambm calculemos o Idepe para eles. [...] E uma das preocupaes tanto dos prefeitos quando do governador agora, dar apoio aos municpios para que no haja muita distncia entre o que a Educao estadual est fazendo e est conseguindo de resultado, com relao ao resultado do municpio. Mais comum em se tratando da alocao de recursos de acordo com os resultados so os prmios pagos diretamente s escolas em reconhecimento aos resultados alcanados nas avaliaes estaduais. Um exemplo seria o Prmio Escola de Valor, criado pelo governo do Amazonas, para estimular a obteno de melhores ndices educacionais. Anualmente so oferecidos prmios de 30 mil reais a cada uma das escolas que obtiverem os melhores ndices no Ideb. O valor precisa ser empregado em benefcio da comunidade escolar e administrado pelas Associaes de Pais, Mestres e Comunidade. No primeiro ano de aplicao, 39 escolas foram premiadas e, no segundo ano, 180. Segundo o site da Secretaria de Educao, o prmio j ajudou a modificar a
128
realidade dessas escolas. Conforme as regras, foram aplicados 40% para a melhoria da estrutura fsica, 40% para a compra de materiais pedaggicos e equipamentos tecnolgicos e 20% para a realizao de eventos educacionais. A poltica do Amazonas sofre do defeito de premiar as escolas que precisam menos de recursos adicionais. Mesmo havendo alguma vantagem em oferecer um prmio, em termos de possveis ganhos na produtividade da escola pelo efeito do incentivo de obterem recursos adicionais para a caixa escolar, provvel que as necessidades das escolas com desempenho menor sejam mais prementes. Ou seja, a poltica de premiar as escolas melhores colide com os critrios de equidade que recomendariam uma poltica compensatria para diminuir as diferenas existentes, e no aument-las. Existem exemplos de polticas que fazem as duas coisas simultaneamente. Mais complexas, e potencialmente mais eficazes, essas polticas partem da premissa de que, alm de merecerem seus prmios, as escolas mais bem colocadas nas avaliaes tambm tm alguma coisa a oferecer s escolas com o desempenho mais fraco. O que essas polticas promovem, portanto, uma relao de assistncia tcnica entre as escolas premiadas e as escolas adotadas. Essa combinao d um novo significado responsabilizao. Alm de serem responsabilizadas pelos seus prprios resultados, as escolas premiadas tambm assumem uma nova responsabilidade para com as escolas adotadas ou apoiadas. O municpio de Rio de Janeiro abraou uma poltica desse gnero ao definir em 2010 que as 25 melhores escolas de cada ano da Prova Rio, avaliao externa daquela cidade, vo apadrinhar as 25 piores escolas, dando orientaes e mostrando algumas estratgias que deram certo em suas unidades. No entanto, a verso mais completa dessa poltica de apadrinhamento foi lanada no Cear em 2009 pela Lei 14.371, de 19 de junho 2009, que se chama Prmio Escola Nota 10. Nesse caso, os critrios para a seleo das escolas premiadas so de que tenham mdia no IDE-Alfa entre 8,5 e 10, percentual de participao nas provas de Spaece de 85% e pelo menos 20 alunos de ensino fundamental na poca da avaliao. As escolas que atendem a essas condies tm o direito de receber R$ 2.500,00 por aluno matriculado no 2 ano do Ensino
129
Fundamental. A contrapartida a adoo de uma das escolas que obtiveram os menores resultados no IDE-Alfa. A partir da sua adoo, essas escolas recebem uma contribuio financeira do estado no valor de R$ 1.250,00 por aluno avaliado e aes de cooperao tcnico-pedaggica, vindas das escolas premiadas. Fazem parte dessas aes a elaborao dos planos escolares e viagens de articulao e apoio entre as escolas. Os recursos financeiros concedidos s escolas apoiadas so utilizados apenas para a melhoria das condies escolares e dos resultados da aprendizagem dos alunos. Isso significa que as melhorias podem ser na forma de investimentos na formao dos professores, aulas de reforo escolar, aquisio de materiais didtico-pedaggicos, equipamentos eletrnicos e moblias e melhorias estruturais, como construes de espaos, reformas e adequao de reas. Cabe esclarecer que a poltica visa principalmente as escolas municipais devido ao processo acelerado de municipalizao do ensino fundamental empreendido pelo governo estadual a partir do final da dcada de 1990, que deixou nas mos do estado menos de 8% da matrcula nesse nvel de ensino. Em 2009, com base nos resultados do Spaece de 2008, foi beneficiado o total de 300 escolas entre premiadas e adotadas. No ano seguinte, na Solenidade da 2 Edio da Entrega do Prmio Escola Nota 10, realizada no Centro Administrativo com a presena do ministro da Educao e da maioria dos prefeitos, foram beneficiadas mais 300 escolas com os mesmos valores que no ano anterior. Na mesma ocasio, tambm foram agraciados com trofu os prefeitos de 83 municpios, entre os 184 municpios cearenses que atingiram o Nvel Desejado, com a mdia de 150 pontos ou mais na prova Spaece-Alfa. Pelo menos na opinio dos governantes, o simbolismo do prmio, carregado do prestgio de um evento que conta com a presena do ministro, tem valor, na poltica do estado, de concentrar as atenes nos resultados dos alunos. A premiao recebida pela Escola Nota 10 dividida em duas parcelas. Para receber a segunda, a escola precisa manter sua prpria mdia na avaliao seguinte e a escola assistida mostrar que houve avano no desempenho ao ponto de alcanar a nota 5 no IDE-Alfa. Esse critrio para garantir que haja de fato uma relao de apoio entre as duas escolas. Outra questo de importncia diz respeito ao processo de
130
escolha das escolas adotadas e os usos do dinheiro. Na opinio de um gestor, importante obrigar a escola premiada a se relacionar com escolas distantes e no se acomodar com escolas mais prximas. Na opinio de um tcnico, a poltica melhoraria se a premiao fosse menor, porm estendida a um nmero maior de escolas. Outra questo a confiabilidade das avaliaes para operar um sistema de premiao com base em uma nica medida. Com informaes fornecidas por um tcnico, descobriu-se que muitas escolas podem mudar de categoria entre associadas e premiadas de um ano para outro, o que levanta a suspeita de que a categorizao deixa a desejar ou que a margem de erro grande. Uma escola que passa das piores para as melhores em perodo to curto desafia a prpria lgica dos sistemas de apoio : O efeito prmio ele foi muito mais forte no grupo das 148 escolas que foram apoiadas. Ento a gente percebeu uma evoluo muito maior das escolas que estavam num nvel baixo e passaram para o alto. Ao todo, das 148 foram 107 escolas que receberam a segunda parcela. Ento foi um nmero altssimo das escolas que conseguiram crescer e atingir a meta 5. E tivemos 8 que saram do status de apoiada de 2009 e em 2010 foram premiadas e esto entre as 150 melhores do estado. Elas operaram uma grande mudana. (Tcnico: SEE/CE) Mesmo no tendo sido criado como uma poltica de incentivo ou premiao, o projeto de Escolas Referncia de Minas Gerais se situa nessa categoria do sistema classificatrio por promover investimentos de diversos tipos nas escolas beneficiadas e tambm por obrigar que elas adotem outras escolas de desempenho mais fraco. Um dos programas estruturantes da poltica educacional de Minas Gerais (PEREIRA, 2009), o Projeto Escolas-Referncia busca a reconstruo da excelncia na rede pblica e a superao do fracasso escolar por meio de uma Educao de qualidade. Iniciado em 2004, com a seleo de 223 escolas pela sua tradio, nmero de alunos nos ensinos Fundamental e Mdio e resultados positivos no Simave, o projeto visa tornar as escolas escolhidas focos irradiadores de Educao de qualidade no estado.
131
Apesar da expanso do projeto para o total de 581 escolas com base nos resultados do Proeb, ainda no existem avaliaes mais detalhadas desse modelo de gesto. O que se encontram so dissertaes e outros estudos que focam aspectos da estratgia, como o instrumento utilizado na formao continuada dos professores, o PDP (FIGUEIREDO, 2007), o sistema de planejamento, o PDPI, e o papel do gestor (REZENDE, 2010). Em estudo ainda em andamento, prope-se comparar os ganhos dos alunos das escolas referncia e suas escolas associadas com escolas no includas no projeto (PEREIRA, 2011). A grande questo desse estudo diz respeito justia em concentrar esforos em um subconjunto de escolas em condies de se tornarem escolas de excelncia, em vez de estender os benefcios dos investimentos a todas as escolas da rede. Para responder a essa pergunta, preciso avaliar o possvel efeito de demonstrao ao estabelecer um padro de qualidade e desempenho para toda a rede por meio do exemplo de algumas escolas e o impacto nas escolas associadas da sua proximidade com essas escolas de excelncia. Os estados que ainda no tm polticas de alocao de recursos com base no desempenho das escolas j pensam ter: A gente est pensando utilizar o IDE [ndice de Desenvolvimento da Escola] para a criao do fundo de distribuio de recursos para a escola. De alguma forma estabelecer uma entrega do recurso com base na elevao desse indicador, ento com programas que a escola apresente desde necessidades fsicas, infra estrutura, quanto de pessoas, de assessoria, de assessorias pedaggicas, principalmente. Eu acho que seria grande chance da escola poder ter assessores para o desenvolvimento pedaggico dela. [...] uma forma mais orientada e uma poltica mais focada, com focalizao de poltica no resultado da escola para aquilo que a escola precisa. (Tcnico: SEE/ES) Como comentrio final, convm destacar a diferena entre as polticas de alocao de recursos com base em resultados de acordo com o nvel de impacto das consequncias ou responsabilizao. A distribuio de recursos em favor de escolas com desempenho menor no pode ser considerada poltica de responsabilizao por
132
no existir nenhum propsito de estimular as escolas a reduzir seu desempenho para se tornarem escolas beneficiadas. No caso das polticas de premiao, por outro lado, em que as escolas com melhor desempenho so aquinhoadas com recursos at vultosos, como no caso do Cear, a mensagem claramente de competio e de incentivo a todas as escolas para que melhorem seus resultados. A no-premiao da escola acarreta prejuzos pela perda de melhores condies de trabalho e pelo noreconhecimento da qualidade da escola. Por colocar os resultados nas mos das escolas e dos seus profissionais, a poltica de responsabilizao, mesmo sendo uma premiao para a escola, e no para os profissionais. Na seo seguinte, sero tratados os incentivos dirigidos os profissionais das escolas.
6.5
Para Polticas de Incentivos Salariais
A bibliografia sobre o tema da responsabilizao no Brasil no extensa, mas permite traar o histrico dessa poltica desde o principio da dcada passada. Os exemplos mais bem documentados da primeira gerao de polticas dessa natureza so os casos da Nova Escola, do estado do Rio de Janeiro, o sistema de bnus salarial do estado de So Paulo, o prmio Escola do Novo Milnio, do estado de Cear, e o bnus salarial para professores alfabetizadores do municpio de Sobral, todos criados no ano de 2001 (MEC/INEP, 2005; BROOKE, 2006; RODRIGUES, 2007; ANDRADE, 2008; BROOKE, 2008). O que essas polticas tiveram em comum foi a formulao de critrios para o pagamento de incentivos salariais aos profissionais das escolas com base nas mdias de desempenho dos alunos. Semelhantes ao sistema Sned, do Chile, essas polticas de responsabilizao associam consequncias aos resultados dos alunos em termos de um adicional ao salrio dos professores pertencentes s escolas classificadas ou premiadas. Por esse motivo, essas polticas se diferenciam das polticas de accountability high stakes dos Estados Unidos, onde as consequncias atingem primeiramente os alunos. Nos Estados Unidos, a legislao estipula as metas em termos da proporo de alunos que alcanam o desempenho mnimo necessrio para receber o diploma de concluso do
133
Ensino Mdio. No Chile e no Brasil, os resultados dos sistemas de avaliao no so usados para classificar ou certificar o aluno e muito menos para influenciar seu futuro no mercado de trabalho. Portanto, as consequncias criadas pelos sistemas de premiao/incentivos desses pases so decorrncias secundrias dos resultados do processo escolar que nos dizem mais sobre a viso dos gestores a respeito da motivao do professor, e menos sobre a qualidade de Educao da escola. verdade que nos Estados Unidos as consequncias se estendem tambm para as escolas e seus professores mediante as polticas de interveno naquelas escolas que demonstram um progresso anual insuficiente, mas mesmo nesses casos o indicador de qualidade ou a falta dela so as taxas de graduao dos alunos. Nos casos brasileiro e chileno, o indicador que se produz ao final dos clculos determina se a escola premiada ou no e qual o nvel de premiao alcanada. Por mais sofisticada que seja a metodologia de clculo, esse indicador bem menos transparente que a taxa de graduao. Outra diferena entre as polticas de responsabilizao e as de accountability diz respeito natureza sempre positiva da premiao ou bnus salarial, enquanto as consequncias high stakes nos Estados Unidos podem ter implicaes bastante negativas para os alunos, seus professores e suas escolas. A ausncia de qualquer consequncia negativa no caso brasileiro no significa a priori a falta de eficcia da poltica de incentivos, mas deixa dvida sobre a pertinncia do termo responsabilizao como a traduo cabal da palavra accountability. A recusa dos professores e legisladores em permitir qualquer tipo de punio inteiramente compreensvel, mas, quando inexiste a possibilidade de consequncia negativa, tornase mais difcil alegar que a escola e sua equipe esto sendo responsabilizadas pelo produto de seu esforo. Somente na presena da possibilidade de consequncias tanto negativas como positivas pode-se dizer que h algo em jogo que represente um valor a ser ganho ou perdido conforme o significado da prpria palavra stakes, usada para descrever a poltica. Com essas diferenas em mente, convm fazer a distino de acordo com o nvel em que a poltica de responsabilizao incide no processo escolar, em nvel do aluno, do professor ou da escola. Com essa distino, pode-se dizer que as polticas
134
brasileiras de responsabilizao so direcionadas quase exclusivamente s escolas, havendo s um registro, no caso de Sobral, no Cear, onde, alm de dar prmio escola, a poltica de responsabilizao identificava e premiava professores alfabetizadores individuais. Tambm convm explicitar quem est responsabilizando a quem. No caso dos Estados Unidos e de certa forma no do Chile, uma parte das polticas de accountability mostra que os governos centrais tomam para si o papel de exigir os direitos da populao de receber um servio pblico de qualidade dos governos estaduais e distritais. Nesses casos, o accountability expressa um acordo a respeito do gasto correto e eficiente dos recursos dos contribuintes e a obrigao dos governos subnacionais de cumprir esse papel com transparncia. Tambm pressupe uma organizao de poder em que o governo central tem ascendncia legtima sobre os governos subnacionais. No caso brasileiro, essas condies no so dadas. O nico tipo de responsabilizao em jogo, do governo estadual em relao aos seus funcionrios, o mesmo do empregador que exige bons resultados dos seus empregados. Por mais que faam uso de justificativas que expressam os direitos do cidado de ser bem atendido, as polticas estaduais de incentivos salariais sempre sero, antes de tudo, estratgias para aumentar a produtividade. Os outros exemplos mencionados de programas estaduais de responsabilizao empregam diferentes medidas de resultados como indicadores da qualidade da escola. Os indicadores so de trs tipos. O mais comum o desempenho mdio dos alunos de determinada srie e matria. Os outros dois indicadores so o de calcular o progresso da escola com base na mudana no nvel de aprendizagem dos alunos de um ano escolar para outro e o de mostrar a distribuio percentual dos alunos por faixa ou nvel de desempenho. O desempenho mdio apresenta uma srie de problemas para o clculo do incentivo. Como o desempenho do aluno uma combinao de vrios fatores, incluindo muitos que so externos escola, o desempenho medido pelo sistema de avaliao reflete muito mais do que a contribuio dada pela equipe escolar. Portanto, as mdias podem indicar o nvel de desempenho, mas no a fonte da aprendizagem.
135
Pelo uso exclusivo desse indicador, possvel premiar uma escola que em nada tenha contribudo para o nvel mdio de desempenho dos seus alunos. para contornar esse problema que os estados do Cear e do Rio de Janeiro introduziram uma medida de progresso no desempenho da escola de um ano para outro. Trata-se do modelo chamado nos Estados Unidos de mudana de status (HANUSHEK; RAYMOND, 2003), que pode ser visto como um avano parcial pelo fato de controlar hipoteticamente pela aprendizagem anterior dos alunos. Como a composio social do alunado de determinada escola no muda de forma brusca, pode-se supor que o alunado da mesma srie, em dois anos consecutivos, composto do mesmo tipo de aluno e tem caractersticas sociais e nveis de aprendizagem prvia similares. Portanto, medindo a diferena no desempenho dos alunos da mesma srie em anos consecutivos, pode-se obter uma medida do quanto a escola avanou no perodo em questo. O problema dessa suposio que h as flutuaes naturais entre as turmas e entre os anos mencionadas por Carnoy em relao ao Sned (CARNOY et al., 2004) e a escola pode ser julgada como apresentando mais ou menos progresso exclusivamente em funo dessas flutuaes. Em suma, a mudana de um ano para outro confunde o desempenho da escola, as diferenas socioeconmicas entre os alunos e os erros naturais de medio. Outro problema relacionado medida de progresso que ela pressupe uma mudana constante e positiva no nvel de desempenho dos alunos. Para a fase inicial do programa de responsabilizao ou para a escola que comea a instituir programas de melhoramento, essa mudana pode ser uma meta realista. Para a escola que j alcanou um nvel mais alto de desempenho, o progresso constante pode no ser to realista e a escola ser julgada de menor qualidade. tambm importante observar que em nenhum dos exemplos da primeira gerao de polticas de responsabilizao havia uma medida da distribuio dos alunos pelos diferentes nveis de aprendizagens alcanados nas diferentes matrias testadas. No havia, portanto, uma medida do grau de equidade alcanado pela escola e nenhuma forma de premiar as escolas que se esforavam para eliminar as desigualdades intraescolares existentes. Da mesma forma que as polticas de
136
responsabilizao entendem que o aprimoramento da qualidade depende da nfase nos resultados da escola, pode-se argumentar que somente com a incluso de indicadores de equidade que os sistemas comearo a combater as diferenas no tratamento de alunos dentro das escolas. Nesse contexto, cabe lembrar que as variaes intraescolares no desempenho dos alunos so sempre maiores do que a variao entre as escolas. A segunda gerao de polticas de responsabilizao tenta superar as crticas relatadas. Criados nos ltimos dois ou trs anos e exemplificados pelos sistemas de incentivos de Pernambuco, So Paulo e Esprito Santo, esses novos sistemas incorporam procedimentos mais sofisticados para a definio de critrios e a avaliao de escolas. Segundo Formoso (2009), o objetivo do novo Programa de Qualidade da Escola em So Paulo foi promover a melhoria da qualidade e a equidade do sistema de ensino estadual e ao mesmo tempo combater o problema do absentesmo dos professores. O programa de pagamento de uma bonificao foi atrelado, portanto, a dois fatores: o resultado de um ndice de desenvolvimento das escolas, denominado Idesp, e a assiduidade dos professores (FORMOSO JR., 2009). A metodologia do Idesp descrita por Soares (2009) mostra a forma encontrada para verificar a qualidade do ensino e tambm privilegiar a dimenso da equidade. O primeiro passo foi a definio dos nveis de desempenho aos quais seriam atribudos significados pedaggicos e normativos. H muita diversidade de opinio sobre o nmero e denominao dos nveis que devem ser usados. No caso do Idesp foram escolhidos quatro nveis com as seguintes denominaes: Abaixo do Bsico, Bsico, Proficiente e Avanado. As etiquetas escolhidas para os nveis tm um claro significado normativo e descrevem graus de dominao das competncias almejadas pelos responsveis pelo currculo oficial. A opo por quatro nveis reflete a necessidade de orientar a organizao de atividades a serem oferecidas aos alunos aps a anlise dos dados obtidos em uma avaliao, dando s proficincias dos alunos uma utilidade pedaggica, e no apenas gerencial (SOARES, 2009). O segundo passo foi a escolha dos pontos de corte das proficincias do Saresp para os quatro nveis. Encontrou-se uma distribuio de referncia por meio da
137
comparao do desempenho dos alunos brasileiros com o desempenho dos alunos de um grupo de pases participantes do Pisa de 2000. Mediante a comparao da distribuio da pontuao dos dois grupos e o clculo da diferena em desvios padro foi possvel criar uma distribuio ideal das pontuaes para o Saeb. Com base nessa distribuio, e a deciso de colocar aproximadamente 25% dos alunos no nvel avanado e outros 25% no nvel bsico, chegou-se a duas tabelas com a definio dos pontos de corte para cada nvel para 4, 8 e 3 e para leitura e matemtica do Saresp. O significado desses passos se revela com a frmula para o clculo do Idesp para cada escola. Ao mesmo tempo em que o Idesp mantm a ideia bsica do Ideb de agregao dos indicadores de fluxo e desempenho, ele tambm incorpora a dimenso de equidade no indicador de desempenho ao mudar a maneira de clculo do primeiro fator, passando a utilizar um indicador baseado nos percentuais de alunos nos diferentes nveis. O indicador de desempenho usado no Idesp obtido calculando-se primeiramente a defasagem mdia dos alunos da escola em relao ao nvel avanado. Para isso, atribuem-se aos alunos classificados no nvel Abaixo do Bsico, Bsico, Proficiente e Avanado respectivamente trs, duas, uma e nenhuma defasagem. A defasagem do sistema ou escola definida como a mdia ponderada das defasagens de cada nvel, tomando como peso a porcentagem de alunos em cada nvel. Para transformar essa medida de defasagem em um indicador similar ao Ideb, foi necessrio transform-la em um nmero que assume valores entre 0 e 10, sendo atribudo pior escola o valor 0 e melhor escola o valor 10. Isso obtido pela aplicao da seguinte frmula: Indicador = (1 - (Defasagem/3))*10 O uso da defasagem como medida de desempenho da escola sinaliza a importncia de melhorar o desempenho dos alunos mais fracos, em vez de exclu-los. Quando os incentivos eram pagos com base na mdia das turmas testadas, a estratgia mais eficiente para aumentar as chances de receb-los residia na melhoria dos resultados dos alunos com maior condio de mostrar avanos, e no no trabalho mais paciente com os alunos de desempenho mais baixo. As metas desenhadas pela Secretaria de Educao com base no indicador Idesp servem para monitorar a evoluo da qualidade da Educao nas escolas. Segundo
138
Ferraz (2009), a inovao do programa est na relao entre o tradicional bnus monetrio e o grau de cumprimento dessas metas. Para isso, foi definido um ndice que mede o grau de cumprimento das metas para cada ciclo em cada escola. No ciclo 2007/2008, esse ndice foi calculado comparando o quanto a escola melhorou entre 2007 e 2008 (Idesp2008 - Idesp2007) com quanto a escola deveria ter melhorado para atingir a meta (Idespmeta Idesp2007). Essa relao oferece a percentagem da meta efetivamente atingida pela escola. Para escolas que tm mais de um ciclo, h diferentes metas que a escola tem de atingir. Uma maneira de analisar se ela se aproximou das metas como um todo calcular a mdia ponderada de cada ndice de Cumprimento, em que a ponderao o nmero de alunos avaliados no Saresp em cada um dos ciclos (FERRAZ, 2009). Esse ndice de cumprimento ponderado ento utilizado para remunerar as equipes das escolas por seu desempenho. A Secretaria de Educao definiu uma remunerao que proporcional ao grau de atendimento das metas. Em escolas que tiverem um ndice de cumprimento de 100% da meta, por exemplo, todos os professores e funcionrios da escola recebem um bnus equivalente a 20% dos 12 salrios mensais, ou seja, 2,4 salrios mensais a mais. Porm, em ateno ao outro objetivo do sistema de responsabilizao, o pagamento individual depende da frequncia dos professores. Para receberem o bnus, os funcionrios devem ter atuado, no mnimo, em dois teros dos dias letivos do ano (ou 244 dias). Mesmo entendido como punio pelos professores, a SEE/SP entende que, como no h punio para o no-alcance das metas, o sistema de bonificao no se equivale aos sistemas encontrados nos Estados Unidos (FORMOSO JR, 2009). O estado do Esprito Santo demonstra um enfoque muito parecido com So Paulo. Em documento da prpria Secretaria (SEDU/ES, 2010), encontra-se a descrio da Bonificao por Desempenho, criada em 2010 e baseada no ndice de desenvolvimento da escola - IDE, composto do indicador dos resultados, o IRE, e do indicador do esforo da escola, o IEE, de modo que o IDE = IRE x IEE. Como em So Paulo, o primeiro passo se resume na definio dos mesmos quatro nveis de desempenho e os pontos de corte a serem empregados. Diferentemente do
139
clculo de defasagem em So Paulo, a metodologia usada no Esprito Santo atribui um valor de 0 a 10 para cada nvel de desempenho, deixando clara a inteno de beneficiar a escola que consegue passar seus alunos para os nveis de desempenho mais altos. Um nvel adicional da classificao formado pelos alunos excludos que evadem ou, mesmo matriculados, no se apresentam para as avaliaes e recebem em consequncia o valor 0. Essa categoria desestimula a perda de alunos por abandono e tambm a prtica de esconder alunos de baixo desempenho na poca dos testes. O clculo do Indicador de Resultado da Escola obtido pela multiplicao do percentual de alunos em cada nvel de desempenho pelo valor atribudo quele nvel (mostrado no Quadro 2.), dividido por 100.
Quadro 2. Categorizao dos Alunos em Nveis e Respectivos Escores para 5 e 9 Anos do Ensino Fundamental e 1 Ano do Ensino Mdio
Abaixo do Nvel Excludos Bsico Escore 0 2 6 8 10 Bsico Proficiente Avanado
O prximo passo se resume ao clculo do Indicador de Resultados da Escola para todas as avaliaes a que foi submetida ao longo do perodo de referncia. No caso da aplicao da frmula em 2010, levaram-se em considerao as avaliaes de 2008 e 2009. O Indicador de Resultados da Escola final calculado com base na mdia ponderada, levando em considerao o nmero de alunos matriculados nas sries testadas. O indicador de esforo da escola, IEE, a forma encontrada para levar em considerao o nvel socioeconmico da escola e permitir, dessa maneira, uma comparao entre escolas que no seja viciada pelas diferenas na condio dos alunos. A lgica do indicador que, quanto mais alto o nvel socioeconmico, menor o esforo da escola para produzir bons resultados. Portanto, o clculo do indicador dado pela diferena entre o nvel socioeconmico da escola, numa escala de 0 a 5, e
140
um valor mximo arbitrado em 10. A escola com nvel socioeconmico mais alto teria um ndice de esforo 5, enquanto a escola com o nvel socioeconmico mais baixo teria o ndice 10. Usando a mesma lgica em relao aos nveis de ensino da escola, e pressupondo o aumento de esforo na medida em que os alunos avanam desde as primeiras sries do ensino fundamental at o Ensino Mdio, calcula-se o esforo total da escola levando em considerao a composio do corpo estudantil por nvel de ensino. A definio do modelo para o clculo e o pagamento da bonificao das escolas premiadas tambm foi objeto de discusso detalhada para evitar certos inconvenientes, incluindo o risco de fomentar um ranqueamento das escolas e a prtica dos professores de procurarem transferncias para as escolas mais bem classificadas. O pagamento da bonificao ao individuo condicionado a uma frequncia mnima, como em So Paulo. De modo parecido com So Paulo, o sistema de incentivos implementado em Pernambuco em 2008 tambm premia escolas com base em metas de desempenho calculadas usando o sistema de avaliao do estado, o Saepe, e um indicador de fluxo escolar, de forma anloga ao Ideb. No entanto, a definio das metas foi feita de forma diferente da de So Paulo, pela ausncia de resultados do Saepe para o ano de 2007. Para as escolas de desempenho no quartil inferior da distribuio do Indicador de Desenvolvimento da Educao de Pernambuco Idepe, foi usada como meta a nota do Ideb de 2009. Para as escolas de desempenho intermedirio, a meta foi definida para superar em 10% o estado com melhor desempenho do Nordeste. Por ltimo, para o grupo de escolas com desempenho superior, as metas foram estipuladas pelo valor do estado com melhor desempenho no Brasil. Para determinar a proporo da meta que foi atingida pela escola, feito um clculo em duas etapas, segundo Ferraz (FERRAZ, 2009). Calcula-se primeiro um ndice que represente o quanto a escola deveria melhorar para cumprir a meta o ndice de Cumprimento (IC) e depois o ndice de Progresso (IP), para estimar o quanto a escola efetivamente progrediu. A mdia para cada srie ponderada pela proporo de alunos em cada ciclo. Finalmente, a proporo da meta global atingida pela escola calculada pela diviso do que a escola efetivamente atingiu, o IP, pelo ndice de
141
cumprimento das metas, o IC. A remunerao por desempenho paga somente para aquelas escolas em que o ndice de cumprimento global seja pelo menos de 50%. Os avanos metodolgicos dos novos sistemas de incentivos so evidentes. Todos evitam o uso de medidas simples de tendncia central e incorporam mtodos mais sofisticados para captar tanto a proficincia quanto o fluxo de alunos. Tambm no caso de So Paulo e Esprito Santo, foram criados mtodos para levar em considerao questes de equidade e amenizadas as dificuldades em fazer comparaes entre as escolas ao controlar pelas diferenas no nvel socioeconmico e composio do corpo estudantil. O uso de metas tambm incorpora uma viso prospectiva para facilitar a compreenso do incentivo. Mas certas dificuldades tcnicas ainda permanecem. As medidas usadas para controlar o nvel socioeconmico dos alunos se baseiam em valores arbitrados, e no no impacto real do nvel socioeconmico ou em outras caractersticas dos alunos. Tambm no resolve o problema da falta de medida do desempenho anterior dos alunos, o que impede que seja calculada a contribuio especfica da escola aprendizagem dos alunos. No h duvida de que a melhor medida para o desempenho dos alunos seria a medida longitudinal, em que os mesmos so monitorados ao longo de um perodo de tempo a partir de uma primeira avaliao servindo de linha de base. O resultado dessas medidas longitudinais, em termos de ganhos mdios de aprendizagem da coorte de alunos, pode ser considerado um clculo mais exato do valor agregado da escola porque, alm de controlar pelo efeito da aprendizagem prvia, controlam-se tambm as flutuaes na composio das turmas.
6.5.1 Investigaes em Loco. Quatro dos estados escolhidos para a pesquisa de campo tm polticas de bonificao regidas pelos seus sistemas de avaliao So Paulo, Minas Gerais, Pernambuco e Cear. Mais um estado, Esprito Santo, e o Distrito Federal j
142
prepararam as metodologias para o clculo do bnus, mas ainda no fizeram o primeiro pagamento9. Essa demora se deve deciso de deixar passar o perodo eleitoral de 2010 e aguardar as orientaes dos novos Secretrios de Educao. As incertezas desse perodo, que se estendeu pelo primeiro semestre de 2011, dificultou a pesquisa de campo e tornou necessrio restringir as entrevistas discusso das polticas dos governos cujos mandatos tinham terminado. As mudanas j efetuadas ou ainda em curso nas polticas educacionais de diversos estados a partir da chegada dos novos governantes levam a crer que algumas das observaes dos pesquisadores descritas a seguir possam estar j desatualizadas. As observaes no repetiro os detalhes fornecidos sobre as metodologias dos sistemas de bonificao, extrados da bibliografia levantada. Elas se restringiro aos detalhes do funcionamento desses sistemas no disponveis na bibliografia e queles aspectos que esclarecem melhor os princpios e problemas dessa modalidade de poltica de gesto.
Cear No caso do Cear, cabe esclarecer que o prmio Escola Nota 10, j apresentado na categoria Alocao de Recursos, tambm ser estudado aqui pelo fato de parte do prmio ser destinado aos professores. Conforme o Manual de Orientaes para Elaborao, Execuo e Prestao de Contas do Plano de Aplicao dos Recursos Financeiros do Prmio, documento de 63 pginas, dos 75% do valor total do prmio recebidos na primeira parcela, as escolas podem destinar at 20% para bonificar os professores do 2 ano do Ensino Fundamental; profissionais do ncleo gestor e demais profissionais lotados na escola, no ano de referncia da premiao. Do resto do prmio, at 70% destinado para aquisio de materiais de apoio pedaggico, material permanente, formao continuada e adequaes dos ambientes fsicos da
No caso de Espirito Santo, o Bnus foi regulamentado em 31/5/11 e o primeiro pagamento, referente ao ano de 2010, est programado para julho de 2011. 143
escola e outras aes que contribuam para a melhoria da qualidade do ensino e da aprendizagem dos alunos, e at 20% destinados a deslocamento, alimentao e hospedagem para a equipe escolar com o objetivo de desenvolver aes de cooperao tcnico-pedaggicas junto escola apoiada. Dentre os limites fixados pela legislao, a escola fica livre para seguir seus prprios critrios, at na forma de calcular e fazer a distribuio da bonificao. A Secretaria de Educao do Cear tambm patrocina o prmio Aprender pra Valer, voltado para escolas de Ensino Mdio, conforme a Lei n 14.484, de 2008. Nesse caso, so premiados os professores de at 45 escolas que atingem os seguintes ndices na soma das mdias de lngua portuguesa e matemtica em cada uma das trs sries do Ensino Mdio: Evoluo de 7 a 10% sobre a mdia de proficincia obtida no ano anterior. No apresentar mdia de proficincia no padro Muito Crtico. Percentual de participao mnima de 80% (no Spaece) com base na matrcula inicial informada no Educacenso. O prmio, destinado aos gestores, professores e servidores efetivos e temporrios, concedido no valor mensal da remunerao de cada servidor, proporcional ao acrscimo na mdia de proficincia dos alunos. Ou seja, no limite inferior de 7% de crescimento na mdia da escola, os professores ganham uma bonificao de 70% do salrio. No limite superior de 10% ou mais, a bonificao de 100%. Em 2010, a premiao representou um gasto de cerca de R$ 2 milhes e, como no caso da Escola Nota 10, houve solenidade para a entrega s escolas de placas de homenagens pelo desempenho alcanado. A ideia de trabalhar vrias polticas de incentivos simultaneamente no por acaso: No sistema de motivao precisa perceber o seguinte, que voc precisa de mais de um modelo. Voc no pode trabalhar s com uma linha de fora, voc tem que ter vrias linhas de fora coerentes e convergentes. Ento com Escola Nota 10 eu motivo os professores e diretores, com o ICMS eu motivo o prefeito, e com o Aprender para Valer, eu motivo diretores,
144
gestores, professores, funcionrios, e ai, eu motivo independente do contrato de trabalho, se cargo efetivo ou se temporrio ou se terceirizado, eu motivo todos. Nenhuma pessoa da escola pode ficar fora do prmio. (Gestor: SEE/CE) A convico do estado do Cear na eficcia dos prmios como incentivo para os professores tem uma dcada de histria, que, como poltica para as escolas de ensino regular, comea com a criao do prmio Escola do Novo Milnio pela Lei N 13.203, de fevereiro 200210. Alterado em 2004, quando o estado institui o Programa de Modernizao e Melhoria da Educao Bsica e cria o Selo Escola Destaque do Ano, o prmio continua ininterrupto at 2007. Nesse ano, o atual governador, Cid Gomes, toma posse. Prefeito de Sobral de 1997 a 2005, quando aquele municpio implantou o primeiro exemplo de um sistema de bonificao individual para professores alfabetizadores, o novo governador d continuidade s polticas de incentivos ao criar o ndice Municipal de Qualidade Educacional como base para a distribuio dos 25% do ICMS pertencentes aos municpios e estabelece as bases para a retomada da premiao de escolas em 2008 por meio da Escola Nota 10. No ano seguinte, so criados o Prmio Aprender pra Valer e tambm o Prmio para os Alunos do Ensino Mdio, tambm pioneiro, que distribui um laptop a todos os alunos que conseguem mdia de 325 em lngua portuguesa e 350 em matemtica na escala do Spaece.11 A prpria continuidade da poltica de incentivos sugere que os gestores locais esto convictos da sua eficcia. Como diz uma especialista: Ns no temos ainda nenhuma evidncia sobre o impacto desse sistema de bonificao, por que eles so bastante novos. Mas voc tem casos de
Em 2001, o projeto chamado Tempo de Avanar, que utilizou o telecurso 2000 da Fundao Roberto Marinho para implantar 2 mil turmas de alfabetizao com alunos fora de idade escolar, foi a primeira experincia com a poltica de premiao. De acordo com os resultados na Prova de xito, ao final do curso foram premiados os professores dos alunos com o melhor desempenho. Poltica similar institudo na cidade do Rio de Janeiro para homenagear e valorizar os alunos que obtiveram as melhores notas em Portugus e Matemtica vai premiar os cinco melhores alunos de cada disciplina dos dois anos avaliados com uma bicicleta. 145
11
10
estados como Cear que tem sistemas de premiao que j tem mais de 10 anos e o estado continua usando. Ou seja, pelo menos no nvel de uma apreciao mais subjetiva de impacto desses programas eles esto achando que eles tm razo que esses sistemas produzem bons resultados. Agora esto aplicando inclusive para os alunos, dando prmios aos alunos que saem com os melhores resultados e eles vem impactos instantneos. (Especialista: UFMG) A opinio positiva dos gestores cearenses no vem s do efeito cumulativo da experincia mas tambm de um raciocnio que deposita f no efeito real do incentivo tanto na melhoria da competncia como na motivao do professor: Eu acho que essa ideia [do prmio], ela persiste porque as pessoas se comportam diferentemente, tem nveis de compromisso e nveis de competncias diferentes. Quem tem nvel de competncia diferente precisa s vezes ser incentivado internamente para adquirir a competncia que no tem. E quem no tem compromisso precisa saber que, ou passa a ter compromisso ou passa a ter, vamos dizer assim, um tratamento diferenciado em relao a quem tem. Que quem tem merece mais que quem no tem. (Gestor: SEE/CE) Para o mesmo gestor, a questo de se haveria outras formas de abordar os problemas da Educao ou de organizar a prpria poltica de incentivos no uma preocupao. A poltica de premiao uma opo pragmtica que chega ao cerne da preocupao pelos resultados da escola e que qualquer poltica nesse contexto melhor do que nenhuma: Ns somos, sim, pragmticos, funcionalistas, realistas, sabe? Agora ns no somos s isso. Mas se a realidade requer nesse momento uma abordagem assim, ento que seja essa, sabe? Vamos separar um pouco o ideal, idealismo pedaggico, das condies de possibilidade da prtica, sabe? [...] No estado [...] em que a escola brasileira est, a pior estratgia
146
de premiao melhor do que nada, porque ns precisamos quebrar a inrcia dessa indiferena pelos resultados. (Gestor: SEE/CE) Isso no significa que a poltica de incentivos salariais no oferece problemas na hora da aplicao prtica das regras. No caso da Escola Nota 10, por exemplo, foi necessrio criar o IDE-Alfa, que leva em considerao a proporo de alunos matriculados que efetivamente participam do Spaece porque as escolas nem sempre aplicavam as provas aos alunos mais fracos para no prejudicar suas mdias. Alm desse tipo de gaming, em que as escolas aprendem a manipular as regras, tambm se observa a tendncia das escolas de se preocuparem menos com as sries que no so levadas em considerao no calculo do IDE-Alfa: visvel como que alguns municpios relaxam um pouco no
acompanhamento do terceiro e do quarto ano. Porque o foco do prmio est no segundo ano. Ningum quer ser professor mais do segundo ano. Ele quer ser professor do terceiro ou do quarto ano porque ele no est sendo to pressionado, to cobrado. H um afrouxamento. H aquela poltica de acompanhamento austero, intensivo, que foi montado para o primeiro e, sobretudo para o segundo ano. Mas, por mais que a escola saiba como fazer, ela no se aplica ao terceiro, no se aplica ao quarto. (Tcnico: SEE/CE) O gestor responsvel pela poltica reconhece a existncia dessas estratgias, que classifica de distores: Todas as pessoas se comportam em funo de resultados mais imediatos. Ento, se eu posso conseguir [...] uma avaliao com um mnimo de esforo, eu vou fazer um mnimo de esforo. s vezes isso significa uma reduo de escopo da tarefa, s vezes at uma inverso dos valores em relao s tarefas, no ? O exemplo mais claro disso aquela coisa de dizer, assim, bom se o que importa Portugus e Matemtica, vamos treinar os meninos pra fazerem boas questes de Portugus e Matemtica e nada mais importa, n? (Gestor: SEE/CE)
147
Outros problemas incluem a transferncia branca de alunos para outras escolas para tentar se livrar de alunos de desempenho mais baixo e a insatisfao criada pela presso irreal do prmio Aprender pra Valer, que estipula um crescimento de no mnimo 7% ao ano na mdia de desempenho da escola, independentemente do patamar j alcanado: Os diretores tm uma reao muito grande. Os diretores escolares consideram alto esse crescimento de 7%. Tem que ser mexida logo, logo, por que a escola no consegue manter esse percentual do crescimento. A a gente viu que poucas escolas, foi um nmero muito pequeno, que conseguiu atingir essa meta. (Tcnico: SEE/CE) Na opinio dos tcnicos da Secretaria, h indicaes de que o programa Escola Nota 10 produz resultados positivos no conjunto das escolas atingidas. Em comparao com 2009, as mdias tanto das escolas premiadas como das apoiadas cresceram em 2010 e, das 148 apoiadas, 107 chegaram a receber a segunda parcela do apoio financeiro em 2010, mostrando que suas mdias j alcanaram 5 no IDE-Alfa. A evoluo da mdia no Cear se deu de uma forma muito acelerada. Com certeza a gente tem que atribuir isso a essa poltica de publicizao de resultados, de poltica de premiao mesmo, e de mdia que foi feito em cima desses resultados. No entanto, o efeito parece no ser pelo recebimento do dinheiro. Uma evidencia nesse sentido o fato de as escolas apoiadas, que recebem menos, terem avanado mais que as escolas premiadas. Outra evidncia fornecida pelo fato de os recursos terem demorado a chegar s escolas e o avano no desempenho ter acontecido mesmo na ausncia dos recursos. A explicao alternativa tem a ver com o efeito psicolgico da premiao, tanto para as premiadas como para as apoiadas: O efeito da avaliao e a divulgao do resultado por si s j uma dinmica de motivao. A escola saber que ela est entre as melhores. A eu fico perguntado: por que as apoiadas evoluram mais do que as premiadas? As premiadas no conseguiram manter a mdia de
148
desempenho. Ento talvez o efeito psicolgico do prmio, do fato de ter o prmio e ter a publicizao do resultado e a escola ser conhecedora que est numa situao crtica e tudo mais. Talvez isso tenha gerado um movimento interno na escola de tentar rever o seu projeto e tentar rever suas prticas. Talvez muito mais do que o efeito do dinheiro que chegou a essa escola ou mesmo o efeito da cooperao tcnica da apadrinhada que chegou a essa escola. (Tcnico: SEE/CE) Mesmo assim, nem todas as escolas premiadas conseguem manter suas mdias para justificar o recebimento da segunda parcela da premiao, equivalente a 25% do total. Das 148 premiadas em 2009, 75 no receberam a segunda parcela por no manterem o IDE-Alfa da escola no mesmo nvel e mais 12 pelo fato de suas escolas apoiadas no alcanarem o ndice de 5 nessa mesma escala. No caso do Ensino Mdio, houve tambm uma melhoria expressiva nos resultados. Mas nesse caso o efeito pode ter sido pelo novo entusiasmo dos alunos, provocado pelo Prmio para os Alunos do Ensino Mdio, e refletir, portanto, a melhoria causada pela medio mais exata da proficincia dos alunos: Por que antes os alunos do Ensino Mdio muitos deles nem sequer liam a prova. Marcavam qualquer letra, queriam se ver livre pra logo ir embora. Alguns que sabiam que ia ter avaliao nem iam naquele dia por que eles no so obrigados a fazer a prova. A gente no tem como obrigar o aluno a fazer a prova, n. E agora na aplicao a gente observou o aluno questionando com o aplicador o tempo da aplicao. Ento houve uma mudana de paradigma do aluno ao fazer o teste por que ele estava querendo, ele estava brigando pra fazer o teste, no era mais o aplicador tentando convenc-lo a ficar na cadeira e a reler o teste de novo. (Tcnico: SEE/CE) A taxa de participao dos alunos matriculados, criada para contornar o problema da transferncia branca e a falta de comparecimento dos alunos no dia das provas, tem criado seus prprios problemas. Um deles tem sido a no premiao de escolas
149
que por motivos alheios tm perdido alunos por abandono ou transferncia. Nesses casos, escolas com desempenho inferior podem chegar a receber a premiao por no ter sofrido a mesma perda de alunos. H relatos de funcionrios das escolas viajarem at os novos domiclios de alunos transferidos para receber a documentao oficial da transferncia e de um diretor que teve que falar com o conselho tutelar do Rio de Janeiro para garantir que o aluno transferido tivesse sido de fato matriculado em escola do Rio. Um tcnico da SEE/CE sugere que uma forma de contornar o impacto da perda inevitvel de alunos seria estipular um percentual mnimo de participao e fazer a distribuio dos prmios entre os que satisfazem esse mnimo: Tipo assim, iro concorrer ao premio Escola Destaque as escolas que tiveram uma participao mnima de 90%. E a vai ganhar quem tiver a maior proficincia. [..]No tem culpa uma escola que tinha atingido uma nota altssima mas perdeu um aluno que foi transferido, mudou para uma outra escola e a no ficou mais com 100% [de participao] e caiu a mdia dela de proficincia. (Tcnico: SEE/CE) No fundo, essa dificuldade diz respeito aparente injustia dos critrios estipulados para o pagamento do incentivo. Em se tratando de um acrscimo importante renda do professor, equivalente a um ms de salrio, no trivial a questo de se as regras da competio so percebidas como legtimas e justas. A experincia de Sobral, e os ajustes sucessivos nas regras do bnus do professor alfabetizador para o aperfeioamento da poltica de incentivos mostra o quanto os gestores precisam fazer as adaptaes de acordo com as definies locais de justia. Numa primeira verso dessas regras, as cinco primeiras escolas na prova de alfabetizao levaram o prmio, independentemente do tamanho da escola e do nmero de turmas. No ano seguinte, a competio foi subdividida em categorias pelo nmero de turmas das escolas em reconhecimento dificuldade maior em melhorar os resultados em escolas maiores. No terceiro ano, houve nova mudana pelo fato de algumas escolas no receberem prmios mesmo tendo desempenho melhor que escolas premiadas em outros grupos por s existir um prmio para cada grupo. Neste ano, foi eliminado o ranqueamento e criado no seu lugar um sistema de metas com
150
base no desempenho da prpria escola no ano anterior. Nesse formato, a escola competia consigo mesma para alcanar pelo menos 90% da meta. A lio aprendida que o sistema de incentivo nunca ser perfeito: Eu j coloco que meu modelo esse, que vai funcionar assim, que esse ano vai ser assim, doa a quem doer, esse ano vai funcionar assim. Agora, tenho certeza que ele no perfeito, e ns poderemos tambm falar seriamente de como melhor-lo. Mas no fazer nada porque nunca vai ser perfeito errado. (Gestor: SEE/CE)
Esprito Santo O sistema de bonificao de Esprito Santo, que prev pagamento a toda a equipe da escola que atingir determinado ndice de desenvolvimento da escola, de elaborao recente, o que permite o resgate mais pormenorizado dos diferentes objetivos perseguidos pelos gestores. Mesmo no havendo ainda uma aplicao prtica da metodologia, o raciocnio por trs da sua criao ainda est fresco na memria dos envolvidos. O primeiro objetivo levar para dentro da escola a mesma preocupao com os resultados das avaliaes que aquela expressa no planejamento estratgico do estado: Para mim, eu no tenho grandes pretenses com relao ao bnus e tal, mas se conseguirem levar para dentro da escola essa discusso de que o resultado principal a aprendizagem eu acho que o jogo j est ganho. (Gestora: SEE/ES) Uma vez aceita a relao entre qualidade e resultados e estabelecida a preocupao da escola em melhorar seus resultados, parece que haver naturalmente a compreenso de por que a escola ganhou ou deixou de ganhar o bnus: O que a gente queria com o sistema de bonificao levar essa discusso da qualidade para dentro da escola. Ou seja, o Paebes, que o nosso sistema de avaliao, passa a ganhar uma nova cara porque hoje ele no vai para a escola simplesmente como uma avaliao. [...] Com a
151
bonificao ele coloca uma coisa nova, ento voc cria um estmulo para que as pessoas pelo menos passem a entender por que que eu ganhei 1000 e voc ganhou 2000, por que a escola A assim e a B assado. (Gestora: SEE/ES) O que no fica explicitado nesse raciocnio como o professor possa de fato entender as diferenas entre as escolas e, com base nessa compreenso, alterar de alguma forma a sua prtica. As informaes que circularo entre as escolas podem explicitar as diferenas nos ndices, mas dificilmente identificaro por que uma escola atingiu determinado patamar e outra no. O segundo objetivo diz respeito ao propsito de incentivar os professores a se verem como responsveis pelos resultados da escola; A ideia voc levar [para a escola] essa questo da discusso dos indicadores de avaliao, de que o resultado do trabalho do professor a aprendizagem e que ele tambm responsvel pela evaso escolar, pela reprovao do aluno, ou seja, isso no um fator s do aluno. Ele tem uma participao ali que a gesto da escola em que ele trabalha. (Gestora: SEE/ES) Esse raciocnio parece completo, j que o pagamento de uma bonificao aos professores das escolas com os melhores resultados de fato sinaliza a crena de que esses professores tm de uma parte da responsabilidade por esses resultados, sobretudo na presena de uma metodologia de clculo que leva em considerao o nvel socioeconmico dos alunos. O que no fica garantido que os professores sintam as mesmas convices a respeito da sua contribuio ou que entendam o que precisa fazer para ganhar o prmio no futuro. O terceiro objetivo retribuir o esforo dos professores. Como o bnus classificado como prmio, e no como remunerao, ele se justifica como um reconhecimento da dedicao adicional que os professores mostraram ao produzirem resultados acima da mdia. O incentivo esperado no sentido de suscitar nveis de esforo maiores no futuro, mesmo sabendo que o nvel de esforo pode variar entre os
152
professores de uma mesma escola e que o incentivo pode no afetar a todos igualmente: [...] os diretores de escola, [...] eles aplaudem muito o bnus, porque eles conseguem ver isso dentro da escola. Eles veem isso mais de perto, ou seja, o esforo de determinados professores e o esforo menor de outros. (Gestora: SEE/ES) O quarto objetivo, ao condicionar o pagamento do bnus ao cumprimento de um nmero mnimo de dias de trabalho, coibir as faltas dos professores: A gente chega a receber professores aqui que dizem que tiraram atestado porque tinham que resolver um problema hoje na unidade central e falam assim como se fosse a coisa mais normal do mundo tirar um atestado mdico falso para usar o tempo para outra coisa. Ento a frequncia veio como uma [razo] para compor esse ndice at para a gente saber at que ponto essa falta realmente real ou ela enfim, uma cultura. (Gestora: SEE/ES) Haver necessidade de voltar a esta discusso dos objetivos da premiao na hora de determinar se justifica classificar esta poltica como de responsabilizao e de prever seus provveis impactos no ensino.
Minas Gerais O sistema de premiao de Minas Gerais merece uma anlise mais detalhada por seguir um modelo diferente dos outros estados. Chamado Acordo de Resultados, a metodologia implantada em 2008, e repetido anualmente desde ento, se estende a todas as Secretarias do governo. No caso da Secretaria da Educao, o acordo diz respeito aos resultados da Secretaria, das Superintendncias Regionais de Ensino (SRE) e de todas as escolas. No caso das escolas, a nota recebida composta em 65% da nota da Secretaria, 10% da nota da SRE e 25% da avaliao dos indicadores finalsticos da escola. Por meio dessa composio, mostra-se claramente que a responsabilidade pelos resultados finais da escola compartilhada entre as trs
153
instncias. Essa caracterstica do Acordo de Resultados a diferencia das demais polticas de incentivos estudadas que tendem a identificar os professores, os dirigentes e demais membros das equipes escolares como os nicos integrantes do sistema de ensino responsveis pelos resultados de aprendizagem, apesar da conhecida importncia das condies materiais fornecidas pelo rgo central e os diversos servios de apoio das instancias regionais. Os indicadores finalsticos da escola dizem respeito a um conjunto de dez metas, expressas tipicamente em termos da proficincia mdia dos alunos por ano e matria. Como exemplo, a sexta meta, com peso valendo 2,14% do total da nota da escola, diz respeito proficincia mdia dos alunos do 9 ano do Ensino Fundamental em portugus. A escola ganha a nota mxima se o valor observado para a meta for maior ou igual ao Nvel Recomendvel para o ano, de acordo com a classificao publicada pelo sistema de avaliao do estado. No caso de a meta da escola ser menor que o Nvel Recomendvel, precisa-se empregar uma equao para calcular o desempenho da escola de 0 a 1 com base na diferena entre a proficincia alcanada no presente ano com a proficincia do ano anterior dividido pela diferena entre a meta e a proficincia do ano anterior. No final, a nota do indicador = Desempenho x Peso do Indicador x 10. Quando somados todas as notas dos indicadores, mais as notas da Secretaria e da SRE a que a escola pertence, a nota final da escola mostrar a proporo da meta global alcanada e, portanto, o percentual do prmio de produtividade a que ter direito. Essa matemtica necessria depois da deciso de beneficiar a escola com alguma recompensa mesmo no caso de no alcanar 100% da meta acordada. Essa flexibilizao torna o processo mais brando, permitindo a diluio do significado das metas ao ponto de elas se tornarem indicadores de resultados, o que permite levar em considerao a realidade das escolas que nem sempre conseguem melhorar no ritmo desejado, apesar dos esforos. O raciocnio da Secretaria que levou a essa flexibilizao mostrado na seguinte fala: Meta tem que ser flexvel por que meta rgida meta boba. Meta uma coisa importante? importante, mas ela no foi feita para ser sustentada a
154
ferro e fogo; de qualquer jeito voc tem que ganhar. Se for a ferro e fogo o cara toma anabolizante para no sei o que l nas olimpadas, se for a ferro e fogo as pessoas usam tudo quanto tipo de artifcio para chegar l. Passa menino sem saber, altera nota do menino, ensina o menino a fazer prova. Acontece esse tipo de coisa por qu? Por que se eu no conseguir, eu vou perder salrio e ningum est em condies de perder salrio. (Gestor: SEE/MG) O aspecto mais interessante do acordo de resultados o procedimento para a fixao das metas. Esse processo culmina na assinatura de um termo de compromisso por parte das SREs e das escolas aps a consulta ao sistema online em que as metas esto listadas escola por escola. No caso de a escola no concordar, existe um procedimento para a sugesto de nova meta e para o julgamento do pleito da escola. Ou seja, mesmo sendo um processo centralizado, a possibilidade de a escola fazer uma contraproposta torna mais legtimas as metas fixadas e justifica a assinatura do termo de compromisso que pactua os resultados esperados: [...] tem que ser pactuada, no pode ser imposto. Ento a gente tem um sistema na internet onde a Secretaria examina o histrico da escola, as condies com base no relatrio das visitas [...]. Com base nisso voc elabora uma proposta de meta para todas as escolas, essa a primeira providncia. [...] o diretor acessa, imprime e discute internamente. Olha a meta da secretaria essa, d para fazer ou no d? Eles podem variar o que est previsto l em 10%. [...] Eles podem propor variao pra cima ou pra baixo e o gozado que alguns fazem pra cima. (Gestor: SEE/MG) No que a Secretaria acate todas as contrapropostas das escolas: [em 2009] de 3.988 escolas foram 10% de pedidos de alterao [...] E, desses 10%, ns modificamos s 10%, o resto no. Na verdade assim, vinha muito pedido de abaixar meta. (Tcnico: SEE/MG) Outro aspecto relevante, que remete discusso sobre o impacto do modelo de planejamento estratgico assumido por diversos governos estaduais, diz respeito
155
relao entre as metas dos planos governamentais e as metas colocadas para as escolas. No caso de Minas Gerais, as metas do Plano Mineiro de Desenvolvimento Integral PMDI 2003-2023 foram desdobradas em metas plurianuais por meio dos PPAG Plano Plurianual de Ao Governamental. No caso do PPAG 2008-2011, coube Secretaria planejar suas metas de acordo com o percentual de crescimento fixado pelo estado: A distribuio das metas est amarrada meta geral do Estado por que no Estado foi dito: olha, ns vamos crescer 5% esse ano. Ento a distribuio mais ou menos assim: umas [escolas] esto acima de 5, outros esto abaixo, mas no fim, na hora em que todo mundo bater a meta, a gente bate a meta daqui [do Estado] tambm. (Gestor: SEE/MG) No entanto, nem sempre os planejadores ouvem os gestores antes de fixar as metas globais do estado. Na primeira edio do Acordo de Resultados, os planejadores dividiram as escolas em cinco faixas de acordo com a proficincia do ano de 2007 (um ano de crescimento acima da mdia), calcularam a taxa de crescimento para cada faixa e fixaram as metas at 2010. Fizeram essas metas e foram embora. [...] E a ns verificamos que as escolas no estavam com um percentual de cumprimento muito bom, pelo contrrio, as notas foram muito baixas. [...] eles superestimaram as metas porque justamente eles consideraram um crescimento do Estado muito alto [...] Ento eles pegaram aquele crescimento e fizeram uma projeo s que na hora em que ns pegamos os bandos e fizemos a primeira avaliao, o percentual de cumprimento foi muito baixo. por isso que ns fizemos a primeira reviso, no ano de 2009. (Tcnico: SEE/MG) As metas estavam muito altas, principalmente no ano de 2010. A ns conversamos, a Secretria conversou com o pessoal do Estado para estudar os resultados e eles aceitaram as nossas reivindicaes e ns fizemos um histrico, ns mostramos as tendncias de crescimento e eles viram que realmente estavam muito alto [...], eles aceitaram, tanto que as metas,
156
nossas metas, reduziram bem para o ano de 2010, que estavam bem altas. (Tcnico: SEE/MG) No trivial a questo de como estabelecer as metas de um sistema de incentivos quando no se quer usar um ranqueamento competitivo nem fixar as metas exclusivamente com base no histrico do crescimento anual da proficincia. O que est em jogo uma combinao de fatores que tambm leva em considerao a vontade dos governantes de ir alm da meta: A Educao trabalha com desafios e politicamente o que move as pessoas o desafio. [...] A Educao precisa de uma coisa maior, precisa de uma coisa mais significativa, alguma coisa de natureza diferente. Ento a ideia que ns trabalhamos ao ir para a escola a idia de desafios e no a idia de meta. Meta prmio por produtividade. Isso a meta, isso a vocs vo ter que cumprir mesmo. Agora o desafio no isso no, o desafio muito maior do que esse. O desafio diferente [...] Se no, fica todo mundo marcando passo. (Gestor: SEE/MG) O sistema de acordo de resultados tem vrios mritos metodolgicos. Tambm tem uma deficincia criada pelo uso de mdias para a fixao de metas e o clculo do desempenho da escola. Pelo fato de a escola poder melhorar suas mdias com mais facilidade mediante ateno especial aos alunos mais capazes, existe o risco de a escola esquecer-se dos alunos mais atrasados: Quando a gente vai ler os documentos, percebe que h uma supervalorizao de um ponto na escala. Quando eu super valorizo um ponto na escala, nem todos os alunos me interessam, me interessam os alunos que esto prximos de ultrapassar aquele limite e isso tem consequncia. claro que essa anlise ela pode ser uma anlise difcil de ser feita no primeiro ano, razovel esperar que logo as escolas vo perceber que isso a maneira de voc ficar bem no indicador. (Especialista: UFMG)
157
A Secretaria j percebeu esse problema e pensa resolv-lo ao criar requisitos para melhorar a distribuio dos alunos entre as faixas de desempenho, de forma anloga a de So Paulo e Esprito Santo: A gente acha que a proficincia s vezes engana um pouco. Porque s vezes a escola cresce na proficincia mdia, mas reduz o nmero de alunos no nvel recomendado, o que no desejvel. Ento talvez a gente tenha que alocar esses dois indicadores. (Tcnico: SEE/MG) Outra possvel deficincia diz respeito dificuldade de a escola entender o clculo do porcentual do bnus a que tem direito e a dificuldade de aceitar as diferenas nas metas de cada escola: O acordo avalia a escola em relao a ela mesma. Ento teve um problema que no primeiro acordo foi muito claro. A escola que tinha uma proficincia maior e outra que tinha menor em municpios iguais. Aquela que tinha proficincia menor tinha um prmio de produtividade maior por que ela cresceu mais que a outra escola [...] Ento assim ela no entendia e a gente teve que explicar, olha o acordo compara voc com voc mesma. (Tcnico: SEE/MG) O fato de os indicadores estarem relacionados s matrias avaliadas pelo Simave no 3, 5 e 9 anos do Ensino Fundamental e 3 ano do Ensino Mdio tambm traz consequncias para a maneira de pensar dos professores de outras matrias e anos. Mesmo pago a todos os professores da escola, a capacidade de o bnus incentivar os professores no includos nos indicadores deve ser menor, o que abre a possibilidade do free riding, encontrado na bibliografia: Muitos funcionrios e outros professores de outras matrias no se sentem parte do acordo de resultados, eles acham que no vo contribuir com nada, eles tm esse sentimento. Ento assim, eles no se sentem parte desse pacto. Eles recebem o prmio e "que bom, mais um prmio", mas eles no sentem que o seu trabalho foi reconhecido, que a nota que est ali
158
traduz o trabalho que eles desenvolveram durante aquele ano. Muitos. E eu acho que eles tm completa razo. (Tcnico: SEE/MG) Apesar das deficincias, tanto os tcnicos como os gestores da Secretaria atribuem uma parte do avano nos resultados das escolas durante os ltimos anos incorporao de um regime de metas e incentivos: Ento a escola hoje gosta de receber as metas, ela gosta de trabalhar com as metas, de ter o caderno dela. [...] Ento na verdade quando voc v, por exemplo, que ns tnhamos uma meta de 74 pra proficincia de alfabetizao [...] e ns atingimos 86, alguma coisa melhorou, alguma coisa eles esto indo atrs. [...] a gente ainda no sabe qual que a causa dessa melhora a gente no sabe. Mas de 74 que era a nossa meta e ns atingimos 86, muita coisa, n? (Gestor: SEE/MG)
Pernambuco O sistema de incentivo salarial introduzido pela Secretaria de Educao de Pernambuco em 2009 era pensado como um dos elementos de um conjunto de aes voltados para a reviso da situao funcional e salarial do professor. Entre essas aes, figurava a reformulao do contrato de trabalho e do plano de carreira de modo que o professor pudesse se dedicar docncia em uma nica escola, em vez de acumular at 70 horas aula/semana em diferentes escolas e redes, como permitido pela legislao atual. Portanto, o incentivo era visto como um complemento para um salrio que j resolveria as necessidades do professor. Alm disso, a viso da Secretaria de Pernambuco atrelava o aumento salarial da nova carreira a um esquema de superviso bem mais rigoroso. O incentivo salarial, pago com base nos resultados da escola, seria ento um dos elementos desse esquema de superviso: O professor pode ter 70 horas-aula por semana uma coisa meio louca, tem que rever isso. Ento ns temos muito claro o que o professor precisa. O professor precisa ser bem remunerado, ter uma jornada de trabalho plausvel, mas ns sabemos que s isso no basta porque sistemas que
159
adotaram isso sem um forte sistema de superviso no funcionam bem. [...] Ento ns acreditamos que preciso ter um plano de carreira de incentivo, de salrio bom, mas atrelado a isso o sistema de superviso, de monitoramento, de aferio de resultados, de atrelar uma parte da remunerao com esses resultados. Ns estamos caminhando pra isso, at o final do ano a gente consegue fechar todas essas variveis, digamos assim. (Gestora:SEE/PE) Para enfatizar a poltica de fixar os professores em uma nica escola, o bnus salarial pago aos professores que estiveram na escola por um perodo superior a seis meses. De forma parecida de Minas Gerais, o valor do bnus calculado com base no percentual de cumprimento da meta fixada para a escola, a partir de 50%. As metas so determinadas para cada escola com base na faixa de desempenho em que se encontra baixo, mdio ou alto de acordo com os resultados do Saepe do ano anterior. O que tambm chama a ateno do sistema de Pernambuco a maneira de estipular o valor do bnus pago aos professores. Comum em outros sistemas o pagamento a uma proporo fixa de escolas ou, como no Chile, s escolas que atendem a uma proporo fixa de alunos, no caso 25%. Em Pernambuco, criado todo ano um fundo representando a folha de pagamento de um ms, o que permitiria pagar um bnus equivalente a um salrio a todos os professores caso todas as escolas atingissem 100% da meta. Em 2008, 51,8% das escolas tiveram acesso ao bnus, o que permitiu pagar 2,4 vezes o salrio-base dos beneficiados no caso de escolas que atingiram 100% da meta. Em 2009, a proporo de escolas atingindo pelo menos 50% da meta subiu para 82%. Com isso, o fator usado no pagamento do bnus caiu para 1,6 salrio nas escolas que alcanaram 100% da meta. Nesse mesmo ano, a Secretaria estendeu o pagamento do bnus s gerncias regionais com base na mdia ponderada da taxa de cumprimento das metas das escolas, sinalizando a responsabilidade tambm atribuda aos rgos de apoio e superviso, como em Minas Gerais. No prximo passo, pretende-se criar uma sistemtica para o pagamento de bnus aos funcionrios do rgo central.
160
No entanto, o fato de as polticas referentes nova carreira dos professores no terem sido implantadas e os salrios no terem sido reformulados reduz bastante a credibilidade da poltica de incentivos salariais de Pernambuco. Sem essas mudanas, colocadas como pr-requisitos pela prpria Secretaria, ser mais penoso cobrar as atividades esperados pelo sistema de superviso e mais difcil concretizar os avanos esperados do sistema de incentivos.
So Paulo Sendo o sistema estadual de bonificao mais contestado pelos integrantes do magistrio e o que mais aparece no noticirio, a poltica implantada pela Secretaria de Educao de So Paulo merece uma discusso mais detalhada. J foram tratadas as questes tcnicas sobre a frmula usada para avaliar a qualidade e a equidade da escola. Nesta seo, precisa-se investigar o status da Bonificao por Desempenho como o mais problemtico dos diversos exemplos em estudo das novas polticas de incentivos salariais. O primeiro problema da Bonificao por Desempenho, lanada em maio de 2008, que ela tem antecedentes. Entre 2001 e 2006, a Secretaria j pagava um bnus anual aos professores e diretores. Entre os anos de 2001 e 2003, esse bnus foi calculado de acordo com a assiduidade mdia da equipe, o desempenho global da escola, medido durante o ano escolar anterior atravs do Saresp, e outros indicadores de qualidade, principalmente o nvel de reteno de alunos pelas escolas. Em 2004, os critrios foram modificados para, em primeiro lugar, incluir um mnimo de 200 dias de trabalho efetivo e o desenvolvimento de projetos envolvendo a comunidade da escola, e, em segundo lugar, para excluir o uso dos resultados de desempenho do Saresp. Em 2006, o Saresp foi suspenso e os resultados do desempenho dos alunos novamente retirados do clculo do bnus. Isso se deveu, em grande medida, aplicao no ano anterior da nova Prova Brasil. A resistncia aos bnus anuais pagos pela Secretaria foi contnua. A oposio mais vociferante, do Sindicato dos Professores do Ensino Oficial do Estado de So Paulo,
161
expressou uma rejeio transferncia abusiva da lgica de mercado para a Educao (CAVALIERE, 2003) (p.30) e competio entre as escolas e os diretores das escolas, que seria fomentada por essa poltica (CDEP, 2006). Outras crticas tiveram mais a ver com problemas de trapaas, havendo meios para os professores ajudarem os alunos a preencher as folhas de respostas ou alterarem as respostas dos alunos, uma vez que eram os professores que aplicavam e corrigiam as provas. Supostamente esses casos eram bem conhecidos entre os professores das escolas estaduais (DISSIDNCIA, 2006), bem como os problemas burocrticos associados ao clculo e ao pagamento individual dos professores. Outro argumento, aparentemente bem justificado, dizia respeito ao uso de resultados de desempenho mdio dos alunos sem nenhuma tentativa de controlar por diferenas socioeconmicas entre as escolas ou pelo impacto de diferenas no nvel anterior de aprendizagem. Com a eliminao dos resultados dos alunos, o programa de bnus se tornou mais uma maneira de justificar um benefcio natalino. Porm o uso contnuo de medidas de assiduidade e at de taxas mnimas de comparecimento em cursos de treinamento para os professores, tal como includo entre os critrios de 2005, uma indicao do problema perene de absentesmo e da vontade da Secretaria de cobrar a frequncia dos professores mesmo na ausncia de um indicador de qualidade da escola. Com esses antecedentes, difcil saber se a resistncia atual de uma parte dos professores se deve mais s cobranas de frequncia, ao sistema de avaliao em si ou aos efeitos negativos provocados pela associao high stakes entre os testes e o pagamento da bonificao. H evidncias de que ainda h restries ao Saresp no qual a bonificao est fundamentada. Sem uma atitude tranquila em relao legitimidade e confiabilidade do prprio sistema de avaliao, dificilmente ser recebida de braos abertos uma poltica alicerada nesse instrumento. O que se observa no caso do Saresp so os questionamentos que se arrastam h mais de uma dcada e mostram a sobrevivncia de resistncias que em outros estados j foram superadas. A forte politizao do tema da avaliao, classificada como produto das reformas neoliberais de recorte gerencialista, e a falta de simpatia do principal sindicato de professores para a poltica de avaliao do estado, impulsionado e
162
consolidado por um governo do PSDB, ajudaram a criar um ambiente ainda um tanto hostil ao prprio tema da avaliao. No entanto, os argumentos publicados pela Apeoesp para sua oposio atual poltica de bonificao no incluem nenhuma restrio explcita ao sistema de avaliao. Os argumentos empregados dizem respeito, primeiro, falta de uma verdadeira poltica salarial, que assegure reajustes e aumentos reais para todos os professores, da ativa e aposentados; segundo, falta de evidncia de que o sistema de bonificao possa elevar a qualidade do ensino ou o nvel de satisfao dos professores; terceiro, falta de incluso de outros fatores, alm dos resultados dos alunos; e quarto, ao valor irrisrio do bnus pago (APEOESP, 2011).
Surpreendentemente, as ltimas duas crticas apontam para a necessidade de melhorias na poltica, e no para sua abolio. Ao mesmo tempo, o sindicato sinaliza que pretende contestar na Justia a Lei Complementar n 1078/2008 por no ter considerado todas as justificativas de faltas previstas no Estatuto do Servidor Pblico do Estado na hora de calcular a bonificao de cada servidor. A reivindicao da Apeoesp que a Secretaria deixe de descontar as faltas que tm justificativa legal. A posio da Secretaria que a bonificao no salrio, seno uma forma de premiar os professores e outros servidores que mostrem dedicao ao deixar de aproveitar todas as faltas que a lei faculta. O argumento do sindicato de que o sistema de bonificao incapaz de elevar a qualidade do ensino deriva de uma leitura sobre a experincia de outros pases. Dependendo da bibliografia consultada, essa leitura fornece uma srie de argumentos sobre os efeitos colaterais dos testes high stakes usados por polticas de accountability, como os sistemas de incentivos j discutidos na seo 4 deste documento. Recm-sumarizados pelo Movimento Contra Testes de Alto Impacto em Educao, criado no mbito da Anped em 2010, os efeitos colaterais dos testes de alto impacto (high stakes) incluem a capacidade de falsear os dados das avaliaes, induzir desonestidade, substituir os esforos de ensino pelo de preparao para testes, estreitar o currculo e desestruturar os profissionais do magistrio, alm de provocar
163
extrema ansiedade em alunos, pais, professores e administradores (MOVIMENTO, 2010). Alm dos possveis efeitos colaterais negativos, o sindicato pode tambm apontar a falta de evidncia de um impacto positivo na aprendizagem e at de evidncia pelo contrrio. O incentivo pago em 2011 causou constrangimento ao revelar um recuo no total pago e a queda no nmero de escolas aptas para receber o bnus, em comparao com o ano anterior. O valor pago a 190 mil funcionrios, de 3.778 escolas 75% das 5.019 unidades estaduais foi de R$ 340 milhes. Em 2010, foram concedidos R$ 655 milhes. O nmero de escolas que no receberam o bnus triplicou. Em 2010, 510 escolas (9,9% do total) ficaram sem a bonificao, enquanto em 2011 foram 1.474, o que representa 29,1% da rede pblica do estado. As causas principais foram as variaes negativas do Saresp entre 2009 e 2010 nos anos finais do Ensino Fundamental e no Ensino Mdio. Com isso, s houve aumento no valor do Idesp nos anos iniciais do ensino fundamental, que subiu de 3,86 para 3,96, em uma escala que vai at 10. Nos anos finais do Ensino Fundamental, houve o recuo de 2,84 para 2,52 e, no Ensino Mdio, o Idesp caiu de 1,98, em 2009, para 1,81.
6.5.2
Discusso
Para alguns especialistas ligados universidade, a queda na bonificao de So Paulo permite inferir que a poltica como um todo um fracasso e que no so os incentivos financeiros que motivam os professores (O Globo, 23/4/2011). No entanto, as atitudes ainda favorveis entre os gestores dessa mesma poltica em outros estados e o interesse de estados como Par em experimentar com o pagamento de bnus (O Liberal, PA, 3/4/2011) podem sugerir que o impacto depende do contexto, das relaes entre as partes e tambm de uma continuidade maior no perodo de aplicao da poltica. A literatura tambm recomenda cautela antes de chegar a concluses gerais, devido grande diversidade na configurao das polticas de incentivos e nos resultados alcanados.
164
De toda forma, observa-se a necessidade de clareza maior sobre o tipo de impacto desejado pelos sistemas de incentivos brasileiros. A falta de evidncia de que o prmio incentive o professor a procurar se capacitar ou modificar sua prtica de ensino impe a necessidade de explicitar que o propsito seja muito mais do que bonificar a assiduidade. Nesse caso, talvez nem precisasse de indicadores de aprendizagem. Outros usos de incentivos, como para trazer professores para reas menos atraentes, como o caso das escolas rurais, ou para atrair professores para disciplinas curriculares em que h falta de professores, ainda no constam do elenco de polticas dos governos estaduais, mesmo havendo uma conexo bem mais clara entre o pagamento de bnus para essas finalidades e os resultados alcanados. Do ponto de vista das metodologias usadas, inegvel que as polticas de incentivos de segunda gerao, que utilizam indicadores de desempenho construdos de diversos elementos para levar em considerao o fluxo, o nvel socioeconmico dos alunos, o esforo da escola, a distribuio dos alunos por faixa de desempenho etc. so mais slidas e confiveis do que seus antecessores. No entanto, at a construo de indicadores que levem em considerao o valor agregado e que permitam a avaliao da escola ao longo de um perodo de anos, sempre haver dvidas sobre a influncia de movimentos aleatrios no desempenho dos alunos. Os resultados da Escola Nota 10 do Cear, em que a metade das escolas premiadas em 2009 no conseguiu mostrar o mesmo desempenho no ano seguinte, leva a crer que uma parte dos prmios se deve a flutuaes aleatrias. O fato de algumas das escolas identificadas como de desempenho mais baixo em 2009 conseguirem melhorar, a ponto de receberem prmios como escolas nota 10 no ano seguinte, tambm levanta suspeitas srias. Dificilmente uma escola pode cumprir essa trajetria em um nico ano escolar, mesmo com a assistncia tcnica de uma escola de excelncia. O estudo da implantao e dos primeiros passos da nova gerao de polticas de incentivos salariais no foi capaz de mostrar sinais claros de benefcios em termos dos resultados dos alunos. Pelo contrrio, os resultados do sistema de bonificao de So Paulo de 2010, em que o nmero de professores beneficiados e o volume pago de
165
bnus foram menores que em 2009, sugere que o sistema de bonificao no uma ao suficiente para promover a melhoria dos resultados dos alunos em curto prazo. Tambm no h evidncias seguras de que os sistemas de incentivos causem os danos colaterais da gravidade sugerida pelos crticos da poltica. H razes para acreditar que, no caso brasileiro, esses danos colaterais talvez no sejam to graves justamente pela natureza da poltica de responsabilizao em jogo. Onde a responsabilizao traz possveis consequncias muito negativas para os professores, incluindo o fechamento da escola e a consequente perda de emprego, o nvel do risco de no se alcanar a meta muito alto, o que pode provocar os comportamentos vistos como destrutivos tanto tica quanto pedagogicamente. Por outro lado, quando a poltica de responsabilizao se fixa no pagamento de prmios de bonificao que possam atingir at a maioria dos professores, a nica consequncia negativa da poltica o no-recebimento do bnus. Em um regime em que o nvel salarial dos professores considerado adequado, com no caso de Esprito Santo, o norecebimento do bnus pode ser encarado com maior tranquilidade. Os embates ideolgicos que caracterizam o campo, e que tambm explicam por que a bibliografia continua incapaz de decantar algum consenso, indica que a formulao de novas polticas e a reformulao de polticas existentes ser mais uma questo de f do que de cincia. Sendo assim, me permito duas suposies. A primeira que, quanto mais se avana no sistema em termos do ano escolar e idade dos alunos, maior a dificuldade em relacionar a atuao dos professores aos resultados dos alunos e mais tnues os sistemas de incentivos. Por isso, ser sempre mais difcil criar prmios que faam sentido para os professores do Ensino Mdio ou os ltimos anos do Ensino Fundamental. Pelo mesmo raciocnio, ser mais provvel encontrar evidncia de algum impacto de um sistema de premiao nos primeiros anos do Ensino Fundamental. Nesses anos, mais fcil o professor sentir que sua atuao far alguma diferena no nvel de desempenho absoluto dos alunos. A segunda suposio que, quanto menor o piso salarial e maior a insatisfao dos professores com seus salrios, menor a probabilidade de o incentivo salarial produzir os efeitos desejados. Enquanto o incentivo seja visto com um remendo ou
166
uma tentativa disfarada de oferecer o salrio que o professor reivindica, a sua lgica como prmio fica prejudicada, e sua capacidade de provocar o tipo de atuao colaborativa pretendida, ainda mais remota. Isso significa que no propriamente o tamanho do incentivo que faz a diferena, seno a distncia entre o salrio recebido e o salrio visto como merecido. Independentemente do nvel salarial efetivamente recebido, o fato de os professores de Esprito Santo estarem mais satisfeitos com seus contracheques proporcionar um futuro mais promissor poltica de incentivo naquele estado do que em So Paulo.
167
6.6
Como Componente da Poltica de Avaliao Docente
O sistema de avaliao docente implantado no Chile em 2004 e extensivo a todos os professores de sala de aula das escolas pblicas municipais faz uso de informaes de quatro fontes sobre a prtica do professor. A planilha de autoavaliao conta 10% da nota final, o portflio organizado pelo prprio docente conta 60%, a entrevista com um professor avaliador, 20%, e o informe fornecido pelo superior hierrquico os 10% restantes. Ou seja, mesmo no pas que foi pioneiro na implantao de um sistema de avaliao escolar baseado nos resultados dos alunos, no h previso para o uso desse tipo de informao na avaliao de desempenho individual a que so submetidos os professores chilenos para efeitos de classificao de competncia. A razo por essa restrio no uso dos resultados dos alunos tem relao com duas caractersticas fundamentais das informaes produzidas pelos sistemas de avaliao externa. A primeira a sua incapacidade de mostrar o quanto o rendimento dos alunos em determinada disciplina e ano se deve atuao do seu professor. Sem tomar em considerao o ponto de partida dos alunos que compem a turma do professor, no legitimo atribuir o ponto de chegada ao esforo e competncia dele. Quanto mais alta a srie escolar, mais o desempenho do aluno se deve a seus professores e a suas experincias em anos anteriores. E, em um sistema educacional que atende a alunos de diversas origens sociais, o uso de informao sobre a proficincia dos alunos para medir o desempenho individual do docente pode levar a classificaes que devem muito mais s caractersticas dos alunos do que s dos professores. A segunda caracterstica, j discutida em relao aos incentivos salariais, que os sistemas de avaliao externa nunca aplicam testes para todas as disciplinas a todos os alunos em todos os anos. Isso significa que no h informao de desempenho dos alunos para todos os professores. Tipicamente os professores das disciplinas ligadas s artes e esporte so excludos, como so os professores das outras disciplinas nas sries intermedirias. Ao mesmo tempo, a pesquisa sobre eficcia escolar mostra que o
168
desempenho dos alunos influenciado por diversos outros fatores escolares, alm do professor, que incluem a qualidade dos materiais curriculares, o tamanho da turma, o clima da escola e outras condies que afetam a aprendizagem. Em escolas que prezam a colaborao entre os professores, atribuir o desempenho acadmico dos alunos em determinada disciplina a um nico professor, mesmo que seja o responsvel pela disciplina, tambm pode levar a erros. Para tentar evitar esses problemas, e produzir uma medida que capte de maneira mais fidedigna a contribuio do professor para a aprendizagem dos alunos, vrios estados norte-americanos tm empregado modelos estatsticos de valor agregado (VA) para mostrar o crescimento do desempenho em determinado ano escolar mediante a comparao de duas avaliaes (BAKER et al., 2010; GLAZERMAN et al., 2010). Em resposta falta de eficcia das polticas tradicionais e incentivada pelo governo Obama, muitos estados esto comeando a determinar no s o pagamento de professores individuais com base nessas medidas do valor agregado aos resultados dos alunos mas tambm a sua situao funcional, incluindo a continuidade dos seus contratos. H a esperana nesses lugares de que os incentivos tornem os professores mais eficazes e os professores menos eficazes deixem a profisso. O problema que nem os modelos VA resolvem as dificuldades metodolgicas. Por exemplo, as estimativas da produtividade ou eficcia dos professores usando VA se mostram muito instveis. Dependendo do ano, da turma estudada ou do modelo estatstico usado, a classificao do professor pode variar significativamente. Um estudo em cinco distritos escolares urbanos em San Diego, Califrnia, mostra que, dos 20% de professores classificados como os mais eficazes no primeiro ano, menos de um tero estava no mesmo grupo no segundo ano e outro tero estava no grupo dos 40% menos eficazes (KOEDEL; BETTS, 2007). Outro estudo que correlacionou os VAs de dois anos seguidos de professores na Flrida encontrou ndices de correlao muito modestos entre 0,2 e 0,3 (SASS, 2008). Ambos os resultados contrariam a ideia de que a qualidade ou a eficcia do professor sejam uma caracterstica que muda pouco com o tempo.
169
Nesses casos, a instabilidade seria consequncia de mudanas nas caractersticas das turmas e outros fatores dentro e fora da escola que influenciam a aprendizagem dos alunos. Mesmo quando so empregados mtodos para ajustar por diferenas nas caractersticas demogrficas e econmicas dos alunos e nas condies das escolas, os professores de alunos de nvel socioeconmico mais baixo recebem classificaes mais baixas. Portanto, a distribuio no aleatria de alunos entre escolas e professores e a grande variao na experincia dos alunos em casa e na escola significa que no h como comparar o mrito dos professores com base nos resultados das suas turmas, mesmo quando se usam modelos que supostamente controlam caractersticas dos alunos. Faz sentido, portanto, que no haja quase registro no Brasil de uso de resultados de avaliaes externas para organizar polticas de incentivo salarial que faam distines entre os professores de uma mesma escola e muito menos para tomar decises sobre a situao funcional dos professores. As nicas excees so o sistema de avaliao de desempenho individual de Minas Gerais e uma poltica de curta durao do Distrito Federal para decidir sobre a reconduo de diretores escolares com base na mdia de desempenho da escola. No caso do Distrito Federal, o uso da mdia da escola no Siade foi uma deciso ad hoc para facilitar a reconduo de uma parte dos diretores e vice-diretores de escola. As equipes gestoras eleitas em 2007 que ainda permaneciam em seus cargos poderiam ganhar mais dois anos de mandato em 2009 se as comunidades escolares os reelegessem. Para isso, as escolas dirigidas por elas precisavam ter um bom desempenho do Siade 2009, realizado em outubro desse ano. Se o desempenho dos alunos no fosse melhor em relao aos resultados de 2008, essas equipes obrigatoriamente teriam que participar de novo processo seletivo no final de 2010. Caso os ndices fossem alcanados, a equipe poderia permanecer na direo da escola por mais dois anos. Portanto, os resultados dos alunos foi um critrio definitivo para determinar a durao do perodo de gesto do diretor. A partir da implantao em 2009 de um sistema de Avaliao da Gesto Compartilhada e da Gesto Escolar Regimental, como parte do sistema de avaliao
170
das instituies educacionais do DF, a Secretaria fica de posse de checklist extenso de indicadores sobre o funcionamento de todas as escolas com base nas informaes prestadas online pelos diretores. Esses indicadores vo desde a implantao da proposta pedaggica da escola at os processos participativos das instancias colegiadas, passando por uma bateria de parmetros para a gesto compartilhada e desempenho escolar. Nessa ltima categoria, esto includas as taxas de aprovao, promoo, evaso, distoro idade-srie e tambm a variao do Ideb de 4 e 8 sries e a relao entre a avaliao escolar dos alunos e a avaliao do Siade (indicador 2B23). A presena desses indicadores sinaliza a importncia dos resultados no conjunto de critrios da boa gesto e provavelmente dispensa o uso da mdia no Siade em decises futuras sobre a reconduo da equipe escolar. No caso de Minas Gerais, por outro lado, o uso de informao sobre o desempenho dos alunos na avaliao anual dos docentes tem todas as caractersticas de uma poltica permanente. Mesmo sendo s mais uma informao entre muitas nas mos dos avaliadores, valendo no mximo 10% no conjunto de critrios empregados, fica evidenciado o interesse das autoridades em colocar o foco nos resultados e responsabilizar os professores pela aprendizagem dos alunos. A Avaliao de Desempenho Individual (ADI) realizada todo ano por uma comisso avaliadora de cinco integrantes. Os avaliadores levam em considerao cinco critrios ao analisar o professor regente, como mostrado no Quadro 2.: Desenvolvimento Profissional, Relacionamento Interpessoal, Compromissos
Profissional e Institucional e Habilidades Tcnicas e Profissionais. Cada critrio composto de dois a nove indicadores, tendo peso 1 ou 2, o que permite aumentar ou diminuir a relevncia do indicador na composio da pontuao final. O ltimo indicador do quarto critrio especifica que [O professor] obtm bons resultados de aprendizagem de seus alunos evidenciados pelas avaliaes internas, realizadas pela escola, e por avaliaes externas. Valendo at 5 pontos, mas com peso 2, esse indicador pode contribuir com at 10% da pontuao total do professor, dependendo da opinio dos avaliadores.
171
Essa avaliao high stakes para o professor, na medida em que a progresso horizontal ou vertical na carreira s permitida para quem recebeu uma avaliao igual ou superior a 70%. Por exemplo, quem obteve um diploma de ps-graduao, mas no atingiu a nota mnima no ADI, fica impedido de ocupar o nvel correspondente ao novo ttulo. E, com duas avaliaes seguidas inferiores a 70% ou com quatro em dez avaliaes abaixo desse limite, o professor exonerado do cargo. At o presente, mais de 400 professores j foram exonerados por esse motivo. Esse sistema de avaliao docente formaliza um critrio usado pela Secretaria cinco anos atrs para exonerar um nmero grande de professores alfabetizadores. Uma resoluo publicada em 2006 impediu a renovao dos contratos de professores eventuais em escolas com mais de 30% de alunos no alfabetizados de acordo com a avaliao do Proalfa. O gestor responsvel pela poltica no tem dvida de que levar em considerao os resultados dos alunos na hora da avaliao individual contribui para incentivar os professores: O resultado do aluno o negcio que mais pesa na pontuao e tem vrias fontes. A comisso pode olhar vrias coisas e o professor pode dar a sua explicao. [...] Onde tem Proeb [...] e Paae que so do Estado [a comisso] pode olhar esses resultados todos. [...] E o que qu isso tem a ver com estmulo? Tem a ver o seguinte; a condio para voc ser promovido na carreira que voc tem avaliao de desempenho positivo. (Gestor; SEE/MG) Uma gestora da Secretaria de Educao de Pernambuco mostrou entusiasmo com uma poltica de avaliao docente para efeitos de promoo na carreira que tambm incorpora critrios relacionados ao desempenho dos alunos: [...] vai ter [...] um sistema de informao. Ele vai ser em cima do resultado do aluno, do tempo de ensino, do cumprimento do programa de ensino e do resultado do Saepe. [...] o projeto j est desenhado. E por sua vez o plano de carreira vai prever, porque ele j prev avaliao de desempenho. A avaliao de desempenho vai ter tambm um link com o resultado do
172
desempenho do aluno. Tudo nosso em funo do desempenho do aluno. (Gestora: SEE/PE) A poltica ainda no foi implantada e no se sabe se haver tentativas por parte da Secretaria de Pernambuco de incorporar medidas de valor agregado para torn-la mais palatvel. Mesmo nesse caso, se existe qualquer reflexo por parte dos professores sobre as imprecises e instabilidades inerentes avaliao docente, pode-se prever um grau merecido de resistncia nova poltica.
173
Quadro 2. Ficha de Avaliao Individual. Secretaria de Educao de Minas Gerais
ESTADO DE MINAS GERAIS SECRETARIA DE ESTADO DE EDUCAO
TERMO DE AVALIAO - PARTE II ANEXO V - INSTRUMENTO DE AVALIAO Servidor: ______________________________________________ Masp: _________ Cargo/Disciplina: ________________________________________ N adm.: ________ Escola Estadual:________________________________________ Cd.: _________ Lotao _________________________Perodo/Etapa: ___/___/____ a ___/___/____
Cargo: Professor da Educao Bsica PEB CRITRIO I - DESENVOLVIMENTO PROFISSIONAL Participa de grupos de estudos, reunies pedaggicas, cursos, eventos e palestras disponibilizados pelo sistema; estuda e se 1 orienta pelos materiais institucionais da SEE e outros. 2 Compartilha conhecimentos, informaes, dificuldades, solues e prticas exitosas que agregam valor ao trabalho. SUBTOTAL - 15 pontos 1 a 5 pts. Peso Total
174
CRITRIO II - RELACIONAMENTO INTERPESSOAL Relaciona-se cordialmente com todos do seu ambiente de trabalho e com o pblico em geral, cumpre as normas legais e as 1 decises pactuadas ou emanadas das instncias hierrquicas, agindo segundo os princpios ticos que norteiam a administrao pblica. Respeita a diversidade, adotando prticas inclusivas e ticas no relacionamento com a comunidade e com os alunos em sala de 2 aula. Participa do trabalho de equipe e das aes da escola que envolvem interao com as famlias e alunos, contribuindo para o 3 desenvolvimento das atividades de aprendizagem, recreao e convivncia. SUBTOTAL - 15 pontos CRITRIO III - COMPROMISSOS PROFISSIONAL E INSTITUCIONAL Cumpre com responsabilidade suas atribuies e atende as normas da administrao pblica relativas assiduidade e 1 pontualidade. 2 3 Participa de projetos e aes coletivas e da realizao das avaliaes internas e externas da aprendizagem dos alunos. Zela pela conservao de todo o patrimnio pblico da instituio. SUBTOTAL - 20 pontos CRITRIO IV - HABILIDADES TCNICAS E PROFISSIONAIS Planeja seu trabalho, participa da construo do Projeto Pedaggico da escola, elabora e executa o planejamento didtico anual e 1 planos de aulas observando as diretrizes curriculares estaduais. Analisa e utiliza os resultados de avaliaes internas e externas para diagnosticar os nveis de aprendizagem dos alunos, avaliar a 2 eficcia do ensino e implementar intervenes pedaggicas, quando necessrio.
1 a 5 pts.
Peso
Total
1 a 5 pts.
Peso
Total
1 1
1 a 5 pts.
Peso
Total
175
Facilita a aprendizagem utilizando materiais didticos e processos pedaggicos que estimulam e desafiam os alunos na superao 3 das dificuldades. Apresenta aos pais ou responsveis os resultados das avaliaes de aprendizagem e os indicadores do desenvolvimento do aluno 4 e busca caminhos para superar dificuldades identificadas. Desenvolve eficiente gesto de sala de aula, cria ambiente propcio ao desenvolvimento da aprendizagem e de relaes humanas 5 saudveis, orienta os alunos quanto necessidade de organizao, limpeza e conservao dos equipamentos, mobilirio e do prdio escolar. Cria novas oportunidades de aprendizagens e avaliaes para os alunos com desempenho insatisfatrio, para que todos possam 6 aprender efetivamente o que foi ensinado. Compromete-se com a aprendizagem de todos os seus alunos, esclarecendo dvidas, orientando e corrigindo, individual e 7 coletivamente, os trabalhos escolares e deveres de casa e presta atendimento diferenciado aos alunos com mais dificuldades. Apresenta atitude positiva em relao capacidade de aprendizagem dos alunos e capaz de reconhecer talentos e de promover 8 o desenvolvimento da autoconfiana e autoestima. Obtm bons resultados de aprendizagem de seus alunos evidenciados pelas avaliaes internas, realizadas pela escola, e por 9 avaliaes externas. SUBTOTAL - 50 pontos PONTUAO TOTAL 2 1 1 1 1 1 1
176
6.7
Para a Certificao de Alunos e Escolas
Diferentemente de outros pases, os responsveis pela criao dos sistemas estaduais de avaliao no cogitam usar os resultados como um critrio para a aprovao dos alunos. Mesmo na srie final do Ensino Mdio, quando os alunos concluem o ensino bsico e saem do mbito do sistema estadual de ensino, a aprovao dos alunos determinada exclusivamente pela escola, com base em avaliaes realizadas pelos professores. Em outros pases, comum o emprego de avaliaes externas para decidir se o aluno est apto para receber o diploma de Ensino Mdio ou dar nota de acordo com o nvel de aprendizagem alcanado nas diferentes matrias que compem o currculo nesse nvel de ensino. A vantagem sempre citada para a criao de parmetros externos para a avaliao dos alunos diz respeito ao estabelecimento de um padro nico e a garantia de equivalncia do significado do diploma em diferentes lugares e tempos. Na ausncia desse padro, podem existir diferenas significativas entre os critrios de diferentes escolas e entre os critrios da mesma escola em diferentes anos. As autoridades ficam sem parmetro para a comparao das escolas e as escolas sem uma medida clara dos seus resultados. Os esforos recentes de promover mudanas na qualidade da Educao tanto nos Estados Unidos como na Inglaterra tm como critrio-chave os resultados das escolas calculados baseados nas taxas de diplomao dos alunos ou nas notas dos alunos nas matrias que compem o certificado de Ensino Mdio. Nesses pases, o aluno se submete as avaliaes externas por ser o nico meio de garantir o diploma ou certificado de Ensino Mdio e de se habilitar para o processo de seleo ao Ensino Superior. H diversas razes histricas e estruturais para a no-utilizao dos sistemas estaduais de avaliao implantados a partir da dcada de 1990 para a certificao de alunos ao final do Ensino Mdio, incluindo a autonomia dos sistemas estaduais e municipais e a autonomia das prprias escolas. H tambm restries de natureza mais tcnica devido incapacidade dos instrumentos de avaliao externa usados nesses sistemas de oferecer uma viso completa do rendimento de cada aluno. Sem
177
um instrumento de avaliao capaz de aferir o nvel alcanado por cada aluno em cada uma das competncias e habilidades que compem o currculo do Ensino Mdio, torna-se indispensvel o processo avaliativo interno respaldado pelo conhecimento do aluno pelos seus professores. Nos primeiros anos de escolarizao, a restrio ao uso da avaliao externa pode ser superada pelo fato de o currculo para esse perodo ainda ser pouco extenso. Na medida em que o aluno progride dentro do sistema, a aprendizagem se torna cada vez mais abrangente, ficando cada vez mais difcil capt-la com um nico instrumento de avaliao. A matriz de referncia para cada rea curricular vai aumentando com o acrscimo de novos elementos e o aprofundamento dos elementos j introduzidos. Por esse motivo, a partir da 4 srie, os sistemas de avaliao do Saeb e dos estados trabalham com diversas verses paralelas do mesmo teste, compostas por itens diferentes, mas equivalentes. Com a aplicao dos diferentes testes a diferentes subconjuntos de alunos da mesma srie, consegue-se aplicar um nmero maior de itens e abraar uma parte maior do currculo. Quando somados os resultados dos diferentes subconjuntos, obtm-se um panorama da situao de toda a populao de alunos sem ter exigido demais de cada aluno. Se fosse para aplicar ao mesmo aluno todas as questes necessrias para cobrir o currculo, o teste se tornaria extenso demais, inviabilizando sua aplicao em um nico perodo escolar. O nico caso em que foram usados os resultados de uma avaliao externa para determinar a progresso de alunos individuais foi em So Paulo no ano de 2001. Nesse caso, porm, no foram os alunos do final do Ensino Mdio, mas alunos de 4 e 8 sries que foram promovidos ou retidos com base nos resultados do Saresp. A experincia foi polmica por diversas razes, incluindo o problema de usar um instrumento no desenhado para a avaliao de indivduos. Outro problema foi o fato de os alunos no saberem de antemo que os resultados seriam usados com essa finalidade. Pelo fato de o Saresp ser um instrumento de monitoramento, sem consequncias para os alunos, estes nem sempre levam os testes a srio e podem ter sido prejudicados na ocasio por no responderem s questes com o devido cuidado.
178
A criao e a consolidao do Enem como um exame certificador para os alunos que querem continuar seus estudos mostram que algumas das restries histricas sobre a avaliao externa ao final do Ensino Mdio foram superadas. Ao mesmo tempo, o Enem mostra que, quando a matriz de referncia da prova definida mais com base em competncias e menos em termos de conhecimentos curriculares, possvel criar um instrumento capaz de medir o nvel alcanado por cada aluno. O que o Enem nunca fornecer uma medida da qualidade da escola onde os alunos estudaram. Apesar de ser muito usada com essa finalidade, a mdia dos resultados dos alunos de determinada escola no indica a qualidade da escola porque os alunos que fazem a prova no representam nem a totalidade nem uma amostra representativa dos egressos daquela instituio. A falta de correspondncia exata entre a matriz de referncia e o currculo das escolas e o fato de estas atenderem a populaes bastante diferenciadas seriam outras razes para no confiarem nos resultados do Enem como um indicador de qualidade da instituio. A nica avaliao externa em condies de fornecer essa indicao, aps modificaes, seria a avaliao estadual. Por enquanto, porm, ainda no h sinal de interesse nesse sentido por parte dos gestores estaduais. As mudanas necessrias seriam bastante radicais, incluindo a reformulao da legislao sobre a organizao do ensino para permitir a exigncia de nota mnima na avaliao estadual para a finalizao do Ensino Mdio. Com os problemas atuais de fluxo nesse nvel de ensino, representados pelas altas taxas de abandono, dificilmente um gestor criaria mais algum impedimento finalizao do curso e diplomao do aluno. A necessidade de reorganizar a matriz de referncia do 3 ano e seu impacto sobre o currculo dos anos anteriores tambm representariam um desafio difcil de superar, a no ser mediante a utilizao de provas anuais ao longo do Ensino Mdio. Mas, dadas as grandes disparidades de qualidade no interior dos sistemas e as diferenas entre as escolas pblicas e privadas, mesmo esta soluo seria pouco atrativa por deixar em evidncia a grande desvantagem educacional de alunos mais desfavorecidos, do ponto de vista da origem social e econmica. At o sistema implantar uma qualidade de ensino mais homognea e oferecer oportunidades reais de avano aos alunos mais pobres, uma
179
avaliao
estadual
seletiva,
com
funes
certificatrias,
seria
considerada
extremamente antidemocrtica. O nico exemplo encontrado de uso dos resultados dos alunos para efeitos de certificao no trata de decises sobre alunos, mas sobre escolas, no caso as escolas privadas do Distrito Federal. Essa situao se deriva do fato da Secretaria de Educao do DF ser o rgo responsvel pela autorizao de funcionamento das escolas privadas e pela sua recertificao como estando aptas para continuarem em funcionamento depois de cinco a dez anos, dependendo do tipo de escola. No ano anterior ao vencimento da sua autorizao, as escolas privadas candidatas recertificao so automaticamente inscritas entre as escolas a serem avaliadas pelo Siade. Outras escolas privadas podem se inscrever voluntariamente para essa mesma avaliao mediante o pagamento dos custos. A ideia da Secretaria era comparar os resultados da escola privada durante dois anos seguidos para determinar se ela mantinha o mesmo nvel de qualidade: Quando ela for recredenciar, ela vai ser avaliada antes para [poder] comparar se ela melhorou mesmo ou no, at para dizer se ela vai ser recredenciada ou no, em cima de um resultado do Siade. (Tcnico: SEE/DF) No havia informaes disponveis para verificar o impacto dessa poltica em termos do nmero de escolas privadas avaliadas nem se havia escolas impedidas de funcionarem com base nos seus resultados. Suspeita-se que a poltica foi divulgada mais para alertar as escolas privadas do interesse da Secretaria em promover a melhoria dos resultados do que para fechar escolas com crescimento de desempenho aparentemente insatisfatrio. Essa concluso deriva do fato de que tomar a deciso sobre o funcionamento de uma escola com base no crescimento da mdia dos alunos para um nico ano escolar seria uma temeridade. Por no levar em considerao as flutuaes naturais nessa mdia, nem as taxas diferenciadas de crescimento de acordo com o nvel absoluto de desempenho da escola, a medida no oferece o rigor necessrio para uma deciso high stakes de tamanha importncia.
180
181
7.
Consideraes Finais O estudo teve como propsito descrever e refletir sobre as diferentes polticas de
gesto empreendidas pelas Secretarias de Educao dos estados e dos municpios maiores com base em seus sistemas prprios de avaliao educacional. Para essa finalidade, foi elaborado um esquema classificatrio e foram levantadas informaes primrias e secundrias sobre diversos exemplos para permitir uma discusso dos provveis impactos dessas polticas no novo cenrio da gesto educacional. A primeira constatao da pesquisa da diversificao e progressiva sofisticao nas metodologias empregadas pelas secretarias estaduais e municipais na utilizao dos resultados das avaliaes para a tomada de decises. O aumento no nmero e na competncia tcnica dos mtodos dos sistemas estaduais, concomitante com a melhoria nos sistemas de informao, tem contribudo para essa disseminao. Outras contribuies advm da incorporao pelos governos estaduais de um novo modelo de gesto pblica, voltado para o controle dos resultados dos servios oferecidos populao, e da liderana do MEC e de organizaes da sociedade civil na criao de um consenso nacional sobre a importncia dos resultados das avaliaes externas como uma medida da qualidade do ensino e como parmetro para o progresso da Educao brasileira em direo a uma equiparao com os pases desenvolvidos. A criao de um indicador prprio, tipo Ideb, por um nmero cada vez maior de estados, indicativo dessa nova abordagem para a poltica de monitoramento dos servios pblicos e da disposio de empregar os resultados da avaliao na formulao de novas polticas, como a da responsabilizao. Nesse novo contexto, no surpreende descobrir que em 2007 quase 60% de uma amostra da populao da periferia de So Paulo j tinha conhecimento da existncia do Saresp (OLIVEIRA; GUEDES, 2010). Confirmando a diversificao nos usos da avaliao, foram identificadas sete categorias de polticas de gesto que se fundamentam nos resultados dos alunos e das escolas. Na maioria dos casos, e em determinadas condies, essas polticas podem ser entendidas como contribuies importantes para a melhoria da qualidade da Educao. Em outros casos, porm, notadamente no uso dos resultados dos alunos
182
como um componente da poltica de avaliao docente e para a certificao de alunos e escolas, observa-se o emprego desavisado das avaliaes para a tomada de decises que precisam de informaes bem mais confiveis e de fontes diversas. A discusso sobre o uso da avaliao para formular polticas de responsabilizao high stakes mostra a necessidade de fazer distines entre o contexto educacional brasileiro e o contexto dos pases onde foi realizada a maior parte das pesquisas sobre os efeitos dessas polticas. A primeira distino a fazer que nos outros pases os critrios usados para determinar a qualidade da escola e, com base nessa avaliao, fixar consequncias como o pagamento de bnus salarial, podem ser de vrios tipos. Nos Estados Unidos estes incluem o progresso da escola de acordo com as metas estaduais e as ameaas de sanes estipuladas pela legislao NCLB, e tambm os resultados dos alunos em termos de desempenho e taxa de diplomao ao final do Ensino Mdio. Essa diplomao representa uma conquista para os egressos do Ensino Mdio que vai determinar o curso de sua vida futura e no difcil imaginar o empenho dos professores em elevar as chances de seus alunos de passarem nos Exames Obrigatrios de Sada de Ensino Mdio (Mandatory High School Exit Exams). O interesse dos pais e das autoridades educacionais tambm intenso, sobretudo depois do monitoramento pblico dos resultados das escolas. O professor pode enxergar na taxa de sucesso dos seus alunos a medida de sua prpria capacidade profissional, alm de se sentir pessoalmente responsvel caso os resultados no forem os melhores. No contexto norte-americano, as consequncias caso a escola no alcance as metas propostas tambm podem ser extremas. Com uma legislao federal que exige que cada escola demonstre um progresso anual adequado em direo s metas estipuladas para o ano 2014 para todos os grupos tnicos e uma legislao estadual que pode determinar a remoo de alunos e at o fechamento de escolas caso o progresso no se materializar, os professores tm motivos de sobra para se preocupar com os resultados dos alunos. Nesse contexto e sob essa presso, possvel que acontea tudo aquilo que os crticos da accountability high stakes arrolam como os efeitos colaterais negativos. A literatura fala do estreitamento do currculo, do ensino voltado para o ensaio de
183
contedos previstos para os testes, da perda da autonomia e do esprito de colaborao entre docentes e de condutas, incluindo as tentativas de falsear os dados das avaliaes, que mostram uma deturpao do comportamento tico esperado dos educadores. Mas, pelas presses a que esto sujeitos e por agirem na condio de pessoas que podem fazer a diferena para a vida dos alunos, difcil culpar os professores pelas atitudes tomadas. No contexto brasileiro, as polticas de responsabilizao que recaem nos ombros dos professores no dizem respeito ao futuro de seus alunos e no envolvem os pais. Tambm no h riscos para as escolas que envolvem o fechamento de estabelecimentos e a perda de emprego dos membros da equipe. Nas palavras de Afonso, so formas parcelares de accountability e, portanto, incompletas (AFONSO, 2009). No deixa de ser verdade que, quanto melhores os resultados dos alunos, melhores suas chances na vida, mas essa equao no tem a mesma urgncia em um sistema que diploma todos os alunos que sobrevivem at o final do ciclo e que jamais discriminaria as escolas com os piores resultados. No caso brasileiro, as avaliaes dos alunos que so usadas para determinar se as escolas cumpriram suas metas ou alcanaram um patamar de desempenho considerado satisfatrio representam muito pouco para os alunos. Pelo contrrio, h evidncias de que os alunos fazem to pouco caso dos testes que, quando se criam consequncias, como os laptops e as bicicletas para os alunos de Ensino Mdio do Cear e do Rio de Janeiro, respectivamente, a mudana no empenho dos alunos to radical que altera por completo a base de comparao. Nessa situao, o professor no assimila o drama dos alunos nem consegue transferir para eles a sua preocupao em relao aos resultados dos testes. O que est em jogo nesses casos no so as consequncias para os sujeitos principais da Educao, os alunos, mas o nvel de recompensa dos professores. Em vez de ser a prpria definio do objeto de seu trabalho, pelas consequncias para os alunos, a motivao para a melhoria nos resultados se torna uma decorrncia do nvel de preocupao do professor em melhorar seu salrio. Talvez por esse motivo, ainda no existam evidncias claras para os efeitos negativos das polticas de responsabilizao no Brasil. Tambm no h evidncias, a
184
no serem anedotas, que os incentivos efetivamente motivam os professores a produzirem resultados melhores. Com base em trs argumentos, chega-se concluso de que no contexto brasileiro as polticas de responsabilizao formuladas em termos de incentivos salariais podem ser incuas no que se refere ao seu objetivo primordial de melhorar a qualidade do ensino. O primeiro argumento deriva da pesquisa que mostra que os esquemas de incentivos coletivos podem impactar a assiduidade dos professores, mas dificilmente alteram sua forma de ensinar. Essa concluso no de difcil compreenso dado o fato de que o pagamento coletivo sai ou para todos os membros da equipe ou para ningum da equipe. Isso dificulta o trabalho do professor que quer receber o bnus, mas que no tem com quem aprender para mudar seu ensino. E, mesmo motivado, o professor s receber o bnus se a escola inteira se interessar pelo mesmo objetivo. Pesquisa chilena tende a mostrar que as escolas que no recebem o bnus dificilmente passam a receber em anos posteriores. Ou seja, o bnus s premia quem j tem resultados melhores. O segundo argumento a falta de evidencia sobre a relao entre a assiduidade do professor e o desempenho dos alunos. Se for verdade que os sistemas de incentivos podem influenciar positivamente a assiduidade dos professores, no sentido de coibir as faltas excessivas, que caracterizam os sistemas pblicos, seria natural pressupor um impacto positivo sobre a aprendizagem dos alunos. No entanto, essa relao relativizada por diversos elementos, incluindo o desempenho dos professores substitutos, o desempenho do professor titular quando presente e a falta de critrio no controle das faltas. Ainda no sabemos se a melhoria na assiduidade conduz de fato a uma melhoria nos resultados dos alunos. O terceiro argumento tem relao com o currculo. Para o accountability funcionar, precisa-se de quatro elementos, segundo Corvaln: informao (sobre o desempenho dos alunos), autoridade (para definir os critrios), consequncias (em termos de prmios e castigos) e padres (em termos do significado pedaggico das metas) (CORVALN; MCMEEKIN, 2006). No caso brasileiro, os padres esto faltando. O professor no saberia qual a diferena entre 220 e 240 na escala de proficincia
185
usada pelo Boletim Pedaggico em termos dos contedos que ele precisa ensinar para chegar ao nvel de proficincia requerido. Essa falta de correspondncia entre os critrios empregados pelos sistemas de incentivos e a compreenso do seu significado em termos da aprendizagem dos alunos est na base da falta de progresso da maioria dos estados no uso dos resultados das avaliaes como material de apoio pedaggico. Se os sistemas de incentivos tiverem algum impacto, ele ser a consequncia da nfase colocada nas metas e nos resultados do ensino. Essa contribuio, que diz respeito a um novo iderio em relao aos objetivos finais do sistema educacional e do trabalho do professor, a expresso de um estilo de gesto que produz as polticas de incentivo salarial, mas que no precisa delas para existir. Em outras palavras, a importncia atribuda aos resultados uma mensagem implcita nas polticas de responsabilizao que pode ter sua prpria influncia na maneira de a escola enxergar seu papel. A outra contribuio diz respeito aos avanos na implantao dos novos currculos bsicos nos estados. Conforme discutido, as polticas de accountability tm sido usadas em outros lugares como uma estratgia para a implementao de reformas. Existe at a expresso evaluation-driven reforms para descrever o processo conhecido como backwash, em que as questes abordadas pelas avaliaes sinalizam no s os contedos cobrados mas tambm o tipo de ensino que deveria ser privilegiado. No caso dos estados que j optaram pela criao de currculos prprios e j estabeleceram uma nova correspondncia com as matrizes de referncia dos sistemas de avaliao, no h dvida de que esses sistemas funcionaro como porta-vozes do currculo bsico e que aceleraro a sua adoo. Se acharmos que a iniciativa dos estados de criar seus prprios currculos um passo na direo certa, a consequncia dos testes high-stakes deve ser levada em considerao. As dvidas ficam por conta dos possveis impactos colaterais negativos na autonomia e na criatividade dos professores de um currculo oficial fincado em contedos bsicos. Porm, no contexto brasileiro, a nossa aposta que os professores que se beneficiaro de um currculo estadual que no s estrutura os contedos mas tambm fornece sugestes didticas, representem a maioria.
186
Independentemente dos seus possveis efeitos, a pesquisa demonstrou o avano tcnico da segunda gerao de polticas de responsabilizao. Mesmo assim, pode-se observar a continuidade de determinados problemas, incluindo o uso de mdias de desempenho de um nico perodo escolar, a falta de medidas de equidade com base na distribuio dos alunos por faixa de desempenho e a falta de informao sobre o fator principal na explicao do desempenho dos alunos, ou seja, seus antecedentes socioeconmicos. Ainda no foi criado um sistema de responsabilizao que usa uma mdia mvel com base nas vrias medies anuais para diminuir as flutuaes inerentes s avaliaes. Tambm no foi testado o uso de modelos longitudinais para aferir o valor agregado das escolas por meio da montagem de bancos de dados e do acompanhamento dos mesmos alunos ao longo dos anos. Na falta desses avanos, observa-se que os estados esto tomando decises que inevitavelmente incluem e excluem escolas das diferentes categorias de premiao com base em erros de medio. A questo que a pesquisa no conseguiu resolver adequadamente diz respeito ao significado do movimento em direo formalizao do currculo bsico estadual. Como a implantao de um currculo no representa uma poltica de gesto baseada nos resultados da avaliao externa, a sua investigao escapou dos limites da pesquisa. No entanto, a relao entre os sistemas de avaliao e os currculos bsicos em processo de implantao em diversos estados merece a ateno dos pesquisadores. A reforma dos fundamentos das matrizes de referncia representa uma mudana importante na qualidade dos instrumentos da avaliao educacional e a esperana de um crculo virtuoso em que a avaliao externa passe a cumprir uma funo diagnstica de utilidade para o professor. O movimento dos currculos bsicos estaduais pode ser entendido como uma das consequncias da dificuldade em usar as informaes tradicionais fornecidas pelos Boletins e por outras estratgias de apoio pedaggico. Essa dificuldade atribuda s deficincias na formao dos professores, mas tambm falta de compreenso do significado pedaggico das proficincias e outras informaes providas pelas avaliaes. Em um primeiro momento, essa dificuldade encarada mediante um
187
esforo em explicar os resultados por meio de um detalhamento cada vez maior dos componentes tcnicos das avaliaes. Nesse momento, so introduzidas as explicaes sobre a escala de proficincia, a matriz de referncia e a relao entre determinados itens das provas e as habilidades que pretendem avaliar. Em um segundo momento, os responsveis percebem que o que faz falta uma explicitao dos contedos curriculares que esto sendo cobrados, descritos nos termos em que os professores esto acostumados a trabalhar. Com base nessa construo, mais ou menos estruturada em termos de contedos especficos, torna-se possvel criar um alinhamento compreensvel entre os objetivos do ensino, o currculo da escola e as matrizes do sistema de avaliao. Mesmo no sendo uma soluo instantnea pelas dificuldades dos professores na assimilao dos novos currculos, h certo consenso sobre as vantagens em criar uma sintonia nova entre os contedos, as expectativas de aprendizagem e a avaliao. Essa vantagem passa pela capacidade de dizer o que os itens das provas esto medindo e o que os alunos de determinada proficincia sabem ou no sabem ainda. Com isso, explica-se, finalmente, o significado da escala de proficincia e abre-se a possibilidade de padres ou expectativas de aprendizagem com base em referenciais curriculares, e no em faixas arbitrrias de desempenho.
188
8.
Referencias Bibliogrficas
ABRUCIO, F. L. Os avanos e os dilemas do modelo ps-burocrtico: a reforma da administrao pblica luz da experincia internacional recente. In: BRESSER PEREIRA, L. C. e SPINK, P., (ORGS.) (Ed.). Reforma do Estado e Administrao Pblica Gerencial. Rio de Janeiro:: FGV, v.7 ed., 2006. ABRUCIO, F. L.; GAETANI, F. Agenda, aprendizado e coalizo. In: FUNDAP, C. E. (Ed.). Avanos e perspectivas da gesto pblicas nos Estados. Braslia: CONSAD, 2006. ADRIO, T.; GARCIA, T. OFERTA EDUCATIVA E RESPONSABILIZAO NO PDE: O PLANO DE AES ARTICULADAS. Cadernos de Pesquisa, v. v. 38, n. n. 135, p. p. 779-796, set./dez. 2008 2008. Disponvel em: < http://www.scielo.br/pdf/cp/v38n135/v38n135a12.pdf >. Acesso em: 03/11/10. AFONSO, A. J. Polticas avaliativas e accountability em Educao - subsdios para um debate iberoamericano. Ssifo. Revista de Cincias da Educao, v. 09, p. pp 57-70, 2009. Disponvel em: < http://sisifo.fpce.ul.pt/?r=23&p=57 >. Acesso em: 08/10/10. AHN, T.; VIGDOR, J. The Impact of Incentives on Effort: Teacher Bonuses in North Carolina. Harvard2010. 2010. (PEPG 10-06) ALVES, F. Qualidade da Educao fundamental: integrando desempenho e fluxo escolar. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro., v. vol.15, n. n.57, p. pp. 525-541, 2007. Disponvel em: < http://www.scielo.br/scielo.php?script=sci_abstract&pid=S010440362007000400005&lng=en&nrm=iso&tlng=pt >. AMAZONAS. RELATRIO DE AO GOVERNAMENTAL. SNTESE 2003-2009. SEPLAN, S. D. E. D. P. E. D. E.-. Manaus: GOVERNO DO ESTADO DO AMAZONAS 2009. AMREIN, A.; BERLINER, D. The impact of high-stakes tests on student academic performance: An analysis of NAEP results in states with high-stakes tests and ACT, SAT, and AP test results in states with high school graduation exams. Education Policy Research Unit (EPRU), Education Policy Studies Laboratory, College of Education, Division of Educational Leadership and Policy Studies, Arizona State University, 2002. Disponvel em: < http://epaa.asu.edu/ojs/article/viewFile/297/423 >. ANDERSON, J. A. Accountability in education. Paris: IIEP/IAE, 2005. http://www.iaoed.org/files/Edpol1.pdf >. Disponvel em: <
ANDRADE, E. D. C. School Accountability no Brasil: experincias e dificuldades. Revista de Economia Poltica, v. 28, n. n 3(111), p. pp. 443-453, julho-setembro 2008. Disponvel em: < http://www.scielo.br/pdf/rep/v28n3/a05v28n3.pdf >. Acesso em: 05/10/10. APEOESP. Fax Urgente 2011. Disponvel http://apeoespsub.org.br/teste/Fax/Fax_2911.pdf >. Acesso em: 06/06/2011. em: <
ATKINSON, A. B., SIMON; CROXSON, BRONWYN; GREGG, PAUL; PROPPER, CAROL; SLATER, HELEN; WILSON,DEBORAH. Evaluating the impact of performance-related pay for teachers in England Labour Economics Elsevier B.V. 16: 251-261 p. 2009.
189
AU, W. High-Stakes Testing and Curricular Control: A Qualitative Metasynthesis. Educational Researcher, v. Vol. 36, n. No. 5, p. pp. 258-267, 2007. Disponvel em: < http://edr.sagepub.com/content/36/5.toc >. AYRES, S. Boletim da Escola: Diagnstico Multidimensional das Escolas do Paran. Ensaio, v. 11, n. 38 p. 33-44, 2003. BAKER, E. L. et al. Problems with the Use of Student Test Scores to Evaluate Teachers. The Economic Policy Institute Washington D.C. 2010. (Briefing Paper # 2 7 8) BALL, S. J. The Legacy of ERA, Privatization and the Policy Ratchet. Educational Management Administration and Leadership., v. Vol. 36 n. 2, p. 185-199, 2008. BAUER, A. Usos dos resultados das avaliaes de sistemas educacionais: iniciativas em curso em alguns pases da Amrica. Revista Brasileira de Estudos Pedaggicos. , v. v. 91, n. n. 228, p. p. 315-344, maio/ago. 2010 2010. Disponvel em: < http://www.rbep.inep.gov.br/index.php/RBEP/article/viewFile/1690/1341 >. BAUER, A. Avaliao do impacto de formao docente em servio: o programa Letra e Vida. 2011. 230 (Doutorado). Faculdade de Educao, USP, So Paulo. BRAUN, H. Reconsidering the impact of high-stakes testing. Education Policy Analysis Archives, v. 12, n. 1, p. 1-43, 2004. BROOKE, N. As perspectivas para as polticas de responsabilizao educacional no Brasil. . Cadernos de Pesquisa, v. 36, n. 128, p. pp. 377-401, 2006. ISSN ISSN 0100-1574. Disponvel em: < http://www.scielo.br/scielo.php?script=sci_issuetoc&pid=0100157420060002&lng=en&nrm=iso >. BROOKE, N. Responsabilizao Educacional no Brasil. http://www.rinace.net/riee/numeros/vol1-num1/art7.pdf. Acesso em (Data). Revista Iberoamericana de Evaluacin Educativa. 1: pp. 93-109 p. 2008. CAREY, K. The Pangloss Index: How States Game the No Child Left Behind Act. Washington, D.C: Education Sector 2007. CARNOY, M. et al. Las Limitaciones de Incentivos Salariales para Profesores Basados en Comparaciones Inter-Cohortes: El Caso del Programa SNED. Expansiva. 2004 CARNOY, M.; LOEB, S. Does external accountability affect student outcomes? A cross-state analysis. Educational Evaluation and Policy Analysis, v. 24, n. 4, p. 305, 2002. ISSN 0162-3737. Disponvel em: < http://epa.sagepub.com/content/24/4/305.full.pdf+html >. Acesso em: 07/01/2011. CARVALHO, G. F. D. S.; MACEDO, M. D. S. A. N. Avaliao oficial: o que dizem os mediadores da poltica pblica sobre o impacto na prtica docente. Estudos em Avaliao Educacional, v. vol.21, n. nmero 46, p. 253-270, maio/agosto 2010. ISSN 1984-932x. Disponvel em: < http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1577/1577.pdf >. CAVALIERE, A. M. Entre o Pioneirismo e o Impasse: A reforma paulista de 1920. So Paulo: Educao e Pesquisa, v. Vol 29, n. No 1, p. p.27-44, 2003.
190
CDEP. Comit em Defesa da Escola Pblica. http://www.adusp.org.br/PEE/PEE.rtf So Paulo 2006. CEAR. ANLISE DO USO DOS RESULTADOS DAS AVALIAES A PARTIR DOS PLANOS ESCOLARES E DOS PROGRAMAS MUNICIPAIS E SUAS ESTRATGIAS DE EFETIVAO. s.d. CLAD. La responsabilizacion en la nueva gestion publica latinoamericana. Buenos Aires: Eudeba, 2000. CONSED. Estudo sobre Avaliao da Educao e Valorizao do Magistrio. Consed. Brasilia. 2005 CORRA, D. Avaliao de polticas pblicas para a reduo da violncia escolar em Minas Gerais: o caso do Projeto Escola Viva, Comunidade Ativa. 2007. (Mestrado). Faculdade de Educao, Universidade Federal de Minas Gerais, Belo Horizonte. CORVALN, J.; MCMEEKIN, R. W. O. Accountability educacional: Rendicin de cuentas ms responsabilizacin por los procesos y resultados de la educacin. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability educacional: posibilidades y desafos para Amrica Latina a partir de la experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006. DANTAS, L. M. V. As Contribuies das Polticas de Avaliao Educacional em Larga Escala: o caso da avaliao de aprendizagem na Bahia. 2009. (Doutorado). Faculdade de Educao, Universidade Federal da Bahia, Salvador, Bahia. DISSIDNCIA. Gilberto Dimenstein e a bonificao dos professores. Dissidncia, http://www.andrekenji.com.br/weblog/?p=264 10/11/2006. 2006. Disponvel em: < http://www.andrekenji.com.br/weblog/?p=264 >. Acesso em: April 10th, 2006. DOS SANTOS, G.; DE AVILA, S.; SILVA, W. A qualidade da Educao na Amrica Latina. Revista da FACED. ISSN, v. 1980, p. 6620, 2010. Disponvel em: < http://74.125.155.132/scholar?q=cache:EvOWzXA6U4AJ:scholar.google.com/+PEC+Mexico&hl =pt-BR&as_sdt=2000 >. EBERTS, R.; HOLLENBECK, K.; STONE, J. TEACHER PERFORMANCE INCENTIVES AND STUDENT OUTCOMES. W.E. Upjohn InstituteAugust, 2000 2000 ECOSTRAT, C. I.-. AVALIAO DE IMPACTO DO PROJETO ESCOLA DO NOVO MILNIO - PENM 2008 ESPIRITO SANTO. Plano Estratgico Nova Escola. Vitria, ES: Secretaria da Educao 2008. FERRAZ, C. Sistemas Educacionais Baseados em Desempenho, Metas de Qualidade e a Remunerao de Professores: os Casos de Pernambuco e So Paulo. In: VELOSO, F. P., SAMUEL; HENRIQUES, RICARDO; GIAMBIAGI, FBIO (Ed.). Educao Bsica no Brasil: Construindo o Pas do Futuro. Rio de Janeiro: Elsevier, 2009. FERRER, G. Sistemas de Evaluacin de Aprendizajes en Amrica Latina: Balance y Desafos. Maro 2006, p.174. 2006 FIGLIO, D. N.; KENNY, L. W. Individual teacher incentives and student performance. National Bureau of Economic Research. Cambridge, Mass., p.26 p. 2006
191
FIGUEIREDO, J. PROJETO MINEIRO DE DESENVOLVIMENTO PROFISSIONAL DE EDUCADORES PDP: um estudo da formao continuada de professores. 2007. (Mestrado). Educao, PUCCampinas, Campinas. FONTANIVE, N. S.; KLEIN, R. Uma viso sobre o Sistema de Avaliao da Educao Bsica do Brasil - SAEB. Ensaio, v. 29, n. Vol.8, p. pp.409-439, Outubro-Dezembro 2000. FONTANIVE, N. S.; KLEIN, R. O EFEITO DA CAPACITAO DOCENTE NO DESEMPENHO DOS ALUNOS: UMA CONTRIBUIO PARA A FORMULAO DE NOVAS POLTICAS PBLICAS DE MELHORIA DA QUALIDADE DA EDUCAO BSICA. Revista Iberoamericana de Evaluacin Educativa, v. 3, n. 3, 2010. Disponvel em: < http://www.rinace.net/riee/numeros/vol3num3/art4.pdf >. FORMOSO JR, A. BUROCRATAS DE LINHA DE FRENTE E PRESSO POR RESULTADOS NA EDUCAO: Experincias Brasileiras em Governos Estaduais. 2009. 118 Dissertao (Mestrado) (Mestre em Administrao Pblica e Governo). ESCOLA DE ADMINISTRAO DE EMPRESAS DE SO PAULO, FUNDAO GETLIO VARGAS, SO PAULO. FRANCO, C. et al. Qualidade e eqidade em Educao: reconsiderando o significado de "fatores intra-escolares"*. Ensaio: Avaliao e Polticas Pblicas em Educao, Rio de Janeiro, v. vol.15, n. no.55, Apr./June 2007. Disponvel em: < http://www.scielo.br/pdf/ensaio/v15n55/a07v1555.pdf >. FRIEDMAN, M. O Papel do Governo na Educao. In: SOLO, R. A. (Ed.). Economics and the Public Interest. New Jersey: Rutgers University Press, 1955. p.1- 144. FUHRMAN, S. H. Redesigning Accountability Systems for Education. CPRE Policy Briefs. Graduate School of Education, University of Pennsylvania: Consortium for Policy Research in Education 2003. GAJARDO, M. Reformas Educativas na Amrica Latina. Balano de Uma Dcada. Documentos PREAL, v. No. 15,, 2000. Disponvel em: < www.preal.cl >. GARCIA-HUIDOBRO, J. E. Programa de las 900 Escuelas y Escuelas Crticas (Chile). Dos experiencias de discriminacin positiva. . Apresentao em Conferencia do Banco Mundial, Cartagena, Colmbia, outubro 9-11, 2006. , 2006. Cartagena, Colmbia. p.30. GATTI, B. A., , AO/, PP. 17-41 AVALIAO EDUCACIONAL NO BRASIL: PONTUANDO UMA HISTRIA DE AES EccoS revista cientfica, UNINOVE, So Paulo, Brasil, v. vol. 4, n. nmero 001, p. pp.17-41, junho 2002 Disponvel em: < http://www4.uninove.br/ojs/index.php/eccos/article/viewFile/291/280 >. GLAZERMAN, S. et al. Evaluating Teachers: The Important Role of Value-Added Brown Center on Education Policy. 2010 GOODMAN, S.; TURNER, L. Teacher Incentive Pay and Educational Outcomes: Evidence from the NYC Bonus Program. HarvardJune, 2010. 2010. (PEPG 10-07) GTEE/PREAL. LOS RANKINGS DE ESCUELAS COMO FORMA DE ENTREGAR INFORMACIN SOBRE CALIDAD EDUCATIVA. Boletn N17: 1-11 p. 2010a. ______. Qu est pasando en Chile con el SIMCE? Boletim Monografico No. 16 2010b.
192
HAERTEL, E.; HERMAN, J. L. A Historical Perspective on Validity Arguments for Accountability Testing. In: HERMAN, E. H. J. L. (Ed.). Uses and Misuses of Data for Educational Accountability and Improvement: 104th Yearbook of the National Society for the Study of Education. Malden, MA: Blackwell Publishing, v.Part II, 2005. p.1-34. HANEY, W. M. Evidence on Education under NCLB (and How Florida Boosted NAEP Scores and Reduced the Race Gap). Broad Seminar for K-12 Reporters, 2006. Grace Dodge Hall, Teachers College, Columbia University, New York City, Sept. 8-10, 2006. National Board on Educational Testing and Public Policy. HANUSHEK, E. A.; RAYMOND, M. E. Lessons about the Design of State Accountability Systems. In: PETERSON, P. E. e WEST, M. R. (Ed.). No Child Left Behind? The Politics and Practice of School Accountability. Washington, D.C.: The Brookings Institution, 2003. HASTINGS, J. S. W., JEFFREY. No Child Left Behind : estimating the impact on choices and student outcomes. NBER Working Paper No. 13009, Cambridge, Mass., p. 39 p., 2007. Disponvel em: < http://www.nber.org/papers/w13009 >. Acesso em: 06/09/2010. HERMAN, J. L.; HAERTEL, E. Uses and misuses of data for educational accountability and improvement. Malden, Mass., p. xvi, 383 p., 2005. HOUT, M.; ELLIOTT, S. W., Eds. Incentives and Test-Based Accountability in Education. National Research Council. Committee on Incentives and Test-Based Accountability in Public Education. Washington, D.C.: The National Academies Press, National Research Council. Committee on Incentives and Test-Based Accountability in Public Educationed. 2011. JACOB, B. A. ACCOUNTABILITY, INCENTIVES AND BEHAVIOR: THE IMPACT OF HIGH-STAKES TESTING IN THE CHICAGO PUBLIC SCHOOLS. NATIONAL BUREAU OF ECONOMIC RESEARCH. Cambridge, MA: June 2002. 2002 JOHNSON, D. D.; JOHNSON, B. High stakes : children, testing, and failure in American schools. Lanham, Md.: Rowman & Littlefield Publishers, 2002. xxi, 223 p. ISBN 0742517888 (cloth alk. paper) 0742517896 (pbk. alk. paper). KIRKPATRICK, D. L. Evaluating training programs: the four levels. So Francisco (EUA): BarrettKoehler, 1994. KLEIN, R. Como est a Educao no Brasil? O que fazer? Ensaio: aval.pol.pbl.Educ. Rio de Janeiro., v. vol.14, n. n.51, p. pp. 139-171, 2006. Disponvel em: < http://www.scielo.br/pdf/ensaio/v14n51/a02v1451.pdf >. KLINGER, D. A., DELUCA, CHRISTOPHER & MILLER, TESS. THE EVOLVING CULTURE OF LARGESCALE ASSESSMENTS IN CANADIAN EDUCATION Canadian Journal of Educational Administration and Policy, n. Issue #76, July 3 2008. Disponvel em: < http://www.umanitoba.ca/publications/cjeap/articles/klinger.html >. KOEDEL, C.; BETTS, J. R. Re-Examining the Role of Teacher Quality in the Educational Production Function. National Center on Performance Initiatives Nashville, TN. 2007 KRAWCZYK, N. A Construo Social das Polticas Educacionais no Brasil e na Amrica Latina. In: (Ed.). O cenrio educacional latino americano no limiar do sculo XXI. Campinas: Editora Autores Associados, 2000.
193
LAVY, V. Performance Pay and Teachers Effort, Productivity, and Grading Ethics. American Economic Review v. 99, n. 5, p. 1979-2011, 2009. Disponvel em: < http://www.economics.harvard.edu/faculty/staiger/files/Lavy%2Baer%2Bdec%2B2009.pdf >. Acesso em: 15/11/10. LIMA, L. C.; AFONSO, A. J. Reformas da Educao Pblica: Democratizao, Modernizao, Neoliberalismo. . Porto: Afrontamento, 2002. LINN, R. L.; BAKER, E. L.; BETEBENNER, D. W. Accountability Systems: Implications of Requirements of the No Child Left Behind Act of 2001. Educational Researcher 31: pp. 3-16 p. 2002. LOPES, V. V. Cartografia da avaliao educacional no brasil. 2007. 396 Doutorado (Doutorado). Educao, Universidade de So Paulo, So Paulo. MADAUS, G. F.; AIRASIAN, P. W.; KELLAGHAN, T. School Effectiveness: A Reassessment of the Evidence. New York: McGraw-Hill Book Company, 1980. MADAUS, G. F.; STUFFLEBEAM, D.; SCRIVEN, M. S. Evaluation Models: Viewpoints on educational and human services evaluation. In: MADAUS, G. F.;STUFFLEBEAM, D., et al (Ed.). Program Evaluation: An historical overview. Norwell, MA: Kluwer Academic Publishers, 1983. MALEN, B.; RICE, J. K. A Framework for Assessing the Impact of Education Reforms on School Capacity: Insights From Studies of High-Stakes Accountability Initiatives. EDUCATIONAL POLICY, v. 18, n. 5, p. 631-660, November 2004 2004. Disponvel em: < http://epx.sagepub.com/content/18/5/631.abstract >. Acesso em: 06/10/10. MANNA, P. The No Child Left Behind Act and educational accountability in the United States. Prepared for the conference on Understanding and Evaluating New Accountability Regimes: Canada in Comparative Perspective, University of Toronto, Canada, February 5-6, 2010. 2010. MCMEEKIN, R. W. Hacia una comprensin de la accountability educativa y cmo puede aplicarse en los pases de Amrica Latina. In: MCMEEKIN, J. C. R. W. (Ed.). Accountability educacional: posibilidades y desafos para Amrica Latina a partir de la experiencia internacional. Santiago, Chile: PREAL - CIDE, 2006. MEC/INEP. Vencendo o Desafio da Aprendizagem nas Sries Iniciais: A Experincia de Sobral/Ce. Brasilia: MEC/INEP, 2005. Disponvel em: < www.sic.inep.gov.br/index.php?option=com_docman&task... >. MIZALA, A.; ROMAGUERA, P. RENDIMIENTO ESCOLAR Y PREMIOS POR DESEMPEO. LA EXPERIENCIA LATINOAMERICANA. Centro de Economa Aplicada, Universidad de ChileAbril, 2003. 2003 MIZALA, A.; ROMAGUERA, P. Teachers Salary Structure and Incentives in Chile. In: VEGAS, E. E. (Ed.). Incentives to Improve Teaching: Lessons from Latin America. Washington, D.C: The World Bank, 2005. MORTIMORE, P. et al. School Matters. Berkeley, CA: : University of California Press, 1988. MOVIMENTO. Movimento contra Testes de Alto Impacto em Educao. 2010. Disponvel em: < http://sites.google.com/site/movimentocontratestes/home >. Acesso em: 04/06/2011.
194
MUNIZ, R. M.; SILVEIRA, M. C. D.; BECHELAINE, C. O Caminho em Direo Gestao por Resultados em Minas Gerais: uma anlise do Plaos Mineiros de Desenvolvimento Integrado. In: GUIMARES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora UFMG, 2010. MURALIDHARAN, K.; SUNDARARAMAN, V. Teacher performance pay : experimental evidence from India. National Bureau of Economic Research. Cambridge, Mass., p.37, [11] p. 2009 NICHOLS, S. L.; GLASS, G. V.; BERLINER, D. C. High-Stakes Testing and Student Achievement: Problems for the No Child Left Behind Act. Education Policy Research Unit (EPRU)/ Education Policy Studies Laboratory/ Arizona State University06/09/2010. 2005. (EPSL-0509-105-EPRU) NYSED, N. Y. S. E. D. The Impact of High-Stakes Exams on Students and Teachers. Albany, NY. 2004 OLIVEIRA, L. K. M. D. ANLISE DA IMPLEMENTAO DE PROGRAMAS ESTADUAIS: avaliao em larga escala e o efeito na Proficincia em Matemtica dos alunos da 4 srie do Ensino Fundamental 2007. OLIVEIRA, N. V.; GUEDES, P. M. A aspirao das famlias por melhores escolas pblicas. In: FUNDAO VICTOR CIVITA (Ed.). Estudos & Pesquisas Educacionais N 1. SP: Fundao Victor Civita, 2010. OLIVEIRA, R. P. D.; GADELHA, C. G. Evoluo da Educao e da Sade. In: ESTRATGICOS, C. D. G. E. E. (Ed.). Projeto Brasil 2003-2010: Trajetrias e desafios. Braslia: Centro de Gesto e Estudos Estratgicos, 2010. PEREIRA, M. C. AS AVALIAES EXTERNAS MINEIRAS: CONTEXTO DE POLTICAS DE RESPONSABILIZAO. XXIV Simpsio Brasileiro de Poltica e Administrao da Educao Universidade Federal do Esprito Santo (UFES), Vitria, Espirito Santo.: Associao Nacional de Poltica e Administrao da Educao (ANPAE) 2009. PETERS, G. B. Os dois futuros do ato de governar: processos de descentralizao e recentralizao no ato de governar. Revista do Servio Pblico, v. vol. 59, n. n 3, p. p. 298307, jul./ set. 2008. PORTO, C. A.; SILVEIRA, J. P. O Planejamento e a Gesto Estratgica e sua Funao em Minas Gerais. In: GUIMARES, T. B.;PORDEUS, I. A., et al (Ed.). Estado para Resultados. Belo Horizonte: Editora UFMG, 2010. PRINCE, C. D. K., JULIA; AZAR, TAMARA MORSE; BHATT, MONICA; WITHAM, PETER J. Building Teacher and Community Support for New Compensation Systems. Center for Educator Compensation Reform. Washington, D.C. 2008 RAND. Designing Effective Pay-for-Performance in K12 Education. Policy Brief. Santa Monica, CA: Rand education 2009. RANSON, S. The Changing Governance of Education. Educational Management Administration & Leadership, v. 36, n. 2, p. 201-219, 2008. RAPPLE, B. Payment by results: An example of assessment in elementary education from nineteenth century Britain. Education Policy Analysis Archives, v. 2, n. 1, p. 1-23, 1994.
195
RAVELA, P. A., PATRICIA; VALVERDE, GILBERT; WOLFE, RICHARD; FERRER GUILLERMO; MARTNEZ RIZO, FELIPE; AYLWIN, MARIANA; WOLFF, LAURENCE,. Las evaluaciones educativas que Amrica Latina necesita. Preal. Santiago: 2008. 2008 REZENDE, V. O PAPEL DO GESTOR ESCOLAR NA IMPLANTAO DO PROGRAMA DE QUALIDADE NA ESCOLA DE ENSINO MDIO. I Congresso Ibero-Brasileiro e VI Congresso LusoBrasileiro na Espanha e em Portugal. Cceres e Mrida na Espanha 2010. RODRIGUES, J. R. S. Responsabilizao e Resultados Escolares no Rio de Janeiro. 2007. (Mestrado). Departamento de Educao, PUC-Rio, PUC-Rio, Rio de Janeiro. RUTTER, M. et al. Fifteen Thousand Hours: Secondary Schools and their Effects on Children. London: Open Books, 1979. SANTIAGO CONSULTORES Y ASESORAS PARA EL DESARROLLO. Evaluacin del Programa de las 900 Escuelas. MINISTERIO DE EDUCACIN. Santiago, Chile 2000. SO PAULO (ESTADO) SECRETARIA DA EDUCAO. Currculo do Estado de So Paulo: Matemtica e suas tecnologias. So Paulo, 2010. Disponvel em: < http://www.rededosaber.sp.gov.br/portais/Portals/43/Files/MEST.pdf >. SASS, T. R. The Stability of Value Added Measures of Teacher Quality and Implications for Teacher Compensation Policy. National Center for Analysis of Longitudinal Data in Education Research, Washington, D.C., 2008. Disponvel em: < http://www.urban.org/uploadedpdf/1001266_stabilityofvalue.pdf >. Acesso em: 09/06/2011. SEDU/ES. Relatrio Tcnico Modelo da Bonificao: Secretaria de Estado da Educao do Estado de Espirito Santo -: 66 p. 2010. SEE/DF. SIADE 2009: Sumrio Executivo Avaliao de Rendimento. Brasilia: Governo do Distrito Federal 2010. SEGATTO, C. I. COMO IDEIAS SE TRANSFORMAM EM REFORMAS: Um estudo comparativo das mudanas educacionais orientadas pelo desempenho nos estados brasileiros. 2011. Mestrado (Mestre em Administrao Pblica e Governo). Escola de Administrao de Empresas de So Paulo Fundao Getlio Vargas SHEPARD, L. A Checklist for Evaluating Large-Scale Assessment Programs. The Evaluation Center, Western Michigan University. Kalamazoo. 1977 SHULHA, L. M.; COUSIN, J. B. Evaluation use: theory, research and practice since 1986. American journal of Evaluation., v. vol 18, p. p.195-208, 1997. SOARES, J. F. ndice de desenvolvimento da Educao de So Paulo (IDESP): bases metodolgicas. . Revista So Paulo em Perspectiva, So Paulo, Fundao SEADE, v. V.23, n. n.1, p. 29-41, Janeiro-Junho 2009 2009. SOARES, S. AVALIAO EDUCACIONAL COMO INSTRUMENTO PEDAGGICO. TRABALHO E SOCIEDADE, IETS, Rio de janeiro, v. Ano 2, n. N 4, p. p.23-25, Agosto 2002 2002. SOARES, T. Influncia do professor e do ambiente em sala de aula sobre a proficincia alcanada pelos alunos avaliados no SIMAVE-2002. Estudos em Avaliao Educacional, v. 28, p. 103-123, 2003.
196
______. Modelo de trs nveis hierrquicos para a proficincia dos alunos de 4 srie avaliados no teste de Lngua Portuguesa do SIMAVE/PROEB-2002. Revista Brasileira de Educao, v. no.29 n. May/Aug. , p. 73-87, 2005 2005. SOARES, T.; TEIXEIRA, L. Efeito do perfil do diretor na gesto escolar sobre a proficincia do aluno. Estudos em Avaliao Educacional. So Paulo: Fundao Carlos Chagas, v. 17, p. 34, 2006. SOUSA, S. M. Z. L. POSSVEIS IMPACTOS DAS POLTICAS DE AVALIAO NO CURRCULO ESCOLAR. Cadernos de Pesquisa, v. 119, p. p.175-190, 2003. Disponvel em: < http://www.scielo.br/pdf/cp/n119/n119a09.pdf >. Acesso em: 05/12/10. SOUSA, S. M. Z. L.; OLIVEIRA, R. P. D. Sistemas de Avaliao Educacional no Brasil: caractersticas, tendncias e uso dos resultados. Universidade de So Paulo, Faculdade de Educao, Centro de Estudos e Pesquisas em Polticas Pblicas de Educao - CEPPPE2007. 2007 SPRINGER, M. O., Ed. Performance Incentives: Their Growing Impact on American K-12 Education. Wadhington, D.C.: Brooking Institution Press, p.336ed. 2009. SUNDERMAN, G. L. Holding NCLB accountable : achieving accountability, equity, & school reform. Thousand Oaks, CA: Corwin Press, 2008. xvi, 262 p. ISBN 9781412957878 (cloth) Disponvel em: < http://www.loc.gov/catdir/enhancements/fy0828/2007040309-b.html SUPOVITZ, J. Can high stakes testing leverage educational improvement? Prospects from the last decade of testing and accountability reform. Journal of Educational Change Published online: 28 March 2009: 211-227 p. 2009. TAYLOR, J.; NGUYEN, A. N. An Analysis of the Value Added by Secondary Schools in England: Is the Value Added Indicator of Any Value?*. Oxford Bulletin of Economics and Statistics, v. 68, n. 2, p. 203-224, 2006. ISSN 1468-0084. THE NATIONAL COMMISSION ON EXCELLENCE IN EDUCATION. A Nation at Risk.The Imperative for Educational Reform. Washington, D.C.: U.S. Government Printing Office 1983. VALENZUELA, A. Leaving children behind : how "Texas-style" accountability fails Latino youth. Albany: State University of New York Press, 2005. viii, 313 p. ISBN 0791462390 (hardcover alk. paper) 0791462404 (pbk. alk. paper). Disponvel em: < http://www.loc.gov/catdir/toc/ecip0418/2004012237.html >. VEGAS, E.; UMANSKY, I. Improving Teaching and Learning through Effective Incentives: What Can We Learn from Education Reforms in Latin America? The World Bank. Washington, DC: 2005. VIDAL, E. M.; VIEIRA, S. L. GESTO EDUCACIONAL E RESULTADOS NO IDEB: UM ESTUDO DE CASO EM 10 MUNICPIOS CEARENSES. VI REUNIO DA ABAVE Fortaleza, Cear, 31 de agosto a 02 de setembro, 2011 2011. VOLANTE, L. Teaching to the test: What every educator and policy-maker should know. Canadian Journal of Educational Administration and Policy, v. 35, p. 1-19, 2004.
197
WINTERS, M. A. R., GARY W.; MARSH, RYAN H.; GREENE, JAY P.; HOLLEY, MARC J. . The Impact of Performance Pay for Public School Teachers: Theory and Evidence. Harvard University. 2008. (PEPG 08-15)
198
ANEXO 1 Organizao dos arquivos da pesquisa em Google Docs Exemplos: a) Nvel 2; b) Nvel 5; c) Nvel 2. a) Nvel 2
b) Nvel 5
c) Nvel 2
199
ANEXO 2
Entrevistados
ENTREVISTADO Adriana Bauer Alssio Costa Lima Aline Elisa Cotta D' vila Andressa Rocha Fernanda Scaciota Simes da Silva Francisco Soares Iaci Cavalcanti Pequeno Ilda Hochman Janine Mattar Pereira de Castro Joo Filocre Leonara Margotto Tartaglia Lina Ktia Mesquita de Oliveira Lcia Matos Margareth Zaponi Maria Conceio Conholato Maria Inz Barroso Simes Maurcio Holanda Maia Nilma Fontanive Olivier Bezerra Patrcia Dantas Rafael Morais Ruben Klein Valdelina Solomo Lima William Massei
DATA 28/02/11 23/02/11 16/02/11 17/02/11 31/03/11 21/03/11 23/02/11 08/02/11 16/02/11 08/02/11 16/02/11 31/01/11 04/05/11 21/02/11 28/02/11 09/05/11 23/02/11 05/04/11 22/03/11 22/02/11 08/02/11 05/04/11 16/02/11 28/02/11
FILIAO INSTITUCIONAL Fundao Carlos Chagas SEE CE SEE ES SEE ES SEE PR GAME/UFMG SEE CE SEE MG SEE ES EX-SEE MG SEE ES CAEd SEE MG SEE PE FDE SP SEE MG SEE CE Fundao Cesgranrio SEE DF SEE PE SEE MG Fundao Cesgranrio SEE ES SEE SP
200
ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado
201

Relatorio Avaliacoes Externas

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Relatorio Avaliacoes Externas

Enviado por

Direitos autorais:

Formatos disponíveis

A AVALIAO EXTERNA COMO INSTRUMENTO DA GESTO VALIAO EDUCACIONAL NOS ESTADOS

GAME/FAE/UFMG Com apoio da Fundao Vitor Civita

Para acompanhar outros trabalhos, visite o nosso site www.fvc.org.br/estudos.

EQUIPE DA FUNDAO VICTOR CIVITA

UNIVERSIDADE FEDERAL DE MINAS GERAIS Cllio Campolina Diniz Reitor

FACULDADE DE EDUCAO Samira Zaidan Diretora

EQUIPE DE PESQUISA Nigel Brooke Maria Amlia de A. Cunha Matheus Faleiros

6.1.1 6.1.2 6.1.3 6.1.4

Como Componente da Poltica de Avaliao Docente Para a Certificao de Alunos e Escolas

168 177 182 189 199 200 201

ANEXO 1 ANEXO 2 ANEXO 3

Mtodos O estudo foi planejado em duas partes. A primeira se concentrou na coleta, de

A Expanso dos Sistemas Estaduais de Avaliao

As avaliaes anteriores do Saeb se realizaram em 1990 e 1993. 28

Quadro 1. Sistemas Estaduais de Avaliao Educacional 1992-2011

Quadro 2 . Beneficirios e Recursos: SNED, 1996-2010

Quadro 3. A Avaliao Externa como Instrumento da Gesto Educacional: Classificao

Como componente da poltica de avaliao docente Para a certificao de alunos e escolas

ADI (MG) Reconduo (DF)

Promoo de alunos de 4 e 8 series. 2001. (SP) Aprovao de funcionamento de escolas (DF)

7. Para a certificao de alunos e escolas.

Mesmo incomum no contexto

6.1 Avaliao de Programas, Monitoramento, Planejamento e Pesquisa

Para Informar as Escolas sobre a Aprendizagem dos Alunos e Definir as

Polticas de Formao Continuada Baseadas nos Resultados

Para Informar ao Pblico

Para a Alocao de Recursos

Para Polticas de Incentivos Salariais

Como Componente da Poltica de Avaliao Docente

Quadro 2. Ficha de Avaliao Individual. Secretaria de Educao de Minas Gerais

ESTADO DE MINAS GERAIS SECRETARIA DE ESTADO DE EDUCAO

Para a Certificao de Alunos e Escolas

ANEXO 3 Ambiente NVIVO. Queries/Polticas de Incentivos por Estado

Você também pode gostar