Avaliação E Política Educacional: O Processo de Institucionalização Do Saeb

AVALIAO E POLTICA EDUCACIONAL: O PROCESSO DE INSTITUCIONALIZAO DO SAEB
ALCIA BONAMINO CRESO FRANCO
Departamento de Educao PUC-RJ
RESUMO
Este trabalho focaliza o Sistema de Avaliao da Educao Bsica SAEB, mais precisamente seu processo de institucionalizao, as influncias dos diversos atores envolvidos no processo, as interpretaes extradas pelo Ministrio da Educao e Cultura MEC a partir dos diversos ciclos e o significado para a educao brasileira da existncia de um sistema de avaliao como o SAEB. As concluses tematizam a mudana nos objetivos do SAEB ao longo dos ciclos, discutem o significado da opo por organizao mais centralizada do SAEB e relacionam o perfil assumido pelo SAEB com demais aspectos da poltica educacional. POLTICAS EDUCACIONAIS AVALIAO DA EDUCAO SISTEMA DE EDUCAO SAEB
ABSTRACT
EDUCATIONAL POLICY AND EVALUATION: THE PROCESS OF INSTITUTIONALIZATION OF THE BRAZILIAN NATIONAL SYSTEM FOR THE EVALUATION OF BASIC EDUCATION (SAEB). This article focuses on the Brazilian National System for the Evaluation of Basic Education (the SAEB) and more precisely its process of institutionalization, the influences of different actors involved in the process; the interpretation made by the Ministry of Education and Culture (MEC), based on diverse cycles and the significance of the existence of an evaluation system such as the SAEB for the Brazilian education. The conclusions thematisize the changes in the objectives of the SAEB over the course of the cycles, discuss the significance of the option for a more centralized organization of the SAEB and relate the profile taken on by the SAEB to the other aspects of educational policy.
Cadernos de Pesquisa, n 108, novembro/1999 108, p. 101-132, novembro/1999
101
Desde 1988 vm sendo tomadas iniciativas voltadas implantao e desenvolvimento do Sistema Nacional de Avaliao da Escola Bsica SAEB , J foram conduzidos quatro ciclos de avaliao e o prximo ciclo est programado para o segundo semestre de 1999. Este trabalho focaliza o SAEB, mais precisamente seu processo de institucionalizao, as influncias dos diversos atores envolvidos no processo, as concluses inicialmente extradas pelo MEC a partir dos diversos ciclos e o significado para a educao brasileira da existncia de um sistema de avaliao como o SAEB. Primeiramente, discutimos a influncia das pesquisas internacionais de levantamento sobre a educao e sobre a pesquisa educacional brasileira. Em seguida, com base na documentao pertinente, analisamos o desenvolvimento do SAEB em seus diversos ciclos. A parte final do trabalho dedicada a nossas interpretaes sobre o significado do SAEB na poltica educacional em curso. AS PESQUISAS DE LEVANTAMENTO: IMPLICAES PARA A PESQUISA EDUCACIONAL BRASILEIRA O Relatrio Coleman (Coleman, 1966) foi, provavelmente, uma das mais influentes pesquisas de levantamento na rea de educao. Para estudar em que medida as diferenas de raa, cor, religio, origem geogrfica e origem social afetariam as oportunidades de educao, o governo americano realizou uma pesquisa a partir de uma amostra de 645 mil alunos, distribudos por cinco nveis de estudos diferentes, e coletou dados sobre as caractersticas das escolas freqentadas, do corpo docente, dos alunos e suas famlias. Atravs da aplicao de cinco grupos de testes, que objetivavam medir competncias verbais e no verbais, procurou-se conhecer a variabilidade entre as escolas, de modo a subsidiar a implementao de polticas de melhoria escolar. Os resultados dessa pesquisa apontaram que as diferenas de desempenho eram explicadas em maior medida pelas variveis socioeconmicas do que pelas intra-escolares. Mostraram, ainda, que o desempenho de crianas de menor nvel socioeconmico que freqentavam escolas cuja clientela era relativamente homognea era pior do que o de crianas de mesmo nvel socioeconmico que freqentavam escolas com clientelas mais heterogneas.1 Em termos de orientaes para as polticas educacionais americanas, as concluses do Relatrio Coleman levaram valorizao de aes de educao compensatria e indicaram a necessidade de remanejamentos que visassem garantir uma espcie de equilbrio multirracial e multicultural entre as escolas. Em termos de viso geral de Educao, as concluses do Relatrio Coleman reforaram as crticas Teoria do Capital Humano e viso do papel redentor da educao.
1. A pesquisa que gerou o Relatrio Coleman foi uma exigncia da Lei dos Direitos Civis. Apesar de a pesquisa focalizar prioritariamente as questes de raa, cor, religio e nacionalidade, seus instrumentos captavam tambm outros aspectos relacionados com nvel socioeconmico.
102
Cadernos de Pesquisa, n 108, novembro/1999
No ano seguinte ao da pesquisa de Coleman, foi publicado, na Inglaterra, o Relatrio Plowden (Central Advisory Council..., 1967) e pesquisas similares foram conduzidas tambm na Frana (Forquin, 1995). Em ambos os casos, os resultados foram, em linhas gerais, compatveis com os do Relatrio Coleman. Desde muito cedo, esse conjunto de pesquisas foi bastante criticado, principalmente em seus aspectos tcnicos e nas suas derivaes polticas. Do ponto de vista tcnico, os crticos argumentavam que as mencionadas pesquisas no possuam instrumentos adequados para a mensurao de detalhes relevantes das variveis intra-escolares. De acordo com esta linha de argumentao, e dada a tendncia de que investimentos educacionais ocorram em maior grau em escolas freqentadas por crianas de nvel socioeconmico mais alto, a no mensurao explcita desses investimentos e sua conseqente no incluso nos modelos de regresso causaria, segundo os crticos, uma superestimao do papel do nvel socioeconmico como fator de sucesso na escolarizao. Entretanto, no incio dos anos 70, foi possvel mensurar de modo mais acurado as variveis intra-escolares e testar empiricamente a validade desta crtica. Os novos resultados obtidos corrigiram apenas levemente as estimativas precedentes, no modificando o sentido geral das concluses obtidas na dcada anterior. A segunda crtica centrava-se no questionamento das polticas de educao compensatria. O argumento principal era o de que o fracasso das crianas de minorias tnicas e de camadas populares relacionava-se com a desvalorizao de culturas especficas, promovida tanto pelos currculos escolares quanto pelos instrumentos de pesquisa. De acordo com esta linha de argumentao, as polticas de educao compensatria seriam apenas novos instrumentos de reafirmao de certas culturas, em detrimento de outras. J mencionamos que o Relatrio Coleman reforou as dvidas acerca do papel redentor da educao. Em relao a este aspecto, podemos afirmar que a primeira das crticas ao Relatrio Coleman no obteve sucesso em sua tentativa de minimizar de modo expressivo o papel das variveis socioeconmicas no desempenho escolar, enquanto a segunda crtica, referente ao etnocentrismo cultural da escola, reforava as dvidas acerca da relao entre mobilidade social e educao. No Brasil, no incio da dcada de 70, a crtica situao educacional do pas, no mbito da recm-fundada ps-graduao, tinha diversas origens e abrigava a influncia da sociologia radical americana (Bowles, Levin, 1968; Bowles, Gintis, 1976) e da sociologia francesa (Bourdieu, Passeron, 1975), alm de uma produo interna diretamente relacionada com os grandes levantamentos da dcada de 60. Uma obra marcante deste perodo Educao e Desenvolvimento Social no Brasil (Cunha, 1989), escrita entre 1972-75 e publicada, em 1 edio, em 1975.2 Com referncia ao Relatrio Coleman, Cunha (1989, p.152) afirmava:
2. O livro foi a segunda obra publicada pela coleo Educao em Questo, da Editora Francisco Alves. O primeiro e o terceiro livro da referida coleo foram, respectivamente, A Reproduo (Bourdieu, Passeron, 1975) e A Escola Est Morta (Reimer, 1976).
103
No Brasil, infelizmente, no h um estudo como esse que mostre, claramente, que as crianas da classe trabalhadora (naquele caso, de um segmento etnicamente distinto) freqentam escolas de qualidade mais baixa e so mais intensamente afetadas por ela no seu desempenho educacional. No entanto, possvel tomar alguns dados, mesmo que parciais, e tentar especular sobre a existncia de fenmeno da mesma natureza em nosso pas, apesar de no podermos medir sua intensidade, como fez Coleman para os Estados Unidos.
Em que pesem as limitaes de falta de dados e de pesquisas quantitativas, Cunha (1989) desenvolve essa idia, principalmente nos captulos 3 e 4 de sua obra, de modo bastante engenhoso, o que contribuiu para a grande importncia que o livro teve em determinado perodo da pesquisa educacional brasileira.3 Devido a um grande nmero de fatores, como a hegemonia da tecnologia em educao, as dificuldades organizacionais e financeiras inerentes concretizao de grandes levantamentos e a falta de uma cultura acadmica que propiciasse o desenvolvimento deste tipo de investigao, as pesquisas educacionais quantitativas de corte sociolgico foram escassas. Aquelas que puderam ser desenvolvidas durante as dcadas de 60 e 70 apresentavam trs tipos diferentes de perfil. O primeiro deles consistia em pesquisas que, em contextos especficos, investigaram as caractersticas sociodemogrficas relacionadas com o acesso a determinados nveis de ensino ou ao fracasso em determinada srie (Campos, 1960; Gouveia, 1967; Bessa, 1971). Uma segunda vertente, na medida em que estudava especificamente o caso do acesso ao ensino superior, pode contar com bases de dados mais amplas para investigar temas tais como o acesso da mulher ao ensino de terceiro grau (Barroso, Mello, 1975) e os condicionantes sociais do sucesso no vestibular (Siano, 1977). O terceiro veio de investigao foi representado pelo Programa de Estudos Conjuntos para a Integrao Econmica da Amrica Latina ECIEL , que focalizou os fatores determinantes da escolarizao na Amrica Latina (Castro, Sanguinetty, 1978; Lacerda, 1979; Silva, 1979). Embora as investigaes desenvolvidas nas trs linhas acima fossem muito heterogneas em relao aos pressupostos tericos utilizados, maturidade intelectual de seus autores e solidez de suas metodologias, elas produziram importantes elementos de contraposio noo de que a concentrao de renda no Brasil seria conseqncia do baixo nvel educacional da populao, tese defendida por autores ligados Teoria do Capital Humano, com destaque para Langoni (1974). Se durante os anos 60 e 70 a abordagem da questo do desempenho escolar pautava-se principalmente nos fatores externos, na dcada de 80 surgem tanto os estudos e pesquisas que enfatizam os fatores intra-escolares, como os que procuram equacionar con-
3.
bem conhecido que a pesquisa nos primrdios da ps-graduao em educao no Brasil tinha forte influncia quantitativa, o que poderia chocar-se com a afirmao acerca da falta de pesquisas de levantamento sobre o tema da democratizao da educao. No entanto, faz-se necessrio considerar que a tendncia de pesquisas quantitativas naquele perodo era concentrada principalmente em estudos experimentais sobre a eficcia comparativa de tcnicas de ensino, freqentemente articulada com a ento hegemnica abordagem de tecnologia educacional.
104
juntamente os fatores sociais e escolares nas desigualdades educacionais (Goldberg et al,. 1981; Brando, Baeta, Rocha, 1983). Entre os estudos que, naquele perodo, procuraram abordar conjuntamente os fatores intra e extra-escolares na educao bsica, merecem destaque as pesquisas de avaliao do rendimento escolar desenvolvidas pela Fundao Carlos Chagas, pela Fundao Cearense de Pesquisa, pela Universidade Federal do Cear UFCE e por pesquisadores estrangeiros no mbito do Programa de Expanso e Melhoria do Ensino no Meio Rural do Nordeste Brasileiro EDURURAL (Gatti,1993; Harbison, Hanushek, 1992). Harbison e Hanushek (1992) investigaram o impacto do EDURURAL nos estados de Pernambuco, Cear e Piau, avaliando as conseqncias dos investimentos do projeto em capacitao docente e insumos educacionais sobre o rendimento dos alunos e as taxas de promoo na escola primria. A pesquisa possua as seguintes caractersticas: desenho quaseexperimental, com escolas no includas no programa EDURURAL formando um grupo de controle; desenho longitudinal, que submeteu os mesmos alunos a avaliaes nos anos de 1981, 1983 e 1985, alm de coletar, nos mesmos anos, informaes sobre variveis intraescolares e socioeconmicas e de adotar a abordagem de valor agregado que objetivava mensurar os progressos cognitivos de cada aluno a cada binio. Com relao ao aspecto da melhoria da performance dos alunos a partir de investimentos realizados, a pesquisa detectou resultado positivo apenas no Estado do Piau.4 Mas quanto melhoria da taxa de promoo, os resultados foram negativos nos trs estados, o que sugere que a melhoria nas taxas de promoo um objetivo ainda mais difcil de ser alcanado do que a melhoria do desempenho dos alunos. O resultado sugere que, no contexto das novas condies viabilizadas pelos investimentos, os professores optam, ao menos em um primeiro momento, por aumentar seus padres de exigncia, o que redunda na tendncia de manuteno, ou mesmo de elevao, das taxas de repetncia. A pesquisa da Fundao Carlos Chagas guarda estreita relao com a de Harbison e Hanushek (1992), j que esta instituio encarregou-se da preparao e acompanhamento dos instrumentos utilizados na avaliao do EDURURAL. A contribuio adicional reside no fato de que os inquritos foram seguidos de seis estudos etnogrficos, realizados em escolas rurais dos estados participantes, que permitiram explicar o baixo rendimento curricular das crianas e o grande nmero de repetncia decorrente de um conjunto de fatores, como baixos salrios, influncia poltica na designao de professores e infra-estrutura curricular insuficiente, alm de precariedades associadas s condies de vida dos alunos e suas famlias, em especial no que se refere s condies de sade (Gatti, 1994). A persistncia de altas taxas de repetncia no pas estimulou, j desde a entrada da dcada de 80, a realizao de pesquisas e a formulao de polticas voltadas para o
4. No entanto, a falta de resultados positivos nos dois outros estados no autoriza generalizaes acerca da relao entre investimentos educacionais e resultados. Para uma reviso extensiva sobre o tema consulte-se Hedges; Laine, Greenwald (1994)
105
enfrentamento desse problema. As polticas de no reprovao (Fernandes, 1997) tm uma histria j longa no pas. Segundo Mainardes (1994), o referido tema chegou ao Brasil por meio de eventos promovidos pela UNESCO e implementou-se um primeiro ciclo de experincias de promoo automtica nos estados de So Paulo (1968-72), Santa Catarina (197084) e Rio de Janeiro (1979-84). A adoo das referidas polticas de no reprovao era baseada em diagnsticos gerais sobre os problemas da repetncia que careciam de articulao, tanto com vises pedaggicas capazes de interpretar as causas dos altos ndices de repetncia na srie inicial, como com propostas desenhadas para a superao do problema. Referindo-se a essas experincias, Cunha (1991, p.218) afirmou que onde a promoo automtica foi adotada sem outras medidas complementares, a qualidade do ensino caiu irremediavelmente, como foi o caso de Santa Catarina e do Rio de Janeiro. Ainda em 1979, na 3 Reunio Anual da ANPEd, explicita-se um debate que daria base para o segundo ciclo de polticas de avaliao continuada. Na referida reunio, Guiomar Namo de Mello (1981) apontava para o fenmeno da reteno de alunos na 1 srie primria e enfatizava a necessidade de que se discutisse o modo pelo qual o fracasso era produzido no interior da escola. A educadora paulista afirmava:
...todos os professores que entrevistamos at agora foram unnimes em declarar que, sem uma reformulao total da seqncia da aprendizagem na 1 e na 2 sries do 1 grau no se resolver o problema da alfabetizao. Temos casos de professores que dizem: eu tenho de reprovar meus alunos que no conseguiram dominar as slabas compostas, porque o currculo da 2 srie exige que ele tenha dominado as slabas compostas, mas eu sou contra, acho que deviam ser aprovados com as slabas simples dominadas, e completar na 2 srie o seu processo de alfabetizao. (Mello, 1981, p.24-5)
Em 1982, com o retorno das eleies diretas e a vitria da oposio em diversos governos de estados, houve grande renovao nos quadros dirigentes das redes de ensino. Devido a essas mudanas, adotou-se nos estados de So Paulo, Minas Gerais e Paran uma srie de mudanas polticas, pedaggicas e organizacionais que focalizavam o problema da reteno das crianas de camadas populares na 1 srie primria. Nos trs estados mencionados, as medidas implantadas tinham como caracterstica comum a adoo do ciclo bsico de alfabetizao, englobando as duas primeiras sries. No mesmo perodo, Guiomar Namo de Mello assumiu a Secretaria Municipal de Educao de So Paulo, implementando uma proposta diferenciada, pela qual no haveria um ciclo bsico de alfabetizao mas sim um desdobramento do processo de alfabetizao pelas duas primeiras sries, ficando a passagem para a segunda srie condicionada ao domnio das slabas simples (Cunha, 1991, p.218).5
5. O conjunto de medidas complementares reorganizao das sries iniciais est descrito, para os casos de So Paulo e Minas Gerais, em Silva, Davis (1993) e, para o caso do Paran, em Mainardes (1994).
106
Um balano geral do tema permite afirmar que apesar das medidas de carter poltico, como a organizao de fruns para debate da proposta de poltica educacional, e das medidas de carter pedaggico, como a veiculao de material didtico e de fundamentao, as assessorias pedaggicas e as tentativas de viabilizar espaos no calendrio escolar para discusses, as propostas de implementao do ciclo bsico geraram resistncia por parte dos professores e se descaracterizaram (Silva, Davis, 1993, p.27). O estudo do progresso de coortes de alunos que passaram pelo ciclo bsico indica que as estratgias adotadas no superaram o problema da seletividade socioeconmica no ensino de 1 grau como um todo (Klein, Ribeiro, 1991). Muito embora no estejam disponveis pesquisas similares focalizando a especificidade das medidas educacionais adotadas pelo Municpio de So Paulo a partir da gesto de Mello, h indcios de que a poltica diferenciada adotada pela referida gesto gerou menos conflitos, evitando o que Perrenoud (1993) caracteriza como desvio da racionalidade dos temas relacionados com a prtica pedaggica para outros fins. Dentre os mencionados indcios deve ser registrado que, ao final de sua gesto, a ento secretria municipal de Educao foi eleita deputada estadual e seus escritos continuaram a ter influncia no meio educacional da poca. Apesar das limitaes apresentadas, para alguns estudiosos, como Silva, Davis (1993), em artigo intitulado proibido repetir, as propostas baseadas na no reprovao constituem-se em opo importante para uma educao no excludente e oferecem uma alternativa cultura da repetncia. Considerando-se que as gestes dos, poca, secretrios estaduais de educao nos referidos estados foram administraes relativamente bem-sucedidas, no difcil compreender que, apesar dos problemas mencionados em relao implantao do ciclo bsico, experincias desse tipo tenham sido introduzidas em outros contextos ou mesmo inspirado polticas mais ousadas de avaliao continuada. Nesse caso, esto as polticas que, em conjunto com diversas medidas de carter pedaggico e estrutural, estendem a promoo automtica at a 8 srie do ensino fundamental ou impem severas restries possibilidade de reprovao do aluno antes da ltima srie. Muito embora o caso mais divulgado tenha sido a recente regulamentao de mecanismos deste tipo pela Secretaria Estadual de Educao e pelo Conselho Estadual de Educao de So Paulo, h diversas propostas deste tipo recm-implantadas ou em gestao. Com relao promoo e evaso de alunos no sistema de ensino nacional, a partir de 1985, por iniciativa de alguns pesquisadores da rea de estatstica e economia, iniciou-se uma grande controvrsia sobre a validade das estatsticas oficiais na rea de educao (Fletcher, Ribeiro, 1987; Castro, Fletcher, 1993; Klein, Ribeiro, 1991; Ribeiro, 1991). Esses trabalhos questionavam as metodologias de apurao das estatsticas oficiais, argumentavam que os resultados apresentados estavam errados e enfatizavam que isso levava a diagnsticos equivocados sobre a situao da educao e as prioridades da poltica educacional. As conseqncias metodolgicas desses trabalhos materializaram-se na adoo de um novo modelo de diagnstico do fluxo de alunos (Profluxo) e na introduo de modifica107
es em procedimentos estatsticos do MEC. Em termos de resultados, os mencionados pesquisadores insistiram nos seguintes aspectos: as taxas de evaso so muito baixas; a cobertura da populao em idade escolar superior at ento admitida, chegando a 95%; o atraso no incio da escolarizao no um problema expressivo; o problema central a repetncia, causada pela baixa qualidade do ensino. Observe-se que os trs primeiros pontos enfatizados no estavam em sintonia com as anlises dos pesquisadores que atuavam nos Programas de Ps-Graduao em Educao e que divulgavam suas pesquisas em livros, peridicos e encontros cientficos da rea. Muito embora os mencionados trabalhos com forte aporte estatstico tenham dado contribuies expressivas para a melhoria da qualidade das estatsticas educacionais no pas, foi lastimvel que tais trabalhos tenham tido influncia marcante entre os formuladores de polticas oficiais sem que os mesmos fossem debatidos e submetidos a avaliaes mais detidas. Recentemente, Carvalho, Kappel (1997), com base na Contagem da Populao do Fundao Instituto Brasileiro de Geografia e Estatstica FIBGE, apontaram para uma expressiva subestimao por parte do Profluxo da populao em idade escolar fora da escola, fato que levou o Ministrio da Educao a formular programa especfico para lidar com o problema. Mais recentemente, argumentamos que a entrada atrasada na escola um problema de dimenses maiores que o divulgado e enfatizamos que as pequenas taxas de evaso mencionadas desde a implantao do Profluxo devem-se a uma definio muito peculiar do que seja evaso (Veiga et al.,1998). No final da dcada de 80, ocorreram as primeiras aes voltadas para a implementao no Brasil de um sistema nacional de avaliao da educao bsica, buscando verificar no apenas a cobertura do atendimento educacional oferecido populao, mas, principalmente, o desempenho dos alunos dentro do sistema. Tais aes levaram subseqente institucionalizao do SAEB. O Sistema Nacional de Avaliao da Educao Bsica SAEB A dcada de 80 caracterizou-se pelo incio de implementao de diversas reformas educacionais, com reflexos na Amrica Latina (Castro, Carnoy, 1997; Bomeny, 1997). Tratase, em primeiro lugar, de um movimento de reforma complexo tanto porque introduz mudanas profundas em diversas dimenses, tais como as prioridades educacionais, as formas de financiamento, o currculo, a avaliao educacional, como pelo fato de colocar na pauta de prioridades de atores como o Banco Mundial BM e setores empresariais uma srie de temas historicamente valorizados por pesquisadores ligados Associao Nacional de Pesquisa em Educao ANPEd e a setores que tm enfatizado as tenses existentes entre os interesses empresariais e as propostas de universalizao da educao de qualidade. Em segundo lugar, constitui-se em movimento de reformas ainda pouco investigado porque os esforos iniciais dos pesquisadores centraram-se em anlises de discurso, que uma
108
abordagem vlida e relevante do fenmeno mas que precisa ser complementada por anlises empricas que focalizem os processos de construo das polticas e suas conseqncias especficas. Considerando a ligao do SAEB a temticas como a interferncia do Banco Mundial nas polticas educacionais, a qualidade da educao e os currculos, iniciaremos esta seo com uma breve considerao sobre a parcela da literatura crtica do movimento de reforma educacional que focaliza os temas anteriormente mencionados. Em seguida, consideraremos de modo mais detalhado a trajetria de implantao do SAEB. Lauglo (1997), ex-consultor do Banco Mundial, tece uma abrangente crtica s prioridades educacionais da instituio. O autor apresenta dados que ilustram a capacidade de interferncia do BM nas polticas educacionais de pases em desenvolvimento e discute criticamente as orientaes daquele organismo multilateral. Enfatiza, tambm, o carter fortemente seletivo das pesquisas que informam os documentos do BM, explicita a insensibilidade da instituio em relao aos temas pedaggicos, contrastando-a com o otimismo do banco em relao s questes de gerenciamento, e sublinha as conseqentes tenses entre os seus especialistas e os educadores e pesquisadores. Na mesma linha de argumentao, Torres (1996) registra a ausncia, nos documentos do banco, de pesquisas sobre o ensino e a aprendizagem em sala de aula, a aprendizagem infantil, a capacitao docente, a elaborao de textos escolares e a avaliao da aprendizagem na escola. A essa ausncia soma-se a subestimao por parte do Banco Mundial do papel desempenhado pelos professores na efetiva implantao de reformas educacionais. Com relao avaliao, Lauglo (1997, p.32) aponta que os educadores sero resistentes s tentativas de reduzir a complexidade da boa educao a generalizaes de modelos que se baseiam em dados quantificveis. A resistncia j tem-se manifestado entre os pesquisadores brasileiros, que discutem a relao entre polticas de avaliao e os Parmetros Curriculares Nacionais propostos pelo MEC (Moreira, 1995). Muito embora Lauglo apresente um panorama bastante crtico das prioridades educacionais do BM, ele no assume uma postura dicotmica diante das tenses entre as polticas do banco e as alternativas dos educadores. A partir de um referencial weberiano, o autor interpreta a polmica entre pesquisadores em educao e intelectuais e executivos do BM como um conflito entre estratos profissionais distintos, ponto que no passou despercebido por Zibas, Franco e Warde (1997, p.5), ao registrarem que Lauglo defende uma perspectiva pouco aceita por parte considervel dos estudiosos latino-americanos. No veio dos estudos latino-americanos sobre a influncia do BM em educao, Coraggio (1996) relaciona as diretivas do banco com o movimento de esvaziamento da dimenso social da cidadania, objetivo que se explicita nas formulaes do banco que deslocam os tradicionais direitos universais do cidado para a dimenso dos direitos possveis, dependentes de disponibilidade financeira. em relao a contextos como o diagnosticado por Coraggio que Enguita (1994) se refere polissemia do conceito de qualidade e aponta a 109
dissociao das noes de qualidade e igualdade no discurso de muitas das reformas educacionais contemporneas. Torres (1996) critica o reducionismo implcito nas diretivas educacionais e vises sobre o currculo do Banco Mundial, aspecto tambm considerado por Lauglo (1997) no tocante prioridade concedida pelo banco para as habilidades cognitivas bsicas. notvel, no entanto, que os exemplos de alternativas s vises reducionistas do currculo oferecidos por Torres (1996, p.141) incluam referncias s propostas de Coll, professor espanhol cuja assessoria a governos latino-americanos, inclusive ao governo brasileiro, vem sendo interpretada por vrios autores como instncia de transmisso de propostas neoliberais no contexto latinoamericano. O contraste entre a posio acima mencionada de Torres e as anlises acadmicas sobre as iniciativas governamentais na rea de currculo sugerem a necessidade de pesquisas adicionais sobre o tema. A origem do SAEB relaciona-se com demandas do Banco Mundial referentes necessidade de desenvolvimento de um sistema de avaliao do impacto do Projeto Nordeste, segmento Educao, no mbito do VI Acordo MEC/Banco Internacional de Reconstruo e Desenvolvimento BIRD (Brasil, 1988). Tal demanda, aliada ao interesse do MEC em implementar um sistema mais amplo de avaliao da educao, levou a iniciativas que redundaram na criao do Sistema Nacional de Avaliao do Ensino Pblico de 1 Grau SAEP J . em 1988, houve uma aplicao piloto do SAEP nos estados do Paran e Rio Grande do Norte, com o intuito de testar a pertinncia e adequao de instrumentos e procedimentos. No entanto, dificuldades financeiras impediram o prosseguimento do projeto, que s pde deslanchar em 1990, quando a Secretaria Nacional de Educao Bsica alocou recursos necessrios viabilizao do primeiro ciclo do Sistema Nacional de Avaliao do Ensino Bsico. Na seqncia, apresentamos uma viso de conjunto das principais caractersticas do SAEB, com nfase nas mudanas e eventuais permanncias ao longo dos diversos ciclos. Objetivos do SAEB A avaliao das escolas e das redes de ensino uma caracterstica presente no conjunto das reformas educacionais implementadas desde a dcada de 80 em escala internacional (Bomeny 1997; Castro, Carnoy, 1997). No entanto, os objetivos e papis desempenhados pela avaliao no contexto de diversas reformas educacionais tm variado bastante. No caso da Inglaterra (governo John Major) e do Chile o perfil do sistema de avaliao estava balizado pela incorporao de mecanismos de mercado na educao (Black, 1994; Schuller, 1997; Castro, Carnoy, 1997). Nos EUA, o sistema nacional de avaliao objetiva o monitoramento de metas e prioridades (Lockheed, 1997). Em Minas Gerais, ao longo da dcada de 90, desenvolveu-se um sistema de avaliao que objetivava impulsionar a prpria reforma educacional proposta. A essa diversidade de objetivos correspondem sistemas de avaliao com perfis muito diferenciados. Tal cenrio indica que a interpretao do significado
110
do SAEB a partir de esquemas dedutivos, baseados na anlise de documentos de organismos internacionais, ou a derivao direta, para o caso brasileiro, de concluses obtidas em outros contextos, um caminho a ser evitado, j que eles no do conta das mediaes polticas e sociais que contribuem para assegurar, no interior de cada realidade nacional, uma configurao diferenciada na implementao da poltica nacional de avaliao. Com relao ao caso brasileiro, iniciamos por apresentar os objetivos do SAEB tal qual declarados em documentos oficiais, explicitando as inflexes ocorridas ao longo dos diferentes ciclos. O tema ser retomado nas concluses deste artigo, luz de uma viso de conjunto do SAEB, bem como dos usos de seus resultados. O quadro 1 sintetiza os objetivos gerais do SAEB ao longo dos diversos ciclos, tal qual expressos nos documentos oficiais.
QUADRO 1 OS OBJETIVOS GERAIS DO SAEB
Ciclo/Ano Objetivos Gerais
1 Ciclo 1990
Desenvolver e aprofundar a capacidade avaliativa das unidades gest oras do sistema educacional (MEC, secretarias estaduais e rg os municipais); regionalizar a operacionaliza o do processo avaliativo, criando nexos e estmulos pa ra o desenvolviment o de infra-estrutura de pesquisa e a valiao educacional; propor uma estratgia de articulao dos resultados das pesquisas e avaliaes j realizadas ou em vias de implementao. (Brasil/MEC/INEP, s.d., p.3) Fornecer element os para apoiar a formula o, reformulao e monit orament o de polticas voltadas para a melhoria da qualidade da educa o (Brasil/MEC/INEP, 1995); promover o desenvolviment o e o aperfeioament o institucional, organizacional e operacional do Sistema Nacional de Avaliao da Educa o Bsica SAEB; incrementar, descentralizar e desconcentrar a capacidade tcnico-met odolgica na rea de avalia o educacional no Brasil (Brasil/PNUD, 1992).6 Fornecer subsdios para as polticas voltadas para a melhoria da qualidade, eqidade e eficincia da educa o no Brasil (Brasil/ MEC/INEP, s.d.; Brasil/MEC/INEP, 1995). Gerar e organizar informaes sobre a qualidade, a eqidade e a eficincia da educa o nacional, de forma a permitir o monit orament o das polticas brasileiras (Pestana, 1998).
2 Ciclo 1993
3 Ciclo 1995 4 Ciclo 1997
Na definio dos objetivos gerais do SAEB pode-se perceber que a formulao mais descentralizada e participativa adotada no primeiro ciclo, que enfatiza os aspectos processuais ligados ao desenvolvimento de uma cultura de avaliao no interior do sistema educacional, foi sendo secundarizada em favor de uma definio mais centralizada no mbito do MEC. Guardando coerncia com os objetivos traados para o sistema, encontramos, no primeiro ciclo, a participao efetiva de equipes de professores e especialistas das secretarias estaduais de educao, que se responsabilizaram pela aplicao e posterior correo das provas, segundo instrues elaboradas pela Fundao Carlos Chagas. Paralelamente, foram
6.
Este documento contm os marcos gerais do Projeto do SAEB, conforme desenvolvido no ciclo de 1993. Para este ciclo, os objetivos encontram-se formulados nas pginas 19 e 20.
111
constitudas, em cada estado, equipes de professores e especialistas, com a finalidade tanto de validar localmente os contedos das provas, como de determinar se os itens contidos nestas formavam parte do que se considerava contedo mnimo para a UF (Brasil/INEP s.d. [a], p.12). , O segundo ciclo registra, novamente, a participao de equipes docentes e pedaggicas das secretarias estaduais da educao na anlise dos problemas acontecidos tanto na fase de levantamento de informaes e dos resultados relativos ao primeiro ciclo, como na elaborao das provas. Participaram tambm especialistas acadmicos, que se responsabilizaram pela coordenao e elaborao de uma proposta inicial de 40 itens por srie e disciplina, a partir dos quais seriam montados os testes de rendimento (Brasil, 1995, p.13-4). Em contraste com os objetivos dos dois primeiros ciclos e suas nfases em aspectos processuais, os objetivos dos demais ciclos caracterizam-se pela nfase em produo de resultados que possam contribuir para a monitorao da situao educacional brasileira e para subsidiar os formuladores de polticas pblicas. Esse aspecto ser retomado frente, no contexto de nossa anlise dos demais aspectos da estruturao do SAEB ao longo dos diversos ciclos e da influncia do Banco Mundial na poltica educacional brasileira. Sries, reas e disciplinas avaliadas Nos dois primeiros ciclos de aferio do SAEB foram includos na amostra alunos das 1; 3, 5 e 7 sries de escolas das redes pblicas de ensino. A partir do terceiro ciclo, optouse por avaliar as chamadas sries conclusivas, constitudas pela 4 e 8 sries do ensino fundamental e pela 3 srie do ensino mdio, ampliando-se o escopo da amostra de modo a incluir escolas da rede privada.7 Durante os dois primeiros ciclos do SAEB, as provas dos alunos abrangiam conhecimentos de Lngua Portuguesa, Matemtica e Cincias. No terceiro ciclo foram avaliadas as reas de Lngua Portuguesa e Matemtica e no ciclo de 1997 foram acrescentadas as disciplinas de Fsica, Qumica e Biologia nas provas aplicadas aos alunos da 3 srie do ensino mdio, alm de Cincias para os alunos das 4 e 8 sries do ensino fundamental. Para o ano de 1999 est prevista a incluso de testes de Estudos Sociais no ensino fundamental e de Histria e Geografia no ensino mdio. A priorizao inicial das reas de Lnguas, Matemtica e Cincias pode estar indicando a adoo de uma viso estreita da educao. A concentrao da avaliao nas j mencionadas reas atualiza a questo apontada por Torres (1996) e Lauglo (1997), que, ao tratarem da prioridade concedida pelo BM s habilidades cognitivas bsicas concernentes Linguagem, Matemtica e Cincias, levantam o problema do reducionismo curricular presente nessa orientao.
7.
No terceiro ciclo avaliou-se tambm alunos da 2a srie do ensino mdio. Devido ao baixo ndice de discriminao dos itens que compuseram os testes para essa srie e deciso de focalizar as sries terminais, a base de dados ficou praticamente inexplorada.
112
Amostra O SAEB promove avaliaes da educao a partir de amostras complexas, representativas no nvel estadual, dos estudantes brasileiros. Sob o ponto de vista das alternativas de poltica educacional, esta uma caracterstica importante, pois avaliaes deste tipo, em contraste com as avaliaes censitrias, no se prestam a desencadear polticas de financiamento de unidades escolares e de remunerao docente a partir dos resultados dos alunos em avaliaes nacionais. Polticas deste tipo, subsidiadas por avaliaes censitrias, foram parcialmente praticadas em passado recente na Inglaterra, no Chile e na Provncia de Mendona (Repblica Argentina). Os resultados negativos em termos da democratizao da educao foram registrados, respectivamente para cada um dos casos mencionados, por Shuller (1997), Castro, Carnoy (1997) e Gentili (1994). O quadro 2 resume informaes quantitativas sobre as amostras do SAEB nos diversos ciclos.
QUADRO 2 CARACTERSTICAS QUANTITATIVAS DA AMOSTRA DO SAEB NOS DIVERSOS CICLOS
1 Ciclo 1990 Alunos Professores Escolas Estados 133.114 7.814 2.806 26 e DF 2 Ciclo 1993 179.527 8.756 3.100 23 e DF 3 Ciclo 1995 90.495 4.971 2.800 26 e DF 4 Ciclo 1997 167.196 13.267 1.933 26 e DF
Instrumentos contextuais Durante o primeiro ciclo os instrumentos contextuais procuravam abordar questes relativas universalizao (...) do ensino; valorizao do magistrio e democratizao da gesto (Brasil/INEP s.d. [a]). , Esses eixos foram, por sua vez, traduzidos em trs questes globais, a saber:
...em que medida as polticas adotadas nos planos estaduais, regionais e nacional, esto possibilitando o acesso (escolarizao)? (Eixo: universalizao). Quais as mudanas nas condies de trabalho e na competncia pedaggica do professor? (Eixo: valorizao do magistrio). Em que medida a gesto educacional torna-se mais eficiente e democrtica? (Eixo: democratizao da gesto). (Idem, p.3-4)
Essas questes, decompostas em dimenses de anlise especficas e referidas a indicadores, nortearam a elaborao dos instrumentos utilizados neste primeiro ciclo. 8
8. No eixo Universalizao com Qualidade encontram-se as dimenses escolarizao (indicadores matrcula e taxa de escolarizao real); reteno (indicadores taxas de evaso, aprovao e repetncia); produtividade (indicador taxa de sobrevivncia). No eixo Valorizao do Magistrio, encontram-se as dimenses competncia (indicador contedos e
113
No segundo ciclo, foram novamente examinados os dois aspectos contextuais abordados em 1990: gesto escolar e situao e competncia do professor. Em decorrncia de anlises do ciclo anterior, os questionrios destinados a levantar informaes sobre esses aspectos foram reformulados, de modo a privilegiar aqueles relativos ao perfil e prtica de docentes e gestores (Brasil, 1995). O questionrio de gesto escolar foi dividido em cinco blocos e o do professor em seis. Em comum, os dois questionrios contemplavam aspectos relativos formao e experincia profissional, forma de ingresso e situao funcional de diretores e professores. O questionrio sobre gesto escolar inclua ainda informaes relativas a equipamentos, atividades e funcionamento da escola e estilo de gesto dos diretores. O questionrio do professor solicitava informaes sobre planejamento das atividades e prtica docente, condies de trabalho e participao (Brasil, 1995, p.11-2). O terceiro ciclo inovou positivamente ao incluir, no escopo dos instrumentos contextuais, questionrios sobre as caractersticas socioeconmicas e culturais e sobre os hbitos de estudo dos alunos.9 At a introduo desses instrumentos, o SAEB tinha tendido a valorizar apenas o papel das variveis propriamente escolares como a formao de professores e diretores, o estilo docente, o tempo dedicado ao ensino, a infra-estrutura escolar subestimando o peso dos fatores socioeconmicos e culturais e a existncia de relaes estreitas entre fatores escolares e extra-escolares no desempenho do aluno. Assim, pelas suas caractersticas, os dois primeiros ciclos do SAEB fizeram recair a nfase da avaliao sobre as condies intra-escolares intervenientes no desempenho do aluno, tendendo a se distanciar do desenho de levantamentos ingleses e americanos, que tinham acumulado, durante as dcadas de 60 e 70, um razovel conhecimento sobre o problema das desigualdades educacionais associado a fatores extra-escolares, cujos resultados enfatizavam a relao de fatores socioeconmicos e culturais sobre o fracasso e a evaso do aluno. 10
projeto pedaggico) e condies de trabalho (indicadores nveis salariais, taxa de professores concursados, vigncia do Estatuto do Magistrio). Por ltimo, no eixo Gesto Educacional encontram-se as dimenses integrao estado/municpio (indicadores diagnstico de gesto/equalizao custoaluno); descentralizao (indicadores diagnstico de gesto/ grau de autonomia da escola/melhoria da gesto escolar); desburocratizao (indicadores diagnstico de gesto/ relao custopessoal docente/pessoal no docente); eficincia (indicadores diagnstico de gesto/racionalizao de recursos) e democratizao (indicadores diagnstico de gesto/melhoria da gesto escolar). 9. Os instrumentos de coleta estiveram constitudos pelos questionrios do diretor (que levantam informaes sobre sexo, idade, formao e experincia profissional, organizao e funcionamento da escola); do professor (visando obter informaes sobre sexo, idade, formao e experincia profissional, situao funcional, prtica docente, organizao e clima da escola, identificao da escola); dos alunos (incluindo questionrio demogrfico e sociocultural, alm de questionrios sobre hbitos de estudo e testes de rendimento) e da escola (com informaes sobre dependncia administrativa, zona e localizao, estado de conservao, instalaes, materiais e equipamentos e condies da escola). Ver Brasil/MEC/INEP s.d. [b]. ,
10. Nesses pases, o foco dos estudos recaiu basicamente sobre as relaes existentes entre origem social e escolarizao e os resultados sublinharam os limites estreitos da democratizao do sistema de ensino (Peyre, 1959; Bourdieu, Passeron, 1964, Forquin, 1995). Mas a pesquisa realizada pelo Institut National dtudes Dmographiques I.N.E.D. , entre 1962 e 1972, utilizando-se de uma abordagem longitudinal que acompanhou o mesmo grupo de indivduos
114
Tambm parece ter havido pouco dilogo entre o SAEB e as concluses das pesquisas internacionais desse perodo, j que so recorrentes na idia de que as desigualdades no desempenho dos alunos esto mais fortemente correlacionadas com suas diferentes origens sociais e familiares do que com as diferenas pedaggicas e infra-estruturais existentes entre as escolas. Se, no avesso do proclamado, essas concluses acabaram por desencorajar a efetivao das polticas de equalizao escolar que os mencionados levantamentos supostamente visavam subsidiar, por outro lado contriburam para o reconhecimento da necessidade de articulao da poltica educacional com polticas sociais de escopo mais amplo. Mesmo nos casos em que a literatura aponta que a escola pode fazer diferena nos resultados educacionais de seus alunos, as pesquisas consideram explicitamente os indicadores socioeconmicos, j que a comparao de resultados brutos francamente enganosa (Salganik, 1994). Os instrumentos contextuais do quarto ciclo continuaram a investigar o nvel socioeconmico e os hbitos de estudo dos alunos, o perfil e as condies de trabalho de docentes e diretores e os tipos de escola e passaram a incluir indicadores sobre o grau de autonomia e sobre a matriz organizacional da escola. J os aspectos relativos infra-estrutura, espao fsico, instalaes, equipamentos, recursos e materiais didticos foram deslocados para o eixo da eqidade na oferta educacional, dentro da dimenso insumo (Pestana, 1998). Uma viso de conjunto dos instrumentos contextuais utilizados nos diferentes ciclos do SAEB nos permite afirmar que, mesmo aps a introduo dos instrumentos sobre situao socioeconmica e hbitos de estudo dos alunos, esses instrumentos so ainda bastante precrios para permitir um equacionamento satisfatrio das influncias extra-escolares no aproveitamento escolar dos alunos. Em particular, para os alunos de 4 srie do ensino fundamental, h altas taxas de no-resposta a questes relacionadas com nvel socioeconmico. Instrumentos cognitivos O primeiro ciclo se caracteriza por ter adotado uma diretriz indutiva e uma perspectiva mais participativa na concepo e elaborao dos instrumentos cognitivos destinados a avaliar o desempenho dos alunos. Com efeito, os relatrios oficiais afirmam que, no processo de elaborao das provas destinadas aos alunos, baseou-se no que efetivamente existia e era executado nas salas de aula (Brasil, s.d. [a]).
desde o trmino da 4 srie, a que tem lanado mais luz sobre um conjunto de questes sociolgicas que procuram explicar as desigualdades educacionais, seja em termos econmicos, culturais, cognitivos ou motivacionais, seja de acordo com o papel que os professores exercem no processo de diferenciao educacional. Apesar da generalizao do acesso ao ensino secundrio, entre meados das dcadas de 60 e 70, uma pesquisa posterior, realizada pelo Ministrio de Educao da Frana, confirma a tendncia revelada pelo I.N.E.D., no sentido da existncia de uma forte correlao entre origem social e seletividade escolar. Esse fato tambm foi constatado por pesquisas similares realizadas junto aos pases membros da Organizao para Cooperao e Desenvolvimento Econmico O.C.D.E , durante 1971. Ver, a respeito, Husen, 1975, Forquin, op. cit. p. 26).
115
Para tanto, tomou-se, como ponto de referncia, pesquisa realizada, para o Ministrio de Educao, pela Fundao Carlos Chagas em 20 cidades do pas (Avaliao do Rendimento de Alunos de Escolas de 1 Grau da Rede Pblica), servindo de base para a elaborao de uma bateria de testes objetivos de Portugus, Matemtica e Cincias para as 5 e 7 sries, alm de uma prova de redao. Segundo o relatrio preparado por pesquisadores da Fundao Carlos Chagas, na elaborao dos instrumentos:
...no se partiu de um currculo supostamente ideal, mas daquele efetivamente adotado pelo sistema e executado no dia-a-dia das atividades escolares (....). Participaram da estruturao dessa programao professores da rede oficial que procuraram definir os elementos desenvolvidos em atividades de aula indispensveis na seqncia curricular. Desse modo, os diversos pontos identificados compuseram os programas mnimos (....). Os mesmos professores integraram uma equipe para a elaborao dos instrumentos de medida, os quais procuraram reproduzir o que fora efetivamente ministrado na escola de 1 grau. (Brasil, s.d. [a])
A perspectiva mais participativa adotada nesse ciclo, pode ser assim corroborada no envolvimento de equipes de professores e especialistas das secretarias estaduais de educao, que se responsabilizaram pela aplicao e posterior correo das provas, segundo instrues elaboradas pela Fundao Carlos Chagas, alm das equipes de professores e especialistas que, em cada estado, foram envolvidos na validao local dos contedos das provas e na avaliao sobre se os itens contidos nestas provas formavam parte do que se considerava contedo mnimo para a UF (Brasil, s.d. [a], p.12). Os resultados dessas validaes especficas teriam sido levados em conta, eliminando-se, na correo dos testes, aqueles itens que as equipes estaduais de especialistas julgaram no formar parte da srie/contedo da disciplina analisada (idem, p.13). J com relao ao segundo ciclo, as principais modificaes realizadas referem-se metodologia seguida no processo de elaborao das questes e itens dos testes de rendimento dos alunos, em que as diretrizes indutiva e participativa foram acrescidas da busca de consenso e legitimao junto s instituies acadmicas. O processo de reformulao dos testes de rendimento utilizados no primeiro ciclo teve incio com as crticas e observaes formuladas pelas equipes estaduais encarregadas de sua aplicao e posterior correo e com os pareceres especficos emitidos pelas equipes pedaggicas de secretarias estaduais de educao. Essas indicaram a necessidade de modificaes das questes em aspectos tais como: a elaborao de itens que medissem outras habilidades alm da memorizao, o uso de vocabulrio adequado s diversas regies, a formulao de enunciados mais esclarecedores da tarefa proposta e o cuidado especial com as ilustraes, de modo a evitar distores na interpretao.
116
Paralelamente, o MEC procedeu ao levantamento das propostas curriculares sugeridas ou aplicadas pelas secretarias estaduais de educao (Brasil, s.d. [a])11, que foram encaminhadas a especialistas da Universidade Federal de Pernambuco UFPE 12, para elaborao de uma grade curricular sinttica, que contemplasse os contedos comuns por srie (1; 3; 4; 5, 7 e 8) e disciplinas (Portugus, Matemtica e Cincias) do 1 grau (idem, p.13). Novamente as secretarias estaduais de educao foram convocadas para a validao das grades curriculares mnimas comuns, ocasio em que avaliaram separadamente cada contedo, indicando se o mesmo poderia ser considerado essencial, especfico ou complementar. Os estados foram orientados no sentido de que a avaliao deveria ser realizada por especialistas em currculo nas reas de Portugus, Matemtica e Cincias e por professores com experincia em sala de aula. Ao todo, 23 estados remeteram os resultados da validao para a coordenao central do SAEB, o que possibilitou a montagem de uma matriz, pelo cruzamento de fazer parte dos contedos mnimos e essencialidade do tema. A participao das universidades se deu pela constituio de trs grupos de especialistas, que tinham por funo elaborar:
...uma proposta inicial de 40 itens por srie e disciplina, a partir dos quais seriam montados os testes de rendimento.13 [...] Os grupos foram orientados a elaborarem questes semiobjetivas para a 1 e 3 sries e questes objetivas para a 5 e 7 sries, com 5 alternativas de respostas cada uma. (Brasil, s.d. [a], p.13-4; Brasil, 1995)
O documento relata ainda que foi realizada uma pr-testagem dos 40 itens de Portugus e Matemtica nas escolas de aplicao da Universidade Federal de Minas Gerais UFMG e da Universidade Estadual de Londrina UEL, com o objetivo de testar a clareza do enunciado e o nvel de dificuldade da questo, seguida de um processo de ajustes e reformulaes. Os especialistas tambm participaram, junto com professores das trs disciplinas citadas, na seleo daqueles (itens) que comporiam os testes definitivos, [e] definiram o nmero de questes que constituiriam cada teste: 30 para as de 5 e 7 sries e 20 para as de 1 e 3 sries (Brasil, s.d. [a], p.13-4). No plano da avaliao de desempenho, esses testes visavam verificar se os alunos tinham adquirido os conceitos bsicos constantes do programa e se eram capazes de aplic-los em assuntos relevantes do seu dia-a-dia14.
11. O documento informa o nome de apenas 13 estados, cujas propostas teriam sido analisadas. Foram eles Acre, Alagoas, Amazonas, Cear, Esprito Santo, Gois, Mato Grosso do Sul, Minas Gerais, Paran, Rio Grande do Norte, Rio Grande do Sul, Santa Catarina e So Paulo. 12. As especialistas foram Ada Maria Monteiro Silva e Iracema Lima Pires Ferreira 13. As coordenaes foram as seguintes: o grupo 1 (Portugus), foi coordenado pela professora Magda B. Soares (UFMG), o grupo 2 (Matemtica) pela professora Regina Luzia C. de Buriasco (UEL) e o grupo 3 (Cincias) pela professora Miriam Krasilchik (USP). 14. Entre novembro e dezembro de 1993, 23 estados realizaram o levantamento de dados. Foram pesquisados 1.179.527 alunos, 8.756 professores em cerca de 3.100 escolas de 540 municpios brasileiros. Paralelamente, alguns municpios (Macei, Natal, Recife, Rio de Janeiro, Salvador, Teresina e Vitria da Conquista) realizaram a pesquisa, envolvendo 18.500 alunos, 1.700 professores e 440 escolas.
117
No terceiro ciclo houve alteraes substanciais na forma de execuo do SAEB, que se colocam na perspectiva da terceirizao, junto a instituies privadas, tanto da elaborao das provas aplicadas aos alunos, como da conduo do processo de aplicao dos testes e de anlise dos resultados. Nesse novo enquadramento institucional, o SAEB tem concorrido para a secundarizao, quando no para o abandono, da perspectiva mais participativa e indutiva adotada nos ciclos anteriores. Com efeito, segundo relato de Fontanive (1997, p.36), em 1995:
...o SAEB foi conduzido pelas Fundaes Carlos Chagas e CESGRANRIO, que, em convnio com o MEC, se responsabilizaram pela seleo da amostra, elaborao dos itens e confeco dos cadernos de teste, padronizao e elaborao de manuais e vdeo de treinamento do procedimento de aplicao dos instrumentos provas, questionrios e formulrios distribuio dos materiais s sedes das secretarias estaduais de educao, processamento e anlise dos resultados.
Acrescentamos a este relato que as referidas fundaes se responsabilizaram tambm pela definio das matrizes de contedo que serviram de base para a confeco dos itens. Durante este ciclo, muito embora o documento que apresentou os resultados fizesse meno ao processo de construo de uma matriz de referncia para a elaborao dos itens de provas (Brasil, s.d. [c]; Brasil, 1995), a Fundao CESGRANRIO j desenvolvia, com apoio financeiro da Fundao FORD, a construo de um banco de questes calibrado segundo a Teoria da Resposta ao Item TRI15. O MEC teria se interessado pela experincia e, a partir dela, teria introduzido uma srie de inovaes no Sistema de Avaliao do Ensino Bsico, utilizando uma parcela desse banco nas provas nacionais de Matemtica e Lngua Portuguesa da 8 srie do ensino fundamental e nas da 3 srie do ensino mdio, enquanto os itens aplicados nas 4 sries foram elaborados pela Fundao Carlos Chagas, que tambm j vinha construindo um banco de itens.16 Tal cenrio sugere que a construo da matriz para o SAEB95 foi, ao menos parcialmente, influenciada pelos itens pr-existentes. Sobre o quarto levantamento do SAEB, acontecido em 1997, possvel dizer que ele manteve a maior parte das caractersticas presentes no ciclo de 1995. No entanto, o Instituto
15. Conforme Pestana (1998), diferentemente das provas clssicas de contedo que no permitiam comparao no tempo e entre as sries escolares, a elaborao de escalas de proficincia construdas com base na TRI, permitiu a comparao dos resultados das provas dos alunos ao longo do tempo e entre as diferentes sries, pois a unidade de anlise passa a ser o item da prova, e no mais a prova completa, nem o aluno. () O uso da Teoria da Resposta ao Item e das Escalas de Proficincia associado a uma tcnica de balanceamento de contedo permitiu, tambm, a superao de uma terceira dificuldade: a pequena amplitude de conhecimentos inerentes a uma prova de 30 questes. O SAEB de 1995 utilizou cerca de 150 questes em cada uma das disciplinas avaliadas. Embora cada aluno continuasse respondendo entre 30 e 35 questes, foi possvel avaliar o desempenho do grupo de alunos em todas as 150 questes utilizadas, cobrindo, portanto, um espectro mais amplo do currculo. 16. O levantamento incluiu tambm a 2 srie do 2 grau. No entanto, problemas tcnicos com os testes para essa srie acabaram por levar ao abandono dos resultados obtidos.
118
Nacional de Estudos Pedaggicos INEP procurou resgatar parte do poder de formulao e controle em relao s definies sobre o que o SAEB avalia, o que se materializou na elaborao, no mbito do INEP e com a contribuio de assessores, das matrizes curriculares de referncia do SAEB. J os servios tcnicos de apoio realizao das diversas faces do ciclo foram licitados, em contraste com o terceiro ciclo, quando houve dispensa de licitao. Alm disso, instituiu-se um processo de validao emprica dos itens preparados e esses passaram a ser propriedade do MEC. No plano da concepo dos instrumentos cognitivos, a nova etapa aberta pelo SAEB97 parece se caracterizar pelo abandono da perspectiva conteudista que fundamentou a elaborao das provas destinadas a aferir o desempenho educacional dos alunos nos trs primeiros ciclos, em favor de um desenho que passa a associar a aprendizagem de contedos aquisio de habilidades e competncias cognitivas, tidas como passveis de medio pelo tipo de testes aplicados.17 Sugestivamente, a elaborao das matrizes curriculares de referncia, que consubstanciam a mudana na concepo das provas dos alunos, se faz dentro de uma preocupao crescente com o estabelecimento de padres de rendimento e com uma orientao da avaliao para a obteno de resultados. No pode passar despercebido que esta nova orientao, sobre o que o SAEB avalia ou deve avaliar, v ao encontro das preocupaes do Banco Mundial, em termos da necessidade de que os sistemas educacionais estabeleam uma especificao clara de objetivos e um maior monitoramento dos resultados e insumos, como forma de permitir mais autonomia s escolas e um acompanhamento direto pelos usurios (Lauglo, 1997, p.12). Do ponto de vista do processo, o ciclo de 1997 do SAEB se caracteriza por ter concentrado numa nica fundao grande parte do processo de formulao dos itens e o conjunto de etapas concernentes aplicao das provas e anlise dos resultados.18 Foi essa fundao quem se incumbiu da elaborao dos itens Lngua Portuguesa, Matemtica e Cincias, que passaram a compor o banco de itens do MEC, responsabilizando-se tambm pela sua pr-testagem em dez capitais brasileiras. Entretanto, as provas foram preparadas pelo MEC, a partir do conjunto de itens pr-testados que faziam parte do banco. Com as provas j prontas, a Fundao CESGRANRIO se encarregou da preparao dos cadernos de testes e de sua aplicao a uma amostra de mais de 200 mil alunos definida
17. O trabalho orientou-se, primeiramente, na busca do estabelecimento dos contedos necessrios s demandas e exigncias implcitas no sistema educacional(...). A estes contedos foram associadas as competncias cognitivas que lhe so prprias, bem como as habilidades instrumentais delas advindas. Entende-se por competncias cognitivas as modalidades estruturais da inteligncia que o sujeito utiliza para estabelecer relaes sobre os objetos, situaes fenmenos e pessoas (...). As habilidades instrumentais referem-se especificamente ao plano do saber fazer e decorrem diretamente do nvel estrutural das competncias adquiridas e que se transformam em habilidades (Brasil, 1997, p.5). 18. Na elaborao dos itens de participaram tambm uma instituio do Cear e uma outra de Pernambuco, que se responsabilizaram pela elaborao de itens de Qumica, Fsica e Biologia, para as provas aplicadas nos alunos das 3as sries do ensino mdio.
119
pelo MEC, da preparao dos coordenadores estaduais e da anlise dos resultados obtidos com a aplicao dos testes. Influncia do Banco Mundial Conforme j foi registrado neste artigo, a origem do SAEB relaciona-se com demandas do Banco Mundial. Embora os ciclos de avaliao de 95 e 97 tenham sido os primeiros financiados com verba oriunda de emprstimos do Banco Mundial, no possvel deixar de registrar o papel indutor da poltica de avaliao exercido pelo Banco Mundial desde o primeiro ciclo de 1990. Neste ponto, vale a pena ressaltar que o processo de implantao do SAEB esteve, desde o incio, marcado pela existncia de divergncias entre os tcnicos do MEC e do Banco Mundial e que tais divergncias foram responsveis, em parte, tanto pela falta de emprstimos financeiros durante os dois primeiros ciclos, como pelas mudanas acontecidas no desenho do SAEB a partir de 95. Documento de circulao restrita, elaborado por uma comisso especial designada para encaminhar o estabelecimento do sistema de avaliao19, revela que, na origem do SAEB, enquanto os tcnicos do INEP:
...defendiam um desenho organizacional descentralizado de execuo, mas com um core diretivo e tcnico institucionalmente estruturado no Ministrio e nas secretarias, que supervisionasse o desenvolvimento do sistema e assegurasse a integrao avaliao-formulao de polticas pblicas,
os tcnicos do Banco Mundial

...propugnavam, com base em estudos feitos em alguns pases da Amrica Latina, uma organizao em que o Ministrio apenas definiria e controlaria o alcance dos objetivos gerais de avaliao e licitaria, entre organizaes no-lucrativas, a execuo de todas as atividades do programa. (Brasil, 1994, p.6)
Ainda de acordo com o documento, poca:

...chegou-se a um termo conciliatrio algo arriscado. Um dos projetos do subcomponente nacional dedicado avaliao educacional [dever] apoiar o desenvolvimento do SAEB, sob a condio de que [atenda] alguns critrios de avaliao de desempenho do projeto estabelecidos por um comit de especialistas. Seguiriam o molde licitatrio os demais projetos, como o de desenvolvimento de centros de excelncia em avaliao e o de desenvolvimento de recursos humanos. (Idem, p.9)
19. Ver, Polticas pblicas de qualidade educacional: sistema de monitoramento e avaliao. Comisso Especial Constituda pela Portaria de 8 de novembro de 1994, em cumprimento MP n. 711/94. Caberia a esta comisso o encaminhamento de uma portaria ministerial, estabelecendo normas e recomendaes para o desenvolvimento, nos sistemas de ensino, de atividades contnuas e sistemticas de avaliao externa, atendendo, assim, s atribuies do Conselho Nacional de Educao, fixadas no Artigo 9, incisos VII, VIII e IX, da Lei n. 4.024/61, alterado pelo Artigo 1 da aludida Medida Provisria.
120
interessante assinalar que o documento, produzido ao apagar das luzes da gesto de Murilo de Avellar Hingel como Ministro da Educao, contm a proposta de uma estrutura para o SAEB distinta daquela implantada a partir da mudana de governo. No mencionado documento clara a tentativa de garantir para os outros nveis e rgos do sistema educacional um padro menos subordinado ao MEC e mais ativo no desenho poltico institucional e na conduo do sistema de avaliao. Para tanto, o documento prope a criao de um Conselho Diretor, do qual participariam os rgos do MEC responsveis pelas polticas de qualidade da educao bsica, as entidades representativas das administraes municipais e estaduais de ensino e as universidades, enfatizando que tanto melhor seria se esse conselho inclusse tambm representantes dos agentes educativos e da sociedade civil (idem, ibidem). Essa proposta justificada tanto como forma de reduzir a sobrecarga de tarefas concentradas no INEP quanto como modo de institucionalizar equipes estaduais e locais,
...at o momento marginalmente situadas nos rgos de planejamento ou de estatsticas educacionais, quando no isoladas em algum ponto das secretarias. [Como] nelas se encontram os poucos tcnicos treinados para essas atividades, o risco de desarticulao e de evaso aumenta a cada mudana de dirigentes. (Idem, ibidem)
Esse documento deu origem, em 27 de dezembro de 1994, Portaria n. 1.795 que formaliza a criao do SAEB e prope uma estrutura de funcionamento do sistema em
20 Nessa portaria, o ento ministro da Educao, Murilo Avellar Hingel, em atendimento s medidas legais anteriormente citadas considera: que as medidas educacionais exigidas por uma estratgia de desenvolvimento sustentado, democrtico e socialmente justo, devem assegurar oportunidades de educao bsica de boa qualidade com eqidade e eficincia, tal como foi acordado no amplo processo de discusso do Plano Decenal de Educao para Todos; que a eficcia da formulao e gesto dessas polticas requer permanente monitoramento de sua execuo e avaliao de seus resultados; que os processos de avaliao e monitoramento devem ser organizados sistematicamente, para integrar todos os nveis da administrao educacional e para mobilizar eficientemente os recursos humanos, tcnicos e institucionais de organismos governamentais e de universidades e centros de pesquisa socioeducacional; que os conhecimentos e as informaes gerados por esses processos devem ser de domnio pblico, contribuindo para subsidiar a participao de todos no encaminhamento de aquelas polticas e no controle social de seus resultados; que nestes ltimos anos, o Ministrio da Educao e do Desporto MEC, acumulou substancial experincia na organizao e conduo de processos avaliativos, que demandam adequada institucionalizao; que a Comisso Especial instituda pelo Decreto de 8 de novembro de 1994 consignou sua manifestao favorvel mesma, resolve: Art. 1 Criar o Sistema Nacional de Avaliao da Educao Bsica com os seguintes objetivos gerais: 1. Contribuir para o desenvolvimento, em todos os nveis do sistema educativo, de uma cultura avaliativa que estimule a melhoria dos padres de qualidade e de eqidade da educao bsica e adequados controles sociais de seus resultados; 2. Implementar e desenvolver, em articulao com as secretarias de educao, processos permanentes de avaliao, apoiados em ciclos regulares de aferies das aprendizagens e competncias obtidos pelos alunos e do desempenho dos estabelecimentos que compem o sistema de educao bsica; 3. Mobilizar os recursos humanos, tcnicos e institucionais do Ministrio, das secretarias, universidades e centros de estudos e pesquisas sociais e educacionais, para gerar e difundir os elementos, tcnicas e instrumentos requeridos pelas prticas de aferio e avaliao educacional; 4. Proporcionar aos responsveis pela gesto educacional e pelo ensino, s famlias e aos cidados em geral, informaes seguras e oportunas a respeito do desempenho e dos resultados dos sistemas educativos. Art.2 O Sistema Nacional de Avaliao da Educao Bsica ser dirigido por um diretor de que faro parte: a Secretaria de Educao Fundamental, cujo titular a presidir; o Instituto Nacional de Estudos e Pesquisas Educacionais, cujo diretor-geral responder pela Secretaria Tcnica, a Secretaria de Educao Mdia e T ecnolgica, o presidente do Conselho Nacional de Secretrios de Educao, o presidente da Unio Nacional dos Dirigentes Municipais da Educao, um representante dos Secretrios da Educao dos Municpios das Capitais; o presidente do Conselho de Reitores das Universidades Brasileiras; Pargrafo nico. O Conselho Diretor constituir, para assessor-lo, um Comit Consultivo Tcnico-Cientfico composto por especialistas em planejamento e avaliao educacional ().
121
consonncia com o esprito do texto da Comisso Especial.20 Com a mudana de governo, a poltica de institucionalizao e operao do SAEB desenvolve-se em termos muito distintos daqueles propostos pelo MEC no final de 1994. O INEP reestruturado de modo a poder centralizar a formulao e implementao das atividades de avaliao e o SAEB 95 desenvolve-se a partir da terceirizao de diversos servios, que ficaram a cargo das fundaes CESGRANRIO e Carlos Chagas. Com relao mencionada polmica sobre os modos de institucionalizar e operacionalizar o sistema de avaliao, inegvel que a mudana de governo de 1995 viabilizou decises alinhadas com a viso dos tcnicos do Banco Mundial. Na concluso deste artigo retomaremos o ponto de modo a avaliar as conseqncias dessas decises. Os resultados ao longo dos diferentes ciclos: o que eles nos dizem sobre o SAEB Conforme apresentado no presente artigo, o SAEB coleta dados sobre os alunos includos na amostra, seus professores, diretores e escolas. O desenho de pesquisa bastante usual em pesquisas educacionais de levantamento. Seu principal potencial o de permitir anlises que faam uso integrado de dados obtidos em diferentes questionrios pelo uso dos modelos estatsticos adequados. Um exemplo tpico deste veio de anlise a construo de modelos que descrevam a proficincia dos alunos nos testes em razo de indicadores relacionados com a origem social dos alunos, seus hbitos de estudos, as caractersticas de seus professores e de suas escolas. Por certo, a modelagem dos dados no invalida que anlises mais simples sejam desenvolvidas e divulgadas. At o momento, quase todo o esforo analtico e interpretativo efetuado com dados do SAEB foi de anlises baseadas em tcnicas de estatstica descritiva simples, tais como tabulaes e anlises bivariadas. Retomaremos o tema mais frente, no contexto de nossa discusso de balano das potencialidades e limitaes das anlises conduzidas. Antes disto, ser conveniente considerarmos o foco das anlises apresentadas nos relatrios tcnicos dos diversos ciclos do SAEB. Argumentaremos que a identificao dos aspectos presentes e ausentes nas anlises ajudam a entender o processo de institucionalizao do SAEB. Quanto anlise dos resultados do primeiro ciclo do SAEB, foram produzidas tabulaes dos resultados mdios por regies e estados (Brasil, s.d. [a]). Os instrumentos do primeiro ciclo no incluam itens que permitissem identificar a origem social do aluno, no sendo possvel, portanto, desenvolver anlises que balizassem os resultados de proficincia em razo das caractersticas socioeconmicas dos alunos. Os instrumentos dos professores e diretores eram bastante detalhados e o relatrio apresentava tabulaes simples desses dados e anlises bivariadas que exploravam relaes entre resultados de proficincia dos alunos com caractersticas do estilo de diretores e professores. As limitaes inerentes a essas anlises bivariadas so bem conhecidas na literatura e esto relacionadas ao fato de que as associaes encontradas so, tipicamente, mediadas pela inter-relao das variveis conside-
122
radas explicitamente nas anlises bivariadas com outras variveis. Por esta razo, os resultados das anlises bivariadas no podem ser tomados como algo alm de esforos de conhecimento dos dados e fontes de hipteses a serem testadas posteriormente. Por isso, optamos por no privilegiar a apresentao dessas anlises bivariadas em nossa discusso dos resultados dos diversos ciclos. Apesar das referidas limitaes, as interpretaes dos resultados fornecem subsdios importantes para a compreenso do modo pelo qual pretendia-se que a avaliao do sistema educacional contribuiria para as polticas pblicas. Particularmente relevante para o nosso propsito aqui so os resultados referentes ao perfil dos diretores. O mencionado relatrio aponta o perfil relativamente jovem do diretor do ensino pblico de 1 grau, cuja mdia de idade se situa nos 37 anos, destacando que, embora predomine a formao de nvel superior completo, os diretores apresentam baixos ndices de formao especfica em administrao escolar. Registra, tambm, que a mdia salarial mensal dos diretores de U$ 443, sendo a forma mais comum de acesso ao cargo a indicao de tcnicos e polticos, em detrimento de mecanismos de seleo formais e normatizados (Brasil, s.d. [a], p.70). sobre a prtica administrativa dos diretores que o documento tece as consideraes mais sugestivas. O documento declara ser essa prtica bastante diversificada, o que sugeriria:
...a incorporao de princpios das vrias tendncias e teorias que influenciam a administrao em geral [...] principalmente as calcadas na diviso entre quem decide e quem executa e entre trabalho intelectual e trabalho manual, [que] tendem a produzir [...] uma racionalidade organizacional aparente, em detrimento do aspecto pedaggico, provocando a deturpao, e mesmo o esquecimento, dos objetivos da organizao escolar. (Idem, p. 70)
Nesse sentido, o documento destaca que se a maior parte dos diretores v como principal funo da direo garantir a eficincia da organizao escolar e a adequao do trabalho pedaggico realidade dos alunos, menos de 1% dos diretores reconhecem como importante a garantia do desenvolvimento dos contedos programados. Na anlise do documento:
...esses dados podem estar indicando que o conceito de eficincia utilizado pelos diretores questionvel, pois est muito mais vinculado ao desempenho do prprio diretor do que ao da organizao escolar, em termos de seus objetivos fundamentais (que podem ser sintetizados na aprendizagem dos alunos. (Idem, ibidem)
Tal viso estaria apontando que ainda pouco disseminada a percepo da funo pedaggica da direo. Dessa falta de valorizao da funo pedaggica por parte da direo escolar, decorreriam o distanciamento entre o iderio e a prtica dos administradores escolares e a pouca clareza existente quanto aos reais objetivos da escola. Isso explicaria o fato de os diretores atriburem o fracasso escolar a fatores externos escola, tais como a misria da populao, a
123
falta de apoio das famlias dos alunos e a estrutura e funcionamento do sistema educacional (idem, ibidem). As solues apontadas pelos diretores para solucionar esses problemas aparecem vinculadas reorientao da atuao dos professores, reorganizao da escola para melhorar seu atendimento e a mudanas das condies de vida da populao (idem, ibidem). Sobre essas afirmaes, o documento conclui:
...a administrao da escola se concretiza, portanto, como uma prtica exterior ao processo educacional em que o desempenho da direo e o funcionamento administrativo da escola aparecem como funes prioritrias, em que maior a preocupao com aspectos formais, em detrimento dos aspectos substantivos, quais sejam, processos pedaggicos, contedos e papel da escola, denotando ausncia de responsabilidade pelos processos e produtos que so gerados. (Idem, ibidem)
Com relao ao questionrio dos professores, o relatrio identifica que esses ainda concebem sua prtica pedaggica num plano essencialmente tcnico, desvinculando-a da totalidade social. Essa desvinculao, segundo o documento, estaria revelando que nem a formao escolar do professor, em todos os nveis, nem a formao em servio estariam oferecendo os fundamentos terico-prticos para uma atuao competente (idem, p.101). Por essa via, chega-se concluso de que os professores, assim como os diretores, acabam eximindo-se da responsabilidade pelo problema do rendimento dos alunos (idem, ibidem). O documento extrai concluses que, apoiadas em literatura de ampla difuso no campo educacional, operam dentro de uma dupla crtica: ao tecnicismo e ao reprodutivismo em educao. Com efeito, por um lado, possvel perceber que o documento apresenta uma crtica viso e s condies do funcionamento da escola, auspiciadas pelo tecnicismo na dcada de 70, materializadas na introduo da racionalizao do processo educativo, no parcelamento do trabalho pedaggico e na especializao de funes. A sedimentao institucional e terica dessa perspectiva teria operado no sentido de relegar os professores e, principalmente, os diretores condio de executores de processos pedaggicos meramente tcnicos, retirando-lhes a iniciativa e a capacidade de perceber as relaes que se estabelecem entre os aspectos tcnicos e as dimenses pedaggica e poltica da prtica educativa. Por outro lado, as concluses revelam uma crtica viso dos diretores e professores acerca da necessidade de uma mudana prvia nas condies sociais e econmicas de vida da populao para ser possvel a oferta de uma escola mais eficiente e capaz de garantir a aprendizagem dos alunos. interessante notar que, coerentemente ao destaque dado pelo SAEB s condies intra-escolares, as concluses desse ciclo no resgatam a que talvez seja uma das contribuies mais importantes das teorias da reproduo. De fato, a partir da nfase que coloca nas determinaes sociais do fenmeno educativo e no papel da escola na reproduo da sociedade que o reprodutivismo contribuiu positivamente para revelar a natureza seletiva da escola. Entretanto, nas concluses que o relatrio deriva da discusso
124
dos resultados obtidos nos questionrios de diretores e professores, o documento se reporta apenas ao fato de professores e diretores estarem informados por teorias e tendncias que teriam servido para introduzir um sentimento de impotncia acerca de sua prpria capacidade para transformar as condies de funcionamento da escola e os baixos nveis de desempenho escolar. Em sntese, a ausncia no primeiro ciclo de avaliao de instrumentos que produzissem indicadores socioeconmicos, a nfase em anlises e interpretaes que focalizavam associaes entre proficincia e caractersticas de professores e diretores e a qualificao desmobilizadora atribuda s concepes mantidas por parcelas de docentes acerca do papel desempenhado pelos fatores extra-escolares na educao revelam o otimismo pedaggico dos gestores do Sistema de Avaliao da Educao Bsica. Em suas linhas gerais, o relatrio do segundo ciclo do SAEB produz resultados bastante semelhantes ao do primeiro ciclo. Embora o estilo do relatrio seja mais tcnico e colado aos resultados quantitativos obtidos, com a conseqente supresso ou diminuio de interpretaes como aquelas mencionadas no caso do primeiro ciclo, ainda est presente o otimismo em relao ao potencial do compromisso pedaggico para a melhoria da qualidade da educao (Brasil, 1995). Os resultados do terceiro ciclo do SAEB trouxeram um conjunto de novidades importantes (Brasil, s.d.[d]). Embora tenham sido publicados diversos resultados de anlises bivariadas, passou-se a ter clareza acerca dos limites deste tipo de procedimento, conforme registrado no prprio relatrio do SAEB:
...temos de reconhecer que a realidade educacional bem mais complexa que este modelo estatstico simples, razo pela qual seria recomendvel a utilizao de modelos de anlise multivariados. [Alm disso] No campo educacional apresenta-se uma hierarquia de nveis organizacionais (alunos, turmas, escolas, municpios, UF, etc.) que as tcnicas, inclusive as multivariadas tradicionais, ignoram, tornando aconselhvel a utilizao de mtodos de anlise multinvel (ou hierrquica). (Brasil, s.d. [e], p.13)
A segunda alterao digna de registro foi a produo de escalas de proficincia que permitiam a interpretao educacional das habilidades e competncias associadas a diversos pontos da escala. Essa inovao, propiciada pela j mencionada introduo da Teoria de Resposta ao Item, no livre de controvrsia uma vez que a correta interpretao das habilidades e competncias um objetivo complexo e que s pode ser garantido a partir de um processo de estabilizao em sucessivos exerccios de avaliao (Gaviria, Klein, s.d.). Alm disso, a adequada interpretao dos diversos escores da escala pressupe a boa qualidade e adequao dos testes ao perfil dos alunos. Com relao ao SAEB 95, necessrio considerar que alguns dos testes em particular os de Matemtica nas sries mais avanadas foram extremamente difceis para os alunos, fator que, por certo, ir dificultar a estabilizao da escala e a segurana de sua interpretao educacional. Mesmo considerando-se as men-
125
cionadas limitaes, importante registrar que, a partir do SAEB 95, comea-se a interpretar de um modo mais significativo as diferenas educacionais das diversas regies geogrficas brasileiras com base nos resultados mdios dos alunos. No entanto, deve-se ter clareza que tais diferenas apuradas a partir dos resultados brutos dos alunos, sem controle de fatores extra-escolares que influenciam os resultados escolares, no podem ser interpretadas como medidas de diferenciais de qualidade das diversas redes de ensino. O relatrio do SAEB 97 (Brasil, s.d.) ainda no incorporou aquelas tcnicas estatsticas adequadas para a modelagem estatstica dos dados do SAEB, j reclamadas no relatrio do SAEB 95. No entanto, pode-se apurar, pela participao de um dos autores deste artigo em reunies tcnicas relacionadas com o SAEB, que esforos neste sentido esto sendo desenvolvidos. As anlises bivariadas, apesar das limitaes j discutidas, foram desenvolvidas em todos os ciclos do SAEB, e a repetio exausto de alguns resultados convergentes fizeram com que fossem gradativamente incorporadas aos esquemas conceituais dos formuladores de polticas pblicas, a despeito da provisoriedade ou precariedade dos achados. A apresentao dos resultados de 97, em consonncia com os aspectos positivos j registrados no ciclo anterior, d seguimento perspectiva de interpretao educacional das escalas de proficincia, alm de avanar na busca de equacionar o tema da comparabilidade dos resultados ao longo dos anos. Registre-se ainda que o relatrio de 1997 mais cuidadoso que os anteriores ao tratar da significncia estatstica das anlises apresentadas. A perspectiva de comparabilidade estava delineada desde 1995 e, no caso brasileiro, est ancorada na adoo da Teoria de Resposta ao Item e no conjunto de iniciativas a ela relacionadas que objetivam construir e manter um banco de itens calibrados de acordo com os pressupostos da mencionada teoria. Para efetivar a comparao, optou-se por tomar-se como referncia a escala de 1997, transportando-se os resultados de 1995 para a nova escala. Deve ser registrado que a comparabilidade dos resultados ao longo de diferentes ciclos assunto bastante complexo, envolvendo temas no s de medidas educacionais como de amostragem e de realizao do plano amostral na pesquisa de campo. Embora no haja ainda condies de avaliar se as decises tomadas na comparao dos resultados de 1995 e 1997 em especial a tomada da escala de 1997 como referncia devem ser mantidas no futuro, podese afirmar que o equacionamento do tema da comparabilidade ao longo do tempo foi um desenvolvimento importante, j que o monitoramento da qualidade da educao brasileira um dos objetivos do SAEB. CONCLUSES Tendo discutido as caractersticas do SAEB ao longo dos diversos ciclos, optamos por concluir com um balano dos aspectos que so mais bem captados a partir de uma viso de conjunto dos diversos ciclos do SAEB. Primeiramente consideramos a modificao ao longo dos ciclos nos objetivos do SAEB, que se deslocaram da criao de uma cultura de avaliao no mbito dos rgos
126
gestores das redes de ensino para a prioridade em monitorar as polticas e a qualidade da educao. Essa modificao guarda estreita relao com alteraes na estrutura organizacional e operacional do SAEB, transitando de uma operao mais descentralizada e com participao relativamente intensa das secretarias estaduais de educao para um esquema mais centralizado e baseado na terceirizao de uma srie de atribuies operacionais. Embora reconheamos que o desenvolvimento ocorrido viabilizou algumas solues tecnicamente slidas para a operacionalizao do SAEB, faz-se necessrio registrar que as opes assumidas tm implicaes regressivas em termos da dissociao das instncias de gesto e avaliao da educao, o que pode levar os prprios rgos gestores das redes de educao a manifestarem tendncia de no se reconhecerem nos resultados do SAEB. A mencionada dissociao entre gesto e monitorao da qualidade, no caso brasileiro estimulada pelos tcnicos do Banco Mundial, uma tendncia em franco declnio no cenrio empresarial. Ao invs de contradizer a convico do Banco Mundial acerca da convenincia de incorporao de mecanismos de mercado e tcnicas gerenciais usuais no cenrio empresarial na gesto dos sistemas educacionais, a viso dos tcnicos do banco sobre a terceirizao dos procedimentos relacionados com a avaliao um indicador da adeso do banco a noes defasadas de controle de qualidade. Em contraste com os diferentes nuances dos objetivos do sistema de avaliao e suas repercusses operacionais, o SAEB permaneceu estvel quanto ao carter amostral da pesquisa. Tal configurao do SAEB o distingue das iniciativas relacionadas com as reformas educacionais baseadas em avaliao (Linn, 1995), perspectiva segundo a qual a avaliao do conjunto da populao estudantil um elemento que organiza, acelera e homogeneza mudanas em reas tais como currculo e carreira docente. Essa perspectiva tem sido criticada devido a problemas relacionados a excessos em custos, intrusividade e homogeneidade (Jones, 1997), o que nos leva, por um lado, a valorizar o desenho amostral do sistema de avaliao brasileiro e, por outro lado, a questionar as crticas prpria existncia da avaliao a partir de analogias com situaes de pases ou regies que assumiram propostas de avaliao censitrias. nosso ponto de vista que a avaliao da educao brasileira mais do que um projeto particular de um grupo poltico ou de um governo. Ela atende demandas muito variadas, de gestores educacionais e, em sentido mais amplo, de diversos setores da sociedade. Por isso, veio para ficar. Se este artigo estimular a comunidade acadmica da rea de educao a considerar o SAEB como uma instncia capaz de ajudar os pesquisadores a entender a educao brasileira, ns teremos atingido nossos objetivos. REFERNCIAS BIBLIOGRFICAS
BARROSO, C. L. M., MELLO, G. N. O acesso da mulher no ensino superior brasileiro. Cadernos de Pesquisa, n.15, p.47-77, dez. 1975.
127
BESSA, N.M. Alunos do curso colegial: planos e caractersticas scio-econmicas. Rio de Janeiro: FGV, 1971. BLACK, P J. Performance assessment and accountability: the experience in England and . Wales. Educational evaluation and policy analysis. 1994.v.16, p.191- 203. BOMENY, H. [org.] Avaliao e determinao de padres na educao latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997. BOURDIEU, P PASSERON, J.C. A Reproduo. Rio de Janeiro: Francisco Alves, 1975. ., ________. Les Hritiers: les tudiant et la culture. Paris: ditions de Minuit, 1964. BOWLES, S., GINTIS, H. Schooling in capitalist America. New York: Basic Books, 1976. BOWLES, S., LEVIN, H. The Determinants of scholastic achievement: an appraisal of some recent evidence. Journal of Human Resources, v.3, p.3-24, 1968. BRANDO, Z., BAETA, A. M., ROCHA, A. Evaso e repetncia no Brasil: a escola em questo. Rio de Janeiro : Achiam, 1983. BRASIL. Ministrio da Educao e Cultura. Polticas pblicas de qualidade educacional: sistema de monitoramento e avaliao. Comisso Especial constituda pela Portaria de 8 de novembro de 1994, em cumprimento MP n. 711/94, 1994. ________. Portaria n. 1.795, de 27 de dezembro de 1994, dispe sobre a criao do Sistema Nacional de Avaliao. BRASIL. Ministrio da Educao e Cultura. IICA. Proposta de Avaliao do Programa de Educao Bsica para o Nordeste. VI Acordo, 1988. (mimeo) BRASIL. Ministrio da Educao e Cultura. INEP Matrizes curriculares de referncia para o . SAEB. Braslia, 1997. ________. Perfil e resultados do projeto. Braslia, s/d. [a] (mimeo) ________. Primeiros Resultados SAEB 97. Braslia, s.d. ________. Relatrio final. Braslia, s.d. [e]. ________. Relatrio do 2 ciclo do Sistema Nacional de Avaliao da Educao Bsica, SAEB 1993. Braslia, 1995. ________. Resultados do SAEB/95: a escola que os alunos freqentam. Braslia, s/d [b]. ________. Resultados do SAEB/95: escalas de proficincia, Braslia, s/d [d]. ________. Resultados do SAEB/95: resultados estaduais. Braslia, s/d [c]. BRASIL. PNUD. Projeto do Sistema Nacional de Avaliao da Educao Bsica. Braslia, 1992. [BRA/92/002/A/01/99.]
128
CAMPOS, D.M.S. Que fatores so responsveis pela reprovao na escola primria brasileira? Rio de Janeiro : MEC, 1960. CARVALHO, J. C. B., KAPPEL, M. D. A educao fundamental: censo domiciliar de 1996 como parmetro para o Plano Nacional de Educao 1998-2007. Rio de Janeiro, 1997. (mimeo) CASTRO, C.D., CARNOY, M. Como anda a reforma da educao na Amrica Latina? Rio de Janeiro: FGV, 1997. CASTRO, C., FLETCHER, P Mitos, estratgias e prioridades para o ensino de 1 grau. . Estudos em Avaliao Educacional, n.8, p.39-56, dez. 1993. CASTRO, C., SANGUINETTY, J. Custos e determinantes da educao na Amrica Latina. Rio de Janeiro: INTED, 1978. CENTRAL ADVISORY COUNCIL FOR EDUCATION, CHILDREN AND THEIR SCHOOLS. Plowden Report. H.M.S.O., 1967. COLEMAN, J.S. et al. Equality of educational opportunity. Washington: U.S. Government Printing Office, 1966. CORAGGIO, J.L. Propostas do Banco Mundial para a educao: sentido oculto ou problemas de concepo? In: TOMMASI, L. De, WARDE, M.J., HADDAD, S. (org.) O Banco Mundial e as polticas educacionais. So Paulo: Cortez, p.75-123, 1996. CUNHA, L. A. Educao e desenvolvimento educacional no Brasil. 11.ed., Rio de Janeiro: Francisco Alves, 1989. ________. Educao, Estado e democracia no Brasil. So Paulo: Cortez, 1991. ENGUITA, M.F. O Discurso da qualidade e a qualidade do discurso. In: GENTILI, P SILVA, ., T.T., Neoliberalismo, qualidade total e educao. Petrpolis: Vozes, p.93-110, 1994. FERNANDES, C. O. A Construo do currculo na escola pblica: a interao de propostas curriculares oficiais com o projeto educativo de uma unidade escolar. Rio de Janeiro, 1997. Dissert. (mestr.) PUC-Rio. FLETCHER, P R. SAEB: relatrio tcnico sobre a amostra de 1995. So Paulo, 1996. . FLETCHER, P RIBEIRO, S.C. O Ensino de 1 grau no Brasil hoje. Em Aberto, v.6, n.33, p.1., 10, jan.-mar. 1987. FONTANIVE, N.S. Avaliao em larga escala e padres curriculares: as escalas de proficincia em matemtica e leitura no Brasil. In: BOMENY, H. (org.). Avaliao e determinao de padres na educao latino-americana: realidades e desafios. Rio de Janeiro: FGV, p.31-46, 1997.
129
FORQUIN, J.C. [org.] Sociologia da educao: dez anos de pesquisa. Petrpolis/RJ: Vozes, 1995. GATTI, B. Avaliao educacional no Brasil: experincias, problemas, recomendaes. Estudos em Avaliao Educacional, n.10, p.67-80, jul.-dez. 1994. ________. O Rendimento escolar em distintos setores da sociedade. Estudos em Avaliao Educacional, n.7, p.95-112, jan.-jun. 1993. GAVIRIA, Jos L., KLEIN, R. Precauciones en la intepretacin de los resultados de SAEB. s.l.p., s.d. (mimeo) GENTILI, P O discurso da 'qualidade' como nova retrica conservadora. In: GENTILI, P SILVA, . ., T.T. Neoliberalismo, qualidade total e educao. Petrpolis: Vozes, p. 111-77, 1994. ________. Neoliberalismo e educao: manual do usurio. In: GENTILI, P SILVA, T.T. (org.) ., Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Braslia : CNTE, p.9-49, 1996. GOLDBERG, M. A. et al. Seletividade scio-econmica no ensino de 1 grau. Rio de Janeiro: Achiam, 1981. GOLDSTEIN, H., SPIEGELHATER, D.J. League tables and their limitations: statistical issues in comparisons of institutional performance. Journal of Royal Statistics Society, A, n.159, p.385-443, 1996. GOUVEIA, A.J. Desigualdades no acesso educao de nvel mdio. Revista Brasileira de Estudos Pedaggicos, v.48, n.105, p.32-43, 1967. HARBISON, R.W., HANUSEK, E.A. Educational performance of the poor. New York : Oxford University Press, 1992. HEDGGS, L.V., LAINE, R.D., GREENWAD, R. Does money matter? A meta-analysis of studies of the effects of differential school inputs on student outcomes. Educational Researcher. v.23, n.3, p.5-14, 1994. HUSEN, T. Social influences on eduactional attainment. Center for Educational Research and Information CERI/OCDE, 1975. JONES, L.V. National tests and education reform: are they compatible? Princeton, N.J.: Educational Testing Service, 1997. KLEIN, R., RIBEIRO, S. C. O censo educacional e o modelo de fluxo: O problema da repetncia. Revista Brasileira de Estatstica, v.52, p.5-45, 1991. LACERDA, E.R. Determinantes scio-econmicos do rendimento e atraso escolar. Rio de Janeiro, 1979. Dissert. (mestr.) PUC-Rio. LANGONI, C. As causas do crescimento econmico do Brasil. Rio de Janeiro: APEC, 1974.
130
LAUGLO, J. (1997) Crtica s prioridades e estratgias do Banco Mundial para a educao. Cadernos de Pesquisa, n.100, p.11-36, mar. 1997. LEE, E.S., FORTHOFER, R.N., LORIMOR, J.L. Analyzing complex survey data. Londres: Sage, 1989. LINN, R. L. Assessment-based reform: challenges to educational measurement. Princeton, N.J.: Educational Testing Service, 1995. LOCKHEED, M. Contexto internacional para avaliaes. In: BOMENY (org.). Avaliao e determinao de padres na educao latino-americana. Rio de Janeiro: Fundao Getlio Vargas, 1997. MAINARDES, J. A Promoo automtica em questo: argumentos, implicaes e possibilidades. 1994. [Trabalho apresentado na Reunio Anual da ANPEd, Caxambu.] MELLO, G.N. As condies intra-escolares na determinao da seletividade do ensino de 1 grau: um problema de pesquisa. In: GOLDBERG, M. A. et al. Seletividade scioeconmica no ensino de 1 grau. Rio de Janeiro: Achiam/ANPEd, 1981. p.15-25. MOREIRA, A.F.B. Neoliberalismo, currculo nacional e avaliao. In: SILVA, L.H., AZEVEDO, J.C. (org.) Reestruturao curricular: teoria e prtica no cotidiano da escola. Petrpolis: Vozes, p.94-107, 1995. ________. Parmetros curriculares nacionais: crticas e alternativas. In: SILVA, T.T., GENTILI, P (org.) Escola S.A.: quem ganha e quem perde no mercado educacional do . neoliberalismo. Braslia : CNTE, p. 128-49, 1996. ________. Os Parmetros curriculares nacionais em questo. Educao & Realidade, Porto Alegre, v.21, n. 1, jan.-jun., p.10-11, 1996. PERRENOUD, P Prticas pedaggicas, profisso docente e formao: perspectivas sociolgi. cas. Lisboa: Publicaes Dom Quixote. Instituto de Inovao Educacional, 1993. PESSOA, G.C.P SILVA, P ., .L.N., DUARTE, R.P Anlise estatstica de dados por amostragem; .N. problemas no uso de pacotes padres. Relatrio Tcnico IBGE, 1997. PESTANA, M. I. O Sistema de avaliao brasileiro. Revista Brasileira de Estudos Pedaggicos. Braslia, v.79, n.191, p.65-73, jan.-abr. 1998. PEYRE, C. L'Origine sociale des lves de l'enseignement secondaire en France. In: NAVILE, P cole et Societ, 5, Paris: Librairie Marcel Rivire, 1959. . REIMER, E. A Escola est morta. Rio de Janeiro: Francisco Alves, 1976. RIBEIRO, S. C. A Pedagogia da repetncia. Estudos Avanados. IEA,USP v.5, n.12, p.7-21, , maio-ago. 1991.
131
SACRISTN, G. J. Reformas educativas e reforma del currculo: anotaciones a partir de la reforma espaola. In: WARDE, M. (org.) II Seminrio Internacional. Novas polticas educacionais: crticas e prespectivas. Programa de Estudos Ps-Graduados em Educao, Histria e Filosofia da Educao da Pontifcia Universidade Catlica da So Paulo, So Paulo, 1998. SALGANIK, L. H. Apples and apples: comparing performance indicators for places with similar demographic chacteristics. Educational Evaluation and Policy Analysis, n.16, p.125-41, 1994. SCHULLER, C.R. Chile: sistema de medicin de la calidad de la educacin: caractersticas y uso de los resultados de la evaluacin para mejorar la calidad. In: BOMENY, H. Avaliao e determinao de padres na educao latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997. SIANO, L. M. F Determinantes do xito do vestibular na Universidade Federal do Esprito Santo . UFES. Rio de Janeiro, 1977. Dissert. (mestr.) PUC-Rio. SILVA, M. A. Determinantes do desempenho escolar em sistemas educativos da Amrica Latina. Rio de Janeiro, 1979. Dissert. (mestr.) PUC-Rio. SILVA, R.N., DAVIS, C. proibido repetir. Estudos em Avaliao Educacional, n.7, p.5-44, jan.-jun. 1993. TORRES, R.M. Melhorar a qualidade da educao bsica? As estratgias do Banco Mundial. In: TOMMASI, L. De, WARDE, M.J., HADDAD, S. (org.) O Banco Mundial e as polticas educacionais. So Paulo: Cortez, 1996. VEIGA, A. et al. O Perfil da escola brasileira: um estudo a partir dos dados do SAEB-97. Rio de Janeiro: PUC-Rio, 1998. (mimeo) WOLFF, L. Avaliaes educacionais: uma atualizao a partir de 1991 e implicaes para a Amrica Latina. In: BOMENY, H. Avaliao e determinao de padres na educao latino-americana: realidades e desafios. Rio de Janeiro: FGV, 1997. ZIBAS, D., FRANCO, M.L.P WARDE, M.J. Globalizao e polticas educacionais na Am.B., rica Latina: apresentao. Cadernos de Pesquisa, n.100, p.5-8, 1997.
132

Avaliação E Política Educacional: O Processo de Institucionalização Do Saeb

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Avaliação E Política Educacional: O Processo de Institucionalização Do Saeb

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAO E POLTICA EDUCACIONAL: O PROCESSO DE INSTITUCIONALIZAO DO SAEB

ALCIA BONAMINO CRESO FRANCO

Departamento de Educao PUC-RJ

Cadernos de Pesquisa, n 108, novembro/1999 108, p. 101-132, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

3 Ciclo 1995 4 Ciclo 1997

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

os tcnicos do Banco Mundial

Ainda de acordo com o documento, poca:

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Cadernos de Pesquisa, n 108, novembro/1999

Você também pode gostar