A (auto)avaliao das escolas: virtudes e efeitos colaterais

Virgnio S*

Resumo
Ao longo das duas ltimas dcadas, em contextos scio-polticos muito diversos, primeiro nos pases centrais, depois nos pases semi-perifricos e perifricos, a agenda avaliativa, nas suas diferentes configuraes e domnios de incidncia, tem vindo a assumir uma enorme centralidade. No caso de Portugal, as alteraes recentes no quadro legislativo que enquadra as nossas escolas e os seus profissionais, com destaque para o novo estatuto da carreira docente do ensino no superior e para a indexao dos muito propalados contratos de autonomia prvia existncia de processos auto-avaliativos e de avaliao externa, catapultaram esta problemtica para as primeiras pginas da agenda pblica. As razes deste (sbito) interesse pelas questes da avaliao educacional em geral, e da avaliao institucional em particular, organizam-se em torno de uma pluralidade de eixos estruturadores filiados em lgicas e racionalidades em tenso, uns mais vinculados s preocupaes com o controlo, outros mais sintonizados com uma agenda emancipatria.Neste texto pretende-se discutir algumas daquelas lgicas e racionalidades em tenso, articulando-as com a diversidade de agentes e de agendas que a avaliao pode servir. De modo mais especfico, procura-se pr em evidncia alguns dos efeitos colaterais decorrentes de concepes e prticas avaliativas que ignoram, ou desprezam, a assuno da escola como organizao educativa complexa. Palavras-chave: Avaliao institucional. Auto-avaliao. Avaliao externa. Qualidade.

School (self)evaluation: virtues and collateral efects Abstract

Throughout the two last decades, in diverse social political contexts, firstly in central countries, later in the peripheral and the semi-peripherals countries, the assessment agenda, in its different configurations and domains of incidence, has come to assume an enormous centrality. In the case of Portugal, the recent alterations in the educational legislation that fits our schools and its professionals, with prominence for the new statute of the teaching career and for the indexation of the contracts of autonomy to the previous existence of internal and external evaluation processes, had raised this problematic on the first pages of the public agenda. The reasons of
* Doutor em Educao; Professor Auxiliar do Instituto de Educao e Psicologia da Universidade Minho, Portugal. E-mail: virsa@iep.uminho.pt

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

88

Virgnio S

this interest for the questions of the educational evaluation in general, and the institutional evaluation in particular, organize around a plurality of structuring axles originated in logics and rationalities in tension, some more tied with the concerns with the control, others more syntonized with an emancipatory agenda. In this text we intend to discuss some of those logics and rationalities in tension, articulating them with the diversity of agents and agendas that the evaluation can serve. In a more specific way, we essay to put in evidence some of the collateral effects emerging from assessment conceptions and practices that ignore, or disdain, the assumption of the school as a complex educational organization. Keywords: Institutional evaluation. Self-evaluation. External-evaluation. Quality.

La (auto)evaluacin de las escuelas: virtudes y efectos colaterales Resumen

A travs de las dos dcadas pasadas, en contextos polticos y sociales diversos, primero en los pases centrales, despus en los pases perifricos y semi-perifricos, la agenda evaluativa, en sus diversos configuraciones y dominios de incidencia, ha venido asumir un inters enorme. En el caso de Portugal, los cambios recientes en el cuadro legislativo que regula nuestras escuelas y a sus profesionales, con prominencia para el nuevo estatuto de la enseanza y de la educacin no superior y para la indexacin de los contratos de la autonoma a los resultados de la auto-evaluacin y de la evaluacin externa, proyectaron este tema para las primeras pginas de la agenda pblica. Las razones de este inters por las cuestiones de la evaluacin educativa en general y de la evaluacin institucional en particular, se organizan alrededor de una pluralidad de ejes estructuradores, filiados en lgicas y racionalidades en tensin, unos ms articulados con las preocupaciones con el control, otros ms en sintona con una agenda emancipatria. En este texto se piensa discutir algunas de esas lgicas y racionalidades en tensin, las articulando con la diversidad de agentes y agendas que la evaluacin pueda servir. En una manera ms especfica, se mira poner en evidencia algunos de los efectos colaterales que se desarrollan en consecuencia de las concepciones y prcticas de evaluacin que no hacen caso, o desdean, de la escuela como organizacin educativa compleja. Palabras clave: Evaluacin institucional. Auto-evaluacin. Evaluacin externa. Calidad.

A dimenso holstica e integradora da avaliao institucional

Importa comear por esclarecer que neste texto se toma como objecto de anlise e reflexo a avaliao institucional das escolas, com destaque particular para a autoavaliao. Considerando a pluralidade de modalidades e sentidos que a avaliao pode assumir, julgamos conveniente comear por clarificar em que acepo especfica se
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

89

toma aqui a avaliao institucional. Na linha de outros autores, consideramos que uma possvel dmarche metodolgica para a dilucidao deste conceito pode passar por salientar primeiro o negativo da imagem, ou seja, explicitar antes o que no avaliao institucional. Assim, e mobilizando as palavras de Dias Sobrinho (2000, p. 103), comeamos por esclarecer que no se trata de avaliar isoladamente conhecimentos, docentes individuais, estudantes como categoria separada, os meios sem relao com os fins, nem se trata de tentar somar essas anlises fragmentrias para construir um puzzle Fica, portanto, claro que a avaliao institucional de uma escola no pode ser tomada como equivalente ao produto da soma das vrias avaliaes insularizadas, realizadas segundo agendas e agentes desconectados. Pelo contrrio, a avaliao, porque institucional, ter de ser, necessariamente, holstica e integradora. O primeiro requisito pe em evidncia que a escola enquanto totalidade que o objecto de avaliao; o segundo requisito complementa o primeiro conferindo agora destaque necessidade de articulao das vrias dmarches avaliativas e sua subordinao ao documento que suposto conferir rumo e identidade escola- o seu Projecto Educativo. Como afirma Dias Sobrinho (1995, p. 39): A qualidade no est nos fragmentos, na separao, mas sim na integrao, nas relaes de conjunto. Em coerncia com este pressuposto, Dias Sobrinho (2000, p. 103) define a avaliao institucional nos seguintes termos:
A avaliao institucional uma construo colectiva de questionamentos, uma resposta ao desejo de ruptura das inrcias, um pr em movimento um conjunto articulado de estudos, anlises, reflexes e juzos de valor que tenham alguma fora de transformao qualitativa da instituio e do seu contexto, atravs da melhora dos seus processos e das relaes psicossociais.1

Atravs desta conceptualizao, Dias Sobrinho procura superar os reducionismos frequentemente associados aos processos avaliativos, reflectindo na prpria definio a densidade e complexidade das organizaes educativas. Simultaneamente, desloca o foco das obsesses mtricas (quantofrenia) para a produo de reflexes e de juzos de valor, pondo em evidncia a natureza poltica do processo de avaliar. Ao subordinar a agenda avaliativa s preocupaes com a melhoria dos processos e da relaes psicossociais, este autor desvincula ainda a avaliao institucional da distribuio de punies e recompensas, desdramatizando, tambm por essa via, um processo que, para ser assumido com verdade, no pode ser vivido como uma espada de Dmocles permanentemente apontada cabea dos avaliados/avaliadores. Quando assim , o que no raro, o processo de avaliao transforma-se num jogo do gato e do rato onde, por cada tentativa de controlo, se podem mobilizar inmeros dispositivos de oposio, de subverso ou de fuga (VENTURA, 2006, p. 156). No mesmo sentido se pronuncia Santos Guerra (2002) ao
1 Trinidad Requena (1995, p. 7 apud DIAS SOBRINHO, 1995, p. 95- 9 6), insere-se nesta mesma linha de problematizao ao definir avaliao institucional como um processo descritivo, sistemtico e rigoroso, com enfoque global ou holstico, permanente, integrado actividade educativa da instituio, reflexivo, compreensivo, que propicia a melhora da instituio educativa.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

90

Virgnio S

considerar que um processo avaliativo que no assumido pelos actores educativos, particularmente pelos docentes, habitualmente gera resistncias, promove teatralizaes e produz imagens distorcidas que se revelam inteis. De facto, afirma este autor, se os professores rejeitam o processo, jogam defesa, artificializam o comportamento, negam a evidncia, ento a avaliao ser uma perda de tempo. (SANTOS GUERRA, 2002, p. 51). Considerando que as escolas so organizaes sociais complexas (AFONSO, A. J., 2003; SANTOS GUERRA, 2002)2, a sua avaliao institucional (ou qualquer outro tipo de avaliao) no pode ser reduzida a uns quantos procedimentos tcnicos, ainda que sofisticados, orientados por obsesses mtricas, por mais imperativas que estas se apresentem. Na verdade, como denuncia Lima (1997, p. 55) reportando-se ao ensino superior, a nfase no mensurvel induz um paradigma de educao contbil, subordinada a uma agenda gerencialista e tecnocrtica, que, nas palavras deste autor, revaloriza concepes mecanicistas das organizaes e da administrao educativas, ao mesmo tempo que despreza, ou secundariza, os processos e os resultados mais difceis de contabilizar. Neste cenrio, afirma ainda Lima (1997, p. 55, grifo nosso): Parece claro que avaliao vir a ser conferido o estatuto de fiel da balana, de selo de garantia ou de certificado de qualidade, procurando-se desta forma repor a confiana social no sistema, entretanto perdida ou abalada e cobrindo dfices de legitimidade. Esta afirmao de Lima constitui uma oportuna advertncia em relao aos discursos voluntaristas que sacralizam a avaliao e que julgam ver nesta a panaceia para todos os males que afectam a educao. Contudo, se a avaliao no constitui o amuleto que vai esconjurar a crise da educao e da escola, tambm no deve ser perspectivada como a boceta de Pandora a quem todas as doenas podem ser imputadas. Na verdade, a (auto)avaliao das escolas pode servir diferentes agentes e diferentes agendas e ancorar-se em racionalidades plurais e, eventualmente, contraditrias. No ponto seguinte d-se estaque problematizao da convivncia tensa entre diferentes quadros de inteligibilidade e lgicas de aco dos processos avaliativos.

A (auto)avaliao das escolas: entre o olho normalizador e as aspiraes emancipatrias

Na panplia de razes susceptveis de serem convocadas para conferir inteligibilidade ao (sbito) interesse pela avaliao das escolas possvel identificar lgicas e agendas relativamente diversas e, nalguns casos, filiando-se em argumentos legitimadores em clara tenso, umas mais centrados nas preocupaes com a conformidade burocrtico-formal, outras mais coerentes com uma concepo das escolas como comunidades educativas, dotadas de autonomia e orientadas para a promoo de um projecto crtico e democratizante.
2 Como observa Santos Guerra (2002, p. 11) : Avaliar escolas com rigor implica conhecer a especial natureza e configurao que elas tm, enquanto instituies enraizadas numa determinada sociedade: a sua heteronomia, as suas competentes nomotticas, os seus fins ambguos, a sua dbil articulao, a sua problemtica tecnologia. Por outro lado imprescindvel ter em conta o carter nico, irrepetvel, dinmico, cheio de valores e imprescindvel de cada escola.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

91

Num esforo de inventariao dos factores subjacentes presso para a avaliao das escolas, Azevedo (2007) discrimina doze questes que arruma em trs categorias: polticas, sociais e econmicas. Nesta listagem incluem-se a descentralizao e a autonomia e a correlativa prestao de contas; a reivindicao de informao por parte do consumidor como condio para prticas de escolha informadas; a assuno da escola como unidade crtica associada aos estudos sobre o efeito-estabelecimento; as preocupaes com a (baixa) produtividade das escolas em contraste com os (supostos) elevados investimentos pblicos; o insucesso da escola em assegurar o sucesso de todos; a avaliao entendida como estratgia de marketing; o (suposto) desfasamento entre as exigncias do mundo do trabalho e a oferta educativa das escolas; a crise de confiana na escola decorrente, nomeadamente, da sua massificao; a avaliao (sria) como um contraponto s formas preguiosas de avaliao (ex. os rankings); as presses internacionais e a avaliao como alternativa verificao da conformidade; a avaliao como factor de melhoria e como condio para o desenvolvimento de comunidades profissionais (AZEVEDO, 2007, p. 21-22). As razes aqui elencadas so passveis de articulao com as respostas que Costa e Ventura (2005) do ao para quem e para qu? da avaliao das instituies educativas. Na sntese destes autores, os processos de avaliao institucional podem estar ao servio de trs grandes finalidades: o mercado, o relatrio e a melhoria. Cada uma destas imagens da avaliao diferencia-se em relao aos destinatrios servidos pela avaliao, quanto aos objectivos perseguidos, no que concerne aos contedos privilegiados, em relao aos procedimentos adoptados e concepo de escola que lhes est subjacente. Assim, por exemplo, relativamente concepo de escola, enquanto a avaliao para o mercado surge associada a uma concepo de escola como empresa educativa, em que a grande finalidade captar clientes, j para avaliao que est ao servio da produo do Relatrio, a concepo de escola subjacente a de uma burocracia ritualizada, em que a avaliao visa sobretudo verificar a conformidade legal, cumprindo um ritual de fachada. Por seu lado, se a avaliao se orienta para a melhoria, a concepo de escola subjacente a de uma comunidade de aprendizagem, entendida esta como um processo democrtico, de construo colectiva, com base no desenvolvimento das capacidades profissionais dos seus membros (COSTA; VENTURA, 2005, p. 4). Cada uma das cinco dimenses de anlise acima discriminadas mantm uma relao de coerncia interna com as demais. As respostas que damos s interrogaes para quem se avalia, para que se avalia, o que se avalia e o como se avalia subsumem uma determinada concepo da escola como organizao. Como afirma Lima (2002, p. 17): a avaliao educacional de alunos, escolas, ou departamentos, entre outros elementos, realiza-se necessariamente por referncia, implcita ou explcita, a concepes, imagens ou representaes de organizao escolar. As diferentes concepes de escola subjacentes aos vrios modelos de avaliao transportam consigo formas distintas de entender o significado das estruturas organizacionais, de pensar os objectivos, de problematizar as tecnologias, de equacionar as
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

92

Virgnio S

relaes de poder, de reconhecer a interaco ambiental e de interpretar o sentido da liderana. H, portanto, vantagem em que as diferentes concepes e imagens organizacionais subsumidas nos modelos de avaliao das escolas sejam explicitadas pois esta dmarche poder constituir a via que permitir desvelar e denunciar as potenciais inconsistncias e incongruncias entre os valores efectivamente promovidos por determinados dispositivos de avaliao e aqueles que so invocados no mbito da retrica discursiva que os sustenta. Desde logo cabe perguntar, por exemplo, se um modelo de avaliao que subsume uma concepo de escola imagem da mquina pode, de modo congruente, invocar a agenda do desenvolvimento organizacional como modo de justificao. O que neste ponto se procura enfatizar que a avaliao das escolas pode servir agentes e agendas muito diversos e que, ao contrrio do que sustentam certos discursos normativos e laudatrios, no est na sua natureza servir uns ou outros. Por isso, como alerta Santos Guerra (2003, p. 13): muito importante saber a que valores serve e a que pessoas beneficia. No se trata, portanto, de um mero processo tcnico, mais ou menos sofisticado, de medio. Na mesma linha de anlise se situa Dias Sobrinho (2000, p. 91) quando afirma: as avaliaes operam como instrumentos quase cientficos, quase tcnicos, sempre sociais e ticos de consolidao e denegao de valores. Reconhecer a natureza poltica da avaliao constitui um primeiro requisito para frenar certos mpetos tecnocrticos e gerencialistas que animam determinadas verses do Estado avaliador. A atrelagem da avaliao qualidade, sem se questionar as modalidades daquela nem os sentidos desta, facilita tambm uma instrumentalizao da avaliao com a consequente despolitizao da mesma. Por isso, no ponto seguinte, o foco ser orientado para problematizao daquela relao complexa e para o desvelar de alguns dos significados ocultos que a sua invocao pode abrigar.

Avaliao e qualidade: as duas faces da mesma moeda?

Se, como afirmamos na abertura deste texto, ao longo das ltimas dcadas, as preocupaes com a avaliao das organizaes educativas tm vindo a assumir uma grande centralidade, a demanda da qualidade no lhe fica atrs.3 Mariano Enguita (1997, p. 95), num texto sugestivamente intitulado O discurso da qualidade e a qualidade do discurso, pe precisamente em evidncia o carcter omnipresente e imperativo dessa demanda:
3 Em Portugal, um exemplo sugestivo da sbita obsesso pela qualidade pode encontrar-se nas propostas que os partidos polticos submeteram a sufrgio nas eleies legislativas de maro de 2002. O caso mais paradigmtico o do partido socialista (PS). O ponto 4 do captulo IV do seu programa de governo, seco onde se abordam as propostas desta fora partidria para o sector da educao, tem por ttulo Educao de Qualidade, Educao para Todos. Nas cerca de oito pginas (pp. 67-74) dedicadas explanao dos princpios e das medidas propostas para fazer de Portugal Dos melhores entre os melhoresno ensino no superior, o termo qualidade reiteradamente mobilizado nas mais diversas combinaes. Educao de qualidade; ganhos de qualidade; contratos de qualidade; equipamentos com qualidade; Administrao educativa ao servio da qualidadeconstituem algumas das muitas expresses em que o conceito utilizado. S nas referidas oito pginas o termo qualidade convocado mais de 30 vezes e numa delas atinge a dezena de referncias.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

93

Se existe hoje uma palavra em moda no mundo da educao, essa palavra , sem dvida, qualidade. Desde as declaraes dos organismos internacionais at s conversas de bar, passando pelas manifestaes das autoridades educacionais, as organizaes de professores, as centrais sindicais, as associaes de pais, as organizaes de alunos, os porta-vozes do empresariado e uma boa parte dos especialistas, todos coincidem em aceitar a qualidade da educao ou do ensino como objectivo prioritrio ou como um dos muito poucos que merecem considerao.4

A qualidade, como a avaliao, parece, assim, ter-se transformado numa espcie de amuleto capaz de esconjurar a crise que recorrentemente se abate sobre a educao: bastar invoc-la (nas suas diferentes combinaes) para que, como por magia, uma aura de bondade envolva as propostas que a invocam. Contudo, como adverte Gentili (1997, p. 115): No campo educativo, o discurso da qualidade foi assumindo a fisionomia de uma nova retrica conservadora funcional e coerente com o feroz ataque que hoje sofrem os espaos pblicos (democrticos ou potencialmente democrticos), entre eles a escola das maiorias. Gentilli, reportando-se ao cenrio poltico latino-americano, observa que, a partir de finais da dcada de oitenta, princpios da dcada de noventa do sc XX, a agenda da democratizao cede progressivamente lugar ao discurso da qualidade, entendendo-se esta na sua verso mercantil, ou seja, subordinada s preocupaes com a eficincia e a eficcia como condies para a adaptao s novas condies do mercado. Tambm Lima (1994), reportando-se realidade portuguesa, identifica igualmente uma subordinao da agenda democratizadora ao imperativo da modernizao, processo em Portugal marcado por algumas singularidades. Depois de reconhecer que O fenmeno no especificamente portugus, Lima (1994, p. 124) afirma:
O que h, talvez, de especfico no caso portugus o tipo de ruptura com o discurso da democratizao, fortemente enraizado na poltica educativa desde 1974 (e at mesmo antes), e a tentativa de articular aquele discurso com a ideologia da modernizao. [] o discurso da democratizao no completamente afastado, mas antes reconvertido e subordinado ideologia da modernizao e com ela compatibilizado.

Neste cenrio, observa ainda Lima (1994, p. 128): a ideologia e o discurso da qualidade esto bem patentes nas polticas educativas, verificando-se em diversos documentos enquadradores da educao e das escolas a repetio, por vezes at exausto, da referida palavra.5 Ao contrrio do que se passa no campo produtivo4 Mais adiante, o mesmo autor afirma: Qualquer proposio relativa a conservar, melhorar ou mudar isto ou aquilo, no importa o que seja, deve explicar-se em termos de qualidade.(ENGUITA, 1997, p. 95). 5 Nestas circunstncias, acrescenta de seguida Lima (1994, p. 128): Bastar, ento, falar em eficcia e em qualidade, mesmo sem a sua obteno emprica, para alcanar aqueles propsitos.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

94

Virgnio S

empresarial, o que os promotores do discurso da qualidade no campo educativo parecem ignorar que a qualidade, ainda que reduzida verso mercantil, tem um preo. Contudo, no domnio da educao, a retrica da qualidade surge frequentemente associada, e como factor compensatrio, ao desinvestimento pblico nas escolas. De facto, como denuncia Lima (1994), a obsesso pela qualidade, e pelo seu controlo, no tem tido correspondncia numa poltica de promoo efectiva da qualidade. Por isso, admite este autor, o discurso da qualidade pode afinal no passar de retrica com propsitos de reposio da confiana no sistema e de legitimao institucional. (LIMA, 1994, p. 128). Apesar do carcter quase obsessivo com que o termo qualidade recorrentemente mobilizado nos mais diversos contextos, so raros os investimentos na clarificao do(s) sentido(s) que lhe podem estar subjacentes. No se problematiza, portanto, qualidade para quem? ou, no menos importante, qualidade segundo quem? (OCDE, 1992). Tudo se passa como se o conceito de qualidade fosse unvoco e consensual. Ora, como adverte Lima (1994, p. 127-128), a propsito da utilizao igualmente acrtica do conceito de eficcia, o conceito s deixa de ser problemtico no quadro de uma racionalidade priori, de contrrio, parafraseando ainda Lima, teramos que admitir que no h uma mas vrias qualidades, tantas, possivelmente, quantos os modos de racionalidade em presena conflitual (LIMA, 1994, p. 127-128). Tambm Gentili (1997, p. 172, grifo do autor) alerta para a polissemia deste conceito e, de modo concomitante, para a necessidade da sua devoluo esfera poltica:
O significado da qualidade e, consequentemente, a definio dos instrumentos apropriados para avali-la, so espaos de poder e de conflito que no devem ser abandonados. [] Devemos sustentar com deciso que no existe um critrio universal de qualidade (ainda que os intelectuais reconvertidos assim o pretendam!).

No h, contudo, esclarecemos, nada de demonaco no termo qualidade. O que aqui se procura pr a descoberto so os discursos hegemnicos que veiculam verses monolticas (e mercadorizadas) de uma realidade que por natureza plural. O discurso da qualidade pode ser, mas no tem de ser, excludente. Como expressivamente observa Almerindo Janela Afonso (2003, p. 51):
Se considerarmos que a qualidade da educao escolar no se consubstancia apenas na sua qualidade cientfica e pedaggica, mas tambm, e em simultneo, na sua qualidade democrtica, no podemos deixar de exigir que a avaliao das escolas pblicas se estruture atravs de procedimentos mais complexos, diversificados e muito distintos daqueles que se tm baseado os exames externos estandardizados ou padronizados.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

95

Esta citao, ao pr em evidncia a natureza pluridimensional da qualidade, abre espao para a considerao da multiplicidade de critrios e de lgicas de aco que imperativo considerar na avaliao da prestao do servio educativo. Esses critrios apresentam-se muitas vezes em tenso, sendo, por isso, difceis de traduzir em agendas coerentes e difceis de captar em simultneo por um determinado dispositivo de avaliao. Ora os diferentes programas de avaliao no so neutros, eles reflectem um conjunto de opes e, como afirma Natrcio Afonso (2002, p. 52), os juzos que se produzem dependem dos padres de referncia que se adoptam e dos indicadores que os operacionalizam. Por essa razo, e como afirma o mesmo autor:
provvel que o desempenho organizacional e a qualidade de uma escola onde predominam preocupaes com a equidade e a coeso social no sejam adequadamente reconhecidos por um programa de avaliao que privilegia, ao nvel da definio dos padres de referncia, a liberdade de escolha, a eficincia e a produtividade. (AFONSO, N., 2002, p. 54).

Na verdade, e como sustenta Azevedo (2007, p. 16), as criaes sociais so sempre muito mais complexas do que os instrumentos de que dispomos para as avaliar, de onde resulta que os dispositivos e os juzos avaliativos sero sempre selectivos. Contudo, o reconhecimento desta parcialidade e subjectividade no significa excluir a possibilidade e necessidade de avaliao das escolas e, menos ainda, sucumbir a qualquer deriva positivista. Implica antes reconhecer, mais uma vez, a politicidade (e complexidade) de qualquer processo avaliativo e, por consequncia, a necessidade de (re)inscrever o debate sobre a avaliabilidade da escola na arena mais ampla dos processos de reconfigurao do papel do Estado e de redefinio dos mecanismos de regulao. Como referimos antes, na linha de outros autores, a avaliao das escolas pode estar ao servio do mercado, do relatrio e da melhoria. Tambm deixamos entender que a avaliao se pode subordinar mais a uma agenda de modernizao ou de democratizao. Importa reflectir sobre as circunstncias e as condies em que a avaliao pode, mais plausivelmente, servir cada uma daquelas agendas e, em particular, em que circunstncia pode a avaliao alimentar a lucidez (AZEVEDO, 2007). No ponto seguinte daremos particular ateno discusso destas (im)possibilidades. A anlise centrar-se- sobretudo no confronto entre a auto-avaliao e a avaliao externa, procurando explorar as respectivas foras e as fraquezas.

Auto-avaliao e avaliao externa: foras e fraquezas

Santos Guerra (2002, p. 15-17), ao discutir a origem da iniciativa da avaliao, hierarquiza um conjunto de possibilidades, que estrutura gradativamente em funo do menor ao maior poder educativo da avaliao. Nessa sequncia de possibilidades este autor discrimina quatro tipos: i) avaliao externa com carter de imposio; ii) iniciEnsaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

96

Virgnio S

ativa externa com carcter de proposta; iii) iniciativa interna sem facilitadores externos; iv) e iniciativa interna com facilitadores externos.6 Para este autor, o ltimo tipo (iniciativa interna com facilitadores externos) constitui a modalidade mais rica pois, Se a iniciativa for da prpria comunidade e se, para a levar a acabo, se puder contar com facilitadores externos (chamemo-lhe avaliadores, se quisermos), existem muitas garantias de levar o processo a bom termo (SANTOS-GUERRA, 2002, p. 17). Costa e Ventura (2005, p. 151) sustentam igualmente que: Se o objectivo de determinada avaliao consistir na melhoria efectiva do funcionamento da organizao, ento, a auto-avaliao surge como uma modalidade fundamental. Para fundamentar esta posio, Costa (2007, p. 231) convoca Stufflebeam (2001), autor que defende que os indivduos tm mais probabilidades de compreender, valorizar e usar os resultados de uma avaliao se estiverem significativamente envolvidos em todo esse processo. Contudo, denuncia Costa (2007, p. 233), h condies bsicas para o desenvolvimento da avaliao das escolas pblicas portuguesas que no esto institucionalizadas. Nessas condies bsicas Costa inclui a autonomia contratualizada e a assessoria qualificada. Em relao primeira, este autor interroga com toda a propriedade: se no h autonomia das escolas, o que que estas esto a avaliar? As decises escolares ou as directrizes e as indicaes que existem sobre as escolas? (COSTA, 2007, p. 233). Quanto segunda (assessoria qualificada)7, Costa defende que ela tanto pode ser interna como externa e, neste ltimo caso, admite que possa ser assegurada por outras escolas no quadro do que denomina de colaborao inter-institucional.8 Se a auto-avaliao pode surgir como, aparentemente, mais congruente com uma agenda orientada para a melhoria na prestao do servio educativo, desde logo porque geradora de um maior empenhamento na promoo e execuo das recomendaes decorrentes do processo avaliativo, ela no est isenta de toxinas que podem adulterar a referida agenda centrada na melhoria.9 Na verdade, e ao contrrio
6 Esta tipologia, como esclarece Santos Guerra (2002), no pretende ser exaustiva. Na verdade, tambm poderemos considerar o tipo avaliao interna com carter impositivo). No quadro normativo que regula o sistema de avaliao da educao e do ensino no superior (Lei n 31/20 02, de 20 de dezembro), esclarece-se que A avaliao estrutura-se com base na autoavaliao a realizar em cada escola ou agrupamento de escolas, e na avaliao externa.(art 5 ) e logo de seguida determinase que A auto-avaliao tem carter obrigatrio, desenvolve-se em permanncia, conta com o apoio da administrao(art 6) e deve assentar nos termos de anlise definidos pela prpria administrao. Trata-se de mais um caso em que as escolas so obrigadas a escolher livremente(CAN RIO; ALVES; ROLO, 2001). 7 A assessoria qualificada, quando exercida por entidades externas, tem alguns pontos de convergncia com os facilitadores externos a que se reporta Santos Guerra. 8 A este propsito Costa cita a seguinte (e interessante) afirmao de Michael Fullan (2001 apud COSTA, 2007, p. 234-235): uma das maiores ironias da vida: as escolas tm por finalidade ensinar a aprender, no entanto, so pssimas no que se refere a aprender umas com as outras. Se um dia descobrirem como isso se faz tero o futuro assegurado. 9 Graa Simes (2007, p. 44), num breve texto onde expe um projeto de investigao na rea da auto-avaliao das escolas, alerta-nos de forma particularmente acutilante para os potenciais riscos do auto: Sabe-se como o auto pode ser aprisionante e dominador das almas, com um substituir do controlo direto por uma sujeio produtiva no sentido foucaultiano (CLARKE; NEWMAN, 1997, p. 30). Sabe-se como o crescente individualismo concreto, nascido de um enfraquecimento do princpio da autoridade (VANDANBERGHE, 2001, p. 115), pressupe mais liberdade nas relaes de pertena, mas tambm mais responsabilidade pelas opes. Est demonstrado como esta espiral do controlo do exterior dos dispositivos para o interior das pessoas (MANGEZ, 2001, p. 91) pode causar sofrimento e solides (CORREIA; MATOS, 2001) e, em combinao com as presses de eficcia e de eficincia, levar a uma esquizofrenia da performatividade, em que os sujeitos vivem as suas vidas como empresas do seu eu (BALL, 2002).Esclarece logo de seguida esta autora que todas estas formulaes podem ter os seus contrrios e, portanto, nada h de determinista e de inevitvel nestes riscos potenciais.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

97

do que sustentam certas anlises mais apologticas, no h uma relao necessria entre auto-avaliao e juzos avaliativos mais rigorosos e verdadeiros. Se os avaliadores internos beneficiam de uma maior familiaridade com o contexto em anlise e de uma maior sintonia com a cultura da organizao, por outro lado, podero ser mais vulnerveis em relao a certas presses locais e no disporem do distanciamento e da viso em perspectiva necessrios produo de leituras mais isentas. Por isso, diversos autores consideram que h vantagem em que os processos de auto-avaliao sejam complementados e cruzados com olhares externos que, no sendo necessariamente mais objectivos, podero contudo interpelar o olhar interno.10 Nesta linha de anlise, como defende Azevedo (2007, p. 77): O modo mais coerente e eficaz de fazer avaliao institucional est na relao sinrgica entre auto-avaliao e a avaliao externa, entendida esta como suporte e interpelao auto-avaliao.

Avaliao, presses performativas e fabricaes

A associao da avaliao institucional s diversas agendas (mercado, relatrio ou melhoria) no depende s, ou no depende apenas, do promotor ou do autor da avaliao, mas sobretudo do contexto macro estrutural em que a avaliao se desenvolve e dos usos (e abusos) de que possa ser objecto. Santos Guerra (2002, p. 287-288), por exemplo, sinaliza dez perigos que espreitam a avaliao das escolas, ameaas que podem afectar tanto a auto-avaliao quanto a avaliao externa. A abrir o leque dos abusos que se podem praticar com a avaliao das instituies educativas, Santos Guerra (2002, p. 287-288) refere o perigo de Transformar a avaliao num fim em si mesma: dizer que se efectuou a avaliao, convert-la num trmite ou num motivo de auto-satisfao ou auto-complacncia. Ora este (ab)usar da avaliao tanto pode ocorrer por parte das escolas que realizam a auto-avaliao, como por parte da administrao educacional que promove a avaliao externa. O mesmo se pode dizer em relao ao perigo de Esperar que a avaliao por si mesma resolva os problemas ou elimine as dificuldades.11 (SANTOS GUERRA, 2002, p. 287-288). A utilizao da avaliao com fins meramente laudatrios ou de simples (re)legitimao do sistema tem sido frequentemente denunciada e est j razoavelmente documentada na investigao. O contexto macro estrutural em que a presso para a avaliao se vem desenvolvendo constitui, como referimos acima, outro dos factores fortemente condicionantes da sua subordinao ora a um topos emancipatrio, ora a um topos regulatrio.12 Ball (2002, p. 4)), depois de argumentar que, nos tempos actuais, a reforma da educao alastra como um epidemia, considera que os elementos chave do pacote da reforma da educao- e isto aplica-se com igual vigor e importncia a escolas, colgios e univer10

No se trata, portanto, de defender que o olhar externo mais objetivo do que o olhar interno, mas antes de defender a validao intersubjectiva dos olhares. 11 oportuno lembrar aqui o que afirmou um alto responsvel da IGE num encontro internacional em Lisboa, no incio de Dezembro de 2007. Nesse encontro, em que participaram inspetores de vrios pases europeus, o citado alto responsvel da IGE, convocando o Secretrio Geral da Associao Britnica dos Diretores das Escolas e dos Colgios, fez-nos saber que do mesmo modo que no por pesar o porco mais vezes que este engorda, tambm no h evidncia de que mais inspeo melhore as escolas. 12 Expresses que tomamos aqui de Estvo (2001, p. 159).

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

98

Virgnio S

sidade- so o mercado, a capacidade de gesto e a performatividade. Esclarece depois o mesmo autor13 que a performatividade uma tecnologia poltica, uma cultura e um modo de regulao que se serve de crticas, comparaes e exposies como meios de controlo, atrito e mudana. Ball14 alerta para os vrios riscos que os terrores da performatividade podem representar para a natureza da alma do professor, denunciando as vrias fabricaes que inevitavelmente induz. Neste contexto, a gesto da impresso parece sobrepor-se s relaes baseadas na autenticidade. A este propsito Ball (2002, p. 12) afirma: O que produzido um espectculo, ou o que poderamos considerar uma fantasia encenada (BUTLER, 1990), que est l apenas para ser vista e julgada. Mais adiante este autor reitera esta anlise ao afirmar: Algumas instituies educacionais tornar-se-o no que for necessrio tornar-se para florescer no mercado. Para elas, o corao do projecto educacional aberto e esvaziado. A autenticidade corre o risco de ser inteiramente substituda pela plasticidade. (BALL, 2002, p. 16). Um dos efeitos mais aparentemente contraditrios desta esquizofrenia performativa e deste surto de avaliacionite (ESTVO, 2001), que a obsesso pela qualidade possa ter diversos efeitos perversos, resultando mesmo numa qualidade desqualificada. Estvo (2001, p. 172), num texto onde discute algumas das ambiguidades das polticas educativas portuguesas no perodo compreendido entre a segunda metade da dcada de 90 do sc XX e incio do sc XXI, trecho temporal correspondente a uma fase de governao socialista, apresenta como uma das concluses da sua anlise a possibilidade de a importncia crescente concedida quer autonomia quer avaliao (e tambm ao novo papel da Inspeco) poder, contraditoriamente, reduzir a qualidade da educao em nome da qual foram promulgadas. Efectivamente, os custos, directos e indirectos, inerentes aos processos de promoo da qualidade e da excelncia, podem comprometer seriamente a consecuo daqueles objectivos. Shore e Wright (1999, p. 570 apud BALL, 2002, p. 16), consideram que: Para ser alvo de uma auditoria, uma organizao tem de se tornar a si prpria, activamente, numa organizao auditvel. Contudo, a aquisio de informao performativa pode envolver custos to elevados que exaure os recursos necessrios promoo de uma oferta educativa de qualidade. Como afirma Elliot (1996, p. 15 apud BALL, 2002, p. 12), a obteno daquela informao consome tanta energia, que reduz drasticamente a energia disponvel para se fazerem melhoramentos para se evoluir. Por outro lado, a importncia que a gesto da impresso assume no novo mundo das organizaes performativas (BALL, 2002, p. 9) pode igualmente deslocar para a operaes de cosmtica (ESTVO, 2001) verbas que, de outro modo, poderiam ser aplicadas no enriquecimento das ofertas educativas. De facto, como
13

Ball (2002, p. 6) esclarece que: As tecnologias polticas envolvem a distribuio calculada de tcnicas e artefatos para organizar foras e capacidades humanas em redes operacionais e funcionais de poder. 14 Esclarece Ball (2002, p. 15) que as fabricaes que as organizaes (e indivduos) produzem so selees entre vrias representaes ou projees possveis - ou verses da organizao ou da pessoa. [] As fabricaes so verses de uma organizao (ou pessoa) que no existe - no esto fora da verdade mas tambm no transmitem simplesmente explicaes diretas e verdadeiras - elas so produzidas propositadamente para serem explicveis.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

99

defendemos noutro texto (S, 2004, p. 313), um dos grandes receios decorrentes da introduo da competio entre escolas, e da sua demanda da qualidade, que estas desviem para a promoo da sua imagem pblica verbas que noutro cenrio poderiam ser investidas na criao de oportunidades de formao mais ricas. Vrios autores (BALL, 1993; GEWITZ et al, 1995; RAAB et al., 1997; WHITTY; POWER, 1997) tm alertado para este efeito perverso da competio, com uma parte substancial dos recursos sendo canalizados para o marketing, em detrimento das actividades educativas. A panplia de recursos de que as escolas se podem socorrer para fabricar a sua imagem perante pblicos relevantes pode ser muito diversificada:
Certamente que as escolas se tornaram muito mais atentas e conscientes da necessidade de organizar cuidadosamente as formas atravs das quais se apresentam aos pais actuais ou potenciais, usando publicaes promocionais, eventos escolares, produes escolares, noites abertas, semanas abertas, pginas de Internet e a cobertura de acontecimentos pela imprensa local. (BALL, 2002. p. 17).

Outra das implicaes da obsesso performativa e da qualidade como critrio mercantil (GENTILI, 1997), ser a de valorizar apenas o que mensurvel e evitar tudo aquilo que possa pesar negativamente naquela medio. Assim, por exemplo, quando a qualidade medida em termos de resultados escolares, e estes so aferidos a partir dos desempenhos nos exames nacionais, as escolas sero induzidas a concentrarem-se na preparao dos alunos para que estes sejam bem sucedidos nesses momentos de (in)verdade. Este teach to the test (BALL, 1993, p. 107), induzir, entre outras consequncias, a secundarizao das aprendizagens mais dificilmente mensurveis como, por exemplo, a educao para a democracia e para a participao, o desenvolvimento do esprito crtico, desenvolvimento global da personalidade.15 Na verdade, os exames, alm de efectuarem uma usurpao do currculo, como afirma Dias Sobrinho (2000, p. 97), acabam lanando uma viso embaada sobre o ensino e a aprendizagem e empobrecem os objectivos curriculares a fim de poderem medi-los, desta forma contribuindo para mais uma das muitas formas de desqualificao da qualidade que supostamente perseguem.16 Por outro lado, num contexto marcado pela interdependncia competitiva (VAN ZANTEN, 2006), e considerando que a qualidade do produto final depende tambm da possibilidade de se seleccionarem as melhores matrias-primas, as escolas podero sentir-se tentadas, seno mesmo obrigadas, a seleccionar criteriosamente as suas entradas, dessa forma produzindo diferentes formas de excluso. para este efeito colateral das presses avaliativas que gostaramos de orientar agora o nosso foco de anlise.
15

Michael Apple (2001, p. 17), numa entrevista concedida a Michael Shaughnessy, Kathy Peca e Janna Siegel, assumindo uma frontal denncia do que vem denominando de individualismo possessivo, afirmou: Atualmente, debaixo da influncia do neoliberalismo, o verdadeiro significado da cidadania foi radicalmente transformado. Nos dias de hoje o cidado um simples consumidor. O mundo visto como um vasto supermercado. 16 A insensibilidade disperso semntica do termo qualidade (MANILA, 1989, p. 24 apud DIAS SOBRINHO, 2000, p. 105) tem facilitado a sua instrumentalizao ao servio de agendas muito diversas.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

100

Virgnio S

Avaliao, excelncia e efeitos colaterais

A literatura sobre as escolas eficazes hoje bastante abundante e diversificada. Nas vrias anlises, os factores de sucesso, apesar de no serem completamente sobreponveis, tendem a apresentar alguma convergncia. De entre esses factores salientam-se a liderana forte e orientada para as metas educacionais, viso e objectivos claros e partilhados, corpo profissional coeso e dedicado, expectativas elevadas e suportadas por estratgias de apoio e reforo positivo, salas de aula mais organizadas e disciplinadas, relao de colaborao e parceria entre a escola e a famlia. H, no entanto, uma caracterstica comum s escolas de sucesso que raramente sinalizada: elas beneficiam, por razes diversas, de um pblico onde se verifica uma clara sobre-representao dos grupos socialmente favorecidos. Ainda que nem sempre o verbalizem, as escolas tm uma conscincia aguda da relevncia deste pr-requisito como condio para o sucesso. Por isso, a procura selectiva de clientes constitui uma prtica que a literatura especializada desde h muito vem documentando. Raab e outros (1997), por exemplo, num estudo que conduziram em trs autoridades educativas locais (distritos escolares) inglesas e escocesas, nas quais seleccionaram doze escolas com caractersticas diversas, concluram que essas escolas no estavam apenas preocupadas com o nmero de alunos mas tambm em atrair os alunos certos. Como notam estes autores, tomando por referncia o estudo que realizaram, nas trs reas estudadas, as escolas que procuravam aumentar o nmero de alunos, queriam estudantes que pudessem incrementar a reputao da escola e a sua posio na liga dos desempenhos: em sntese, crianas da classe mdia (RAAB et al., 1997, p. 147). Tambm Whitty e Power (1997, p. 226), agora tomando como objecto de estudo os efeitos das reformas educativas durante os governos de Thatcher e Major (anos oitenta e noventa), com destaque para os casos de Inglaterra e Pas de Gales, e tomando tambm como referncia estudos anteriores, reforam esta mesma concluso ao afirmarem que
[...] a clientela menos desejvel inclui os que so menos capazes, tm necessidades educativas especiais, especialmente dificuldades emocionais e comportamentais, bem como crianas oriundas da classe operria e rapazes, a menos que eles tivessem tambm alguns dos atributos desejveis.17

Ball (2005) alerta tambm para a mercantilizao do aluno decorrente das presses competitivas e da necessidade de bons desempenhos nas Tabelas de Avaliao. A este propsito este autor afirma:
Com efeito, as escolas entram em competio para recrutar os alunos mais aptos a contribuir para o aperfeioamento
17

Segundo Whitty e Power (1997, p. 227 ) fcil compreender porque que as escolas esto particularmente interessadas em atrair os alunos academicamente mais aptos: Estes estudantes permanecem no sistema mais tempo e assim trazem para a escola mais dinheiro, alm de a fazerem parecer mais bem sucedida em termos de scores nos testes e, por isso, atrativa para outros clientes desejveis.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

101

e para o desempenho, mais fceis e mais baratos de ensinar e mais capazes de contribuir para atrair outros alunos como eles. [] Nesta economia, algumas crianas tm um valor elevado, ou seja, acrescentam valor e so muito procuradas; outras, porm, tm baixo valor, isto , acrescentam valor negativo. (BALL, 2005, p. 15).

Num contexto marcado por fortes indues competitivas, onde as escolas so pressionadas a mostrar resultados18, os alunos so reduzidos sua condio de alunos-mercadoria.19 No caso portugus, a interconexo de um conjunto diversificado de recentes medidas de poltica educativa, onde se incluem a obrigatoriedade de avaliao das escolas (Lei n 31/2002, de 20 de dezembro)20, o novo estatuto da carreira dos docentes do ensino no superior (Decreto-Lei n 15/2007, de 19 de janeiro)21 e consequente definio de um novo sistema de avaliao do desempenho do pessoal docente da educao pr-escolar e dos ensinos bsico e secundrio (Decreto Regulamentar n 2/2008, de 10 de janeiro)22, a celebrao dos primeiros contratos de autonomia23 e a aprovao do novo regime de autonomia, administrao e gesto dos estabelecimentos da educao pr-escolar e dos ensinos bsico e secundrio (Dec. Lei n 75/2008, de 22 de abril)24, pode ser indutora, no apenas de rivalidade interinstitucional (LIMA; AZEVEDO; CATANI, 2008), mas militar tambm no sentido de gerar excludos. Apesar de todos os normativos acima referidos conferirem uma grande importncia avaliao e de se auto-justificarem invocando a agenda da qualidade e da excelncia, comeam a ser sinalizados alguns indcios que apontam para os efeitos colaterais antes enunciados. Desde logo, a indexao das competncias a transferir para as escolas, no mbito da celebrao dos contratos de autonomia, aos resultados da avaliao externa25, pode constituir um forte
18

Como afirma ainda Ball (2005, p. 21): Escolhemos e avaliamos as nossas aes cada vez mais em termos de eficcia e de aparncia. As convices e os valores j no so importantes - o resultado que conta. As convices e os valores fazem parte de um discurso do servio pblico obsoleto e cada vez mais deslocado. 19 Importa realar que, dentro desta lgica competitiva, a mais valia de um aluno no depende apenas do seu potencial acadmico. O seu capital social e financeiro igualmente importante. Num contexto de retrao dos investimentos pblicos na educao, as escolas dependero cada vez mais da sua capacidade de obter formas de financiamento suplementar, nomeadamente para proporcionarem atividades extracurriculares. Assim, as famlias de mais recursos sero naturalmente as que melhor se ajustam aos requisitos da nova ordem. 20 Ver Portugal (2002, p. 7952-7954). 21 Ver Portugal (2007, p. 501-547). 22 Ver Portugal (2008 b, p. 225-233). 23 Apesar de previstos desde 1998 (Dec. Lei n 115-A/98), os contratos de autonomia s muito recentemente comearam a ser assinados e, neste momento, ainda apenas com um nmero muito reduzido de escolas. De acordo com o normativo acima referido, Por contrato de autonomia entende-se o acordo celebrado entre a escola, o Ministrio da Educao, a administrao municipal e, eventualmente, outros parceiros interessados, atravs do qual se definem os objetivos e se fixam as condies que viabilizam o desenvolvimento do projeto educativo apresentado pelos rgos de administrao e gesto de uma escola ou de um agrupamento de escolas. (ponto 1 do art 48). A celebrao dos contratos de autonomia pressupe o cumprimento de trs requisitos prvios: a) Adoo por parte da escola de dispositivos e prticas de auto-avaliao; b) Avaliao externa no mbito do Programa de Avaliao Externa das Escolas [levada a cabo pela Inspeo Geral da Educao]; c) Aprovao pela assembleia de escola e validao pela respectiva direo regional de educao de um plano de desenvolvimento da autonomia que visa melhorar o servio pblico de educao, potenciar os recursos educativos da unidade de gesto e ultrapassar as suas debilidades, de forma sustentada.(Portaria n 1260/2007, art 3). 24 Ver Portuga l (2008 a, p. 2 341 -23 56). 25 No prembulo do Decreto -Lei n 75/2008 (PORTUGAL, 2008a), afirma-se com toda a clareza que: A associao entre a transferncia de competncia e a avaliao externa da escola para o seu exerccio constitui um princpio fundamental.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

102

Virgnio S

fator indutor daqueles efeitos colaterais. Por exemplo, h no muito tempo, chegou-nos o eco de uma denncia informal relativamente a um agrupamento de escolas que, na sequncia da assinatura de um contrato de autonomia, no mbito do qual assumiu o compromisso em relao ao alcance de certas metas em termos de resultados escolares, estaria a pr obstculos admisso de alunos com necessidades educativas especiais. A singularidade (e originalidade) deste caso, segundo a verso que chegou at ns, estaria no invocar do interesse das crianas excludas para justificar a sua excluso.26 A importncia do ficar bem na fotografia da avaliao externa no tem apenas implicaes sobre o nvel de autonomia de que a escola pode usufruir. De acordo com o recente normativo da avaliao do desempenho docente (PORTUGAL, 2008b), a classificao dos professores contempla as seguintes menes qualitativas: Excelente, Muito Bom, Bom, Regular e Insuficiente. A meno de Bom constitui a classificao mnima necessria para uma progresso normal. As menes de Excelente e Muito Bom, entre outras vantagens, conferem o direito a bonificaes na progresso na carreira. Contudo, a atribuio das menes de Excelente e Muito Bom est sujeita a contingentao, traduzida na fixao de percentagens mximas para aquelas classificaes. Ora, a definio daquelas percentagens mximas, por escola, decorre de despacho conjunto dos membros do Governo responsveis pelas reas da educao e da Administrao Pblica, as quais tero obrigatoriamente por referncia os resultados obtidos na respectiva avaliao externa27 (ponto 4, art 21). Tambm por esta razo as escolas podem sentir-se tentadas a cuidar da safra28 para no terem que responder por colheitas menos generosas.29 As interconexes entre o novo estatuto da carreira docente e os resultados da avaliao externa podem ainda apresentar consequncias a outros nveis. Uma das principais (e mais contestadas) alteraes introduzidas pelo estatuto da carreira dos docentes do ensino no superior (PORTUGAL, 2007) consistiu na segmentao da26

De acordo com a verso que nos relataram, a estratgia envolvia (envolve?) o seguinte procedimento: o rgo de gesto, quando tomava conhecimento que os pais de determinada criana com necessidades educativas especiais desejavam matricular o seu educando naquela escola, chamava os pais escola para lhes expressar a sua solidariedade na luta por uma educao de qualidade para os respectivos educandos, aproveitando a oportunidade para os informar que, lamentavelmente, naquele momento aquela escola ainda no tinha as condies ideais para dispensar a educao de qualidade que aqueles pais tinham o direito de exigir para os seus filhos, sugerindo-lhes de seguida algumas alternativas. 27 Ver Portugal (2008b, grifo nosso). 28 No ranking das escolas secundrias portuguesas organizado com base nos resultados dos exames do 12 ano, e publicado pelo dirio O Pblico em 21 de Outubro de 2006, verificou-se que uma escola da regio central do pas sofreu uma surpreendente queda de cerca de 400 lugares em relao ao ranking do ano anterior (passou da posio 152 em 2005 para a posio 549 em 2006, ou seja, quase a ltima da tabela ). Confrontada esta brusca e acentuada perda de qualidade, uma dirigente da escola justificou esta ocorrncia nos seguintes termos: Como costumamos dizer, a safra este ano no foi muito boa, acrescentando de seguida, atendendo a que o corpo docente o mesmo, que demos aulas de apoio, que temos salas de estudo, podemos dizer que era um grupo fraco. (Cf. Pblico de 21 de Outubro de 2006 - suplemento, p. 3). 29 O novo sistema de avaliao de desempenho docente, ao incluir na avaliao de cada docente, na componente dos objetivos individuais, a respectiva contribuio para a melhoria dos resultados escolares dos alunos e para a reduo do abandono escolar, pode igualmente ser indutor de procura seletiva de pblicos, seja por parte da escola, seja por parte de cada docente individualmente considerado. Neste contexto, a distribuio do servio docente ganha uma nova centralidade pois ficar com as turmas certas pode ser o caminho mais curto e menos dispendioso para ser bem classificado nos dois parmetros referidos.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

103

quela carreira em duas categorias: professor e professor titular.30 O acesso categoria de professor titular, alm de um conjunto amplo de exigncias (desde logo o requisito de ter pelo menos 18 anos de servio e ser aprovado em prova pblica realizada para esse efeito), est tambm dependente da existncia de vaga. Em termos globais, como se determina no normativo supra-citado (PORTUGAL, 2007): A dotao dos lugares da categoria de professor titular corresponde, por quadro de agrupamento ou de escola no agrupada, a um tero do nmero total de lugares do respectivo quadro (ponto 3, art 26). Contudo, o nmero de lugares de professores titulares a prover no pode ultrapassar a dotao anualmente fixada pelo Governo e esta dotao, como se esclarece no art 38, ponto 4, do mesmo normativo, ser fixada ponderados os resultados da avaliao externa do estabelecimento escolar. Mais uma vez so os resultados da avaliao externa que contam, e esta apenas conta se for realizada pelos servios do Ministrio da Educao e mais especificamente pela Inspeco Geral de Educao. Apesar de existirem em Portugal outras instituies independentes que realizam avaliao externa das escolas31, os resultados dessas avaliaes nada pesam no momento de definir consequncias. Tratase, tambm no ensino no superior, do processo de administrativizao da avaliao que Lima, Azevedo e Catani (2008, p. 19) denunciam em relao educao superior32, e que reflecte a crena positivista na maior objectividade e imparcialidade dos avaliadores externos oficiais.33

A concluir
A instituio de sistemas de avaliao das escolas, em diferentes geografias sciopolticas, surge habitualmente associada preocupao em promover a qualidade dos respectivos sistemas educativos.34 Contudo, a qualidade, dada a sua disperso semntica, pode ser invocada ao servio de agendas e agentes muito diversos. De resto, frequentemente, a qualidade desdobra-se em valores que, apesar da sua forte consensualidade e aparente convergncia, raramente podem ser satisfeitos em simultneo. Assim, por exem30

De acordo cm o novo Estatuto da Carreira Docente do Ensino no Superior (PORTUGAL, 2007): a carreira docente passar a estar estruturada em duas categorias, ficando reservado categoria superior, de professor titular, o exerccio de funes de coordenao e superviso. Para acesso a esta categoria, estabelece-se a exigncia de uma prova pblica que, incidindo sobre a atividade profissional desenvolvida, permita demonstrar a aptido dos docentes para o exerccio das funes especficas que lhe esto associadas(prembulo). Alm das funes de coordenao e superviso, o professor titular desempenha tambm funes de avaliao dos outros docentes. 31 Em Portugal, entre outras instituies independente que levam a cabo avaliao externa de escolas, destaca-se a Fundao Manuel Leo. Esta instituio, criada em 1996, responsvel pelo Programa AVES - Avaliao de Escolas Secundrias - e vem desenvolvendo o seu trabalho desde o ano de 2000. No desenvolvimento do seu trabalho no domnio da avaliao das escolas, a Fundao Manuel Leo tem contado com o apoio financeiro da Fundao Calouste Gulbenkian. 32 Lima, Azevedo e Catani (2008, p. 19) consideram que esta administrativizao da avaliao vem sendo induzida pela Nova Gesto Poltica. Acrescentam ainda os mesmos autores, na linha de Rosanvallon (2006), que a sociedade da auditoria, ou da notao associada administrativizao da avaliao, nos conduz para uma democracia da desconfiana organizada. 33 Afirmam Lima, Azevedo e Catani (2008, p. 19) que a avaliao positivista e tecnocrtica, ao basear-se numa espcie de realismo ingnuo, remete para uma ontologia da exterioridade, na qual a realidade independente da conscincia dos atores. 34 No caso do sistema educativo portugus, o normativo que aprova o sistema de avaliao da educao e do ensino no superior, inclui nos seus objetivos Promover a qualidade do sistema educativo, da sua organizao e dos seus nveis de eficincia, apoiar a formulao e o desenvolvimento de polticas de educao e formao e assegurar a disponibilidade de informao de gesto daquele sistema (Lei n 31/2002, de 20 de Dezembro, alnea a) do art 3 ).

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

104

Virgnio S

plo, como advertem Sergionvanni e outros (1987, p. 7), citados por Natrcio Afonso (2002, p. 53), valores como equidade, excelncia, eficincia e liberdade, podendo ser tomados como as quatro faces de um sistema de qualidade, convivem, contudo, num constante estado de tenso, de tal modo que uma excessiva nfase num deles prejudica a expresso de cada um dos outros trs. Tambm aqui se afirma a natureza poltica da avaliao: a prevalncia de uma das faces sobre as outras depende, em ltima instncia, do (des)equilbrio) de poderes dos agentes e das agendas em presena. Paralelamente, em Portugal raramente se tem equacionado a avaliao da escola enquanto organizao educativa complexa (AFONSO, A. J., 2003), privilegiando-se antes formas pobres e preguiosas de avaliao (AZEVEDO, 2007), com destaque para a produo e divulgao dos muito propagandeados rankings das escolas, sub-produto da mdia aritmtica dos resultados dos exames do 12 ano. Os efeitos de beatificao das escolas melhor posicionadas (e consequente branqueamento de alguns dos processos que as catapultaram a essa posio) e de demonizao das relegadas para o fim da tabela (e consequente apagamento dos esforos e implicao dos que a trabalham) so hoje j relativamente bem conhecidos. Uma viso acrtica e ingnua, ainda que bem intencionada, dos processos de avaliao das escolas leva com frequncia a um registo normativo e laudatrio que pe em destaque as virtudes e as potenciais melhorias associadas queles processos. Contudo, importa acautelar que certas formas de avaliao, sobretudo aquelas que desprezam (ou ignoram) o estatuto da escola como organizao educativa complexa, comportam tambm efeitos colaterais que podem no ser despiciendos e induzir mesmo formas de democratizao segregativa (MERLE, 2002). Estes riscos surgem fortemente potenciados em contextos de presses performativas e quando se indexa, como no caso portugus, aos resultados da avaliao um conjunto de prmios e castigos. Nestas circunstncias, como assinala Ball (2002, p. 16): as fabricaes organizacionais so uma fuga ao olhar atento e directo, uma estratgia de gesto da impresso que, de facto, cria uma fachada calculada35. Neste contexto, o professor tender cada vez menos a trabalhar com as crianas, para a passar a trabalhar as crianas para que estas brilhem nos testes. As escolas, naturalmente, envolver-se-o cada vez menos nos absorventes e exigentes processos de promoo do sucesso educativo, para se dedicarem a vistosas encenaes de fabricao dos resultados. Aqui, mais importante do que a autenticidade, parece ser a plasticidade, ou seja, a capacidade de ajustamento s demandas do momento, o que implica, desde logo, reformar o prprio professor. que, como alerta Ball (2002, p. 3): A reforma no muda apenas o que ns fazemos, muda tambm quem somos. Apesar das dificuldades e limites que a assuno da escola como organizao educativa complexa coloca aos processos avaliativos, e muito particularmente avaliao
35

Acrescenta o mesmo autor (BALL, 2002, p. 19) que: As tecnologias polticas do mercado, gesto e performatividade no deixam espao para um ser tico autnomo ou coletivo. Estas tecnologias polticas tm potencialmente profundas consequncias para a natureza do ensinar e do aprender.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

105

do factor-escola, como oportunamente adverte Azevedo (2007, p. 69), essas condicionantes impem prudncia, mas no justificam a desistncia. O que se impe a superao da viso simplista e redutora de um processo que , antes de mais, poltico (DIAS SOBRINHO, 2000), ou seja, envolve uma grande pluralidade (e conflitualidade) de interesses, valores, perspectivas, objectivos. Reconhecer o amplo arco semntico do conceito de avaliao (SANTOS GUERRA, 2002, p. 272), conceb-la como uma prtica instituinte que corporiza uma construo colectiva que se actualiza em cada escola enquanto arena poltica, constituem dois requisitos bsicos para resgatar a avaliao institucional das derivas gerencialistas e (re)coloc-la ao servio de uma agenda que persegue a qualidade democrtica da escola (AFONSO, A. J., 2003).

Referncias
AFONSO, A. J. Avaliar a escola e a gesto escolar: elementos para uma reflexo crtica. In: ESTEBAN, M. T. (Org.). Escola, currculo e avaliao. So Paulo: Cortez, 2003. ______. Polticas educativas e a avaliao educacional. Braga: CIEd: UM, 1998. ______. Polticas educativas e avaliao de escolas: por uma prtica avaliativa menos regulatria. In: SIMPSIO SOBRE ORGANIZAO E GESTO ESCOLAR, 2., 2002, Aveiro. Actas... Aveiro: Universidade de Aveiro, 2002. AFONSO, N. Avaliao e desenvolvimento organizacional da escola. In: SIMPSIO SOBRE ORGANIZAO E GESTO ESCOLAR, 2., 2002, Aveiro. Actas... Aveiro, PT: Universidade de Aveiro, 2002. APPLE, M. Reestruturao educativa e curricular e as agendas neoliberal e neoconservador [entrevista conduzida por Michael Shaughnessy, Kathy Peca e Janna Siegel]. Currculo sem Fronteiras. [S. l.], v. 1, n.1, p. 5-33, jan./jun. 2001. Edio electrnica. AZEVEDO, J. Avaliao das escolas: consensos e divergncias. Porto: Edies ASA, 2002. AZEVEDO J. M. Avaliao das escolas: fundamentar modelos e operacionalizar processos. In: SEMINRIO AVALIAO DAS ESCOLAS: modelos e processos, 2007, Lisboa. Actas... Lisboa: Conselho Nacional de Educao, 2007. BALL, S. Educao venda. Viseu: Pretexto, 2005. ______. Educational markets, choice and social class: the market as a class strategy in UK and the USA. British Journal of Sociology of Education, London, v. 14, n. 1, p. 3-19, 1993. ______. Reformar escolas, reformar professores e os terrores da performatividade. Revista Portuguesa de Educao, Braga, Vol. 14, n 2, p. 03-23, 2002. CANRIO, R.; ALVES, N.; ROLO, C. Escola e excluso social: para uma anlise crtica da poltica Teip. Lisboa: Educa, 2001.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

106

Virgnio S

CLARKE, J.; NEWMAN, J. The managerial state: power, politics and ideology in the remaking of social welfare. London: Sage, 1997. CNE (Portugal). Avaliao das escolas: modelos e processos. Lisboa: CNE, 2007. Actas de um Seminrio realizado em 13 de dezembro de 2005. CORREIA, J. A.; MATOS, M. Solides e solidadriedades nos quotidianos dos professores. Porto: Edies ASA, 2001. COSTA, J. A. Avaliao, ritualizao e melhoria das escolas: procura da roupa do rei. In: MIGUNS, M. (Ed.). Avaliao das escolas: modelos e processos. Lisboa: Conselho Nacional de Educao, 2007. COSTA, J. A.; VENTURA, A. Avaliao e desenvolvimento organizacional. Infncia e Educao: investigao e prticas, Lisboa, n. 7, p. 148-161, nov. 2005. DIAS SOBRINHO, J. Avaliao da educao superior. Petrpolis: Vozes, 2000. ______. Avaliao institucional: a experincia da Unicamp: condies, princpios, processo. Pr-Posies, Campinas, v. 6, n. 1, 1995. ENGUITA, M. O discurso da qualidade e a qualidade do discurso. In: GENTILI, P.; SILVA, T. T. (Org.). Neoliberalismo, qualidade total e educao. Petrpolis: Vozes, 1997. ESTVO, C. V. Polticas educativas, autonomia e avaliao. Reflexes em torno da dialctica do reajustamento da justia e da modernizao. Revista Portuguesa de Educao, Braga, n. 2, p. 155-178, 2001. GENTILI, P. O discurso da qualidade como nova retrica conservadora no campo educacional. In: GENTILI, P.; SILVA, T. T. (Org.). Neoliberalismo, qualidade total e educao. Petrpolis: Vozes, 1997. GEWIRTZ, S.; BALL, S.; BOWE, R. Markets, choice and equity. Milton Keynes: Open Unversity Press, 1995. LIMA, L. C. Avaliao e concepes organizacionais de escola: para uma hermenutica organizacional. In: SIMPSIO SOBRE ORGANIZAO E GESTO ESCOLAR, 2., 2002, Aveiro. Actas... Aveiro: Universidade de Aveiro, 2002. ______. Modernizao, racionalizao e optimizao: perspectivas neotaylorianas na organizao e administrao da educao. Cadernos de Cincias Sociais, Porto, n. 14, p. 119-139, jan. 1994. ______. O paradigma da educao contbil: polticas educativas e perspectivas gerencialistas no ensino superior em Portugal. Revista Brasileira de Educao, Campinas, SP, n. 4, p. 43-59, jan./fev./abr. 1997.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

A (auto)avaliao das escolas: virtudes e efeitos colaterais

107

LIMA, L. C.; AZEVEDO, M.; CATANI, A. O processo de Bolonha, a avaliao da educao superior e algumas consideraes sobre a Universidade Nova. Avaliao, Sorocaba, SP, v. 13, n. 1, p. 7-36, 2008. MANGUEZ, E. Rgulation de laction ducative dans les annes quatre-vingt dix. ducation et Societs, Issy-les-Moulineaux, FR, v. 8, n. 2, p. 81-96, 2001. MERLE, P. La dmocratisation de lenseignement. Paris: La Dcouverte, 2002. OCDE. As escolas e a qualidade. Rio Tinto: Edies Asa, 1992. PORTUGAL. Lei n. 31/2002, de 20 de dezembro de 2002. Aprova o sistema de educao e do ensino no superior, desenvolvendo o regime previsto na Lei n.o 46/86, de 14 de Outubro (Lei de Bases do Sistema Educativo). Dirio da Repblica, Lisboa, 1. srie A, n. 294, p. 7952-7954, 20 dez. 2002. Disponvel em: <http://www.gave.min-edu.pt/np3content?newsId=31&fileName=lei_31_2002.pdf>. Acesso em: 24 mar. 2009. ______. Ministrio da Educao. Decreto-Lei n 15/2007, de 19 de janeiro de 2007. No Programa do XVII Governo Constitucional reafirma-se a noo de que os educadores e professores so os agentes fundamentais da educao escolar. Dirio da Repblica, Lisboa, 1. srie A, n. 14, p. 501-547, 19 jan. 2007. Disponvel em: <http://min-edu.pt/np3content/?newsId=1176&fileName=decreto_lei_15_2007.pdf>. Acesso em: 24 mar. 2009. PORTUGAL. Ministrio da Educao. Decreto-Lei n 75/2008, de 22 de abril de 2008. As escolas so estabelecimentos aos quais est confiada uma misso de servio pblico [...] Dirio da Repblica, Lisboa, 1. srie, n. 79, p. 2341-2356, 22 abr. 2008a. Disponvel em: <http://min-edu.pt/np3content/?newsId=1953&fileName=decreto_lei_75_2008.pdf>. Acesso em: 24 mar. 2009. ______. ______. Decreto Regulamentar n. 2/2008, de 10 de janeiro de 2008. O Decreto -Lei n. 15/2007, de 19 de Janeiro, procedeu alterao ao Estatuto da Carreira dos Educadores de Infncia e dos Professores dos Ensinos Bsico e Secundrio [...]Dirio da Repblica, Lisboa, 1. srie, n. 7, p. 225-233, 10 jan. 2008b. Disponvel em: <www.dre.pt/pdf1sdip/2008/01/00700/0022500233.PDF>. Acesso em: 24 mar. 2009. RAAB, C. et al. Devolving the management of schools in Britain. Educational Administration Quarterly, Columbus, OH, v. 33, n. 2, p. 140-157, April 1997. ROSANVALLON, P. La contre-dmocratie: la politique lge de la dfiance. Paris: Seuil, 2006.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009

108

Virgnio S

S, V. A participao dos pais na escola pblica portuguesa: uma abordagem sociolgica e organizacional. Braga: Universidade do Minho, 2004. SANTOS GUERRA, M. Entre bastidores: o lado oculto da organizao escolar. Porto: Edies ASA, 2002. ______. Uma seta no alvo: a avaliao como aprendizagem. Porto: Edies ASA, 2003. SERGIOVANNI, T. J. et al. Educational governance and administration. New Jersey: Prentice-Hall, 1987. SIMES, G. M. J. A auto avaliacao das escolas e a regulao da aco pblica em educao. Ssifo: revista de cincias da educao, Lisboa, v. 4, p. 39 48, out./dez. 2007. Disponvel em: <http://sisifo.fpce.ul>. Acesso em: 25 mar. 2009. SOLEAUX, G. Un point de vue histrique... In: DUTERQ, Y. (Dir.). Les rgulations ds politiques dducation. Rennes: PRU, 2005. STUFFLEBEAM, D. Evaluation models. San Francisco: Jossey-Bass, 2001. (New Directions for Evaluation; 89). VAN ZANTEN, A. Interdependncia competitivas e as lgicas de aco das escolas: uma comparao europeia. In: BARROSO, J. (Org.). A regulao das polticas pblicas de educao: espaos, dinmicas e actores. Lisboa: Educa: UI&DCE, 2006. VANDENBERGHE, V. Nouvelles formes de rgulation dans lenseignement: origines, role de lvaluation et enjeux en thermes dquit et defficacit. ducation et Societs, Issy-les-Moulineaux, FR, v. 8, n. 2, p. 111-123, 2001. VENTURA, J. A. Avaliao e inspeco das escolas: estudo de impacte do Programa de Avaliao Integrada. 2006. 968 f. Tese (Doutorado em Cincias da Educao) - Universidade de Aveiro, Aveiro, 2006. WHITTY, G.; POWER, S. Quasi-markets and curriculum control: making sense of recent education reform in England and Wales. Educational Administration Quarterly, Columbus, OH, v. 33, n. 2, p. 219-240, April 1997. Recebido em: 22/08/2008 Aceito para publicao em: 09/03/2009

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 17, n. 62, p. 87-108, jan./mar. 2009