Controlar ou avaliar o trabalho

docente? Estratgias dos

diretores numa organizao
escolar hbrida
ANNE BARRRE

Universidade de Paris 3
Universidade de Paris 5

Traduo de Michel Guy Abes

Reviso tcnica de Vanda Mendes
Ribeiro e Fernando Scheibe

No dia 15 de dezembro de 2011, enquanto este artigo estava sendo redigido,

os sindicatos de professores franceses votavam um indicativo de greve contra um
projeto de reforma da avaliao do seu desempenho. Esse projeto atribua exclusivamente aos diretores a competncia de avaliar os professores, o que interfere
na sua progresso na carreira. Tal episdio atesta que h tenses e questes que se
colocam hoje devido introduo de novos meios de avaliao no sistema educativo francs e corrobora o propsito deste artigo, pois a finalidade da avaliao est
intrinsecamente ligada s transformaes de uma profisso. No caso, a dos diretores
de ensino, particularmente no ensino secundrio,1 cujo universo profissional est
em constante evoluo.
A ideia de uma nova forma de realizar a gesto pblica, conciliando reforma
organizacional e continuidade da instituio, em torno dos valores de igualdade de
1 No ensino primrio, a maioria dos diretores de escola franceses continua a ensinar uma
parte de seu tempo e, se existem evolues paralelas, elas so, apesar de tudo, menos
marcadas e alternadas com evolues propriamente estatutrias. O diretor de escola
continua sendo mais um par.
Revista Brasileira de Educao

RBE 53 - 256p.indd 285

v. 18 n. 53 abr.-jun. 2013

285

05/06/2013 09:35:43

Anne Barrre

oportunidades e de integrao das diferenas sociais, molda, desde os anos de 1980,

as polticas escolares no mbito de uma descentralizao moderada. Vale lembrar
que, na Frana, os diretores dos estabelecimentos do ensino secundrio, chamados
principaux, nos colgios que acolhem alunos de 11 a 14 anos, e proviseurs, nos liceus,
que acolhem alunos de 15 a 17 anos, no contratam os professores nomeados aps
um concurso regido por uma legislao nacional nem so responsveis por sua
remunerao. Em contrapartida, eles os avaliam em um relatrio administrativo,
que equivale a 40% de uma nota global que decide sua progresso na carreira.2 Os
60% restantes advm de uma avaliao feita em mdia a cada sete anos por uma
inspeo pedaggica especializada na disciplina pela qual o professor responsvel.
preciso lembrar, igualmente, que essa nova organizao foi implantada em meio a
um processo de descentralizao no mbito do qual os estabelecimentos passaram a
definir seus projetos considerando as necessidades locais, ainda que o recrutamento
e os programas tenham permanecido nacionais.
Mas, desde os anos 2000, assistimos a duas novas inflexes. Por um lado,
as funes dos diretores do ensino secundrio passam a ser definidas como sendo
explicitamente pedaggicas. O estabelecimento escolar aparece como uma nova
escala de regulao pertinente, intermediria entre o nacional e o local, e dotada de
margens de manobra estratgicas. Por outro lado, essas margens de manobra devem,
cada vez mais, ser definidas no mbito de uma problemtica onipresente no sistema
escolar de hoje: a avaliao. Desde o movimento de modernizao do setor pblico
dos anos de 1980, a avaliao um ponto de conjuno das polticas educativas, por
meio de instrumentos de pesquisa em massa encarregados de realizar diagnsticos
sobre o sistema escolar de modo a contribuir com o seu monitoramento (Dutercq,
2000; Forestier et al., 2007).
Por meio de testes padronizados de avaliao do desempenho dos alunos,
indicadores de avaliao da gesto e listas classificatrias de estabelecimentos escolares publicadas nos jornais, a avaliao se caracteriza pela disponibilizao, aos
atores envolvidos com a educao escolar, de informaes de diferentes naturezas,
muitas vezes, sob a forma de indicadores quantitativos, com o objetivo de tornar a
ao educativa transparente e mais eficiente. As pesquisas mostram que, na prtica,
esses indicadores so pouco e mal empregados, at no nvel macropoltico (Crahay;
Mons, 2011). Mas sua existncia contribui para modificar a percepo que os diretores do ensino secundrio tm de sua prpria profisso, uma parte de seu trabalho
consistindo, doravante, em dar verdadeiros pareceres de peritos, a partir dos nmeros
sobre a situao de seu estabelecimento.
As relaes entre os diretores do ensino secundrio e os professores carregam, evidentemente, a marca dessas evolues. O controle da atividade de ensino
se transforma, integrando o nvel do estabelecimento, mas tambm novas preocupaes avaliativas que trazem a ideia de desempenho e de eficincia. No entanto,
2 Esta nota atribuda julgando as competncias de ensino em trs reas: assiduidade e
pontualidade, autoridade e capacidade de transmisso, eficincia pedaggica.
286

RBE 53 - 256p.indd 286

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

essas transformaes esto longe de ocorrer de forma unilateral e homognea. Para

mostrar sua complexidade, faremos uso de uma pesquisa qualitativa feita em 40
estabelecimentos de ensino do norte da Frana, cruzando longas entrevistas semidirecionadas e observaes in loco realizadas durante um ano letivo num colgio
localizado numa zona educativa prioritria3 (Barrre, 2006).

OS DIRETORES DE ESTABELECIMENTOS DE ENSINO

SECUNDRIO E O ENQUADRAMENTO DO TRABALHO
DOCENTE: A EXTENSO DO DOMNIO DE CONTROLE
Na Frana, aproximadamente trs quartos dos diretores de estabelecimentos
de ensino secundrio so antigos professores deste mesmo nvel de ensino. Uma
pequena minoria advm do ensino primrio ou de outras funes, tais como a de
orientador educacional ou documentalista. No sistema, do mesmo modo como
funcionava antes da descentralizao, o controle do trabalho docente era confundido com o do bom funcionamento da escola. Tratava-se de zelar, no incio do
processo, para que, numa organizao qualificada como sendo parte de um todo,
cada professor estivesse na hora certa, na sala certa, durante o tempo desejado.
Nessa perspectiva, a sala de aula uma caixa-preta terica cujo funcionamento
conhece-se informalmente, mas cujo controle delegado de facto ao inspetor
pedaggico, forma que costuma ser chamada de gesto compartilhada. No
decorrer das inspees, os diretores podem eventualmente assistir s aulas, o que
no o caso mais frequente e pode at ser considerado algo delicado. O controle
dos professores pelos diretores incide, ento, apenas sobre pequenas falhas, como
atrasos, ou sobre problemas profissionais extremos, como quando os professores
colocam em perigo a segurana dos alunos.
No entanto, a mudana das funes dos diretores transformou esse conjunto
de tarefas, como o mostra bem a evoluo da formao profissional, realizada
atualmente em parte pelos pares, e em parte pela Escola Superior da Educao
Nacional (ESEN), onde atuam inspetores gerais e membros das altas funes pblicas. Com efeito, ela se redefiniu em torno de competncias de enquadramento
precisamente definidas em relao com a nova forma de efetivar a gesto pblica.
Exercendo sua funo no ensino secundrio em tempo integral ao contrrio do
ensino primrio, no qual os diretores de escolas continuam encarregados de uma
sala de aula, os diretores teriam a oportunidade de aprender uma nova profisso
de chefia, em que as competncias de animao e de direo de equipes so
centrais, assim como aquelas que dizem respeito avaliao. Tratar-se-ia tambm
de assumir uma postura de poder e de responsabilidade, mesmo se a ausncia de

3 Desde os anos de 1980, as polticas de educao prioritria francesas atribuem mais

recursos financeiros e humanos aos estabelecimentos cujo meio social considerado
menos favorecido.
Revista Brasileira de Educao

RBE 53 - 256p.indd 287

v. 18 n. 53 abr.-jun. 2013

287

05/06/2013 09:35:43

Anne Barrre

recrutamento e a forma tradicional da avaliao uma nota fortemente determinada, na prtica, pelo tempo de servio do professor e por sua nota anterior,
acompanhada por uma curta apreciao reduzem as margens formais de ao.
Frente aos desvios da atividade docente

Como os diretores do ensino secundrio percebem essas mudanas? A

pesquisa revela que muitos diretores no concordam com a ideia de uma ruptura
radical entre sua nova funo e seu antigo ofcio. Muitos se recusam a admitir tal
ruptura, afirmando que se trata de continuar ou prolongar, de modo diferente, a
profisso de professor. Uma diretora declara estar particularmente chocada pelo
fato de ter sido aconselhada, durante a etapa oral do seu concurso, a suscitar um
conflito artificial com os professores a fim de testar suas competncias para lidar com
a situao! Mas, apesar de tudo, todos revelam uma espcie de ruptura identitria,
desejada ou no, perante seus antigos pares, diante dos quais esto, doravante, numa
posio hierrquica. E quase todos, quaisquer que sejam suas posturas, descrevem
o choque provocado pelo fato de ver o conjunto das equipes de ensino, ao passo
que a viso de um professor facilmente se restringe a um grupo de colegas, ligados
pela mesma disciplina de ensino, pelas mesmas turmas ou, ainda, por afinidades
pessoais. A novidade reside no contato que passam a ter com certos desvios da
atividade docente, que alguns diretores consideraro limitados a certos indivduos,
e outros como um fenmeno mais geral. O tema das ausncias ou dos atrasos dos
professores, mas, tambm, talvez de forma mais surpreendente, aquele das incivilidades dos professores, insultos, falas desrespeitosas ou humilhantes dirigidas aos
alunos, amplamente tratado nas entrevistas, com foco na necessidade de controle
desses desvios ou da aplicao de sanes. O choque de entrada na profisso, para
falar como os socilogos interacionistas, vem do contato com esta nova realidade
de professores que nem sempre fazem seu trabalho de forma satisfatria ou tica
(Hughes, 1958).
Evidentemente, quando se interroga os diretores sobre sua motivao diante
de suas novas funes, no ao controle do ensino que eles se referem mais, nem
explicitamente ao aumento de seu poder sobre os professores. O poder obviamente
apresentado mais como um aumento do poder de agir ou de fazer agir (Crozier;
Friedberg, 1977), do que como um poder de controlar ou de impedir. Entretanto, essa
uma face inevitvel desse poder. Se o controle dos desvios docentes uma espcie de
trabalho sujo em comparao com as misses mais nobres dos diretores, podemos
dizer, seguindo, alis, uma proposta do prprio Everett Hughes (1958), que a profisso
de diretor faz tipicamente parte das profisses em que o prestgio de algumas funes
permite assumir o trabalho sujo, faz-lo desaparecer em meio ao conjunto das funes
respeitveis e legtimas relativas, aqui, ao enquadramento do trabalho docente.
Fazer o estabelecimento se movimentar

Em contrapartida, os diretores de estabelecimentos de ensino aderem intensamente, no seu conjunto, ampliao de suas funes, evocada na introduo
288

RBE 53 - 256p.indd 288

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

deste artigo. Eles a retraduzem, nas entrevistas, afirmando que no basta fazer
funcionar um estabelecimento, mas que o essencial faz-lo se movimentar,
emplacar um projeto coerente de melhoria que pode assumir vrias formas, mas
que definido, em muitos casos, por meio de progressos quantitativos: resultados
nos exames, reduo das repeties de ano, julgadas ineficientes e dispendiosas,
evoluo dos fluxos de orientao. As novas funes pedaggicas transversais, que
devem se coadunar com a manuteno terica da completa autonomia pedaggica
do professor na sala de aula, encarnam-se, por enquanto, nos estabelecimentos
franceses, num verdadeiro empilhamento de dispositivos variados que ficam, de
certa forma, a meio caminho entre a sala de aula e o estabelecimento: dispositivos de
correo, de auxlio nos deveres de casa, de luta contra o desnivelamento dos alunos,
de trabalho em projetos interdisciplinares. Desde 2007, essa situao se recrudesce
nos colgios, devido implantao de um tronco comum de competncias,4 sobre
o qual, infelizmente, a pesquisa antiga demais para nos fornecer informaes. Os
diretores de estabelecimentos so, de fato, os pivs de um movimento de modernizao organizacional que eles tm o dever de ajudar a implantar, fazendo com que
os professores participem dele.
O controle, muitas vezes, volta-se para o compromisso dos professores
com a organizao, compromisso cujos indicadores remetem a experincias cotidianas no estabelecimento escolar: os diretores fazem a distino entre aqueles
que somente cumprem suas cargas horrias e aqueles que so vistos no estabelecimento ou que frequentam os escritrios da direo. Esse compromisso com
os dispositivos e com os projetos uma base visvel, sendo que h um consenso
impressionantemente grande entre os diretores de que apenas uma pequena minoria de professores (cerca de um tero) o honra. Esse controle tende tambm a
introduzir uma regulao pelos resultados, o famoso controle dos resultados, com
instrumentos externos de regulao colocados disposio dos estabelecimentos
escolares. Passa-se, ento, do controle avaliao, uma palavra que contm, ela
prpria, uma parte de eufemizao, introduzindo a mediao de constataes objetivas, por meio de dados, em sua maioria, quantitativos. Os diretores, sobretudo
os principaux de colgios, que trabalham com equipes menores se envolvem cada
vez mais em consideraes internas sobre as diferenas de resultados das equipes,
ou, ainda, em constataes sobre as diferentes escalas de notas dos professores.
Resumindo, a avaliao abre margens de incerteza amplamente controladas,
por enquanto, pelos diretores de estabelecimentos, na falta de um envolvimento
maior, por parte das equipes de ensino, no que poderiam ser diagnsticos sobre
situaes locais a partir de outra viso. Evidentemente, as iniciativas dos diretores
4 Trata-se, doravante, de avaliar de forma interdisciplinar competncias, e no mais
simplesmente saberes definidos de forma disciplinar. Esta reforma se choca contra
dificuldades de implementao ligadas, particularmente, ao fato de que a avaliao por
competncias no substituiu a avaliao tradicional, mas se sobreps a ela. Para mais
esclarecimentos a respeito desta reforma, ver Dominique Raulin (2008).
Revista Brasileira de Educao

RBE 53 - 256p.indd 289

v. 18 n. 53 abr.-jun. 2013

289

05/06/2013 09:35:43

Anne Barrre

dos estabelecimentos so diferentes em funo de seu grau de domnio dos dados

tcnicos ou ainda de sua adeso aos processos, que podem ser por eles interpretados como um controle sobre sua prpria ao. Mas a avaliao legitima aes
realizadas em nome de resultados objetivos.
A questo do conflito

Do lado dos professores, essa extenso do domnio de controle se choca

com a defesa de sua autonomia profissional, situao que ultrapassa os contornos
do mundo da escola. Os professores escaparam, no seu conjunto, da desqualificao
profissional por meio das tecnologias educativas, como foi dito nos anos de 1980,
mas enfrentam hoje, no seio do prprio estabelecimento, ameaas de restrio sua
autonomia. Ameaas sentidas por eles com maior ou menor intensidade em funo
da prpria concepo sobre seu trabalho enquanto professores, mais ou menos
conforme ou adaptada s novas demandas dos diretores. preciso insistir, aqui,
sobre as potencialidades de conflitos presentes, hoje, no processo de enquadramento do trabalho do professor, conflitos esses, alis, amplamente reconhecidos pelos
diretores, mesmo se as verses coletadas so somente as suas. Os diretores falam
abundantemente desses conflitos, passados ou presentes, tcitos ou declarados, e
os sindicatos de professores, fortes ou fracos, ocupam, na sua opinio, um lugar de
destaque. Os diretores se dividem entre aqueles que consideram ter conselhos de
administrao5 duros e os outros.
Sob esse aspecto, descrevem-se como controladores controlados, eles
prprios sob o controle de uma hierarquia (reitoria, inspeo de academia), que
tambm acusam de ser cada vez mais exigente e cada vez menos protetora, por
exemplo, nos casos de divulgao de seus problemas na mdia. No estado atual das
relaes sociais e de certa manuteno da fora do sindicalismo de ensino, eles se
apresentam como atores potencialmente enfraquecidos, s vezes transferidos, mais
ou menos a seu pedido ou sob presso, no caso de conflitos fortes demais com as
equipes de professores. O enquadramento e o controle de ensino seriam, portanto,
mais do que um trabalho sujo, um trabalho freado ou impossibilitado.
As razes dos conflitos detectadas pela pesquisa so diversas, mas esto
frequentemente ligadas ao controle do trabalho do professor. Dizem respeito
diminuio das notas dadas aos professores, a questionamentos de projetos pedaggicos julgados ineficientes, ou ainda aos assuntos discutidos durante o conselho
de administrao. As sanes feitas aos alunos so tambm frequentemente motivo
de conflito. Os professores acusando os diretores de no apoi-los; os diretores
tentando, o mais das vezes, reduzir o nmero de expulses ou de sanes srias
contra alunos no estabelecimento.

5 Os conselhos de administrao renem seis vezes por ano, aproximadamente, as

equipes de direo, os representantes dos professores, das famlias, dos alunos e algumas
personalidades externas. Na Frana, so presididos pelos prprios diretores das escolas.
290

RBE 53 - 256p.indd 290

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

A dimenso, potencialmente muito conflituosa, das relaes com os professores leva, s vezes, a um tipo de heroizao das tarefas de controle. H algo parecido
com isso nas palavras dos diretores quando evocam algumas de suas interaes com
professores que eles julgam desviantes, como faz um proviseur de liceu profissional
que se expressa da seguinte maneira:
Tive que juntar minhas foras, criar coragem, era um professor de 50 anos:
sente-se senhor, tenho coisas desagradveis para lhe dizer. Ele fazia qualquer
coisa com seus alunos. Era realmente qualquer coisa! Num certo momento,
explicar que no possvel, que no poderia continuar desse jeito

Durante conflitos sindicais, eles podem utilizar descries do gnero sozinho

contra todos. s vezes, a heroizao adquire uma cor de vitimizao. Uma diretora
(proviseuse) diz, por exemplo, ter entendido o verdadeiro significado da palavra
maldade aps um episdio conflituoso com os professores. Mas ela pode ser sinnimo de nobreza moral, por exemplo, no caso da aplicao de sanes a professores
que cometeram abusos sexuais contra alunos os procedimentos implementados
so descritos, ento, como sendo delicados e desagradveis, mas, evidente, como
totalmente legtimos. Em muitos casos, as relaes sociais de poder so traduzidas
e vivenciadas de forma bastante personalizada e, s vezes, na linguagem do assdio
no trabalho. Sustentar-se pessoalmente num contexto conflituoso se torna, ento,
uma competncia anunciada como sendo crucial e particularmente legtima quando
colocada a servio da defesa dos alunos.

DO CONTROLE AVALIAO, ENTRE

BUROCRACIA E PS-BUROCRACIA
Os diretores so, na sua maioria, extremamente crticos, por vrias razes,
ao modo tradicional de avaliao. Na pesquisa, o conjunto dos diretores o denuncia claramente como enlouquecedor de to absurdo, para retomar as palavras
de um proviseur, na medida em que o espectro de nota previsto, determinado em
grande parte pelo tempo de servio, no tem muita relao com a real atividade
dos professores. Essa avaliao inclui ainda algumas palavras para uma apreciao, limitada pelo pouco espao deixado no formulrio para o julgamento, dando
sempre a sensao de que ele no vai caber. Ela no permite, tampouco, levar em
considerao os problemas relacionais com os alunos, quando eles no se traduzem
em atrasos ou erros administrativos. Enfim, os diretores consideram que no tm
os meios necessrios para reconhecer os professores realmente comprometidos
com a escola. Entretanto, no to simples adotar o novo modelo, que leva mais
em conta o comprometimento com o estabelecimento e a busca de resultados, no
somente pela reao dos professores, mas tambm em razo das novas tarefas que
se sobrepem s tarefas tradicionais de gesto, que no diminuram muito. A maior
parte dos diretores se apoia, ao mesmo tempo, nos dois tipos de funcionamento, um
Revista Brasileira de Educao

RBE 53 - 256p.indd 291

v. 18 n. 53 abr.-jun. 2013

291

05/06/2013 09:35:43

Anne Barrre

que podemos qualificar de burocrtico tradicional, focado em regras formais, e o

outro, que podemos chamar ps-burocrtico, apoiado sobre as novas modalidades
(Maroy, 2006). No cruzamento desses dois modos de regulao, podemos identificar
diferentes tipos de estratgias.
Status quo: o diretor burocrata

Um primeiro grupo de estratgias pouco explcito na pesquisa, j que em

evidente contradio com as novas funes, mas certamente muito presente na
prtica, segundo as palavras dos professores e, s vezes, dos vices e, alm disso,
amplamente confirmado pelas tipologias de pesquisas quantitativas (Guillaume,
1997), consiste em permanecer no status quo e no controle burocrtico oficial de
uma atribuio de notas administrativa. Esses diretores tambm no se envolvem
nas novas reas do controle do ensino.
Entretanto, e como a anlise weberiana da burocracia bem o demonstra, este
formalismo s vezes se combina com estratgias bastante informais de interpretao
das regras, podendo recompensar ou sancionar os professores a partir de critrios
pouco transparentes. No devemos esquecer que, em alguns estabelecimentos,
ter o filho do diretor na sua sala de aula visto como um reconhecimento de alta
relevncia! Os diretores explicam tambm de bom grado suas estratgias ou suas
astcias informais: determinado proviseur de liceu profissional manda seu vice falar
sobre uma deciso ou uma medida para sentir o impacto antes de se envolver nela;
outro no hesita em usar seu relacionamento particular com um lder sindical para
antecipar as reaes dos conselhos de administrao, considerados os lugares de
discusso mais difceis. Mas, na nova ordem, esse tipo de estratgia, defasado em
relao s novas prescries, pode ser diferentemente interpretado pelas equipes de
professores, ora como um recuo ou uma fuga, e at como um sinal de incompetncia, ora como uma posio assumida de freio ante as prescries modernizadoras
e, paradoxalmente, como uma maneira de resguardar a autonomia dos professores.
No primeiro caso, o diretor burocrata julgado como sendo ausente, no segundo,
como protetor de um funcionamento que, afinal, foi por muito tempo considerado
eficiente. As pesquisas francesas mostram que essa forma burocrtica de funcionamento continua sendo aceitvel nos bons estabelecimentos, em que os alunos no
apresentam muitos problemas de disciplina, ao passo que, nos estabelecimentos
complicados, percebida como sendo bastante problemtica (Van Zanten, 2001).
A avaliao: rumo ao diretor expert

Um segundo tipo de estratgia consiste em absorver, sob todas as suas formas,

o discurso da avaliao, amalgamando antigos e novos procedimentos. O controle
burocrtico, inclusive nas suas margens informais, adquire novos significados,
oriundos do novo contexto. Pode-se ento dar uma nota administrativa baixa por
falta de envolvimento no estabelecimento, mesmo que esse critrio no exista explicitamente. o caso de um principal que sanciona assim mulheres professoras por julgar
que elas fazem mal seu trabalho, corrigindo deveres na sala de aula na sexta-feira
292

RBE 53 - 256p.indd 292

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

para no terem que trabalhar no fim de semana; informao essa relatada por pais
de alunos. Essa deciso lhe valer um conflito sindical do qual dir ter aproveitado
para desencadear um dilogo com essas professoras. Pode-se ainda atribuir turmas
aos professores em funo dos resultados dos alunos nos exames de fim de ciclo, o
que era, sem dvida, feito antes, mas agora recebe uma nova legitimidade no contexto da alta da avaliao. Um principal de colgio destaca que foi tirando certos
professores de certos anos que seu colgio ganhou alguns pontos na classificao.
A ideia de modernizar essa avaliao, particularmente por meio de entrevistas
com os professores, apareceu com bastante frequncia na pesquisa, mas ela mais
um ideal regulador para alguns do que uma prtica concreta. Quem entrevistar?
Na maior parte do tempo, impossvel convocar todo mundo no mesmo ano, at
nos colgios, que contam com equipes de 40 a 50 professores. Aqueles que tm
dificuldades? Isso pode parecer estigmatizante demais Os jovens? No so obrigatoriamente eles que constituem os casos mais problemticos. Uma proviseure de
liceu profissional organiza entrevistas em torno do projeto do estabelecimento, a
fim de garantir que os professores o conheam; ela lhes pede tambm que relatem
como se inscrevem nesse projeto. Essa proviseure descreve um passado muito conflituoso com as equipes, ainda que no estabelea uma relao explcita entre essa
prtica e tais conflitos. A maior parte dos diretores afirma que gostaria de melhor
avaliar para aumentar seu conhecimento: sobre o compromisso, sobre os projetos etc.
Impedidos de faz-lo, eles se voltam, mediante algumas horas suplementares, para
os meios informais que esto ao seu dispor: atribuies de agendas ou de turmas
adaptadas a tal ou qual projeto, valorizaes verbais de determinados professores,
pedidos de tomadas de responsabilidades ou de coordenao.
Alguns diretores tentam explorar plenamente as novas zonas de incerteza
criadas pela gesto por meio de resultados, investindo o mximo possvel na criao
de uma expertise local.
Os projetos realizados no mbito do estabelecimento, mais acessveis
interveno do diretor do que o que ocorre dentro de cada sala de aula, so, ento,
palco das expertises, s vezes acopladas aos resultados dos testes padronizados. Por
exemplo, num dado colgio, a equipe de direo determinou o fim de um projeto
chamado Livros em festa, realizado h quatro anos por professores de francs e
que consistia na organizao de encontros entre escritores e alunos. O projeto foi
questionado em funo dos resultados escolares decepcionantes nessa disciplina. A
equipe de direo falou, a esse respeito, de menos valia, e se apoiou numa anlise
bastante tcnica sobre as diferenas de resultados entre a avaliao dos alunos na
5 srie e a avaliao dos alunos na 8 srie. Em outro estabelecimento, considerado
muito problemtico, um projeto de revezamento que visava tirar da sala os alunos
perturbadores demais e lhes oferecer um atendimento mais individualizado foi
suprimido. Segundo a fala da diretora, esse projeto no fazia baixar nem o nmero
de conselhos de disciplina, nem o nmero de expulses.
Mas os diretores vivenciam, s vezes, em cheio, a tenso entre a questo do envolvimento e da eficincia. O que fazer quando professores muito pouco envolvidos
Revista Brasileira de Educao

RBE 53 - 256p.indd 293

v. 18 n. 53 abr.-jun. 2013

293

05/06/2013 09:35:43

Anne Barrre

obtm, no entanto, excelentes resultados? Como convenc-los a se envolverem mais?

E o que deve ser feito quando equipes extremamente mobilizadas no melhoram
seus resultados? Como fazer para que elas no desanimem? Alguns diretores privilegiam o envolvimento em detrimento dos resultados de um projeto, muitas vezes
difcil de avaliar. Mas, em geral, os diretores parecem privilegiar a avaliao, ou seja,
o papel de rbitro, se pensarmos na tenso rbitro-treinador formalizada por Pierre
Merle (1996) a propsito da avaliao dos alunos pelos professores. Mais uma vez,
antigos procedimentos podem ser colocados disposio de novos objetivos: um
principal dir ter melhorado seus resultados no exame do brevet (8 srie) fazendo
com que certos professores no atuem mais em certas turmas.
A estratgia do diretor expert se choca, na prtica, com a falta de tempo para
investir numa operao delicada, mas tambm com a falta de competncia para se
chegar a concluses e operar interpretaes difceis. Muitas vezes, a construo de
uma expertise local ocorre pelo prisma deformador de uma necessidade imediata
de ao: o efeito-escola, esse diferencial de eficcia, colocado em evidncia pelas
pesquisas, de difcil explicao, levando os diretores a superestimar sua ao em
detrimento dos efeitos de contexto ou de pblicos, cujo nvel continua sendo a
principal fonte de eficcia identificada pelas pesquisas.6 Alm disso, essa expertise
local raramente equilibrada por polos de contraexpertise, nos quais se discutiria
verdadeiramente sobre pedagogia. impressionante constatar que diretores que
propem projetos inovadores em matria de pedagogia so geralmente contestados pelas equipes de professores pela sua maneira de exercer a autoridade, e no
pelo prprio contedo do projeto. Um proviseur, que queria reestruturar todo o
seu estabelecimento em torno do desenvolvimento sustentvel, estava em conflito
com os professores a respeito da data de fechamento do estabelecimento para as
revises dos exames. Portanto, essas expertises so tambm marcadas pela ausncia
de deliberao, ou de contraexpertise, quando poderiam ser constituintes de polos
reguladores de discusso (Derouet; Dutercq, 1997).
O controle como apoio: o diretor coach

Outro tipo de estratgia consiste em implantar controles e avaliaes de

uma maneira eufemizada sob a forma de auxlio, de escuta, e at, em alguns casos,
de quase acompanhamento, que vem confundir a inteno hierrquica e liberar
a palavra sobre os problemas. Os diretores de recursos humanos esto, s vezes,
mais prximos do trabalho real do que os sindicatos, na observao de Christophe
Dejours em Souffrance en France (1998), sendo que essa observao pode, sem dvida,
encontrar tambm uma realidade numa escola onde os lderes sindicais, igualmente
carismticos na sala de aula, parecem em certos momentos bastante afastados das
dificuldades mais vergonhosas de seu colega. Os problemas relativos falta de
6 Vale lembrar que na Frana no existe uma influncia ntida comprovada das prticas
dos diretores sobre o desempenho dos estabelecimentos, ao contrrio do que acontece
nos pases anglo-saxes (Meuret, 2003).
294

RBE 53 - 256p.indd 294

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

disciplina, de autoridade, de domnio de turma podem ser geridos pelos diretores

de duas formas bem diferenciadas. Numa configurao burocrtica, os diretores
no precisam cuidar disso, j que esses problemas acontecem no espao da sala de
aula. Mas, no novo modelo, considera-se que tais problemas transbordam o espao
da sala de aula e devem, portanto, receber um tratamento como sendo algo que faz
parte do estabelecimento. Em algumas escolas, so exatamente esses problemas que
geram mais transtornos: queixas de pais, contestao de sanes e, at, por vezes,
de professores, como num liceu em que um coletivo de alunos se queixou de um
professor diretamente ao inspetor, um fato que no agradou o diretor.
Os pedidos de sanes e de reunies de conselhos de disciplina, instncias
que podem decidir pela excluso definitiva de um aluno, so muito frequentes em
alguns estabelecimentos e so objeto de desafios importantes nas relaes entre
professores e diretores. Portanto, os diretores tambm podem ser divididos entre
aqueles que assumem e aqueles que no assumem o rduo trabalho de tentar endireitar a desordem escolar. Essa questo, ignorada nas definies das novas funes
dos diretores, em que se trata de animar ou impulsionar polticas pedaggicas, mas
nunca de auxiliar na resoluo das dificuldades dos professores, , entretanto, muito importante no dia a dia. Alguns diretores podem, ento, adotar prticas que se
aproximam, mais ou menos, do acompanhamento: da passagem diante das portas
das salas de aula nas horas difceis, at a proteo frente inspeo, retirando os
alunos problemticos da sala de aula, passando pela simples escuta das dificuldades
que, por si s, j pode ser uma grande devoradora de tempo, como o expressar o
diretor de um colgio:
O problema no escutar os professores, todos os colegas lhe falaro sobre
escuta, o problema reescut-los.

Mas o diretor encontra-se, tambm, no espao estratgico em que informaes oriundas de fontes diversas se cruzam: membros da equipe de direo,7 alunos,
evidentemente, e, cada vez mais, pais de alunos. Quanto maior o estabelecimento,
mais importante se torna esse controle informal, como diz o proviseur de um grande
estabelecimento escolar. O apoio passa tambm pela gesto informal destas informaes, inclusive em termos de auxlio coletivo:
O professor que no segura sua turma, a gente sabe por meio da rdio-corredor
ou porque incidentes aconteceram. Tentamos v-lo, ajud-lo. No somente eu,
mas tambm o vice-diretor, o orientador educacional. Mas, a gente no consegue resolver tudo!

7 As equipes de direo francesas so formadas pelo diretor, principal ou proviseur, seu

vice, o intendente ou gestor e os conselheiros principais de educao encarregados da
gesto disciplinar e da animao educativa do estabelecimento.
Revista Brasileira de Educao

RBE 53 - 256p.indd 295

v. 18 n. 53 abr.-jun. 2013

295

05/06/2013 09:35:43

Anne Barrre

Portanto, est claro que uma das maneiras que o diretor usa para gerir as novas
funes trocar informalmente essas novas modalidades de controle por um apoio
maior aos professores em dificuldades com os alunos. Essa estratgia permite ao
diretor se adequar s novas prescries no que tange avaliao e ao envolvimento
dos professores, desarmando os conflitos que poderiam surgir devido impresso
dos professores de que esto perdendo sua autonomia pedaggica. o que ocorreu
num colgio considerado problemtico onde realizamos uma observao etnogrfica
durante um ano e no qual a estratgia principal do diretor consistia em apoiar muito
abertamente os professores no seu trabalho cotidiano frente aos alunos, em troca de
seu envolvimento em vrios projetos (Barrre, 2010). Ele usava a lgica da avaliao
no interior dessa dinmica de maneira interessante. Por exemplo, quando os inspetores de matemtica questionaram, no momento de uma auditoria, os professores
desse colgio, em funo dos resultados ruins obtidos aquele ano, o diretor fez uma
verdadeira contrapercia, mostrando que, caso fossem considerados os trs ltimos
anos e no apenas um, os resultados seriam positivos. Uma das justificativas para
essa ao junto ao inspetor que essa equipe de professores era particularmente
motivada: o apoio diante do inspetor , ento, um tipo de recompensa informal para
fortalecer o envolvimento dos professores com o estabelecimento. Mas esse apoio
aos professores pode tambm se tornar uma tarefa devoradora de tempo e energia
que se acrescenta s outras funes.
Em busca de uma hierarquia intermediria: o diretor poltico

Enfim, se o campo de ao formal constitudo em torno do coletivo de

professores sobretudo ligado s relaes e fora dos sindicatos, alguns diretores
parecem estar procura de outras estruturas intermedirias entre a direo do estabelecimento e o conjunto dos professores. Esses intermedirios so professores
que aceitam misses de coordenao, responsabilidades de animao e de gesto
de dispositivos. Em 2007, um conselho pedaggico foi implantado para discutir
projetos do estabelecimento, mas teve dificuldade para desempenhar um verdadeiro
papel de harmonizao porque os professores designados pelo diretor eram pouco
representativos de seus colegas.
Frente aos antigos coletivos de ensino, grupos disciplinares ou sindicais, ou
aos novos coletivos relativos a projetos, os diretores constroem alianas mveis e
flexveis, visando sistematicamente participao de um maior nmero de atores na
organizao e no controle da atividade. A ideia delegar uma parte de seu poder aos
pares, numa estratgia prxima do empowerment. Mas, na prtica, constatam-se,
por enquanto, trs tipos de tenses:
Num contexto em que, s vezes, a colegialidade forada (Hargreaves,
1994) que prima sobre a iniciativa dos atores, os diretores encontram
bastante dificuldade em reconhecer coletivos informais que eles no
dominam, quando estes no se inscrevem em projetos explcitos ou nas
perspectivas que eles prprios definem. Como diz Norbert Alter (2009),
296

RBE 53 - 256p.indd 296

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

as organizaes sabem tomar, mas no sabem receber. Ora, esses coletivos informais, s vezes questionados pelas novas modalidades de trabalho, podem ser importantes vetores de envolvimento e de colaborao
(Barrre, 2002);
Em segundo lugar, pode ser difcil para os diretores resistirem tentao
de eles prprios configurarem novos coletivos em torno de projetos e tentar envolver os professores neles. Esses projetos podem ser muito pessoais,
particularmente quando o diretor foi um professor inovador pedaggico.
Esses profissionais tm certezas que os levam a apoiar ou a sancionar determinados tipos de projetos. Por exemplo, um certo proviseur se centrou
exclusivamente na animao cultural ou no teatro, outro no meio ambiente.
Uma principale se envolveu num projeto de iniciao arquitetura, um
proviseur elaborou, com entusiasmo, para restaurar a relao social no seu
estabelecimento, um ambicioso projeto de jogo de xadrez que deveria animar os recreios: os tabuleiros ficaram mofando num ginsio por meses at
que ele admitisse que no deu certo;
Por fim, difcil no tentar opor os novos formatos de coletivos aos coletivos sindicais. O conselho pedaggico, instaurado aps esta pesquisa e do
qual j falamos, estava presente nos discursos dos diretores como possibilidade e at como necessidade a fim de contornar os conselhos de administrao, fortemente penetrados pelos sindicatos. Evidentemente, tal situao
apenas contribui para dividir as equipes de ensino. Como c ontraexemplo,
podemos citar um liceu onde um lder sindical atuante no campo pedaggico organizou novos dispositivos de apoio ao trabalho dos alunos,
contestando, ao mesmo tempo, um agrupamento de repetentes proposto
pelo diretor, assim como novos dispositivos de avaliao. Esse professor,
membro do principal sindicato docente do ensino secundrio, o SNES,
se envolveu em dispositivos como o auxlio aos deveres dos sindicalistas
que no parecem muito convencidos deles, mas tambm no domnio da
discusso e da contestao de assuntos que parecem ser da alada exclusiva
do diretor. Ele conseguiu, assim, entrar em conflito com os novos desafios e
configuraes do trabalho docente. Mas esse foi um caso que figurou como
marginal na pesquisa. As equipes de ensino, por turmas ou disciplinas, so
frequentemente lembradas pelos diretores como espaos possveis para a
resoluo dos problemas, mas sua existncia real bastante varivel, pois os
coletivos de ensino raramente so constitudos em torno de suas prprias
dificuldades na matria ou em torno de deliberaes de ordem pedaggica.
A questo da avaliao tambm pode ser recolocada neste mbito. No momento em que as prescries de trabalho coletivo so cada vez mais fortes,
ser que razovel restringir-se a avaliaes puramente individuais ou, ao
contrrio, seria preciso passar para avaliaes coletivas, como j comea a
acontecer em alguns estabelecimentos, sem que isto seja, por enquanto, um
procedimento formalizado?
Revista Brasileira de Educao

RBE 53 - 256p.indd 297

v. 18 n. 53 abr.-jun. 2013

297

05/06/2013 09:35:43

Anne Barrre

Geralmente, difcil que as polticas e os projetos de cada estabelecimento sejam objeto de discusses coletivas institucionalizadas no mbito escolar. Entretanto,
assuntos no faltam: seria melhor incentivar uma multiplicidade de aes inovadoras
ou um nico grande projeto? Como escolher entre projetos focados no corao da
atividade escolar e projetos de motivao, de enriquecimento cultural, de sadas da
escola? Na maior parte do tempo, essas escolhas so feitas somente pelas equipes de
direo. No so objeto de discusses e tomadas de deciso democrticas. Alguns
diretores, apesar de tudo, tentam favorecer esses procedimentos coletivos, e tambm
fazer com que as equipes de ensino encontrem meios de solucionar as dificuldades
encontradas na sala de aula.

CONCLUSO
Como diz o socilogo Norbert Alter (2000), sem fazer uma referncia
particular ao mundo escolar, o mundo do trabalho e das organizaes oscila, hoje,
constantemente, entre a manuteno e mesmo o fortalecimento dos procedimentosde controle burocrtico e sua contestao, visando introduo de outros modos
decontroles, mais flexveis, capazes de responder aos eventos e com preocupaesde
eficincia. exatamente o que est acontecendo nos estabelecimentos escolares franceses, onde os incentivos avaliao dos estabelecimentos, dos professores coexistem, hoje, com procedimentos bastante formais de controle. O estabelecimento
burocrtico ainda no foi substitudo pelo ps-burocrtico, os dois se sobrepem,
numa espcie de confuso organizacional que pode dar a impresso, aos professores,
de um vai e vem permanente entre um sistema e outro.
De fato, os diretores evoluem, doravante, num mundo complexo, em que so
constantemente chamados a construir uma aliana entre modernidade organizacional e valores tradicionais da escola republicana igualdade de oportunidades,
integrao das diferenas sociais, o que exige certo nmero de tradutores para
que se possam construir passagens tranquilas de um ao outro, justificando as aes
ante professores que temem perder sua autonomia pedaggica. Dois desses argumentos so fortemente legitimadores da ao dos diretores e do controle do ensino.
O primeiro pode ser chamado a defesa dos alunos que tm direito a suas horas
de aula, mas tambm ao respeito dos professores, ou a professores envolvidos e
eficientes, ainda mais por serem escolarizados em estabelecimentos relegados. Essa
defesa dos alunos , ao mesmo tempo, uma defesa dos usurios na nova gesto
pblica e uma ligao com palavras de ordem tais como igualdade de oportunidades ou, na linguagem dos diretores, certamente inspirada pelo relatrio americano, No child left behind, no se deve deixar ningum pelo caminho. O segundo
argumento, que facilita a referida passagem, a avaliao em si, que responsabiliza
os atores em nome de uma evidncia de resultados, ou melhor, dos diferenciais de
resultados da ao educativa, sobretudo nas zonas marcadas pelo fracasso escolar.
Argumento dificilmente combatido ou contestado em seu princpio, nem mesmo
pelos sindicatos.
298

RBE 53 - 256p.indd 298

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:43

Controlar ou avaliar o trabalho docente?

Os diretores, de modo geral, so favorveis a essa nova realidade organizacional, que lhes d mais poder. Entretanto, sofrem muitas tenses no seio dessa
situao hbrida. Por um lado, eles se veem como tendo pouqussimos meios reais
de sano sobre os professores, exceto quando se trata de casos extremos. Por outro,
enfrentam situaes que podem ser fortemente conflituosas quando os professores
temem pela sua autonomia ou vivem a ampliao de suas funes na escola como
uma obrigao sem contrapartida real. Eles tentam, ento, negociar o comprometimento do professor com o ensino trocando-o por apoio nas dificuldades comuns da
sala de aula. Por fim, cabe dizer que a emergncia das novas tarefas pedaggicas e de
expertises exigidas pelas novas regulaes no se traduziu na diminuio das tarefas
administrativas tradicionais, colocando os diretores diante de um permanente risco
de sobrecarga de trabalho ou da necessidade de escolhas que os levam a reduzir ao
mnimo possvel as tarefas oriundas de suas novas misses (Maroy, 2002).

REFERNCIAS
Alter, Norbert. Linnovation ordinaire. Paris: PUF, 2000.

. Donner et prendre: la coopration en entreprise. Paris: La Dcouverte, 2009.

Barrre, Anne. Les enseignants au travail. Paris: LHarmattan, 2002.

. Sociologie des chefs dtablissement. Paris: PUF, 2006.

. Ce que lvaluation fait aux tablissements scolaires. Une anne dans un collge
dducation prioritaire. Ethnologie Franaise, Paris: PUF, v. 40, n.1, p.141-149, 2010.

Crahay, Marcel; Mons, Nathalie. Lvaluation des performances scolaires des lves: un
instrument dvaluation des politiques ducatives? In: Felouzis, Georges; Hanhardt,
Siegfried. Gouverner lducation par les nombres. Bruxelles: De Boeck, 2011. p.77-99.
Crozier, Michel; Friedberg, Erhard. Lacteur et le systme. Paris: Seuil, 1977.

Dejours, Christophe. Souffrance en France. Paris: Seuil, 1998.

Derouet, Jean-Louis; Dutercq, Yves. Ltablissement scolaire, entre service public et

autonomie locale. Paris: ESF, 1997.
Dutercq, Yves. Politiques ducatives et valuation.Paris: PUF, 2000.

Forestier, Christian; Thlot, Claude; Emin, Jean-Claude. Que vaut lenseignement

en France? Paris: Stock, 2007.

Guillaume, Jean-Franois. Typologie des chefs dtablissement en fonction de leurs

conceptions pdagogiques. Education et formations, Mons: UMONS, n.49, p.21-22,
mars 1997.
Hargreaves, Andy. Changing teachers, changing times: teachers work and culture in the
post modern age. New York: Teachers College Press, 1994.
Hughes, Everett. Men and their work. Glencoe: Free Press, 1958.

Maroy, Christian.Lenseignement secondaire et ses enseignants. Bruxelles: De Boeck, 2002.

Revista Brasileira de Educao

RBE 53 - 256p.indd 299

v. 18 n. 53 abr.-jun. 2013

299

05/06/2013 09:35:44

Anne Barrre

. cole, rgulation et march. Paris: PUF, 2006.

Merle, Pierre. Lvaluation des lves. Paris: PUF, 1996.

Meuret, Denis. Efficacit et quit des collges. Leffet tablissement. In: Derouet,
Jean-Louis (Dir.). Le collge unique en question.Paris: PUF, 2003. p.49-65.

Raulin, Dominique. Du socle commun aux comptences. Paris: Hachette ducation, 2008.
Van Zanten, Agns. Lcole de la priphrie. Paris: La Dcouverte, 2001.

SOBRE A AUTORA
Anne Barrre doutora em sociologia pela Universidade de Bordeaux2.
Professora das Universidades de Paris 3 e 5.
E-mail: anne.barrere@parisdescartes.fr
Recebido em agosto de 2011
Aprovado em dezembro de 2011

300

RBE 53 - 256p.indd 300

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:44

Resumos/abstracts/resumens

Anne Barrre
Controlar ou avaliar o trabalho docente? Estratgias dos diretores
numa organizao escolar hbrida
Desde a descentralizao dos anos de 1980 e, ainda mais, desde o fortalecimento da avaliao no mbito das polticas educativas nos anos 2000, os diretores de
estabelecimentos de ensino secundrio na Frana viram crescer a sua funo no que
diz respeito superviso do trabalho dos professores. Na teoria, esses profissionais,
antes focados principalmente no trabalho administrativo, deveriam agora voltar sua
ao para o trabalho pedaggico da escola, acompanhando, assim, o desempenho dos
alunos. Entretanto, na prtica, as estratgias dos diretores variam segundo os contextos. Na maior parte do tempo, essas estratgias articulam formas antigas e novas de
regulao. Este artigo se prope a analis-las com base em uma pesquisa qualitativa
realizada em 2005, junto a 40 diretores de escolas secundrias no norte da Frana.
Considerando que a avaliao frequentemente descrita a partir de perspectivas
sistmicas e macrossociais, faz-se necessrio entender o que ela produz no cotidiano
dos estabelecimentos escolares.
Palavras-chave: escolas; diretores; professores; controle; avaliao.

Controlling or evaluating teachers work? Strategies of principals in a

hybrid school
Since the decentralization of the 1980s and even more since the strengthening of
evaluation within educational policy in the 2000s, the functions of principals of secondary schools
in France grew with regard to the supervision of the work of teachers. In theory, these professionals,
who before focused mainly on office work, should now turn their action to the educational work
of the school, following thus the performance of students. However, in practice, the strategies of
the principals vary according to the context. Most of the time, these strategies articulate old and
new forms of regulation. This article aims to analyze them on the basis of a qualitative study
conducted in 2005, with 40 secondary school principals in northern France. Taking into account
that evaluation is often described from systemic and macro social perspectives, it is necessary to
understand what it produces in the daily lives of schools.
Keywords: schools; principals; teachers; control; evaluation.
490

RBE 53 - 256p.indd 490

Revista Brasileira de Educao

v. 18 n. 53 abr.-jun. 2013

05/06/2013 09:35:55

Resumos/abstracts/resumens

Controlar o evaluar el trabajo docente? Estrategias de los directores

en una organizacin escolar hbrida
Desde la descentralizacin escolar de los aos 1980 y, sobre todo, desde la generalizacin
de la evaluacin en las polticas educativas en los aos 2000, los directores de los centros
educativos secundarios en Francia han visto su funcin incrementada en lo que concierne a la
supervisin del trabajo de los profesores. El control casi exclusivamente administrativo que
ejercan hasta hace poco ha dado lugar, al menos en teora, a una evaluacin ms cercana al
trabajo real, que debe tener en cuenta el desempeo de los alumnos. Sin embargo, en la prctica,
las estrategias de los directores de colegios son muy diversas segn los contextos, cruzndose
por lo general las antiguas formas de regulacin con las nuevas. Este artculo se propone
analizar estas prcticas a partir de una investigacin cualitativa realizada en el 2005 con
cuarenta directores de escuela en el norte de Francia. Teniendo en cuenta que frecuentemente la
evaluacin se describe a partir de perspectivas sistmicas y macrosociales, es necesario entender
las consecuencias que produce en el cotidiano de los centros educativos.
Palabras clave: centros educativos; directores; profesores; evaluacin; supervisin.

Revista Brasileira de Educao

RBE 53 - 256p.indd 491

v. 18 n. 53 abr.-jun. 2013

491

05/06/2013 09:35:55