O Uso da DEA como Ferramenta Alternativa da Gesto Escolar na Avaliao Institucional

Antonio Carlos Miranda Sueli Carrijo Rodrigues

Educao: teoria e prtica, Rio Claro, SP, Brasil - eISSN: 1981-8106 Est licenciada sob Licena Creative Commons

Resumo Este artigo parte das reflexes realizadas por ocasio do desenvolvimento das teses de doutorado defendidas, em 2005 e 2008, na Faculdade de Educao da Universidade Estadual de Campinas. O mote foi explorar a metodologia da aplicao da DEA na avaliao do desempenho de escolas municipais e estaduais de educao bsica. Uma das caractersticas da DEA possibilitar a construo e a anlise dos dados, respeitando a escola isoladamente, ao mesmo tempo em que constri uma fronteira de eficincia para cada instituio, a partir de critrios que no so arbitrrios ou estranhos s mesmas. Entende-se que cada escola tem um conjunto de recursos (infraestrutura, nmero de professores, apoio tcnico, biblioteca, etc.) e que deve obter alguns resultados (nmero de alunos aprovados, proficincia dos alunos, reduo da violncia na escola, etc.). A DEA permite que se observe a relao (recursos e resultados) dentro de uma escola olhando simultaneamente para o conjunto das escolas analisveis. Por conseguinte, optou-se em pontuar duas importantes decises metodolgicas: a orientao do modelo DEA e a utilizao de pesos no tratamento de dados educacionais. Ademais, apresentamos uma sntese operacional para a execuo da DEA. Por fim, conclumos que a DEA pode se tornar uma ferramenta prtica e muito til para os gestores, pois relaciona recursos e resultados, agregados a outras informaes, de maneira simples e de fcil entendimento.

Palavras- chave: Anlise por Envoltria de Dados (DEA). Sistema de ensino. Avaliao. Indicadores de qualidade em educao. Anlise de dados quantitativa.

The use of Data Envelopment Analysis (DEA) as Alternative Tool to School Management in the Institutional Assessment
Abstract This paper is part of the reflections performed on the development of the Ph.D. thesis defended in 2005 and 2008 at the College of Education, in State University of Campinas.
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

164

Our aim was to explore the methodological application process of Data Envelopment Analysis (DEA) in the performance evaluation of primary and lower secondary education in public schools. One of the characteristics of DEA is to make possible the construction and data analysis, respecting each school data separately, and at the same time, to build an efficiency border for each school, based on criteria which are not arbitrary or strange to them. Each school has their own resources (infrastructure, number of teacher, support technical, library, etc) and these resources should obtain some results (rate of approved students, students proficiency, reduction of the violence inside of school, etc). DEA allows an observation of this relation resource x results inside of a school and simultaneously its possible to observe it compared with the set of analyzable schools. Two important methodological decisions were focused on this paper: DEA model orientation and the use of weights in the educational data analysis. Following thus, its shown an operational synthesis to apply the DEA. We conclude that DEA can become a practical and useful tool for manager schools, mainly because it relates resources and results, related to other data, in a simple and useful way.

Key words: Data Envelopment Analysis (DEA). Educational System. Evaluation. Pointers of Education Quality. Quantitative Data Analysis. 1. Introduo A abordagem da Anlise por Envoltria de Dados (Data Envelopment Analysis DEA), juntamente com outros mtodos da pesquisa operacional1, vem sendo empregada na avaliao de desempenho das escolas, universidades e programas governamentais em pases como Estados Unidos, Inglaterra, entre outros. Esses mtodos foram viabilizados em funo do amplo desenvolvimento da informtica, ferramenta indispensvel para a extenso prtica dos mtodos desenvolvidos nos problemas reais. No Brasil, o emprego deste mtodo na rea educacional vem ganhando importncia com o aumento, ainda discreto, das publicaes e estudos de mestrado e doutorado (MOITA, 1995; LAPA & NEIVA, 1996; BELLONI, 2000; PAIVA JUNIOR, 2000; NUNES, 2002; RODRIGUES, 2005; MIRANDA, 2008, entre outros).

Pesquisa Operacional: consiste em uma abordagem cientfica na tomada de decises, ou um conjunto de mtodos e modelos matemticos aplicados resoluo de problemas ligados otimizao na administrao das organizaes. Tendo como marco o desenvolvimento em 1947, por George Dantzig e outros pesquisadores da SCOOP (Scientific Computation of Optimum Programs), programa do Departamento da Fora Area Americana, a divulgao de um mtodo eficiente para a resoluo de Problemas de Programao Linear chamado Mtodo Simplex.
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

165

Na Universidade Estadual de Campinas (UNICAMP), a Faculdade de Educao, atravs do grupo do Laboratrio de Observaes e Estudos Descritivos (LOED) produziu, no ano de 2005, a primeira tese de doutorado (RODRIGUES, 2005) utilizando a abordagem da DEA, aplicando o mtodo com variveis construdas a partir de fatores subjetivos inerentes ao sistema educacional. O referido estudo foi realizado em colaborao com o Laboratrio de Aprendizagem em Logstica e Transportes (LALT) da Faculdade de Engenharia Civil, tambm da UNICAMP. Em 2008, foi produzida, no LOED, a segunda tese de doutorado explorando alternativas metodolgicas utilizando a abordagem DEA (MIRANDA, 2008), e uma terceira tese foi produzida aplicando a metodologia em um estudo longitudinal (ALMEIDA, 2009). Dentro dos pressupostos de avaliao que norteiam os estudos no LOED, os trabalhos ali produzidos exploraram de forma criteriosa as caractersticas da DEA de possibilitar a construo e a anlise dos dados, respeitando a escola isoladamente, ao mesmo tempo em que constri uma fronteira de eficincia para cada instituio, a partir de critrios que no so arbitrrios ou estranhos a elas. Entende-se que cada escola tem um conjunto de recursos (infraestrutura, nmero de professores, apoio tcnico, biblioteca, recursos tecnolgicos, etc.) e que deve obter alguns resultados (nmero de alunos aprovados, proficincia dos alunos, reduo da violncia na escola, melhora no clima escolar, etc.). A DEA permite que se observe a relao (recursos e resultados) em uma escola, olhando simultaneamente para o conjunto das escolas analisveis. Este trabalho parte das reflexes que emergiram de estudos exploratrios de construo da metodologia DEA na avaliao do desempenho das escolas municipais de ensino fundamental, utilizando os indicadores de qualidade da rede municipal de Campinas/SP. 2. Apresentao da Tcnica Anlise por Envoltria de Dados (DEA) A Anlise por Envoltria de Dados (DEA) uma tcnica utilizada para avaliar o desempenho de unidades tomadoras de deciso (neste estudo, as escolas) que utilizam um mesmo conjunto de recursos para gerar um mesmo conjunto de resultados, os quais diferem apenas em intensidade e magnitude. , ainda, uma tcnica no paramtrica utilizada para medir a eficincia de unidades semelhantes e independentes, denominadas DMUs (Decision Making Unit) ou Unidades Tomadoras de Deciso (RODRIGUES, 2005; MIRANDA, 2008). Esse modelo, proposto por Charnes, Cooper e Rhodes em 1978, era
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

166

voltado para inputs e tinha como meta reduzir os gastos sem alterar a produo, mantendo, assim, retornos de escalas constantes. Passou a ser conhecido por CCR em homenagem a esses autores. Posteriormente, Banker, Charnes e Cooper (1984) desenvolveram o modelo BCC, no qual a suposio de retornos de escala abandonada, permitindo que os rendimentos sejam crescentes ou decrescentes na fronteira de eficincia e no exigindo um aumento proporcional entre inputs ou outputs. Com essa evoluo no modelo, a DEA ganhou maior aplicabilidade em diferentes setores, entre eles educao, sade, indstria, instituies financeiras e programas sociais. Para Moita (2002, p. 56) a DEA considera planos de operao observados para construir um espao de possibilidades de produo delimitado por uma fronteira de eficincia, a qual definida pelos planos de operao de melhor desempenho. Ainda para esta autora, uma das caractersticas bsicas desse modelo possibilitar que a eficincia de cada unidade seja avaliada com um conjunto individualizado de pesos, e que reflita suas peculiaridades. Por outro lado, Castro (2003) destaca que a eficincia encontrada relativa, porque nada se pode falar das unidades avaliadas com relao a outras unidades fora do grupo estudado e nem com relao a outras variveis que no as selecionadas. Assim, as DMUs (neste estudo, as escolas) que esto na superfcie da envoltria (fronteira) so consideradas as mais eficientes, enquanto as demais, no interior da envoltria e distantes da fronteira, so consideradas menos eficientes. Para cada DMU (escola) a DEA calcula o grau de ineficincia, ou seja, o quanto est distante da envoltria ou fronteira, e indica o grupo de DMUs que, combinadas, formam as DMUs (escolas) eficientes. 3. Metodologia 3.1. Orientao do modelo DEA: tratando dados educacionais Dentre as inmeras decises a serem realizadas na aplicao da DEA, o tipo de orientao do modelo a ser gerado pode suscitar interpretaes equivocadas do ponto de vista do fenmeno educacional. Neste contexto, necessrio aprofundar o entendimento do que seja a unidade escolar e qual a sua funo social dentro do processo de transformao e mudana da sociedade. DEA uma metodologia para mensurao de eficincia de unidades tomadoras de deciso (Decision Making Units [DMUs] neste estudo so as unidades escolares), naturalmente se prestando a fornecer anlises que podero orientar polticas pblicas e a organizao interna das unidades escolares.
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

167

Como metodologia alternativa, a DEA pode trazer inmeras contribuies s avaliaes institucionais e de sistemas; portanto, o entendimento de como feito o tratamento dos dados pela DEA de fundamental importncia na aplicao da metodologia pelo pesquisador. O grfico simplificado do modelo original DEA (grfico 1) fornece informaes didticas a respeito de como o modelo funciona.

Y (OUTPUTS) P40 Resultados P20 P21 P1 P41 P3 P4

P51

P50 P5

P2

(INPUTS) Recursos X

Grfico 1 Fronteira de eficincia: modelo original

As unidades escolares, correspondentes aos pontos P1, P3, pertencentes fronteira, seriam eficientes, j aqueles correspondentes aos pontos P2, P4 e P5, abaixo da fronteira, seriam ineficientes. Observa-se que os pontos projetados sobre a curva da fronteira, P21, P41 e P51, corresponderiam a pontos que poderiam gerar os mesmos nveis de resultados (outputs) que P2, P4 e P5, respectivamente, com menores dispndios de recursos (inputs). De forma anloga, os pontos P20, P40 e P50 poderiam, com os mesmos nveis de recursos que P2, P4 e P5, gerarem nveis superiores de resultados. Esta possibilidade de projeo de pontos para a fronteira eficiente uma das caractersticas peculiares do mtodo. De maneira resumida, neste caso, as unidades escolares representadas pelos pontos P1 e P3 seriam eficientes, pois esto com 100% de eficincia, esto localizadas em cima da curva. Os pontos P2, P4 e P5 seriam ineficientes, pois esto localizados sob a curva da fronteira de eficincia. No entanto, o que deve ser observado nas unidades escolares ineficientes so as projees que podem ser realizadas para alcanar a eficincia mxima. Vamos usar como exemplo a unidade escolar denominada no grfico como P4, observe que a projeo desta
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

168

unidade escolar no eixo x minimiza os recursos indo para o ponto P41, enquanto a projeo no eixo y mantm constantes os recursos e maximiza os resultados indo para o ponto P40. Entretanto, devemos ressaltar que, no campo educacional, os modelos de eficincia orientados para minimizar os recursos, no so adequados avaliao de sistemas pblicos de educao, uma vez que seria invivel pensar a administrao da educao pblica orientada para a reduo dos recursos nos campos: administrativo e pedaggico. Mesmo quando h recursos excedentes, em educao no adequado reduzi-los, mas sim ampliar a prestao de servios para mais pessoas e com melhor qualidade. Igualmente, necessrio enfatizar que cabe s unidades escolares produzir os melhores resultados possveis dentro da disponibilidade dos recursos alocados para a rea. Portanto, os modelos DEA sero desenvolvidos, neste trabalho, com orientao para a maximizao dos resultados, o que deve gerar, de forma dinmica, novos vetores na composio das foras entre recursos e resultados. 3.2. Instrumento DEA na Avaliao Institucional Um dos objetivos da DEA analisar comparativamente unidades independentes; neste estudo, analisar o desempenho operacional das escolas municipais de Ensino Fundamental. A metodologia de avaliao proposta determinar a eficincia de cada instituio e transformar seus recursos (infraestrutura, nmero de professores, apoio tcnico, biblioteca, recursos tecnolgicos, nmero de matrculas, nvel socioeconmico, etc.) em resultados (ndices de aprovao). Outros fatores de declarada importncia devero ser considerados para a construo do quadro de referncia explicativo, a partir da colaborao de pesquisas especficas no que concerne a: proficincia dos alunos, participao efetiva da comunidade acadmica e local, diminuio da violncia e melhora no clima escolar, entre outros. Alm da aplicao de tcnicas estatsticas (anlise descritiva de dados: univariada, bivariada e multivariada), a metodologia consiste em uma aplicao interativa da DEA, que precisa, a priori, identificar os fatores educacionais, em seguida, selecionar as variveis para, ento, calcular os indicadores da eficincia e, por fim, analisar os resultados (BELLONI; BELLONI apud FREITAS; BELLONI; SOARES, 2003).
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

169

Identificar os fatores educacionais significa, principalmente, checar se os dados disponveis daro sustentao s anlises que atendem ao princpio da globalidade. Essa etapa, no estudo, foi feita aplicando-se a anlise multivariada, que pode investigar o significado conceitual do dado atravs da sua capacidade de descrever o desempenho, ou seja, do que se pretende avaliar e o vnculo com o real observado pelo pesquisador. O prximo passo foi selecionar as variveis, seleo esta que deve partir de uma lista ampla de todos os fatores quantitativos, qualitativos, controlveis ou no, que evidenciem as relaes de produo de um conjunto de DMUs (Unidades Escolares). Essa lista foi reduzida ao longo de um processo de aprimoramento, o qual identificou quais os fatores que distinguiram claramente o desempenho das unidades escolares de acordo com os objetivos da anlise. Resumindo, os dados possibilitaram a construo dos seguintes indicadores: Nvel socioeconmico (NSE2): de cada escola, calculado a partir da metodologia desenvolvida pela Associao Nacional de Empresas de Pesquisa (ANEP), Associao Brasileira de Anunciantes (ABA) e a Associao Brasileira de Empresas de Pesquisas (ABEP)3. A varivel NSE tem se mostrado com alto poder explicativo na avaliao de sistemas, em face de sua abordagem das dimenses econmicas, educacionais e culturais. O NSE foi o indicador com maior poder de explicao no estudo com uma correlao de 0,794 entre o grupo dos alunos; Experincia profissional (ExpProf): levou em considerao quantos anos o professor estudou, h quantos anos o professor trabalha na escola, quantos anos o professor tem de experincia em docncia e quantas horas aula o professor ministra por semana; Liderana administrativa (LiderADM): considerou como foi elaborado o projeto poltico-pedaggico, quantas vezes o conselho se reuniu e quantas horas de formao continuada o professor cursou; Clima escolar (CLIMA): levou-se em considerao: os procedimentos dos alunos dentro da unidade escolar; se os recursos financeiros, o nmero de professores, o pessoal administrativo, o pessoal de apoio e os recursos pedaggicos
2

NSE da escola a mdia aritmtica de todos os NSE calculados previamente dos alunos por escola. 3 O nvel socioeconmico foi calculado com a metodologia da ABEP Associao Brasileira de Empresas de Pesquisa 2009. Critrio de Classificao Econmica Brasil (CCEB). Dados com base no levantamento scio econmico 2006 e 2007 IBOPE (Instituto Brasileiro de Opinio Pblica e Estatstica). Disponvel em: <http:// www.abep.org>.
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

170

foram suficientes; se houve interrupo no planejada das atividades na escola; se sistematicamente aconteciam faltas por parte dos professores; se houve ocorrncias de roubos e depredaes; e, ainda, a ocorrncia de violncia contra alunos, professores e funcionrios, alm da frequncia de rotatividade dos professores na escola; Estilo pedaggico (EstiloPed): contemplou o uso do livro didtico; se o aluno tinha acesso internet; como os alunos utilizavam os computadores; se o professor utilizava fitas de vdeo educativas, jornais e revistas informativas; como o professor fazia uso da biblioteca da escola no que concerne utilizao de livros de consulta, livros de leitura e atividade com alunos; ndice LOED (LOED) (MIRANDA, 2008, p. 100): foi calculado levando em conta o nmero de alunos aprovados, retidos, transferidos e o nmero de alunos evadidos. O processo de refinamento consistiu em um exame crtico, uma anlise quantitativa (por exemplo: correlao linear, anlise de componentes ou cluster) e uma anlise DEA exploratria, que resultou na identificao de uma funo de eficincia produtiva para cada escola e na gerao de informaes adicionais resultantes da DEA. Cada escola foi uma unidade bsica de observao e, possivelmente, uma unidade tomadora de deciso, sendo que sua eficincia produtiva exige informaes sobre um conjunto de outras escolas como referncia, partindo do pressuposto que essas escolas tenham os mesmos procedimentos escolares e que utilizem os mesmos tipos de recursos (professores, bibliotecas, cursos, vagas, etc.) para produzir os mesmos resultados (ndice de aprovao). imprescindvel, para a seleo das DMUs, considerar trs critrios:
A homogeneidade de atividades, objetivos e processos ou condies de mercado so necessrias para que as comparaes tenham sentido. Em geral, DMUs semelhantes apresentam o mesmo conjunto de inputs e outputs; O tamanho do grupo [...] influi de duas formas na anlise DEA. Quanto maior o grupo, maior a chance de ele conter as DMUs de alto desempenho, mais ntidas so as relaes entre inputs e outputs e maior o nmero de fatores que podem ser considerados. [...] A regra adotada na literatura usar grupos duas ou trs vezes maiores que o nmero de variveis consideradas; Quanto s restries das DMUs, necessrio considerar as restries fsicas e organizacionais que as definem. Tambm devem ser levadas em conta restries temporais relacionadas com o perodo de mensurao dos fatores de desempenho, pois, caso sejam muito longos, podem encobrir variaes importantes Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

171 e, se forem muito curtos, podem ser influenciados pelas sazonalidades. (PAIVA JR., 2000, p. 77 apud RODRIGUES, 2005, p. 188)

O procedimento de leitura dos resultados, mediante os princpios e as caractersticas da avaliao institucional, torna-se imprescindvel para que a aplicao da tcnica cumpra o seu objetivo principal, que indicar o local onde esto s deficincias que mais influenciam na obteno de um bom resultado em determinada unidade. A seguir, um quadro sntese descreve os passos a serem trilhados na anlise dos dados, em relao DEA. H a descrio do roteiro estudado para a execuo da anlise dos dados e da pesquisa, o operacional da pesquisa, os critrios a cada estgio do desenvolvimento da anlise/pesquisa e a viabilidade para a aplicao do mtodo. Quadro 1 Sntese operacional para execuo do DEA
D escrio do roteiro Seleo da D MU Operacional C ritrios Homogenei dade; as mesmas tarefas e objeti vos C onsi derar fatores gerenci ai s, ambi entai s, quanti tati vos, recursos e resultados D escartar vari vei s que esto fora do objeti vo da pesqui sa Viabilidade para D EA No mni mo trs vezes o nmero de vari vei s C onsi stnci a de cada vari vel

Escolha das Escolas

Li sta de vari vei s

Li star possvei s i ndi cadores

Reduo da li sta i ni ci al

Escolha dos i ndi cadores relevantes

Ponderar sobre as correlaes e testar i nflunci a no modelo C onsi stnci a, valores das vari vei s > 0

Apli cao D EA (C C R e BC C )

Vari vei s controlvei s ou no, a fi m de se obter as taxas de efi ci nci a Separar as vari vei s que foram consi deradas relevantes; Escolher os fatores para anli se (C ontrolvel e No controlvel) Medi r o grau de correlao entre X= recursos (i nput) controlvei s ou no; Y= resultado (output) Apli cao do modelo BC C

Escolha das vari vei s controlvei s

Medi das de recursos e resultados

- Fatores da escola (controlvei s); - Fatores soci oeconmi cos (no controlvei s);

Atentar para as correlaes e ori entao do modelo

C orreo Li near

C orrelao forte quando r est prxi mo de -1 ou 1; correlao fraca quando est prxi mo de 0 As escolas no possuem retorno de escala constante e si m vari vel

Eli mi nar os i nputs de correlao fraca e anli se de dados C ada escola tem sua prpri a taxa de efi ci nci a

D EA (BBC ) Medi das Gerenci ai s

EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

172

3.3. Utilizao de Pesos no Tratamento de Dados Educacionais Frequentemente, em aplicaes prticas da DEA, em que no so impostas restries de pesos, so encontradas solues imprprias, pois a eficincia de algumas unidades alcanada quase que exclusivamente devido a um determinado fator. Ocorre, ainda, muitas vezes, que as distribuies dos pesos se apresentam completamente diferentes para as diferentes unidades. No entanto, a utilizao de pesos nos fatores no uso da DEA, devido concepo no modelo dos multiplicadores, originalmente proposto por Charnes, Cooper & Rhodes (1978), permite total flexibilidade nos pesos utilizados nas ponderaes, de tal forma que cada unidade sob anlise, comumente chamada de DMU (Decision Making Unit), alcana sua eficincia mxima no levando em conta qualquer prioridade ou limitao dos fatores (ALCNTARA; SANTANNA; LINS, 2003, p. 348). Naturalmente, a limitao desses fatores deve ser considerada depois de uma anlise preliminar nos dados disponveis. De modo geral, a abordagem DEA constri uma medida do tipo:

w1 . p1 + w2 . p2 + ........+ wn . pn Indi cador D EA = v1 . i 1 + v2 . i 2 + ........+ vm . i m

p

n i m w n v m p 1 i 1 i 2 i 3 i 4 i 5

a quantidade observada do n-simo produto; a quantidade observada do m-simo insumo; o peso relativo associado ao n-simo produto; o peso relativo associado ao m-simo insumo; = ndice LOED; = NSE; = Experincia profissional do professor; = Clima escolar; = Liderana administrativa; = Estilo pedaggico do professor.

Para minimizar os efeitos das distores em anlises DEA sem restrio de pesos, vrios estudos foram desenvolvidos para impor limites a pesos de fatores, tais como: Restries Diretas nos pesos, desenvolvidas por Dyson & Thanassoulis (1988) e generalizadas por Roll, Cook & Golany (1991); Regio de Segurana (Assurance Region [AR]), desenvolvida por Thompson, R. G. et al.
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

173

(1990); Mtodo Cone Ratio, desenvolvido por Charnes, Cooper, Wei & Huang (1989); Restries contingente dos inputs e outputs virtuais, propostas por PedrajaChaparro et al. (1997), entre outros. Mais recentemente, outros mtodos esto sendo desenvolvidos na insero das rotinas de computadores para clculos destes estimadores (ALCNTARA; SANTANNA; LINS, 2003). As propostas de Regio de Segurana e as Restries contingente dos inputs e outputs virtuais tm em comum a determinao dos pesos pelo pesquisador, sendo um tipo de restrio aos pesos contingente, porque o padro dos pesos selecionados depende dos nveis dos inputs e outputs utilizados pela DMU. Entre as diversas possibilidades de aplicao de mtodos para a restrio dos pesos no modelo DEA, entendemos que as limitaes impostas ao pesquisador por um sistema de restrio que no combinasse os mtodos quantitativos e qualitativos na deciso de quais pesos deveriam ser utilizados na varivel limitaria a anlise a uma questo puramente tcnica. Todavia, essa prtica requer, primeiramente, que as variveis do modelo respondam de maneira satisfatria as perguntas sobre o problema delineado na avaliao em questo. E, mesmo com esses cuidados, no raro que variveis de impacto na viso do pesquisador e de outros estudos em reas afins no apaream de forma significativa na anlise preliminar do modelo DEA, obrigando o pesquisador a tomar decises que direcionem a anlise de forma mais intuitiva, para gerar novos caminhos de anlise e questionamentos. Evidentemente, essa interferncia deve ser direcionada a luz de parmetros que possam ser replicados e ratificados segundo uma base cientfica. 4. Resultados: Entendendo a DEA com as escolas pesquisadas Com o intuito de mostrar empiricamente o processo de obteno da eficincia, vamos descrever os dados analisados atravs da DEA. O quadro 2 foi gerado com o nmero de identificao das unidades escolares de 1 a 4 sries, as medidas de eficincia e a contribuio de cada recurso (input) e o resultado (output) na obteno da eficincia. O modelo CCR/Max-output utilizado foi o de Charnes, Cooper & Rhodes (1978); sem restrio de pesos nas variveis analisadas, esse modelo maximiza os resultados.

EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

174

Quadro 2 ndices de contribuio de cada varivel sem restrio de pesos (escolas de 1a a 4a sries modelo CCR/Max-output)
C ontribuio da Varivel Identificao das Escolas Medidas de Eficincia %

NSE

ExpProf

C LIMA

Li derAD M

LOED

i nput 2 3 4 5 6 7 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 25 26 27 28 29 30 31 32 33 34 100 42,97 94,02 45,69 42,84 55,63 50,86 49,44 56,67 61,65 61,66 42,82 40,07 45,25 59,97 59,81 91,34 58,48 56,14 100 65,15 67,84 61,4 56,27 92,73 84,73 51,72 40,67 78,27 50,02 57,4 0 100 0 42,2 100 40 0 50,3 100 0 39,5 0 0 100 43,2 0 44,5 0 0 0 100 0 41,9 0 0 0 0 100 0 43 100

i nput 0 0 100 0 0 0 81 0 0 81,7 0 80,8 80,5 0 0 81,9 0 100 100 0 0 80,2 0 100 83,7 80,7 82,9 0 100 0 0

i nput 0 0 0 57,8 0 60 19 49,7 0 18,3 60,5 19,2 19,5 0 56,8 18,1 55,5 0 0 100 0 19,8 58,1 0 16,3 19,3 17,1 0 0 57 0

i nput 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

output 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100

Fonte: SME/LOED
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

175

possvel observar, no quadro 2, que a escola 2 alcana sua eficincia mxima baseada exclusivamente na varivel (indicador) liderana administrativa (LiderADM), varivel esta que no contribui em nenhuma das outras unidades escolares, enquanto que as escolas 3, 6, 11, 16, 23, 31 e 34 tm suas contribuies baseadas exclusivamente no indicador nvel socioeconmico (NSE), entre outras leituras que podem ser feitas a partir do quadro, o que, na prtica, no se apresenta como um resultado razovel. Nessa perspectiva, a determinao emprica dos pesos pode ser realizada segundo os pressupostos de replicao e anlise qualitativa da varivel feita pelo pesquisador. No auxlio dessa deciso do pesquisador, de fundamental importncia a anlise de sada dos dados gerados a partir do processamento do modelo DEA, verificando qual o nvel de contribuio de cada varivel no resultado gerado pelo sistema nesse procedimento. A definio dos pesos foi o resultado de simulaes e anlise das sadas do software Frontier Analyst. O quadro 3 apresenta os ndices de contribuio de cada varivel com restrio de pesos, para se obter um equilbrio de participao de todas variveis em todas as unidades escolares analisadas. O peso mnimo de cada varivel foi assim definido para este estudo: NSE (30), ExpProf (10), CLIMA (10), LiderADM (10) e LOED (0). Nesta anlise, somente a escola 2 obteve uma medida de eficincia de 100%. A reduo do nmero de escolas eficientes indica que as restries impostas cumpriram satisfatoriamente seu papel de evitar que padres baseados em ponderaes extremas elevem os ndices de eficincia de algumas unidades (ALCNTARA; SANTANNA; LINS, 2003).

EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

176

Quadro 3 ndices de contribuio de cada varivel com restrio de pesos (escolas de 1a a 4a sries - modelo CCR/Max-output)
C ontribuio da Varivel Identificao das Escolas Medidas de Eficincia %

NSE

ExpProf

C LIMA

Li derAD M

LOED

i nput 2 3 4 5 6 7 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 25 26 27 28 29 30 31 32 33 34 100 40,4 84,5 44,5 39,1 53,9 48,8 48,8 55,8 52,9 59,2 39,5 38,7 39,1 55,7 55,8 88,7 49,7 54,7 99,9 56,2 57,6 60,5 52,2 82,7 70 48,9 38,2 70 48,3 54,1 30,1 64 32,3 30 62,1 30 30 36,2 66,2 38,2 30 31,7 30 58,7 30 34,2 31,5 33,5 30 37,6 58,6 33,7 30,1 30,3 41,3 36,6 33,9 63,8 30,6 30,2 64

i nput 11,5 10,7 47,3 10,2 11,3 11,4 10 10,7 11,3 10 11,4 10 10 13,4 13,1 10 10,7 44,7 48,7 10,8 13,1 10 10,3 48,9 10 10 10,3 12,8 47,1 11,1 12,3

i nput 12,4 14,3 10,4 48,8 13,7 48,6 50 42,6 12,4 41,8 48,2 48,3 50 14,7 45,2 45,8 46,7 11,4 11,3 41,6 14,9 45,1 49,6 10,6 38,7 42,7 44,6 11,5 10,9 47,8 11,8

i nput 46 11 10 11 12,8 10 10 10,6 10 10 10,4 10 10 13,1 11,7 10 11 10,4 10 10 13,4 11,2 10 10,2 10 10,7 11,2 11,9 11,5 11 11,8

output 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100

Fonte: SME/LOED
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

177

O quadro 3 apresenta a contribuio de cada varivel no sistema. Nesta anlise, podemos notar que, mesmo com a restrio de pesos imposta, algumas variveis em determinadas unidades escolares permaneceram de forma robusta. A escola 2 tem na liderana administrativa (LiderADM) um componente muito forte na determinao de sua eficincia. O quadro 2 j apontava essa varivel com 100% de contribuio; mesmo com a restrio de pesos (quadro 3), a varivel no perdeu fora de interferncia direta na eficincia final da unidade escolar, se tornando a nica unidade de 1 a 4 sries a ter eficincia mxima de 100%. A varivel de nvel socioeconmico (NSE), no quadro 3, contribuiu com a eficincia de forma mais intensa nas escolas 3, 6, 11, 16, 23, 31 e 34, sendo que a escola 23 teve apenas 56,2% de eficincia, a maior eficincia apurada desse grupo. Para corroborar esses dados temos, nessas escolas, os menores valores de NSE, com um intervalo de 8,14 da escola 16 a 12,26 da escola 11, sendo que o maior valor apurado nessa varivel foi o da escola 28, com NSE de 24,36, o que contribuiu com 41,3% na medida de eficincia dessa escola, que foi de 82,69%. A varivel do indicador experincia do professor (ExpProf), no quadro 3, contribuiu com a eficincia de forma mais determinante nas escolas 4, 20, 21, 27 e 32, sendo que a escola 4 e 32 possuem, respectivamente, 84,5% e 70% de eficincia, e as escolas 20, 21 e 27 possuem 49%, 54% e 52%, respectivamente. O indicador de clima escolar (CLIMA), no quadro 3, contribuiu com a eficincia de forma mais intensa nas escolas 5, 7, 9, 10, 12, 13, 14, 15, 17, 18, 19, 22, 25, 26, 29, 30 e 33, com eficincias que variaram de 38,7% da escola 15 a 99,9% da escola 22. Com 17 unidades escolares, essa varivel assumiu papel de destaque na composio da medida de eficincia das unidades escolares. A contribuio dessa varivel teve interferncia de 38,7% a 50% no resultado final da eficincia desse grupo. A escola 22 possui 99,9% de eficincia, o que significa ter encontrado um equilbrio nos valores de todas as variveis de entrada e um dos maiores valores de sada expressado no clculo pelo ndice LOED (860,26). A varivel do indicador de liderana administrativa (LiderADM), no quadro 3, contribuiu com 46% da medida de eficincia alcanada pela escola 2, por ser o menor valor no indicador de liderana administrativa (6,67). 5. Concluso A proposta de avaliao no se limita somente a realizar uma anlise tcnica, seja quantitativa ou qualitativa, mas tambm busca fazer uma reflexo sobre os dados e com os dados, na perspectiva de propor melhorias a partir de
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

178

uma realidade da prpria unidade a ser avaliada, seja indivduo, instituio ou sistema. Por isso, a determinao do objeto a ser avaliado fundamental para o desenvolvimento de instrumentos que possam dar conta de uma avaliao que possibilitem fazer medidas com a menor margem de erro associado possvel, a fim de apontar a necessidade de utilizao de melhores prticas na soluo de eventuais problemas ou na continuao de aes bem sucedidas. A grande vantagem da aplicao da DEA est em focar o olhar do gestor, para que ele possa colocar mais ateno nas caractersticas, precariedades e especialidades escolares (RODRIGUES, 2005). A metodologia desenvolvida pode ser usada no sentido de gerar esforos e informaes sobre as DMUs, suas eficincias, melhores prticas e possibilitar uma interveno na realidade escolar. Os resultados devero ser usados como referncia de condies de cada escola, de seu funcionamento, um diagnstico que dever ser seguido do compromisso de articular o projeto pedaggico como instrumento de gesto e trabalho coletivo. Dessa forma, o uso da DEA como ferramenta no processo de tomada de deciso, no coletivo da escola, deve estar legitimado pelo projeto pedaggico. O coletivo da escola deve ter a responsabilidade no processo de avaliao institucional que transita da opo pelo processo avaliativo, passa pela identificao dos indicadores, levantamento e interpretao dos dados. A anlise e a interpretao dos dados da avaliao institucional so espaos de reflexo coletiva das possibilidades e dificuldades apontadas pelo processo, revela-se como eixo de interao dos atores, o que privilegia a organizao e os registros das concepes sobre os trabalhos realizados na sala de aula e na escola (professores, gestores, funcionrios, comunidade). o momento de abordar a avaliao e o Projeto Poltico Pedaggico como instrumentos de conhecimento e transformao da escola. H o entendimento de que so necessrios muitos procedimentos de avaliao, mesmo porque nenhum deles isoladamente consegue atender complexidade do processo. Em vista disso, desejvel o princpio de integrao, isto , um processo que envolva a avaliao institucional interna e externa, articulando diferentes dimenses de ensino, as administrativas e sociais de cada escola, da rede de ensino e do prprio poder pblico. Por se caracterizar como um processo de avaliao formativo, a avaliao institucional deve procurar, ao identificar os problemas e deficincias, super-los em relao aos objetivos propostos e identidade da escola. Assim, a funo formativa da avaliao institucional fortalecida quando a avaliao externa se integra interna e ambas oferecem
Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...

179

dados e informaes para a reflexo. Referncias

ALCNTARA, A. A. M.; SANTANA, A. P.; LINS, M. P. E. Restringindo flexibilidade de pesos em DEA utilizando anlise de regresso MSEA. Pesquisa Operacional, 23(2):347-357, maio/ago, 2003. BANKER, R. D.; CHARNES, A.; COOPER, W. W. Some models for estimation technical and scale inefficiencies in Data Envelopment Analysis. Management Science, 30(9):1078-1092, 1984. BELLONI, J. A. Uma metodologia de avaliao da eficincia produtiva de universidades brasileiras. 2000. 246 p. Tese (Doutorado em Engenharia de Produo) Universidade Federal de Santa Catarina, Florianpolis, 2000. CASTRO, C.E.T. Avaliao da eficincia gerencial e empresas de guas e esgotos brasileiras por meio da envoltria de dados (DEA). 2003. 1 v. Dissertao (Mestrado em Engenharia Industrial) Pontifcia Universidade Catlica , Rio de Janeiro, 2003. CHARNES, A. W.; COOPER, W. W.; RHODES, E. L. Measuring the efficiency of decision making units. European Journal of Operational Research, 2:429-444, 1978. CHARNES, A.; COOPER, W.; WEI, Q.L. & HUANG, Z.M. Cone Ratio Data Envelopment Analysis and Multiple Objective Linear Programming. International Journal of Management Science, 20(7), 1099-1118, 1989. DYSON, R. G. & THANASSOULIS E. Reducing weight flexibility in DEA. Journal of the Operational Research Society, 39(6):563-576, 1988. FREITAS, L. C.; BELLONI, I.; SOARES, J. F. (Orgs.). Avaliao de escolas e universidades. Campinas: Komedi, 2003. LAPA, J. S.; NEIVA, C. C. Avaliao em Educao: comentrios sobre desempenho e qualidade. Ensaio: Aval. Pol Pub. Educ., Rio de Janeiro, 12(4):213-236, jul/set., 1996. MIRANDA, A. C. O desafio da construo de referncias de qualidade para os sistemas de ensino: uma avaliao com o uso de anlise envoltria de dados - DEA. 2008. 290 p. Tese (Doutorado em Educao), Universidade Estadual de Campinas (UNICAMP), Campinas, SP, 2008. MOITA, M. H. V. Medindo a eficincia relativa de escolas municipais da cidade do Rio Grande (RS) usando uma abordagem DEA (Data Envelopment Analysis). 1995. 117 p. Dissertao (Mestrado em Engenharia de Produo) Universidade Federal de Santa Catarina, Florianpolis, 1995.
EDUCAO: Teoria e Prtica - v. 20, n.35, jul.-dez.-2010, p. 163-180.

180

PEDRAJA-CHAPARRO, R.; SALINAS-JIMENES, J. & SMITH, P. On the Role of Weight Restrictions in DEA. Journal of Productivity Analysis, 8:215-230, 1997. NUNES N. Avaliao da eficincia produtiva de organizaes educacionais. Uma avaliao do mtodo de anlise envoltria de dados sobre a produo cientfica dos departamentos de ensino da Universidade Federal de Santa Catarina. Florianpolis: Insular, 2002. PAIVA JUNIOR, H. Avaliao de desempenho de ferrovias utilizando a abordagem integrada DEA/AHP. 2000. 193 p. Dissertao (Mestrado em Engenharia Civil) Universidade Estadual de Campinas (UNICAMP), Campinas, SP, 2000. RODRIGUES, S. C. Construo de uma metodologia alternativa para a avaliao das escolas pblicas de ensino fundamental atravs do uso da anlise por envoltria de dados (DEA): uma associao do quantitativo ao qualitativo. 2005. 381 p. Tese (Doutorado em Educao), Universidade Estadual de Campinas (UNICAMP), Campinas, SP, 2005 ROLL, Y.; COOK, W.; GOLANY, B. Controlling factor weights in DEA. IIE Transactions, 23(1):2-9, 1991. THOMPSON, R. G. et al. The role of multiplier bounds in efficiency analysis with application to Kansas Farming. Journal of Econometrics, 46:93-108, 1990.

Enviado em mar./2010 Aprovado em jun./2010

Antonio Carlos Miranda Prof. Dr. do Centro Universitrio Salesiano de So Paulo UNISAL E-mail: miranda.ac@uol.com.br Sueli Carrijo Rodrigues Profa. Dra. do Centro de Cincias da Sade da Universidade Estadual do Norte do Paran E-mail: suelicarrijo@uol.com.br

Antonio Carlos Miranda; Sueli Carrijo Rodrigues. O Uso da DEA como Ferramenta Alternativa...