Anlise Envoltria de Dados: conceitos, metodologia e estudo da arte

na Educao Superior

Frank Leonardo Casado

Especializao em Estatstica Aplicada UFSM
franklc@smail.ufsm.br

Adriano Mendona Souza

Departamento de Estatstica UFSM
amsouza@smail.ufsm.br

Resumo:

Esta pesquisa procura realizar uma reviso de literatura, de modo a obter um referencial histrico da
metodologia de avaliao da produtividade, eficincia e sua evoluo para a metodologia de Anlise
Envoltria de Dados- DEA como ferramenta da avaliao da educao superior. No Brasil, os
primeiros trabalhos utilizando a tcnica DEA na construo de medidas de avaliao de IES tm
origem em grupos de pesquisa da Universidade Federal de Santa Catarina (UFSC). A DEA, sendo
assim, uma tcnica no-paramtrica que emprega programao matemtica para construir
fronteiras de produo de unidades produtivas DMUs que empregam processos tecnolgicos
semelhantes para transformar mltiplos insumos em mltiplos produtos. Tais fronteiras so
empregadas para avaliar a eficincia relativa dos planos de operao executados pelas DMUs e
servem, tambm, como referncia para o estabelecimento de metas eficientes para cada unidade
produtiva. A DEA foi desenvolvida para avaliar a eficincia de organizaes cujas atividades no
visam lucros ou para as quais no existem preos pr-fixados para todos os insumos e/ou todos os
produtos. Por estes motivos este tcnica uma alternativa no estudo da eficincia das instituies
superiores.

Palavras-chave: Anlise Envoltria de Dados; Avaliao Institucional; Produtividade e Eficincia.

Abstract:
This research looks for to carry through a literature revision, in order to get a historical
referencial of the methodology of evaluation of the productivity, efficiency and its evolution for the
methodology of Data Envelopment Analysis - DEA, as tool of the evaluation of the superior education.
In Brazil, the first works using technique DEA in the construction of measures of IES evaluation have
origin in groups of research of the Federal University of Santa Catarina (UFSC). The DEA, being thus,
is one not-parametric technique that uses mathematical programming to construct borders of
production of productive units - DMUs that use similar technological processes to transform input
multiples into multiple products. Such borders are used to evaluate the relative efficiency of the plans
of operation executed by the DMUs and serve, also, as reference for the establishment of efficient
goals for each productive unit. The DEA was developed to evaluate the efficiency of organizations
whose activities do not aim at profits or for which the input do not exist prices daily pay-settled for all
and/or all the products. For these reasons this technique is an alternative in the study of the efficiency
of the superior institutions.

Key words: Data Envelopment Analysis; Institutional evaluation; Productivity and efficiency.
1- Introduo

A literatura sobre a avaliao de universidades no Brasil est carente de modelos

quantitativos de avaliao da eficincia produtiva que contemplem os mltiplos fatores envolvidos na
atividade universitria e considerem os princpios e as caractersticas norteadores da avaliao
institucional. A busca de ... outras informaes e indicadores que permitam anlises mais
aprofundadas de cada uma das dimenses e aspectos de atividade institucional (MEC/PAIUB,
1994:15) expressa no documento original do PAIUB (Programa de Avaliao Institucional das
Universidades Brasileiras), permanece atual: A disponibilidade de um conjunto confivel de
indicadores para as universidades tende a ser um produto em crescente demanda, tanto pela prpria
universidade, como pela Sociedade e pelo Estado (Schwartzman, J. 1997:149).
No entanto, grandes esforos tm sido dedicados ao estudo de formas de mensurar e fazer
anlises da eficincia de empresas privadas e de instituies pblicas. Desde a dcada de cinqenta,
a partir dos trabalhos de Koopmans (1951), Farrel (1957) e Debreu (1951), tcnicas no-paramtricas
vm sedo utilizadas para avaliar se um plano de operao eficiente. Mas foi a partir da dcada de
setenta que houve grande progresso na aplicao dessas tcnicas, visto que, sob o prisma gerencial,
os seus resultados revelaram-se mais expressivos que aqueles obtidos atravs da abordagem
paramtrica tradicional. Assim, Charnes , Cooper e Rhodes (1978) generalizaram os estudos de
Farrel tanto no sentido de trabalhar com mltiplos recursos e mltiplos resultados, quanto na
obteno de um indicador que atendesse ao conceito de eficincia de Koopmans. Essa generalizao
deu origem a uma tcnica de construo de fronteiras de produo e indicadores da eficincia
produtiva conhecida como Anlise Envoltria de Dados (Data Envelopment Analysis - DEA).
A Anlise Envoltria de Dados DEA uma tcnica no-paramtrica que emprega
programao matemtica para construir fronteiras de produo de unidades produtivas DMUs que
empregam processos tecnolgicos semelhantes para transformar mltiplos insumos em mltiplos
produtos. Tais fronteiras so empregadas para avaliar a eficincia relativa dos planos de operao
executados pelas DMUs e servem, tambm, como referncia para o estabelecimento de metas
eficientes para cada unidade produtiva. DEA foi desenvolvida para avaliar a eficincia de
organizaes cujas atividades no visam lucros ou para as quais no existem preos pr-fixados para
todos os insumos e/ou todos os produtos.
No Brasil, os primeiros trabalhos utilizando a tcnica DEA na construo de medidas de
avaliao de IES tm origem em grupos de pesquisa da Universidade Federal de Santa Catarina
(UFSC). Destacando-se trabalhos como de Belloni (2000) que em sua tese de doutorado, construiu
uma metodologia DEA na avaliao da eficincia produtiva de Universidades Federais Brasileiras.
No entanto, esses trabalhos tm como objeto de estudo setores isolados de uma IES
(departamentos, cursos, unidades acadmicas, etc). Neste sentido, relevante um levantamento de
um referencial metodolgico prprio para as Instituies de Ensino Superior que contemple o estudo
de indicadores da eficincia produtiva buscando, atravs deste levantamento, observar os diversos
trabalhos e experincias alcanados no processo de avaliao da eficincia e produtividade de
Instituies de Ensino Superior e poder construir futuramente, atravs desta ferramenta estatstica,
uma maior abrangncia desta metodologia na avaliao global das Instituies Pblicas de Ensino
Superior.
O objetivo desta pesquisa realizar uma reviso de literatura, de modo a obter um referencial
histrico da metodologia de avaliao da produtividade, eficincia e sua evoluo para a metodologia
de Anlise Envoltria de Dados como ferramenta da avaliao da educao superior; com o objetivo
de estudar a viabilidade do uso desta metodologia na mensurao da eficincia e produtividade na
educao superior.
A metodologia para o desenvolvimento desta pesquisa ser realizada por meio da anlise de
textos clssicos e atuais sobre a metodologia DEA, de forma a se obter o estado da arte deste
assunto. Tratando-se assim de uma pesquisa bibliogrfica (Gil, 1991) dever responder s seguintes
questes: quem j escreveu e o que j foi publicado sobre o assunto, que aspectos j foram
abordados, quais as lacunas existentes na literatura.
Para tanto o trabalho encontra-se dividido quatro partes. Explora-se na primeira parte,
algumas consideraes acerca da questo de eficincia e produtividade, seus principais conceitos e
debates acadmicos atuais. Na segunda parte, tem-se o levantamento do debate sobre a avaliao
da eficincia nas Instituies de Ensino Superior e as principais metodologias e correntes tericas
utilizadas nessas avaliaes. Na terceira parte h o estudo da arte da metodologia de Anlise
Envoltria de Dados e sua aplicao no Ensino Superior, dando nfase aplicao em universidades
brasileiras; e logo aps, o estudo da metodologia clssica e suas principais pressuposies. E na
ltima parte as consideraes finais.

2- Consideraes sobre Eficincia e Produtividade

A grande maioria dos trabalhos em economia faz uso de regresso por mnimos quadrados
ordinrios, e suas variantes, para medir eficincia de empreendimentos. Essa abordagem traa o
melhor ajuste aos dados (Coelli, 1995), ou seja, uma funo de mdias. Uma outra possibilidade
para medir eficincia de unidades produtivas usar fronteiras de produo. Estimar fronteiras de
produo, ao invs de funes de mdias, tem as seguintes vantagens, conforme Gomes et al.
(2001):

Reflete a tecnologia usada, j que a estimativa de uma fronteira de

produo influenciada pelas unidades de melhor desempenho dentro da
amostra de unidades analisada, enquanto que as funes de mdias
fornecem a forma da tecnologia de uma unidade mdia;
A funo de produo representa as melhores prticas e, assim, as
eficincias das unidades podem ser medidas.

Sendo assim, os modelos de Anlise de Envoltria de Dados (Data Envelopment Analysis

DEA), aqui detalhados, esto inseridos nesse ltimo contexto, j que so modelos de avaliao de
eficincia.
 A eficincia tcnica, ento, um critrio que permite comparar o desempenho de unidades de
produo pertencentes a ambientes institucionais diferentes. As instituies pblicas perseguem
objetivos diferentes aos de uma instituio privada cuja busca essencial o lucro. Portanto, o campo
da eficincia tcnica um campo comum para se estabelecer comparaes entre instituies de
diferentes naturezas, (Lovell e Schimidt, 1993).
Conforme Belloni (2000), a eficincia na produo pode ser analisada sob dois pontos de
vista: da eficincia produtiva e da eficincia alocativa. A eficincia produtiva, componente fsico que
se refere habilidade de evitar desperdcios produzindo tantos resultados quanto os recursos
utilizados permitirem ou utilizando o mnimo possvel de recursos para aquela produo. Assim, a
avaliao da eficincia produtiva pode ser orientada para o crescimento da produo, que visa ao
aumento dos nveis de produo mantidas as quantidades de recursos; ou orientada para a economia
de recursos, que busca a reduo dos recursos utilizados mantendo-se os nveis de produo; ou
orientada para alguma combinao desses dois objetivos. Em todos os casos, o objetivo obter
ganhos de produtividade atravs da eliminao das fontes de ineficincia.
O segundo ponto de vista corresponde eficincia alocativa e se refere habilidade de
combinar recursos e resultados em propores timas dados os preos vigentes. A inexistncia de
qualquer tipo de relao de preos entre os resultados da atividade acadmica inviabiliza a avaliao
da eficincia alocativa de uma empresa pblica.
Estudos de avaliao da eficincia produtiva tm sua origem nos trabalhos de T.C.
Koopmans e G. Debreu (Fre, Grosskopf e Lovell, 1994). Koopmans (1951, apud Fre, Grosskopf e
Lovell, 1994) assim definiu eficincia produtiva:

...um produtor eficiente quando um aumento na produo de

qualquer dos resultados exige uma reduo em pelo menos um outro
resultado ou um acrscimo no consumo de pelo menos um dos recursos,
e, quando a reduo do consumo de qualquer recurso exige um acrscimo
no consumo de pelo menos um outro recurso ou a reduo na produo
de pelo menos um dos resultados.

Debreu (1951, apud Fre, Grosskopf e Lovell, 1994), ao determinar o seu coeficiente de
utilizao de recursos, estabeleceu o primeiro indicador de eficincia produtiva conhecido. Orientado
para a minimizao do consumo de recursos, esse coeficiente consiste na reduo equiproporcional
mxima possvel em todos os recursos, mantida a produo da mesma quantidade de (um nico)
resultado. Essa definio induz um conceito de eficincia diferente daquele de Koopmans. Assim,
Debreu postulou que um produtor eficiente no consumo de recursos quando no possvel gerar a
mesma produo com um consumo equiproporcionalmente menor. De modo anlogo, um produtor
eficiente na produo de resultados quando no possvel, com as mesmas quantidades de
recursos, gerar uma produo equiproporcionalmente maior.
Indicadores de eficincia radiais (equiproporcionais) semelhantes ao de Debreu tm a
vantagem de serem independentes das unidades de medidas das variveis e, portanto, independem
do conhecimento de preos de mercado. Por conseguinte, esses indicadores so apropriados para
avaliar a eficincia produtiva de universidades.
 Farrel (1957) estendeu o trabalho iniciado por Debreu e desenvolveu um procedimento para
calcular o indicador de eficincia produtiva de Debreu. Farrel restringiu suas anlises e clculos
eficincia produtiva com um nico resultado, embora tivesse formulado o problema para o caso com
mltiplos resultados.
Os trabalhos de Koopmans, Debreu e Farrel foram redescobertos na dcada de setenta, no
s pelos economistas, mas, tambm, como tema de interesse da Pesquisa Operacional (Fre,
Grosskopf e Lovell, 1994). Charnes , Cooper e Rhodes (1978) generalizaram os estudos de Farrel
tanto no sentido de trabalhar com mltiplos recursos e mltiplos resultados, quanto na obteno de
um indicador que atendesse ao conceito de eficincia de Koopmans. Essa generalizao deu origem
a uma tcnica de construo de fronteiras de produo e indicadores da eficincia produtiva
conhecida como Anlise Envoltria de Dados (Data Envelopment Analysis - DEA).
Essa tcnica permite decompor a eficincia produtiva em dois componentes: a eficincia de
escala, associada a variaes da produtividade decorrentes de mudanas na escala de produo, e a
eficincia tcnica, associada habilidade gerencial da organizao (Banker, Charnes e Cooper,
1984). A importncia da decomposio da eficincia resulta da capacidade de mensurar, para as
universidades ineficientes, as magnitudes desses dois componentes da eficincia produtiva e,
portanto, as suas importncias relativas, possibilitando estimar o impacto de aes corretivas na
reduo das ineficincias.

3- Consideraes sobre Avaliao de Eficincia nas Instituies de Ensino Superior

As novas experincias de ensino so normalmente avaliadas de forma subjetiva e pelos que

as propuseram. No h procedimentos claros e aceitos de transformao dos princpios e
caractersticas que devem nortear a avaliao institucional e o desenvolvimento dos seus
procedimentos avaliativos e caractersticas em critrios de avaliao.
Segundo Freitas e Silveira (1997): no se discute mais se a avaliao institucional deve ou
no ser feita, mas, como faz-la, ou seja, qual a metodologia que conduzir a maior qualidade e
eficincia.
O Documento Bsico do PAIUB, quando define o objetivo geral da avaliao institucional,
apresenta a avaliao do desempenho como um instrumento para a melhoria da qualidade,
MEC/PAIUB (1994)
Lapa e Neiva (1996) e Belloni (2000) classificam os critrios mais usuais de avaliao em
dois grandes grupos: os ligados idia de desempenho (a considerados, produtividade, eficincia,
eficcia e efetividade) e aqueles ligados idia de qualidade (utilidade e relevncia).
O desempenho organizacional considera referncias e valores internos instituio de
ensino. Para Belloni (2000), na avaliao do desempenho organizacional, o observador deve colocar-
se dentro da organizao universitria e considerar os recursos e os procedimentos utilizados, os
resultados alcanados, as metas estabelecidas e a misso definida pela instituio, ou seja, a
percepo que a prpria instituio tem das demandas poltico-culturais.
 Em resumo, conforme os critrios de avaliao institucional mais comumente encontrados na
literatura podem ser classificados em dois grupos: os instrumentais, que tratam do desempenho
organizacional; e os substantivos, que tratam da qualidade institucional.
Belloni (2000) destaca que o desempenho de uma Instituio de Ensino Superior est
relacionado com a forma como a instituio se organiza para atender s necessidades da sociedade.
A perspectiva da avaliao do desempenho , portanto, organizacional, com referncias internas,
julgando a organizao universidade atravs de critrios relativos misso institucional, objetivos,
programas e metas, recursos, resultados e todas as relaes de gesto e produo que ocorrem no
seu interior. Decorrem da trs dimenses distintas da avaliao do desempenho de uma
universidade definidas por trs diferentes maneiras de observar o objeto:

- Dimenso tcnico-operacional, que procura conhecer os recursos, os

resultados e as relaes de produo que ocorrem no interior da
universidade, e cujos critrios de avaliao so a produtividade e a
eficincia;
- Dimenso pedaggica, que est relacionada com os processos
educacionais propriamente ditos, tem como referncia os objetivos e as
metas organizacionais, cujo critrio de avaliao a eficcia;
- Dimenso poltica, que busca aferir em que medida a instituio
consegue responder aos desafios que lhe so impostos, em termos do
cumprimento da misso institucional. O critrio de avaliao a
efetividade. (Belloni, 2000, p. 32-33)

No entanto, a efetividade nem sempre vista como um critrio de avaliao do desempenho,

j que est associada s necessidades e aos objetivos polticos da sociedade. Sua classificao
como critrio de desempenho pressupe que tais necessidades e objetivos estejam refletidos na
misso institucional que constitui, assim, referncia (interna) para a avaliao da efetividade. Uma
viso mais restritiva, que no incorpora a efetividade como critrio de desempenho, dada por
Lindsay (1982) que descreve o conceito de desempenho institucional somente com as dimenses
da eficcia e da eficincia. Eficcia, relacionada com a extenso com que as metas e objetivos so
alcanados, e eficincia, que diz respeito s relaes entre recursos utilizados e resultados
alcanados.
Assim, para Lindsay, para mensurar a efetividade necessrio que se conheam a misso e
os objetivos institucionais e sua relao com os recursos disponveis, com os processos acadmicos
utilizados e com os resultados alcanados.
A avaliao da eficcia, enquanto critrio associado dimenso pedaggica, se d pela
confrontao dos processos acadmicos utilizados e dos resultados alcanados com as metas e os
objetivos relativos a toda atividade de ensino, pesquisa e extenso desenvolvida. Pressupe que
estejam explicitados os projetos pedaggicos, os currculos de cursos e programas, as polticas de
pesquisa e de extenso e demais documentos que definem as metas e objetivos das atividades
acadmicas, e suas relaes com os resultados alcanados.
Os procedimentos de avaliao da eficincia de uma IES baseiam-se em informaes
relativas aos recursos utilizados e aos resultados alcanados pela instituio sob anlise e por um
conjunto de instituies similares tomadas como referncias. So informaes existentes nos
sistemas acadmico e contbil das universidades e, em geral, disponveis em publicaes oficiais.
O enfoque utilizado pelas pesquisas recentes, tm-se restringindo avaliao do
desempenho sob o ponto de vista tcnico-operacional atravs dos critrios de eficincia e
produtividade, destacando-se trabalhos como de Belloni (2000), Faanha Rezende e Marinho (1997);
Lopes (1998); Nunes (1998); Marinho (1996).

4 - Anlise Envoltria de Dados - Metodologia e Estudo da Arte na Educao Superior

No Brasil, os trabalhos que utilizam a tcnica DEA na construo de medidas de avaliao de

IES ainda recipiente, carecendo de maiores discusses e aplicaes na avaliao do ensino.

4.1 - DEA Estado da Arte

Desde o final da dcada de setenta, a tcnica conhecida como Anlise Envoltria de Dados
(Data Envelopment Analysis - DEA) vem sendo utilizada na avaliao da eficincia produtiva de
unidades educacionais. A prpria origem da DEA localiza-se em um trabalho voltado para a avaliao
da eficincia de programas escolares especiais no Estado do Texas USA (Charnes , Cooper e
Rhodes, 1978). A tcnica DEA verifica se cada unidade opera de maneira adequada ou no,
relativamente a um elenco especfico de recursos utilizados e de resultados obtidos, em comparao
com unidades consideradas similares por seus administradores, sem a necessidade de conhecer a
priori qualquer relao de importncia (pesos) entre as variveis consideradas.
Sendo assim, no campo da Anlise Envoltria de Dados a obra seminal Measuring the
efficiency of decision makin units Abraham Charnes, Willian W. Cooper and Edwardo Rhodes (CCR)
de 1978 (Charnes, Cooper e Rhodes, 1978) que deram incio ao estudo da abordagem no-
paramtrica, para a anlise de eficincia relativa de firmas com mltiplos insumos e mltiplos
produtos, cunhando o termo Data Envelopment Analysis (DEA). Vale ressaltar que, na literatura
relacionada aos modelos DEA, uma firma tratada como DMU (decision making unit- unidade
tomadora de deciso), uma vez que estes modelos provm uma medida para avaliar a eficincia
relativa de unidades tomadoras de deciso.
A DEA foi desenvolvida para determinar a eficincia de unidades produtivas, onde no seja
relevante ou no se deseja considerar o aspecto financeiro. Dispensa-se, assim, a converso de
todos os insumos e produtos em unidades monetrias e sua atualizao para valores presentes.
Os principais objetivos da DEA, podem ser resumidos, conforme Gomes, et al. (2001):

Comparar um certo nmero de DMUs que realizam tarefas similares

e se diferenciam nas quantidades de inputs que consomem e de outputs
que produzem;
Identificar as DMUs eficientes, medir e localizar a ineficincia e
estimar uma funo de produo linear por partes (piece-wise linear
 frontier), que fornece o benchmark (referncia) para as DMUs
ineficientes. Ao identificar as origens e quantidades de ineficincia
relativas de cada uma das DMUs, possvel analisar qualquer de suas
dimenses relativas a entradas e/ou sadas. A fronteira de eficincia
compreende o conjunto de DMUs Pareto eficientes;
Determinar a eficncia relativa das DMUs, contemplando cada uma,
relativamente a todas as outras que compem o grupo a ser estudado.
Assim, sob determinadas condies, DEA pode ser usado na
problemtica da ordenao como ferramenta multicrdito de apoio
deciso;
Subsidiar estratgias de produo que maximizem a eficincia das
DMUs avaliadas, corrigindo as ineficientes atravs da determinao de
alvos;
Estabelecer taxas de substituio entre as entradas, entre as sadas
e entre entradas e sadas, permitindo a tomada de decises gerenciais.
O estabelecimento dessas taxas de substituio nem sempre tem
soluo nica;
Considerar a possibilidade de os outliers no representarem apenas
desvios em relao ao comportamente mdio, mas possveis
benchmarks a serem analisados pelas demais DMUs. Os outliers podem
representar as melhores prticas dentro do universo investigado;
No necessidade de determinar uma forma funcional para a
estimativa da fronteira, como feito nos modelos de fronteiras
estocstica.

A literatura internacional disponibiliza, ainda, de um nmero significativo de aplicaes DEA

na rea da educao e, em particular, na avaliao de IES (Rhodes, 1978; Ahn, 1987; Ahn and
Seiford, 1993; Harrison,1988; Johnes e Johnes, 1993; Johnes, Taylor e Francis, 1993; Glass,
McKillop e Hyndman, 1995).
No Brasil, os primeiros trabalhos utilizando a tcnica DEA na construo de medidas de
avaliao de IES tm origem em grupos de pesquisa da Universidade Federal de Santa Catarina
(UFSC). Alguns desses trabalhos pioneiros so: Lopes, Lapa e Lanzer (1995, 1995a e 1996); Lapa,
Lopes e Lanzer (1995); e Cury (1995).
Alguns trabalhos desenvolvidos na Universidade Federal do Rio de Janeiro combinam DEA
com a Anlise em Componentes Principais. Marinho (1996) utilizou DEA para avaliar e ordenar as
unidades acadmicas da Universidade Federal do Rio de Janeiro, tendo a distribuio de recursos
como objetivo. A escolha das variveis foi arbitrria, utilizando como resultados o nmero de
formados nos trs nveis de ensino (Graduao, Mestrado e Doutorado) e os conceitos emitidos pela
CAPES para os cursos de Ps-Graduao, e, como recursos, o nmero de docentes distribudos
conforme a titulao, o nmero de funcionrios, o nmero de matrculas nos trs nveis de ensino, a
carga horria total dos docentes e os recursos financeiros provisionados a cada centro. O autor
estendeu o modelo para o conjunto das IFES atravs de dois procedimentos: i) aplicando DEA aos
percentuais de inputs e outputs de cada instituio ou aos seus respectivos correspondentes
financeiros, e, ii) aplicando DEA a um conjunto de variveis transformadas obtidas com o uso de
Anlise Fatorial, conforme Faanha Rezende e Marinho (1997). A utilizao da Anlise Fatorial foi
justificada com o objetivo de reduo do nmero de variveis. Em ambos os casos o autor concluiu
com a gerao de um ranking de universidades a partir das medidas de eficincia relativa obtidas.
 Em Lapa, Belloni e Neiva (1997), DEA utilizada na avaliao das unidades acadmicas da
Universidade do Estado de Santa Catarina. O trabalho tem um carter de divulgao do uso de DEA
e compara seus resultados com os tradicionais indicadores de produtividade parcial. Lopes (1998),
em sua tese de doutorado, utiliza DEA na construo de um procedimento de avaliao cruzada para
estimar medidas difusas da produtividade parcial e da qualidade de departamentos de uma IES.
Nunes (1998) props a utilizao de DEA na avaliao da produo cientfica dos departamentos de
uma IES.
Esses trabalhos tm como objeto de estudo setores de uma IES (unidades, departamentos,
cursos) e a natureza relativa das medidas DEA no possibilitam uma anlise global da instituio.
Por se tratar de um mtodo no-estocstico, a fronteira gerada pela DEA suscetvel a erros
de medida e ao questionamento das propriedades estatsticas de seus resultados. Uma boa
discusso das alternativas de superao dessa problemtica est em Banker (1993). As
possibilidades de combinao da DEA com outras metodologias aparecem em Marinho (1996). Em
Thanassoulis (1993), encontra-se uma extensa lista, ilustrada com aplicao, das vantagens e
desvantagens da anlise de envoltria de dados em relao aos modelos de regresso.

4.2- Anlise Envoltria de Dados

A pressuposio fundamental na tcnica DEA que, se uma dada DMU A capaz de

produzir Y(A) unidades de produto, utilizando X(A) unidades de insumos, ento outras DMUs
poderiam tambm fazer o mesmo, caso elas estejam operando eficientemente. De forma similar, se
uma DMU B capaz de produzir Y(B) unidades de produto, utilizando X(B) de insumos, ento
outras DMUs poderiam ser capazes de realizar o mesmo esquema de produo. Caso as DMUs A
e Bsejam eficientes, elas poderiam ser combinadas para formar uma DMU composta, isto , que
utiliza uma combinao de insumos para produzir uma combinao de produtos. Desde que esta
DMU composta no necessariamente existe, ela denominada DMU virtual. A anlise DEA consiste
em encontrar a melhor DMU virtual para cada DMU da amostra. Caso a DMU virtual seja melhor do
que a DMU original, ou por produzir mais com a mesma quantidade de insumos, ou produzir a mesma
quantidade usando menos insumos, a DMU original ser ineficiente.
Percebe-se, portanto, que a fronteira eficiente de produo ser aquela que representa as
unidades avaliadas que conseguem maximizar o uso dos inputs na produo de outputs ou, ainda,
consegue produzir uma quantidade maior de outputs com uma quantidade menor de inputs.
Quando da aplicao dos modelos DEA, deve-se fazer uma opo: usar um modelo orientado
a outputs, no qual se obtm o mximo nvel de outputs mantendo os inputs fixos, ou um modelo
orientado a inputs, que visa a obter um menor uso de inputs dado o nvel dos outputs. A deciso de
usar um ou outro modelo deve ser previamente selecionada pelo pesquisador.
Resumidamente, os modelos bsicos existentes so: CCR - insumo orientado, CCR - produto
orientado, BCC - insumo orientado e BCC produto orientado. Esses quatro modelos esto descritos
detalhadamente em Fried et al. (1993) e Charnes et al. (1994).
4.2.1 Modelo CCR

O modelo CCR original, apresentado por Charnes, Cooper e Rhodes em 1978, foi concebido
inicialmente como um modelo orientado entrada (input) e trabalha com retorno constante de escala
(CRS), isto , qualquer variao nas entradas (inputs) produz variao proporcional nas sadas
(outputs). Segundo Biondi Neto (2001, p. 51):

A caracterstica essencial do modelo CCR a reduo de mltiplos

produtos e mltiplos insumos (para cada DMU) para um nico produto
virtual e um nico insumo virtual. Para uma DMU, a razo entre esse
produto virtual e o insumo virtual fornece uma medida de eficincia que
funo dos multiplicadores. Essa proporo, que ser maximizada, forma a
funo-objetivo para a DMU O sendo avaliada. (Charnes et al,l996, p.
40).

A eficincia tcnica de uma DMU observada (DMU O) ser obtida atravs de um PPNL
(Problema de Programao No-Linear), utilizando o seguinte modelo de programao fracionrio:

u Y
j =1
j j0

Mxh0 = r
(1)
v X
i =1
i i0

sujeito a:

u Y
j =1
j jk

r
1, k = 1,2,..., n (2)
v X
i =1
i ik

u i , vi j , i (3)

onde:
ho = eficincia da DMU O (zero)
r = quantidade total de inputs
s = quantidade total de outputs
n = quantidade total de DMU
Yjk = quantidade de output j para a DMUk
Xik = quantidade de input i para a DMUk
uj = peso referente ao input j
vi = peso referente ao input i
Yjo = quantidade de output j para a DMU0 (DMU observada)
Xio = quantidade de input i para a DMU0 (DMU observada)

Uma variao do modelo CCR originou o modelo de Programao Linear conhecido como
modelo dos multiplicadores, que surgiu da necessidade de determinar os valores dos pesos uj e vi de
forma a maximizar a soma ponderada dos outputs (output virtual) dividida pela soma ponderada dos
inputs (input virtual) da DMU em estudo (Lins e ngulo-Meza, 2000, p. 11).
Esse procedimento dever ser repetido para cada DMU analisada e atravs dos valores
encontrados para os pesos (multiplicadores), determina-se o valor das eficincias relativas de cada
DMU. O modelo dos multiplicadores ser apresentado a seguir:

s
Mxh0 = u j Y j 0 (4)
j =1

sujeito a:
s
Mxh0 = u j Y j 0 (5)
j =1

s r

u j Y jk vi X ik 0, k = 1,2,..., n
j =1 i =1
(6)

u j evi 0j , i (7)

Segundo Biondi Neto (2001, p. 58):

possvel derivar o dual do modelo dos multiplicadores (primal).

Assim, o dual apresentar uma menor quantidade de restries (s + r < n +
1), pois o modelo DEA exige que o nmero de DMUs seja maior que o
nmero de variveis. Pelas razes expostas e por ter soluo
computacional mais simples, o modelo dual, denominado Envelope, tem
preferncia sobre o dos Multiplicadores.

Assim o modelo do Envelope tem a seguinte formulao:

Min (8)

Sujeito a:
n
Y j 0 + Y jk k 0, j = 1,..., s (9)
k =1

n
X j 0 X ik k 0, i = 1,..., r (10)
k =1

k 0, k (11)
4.2.2 Modelo BCC

O modelo BCC, elaborado por Banker, Charnes e Cooper em 1984, utiliza o retorno varivel
de escala (VRS), procurando, assim, evitar problemas existentes em situaes de competio
imperfeita. O BCC (VRS) usado quando ocorrem Retornos Variveis de Escala, sejam eles
crescentes ou decrescentes ou mesmo constantes. No modelo BCC (VRS), os escores de eficincia
dependem da orientao escolhida. Caso se pretenda maximizar h1, a formulao do modelo BCC
a seguinte:
s
Maximixe h0 = u r Yr 0 + w (12)
r =1

Sujeito a:
m

v X
i =1
i i0 1 (13)

s m

u r Yrj vi X i 0 + w 0 , para todo j=1,2,...,n

r =1 i =1
(14)

u r e, r = 1,2,..., s (15)

vi e, i = 1,2,..., m (16)

A forma dual do BCC, visando a minimizar h0 ser dada pela formulao a seguir:

s m
Minimize h0 = s r ei (17)
r =1 i =1

Sujeito a:
n
X i 0 ei Xijj = 0, para todo i = 1, 2, ..., m (18)
j =1

n
sr + Yrj j = Yr0, para todo r = 1, 2, ..., s (19)
j =1

j =1
j =1 (20)

j > 0, para todo j = 1, 2, ..., n (21)

sr > 0, para todo r = 1, 2, ..., s (22)
ei > 0, para todo i = 1, 2, ..., m (23)

Por meio da utilizao desses modelos, possvel detectar a eficincia das DMUs,
construindo, assim, a fronteira de produo com as unidades que atingirem o mximo de
produtividade (benchmarks).
4.2.3 Ilustrao da Fronteira Eficiente em DEA

A Figura 1 ilustra uma situao que envolve um insumo e um produto. Pode-se traar as
fronteiras eficientes calculadas pela DEA, isto , a fronteira obtida com retornos constantes (CCR), e
a obtida com retornos variveis (BCC).
Considerando-se o ponto P, na Figura 1, na pressuposio de retornos constantes, a
ineficincia tcnica do ponto P dada pela distncia PPc, enquanto a ineficincia tcnica, para
retornos variveis, dada pela distncia PPv. E a diferena entre essas duas, PcPv, fornece a
ineficincia de escala.

Y
CCR

BCC

RNC

Pc P
Pv
RND
X
Figura 1 Eficincia Tcnica e Eficincia de Escala

Assim, alm de identificar as DMUs eficientes, os modelos DEA permitem medir e localizar a
ineficincia e estimar uma funo de produo linear por partes, que fornece o benchmark para as
DMUs ineficientes. Esse benchmark determinado pela projeo das DMUs ineficientes na fronteira
de eficincia. A forma como feita esta projeo determina orientao do modelo: orientao a inputs
(quando se deseja minimizar os inputs, mantendo os valores dos outputs constantes) e orientao a
outputs (quando se deseja maximizar os resultados sem diminuir os recursos).
Contudo, se a medida de eficincia de escala for igual a um, a firma estar operando com
retornos constantes escala; no entanto, se for menor que um, podero ocorrer retornos crescentes
ou decrescentes. Para contornar essa situao, necessrio formular outro problema de
programao, impondo a pressuposio de retornos no crescentes ou no decrescentes.
Considerando-se o caso de retornos no crescentes, a formulao consiste em alterar a
pressuposio de retornos variveis no modelo DEA. Para isso, basta substituir a restrio N 1 ' = 1 ,

em (20), pela restrio N 1 ' 1 . Sendo assim, a fronteira obtida para o modelo com retornos no
crescentes (RNC) est indicada na Figura 1. Para o caso de retornos no decrescentes (RND), segue
o mesmo raciocnio.
5- Concluso

A Anlise Envoltria de Dados, que um mtodo de suporte bsico da Metodologia do

Modelo de Avaliao, uma tcnica determinstica e no-paramtrica que mede eficincia relativa de
observaes homogneas.
A caracterstica de agregar variveis e indicadores de avaliao sem exigir que sejam
conhecidos pesos relativos entre eles credencia a tcnica DEA a ser utilizada no tratamento da
informao coletada nos processos de avaliao interna desenvolvidos pelas Universidades
Brasileiras. Pesquisas nessa direo podem explorar diversos critrios de avaliao como, por
exemplo, identificar indicadores da eficcia dos processos de ensino e aprendizagem a partir da
informao da avaliao de cursos em uma universidade.
Sendo assim, no que diz respeito possvel aplicao da DEA, importante notar as
possibilidades de explorao das virtudes da metodologia como mecanismo permanente de avaliao
comparativa de eficincia. Entre outras razes, porque a tcnica possui caractersticas positivas de
neutralidade, incentiva a construo e o aprimoramento de inventrios de recursos e tambm acolhe
participaes possveis e desejveis de gestores e de agentes na avaliao. Essa participao
fundamental para a qualificao e para a determinao de caminhos possveis para a fronteira de
eficincia e para fins de monitoramento de objetivos.
No entanto, observa-se que muitos trabalhos utilizando esta metodologia tm como objeto de
estudo setores isolados de uma IES (departamentos, cursos, unidades acadmicas, etc). Neste
sentido, relevante a construo, atravs do DEA, de uma ferramenta capaz de se obter uma maior
abrangncia na avaliao global de uma Instituio de Ensino Superior em particular, no caso da
Universidade Federal de Santa Maria.
Cabe destacar, ainda, a importncia da utilizao desta metodologia conjuntamente com as
iniciativas de avaliao da qualidade de atividades especficas j existentes, tais como a avaliao da
Ps-Graduao pela CAPES, o cadastro de pesquisadores do CNPq, os Exames Nacionais de
Cursos, a avaliao das condies de oferta de cursos de graduao e as avaliaes de cursos
realizadas pelas comisses de especialistas da SESU/MEC.

6 Bibliografia:

AHN, T.S. Efficiency and related issues in higuer education: a Data Envelopment Analysis
approach. Austin, 1987. Ph.D. Dissertation, The University of Texas at Austin.

AHN, T.S.; SEIFORD, L.M. Sensitivity of DEA to models and variable sets in a hyphothesis test
setting: the eficiency of university operations. In: YUJI IJIRI (ed.), Creative and innovative
approaches to the science of management. New York, Quorum Books, 1993.

ANDIFES. Uma proposta de avaliao das Instituies de Ensino Superior. Florianpolis,

ANDIFES, 1993.

ANDIFES. Matriz de alocao para as IFES. Braslia, ANDIFES, 1994.

BANKER, R.D. Maximum likelihood, consistency and DEA: a statistical foundation. Management
Science, v.39, n.10, p. 1265-1273, 1993.

BANKER, R.D.; CHARNES A.; COOPER, W.W. Some models for estimation technical and scale
inefficiencies in Data Envelopment Analysis. Management Science, 30(9):1078-1092, 1984.

BELLONI, I. Uma Metodologia de Avaliao da Eficincia Produtiva de Universidades Federais

Brasileiras. Tese de Doutorado, UFSC, 2000.

BIONDI NETO, Luiz. Neuro DEA: Nova Metodologia para Determinao da Eficincia Relativa
de Unidades Tomadoras de Deciso. Rio de Janeiro, 2001. Tese (Doutorado em Engenharia de
Produo) Engenharia de Produo, Universidade Federal do Rio de Janeiro.

CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the efficiency of decision making units.
European Journal of Operational Research, 2(6),429-444, 1978.

CHARNES, A.; COOPER, W. W. Preface to topics in Data Envelopment Analysis. Annals of

Operations Research, 2, 59-94, 1985.

CHARNES, A.; et al. Data Envolopment Analysis: theory, methodology and applications. USA,
Kluwer Academic Publishers, 1994.

_______. Data envelopment analysis: theory, metodology and application. Second print.
Massachusetts: Kluwer Academic Publishers, 1996.

COELLI, T.J. Recent developments in frontier modelling and efficiency measurement. Australian
Journal of Agricultural Economics, v.39, n.3, p.219-245, 1995.

CURY, K.R.S. Anlise Envoltria de dados aplicada avaliao da psgraduao das

universidades federais. XXVII SBPO, Vitria, 1995.

DEBREU, G. The coefficient of resource utilization. Econometrica, Journal of the Econometric

Society, v.19, no 3, 1951.

FAANHA, L.O.; REZENDE, M.; MARINHO, A. Brazilian Federal Universities: relative evaluation
and Envelopment Analysis. UFRJ, Rio de Janeiro, 1997.

FRE, R.; GROSSKOPF, S.; LOVELL, C.A.K. Production frontiers. New York, Cambridge
University, 1994.

FARREL, M.J. The measurement of produtive efficiency. J. Royal Statistical Society, v. 120, Part III,
253-290, 1957.

FREITAS, I.M.A.C.; SILVEIRA, A. Avaliao da Educao Superior. Florianpolis, Insular, 1997.

FRIED, H.; LOVELL, C.A.K.; SCHMIDT, S.S. (eds). The measurement of productive efficiency.
New York: Oxford University, 1993.

GLASS, J.C.; MACKILLOP, D.G.; HYNDMANN, N. Efficiency in the provision of university teaching on
research: an empirial analysis of UK Universities. Journal of Applied Econometrics, v.10, 61-72,
1995.

GIL, Antonio Carlos. Como elaborar projetos de pesquisa. So Paulo: Atlas, 1991.

GOMES, E.G.; et al. Avaliao de eficincia de companhias areas brasileiras: uma abordagem por
Anlise de Envoltria de Dados. IN: SETTI, J.R.A.; LIMA

HARRISON, M.E. Measuring the comparative techinal efficiency of universities. Ph D.

Dissertation, The University of North Carolina at Chaper Hill, 1988.
JOHNES, G.; JOHNES, J. Measuring the research performance of UK Econmics Departaments: An
Application of Data Envelopment Analysis. Oxford Ecnomic Paper, 45; 332-347, 1993.

JOHNES, J.; TAYLOR, J.; FRANCIS, B. The research performance of UK Universities: a statistical
analysis of the results of the 1989 Research Selectivity Exercise. J.R. Statistical Society, 156. Part2,
271-286,1993.

JNIOR, O.F. (eds). Panorama Nacional da Pesquisa em Transportes 2001, v.2, 2001, p.125-
133.

KOOPMANS, T. C. Efficient allocation of resources. Econometrica, v.19, no.1, october 1951.

LAKATOS, E.M.; MARCONI, M.A. Metodologia cientfica. So Paulo, Atlas, 1986.

LAPA, J.S.; BELLONI, J.A.; NEIVA, C.C. Medidas de desempenho de universidades acadmicas
de uma Instituio de Ensino Superior. Relatrio Tcnico- Departamento de Engenharia de
Produo e Sistemas UFSC (mimeo), 1997.

LAPA, J.S, LOPES, A.L.M e LANZER,E. Anlise Envoltria de Dados aplicada avaliao de IES:
determinao dos pesos relativos e valorao dos insumos e produtos. XXVII SBPO, Vitria,
1995.

LAPA, J.S.; NEIVA, C.C. Avaliao em educao: comentrios sobre desempenho e qualidade.
Ensaio, v. 4, n 12 (jul./set. 1996), 213-236, 1996.

LINDSAY, A.W. Institutional performance in higuer education: the efficiency dimension. Review of
Educational Research, 52(2), 1982, 175-199.

LINS, M.P.E.; ANGULO-MEZA, L. Anlise Envoltria de Dados e perspectivas de integrao no

ambiente de Apoio Deciso. Rio de Janeiro: Editora da COPPE/UFRJ, 2000.

LOPES, A.L.M., LAPA, J.S. e LANZER,E. Eficincia produtiva em servios governamentais: o

caso da universidades federais brasileiras. First International Congress of Indusrial Engeneering e
XV Congresso Nacional de Engenharia de Produo, So Carlos, 1995.

_____. Eficincia produtiva nas universidades federais: o qu indicam os indicadores do MEC?

XXVII SBPO, Vitria, 1995a.

_____. Anlise Envoltria de dados: uma nova ferramenta para a avaliao multidimensional
do setor de servios. XX ENAMPAD, Angra dos Reis, 1996.

LOPES, A.L.M. Avaliao cruzada da produtividade e qualidade de departamentos acadmicos

de uma universidade com um modelo de Anlise Envoltria de Dados e Conjuntos Difusos.
Florianpolis, 1998. Tese de Doutorado, UFSC, 1998.

LOVELL, C.A.K.; SCHMIDT, S.S. (eds.), The measurement of productive efficiency. New York,
Oxford University, 1993.

MARINHO, A. Metodologias para avaliao e ordenao de universidades pblicas: o caso da UFRJ

e demais IFES. Ensaio, v. 4, n 13 (out/dez. 1996), 403-424, 1996.

MEC/PAIUB. Programa de Avaliao Institucional das Universidades Brasileiras. Braslia, MEC,

1994.

_____. _____. Braslia, MEC, 1998.

NEIVA, C.C., LAPA, J;S. e BELLONI, J.A. Exame Nacional de Cursos: Um Processo Necessrio
que precisa ser aprimorado. Sociedade Brasileira de Desenvolvimento de Educao, 1998.
NUNES, N. Avaliao da eficincia produtiva de departamentos universitrios: uma aplicao
de Anlise Envoltria de Dados. Florianpolis, 1998. Dissertao de Mestrado, UFSC.

RHODES, E.L. Data Envelopment Analysis and approaches for measuring the efficiency of
decision making units with an application to program followthrough in U.S. education. Ph.D.
Dissertation, Carnegie Mellon Unversity, 1978.

SCHWARTZMAN, J. Um sistema de indicadores para as universidades brasileiras. In: SGUISSARDI,

V. (org.), Avaliao Universitria em Questo. Campinas, Autores Associados, 1997.

THANASSOULIS, E. A comparision of regression analysis and data envelopment analysis as

alternative methods for performance assessments. Journal of Operational Research Society, v. 44,
n. 11, p. 1.128-1.144, 1993.