ESTUDO DE METODOLOGIAS PARA AVALIAÇÃO DA EFICIÊNCIA

DE DEPARTAMENTOS DE UMA UNIVERSIDADE

Brenda Fontes Lima
Universidade Federal de Ouro Preto-UFOP
Prédio da Escola de Minas-Campus Morro do Cruzeiro-Ouro Preto-MG
brendaftes@gmail.com

Marcus Vinícius Lamounier Quadros

Escola de Minas / Universidade Federal de Ouro Preto - EM/UFOP
marcus.quadros@ufop.edu.br

Gabriela Codo Andrade

gabi.start@yahoo.com.br

RESUMO

1. Introdução
A literatura sobre a avaliação de universidades no Brasil apresenta uma carência de
modelos quantitativos de avaliação da eficiência produtiva que contemplem os
múltiplos fatores envolvidos na atividade universitária e considerem os princípios e as
características norteadoras da avaliação institucional. Assim, são necessários estudos
dedicados a mensurar e fazer análises de eficiência destas instituições que sejam
capazes de considerar múltiplos recursos e múltiplos resultados.
A ferramenta Análise Envoltória de Dados – DEA utiliza uma técnica não-paramétrica
que emprega programação matemática para construir fronteiras de produção de
unidades produtivas – DMUs que empregam processos tecnológicos semelhantes para
transformar múltiplos insumos em múltiplos produtos. Tais fronteiras são empregadas
para avaliar a eficiência relativa dos planos de operação executados pelas DMUs e
servem, também, como referência para o estabelecimento de metas eficientes para cada
unidade produtiva.
Desta maneira, o seguinte trabalho tem como objetivo fazer uma comparação entre o
índice de esforço dos departamentos da Universidade Federal de Ouro Preto - Morro do
Cruzeiro, que também pode ser considerado como a eficiência, utilizando a DEA e o
método de cálculo adotado pela instituição.
2. Revisão Bibliográfica
2.1. Análise Envoltória de Dados (DEA)
A análise envoltória de dados, ou DEA (​Data Envelopment Analysis​) consiste em uma
técnica bastante utilizada para avaliações de desempenho em organizações e, segundo
Colin (2007, p.142), “é considerada um dos sucessos recentes da Programação Linear e,
em termos mais amplos, da Pesquisa Operacional”.
Segundo Charnes ​et alii​ (1994) citado por Lins (2006, p. 255)
A história da Análise Envoltória de Dados começa com a dissertação para obtenção de grau de
Ph.D. de Edwardo Rhodes sob a supervisão de W.W. Cooper
publicada em 1978 (Charnes, Cooper e Rhodes, 1978). O problema
abordado na tese era o de desenvolver um método para comparar a
eficiência de escolas públicas, levando em conta “outputs” como:
escores aritméticos; melhoria de auto-estima medida em testes
psicológicos; habilidade psicomotora; e “inputs” como: número de
professores-hora e tempo gasto pela mãe em leituras com o filho.

A Análise Envoltória de Dados consiste em um método que permite avaliar a eficiência

relativa de uma unidade em relação às outras por meio da utilização de inputs e outputs,
sendo que esses não precisam possuir a mesma unidade. O método permite, então, que
as organizações descubram quais são suas unidades eficientes e aprendam com elas,
para que assim possam também tornar as demais eficientes.
Para o entendimento do método é preciso definir o conceito de fronteira de produção.
Segundo Lins (2006, p. 257), “a fronteira de produção pode ser definida a partir da
máxima quantidade de “outputs” (produtos) que podem ser obtidos dados os “inputs”
(insumos ou recursos) utilizados”. Também se faz necessária a definição de DMU
(Decision Making Unit) ou UTD (unidades de tomada de decisão), que, ainda de acordo
com Lins (2006, p.257) pode ser definida “como uma firma, departamento, divisão ou
unidade administrativa, cuja eficiência está sendo avaliada”.
De acordo com Colin (2007, p.142),
Após conhecer a eficiência das UTDs, um outro trabalho deve ser realizado, com a finalidade de
melhorar a eficiência das UTDs com pior desempenho. Dentro da
Administração esse tipo de análise é convencionalmente chamado de
“análise de ​benchmarks​”, ou “análise de melhores práticas”.

Resumidamente a Análise Envoltória de Dados permite determinar, segundo Colin

(2007, p.142),
A melhor prática – grupo de UTDs mais eficientes;
 As UTDs menos eficientes comparadas com as melhores práticas;

A quantidade de recursos utilizados de forma improdutiva nas UTDs

menos eficientes;

Para cada uma das UTDs menos eficientes, o grupo das unidades de melhor prática que
são mais parecidas com elas e que poderiam ser usadas como
benchmarks.​

Os modelos DEA mais comuns são:

● Modelo Clássico CCR (ou CRS);
● Modelo Clássico BCC.
Tanto o modelo CCR quanto o modelo BCC podem possuir duas orientações: a input ou
a output.
O modelo CCR admite rendimentos constantes de escala, ou seja, a variação nos inputs
gera variação proporcional nos outputs. Já o modelo BCC admite rendimentos variáveis
de escala, o que permite uma melhor aplicação da DEA nas organizações, visto que nem
sempre seus rendimentos de escala são constantes.
2.2. DEA e suas aplicações na Educação
A capacidade de relacionar variáveis e a simplicidade em avaliar a performance de
diferentes tipos de organizações evidenciaram o método DEA como um dos preferidos
na aplicação de análises de eficiência em vários contextos. Esse trabalho discutirá
alguns modelos de DEA que foram aplicados na área de educação.
No início do século XX, alguns estudos foram realizados por diversos pesquisadores do
mundo a fim de avaliar a eficiência dos sistemas de educação, desde o ensino básico até
o ensino superior.
Segundo Johnes (2005),
A facilidade com que se manipula diversos ​inputs ​e ​outputs usando a análise envoltória de dados
(DEA) faz desta uma escolha atrativa de técnica de medição da
eficiência das instituições de ensino superior (IESs).

O sucesso desse método no estudo da eficiência das instituições de ensino faz com que
o número de publicações sobre esse tema cresça de forma impressionante. De acordo
com um levantamento feito por Rosano-Peña (2011), existe uma compilação
bibliográfica sobre a DEA no site ​http://www.deazone.com/​, e até março de 2010, o
número de publicações sobre educação já se aproximava de 70.
Especificando um pouco mais, Belloni (2000) destaca que o desempenho de uma
Instituição de Ensino Superior está relacionado com a forma como a instituição se
organiza para atender às necessidades da sociedade. A perspectiva da avaliação do
desempenho é então, organizacional, com referências internas, julgando a “organização
universidade” através de critérios relativos à missão institucional, objetivos, programas
e metas, recursos, resultados e todas as relações de gestão e produção que ocorrem no
seu interior.
Decorrem daí três dimensões distintas da avaliação do desempenho de uma
universidade:
- Dimensão técnico-operacional, que procura conhecer os recursos, os resultados e as
relações de produção que ocorrem no interior da universidade, e cujos critérios de
avaliação são a produtividade e a eficiência;
- Dimensão pedagógica, que está relacionada com os processos educacionais
propriamente ditos, tem como referência os objetivos e as metas organizacionais, cujo
critério de avaliação é a eficácia;
- Dimensão política, que busca aferir em que medida a instituição consegue responder
aos desafios que lhe são impostos, em termos do cumprimento da missão institucional.
O critério de avaliação é a efetividade. (Belloni, 2000, p. 32-33).
No entanto, a efetividade nem sempre é vista como um critério de avaliação do
desempenho, uma vez que está associada às necessidades e aos objetivos políticos da
sociedade e não necessariamente da Instituição de Ensino, o que também não elimina a
relação de coexistência e cooperação que existe entre as duas. Uma visão mais simplista
foi dada por Lindsay (1982), que descreve o conceito de “desempenho institucional”
somente com as dimensões da eficácia e da eficiência. Eficácia, relacionada com a
extensão com que as metas e objetivos são alcançados, e eficiência, que diz respeito às
relações entre recursos utilizados e resultados alcançados.

3. Estudo de caso
3.1 Definição do problema
A faculdade vem tentando estabelecer um método para medir a eficiência da instituição
para utilizar como indicador de suporte para tomada de decisão sobre redistribuição de
recursos. Assim, tivemos acesso a uma planilha eletrônica, no excel, utilizada para
calcular o índice de esforço dos departamentos, com dados do período 2017.1. Os
parâmetros utilizados para o cálculo foram: Carga horária média na graduação; Carga
horária média na Pós-Graduação; Bolsas graduação; Orientação mestrado; Orientação
doutorado; Iniciação científica e Bolsa de extensão. Sendo que as bolsas e orientações
são transformadas em horas para que os parâmetros fiquem na mesma medida. Logo de
cara podemos perceber o peso que a pós graduação leva no cálculo, o que pode ser
considerado um parâmetro inadequado para comparação, uma vez que nem todos os
departamentos contam com pós graduação. E os que possuem não estão no mesmo nível
de consolidação.
Outro ponto a ser destacado é a simplicidade com que o cálculo foi feito, utilizando
apenas operações algébricas comuns. Daí então veio a ideia de modelar o problema com
a ajuda da Análise Envoltória de Dados, que também irá medir para então compararmos
os modelos de cálculo.
A modelagem foi feita da seguinte maneira:
Os outputs foram considerados os mesmos parâmetros utilizados pela modelagem feita
pela faculdade, (Carga horária média na graduação; Carga horária média na
Pós-Graduação; Bolsas graduação; Orientação mestrado; Orientação doutorado;
Iniciação científica e Bolsa de extensão.) com acréscimo dos trabalhos de conclusão de
curso aprovados no mesmo período (TCC). Esse acréscimo tem função de tentar
diminuir a discrepância entre o peso das cargas horárias da pós graduação e da
graduação.
Os inputs foram o total de professores por departamento, considerando efetivos, efetivos
afastados e substitutos, e também o total de professores considerando apenas os efetivos
e efetivos afastados, e desconsiderando os substitutos. Desta maneira o modelo foi
rodado duas vezes, uma com cada input citado acima.
O modelo utilizado foi o BCC, que admite rendimentos variáveis de escala, com
orientação a maximizar os outputs e mantendo os inputs constantes.
Cada departamento foi considerado como uma DMU, totalizando 44, e com 8 variáveis
(outputs). Obedecendo assim a regra definida por Cooper at al. (2000), em que a
quantidade de DMUs deve ser no mínimo o triplo da soma da quantidade de inputs com
a quantidade de outputs.
O software utilizado para modelagem foi o Open Source DEA.

3.2 Discussão dos resultados

O programa foi rodado duas vezes: uma considerando todos os professores dos
departamentos, incluindo os efetivos, os substitutos e os afastados (cenário 1), e outra
considerando somente os professores efetivos (cenário 2), visto que a conta utilizando o
total de professores consideraria os professores afastados duas vezes, além de eles não
estarem produzindo dentro de seu departamento, sendo então um parâmetro que diminui
a média do departamento.
A tabela 1 traz a compilação dos resultados gerados pela modelagem DEA para os dois
cenários tratados, e também os resultados apresentados pela planilha eletrônica usada
como base.
Os resultados gerados pela planilha eletrônica foram calculados de forma algébrica,
somando a carga horária dedicada a cada variável e simplesmente a dividindo pelo
número de professores. O método de comparação entre os departamentos foi feito
através da média entre os índices de esforço, de maneira que os departamentos que
obtiveram o índice maior que a média foram considerados eficientes.
A DEA apresentou 28 DMUs eficientes em ambos os cenários, e a única diferença foi
que no cenário 1 o Departamento de Museologia (DEMUL) foi considerado eficiente, já
no cenário 2 ele deixou de ser eficiente, e o Departamento de Turismo (DETUR) passou
a ser considerado eficiente. Considerando que os outputs utilizados foram praticamente
os mesmos, era de se esperar que departamentos que apresentaram índices de esforço
próximos a média se apresentassem como eficientes na DEA. Assim, todos
departamentos que tiveram índice de esforço acima da média apareceram como
eficientes.
Uma discrepância foi que em alguns casos, como no DEETE, CEDUFOP, DEMUL,
DEMSC, DECAT, DEURB, DEGEO e DECEA, os índices foram menores que a média
e ainda sim foram considerados eficientes pela DEA. Isso ocorreu devido ao acréscimo
do output TCC, que foi utilizado justamente para ajudar a destacar a inconsistência de
se avaliar a eficiência dos departamentos com base apenas na carga horária integralizada
pelos professores.
Além disso, outro ponto que indica a inconsistência dos parâmetros escolhidos é o fato
de que algumas DMUs apresentaram índices de esforço muito próximos da média e não
foram considerados eficientes pela DEA, enquanto outras que tiveram índice ainda
menores foram.
Assim chegamos a conclusão de que não é confiável fazer o cálculo de eficiência de
maneira algébrica, como foi feito na planilha eletrônica, quando se tem metodologias
tão simples como a Análise Envoltória de Dados, que possibilita a modelagem de uma
maneira já considerada consolidada, além de proporcionar uma comparação com uma
maior quantidade de inputs e outputs sem tornar o problema demasiadamente complexo.
A partir da análise também foi possível identificar que em uma comparação da
eficiência de departamentos educacionais seria melhor utilizar outputs que
promovessem uma comparação mais justa, uma vez que considerar a carga horária de
pós graduação com tal peso dá uma grande vantagem inicial aos departamentos que têm
esse setor mais desenvolvido e consolidado. Uma alternativa para corrigir isso seria
utilizar mais e diferentes outputs para ajudar a medir a eficiência não somente com base
na carga horária integralizada pelos professores.
Tabela 1 - Compilação dos resultados
4. Conclusão
O presente estudo teve o objetivo fazer uma comparação entre dois métodos para
medida de eficiência dos departamentos da Universidade Federal de Ouro Preto -
Campus Morro do Cruzeiro. O método da planilha eletrônica se mostrou ineficiente por
dificultar o trabalho com os dados. Outro ponto que impactou esse método foram as
variáveis e pesos atribuídos para análise, que supervalorizou os departamentos que tem
um programa de pós graduação já consolidado, e desconsidera possíveis variáveis que
poderiam ter proporcionado uma comparação mais efetiva.
Pode-se dizer que os modelos DEA determinam as melhores condições de operação
para cada unidade produtiva separadamente, de modo a maximizar o seu índice de
desempenho, e aplicam as mesmas condições às demais unidades do grupo sob análise.
A DEA foi utilizada para exemplificar uma metodologia simples e concisa, que
possibilitaria fazer uma avaliação de desempenho utilizando uma gama de variáveis
muito maiores sem acrescentar tanto no nível de complexidade da modelagem.
Como trabalhos futuros sugerimos o aprofundamento da metodologia DEA. Procurando
utilizar diferentes outputs, com objetivo de definir e estudar com maior precisão o
desempenho dos subsistemas da faculdade.
Referências
JOHNES, J. Data envelopment analysis and its application to the measurement of
efficiency in higher education. University of Huddersfield, 2005.
ROSANO-PEÑA, C. Eficiência e impacto do contexto na gestão através do DEA: o
caso da UEG. Produção, v. 22, n. 4, p. 778-787, 2012.
BELLONI, I. Uma Metodologia de Avaliação da Eficiência Produtiva de Universidades
Federais Brasileiras. Tese de Doutorado, UFSC, 2000.
LINDSAY, A.W. Institutional performance in higuer education: the efficiency
dimension. Review of Educational Research, 52(2), 1982.
LINS, Marcos Pereira Estellita. Programação Linear: com aplicações em teoria dos
jogos e avaliação de desempenho (Data Envelopment Analysis). Rio de Janeiro:
Interciência, 2006.
COLIN, Emerson Carlos. Pesquisa Operacional: 170 aplicações em estratégia, finanças,
logística, produção, marketing e vendas. Rio de Janeiro: LTC, 2007.
Cooper, W. W., Seiford, L. M., & Tone, K. (2000). Date Envelopment Analysis: a
comprehensive Text with models, applications, reference and DEA-Solver software.
Norwell: Kluwer Academic Publishers.