DEA Conceitos

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE
CENTRO DE TECNOLOGIA
PROGRAMA DE ENGENHARIA DE PRODUÇÃO
APLICANDO ANÁLISE DE ENVOLTÓRIA DE DADOS - DEA À AVALIAÇÃO

DE DESEMPENHO ACADÊMICO: UM ESTUDO EM PROGRAMAS DE PÓS-
GRADUAÇÃO EM ENGENHARIA MECÂNICA E PRODUÇÃO NO BRASIL
por
HARLAN JULU GUERRA MARCELICE

ENGENHEIRO INDUSTRIAL MECÂNICO, UTAM, 2003
TESE SUBMETIDA AO PROGRAMA DE ENGENHARIA DE PRODUÇÃO DA

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE COMO PARTE DOS
REQUISITOS NECESSÁRIOS PARA A OBTENÇÃO DO GRAU DE
MESTRE EM CIÊNCIAS EM ENGENHARIA DE PRODUÇÃO
AGOSTO, 2006
© 2006 HARLAN JULU GUERRA MARCELICE.

TODOS OS DIREITOS RESERVADOS.
O autor, aqui designado, concede ao Programa de Engenharia de Produção da

Universidade Federal do Rio Grande do Norte permissão para reproduzir, distribuir,
comunicar ao público, em papel ou meio eletrônico, esta obra, no todo ou em parte, nos
termos da Lei.
Assinatura do Autor: ______________________________________________
APROVADO POR:
______________________________________________________________
Prof. Rubens Eugênio Barreto Ramos, D.Sc. – Orientador, Presidente
______________________________________________________________
Prof. Sérgio Marques Júnior – Membro Examinador
______________________________________________________________
Prof. Elton Fernandes, Dr. – Membro Examinador Externo
Divisão de Serviços Técnicos
Catalogação da Publicação na Fonte. UFRN / Biblioteca Central Zila Mamede
Marcelice, Harlan Julu Guerra.

Aplicando análise de envoltória de dados - DEA à avaliação de
desempenho acadêmico: um estudo em programas de pós-graduação em
engenharia mecânica e produção no Brasil / Harlan Julu Guerra Marcelice. –
Natal, RN, 2006.
64 f.
Orientador : Rubens Eugênio Barreto Ramos.
Tese (Mestrado) – Universidade Federal do Rio Grande do Norte. Centro

de Tecnologia. Programa de Pós-Graduação de Engenharia de Produção.
1. Engenharia de produção – Tese. 2. Análise envoltória de dados - DEA

– Tese. 3. Desempenho acadêmico – Tese. 4. CAPES – Tese. I. Ramos,
Rubens Eugênio Barreto. II. Título.
RN/UF/BCZM CDU 658.5(043.2)
ii
SOBRE O AUTOR
Harlan Julu Guerra Marcelice é Engenheiro Industrial

Mecânico (UTAM/2003), durante o mestrado foi bolsista da
CAPES (Coordenação de Aperfeiçoamento de Pessoal de
Nível Superior) e atuou como professor auxiliar em disciplina
da graduação do curso de Engenharia de Produção da
Universidade Federal do Rio Grande do Norte (UFRN). Ainda
como parte integrante do mestrado produziu papers de
pesquisa e foi co-autor de paper encaminhado para o ENEGEP como submetido. Como
experiência profissional, passou por empresas como Philips da Amazônia (montadora de
produtos eletrônicos), Pastore da Amazônia (injeção plástica) e Philips Eletrônica da
Amazônia (montadora de dispositivos elétricos), todas do pólo industrial de Manaus.
ARTIGOS DURANTE A PÓS-GRADUAÇÃO
• RAMOS, Rubens E.B., MARCELICE, Harlan J.G. (2006) Avaliando o

desempenho de programas de pós-graduação usando DEA: um estudo com
programas de Engenharias III, 2001-2003. ENEGEP XVI - 2006 – (Submetido).
• MARCELICE, Harlan J.G. (2005) Perfil da produção científica em Gestão da

Produção: Teses de Mestrado e Doutorado, 1989 a 2004. Relatório de Pesquisa de
Mestrado - UFRN/PEP, mimeo.
• MARCELICE, Harlan J.G. (2005) Perfil da produção científica em Gestão da

Produção: uma pesquisa nos artigos do ENEGEP e ENANPAD dos anos de 1997 a
2004. Relatório de Pesquisa de Mestrado II - UFRN/PEP, mimeo.
iii
Aos meus pais, Sebastião e Juçara.
iv
AGRADECIMENTOS
A Deus, autor e consumador da minha fé, Aquele que era antes de tudo vir a existir e sem
O qual nada do que foi feito se fez. Ao Senhor todo poderoso seja a honra, a glória e o
louvor na minha vida antes de tudo.
Aos meus pais, presentes de Deus, que muito além de provedores são grandes amigos,
incentivadores, conselheiros que sempre me animaram, protegeram e estiveram ao meu
lado quando eu precisei, a vocês todo meu amor e gratidão.
À Universidade Federal do Rio Grande do Norte e ao Programa de Engenharia de

Produção (PEP) pela oportunidade de realização desse importante passo na minha vida
acadêmica e profissional.
Ao Prof. Dr. Rubens Eugênio Barreto Ramos, orientador que me deu as primeiras lições
e acompanhou até o fim dessa minha jornada, a caminho do mestrado.
Aos demais Professores do Programa de Engenharia de Produção, pela capacidade de

ensinamento com que contribuíram durante o curso.
À Secretária do Programa de Engenharia de Produção, que sempre foi solícita em todas as

oportunidades no decorrer do curso.
Ao colega de curso e amigo Marcos Pena Junior, com quem troquei muitas idéias e que
me ajudou na elaboração de papers e pesquisas.
Aos meus tios Misael e Stela e primas Ulliana e Myrian, que me deram suporte quando
precisei e estavam sempre ao meu dispor.
Ao casal Antônio de Souza e Maria José que me acolheram quando cheguei e se

tornaram como pais aqui, obrigado por tudo.
Aos meus irmãos, Luciano e Harlanne; à minha namorada, Érica; amigos e irmãos
em Cristo, que me ajudaram incentivaram e oraram por mim.
Ao General Francisco Gomes da Costa, que durante um período me hospedou e deu

suporte logístico até que me estabelecesse.
v
Resumo da Tese apresentada à UFRN/PEP como parte dos requisitos necessários para a
obtenção do grau de Mestre em Ciências em Engenharia de Produção.
APLICANDO ANÁLISE DE ENVOLTÓRIA DE DADOS - DEA À AVALIAÇÃO

DE DESEMPENHO ACADÊMICO: UM ESTUDO EM PROGRAMAS DE PÓS-
GRADUAÇÃO EM ENGENHARIA MECÂNICA E PRODUÇÃO NO BRASIL
Agosto/2006
Orientador: Prof. Rubens Eugênio Barreto Ramos, D.Sc.
Curso: Mestrado em Ciências em Engenharia de Produção
Esta Tese de Mestrado explora a avaliação de desempenho acadêmico de programas de

pós-graduação em universidades brasileiras através da utilização de Análise de Envoltória
de Dados - DEA (Data Envelopment Analysis). Os dados foram obtidos junto à
Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e analisados
pelos métodos de CCR orientado a produtos, CCR orientado a produtos com Região de
Garantia (Assurance Region), e esta última com Análise de Janelas para o triênio 2001-
2003. Os principais resultados mostram que a adoção direta do CCR tem o inconveniente
de gerar pesos com valor zero, o que não é apropriado na medida em que um Programa de
Pós-Graduação teria seu escore máximo zerando um dos produtos, o que não faz sentido. A
adoção da Região de Garantia e de Janela mostraram-se satisfatórias e as análises sugerem
que os Programas de Engenharia Mecânica e Engenharia de Produção possuem diferentes
funções de transformação, e em decorrência aponta para que se realize a análise em
separado. Em termos de comparação com o método da CAPES, os resultados apontam
importantes inconsistências, com programas bem avaliados com escores baixos e vice-
versa. Mostrou em alguns casos consistência no caso da Engenharia Mecânica, onde um
Programa com nota 6 é destacadamente um outstanding em seu conjunto, mas o inverso
ocorreu na Engenharia de Produção, onde um outstanding teve nota 5 pelo método da
CAPES. O trabalho aponta para a utilidade de adotar a DEA como metodologia
complementar para avaliação de desempenho pela CAPES.
vi
Abstract of Master Thesis presented to UFRN/PEP as fulfillment of requirements to the
degree of Master of Science in Production Engineering
APPLYING DEA TO ACADEMIC PERFORMANCE EVALUATION: A STUDY

ON MECHANICAL AND PRODUCTION ENGINEERING GRADUATE
PROGRAMS IN BRAZIL
August/2006
Thesis Supervisor: Professor Rubens Eugênio Barreto Ramos
Program: Master of Sciences in Production Engineering
This Master of Science Thesis deals with applying DEA (Data Envelopment Analysis) to
the academic performance evaluation of graduate programs in Brazil, exploring it on a
Mechanical and Production Engineering Program 2001-2003 data. The data used is that of
the national assessment carried by CAPES, the governmental body in charge for graduate
program assessment and certification. It is used the CCR output oriented DEA model, the
CCR-Output with Assurance Region, and Window Analysis. The main findings are first
that the CCR has the concerning problem of zero values of weights of outputs that is not
appropriate in a sense that a graduate program has the higher efficiency score zeroing some
output (e.g., number of academic papers published). Secondly, the Assurance Region
method proved useful. Third, the Window Analysis also gave some light to the consistency
of the performance in the time frame analysed. Also, the analysis results in the
understanding that the Mechanics and Production Engineering should not be assessed
jointly like currently applied by CAPES and rather should be assessed in its own field
separately. Finally, the result of the DEA analysis showed some serious inconsistencies
with the CAPES method. Graduate programs considered excellent has got low
performance score and vice versa. This Thesis provides a strong argument in order to use
DEA at least as a complimentary methodology for graduate program performance
evaluation in Brazil.
vii
SUMÁRIO
CAPÍTULO 1 INTRODUÇÃO....................................................................................................................... 1
1.1 CONTEXTUALIZAÇÃO ............................................................................................................................... 1

1.1.1 Principais Metodologias de Avaliação de Eficiência...................................................................... 1
1.1.2 A Metodologia da Avaliação CAPES .............................................................................................. 2
1.2 OBJETIVO ................................................................................................................................................. 4
1.3 RELEVÂNCIA ............................................................................................................................................ 4
1.4 ORGANIZAÇÃO DA TESE........................................................................................................................... 5
CAPÍTULO 2 ANÁLISE DE DESEMPENHO UTILIZANDO DEA ......................................................... 7
2.1 SURGIMENTO DA DEA ............................................................................................................................. 7

2.2 MODELOS PRINCIPAIS DE DEA............................................................................................................... 12
2.3 EXTENSÕES AOS MODELOS DE DEA: CATEGORIAS, JANELAS E RESTRIÇÕES DE PESOS ........................... 19
2.3.1 Categorias ..................................................................................................................................... 19
2.3.2 Análise de Janela .......................................................................................................................... 19
2.3.3 Restrição de Pesos – Região de Garantia (Assurance Region)..................................................... 22
2.4 PROCESSO E METODOLOGIA DE DEA .................................................................................................... 22
2.5 ESTUDOS DE DEA EM UNIVERSIDADES NO BRASIL................................................................................ 24
2.6 ESTUDOS INTERNACIONAIS DE APLICAÇÃO DE DEA EM EDUCAÇÃO ..................................................... 26
2.7 SÍNTESE PARA A PESQUISA ..................................................................................................................... 29
CAPÍTULO 3 METODOLOGIA DA PESQUISA ..................................................................................... 31
3.1 TIPOLOGIA DA PESQUISA ....................................................................................................................... 31

3.2 DADOS ................................................................................................................................................... 31
3.3 MODELOS E ANÁLISES DE DEA UTILIZADOS.......................................................................................... 33
3.3.1 Modelo CCR.................................................................................................................................. 33
3.3.2 Análise em Janela.......................................................................................................................... 35
3.3.3 Retirando outstanding ................................................................................................................... 35
3.4 FERRAMENTA COMPUTACIONAL ............................................................................................................ 35
3.5 ANÁLISE SUPLEMENTAR - COMPARAÇÃO COM AVALIAÇÃO CAPES..................................................... 35
CAPÍTULO 4 RESULTADOS E DISCUSSÃO .......................................................................................... 36
4.1 ANÁLISE CCR-O, ANO A ANO, EM CONJUNTO ....................................................................................... 36

4.2 ANÁLISE AR-O-C, ANO A ANO ............................................................................................................. 39
4.2.1 Engenharia Mecânica e Produção em Conjunto........................................................................... 39
4.2.2 Engenharia Mecânica ................................................................................................................... 41
4.2.3 Engenharia de Produção............................................................................................................... 42
4.2.4 Síntese Comparativa...................................................................................................................... 44
4.3 ANÁLISE EM JANELA .............................................................................................................................. 48
viii
4.4 RETIRANDO AS DMU'S (OUTSTANDING)............................................................................................ 51
4.4.1 Avaliação Engenharia Mecânica sem as outstanding................................................................... 51
4.4.2 Avaliação Engenharia de Produção sem as outstanding .............................................................. 53
4.5 ANÁLISE COMPARADA COM A AVALIAÇÃO CAPES ............................................................................... 54
CAPÍTULO 5 CONCLUSÕES E RECOMENDAÇÕES ........................................................................... 57
5.1 SÍNTESE DOS PRINCIPAIS RESULTADOS .................................................................................................. 57

5.2 ANÁLISE CRÍTICA QUANTO AO OBJETIVO .............................................................................................. 58
5.3 LIMITAÇÃO DO TRABALHO .................................................................................................................... 58
5.4 DIREÇÕES DA PESQUISA ......................................................................................................................... 58
5.5 RECOMENDAÇÕES .................................................................................................................................. 58
5.6 CONCLUSÕES ......................................................................................................................................... 59
REFERÊNCIAS............................................................................................................................................. 60
ANEXOS......................................................................................................................................................... 64
ix
LISTA DE TABELAS
Tabela 1.1 Critérios da Avaliação CAPES, 2001-2003 ..................................................3
Tabela 1.2 Indicadores do Critério VII - Produção Intelectual..........................................3
Tabela 1.3 Cálculo dos Indicadores dos itens 2 e 3...........................................................4
Tabela 2.1 O caso de um insumo e dois produtos (Cooper, Seiford, Tone, 2006) .........15
Tabela 2.2 Análise de Janela com Janela de Três Meses (Charnes et al., 1994) ............21
Tabela 2.3 Estudos no Brasil – Teses de Mestrado e Doutorado...................................26
Tabela 3.1 Lista de DMU’s e dados CAPES ................................................................32
Tabela 4.1 Escores e Pesos, Análise CCR – O, 2001 em conjunto................................37
Tabela 4.2 Escores e Pesos, Análise AR-C-O, 2001 em conjunto.................................38
Tabela 4.3 Escores e Referências, Ano a Ano em conjunto..........................................40
Tabela 4.4 Escores, Ano a Ano, Engenharia Mecânica ................................................41
Tabela 4.5 Escores, Ano a Ano, Engenharia de Produção ............................................43
Tabela 4.6 Síntese Comparativa, 2001 .........................................................................45
Tabela 4.9 Análise de Janela, Engenharia Mecânica ....................................................49
Tabela 4.10 Análise de Janela, Engenharia de Produção ..............................................50
Tabela 4.11 Critérios para as Outstanding....................................................................51
Tabela 4.12 Análise sem as Outstanding, Eng. Mecânica.............................................52
Tabela 4.13 Análise sem as Outstanding, Eng. de Produção.........................................53
Tabela 4.14 Avaliação Comparativa DEA x CAPES, Eng. Mecânica...........................54
Tabela 4.15 Avaliação Comparativa DEA x CAPES, Eng. de Produção ......................55
Tabela 4.16 Síntese da Análise de Correlação – Escores de Eficiência x nota................56
x
LISTA DE FIGURAS
Figura 2.1 Isoquanta, Eficiência Técnica e Eficiência de Preço (Farrel, 1957).................... 8
Figura 2.2 Função de Produção Eficiente (Farrel, 1957)...................................................... 9
Figura 2.3 Comparação entre DEA e regressão (Charnes et al., 1994).............................. 11
Figura 2.4 Superficie envoltória do CCR orientado a insumos (Charnes et al., 1994) ....... 15
Figura 2.5 O caso de um insumo e dois produtos (Cooper, Seiford e Tone, 2006) ............ 16
Figura 2.6 Eficiência e Melhoria (Cooper, Seiford e Tone, 2006) .................................... 16
Figura 2.7 Superfície envoltória para o modelo BCC orientado a insumos (Charnes et al.,
1994)............................................................................................................................... 18
Figura 4.1 Escores Ano a Ano, Engenharia Mecânica ........................................................42
Figura 4.2 Escores Ano a Ano, Engenharia de Produção....................................................43
Figura 4.3 Análise sem as Outstanding, Eng. Mecânica......................................................52
Figura 4.4 Análise sem as Outstanding, Eng. Produção......................................................53
xi
LISTA DE EQUAÇÕES
Equação (1) Pontuação Final da Etapa Quantitativa, Avaliação CAPES .......................3
Equação (2) Modelo CCR original, 1978.....................................................................10
Equação (3) Modelo CCR, forma matricial..................................................................12
Equação (4) Transformação de variáveis .....................................................................13
Equação (5) Modelo CCR com mudança de variáveis..................................................13
Equação (6) Modelo CCR – Dual ................................................................................13
Equação (7) Modelo CCR orientado a produto ............................................................14
Equação (8) Modelo CCR orientado a insumo equivalente a orientado a produto.........14
Equação (9) Equivalência entre escores de eficiência: produto e insumo......................14
Equação (10) Modelo BCC orientado a Insumos, forma envoltória .............................17
Equação (11) Formulação da Restrição de Pesos: Região de Garantia..........................22
Equação (12) Modelo CCR da pesquisa.......................................................................33
Equação (13) PLO24 - Ilustração do Modelo da Pesquisa para DMU24 .........................34
xii
LISTA DE SIGLAS, NOMES E ACRÔNIMOS
AR – Assurance Region
AR-C-O – Assurance Region, Constant, Output
CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
DEA – Data Envelopment Analysis
DMU – Decision Making Unit
OUTSTANDING – Acima do Padrão
xiii
ANEXOS
Anexo 1 Metodologia da Avaliação CAPES.......................................................................65
Anexo 2 Critérios da Avaliação CAPES..............................................................................67
Anexo 3 Indicadores do Apêndice C do relatório CAPES (2004).......................................81
Anexo 4 Avaliação CCR-O ............................................................................................. 89
A4-1 Mec/Pro – CCR-O 2002 ......................................................................................... 89
A4-2 Mec/Pro – CCR-O 2003 ......................................................................................... 90
Anexo 5 Avaliação em Conjunto. AR-O-C...................................................................... 91
A5-1 Mec/Pro AR-O-C 2002........................................................................................... 91
A5-2 Mec/Pro AR-O-C 2003........................................................................................... 92
Anexo 6 Avaliação Mecânica AR-O-C............................................................................ 93
A6-1 Mecânica AR-O-C 2001 ......................................................................................... 93
A6-2 Mecânica AR-O-C 2002 ......................................................................................... 94
A6-3 Mecânica AR-O-C 2003 ......................................................................................... 95
Anexo 7 Avaliação Produção AR-O-C ............................................................................ 96
A7-1 Produção AR-O-C 2001 ......................................................................................... 96
A7-2 Produção AR-O-C 2002 ......................................................................................... 96
A7-3 Produção AR-O-C 2003 ......................................................................................... 97
Anexo 8 Avaliação Mecânica sem Outstanding AR-O-C................................................ 98
A8-1 Mecânica AR-O-C 2001 sem Outstanding.............................................................. 98
A8-2 Mecânica AR-O-C 2002 sem Outstanding ............................................................. 99
A8-3 Mecânica AR-O-C 2003 sem Outstanding.............................................................. 99
Anexo 9 Avaliação Produção sem Outstanding AR-O-C ............................................... 100
A9-1 Produção AR-O-C 2001 sem Outstanding ............................................................ 100
xiv
Anexo 10 Avaliação Mecânica Janela AR-O-C............................................................ 102
A10-1 Mecânica AR-O-C, Janela 2001-2002................................................................. 102
A10-2 Mecânica AR-O-C, Janela 2002-2003................................................................. 103
Anexo 11 Avaliação Produção Janela AR-O-C ............................................................ 104
A11-1 Produção AR-O-C, Janela 2001-2002 ................................................................. 104
A11-2 Produção AR-O-C, Janela 2002-2003 ................................................................. 105
xv
Capítulo 1
Introdução
No contexto da Avaliação de Eficiência, este trabalho apresenta uma análise dos

conceitos e modelos voltados para medição de eficiência, tendo por base a metodologia
DEA para avaliação de eficiência, aplicada aos Programas de pós-graduação de Engenharia
Mecânica e Engenharia de Produção de várias universidades brasileiras, conforme dados
coletados junto à Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
(CAPES).
Este capítulo aborda a contextualização da avaliação da eficiência, a caracterização

da avaliação do Ensino Superior e a avaliação de eficiência baseada na metodologia DEA
(Data Envelopment Analysis), além de informar sobre os objetivos definidos para essa
dissertação, sua relevância e, por fim, a estrutura geral dos capítulos que integram este
trabalho acadêmico.
1.1 Contextualização
1.1.1 Principais Metodologias de Avaliação de Eficiência
A avaliação de eficiência tem sido foco de estudo da engenharia, economia e

negócios. No campo de economia e negócios, Coelli et al. (2005) apontam que os
principais métodos de avaliar a eficiência são:
modelos econométricos de mínimos quadrados
índices de produtividade total dos fatores (TFP)
fronteira estocástica
DEA (Data Envelopment Analysis)
Segundo Coelli et al. (2005), as metodologias dos modelos econométricos de
mínimos quadrados e índices de produtividade total dos fatores (TFP), são mais
freqüentemente aplicados para agregar dados de séries temporais e prover medidas de
1
mudanças técnicas ou TFP. Ambas as metodologias assumem que todas as firmas são
tecnicamente eficientes. Os dois últimos, em outra mão, são mais freqüentemente aplicados
para dados em uma amostra de firmas (em um ponto no tempo) e provê medidas de
eficiência relativa entre essas firmas. Por esta razão, esses dois últimos métodos não
assumem que todas as firmas são tecnicamente eficientes. Todavia o índice TFP
multilateral pode também ser usado para comparar a produtividade relativa de um grupo de
firmas em um ponto no tempo. Também a DEA e a Fronteira Estocástica podem ser usadas
para medir ambas a variação técnica e a variação de eficiência, se o quadro de dados está
disponível.
Deste modo se observa que as quatro metodologias acima citadas podem ser
associadas em concordância, quer reconheçam ineficiências ou não. Um caminho
alternativo para associar as metodologias é notar que os modelos econométricos de
mínimos quadrados e a fronteira estocástica envolvem estimação econométrica de funções
paramétricas, enquanto os índices de produtividade total dos fatores (TFP) e a DEA não.
Esses dois grupos podem, por esta razão, ser denominados metodologias “paramétricas” e
“não paramétricas” respectivamente. Esses dois métodos podem também ser distinguidos
de outras formas, tais como, pelas exigências dos dados, pelas suposições comportamentais
e por eles reconhecerem ou não erros casuais nos dados (Coelli et al, 2005).
Para este estudo será utilizada a metodologia DEA por ser apropriada de acordo
com as características citadas acima, ter sido concebida a princípio com fim de avaliar
programas educacionais e por já haver estudos similares no Brasil.
Alguns estudos usando DEA para programas de pós-graduação no Brasil foram
realizados, especialmente em Engenharia, tais como Albani Neto (2000), Silva (2001) e
Souza (2004), o que é comentado no capítulo 2. Neste trabalho, procura-se aplicar a
metodologia DEA (Data Envelopment Analysis – Análise de Envoltória de Dados) para
avaliar os programas e realizar uma discussão que pode lançar novas visões sobre o
processo, fazendo uma discussão específica da área de Engenharias III no triênio 2001-
2003.
1.1.2 A Metodologia da Avaliação CAPES
A avaliação de desempenho de programas de pós-graduação no Brasil é realizada
institucionalmente por uma instância do Ministério da Educação denominada CAPES
(Coordenação de Aperfeiçoamento de Pessoal de Nível Superior ). Essa avaliação é trienal
e a sistemática de avaliação para o período 2001-2003 é sumarizada aqui.
2
Os Programas de Pós-Graduação no Brasil são avaliados pela CAPES, sendo
atribuídos notas de 1 a 7. Os Programas de Engenharia são divididos em quatro grupos, dos
quais a Engenharias III inclui em um mesmo conjunto a Engenharia de Produção e a
Engenharia Mecânica. Esta avaliação é baseada em um modelo aditivo multi-critérios. Os
critérios e respectivos pesos são apresentados na Tabela 1.1
Tabela 1.1 – Critérios da Avaliação CAPES, 2001-2003
Critério Peso
Proposta do Programa -
II – Corpo Docente 10%
III – Atividades de Pesquisa 10%
IV – Atividades de Formação 10%
V – Corpo Discente 20%
VI – Teses e Dissertações 20%
VII – Produção Intelectual 30%
Fonte: CAPES (2004a)
O processo final de avaliação é realizado em duas etapas, uma quantitativa e outra

qualitativa. Na etapa quantitativa são realizados vários cálculos com base em indicadores
em cada critério e obtida uma pontuação final que pode ser representado pela equação (1):
7 n
Pi = ∑ Pj ∑ Pj ,k I i , j ,k , (1)
j =2 k =1
onde Pi é a pontuação do programa i, j é o critério (2 a 7, ver Tabela 1.1), Pj é o peso do

critério (conforme tabela 1), Pj,k é o peso do indicador k do critério j e Ii,j,k é o valor do
indicador k do critério j do Programa i.
Para cada indicador há uma definição da forma de sua pontuação, p.ex., a Tabela
1.2 apresenta os indicadores com respectivos pesos do critério VII Produção Intelectual, e
a Tabela 1.3 as formas de pontuação dos indicadores 2 (Qualidade...) e 3 (Quantidade...).
Tabela 1.2. Indicadores do Critério VII – Produção Intelectual

Itens Pesos
1 Adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de 10
Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações.
2 Qualidade dos veículos ou meios de divulgação. 30
3 Quantidade e regularidade em relação à dimensão do NRD6; distribuição da autoria entre 30
os docentes.
4 Autoria ou co-autoria de outros participantes (não pertencentes ao núcleo básico) 10
5 Produção técnica 20
3
Tabela 1.3. Cálculo dos indicadores dos itens 2 e 3
Item Equação Detalhe
2 Índice = A/B A = 1,0 x Int. A + 0,75 x Int. B + 0,5 x Nac. A
B = Número total de docentes e pesquisadores
3 Índice = A/B A = 1,0 x Periódicos [Int. (1,0A+0,8B+0,4C) + Nac. (0,6A+0,4B)] + 0,6 x
Anais [Int. (1,0A+0,6B+0,4C) + Nac. (0,6A+0,4B)] + 3 x Livro + 1,0
x Capt. Livro + 0,5 x Coletânea + 1,0 x Trad. Livro
B = Número total de docentes do NRD6
Após os cálculos da pontuação (cujo processo consome geralmente 4 dos 5 dias da

semana dos avaliadores) se realiza no último dia uma avaliação qualitativa para atribuir
uma nota de 1 a 5 inicialmente a cada programa, e em seguida uma avaliação da
recomendação para 6 ou 7.
Este estudo consiste em mais uma contribuição ao processo de avaliação de
programas de pós-graduação no Brasil e no conjunto daqueles que buscam usar DEA como
um método, dos quais podem ser citados os trabalhos de Albani Neto (2000), Silva (2001),
Souza (2004) e Lins et al. (2004).
A avaliação de desempenho realizada pela CAPES não utiliza nenhum dos
principais métodos de avaliação de eficiência citados e este trabalho pretende contribuir
com a discussão sobre a aplicação de um deles, DEA, para esta finalidade.
1.2 Objetivo
Explorar a aplicação de DEA na avaliação de desempenho acadêmico de programas

de pós-graduação de Engenharia Mecânica e Engenharia de Produção das Engenharias III
(classificação CAPES) em todo o país.
1.3 Relevância
Na área acadêmica:
• A contribuição ao meio acadêmico com modelos de DEA para análise de eficiência de e

avaliação institucional;
• Contribuir na formulação de novas aplicações de DEA.
Em termos práticos, este trabalho contribui com a apresentação e aplicação da

metodologia DEA para a avaliação de desempenho de cursos de pós-graduação e contribui
4
ao meio acadêmico com o estudo de sistemáticas de avaliação institucional através de uma
avaliação não convencional, podendo esta avaliação, confirmada sua relevância, servir de
base para uma simplificação do processo da avaliação CAPES em sua etapa quantitativa.
1.4 Organização da Tese
Além desta introdução, o trabalho apresenta mais 4 (quatro) capítulos.
No capítulo 2 é feita uma revisão teórica a respeito da Data Envelopment Analysis

(Análise de Envoltória de Dados), do seu surgimento, modelos e extensões, inclusive as
aplicáveis ao presente estudo. Segue-se, uma pesquisa sobre dissertações de mestrado e
teses de doutorado que utilizaram a metodologia DEA como parte integrante de seus
estudos e que dissertaram a respeito da aplicação em universidades.
O capítulo 3 apresenta a metodologia desenvolvida na execução da pesquisa que se

baseou nos procedimentos fundamentais para a pesquisa científica. Na pesquisa
bibliográfica sobre a Avaliação de Eficiência, Envoltória de Dados, DEA, foram
consultados artigos científicos, livros, internet e trabalhos acadêmicos que abordavam os
temas pertinentes. A pesquisa é aplicada aos Cursos de pós-graduação de Engenharia
Mecânica e Engenharia de Produção avaliados pela CAPES, com a participação de 38
programas, no período de 2001 a 2003. É utilizada a ferramenta computacional DEA-
SOLVER Learning Version 3.0 (Cooper et al., 2006) e planilha eletrônica MS© Excel.
No capítulo 4, apresenta-se e discuti-se os resultados gerados a partir da aplicação

da Metodologia DEA aos dados, com uma análise que consiste na organização de tabelas e
medidas que facilitam a compreensão das informações e que estão assim dispostas: análise
dos programas de pós-graduação em conjunto com o método CCR-O, seguindo-se da
mesma avaliação com o método AR-O-C e a partir de definido o método seguem-se as
análises em separado ano a ano, comparativa, em janela, retirando os outstanding e uma
análise entre as avaliações CAPES e DEA. Finalizando o capítulo há uma síntese do
mesmo.
O capítulo 5 apresenta uma síntese geral do trabalho, de acordo com os resultados e

discussão. Este capítulo está estruturado em seis tópicos: síntese dos principais resultados,
análise crítica quanto aos resultados, limitações do trabalho, direções da pesquisa,
recomendações e conclusões finais.
5
Finalmente, os anexos apresentam as tabelas com escores e pesos das DMU’s a
que se referem.
6
Capítulo 2
Análise de Desempenho utilizando DEA
Neste capítulo, é feita uma revisão teórica a respeito Análise de Envoltória de

Dados – DEA (Data Envelopment Analysis), do seu surgimento, modelos e extensões,
inclusive as aplicáveis ao presente estudo.
Segue-se, uma pesquisa sobre dissertações de mestrado e teses de doutorado que

utilizaram a metodologia DEA como parte integrante de seus estudos, com uma especial
atenção àquelas que dissertaram a respeito da aplicação às universidades.
2.1 Surgimento da DEA
A origem da Análise de Envoltória e Dados (Data Envelopment Analysis – DEA)

está na pesquisa de Doutorado de Edwardo Rhodes na Escola de Assuntos Públicos e
Urbanos da Universidade Carnegie Mellon (hoje Escola H. J. Heinz III de Política e Gestão
Pública). Nesta pesquisa, Edwardo Rhodes, sob a orientação de William W Cooper,
realizou uma avaliação do programa educacional efetivado nas escolas públicas dos
Estados Unidos, denominado Program Follow Trough (Programa de Acompanhamento).
O referido programa voltado para as crianças em desvantagem (notadamente negras ou
hispânicas), tinha o apoio do Governo Federal. A análise buscava comparar o desempenho
de um conjunto de distritos escolares participantes e não participantes do Program Follow
Through (Charnes et al., 1994; Charnes, Cooper e Rhodes, 1978). A busca de realizar
estimativas da “eficiência técnica” alusiva às escolas envolvendo resultados múltiplos e
entradas, sem a usual informação sobre preços, levou à formulação do modelo CCR
(Charnes,Cooper e Rhodes), na forma de razão entre produtos e insumos, assim como, na
publicação do primeiro artigo apresentando a DEA, no European Journal of Operations
Research, em 1978 ( Charnes, Cooper e Rhodes,1978).
7
Farrel (1957) tinha como propósito prover uma medida satisfatória da eficiência
produtiva que levasse em conta todos os insumos e ainda evitasse os problemas de
números índices. Para exemplificar seus conceitos de eficiência Farrel supõe que a função
de produção eficiente seja conhecida; isso é, o produto que uma firma perfeitamente
eficiente poderia obter de qualquer dada combinação de insumos. Na figura 1, o ponto P
representa as quantidades dos dois fatores, por unidade de produto, que a firma é observada
usa. A isoquanta SS’ representa as várias combinações dos dois fatores que uma firma
perfeitamente eficiente poderia usar para produzir uma unidade de produto.
Agora o ponto Q representa uma firma eficiente usando os dois fatores na mesma
proporção que P. Pode ser visto que ela produz o mesmo produto que P usando apenas
uma fração OQ/OP tanto de cada fator. Poderia também ser pensado que produz OP/OQ
vezes de tanto produto das mesmas quantidades de insumos. Parece assim natural definir
OQ/OP como a eficiência técnica da firma P.
Entretanto, se necessita também uma medida da extensão com que uma firma usa
os vários fatores de produção nas melhores proporções, em vista de seus preços. Assim, na
figura 2.1, se AA' tem uma inclinação igual à razão dos preços dos dois fatores, Q' e não Q
é o método ótimo de produção; embora ambos pontos representem 100 por cento de
eficiência técnica, os custos de produção em Q' serão apenas uma fração OR/OQ daqueles
de Q. É natural definir esta razão como a eficiência de preço de Q.
Figura 2.1 – Isoquanta, Eficiência Técnica e Eficiência de Preço (Farrel, 1957)
Mas como Farrel comenta, é muito difícil especificar uma função de produção
eficiente teórica para um processo muito complexo. Assim, embora o padrão teórico fosse
8
perfeitamente válido e tivesse seu uso próprio, Farrel se preocupou em estabelecer a função
produção a partir do padrão observado, preocupando-se em estimar uma função de
produção eficiente das observações dos insumos e produtos de um número de firmas nos
mesmos pressupostos de antes, onde cada firma pode ser representada por um ponto sobre
um diagrama de isoquanta, tal que um número de firmas produzirá uma dispersão de
pontos, como representado na Figura 2.2.
Figura 2.2 – Função de Produção Eficiente (Farrel, 1957)
No campo da DEA adotou-se desde início a denominação DMU (Decision Making

Unit) para denominar a unidade a ser avaliada quanto a sua eficiência.
O modelo CCR utilizou-se do método de otimização da programação matemática

com o objetivo de aplicar a medida de eficiência técnica de Farrel (1957) para o caso de
múltiplos-produtos/múltiplos-insumos, construindo assim, uma medida de eficiência
relativa de um único produto “virtual” para um único insumo “virtual” dados por
produto virtual
insumo virtual
onde,
insumo virtual = v1x1o + ... + vmxmo
produto virtual = u1y1o + ... + ususo
9
O modelo denominado CCR teve suma forma matemática básica de programação
linear dada por Charnes, Cooper e Rhodes (1978)
s
∑u
r =1
r y ro
max ho = m
(2)
∑v x
i =1
i io
sujeito a:
∑u
r =1
r y rj
m
≤ 1; j = 1, ..., n,
∑v x
i =1
i ij
u r , vi ≥ 0; r = 1, ..., s; i = 1, ..., m.
onde, yrj (todos positivos) são os produtos (outputs) conhecidos e xrj (todos positivos) são
os insumos (insumos) da j-ésima DMU, e o ur, vi ≥ 0 são os pesos variáveis a serem
determinados pela solução deste problema.
Os pesos ótimos podem (e geralmente irão) variar de uma DMU para outra DMU.
Assim, os “pesos” em DEA são derivados dos dados em vez de serem fixados antes. A
cada DMU é atribuído um melhor conjunto de pesos com valores que podem variar de uma
DMU para outra.
A eficiência de um membro deste conjunto de referência de j = 1,..., n DMUs será

relativo aos outros. Ela é assim representada na função objetivo, para otimização – assim
como nas restrições – e posteriormente distinguida pela designação do sub-escrito ‘o’ na
função objetivo (mas preservando seu sub-escrito original nas restrições). A maximização
indicada então dá a esta DMU a ponderação mais favorável que as restrições permitirem,
ou seja, até que a própria DMU ou outra DMU (presente nas restrições) alcance quociente
com valor 1 para os u e v definidos para a DMUo. O conjunto das DMU’s que alcançam
valor 1 no quociente quando da otimização para a DMUo analisada é denominado conjunto
de referência e é a base para a melhoria no caso do modelo CCR.
Charnes et al. (1994) mostram que a DEA difere da abordagem tradicional de

regressão no sentido de que enquanto a regressão busca o desempenho médio, por vezes
10
excluindo os outliers, a DEA inversamente busca identificar os pontos extremos. A Figura
2.3 ilustra a diferença entre DEA e regressão.
16
14
12
10
Produto
0
0 2 4 6 8 10 12 14 16
Insumo
Figura 2.3 Comparação entre DEA e regressão (Charnes et al., 1994)
A DEA envolve um princípio alternativo para a extração de informação sobre

população de observações. Ao contrário do que ocorre com abordagens paramétricas, cujo
objetivo configura-se em otimizar um único plano de regressão através dos dados, a DEA,
em cada observação individual, otimiza com um objetivo de calcular a fronteira discreta
pedaço a pedaço determinado pelo conjunto da DMU’s com eficiência de Pareto. Na
verdade, tanto a abordagem paramétrica como a não paramétrica (programação
matemática) usam toda a informação contida nos dados. No entanto, a DEA, otimiza a
medida de desempenho de cada DMU. Como conseqüência, isso resulta em um
entendimento revelado sobre cada DMU em vez da descrição de uma mítica DMU média,
ou seja, o foco da DEA está nas observações individuais, conforme demonstradas pela n
otimizações (uma para cada observação) requerida na análise DEA, em contraste com o
foco nas médias e estimação de parâmetros que estão associados com abordagens de única
otimização estatística. (Charnes et al., 1994)
A abordagem paramétrica (modelos de regressão, índices de produtividade) impõe

certas restrições tais como, forma de função específica, relacionando variáveis
independentes à variáveis dependentes, certos pressupostos sobre a distribuição dos erros
11
dos termos e fatores ganhando valor de seu produto marginal. A DEA calcula uma medida
máxima de desempenho para cada DMU em relação às outras do mesmo conjunto e
simplesmente indica quais DMU’s formam a fronteira extrema e são referências para as
demais abaixo da fronteira. A eficiência técnica relativa de cada DMU é calculada pela
formação da razão da soma ponderada dos produtos pela soma ponderada dos insumos,
onde os pesos para ambos produtos e insumos são selecionados de uma maneira que
calcule a medida de eficiência de Pareto para cada DMU sujeita à restrição de que
nenhuma delas tenha um valor de eficiência relativa maior que a unidade. Os cálculos da
DEA buscam maximizar o escore de eficiência relativa de cada DMU, condicionado ao
fato de que o conjunto de pesos obtido desta maneira para cada DMU seja o mesmo para
todas as outras incluídas no cálculo (Charnes et al., 1994).
Em relação às DMU’s ineficientes, a DEA identifica as fontes e o nível de

ineficiência para insumos e produtos. O nível de ineficiência é determinado por
comparação a uma ou algumas DMU’s na fronteira eficiente que utilizam o mesmo nível
de insumos e produzem o mesmo ou maior nível de produtos. Em função de tal
comparação são calculadas as melhorias, tanto em insumos quanto em produtos como
indicativos de melhorias potenciais obteníveis devido às projeções baseadas nos
desempenhos das DMU’s “comparáveis”.
2.2 Modelos principais de DEA
A partir da introdução da metodologia DEA, vários modelos foram introduzidos

para a sua diversificação e aplicabilidade. Serão aqui, sucintamente descritos, alguns dos
principais modelos.
O primeiro modelo surge com a introdução da metodologia por Charnes, Cooper e

Rhodes (1978), o modelo CCR, que produz uma avaliação objetiva da eficiência geral,
identifica as fontes e estima as quantidades das assim identificadas ineficiências. O modelo
CCR admite orientação a insumos (inputs) e produtos (outputs), com retornos constantes
de escala e com medida de eficiência radial.
Em notação matricial, a formulação do CCR apresentada em (2) torna-se

(PLo) uy o (3)
max
u ,v vx o
sujeito a uY
≤1
vX
u ≥ 0, v ≥ 0.
12
onde o modelo CCR é formulado como um problema de PL com o vetor linha v para os
multiplicadores de insumos e o vetor linha u como multiplicadores de produtos, yo e xo são
os vetores de produtos e insumos da DMUo em análise, e Y e X a matriz de vetores de
produtos e insumos de todas as DMUs. Os multiplicadores u e v são tratados como
variáveis para o caso do problema de programação linear (PL) do modelo CCR orientado a
insumos.
Tomando-se o PLo (3), expresso em notação de matrix-vetor e aplicando uma

transformação com mudança de variáveis (µ,ν em vez de u,v) para mudança do Programa
Fracionário em um Programa Linear (Charnes, Cooper e Rhodes, 1978),
µ = tu
ν = tv
onde,
1
t= ,t>0 (4)
νX o
tem-se o programa linear equivalente (Cooper et al., 2006),
(PLo) max µy o (5)
ν ,µ
sujeito a νxo = 1
− νX + µY ≤ 0
ν ≥ 0, µ ≥ 0.
O problema dual do PLo (5) é expresso com uma variável real θ e a transposta, T,
de um vetor não negativo λ = (λ1, ..., λn)T de variáveis como segue (Cooper et al., 2006):
(DPLo) min θ (6)
θ ,λ
sujeito a θxo − Xλ ≥ 0
Yλ ≥ y o
λ ≥ 0.
A formulação de (2), (3) e (5) é denominada forma de multiplicadores (os pesos). A

formulação (6) é denominada forma de envoltória, onde os λ são os coeficientes da
projeção da DMUo sobre a fronteira de eficiência e θ é a medida da eficiência radial.
13
A análise CCR pode também ser orientada a produto, ou seja, dado um nível de
insumo, qual o máximo produto que pode ser alcançado. A formulação de PL em forma de
envoltória para o modelo orientado a produto é dada por (Cooper et al., 2006),
(PLOo) max η (7)
η ,µ
sujeito a x o − Xµ ≥ 0
η y o − Yµ ≤ 0
µ ≥ 0.
A solução ótima do PLOo (7) pode ser obtida diretamente de uma solução ótima do
modelo CCR orientado a insumo dado em (6) como segue (Cooper et al., 2006).
Seja
λ = µ / η, θ=1/η
Então o PLOo (7) torna-se
(PLOo) min θ (8)
θ ,λ
y o − Yλ ≤ 0
λ ≥ 0.
que é o modelo CCR orientado a insumo. Assim, uma solução ótima de um modelo
orientado a produto relaciona-se àquela do modelo orientado a insumo via:
η∗ = 1 / θ∗, µ∗ = λ∗ / θ∗ (9)
O uso deste modelo de CCR orientado a produto usando θ em vez de η permite

uma comparação com o modelo orientado a insumo em termos do escore de eficiência
(Cooper et al., 2006).
A Figura 2.4 apresenta uma ilustração da aplicação gráfica do modelo CCR para
um conjunto de DMUs para o caso de 1 produto e 1 insumo (Charnes et al., 1994), onde a
DMU2 é eficiente e todas as demais ineficientes.
14
10
P4 (9,8)
8
P3 (6,7)
P7 (10,7)
P2 (3,5)
Y
P5 (5,3)
P1 (2,2)
2
P6 (4,1)
0
0 2 4 6 8 10 12
X
Figura 2.4 Superfície envoltória do CCR orientado a insumos (Charnes et al., 1994)
A Tabela 2.1 e a Figura 2.5 ilustram a aplicação do modelo CCR para um caso de
dois produtos e um insumo (Cooper, Seiford e Tone., 2006). Os valores de insumos foram
unitarizados para simplificar a análise gráfica.
Tabela 2.1 O caso de Um Insumo e Dois Produtos (Cooper, Seiford e Tone, 2006)
Loja A B C D E F G
Empregados x 1 1 1 1 1 1 1
Clientes y1 1 2 3 4 4 5 6
Vendas y2 5 7 4 3 6 5 2
O conjunto de possibilidade de produção é a região limitada pelos eixos e a linha de

fronteira. As filiais A, C e D são ineficientes e sua eficiência pode ser avaliada por
referência às linhas de fronteira.
15
8
B
7
Fronteira Eficiente
E
6
Vendas / Empregados
F
5 A
4
C
3
D
G
2
Conjunto de Possibilidade de Produção
1
0
0 1 2 3 4 5 6 7
Clientes / Empregados
Figura 2.5 O Caso de Um Insumo e Dois Produtos (Cooper, Seiford e Tone, 2006)
A figura 2.6 ajuda a compreender a medida de eficiência radial. Por exemplo, a

eficiência de D é avaliada por
d (O, D)
= 0,75
d (O, P)
onde d(O, D) e d(O, P) significam a “distância de zero a D” e a “distância de zero a P”,

respectivamente.
8
Q B
7
E
6
Vendas / Empregados
F
5 A
P
4
C
3
D G
2
0
0 1 2 3 4 5 6 7
Clientes / Empregados
Figura 2.6 Eficiência e Melhoria (Cooper, Seiford, Tone, 2006)
16
Pela observação da Figura 2.6, pode-se perceber que o ponto P é a projeção radial
do ponto D sobre a fronteira eficiente e suas coordenadas são dadas por:
(YP1, YP2) = (λF.YF1+ λG.YG1, λF.YF2+ λG.YG2),
onde λF e λG são os valores de λ no modelo em forma de envoltória quando da análise da

DMU D e YP1, YF1, YG1 os valores dos pontos P, Y e G no eixo clientes/empregados,
respectivamente, e YP2, YF2, YG2 os valores dos pontos P, Y e G no eixo
vendas/empregados, respectivamente. A análise DEA permite assim apontar o caminho da
melhoria (suas referências) e quanto uma determinada DMU pode melhorar (os valores de
λ).
O modelo proposto por Banker, Charnes e Cooper (1984), denominado BCC

distingue entre eficiências técnicas e de escala por estimar a eficiência técnica pura em
uma dada escala de operação e identificar se possibilidades de retornos de escala
constantes, crescentes ou decrescentes estão presentes para posterior exploração.
O modelo BCC também exige a definição da orientação a insumos (inputs) ou

produtos (outputs), sendo que o movimento de uma DMU ineficiente se foca no
movimento maximal em direção a um dos hiperplanos que formam a fronteira através de
uma redução proporcional de insumos ou um aumento proporcional de produtos.
O modelo BCC orientado a insumos em sua forma de envoltória é dado por

(Cooper et al., 2006)
(BCCo) min θB (10)
θ B ,λ
sujeito a θ B x o − Xλ ≥ 0
Yλ ≥ y o
r
1λ = 1
λ≥0
onde θB é um escalar.
r
A inclusão da restrição 1λ = 1 define para a DMU em análise uma região que é um
sub-conjunto da região do CCR, e θB* não é menor que θ* do CCR (Cooper et al., 2006).
Assim, uma DMU com θ* < 1 na análise CCR, portanto ineficiente, poderá ter um valor
θB* = 1 na análise BCC e ser eficiente em sua região (escala).
A Figura 2.7 apresenta para o mesmo conjunto de DMUs da Figura 2.4 a análise
BCC (Charnes et al., 1994).
17
10
P4 (9,8)
8
P3 (6,7) P7 (10,7)
6
Y
P2 (3,5)
P5 (5,3)
P1 (2,2)
2
P6 (4,1)
0
0 2 4 6 8 10 12
X
Figura 2.7 Superfície envoltória para o modelo BCC orientado a insumos (Charnes et
al., 1994)
Além dos modelos CCR e BCC, os principais da literatura DEA, surgem modelos
adicionais denominados Multiplicativos (Charnes et al., 1982, 1983 apud Charnes et al.,
1994) e Aditivo (Charnes et al., 1985 apud Charnes et al.,1994), os quais tentam
aproximar-se de análise econômicas tradicionais (multiplicativos) e que resolvem o
inconveniente de escolha de orientação (aditivo). Estes modelos serão sumarizados aqui e
suas formulações matemáticas serão omitidas devido ao escopo deste trabalho (ver
Charnes et al., 1982, 1983, e Charnes et al., 1985). Uma visão destes modelos em uma
mesma notação matemática pode ser encontrada em Charnes et al. (1994).
Os modelos Multiplicativos (Charnes et al., 1982,1983 apud Charnes et al., 1994)

provêem uma envoltória log-linear ou uma interpretação pedaço a pedaço de Cobb-
Douglas para os processos de produção (pela redução do modelo aditivo de 1981
antecedente de Charnes, Cooper e Seiford). Para os modelos multiplicativos os retornos de
escala podem ser constantes (multiplicativo variante) ou variáveis (multiplicativo
invariante).
O modelo Aditivo (Charnes et al., 1985 apud Charnes et al., 1994) e o modelo
Aditivo Extendido (Charnes et al., 1987 apud Charnes et al., 1994) relacionam a DEA às
primeiras análises de ineficiências de Charnes-Cooper (1957), apud Charnes et al., (1994)
18
e no processo relacionam os resultados de eficiência ao conceito econômico de T.
Koopmans (1949) apud Charnes et al., (1994). Para o modelo Aditivo os retornos de escala
são variáveis como conseqüência da geometria da superfície envoltória. Segundo Cooper et
al. (2006) o modelo aditivo tem a vantagem sobre o CCR de realizar simultaneamente a
análise de eficiência com ambas as orientações – insumos e produtos. Tem porém a
desvantagem de usar uma medida de distância à fronteira de eficiência adotada do tipo l1
(também denominada distância de quadra), a qual não serve para fins de benchmarking.
2.3 Extensões aos modelos de DEA: categorias, janelas e restrições de pesos
2.3.1 Categorias
Na maior parte das aplicações da DEA considera-se que todos os insumos e
produtos são variáveis contínuas, mas, em situações reais, existe a freqüente possibilidade
de surgirem variáveis ordinais, e se torna importante incorporar apropriadamente tais
variáveis para que não haja algum tipo de má contextualização da DMU e por
conseqüência uma avaliação que não reflita a realidade.
O conceito de categorias pode ser usado para evitar os problemas citados, onde há
um alinhamento natural ou hierarquia de categorias e onde cada DMU deveria ser
comparada apenas com DMU’s em sua categoria ou em situação mais desvantajosa,
aquelas operando sob as mesmas ou piores condições, muito embora todas as DMU’s
tivessem os mesmos tipos de insumos e produtos. Se as categorias não são comparáveis,
então uma análise separada deveria ser realizada para cada categoria.
2.3.2 Análise de Janela
Uma outra ótica serve como extensão da DEA. De acordo com Charnes et al.
(1994), em geral cada DMU é observada apenas uma vez, mas em casos reais as DMU’s
podem ser observadas em períodos de tempo, e é importante analisar tais DMU’s nessas
janelas e focar as mudanças da eficiência ao longo do tempo, onde a mesma DMU é vista
como uma DMU “diferente” em cada período de tempo.
O arranjo dos resultados de uma análise de janela facilita a identificação de

tendência no desempenho, a estabilidade dos conjuntos de referência e outros possíveis
vislumbramentos. Por exemplo, uma “visão de linhas” clareia as tendências de
desempenho para a observação de melhora ou piora de um período em relação aos
anteriores. A tabela de participação da faceta, a qual registra o número de vezes que uma
DMU eficiente aparece no conjunto de referência eficiente para outras DMU’s, é um
aspecto valioso na análise de janela.
19
Charnes et al. (1994) ilustram essa extensão com um estudo sobre manutenção de
caças da Força Aérea dos Estados Unidos. Os dados foram obtidos para 14 (n = 14)
esquadrões de caças táticos da Força Aérea dos EUA em um período de sete (p = 7) meses.
Para realisar a análise usando janelas de três meses (w = 3), se procede como segue.
Cada DMU é representada como se fosse uma DMU diferente para cada um dos
três meses sucessivos na primeira janela (M1, M2, M3), e uma análise de 42 (nw = 3 x 14)
DMUs é realizada. A janela então muda um período e uma análise é realizada no segundo
conjunto de três meses (M2, M3, M4) de 42 DMUs. O processo continua desta maneira,
mudando a janela para frente um período a cada vez e concluindo com a análise final
(quinta) de 42 DMUs para os últimos três meses (M5, M6, M7). Em geral se realiza p – w
+ 1 análises separadas, onde cada análise examina nw DMUs. A Tabela 2.2 ilustra o
resultado desta análise.
20
Tabela 2.2 Análise de Janela com Janela de Três Meses (Charnes et al.1994)
Esquadrão Mês Mês Mês Mês Mês Mês Mês

1 2 3 4 5 6 7
A 97,89 97,31 98,14
97,36 97,53 97,04
96,21 95,92 94,54
95,79 94,63 97,64
94,22 97,24 97,74
B 93,90 95,67 96,14
96,72 96,42 94,63
95,75 94,14 93,26
94,54 93,46 96,02
93,02 06,02 94,49
C 93,77 91,53 95,26
91,77 95,55 94,29
93,21 95,04 94,83
93,20 93,09 92,22
93,59 92,32 92,83
... ... ... ... ... ... ... ...
E 100 100 100
100 100 100
98,97 99,05 100
99,37 100 100
100 100 100
F 97,42 93,48 96,07
93,60 96,24 93,56
94,46 91,75 92,49
91,73 92,32 92,35
92,68 91,98 99,64
... ... ... ... ... ... ... ...
H 100 100 100
100 100 100
100 100 100
100 100 100
100 100 100
I 99,11 95,94 99,76
96,04 100 100
98,16 98,99 94,59
98,97 94,62 99,16
94,68 98,92 97,28
J 92,85 90,90 91,62
91,50 92,12 94,75
90,26 93,39 93,83
92,92 93,84 95,33
94,52 96,07 94,43
K 86,25 84,42 84,03
84,98 84,47 93,74
83,37 82,54 80,20
82,39 80,14 79,58
80,96 78,66 79,75
... ... ... ... ... ... ... ...
M 100 100 100
100 100 100
100 100 100
100 100 98,75
100 98,51 99,59
N 100 100 98,63
100 100 100
99,45 100 100
100 100 100
100 100 100
21
2.3.3 Restrição de Pesos – Região de Garantia (Assurance Region)
Em geral em um modelo com retorno constante de escala, não há, a princípio,
restrição aos pesos, podendo os mesmos, variarem a partir de zero.
O modelo básico CCR, por exemplo, tem como pressuposto o retorno constante de
escala, ou seja, o tamanho da DMU não altera a relação de transformação entre insumos e
produtos. Este modelo pode ser orientado a insumos ou produtos, ou seja, em termos de
minimizar os insumos para dado nível de produto, ou maximizar produtos dado
determinado nível de insumos, respectivamente modelo orientado a insumo, ou CCR-I
(Input), e orientado a produto, ou CCR-O (Output).
A análise CCR-O (assim como CCR-I) tem, todavia, o inconveniente de permitir

que o máximo escore de eficiência dado a uma DMU possa ser alcançado com peso zero
em algum produto, resultando que uma DMU teria seu melhor desempenho se tivesse
deixado de produzir um dos produtos. Uma alternativa para que isso não ocorra é impor
limites aos pesos. Uma abordagem é a proposta por Thompson et al. (1986) denominada
por estes como Assurance Region, ou Região de Garantia devido a se garantir que a
variação dos pesos ficará restrita (assegurada) a esta região. Assim, os pesos para produtos
seriam restritos a variar na forma:
u2
L2,1 ≤ ≤ U 2,1 (11)
u1
onde L2,1 é o limite inferior (Lower) para a razão dos pesos de produtos u2/u1, e U2,1 o
limite superior (Upper) para a mesma razão. Outras estratégias são apresentadas por Dyson
e Thanassoulis (1988), Charnes et al. (1990) e Roll, Cook e Golany (1991).
2.4 Processo e Metodologia de DEA
Ao se utilizar a análise de envoltória de dados, a metodologia requer a formulação

dos modelos, escolha de variáveis, a definição de pressupostos subjacentes à função de
produção, representação de dados, interpretação de resultados e conhecimento de
limitações, para que se possa processar corretamente a condução de estudos de DEA e seus
vários usos, tais como análise exploratória de dados, implementação de soluções, assim
como precauções na aplicação do método (Charnes et al., 1994).
A especificação da função produção é a descrição do relacionamento insumo-

produto em uma organização, a tecnologia de transformação que determina a máxima
22
quantidade de produtos que podem ser produzidos de uma combinação de vários insumos –
ou alternativamente, a mínima combinação de vários insumos necessária para produzir um
dado nível de produtos.
A escolha do modelo de DEA a princípio deve levar em consideração duas

questões: se há ou não justificativa para a suposição de retornos constantes de escala; e se a
orientação deve ser à maximização de produtos, minimização de insumos, ou uma ênfase
igual de produtos e insumos.
A construção dos conjuntos de dados, que nem sempre estão à disposição, muitas
vezes precisam ser construídos e para tanto se deve escolher quais são as variáveis de
insumo e produto mais relevantes e o nível e correlação entre elas, assim como considerar
a precisão dos dados.
As soluções da DEA, que são freqüentemente mal interpretadas, são tratadas como
prescrições deterministas, porém deveriam ser entendidas como resultado da projeção da
DMU ineficiente sobre a fronteira de eficiência, e, portanto, um indicativo para os gestores
na direção onde atuar.
Adicionalmente Charnes et al. (1994) apontam algumas precauções na condução e

análise da utilização da DEA.
Assim como na regressão múltipla, é importante estabelecer a priori da existência

de uma associação entre os insumos e produtos, assim como minimizar redundâncias nos
insumos e produtos.
Em relação à sensibilidade da metodologia DEA dois aspectos são importantes. O

primeiro envolve erros de precisão ou medição dos dados uma vez que há apenas uma
única observação para cada insumo e produto. A segunda envolve os fora de série
(outliers), aqueles para os quais a própria DMU é usada como única referência para si
mesma, e onde as soluções DEA para o conjunto de dados não são informativas.
Outra precaução é com a relação entre o número de DMU’s e o número de insumos

e produtos, pois poderia haver situações em que a aplicação da DEA não seria capaz de
discriminar entre as DMU’s, resultando que todas seriam calculadas eficientes posto que o
número relativo entre um e outro é deveras pequeno. Para evitar tal situação Charnes et al.
(1994) recomenda que o número mínimo de DMU’s seja igual ou maior que três vezes a
soma de insumos e produtos.
23
Como todos os cálculos de programação matemática, os cálculos de DEA podem
ser afetados por ótimos alternados e degeneração, portanto se faz necessário que medidas
preventivas sejam tomadas.
Apesar de todas essas questões e singularidades, vale notar que a metodologia DEA
provê uma nova abordagem para a organização e análise de dados, e para deixar os dados
falarem por si mesmos diretamente.
2.5 Estudos de DEA em Universidades no Brasil
Os estudos envolvendo universidades giraram em torno da avaliação da eficiência,

pela preocupação e necessidade de ter um instrumento de avaliação alternativo que
considere os dados de uma maneira geral onde não há uma função produção definida,
tornando assim, a metodologia DEA apropriada para essa avaliação.
Abel (2000) utiliza a DEA para determinar a produtividade relativa de

departamentos acadêmicos de uma universidade federal, através da média de distribuição
de freqüência que foi utilizada como indicador da produtividade relativa dos
departamentos, o que resultou em evidências de que houve um aumento nos índices de
produtividade para a maioria dos departamentos em relação aos índices dos anos
anteriores. Albani Neto (2000) analisa a eficiência produtiva dos cursos de pós-graduação
em engenharia civil, nível de mestrado, conforme dados da CAPES. Amaral (1999) utiliza
a DEA para avaliar a eficiência produtiva das unidades acadêmicas de uma universidade
federal, revelando quatro unidades eficientes do ponto de vista produtivo e indicando a
possível presença de fenômeno não identificado que afetou negativamente o desempenho
de todas as unidades em um dos anos analisados, sendo que eliminados os focos de
ineficiência o número de formandos das unidades ineficientes duplicaria.
Bandeira (2000) utiliza a DEA para avaliar a eficiência dos departamentos de uma
universidade federal, cujos resultados premitem: destacar alguns pontos de ineficiência,
que podem ser melhorados; identificar características de departamentos mais eficientes,
que possam ser repassadas aos menos eficientes, para que estes elevem seu desempenho; e
contribuir para a homogeneização da eficiência de todos os departamentos acadêmicos da
UFRGS, com o intuito de aperfeiçoar a universidade como um todo. Belloni (2000) propõe
uma metodologia, baseada na DEA, para avaliar a eficiência produtiva de universidades
federais. Como resultado encontra seis das 33 universidades federais sob análise
consideradas tecnicamente eficientes. Para cada uma das demais 27 instituições a
24
metodologia proposta identificou ações e estratégias de melhoria da produtividade
baseadas em metas de produção construídas a partir de um conjunto de universidades de
referência e um conjunto de relações de valor entre as variáveis consideradas. As maiores
possibilidades de crescimento da produtividade do Sistema de Instituições Federais de
Ensino Superior concentram-se em alterações nos projetos acadêmicos da maioria das
universidades, na direção de aumentar as atividades de pesquisa. Dalmas (2000) utilizou a
DEA para avaliar o desempenho do curso de graduação em Administração da região Sul do
Brasil que participaram do Exame Nacional de Cursos em 1998. Guedes (2002) utiliza a
DEA para avaliar a eficiência na formação de alunos dos cursos de engenharia civil das
universidades brasileiras. Lopes (1998) propôs, através da DEA, uma metodologia para
avaliar o desempenho, produtividade e qualidade de departamentos acadêmicos de uma
universidade brasileira. Os resultados sugerem que 15 dos 58 departamentos da
universidade apresentam um baixo grau de pertinência no conjunto de indicadores.
Resultados adicionais do estudo são como segue: correlação virtualmente zero entre as
produtividades departamentais em ensino, pesquisa e extensão; correlação positiva, embora
fraca, entre produtividade em pesquisa e qualidade; fracos efeitos de escala em
produtividade em pesquisa (positivo), em ensino (negativo) e qualidade (positivo). Nunes
(1998) utiliza a DEA para construir uma fronteira de eficiência produtiva sobre os dados
referentes à produção científica e ao corpo docente dos departamentos de ensino da
Universidade Federal de Santa Catarina do período 1991 a 1994, para servir como
orientações fornecidas aos chefes dos departamentos para auxiliá-los na definição de metas
que lhes permitam reduzir a ineficiência observada.
Panepucci (2003) utiliza a DEA para avaliar a eficiência de departamentos de uma

universidade pública federal. Como resultado desta abordagem, obteve-se uma
classificação geral de todos os trinta departamentos da universidade em relação a sete
medidas de produção nas áreas de ensino, pesquisa e extensão, e duas medidas de recursos.
Somado a isto, classificações individuais foram obtidas considerando uma área por vez, ou
considerando conjuntos de departamentos relacionados pertencendo a um mesmo centro.
Paredes (1999) aplica a DEA e outra técnica para avaliar a eficiência técnica de
universidades federais. Os resultados obtidos na aplicação empírica levaram a concluir que
as técnicas empregadas levam a resultados muito próximos no que diz respeito à
identificação dos insumos e produtos relevantes e, conseqüentemente, à construção de
fronteiras de eficiência semelhantes. Pegado Neto (2003) baseando-se na metodologia da
25
DEA procura avaliar a eficiência das instituições brasileiras de ensino superior. Quaresma
(2000) aplica a DEA para mensurar a eficiência de 62 departamentos em 9 centros de uma
universidade federal no ano de 1996. Santos (2003) utiliza a DEA para avaliar a eficiência
produtiva de quatorze departamentos de ensino de uma universidade estadual sendo que ao
final foram apresentadas as metas a serem atingidas pelos departamentos ineficientes e
uma comparação entre os anos de 2001 e 2002 das eficiências atingidas pelos
departamentos de ensino. Silva (2001) utiliza a DEA para avaliar a eficiência dos
programas de pós-graduação em engenharia no Brasil no ano de 1998, de modo compatível
com os parâmetros de avaliação da CAPES. Souza (2004) propõe uma avaliação de
produtividade dos cursos de pós-graduação existentes no Brasil, através da DEA, com
vistas a ampliar as formas de avaliação atualmente em vigor.
Tabela 2.3 Estudos no Brasil – Teses de Mestrado e Doutorado

Aplicação Autores
Avaliação de Desempenho de Departamentos Acadêmicos Abel (2000); Amaral (1999);
Bandeira (2000); Lopes (1998);
Nunes (1998); Panepucci (2003);
Quaresma (2000); Santos (2003)
Avaliação de Desempenho de Programas de Pós-graduação Albani Neto (2000); Silva (2001)
Souza (2004)
Avaliação de Desempenho de Instituições de Ensino Superior Belloni (2000); Paredes (1999);
Pegado Neto (2003)
Avaliação de Desempenho de Cursos de Graduação Dalmas (2000); Guedes (2002)
2.6 Estudos Internacionais de Aplicação de DEA em Educação
Como exemplos de aplicação da DEA em nível internacional, são citados alguns

artigos que tratam sobre educação secundária e superior, e não só na questão do ensino,
mas na gestão tanto educacional como financeira e de alocação de recursos e também na
avaliação de políticas voltadas para a educação.
Bifulco e Bretschneider (2003) respondem a um artigo comentando erros de

correlação entre as estimativas de eficiência e a verdadeira eficiência em um artigo anterior
26
deles onde haviam aplicado as metodologias DEA e COLS a dados simulados. Depois de
uma avaliação do comentário feito por Ruggiero (2003) os autores acordam que as
conclusões primárias do estudo original permanecem, pois se o conjunto de dados
administrativos usados nos programas de contabilidade da escola tem montantes
significantes de erros de medidas, e se os métodos usados para estimar a eficiência
requerem insumos exógenos, então medidas de eficiência estudantil podem ser
completamente enganosas.
Caballero et al. (2004) em seu artigo propõem uma metodologia para servir como
um mecanismo guia para a alocação e gerenciamento de recursos financeiros universitários
tendo como seu objetivo a eficiência. Especificamente um modelo auxiliar é fornecido para
tomada de decisão, o planejamento de política de staff dentro das garantias universitárias,
um igual tratamento de todas as unidades de ensino e pesquisa e uma maior transparência
na alocação de recursos financeiros, tanto quanto uma monitoração racional de alocações
executadas e seus efeitos nos níveis de eficiência da universidade. O modelo fornecido é
baseado no uso de duas técnica quantitativas: DEA e o múltiplo critério de tomadas de
decisões (MCDM) ambas as técnicas estão ligadas em um caminho que torna possível
transferir informações de um para o outro.
Casu e Thanassoulis (2006) descrevem uma tentativa de avaliar a eficiência de

custo na administração básica das universidades do Reino Unido, ajustando a estrutura da
DEA para identificar práticas que levem ao custo eficiente de serviços administrativos
básicos nas universidades do Reino Unido, onde gastos com administração estão
geralmente em torno de 30% do que é alocado para atividades acadêmicas. Os autores
citam que os conselhos monetários das instituições de ensino superior tem
progressivamente evoluído sistemas cuidadosos para medir desempenho universitário em
qualidade de ensino e pesquisa e que de fato, os recursos financeiros das universidades
estão ligados com seus desempenhos em pesquisa. Os problemas em definir a unidade de
avaliação e o relacionamento entre insumos e produtos são demonstrados.
Glass et al. (2006) destacam que alvos políticos para o ensino superior no Reino
Unido encorajam as universidades publicamente a se tornarem mais especializadas e
maiores em tamanho sem comprometer a qualidade dos produtos e que por isso, ganhos em
eficiência são esperados para, a partir desse aumento na especialização, ter resultados de
acordo com a força comparativa de pesquisa e ensino das universidades. Uniões para obter
ganhos de economia de escala estão também sendo ativamente encorajados. Dado este
27
cenário, o artigo investiga se medidas de eficiência de melhores práticas baseadas em DEA
fornecem suporte empírico para os alvos políticos correntes. O artigo também avalia se tal
suporte é dependente de tipos específicos de medidas de eficiência usada na modelagem
DEA. A avaliação encontrou que uma seleção de nove medidas de eficiência variante
comumente usadas, geralmente dão suporte aos alvos políticos correntes. O artigo também
usa a principal estrutura para explorar as questões envolvidas no uso de escores de
eficiência computados pela DEA para avaliações de políticas e possível direcionamento de
fundos no ensino superior no Reino Unido.
Jill Johnes (2005) se propõe a examinar a possibilidade de medir a eficiência no

contexto do ensino superior. O artigo começa pela exploração de vantagens e desvantagens
dos vários métodos de medição de eficiência no contexto do ensino superior. A facilidade
com a qual a data envelopment analysis (DEA) pode utilizar múltiplos insumos e múltiplos
produtos fazem dela uma escolha atrativa de técnica para medir eficiência de instituições
de ensino superior, ainda suas desvantagens não podem ser ignoradas. Deste modo, um
número de extensões para a metodologia, designadas para superar algumas das
desvantagens, são apresentadas. O artigo termina com uma aplicação de DEA a um
conjunto de dados com mais de 100 IES na Inglaterra usando os dados do ano 2000/01.
Eficiência técnica e de escala no setor do ensino superior inglês parece ser alta em média.
O teste de Pastor, Ruiz, e Sirvent (2002) para comparar modelos internos de DEA é útil
para reduzir o modelo completo para um menor “significante” conjunto de insumos e
produtos. Deste modo, a quantidade e a qualidade de universitários, a quantidade de pós-
graduados, gasto na administração, e o valor do pagamento de juros e depreciação são
insumos significantes, e a quantidade e qualidade dos universitários finalistas, a quantidade
dos pós-graduandos finalistas e pesquisas são produtos significantes no processo de
produção do ensino superior inglês. A possibilidade de diferenças na fronteira produtiva (e
conseqüentemente na distribuição de eficiências) de três grupos distintos de IES é
explorado usando um teste proposto por Charnes, Cooper e Rhodes (1981) mas nenhuma
diferença significativa foi encontrada. O procedimento de Bootstrap, de qualquer modo,
sugere que diferenças entre as IES inglesas de maior ou menor eficiência são significantes.
Em outro artigo Johnes (2005) aplica a Análise envoltória de Dados (DEA) a 2547
graduados em economia das universidades do Reino Unido em 1993, em ordem, para
avaliar a eficiência de ensino. Na metodologia adotada cada eficiência individual é
decomposta em duas componentes: uma atribuível a universidade na qual o estudante
28
estudou, e a outra atribuível ao próprio estudante. A partir da componente padrão, uma
medida de eficiência de ensino de cada instituição é derivada e comparada aos escores de
eficiência derivados de uma aplicação convencional de DEA usando cada departamento de
Economia como uma unidade de tomada de decisão (DMU). Os resultados sugerem que as
eficiências derivadas da DEA realizadas em um nível agregado incluem ambas as
componentes, institucional e individual, e são, por essa razão, enganosas. Deste modo, a
unidade de análise em DEA é altamente importante. Além disso, uma análise em nível
individual pode dar vislumbramentos institucionais, quer sejam eles o esforço próprio dos
estudantes ou eficiência das instituições que são um limite no aumento de eficiência. Isto
tem implicações para a escolha da estratégia para melhorar a eficiência.
Ruggiero (2003) comenta um artigo de Bifulco e Bretschneider (2001) onde estes

analisaram o desempenho da DEA e dos mínimos quadrados ordinários corrigidos (COLS
– Corrected Ordinary Least Square) usando dados simulados. Para Ruggiero os resultados
foram desanimadores com ambos os métodos com desempenho nivelado por baixo, com
casos em que erros e medidas foram assumidos como inexistentes. Os autores concluíram,
que os métodos correntes de avaliação da performance de distritos escolares são
inadequados para o desempenho básico da reforma estudantil. Ruggiero procura mostrar
que a simulação apresentada foi defeituosa por inconsistência do processo de geração de
dados e métodos empregados. Após a correção dessas inconsistências e a reavaliação da
eficiência, os resultados são mais consistentes com a literatura e mais favoráveis para
ambas as abordagens.
Soteriou et al. (1998) utilizam a metodologia DEA para avaliar de escolas

secundárias em Cyprus. À parte da avaliação da eficiência relativa das escolas, o estudo
fornece recomendações para melhorias das escolas ineficientes e discute implicações
gerenciais. Muito além, achados empíricos baseados em uma abordagem para estimar
efeitos de eficiência ambiental sugerem que não existem diferenças de eficiência entre
escolas operando em áreas rurais e aquelas operando em áreas urbanas.
2.7 Síntese para a Pesquisa
Neste capítulo foram apresentados os principais modelos de DEA e suas

extensões assim como seus processos e metodologias para então mostrar o
desenvolvimento da aplicação dessa metodologia no Brasil através das teses e dissertações
29
pesquisadas que envolviam a utilização da DEA de uma forma geral e particularmente com
aplicação em universidades.
A apresentação exaustiva da literatura de DEA não é escopo deste trabalho.

Tavares (2003) apresenta um levantamento do período 1978-2001 contendo mais de 3200
artigos, livros, etc., publicados por mais de 1600 autores. A literatura referente a 2003-
2006 pode bem alcançar volume semelhante e não é propósito deste estudo.
Uma visão atualizada dos principais aspectos metodológicos além do escopo desta
Tese podem ser encontradas em Cooper, Seiford e Tone (2006), que também contém em
CD-ROM uma bibliografia abrangente de DEA.
Para esta pesquisa, como se verá a seguir, os pontos abordados neste capítulo são
os necessários.
30
Capítulo 3
Metodologia da Pesquisa
O propósito deste capítulo é apresentar os dados e a metodologia utilizada para o

tratamento dos mesmos.
Este capítulo é composto pela tipologia da pesquisa, a base de dados, os modelos

utilizados, ferramenta computacional e as análises suplementares.
3.1 Tipologia da Pesquisa
Essa pesquisa é aplicada quanto à sua natureza, quantitativa quanto à forma de

abordagem, é exploratória e explicativa quanto aos objetivos, e bibliográfica e
experimental quanto aos procedimentos técnicos.
3.2 Dados
A pesquisa é aplicada aos Programas de pós-graduação de Engenharia Mecânica e

Engenharia de Produção avaliados pela CAPES, com a participação de 38 programas, no
período de 2001 a 2003.
São utilizados como dados para esta pesquisa, o número de professores efetivos
dos programas de pós-graduação pesquisados como dados de insumo (inputs) e o número
de egressos e da produção científica indexada por docente permanente dos referidos
programas como produtos (outputs).
A Tabela 3.1 apresenta os programas e dados usados. Para ajuste de magnitude
dos dados, o número de titulados está apresentado em 10 alunos. Para os casos de valor
zero em algum produto (titulação ou produção), foi adotado o valor 0,001 pequeno. Não
foram considerados os programas que não foram avaliados em todos os anos do triênio.
31
Tabela 3.1 Lista de DMU’s e dados CAPES (CAPES, 2004)
2001 2002 2003
DMU IES Programa Cursos Nota
Doc Tit Prod Doc Tit Prod Doc Tit Prod
1 IME Mecânica M 3 8 0,5 2,300 9 0,4 3,800 7 0,5 2,500
2 PUC/MG Mecânica M 4 12 0,8 0,360 10 0,8 3,800 11 1,3 3,500
3 PUC/PR Mecânica M 4 10 0,5 2,000 10 0,5 1,600 12 1,1 1,900
4 PUC/Rio Mecânica MD 6 22 1,2 13,000 20 2,7 12,800 23 3,1 11,300
5 UFES Mecânica M 3 12 0,4 2,100 12 0,7 0,960 9 0,6 3,050
6 UFF Mecânica M 4 11 1,2 3,000 14 1 7,800 17 2 8,500
7 UFMG Mecânica MD 4 25 1,9 4,500 25 2,5 6,800 25 3 9,400
8 UFPA Mecânica M 3 12 0,3 0,480 10 0,4 2,400 14 0,4 2,700
9 UFPB/JP Mecânica MD 4 18 1 3,400 23 3,8 6,000 22 3,2 3,800
10 UFPE Mecânica M 4 18 0,9 5,000 20 0,5 3,800 22 1,2 7,500
11 UFPR Mecânica M 4 15 0,001 7,700 19 0,4 8,200 22 1,3 8,000
12 UFRGS Mecânica MD 5 23 2,6 9,700 22 2,9 5,900 26 3,8 9,800
13 UFRJ Mecânica MD 6 26 3,1 8,600 23 2,7 21,400 24 3,4 17,600
14 UFRN Mecânica M 4 13 0,7 0,910 13 0,8 6,200 14 0,7 17,700
15 UFSC Mecânica MDF 6 40 6,5 10,400 41 5,8 9,400 51 8,2 25,300
16 UFU Mecânica MD 5 25 2,3 6,500 28 2,2 8,400 29 3,3 13,300
17 UNB Mecânica M 4 12 0,4 6,000 19 0,6 8,700 14 0,5 5,000
18 UNESP/G Mecânica MD 4 26 1,1 6,500 23 2,3 15,900 29 2,5 19,100
19 UNESP/IS Mecânica M 3 13 1,1 0,001 15 0,8 0,750 16 1 5,300
20 UNICAMP Mecânica MDF 6 52 11,5 24,400 51 8,3 28,600 58 11,7 49,300
21 UNIFEI Mecânica MD 4 12 0,9 0,720 12 1,1 0,001 12 1 4,300
22 USP/SC Mecânica MD 5 29 3,1 7,000 32 5,1 14,700 33 6,4 13,500
23 USP/SP Mecânica MD 5 27 3 7,300 40 5,5 7,600 34 3,2 8,500
24 PUC/Rio Produção MDF 4 10 2,3 4,500 11 3,2 0,880 12 2,3 1,200
25 UFF Produção M 4 24 1,8 0,480 24 3,2 7,200 22 4,1 4,700
26 UFMG Produção M 4 10 0,4 0,001 9 1,1 0,001 11 1,1 0,530
27 UFPB/JP Produção M 3 6 1,5 1,700 11 1,9 0,001 17 0,7 0,570
28 UFPE Produção MDF 5 13 1,3 1,200 15 1,6 2,000 15 2,2 0,880
29 UFRGS Produção MD 5 13 0,6 4,900 12 1,1 3,400 13 2,9 4,600
30 UFRJ Produção MD 5 28 15 8,100 30 15,4 12,300 33 13,4 24,800
31 UFRN Produção M 3 7 0,9 0,001 11 1,3 0,001 14 1,6 0,001
32 UFSCAR Produção MD 4 27 1,9 7,100 28 2,4 7,300 29 3,9 9,800
33 UFSM Produção M 3 24 4,1 0,001 24 4,3 2,400 25 6,8 1,000
34 UNIFEI Produção M 3 18 2,3 0,001 9 1,2 0,001 9 2,2 2,500
35 UNIMEP Produção MD 4 13 1,6 2,700 14 1,4 2,700 19 2,2 5,600
36 UNIP Produção M 3 12 1,3 3,000 14 1,4 1,800 15 1,5 2,600
37 USP/SC Produção MD 4 14 1,5 1,700 12 1,6 1,600 17 2,7 2,100
38 USP/SP Produção MD 5 26 3,4 5,200 28 5 2,200 28 4,5 10,300
Legenda:
M – Mestrado, D – Doutorado, F – Mestrado Profissional
Doc – Total de Docentes do NRD6 (Docente com 40h de contrato com a IES e participação no Pograma de Pós-Graduação em mais de
30% do seu tempo de trabalho ao longo dos 12 meses do ano)
Tit – Soma dos Mestres e Doutores Titulados no ano
Prod – Pontuação da produção científica pontuada = 1,0 x Int. A + 0,75 x Int. B + 0,5 Nac. A, Int. e Nac. referem-se a periódicos
Internacionais e Nacionais, respectivamente, e A e B são classificação do periódico conforme tabela QUALIS da CAPES para a área
Notas:
1. Não foram incluídos programas que não eram apenas Engenharia de Produção ou Engenharia Mecânica
2. Foram atribuídos valores 0,001 para casos de valores nulos, para fins de computação.
3. Não foram incluídos os Programas novos e com menos de três anos de avaliação.
32
Observa-se que a CAPES avalia sete quesitos, sendo que ela mesma cita como
especiais os quesitos de produção científica e teses e dissertações (egressos). Entende-se,
portanto, que os quesitos utilizados para este estudo são os insumos e produtos mais
relevantes.
Considerando esses quesitos como as únicas variáveis de observação, busca-se
uma simplificação na avaliação quantitativa, que uma vez sendo confirmada representará
uma economia de tempo e recursos que poderão ser canalizados para a avaliação
qualitativa ou qualquer outra que se julgar necessária e conveniente.
Os dados foram coletados junto à Coordenação de Aperfeiçoamento de Pessoal de
Nível Superior (CAPES), através do relatório referente à avaliação tri-anual da Área das
Engenharias III (2001-2003). Devido a questões de sensibilidades da DEA os dados
referentes à titulação são divididos por 10 para que se tornem semelhantes, em magnitude,
aos demais dados de produto (outputs).
3.3 Modelos e Análises de DEA utilizados
3.3.1 Modelo CCR

O primeiro questionamento é a respeito de qual orientação seguir, se a insumos ou a
produtos. Uma vez que, dentro do meio acadêmico, se espera a disseminação, a produção e
a multiplicação do conhecimento, não interessaria pensar em minimizar os insumos e
manter o nível de produtos, ao contrário, maximizar a produção do conhecimento a partir
dos insumos existentes, levando à escolha da orientação a produtos.
O segundo questionamento é a respeito de qual modelo utilizar, com retornos

constantes de escala ou com retornos variáveis de escala. Neste estudo assume-se que não
haja alteração na capacidade produtiva de titular e publicar por docente em função da
escala de produção. Assume-se assim o modelo CCR.
O modelo utilizado para análise é o CCR orientado a produto (output) tal como
apresentado no PLOo (7) no Capítulo 2 mas que será estudado na formulação orientada a
insumo tal como apresentado no PLOo (8) para análise similar do escore de eficiência:
(PLOo) min θ (12)
θ ,λ
y o − Yλ ≤ 0
λ ≥ 0.
33
Para ilustrar a aplicação, tomando-se a DMU24 (Tabela 3.1) e analisando apenas a
Engenharia de Produção no ano 2001, o modelo para análise da mesma é dado por
min θ (13)
θ ,λ
sujeito a
θ.10 – 10λ24 – 24λ25 – 10λ26 – 6λ27 – 13λ28 – 13λ29 – 28λ30 – 7λ31 – 27λ32 – 24λ33 – 18λ34
– 13λ35 – 12λ36 – 14λ37 – 26λ38 ≥ 0
2,3 – 2,3λ24 – 1,8λ25 – 4λ26 – 1,5λ27 – 1,3λ28 – 6λ29 – 15λ30 – 9λ31 – 1,9λ32 – 4,1λ33 –
2,3λ34 – 1,6λ35 – 1,3λ36– 1,5λ37 – 3,4λ38 ≤ 0
4,5 – 4,5λ24 –0,48λ25 – 0,001λ26 – 1,7λ27 – 1,2λ28 – 4,9λ29 – 8,1λ30 – 0,001λ31 – 7,3λ32 –
0,001λ33 – 0,001λ34 – 2,7λ35 – 3λ36– 1,7λ37 – 5,2λ38 ≤ 0
λ≥0
O resultado para esta análise é
θ∗ = 1
λ∗24 = 1, todos os outros λ∗j = 0, j = 24,..., 38.
Desse modo, para esse ano, a DMU24 é eficiente.

Além do exposto, poderia-se ainda citar que em trabalhos desenvolvidos no Brasil
dentro da mesma temática foi utilizado o método CCR para suas avaliações, como Belloni
(2000), Lopes (1998), Paiva (2000) e Lins et al.(2004).
A escolha, porém, do método CCR, poderia levar a um problema no caso
específico deste estudo. A concepção do CCR não exime a possibilidade de que, para uma
DMU ser considerada eficiente, um dos quesitos avaliados tenha peso zero (mínimo) em
benefício da maximização do demais quesitos para a obtenção do escore máximo da DMU.
Ter a maximização do escore da DMU significando valor nulo a qualquer produto é um
resultado não apropriado porque significaria que esta DMU seria eficiente se deixasse de
produzir este produto. No caso em estudo, significaria ser eficiente sem titular ou publicar.
Para evitar esse eventual problema, há a possibilidade da utilização do modelo da
Região de Garantia orientado a produtos com retornos constantes de escala (Assurance
Region, Output, Constant - AR-O-C) que restringiria a magnitude relativa dos pesos,
fazendo com que nenhuma DMU possa ser considerada eficiente sem que para isso tenha
que zerar um dos pesos.
34
Para dirimir qualquer dúvida serão utilizados, a princípio, os dois métodos, CCR e
AR-O-C, e então após a verificação se seguirá com aquele mais adequado a este estudo.
3.3.2 Análise em Janela

É feita a análise em janela com o período de dois anos para os programas de pós-
graduação por curso. Serão analisados assim os anos 2001-2002, 2002-2003.
3.3.3 Retirando outstanding
Com vistas a uma melhor observação do comportamento da DMU’s serão retiradas
de cada conjunto (Mecânica e Produção) aquelas supostas outstanding que são as DMU’s
com desempenho muito superior às demais o que visa explorar mais um segundo nível de
análise.
É observado, então, o comportamento das DMU’s com a retirada das supostas

outstanding de dentro de seus conjuntos.
Como critério para indicar os possíveis fora de série, consideram-se aqueles que
foram em pelo menos dois anos referência para seus conjuntos e que seriam candidatas a
notas 6 ou 7 na metodologia CAPES.
3.4 Ferramenta Computacional
É utilizado o software DEA-SOLVER Learning Version 3.0, disponibilizado por

Cooper, Seiford e Tone (2006), e planilha eletrônica MS Excel ©. Com base nos resultados
obtidos são feitas as análises.
3.5 Análise Suplementar - Comparação com Avaliação CAPES
Esta comparação visa mostrar se há e qual o tamanho da diferença entre a avaliação

da CAPES e da DEA, e é feita comparando-se os escores das DMU’s que variam de zero a
1,000 e as notas da CAPES que variam de 1 a 5, podendo chegar a 6 ou no máximo 7. Em
complemento à essa análise é feita uma percepção entre os escores médios e as notas finais
da CAPES através da correlação de Pearson.
35
Capítulo 4
Resultados e Discussão
O propósito deste capítulo é apresentar e discutir os resultados gerados a partir da

aplicação da Metodologia DEA aos dados, com uma análise que consiste na organização
de tabelas e medidas que facilitam a compreensão das informações.
Inicialmente, este capítulo apresenta a análise dos programas em conjunto

(Mecânica e Produção) com método CCR-O, seguindo-se da mesma avaliação com o
método AR-O-C. A partir de então, definido o método a ser utilizado, seguem-se as
análises em separado ano a ano, comparativa, em janela, retirando os fora de séries e uma
análise entre as avaliações CAPES e DEA. Finalizando o capítulo há uma síntese do
mesmo.
4.1 Análise CCR-O, Ano a Ano, em conjunto
A tabela 4.1 apresenta os escores e os pesos das DMU’s, no ano de 2001,

analisadas em conjunto, em uma primeira análise com o modelo CCR-O, orientado a
produtos, para uma verificação do comportamento dos pesos utilizados no cálculo dos
escores. Como se vê houve pesos considerados zero nesta análise, o que não é apropriado
pois significaria que uma DMU tem seu máximo escore de eficiência sem produzir.
O anexo 4 apresenta os escores e pesos CCR-O para os anos 2002 e 2003, nos
quais se repete este mesmo padrão.
36
Tabela 4.1 Escores e Pesos, Análise CCR –O, 2001 em conjunto
DMU Escore v(1) Doc u(1) Tit u(2) Prod
1 0,523 0,239188 0,23986 0,382639
2 0,124 0,669643 1,25 0
3 0,370 0,270206 0,270964 0,432259
4 1,000 4,55E-02 4,56E-02 7,27E-02
5 0,313 0,265917 0,266663 0,425398
6 0,546 0,166595 0,167062 0,266508
7 0,364 0,10984 0,110148 0,175715
8 0,089 0,935701 0,938327 1,496879
9 0,358 0,155233 0,155669 0,248333
10 0,495 0,112344 0,112659 0,179721
11 0,869 0,076741 0 0,12987
12 0,788 5,52E-02 5,53E-02 8,83E-02
13 0,649 5,93E-02 5,95E-02 0,094847
14 0,166 0,46345 0,464751 0,7414
15 0,579 4,32E-02 4,33E-02 6,91E-02
16 0,508 7,87E-02 7,89E-02 0,125917
17 0,846 0,09850 0 0,166667
18 0,442 0,086946 0,08719 0,139091
19 0,158 0,487013 0,909091 0
20 0,972 1,98E-02 1,98E-02 3,16E-02
21 0,171 0,486774 0,488141 0,778713
22 0,493 0,069896 7,01E-02 0,111816
23 0,544 6,81E-02 6,83E-02 0,108926
24 0,951 0,105205 0,1055 0,1683
25 0,140 0,297619 0,555556 0
26 0,075 1,339286 2,5 0
27 0,704 0,236755 0,23742 0,378747
28 0,248 0,310237 0,311108 0,4963
29 0,649 0,118478 0,11881 0,189533
30 1,000 3,57E-02 6,67E-02 0
31 0,240 0,595238 1,111111 0
32 0,491 7,54E-02 7,56E-02 0,120612
33 0,319 0,130662 0,243902 0
34 0,239 0,232919 0,434783 0
35 0,456 0,168811 0,169285 0,270054
36 0,509 0,163857 0,164317 0,262129
37 0,302 0,236755 0,23742 0,378747
38 0,451 8,53E-02 0,085504 0,136401
Legenda: DMU – Decision Making Unit; v(1) – peso do insumo (1); u(1), u(2) – peso do produtos (1) e (2)
Para evitar os pesos com valor zero utiliza-se a análise com o modelo Região de
Garantia, orientado a produtos com retornos constantes de escala, AR-O-C.
Porém para a utilização desse método é necessário impor limites aos pesos para
que se possa assegurar que a variação dos mesmos ficará restrita à esta região de garantia.
37
Neste estudo adota-se inicialmente como peso mínimo o peso dado ao critério na
avaliação CAPES, ou seja, no mínimo o critério terá seu desempenho ponderado com o
peso atribuído na avaliação, para titulação, 0,3 × 0,2 = 0,06, e para produção científica,
0,3 × 0,3 = 0,09. Estes valores foram usados por serem aqueles definidos na avaliação
CAPES, todavia outros limites poderiam ser estabelecidos ou utilizados para testes de
sensibilidade. A Tabela 4.2 ilustra o resultado no mesmo escopo da Tabela 4.1, agora com
os respectivos pesos sem valor zero.
Tabela 4.2 Escores e Pesos, Análise AR-C-O, 2001 em conjunto

1 0,523 0,239 0,240 0,383
2 0,123 0,675 1,197 0,118
3 0,370 0,270 0,271 0,432
4 1,000 0,045 0,046 0,073
5 0,313 0,266 0,267 0,425
6 0,546 0,167 0,167 0,267
7 0,364 0,110 0,110 0,176
8 0,089 0,936 0,938 1,497
9 0,358 0,155 0,156 0,248
10 0,495 0,112 0,113 0,180
11 0,864 0,077 0,008 0,130
12 0,788 0,055 0,055 0,088
13 0,649 0,059 0,059 0,095
14 0,166 0,463 0,465 0,741
15 0,579 0,043 0,043 0,069
16 0,508 0,079 0,079 0,126
17 0,845 0,099 0,011 0,166
18 0,442 0,087 0,087 0,139
19 0,150 0,513 0,909 0,090
20 0,972 0,020 0,020 0,032
21 0,171 0,487 0,488 0,779
22 0,493 0,070 0,070 0,112
23 0,544 0,068 0,068 0,109
24 0,951 0,105 0,105 0,168
25 0,136 0,305 0,541 0,054
26 0,071 1,410 2,499 0,247
27 0,704 0,237 0,237 0,379
28 0,248 0,310 0,311 0,496
29 0,649 0,118 0,119 0,190
30 1,000 0,036 0,063 0,006
31 0,228 0,627 1,111 0,110
32 0,491 0,075 0,076 0,121
33 0,303 0,138 0,244 0,024
34 0,226 0,245 0,435 0,043
35 0,456 0,169 0,169 0,270
36 0,509 0,164 0,164 0,262
37 0,302 0,237 0,237 0,379
38 0,451 0,085 0,086 0,136
38
4.2 Análise AR-O-C, Ano a Ano
A partir deste momento são demonstrados os dados gerados da avaliação feita ano a
ano dos cursos de Engenharia Mecânica, Engenharia de Produção e ambos os cursos em
conjunto.
Os dois principais dados extraídos dentre outros são: as DMU’s eficientes a cada
ano e o desempenho de cada DMU ano a ano.
4.2.1 Engenharia Mecânica e Produção em Conjunto
A análise em conjunto utilizando a Região de Garantia resulta na tabela 4.3, onde

se percebe que a DMU 30, da Engenharia de Produção, possui escore 1 em todos os anos e
é a referência para quase todas as DMU’s em todos os três anos, sendo que a cada ano
outras DMU’s distintas, da Engenharia Mecânica, compartilharam o escore máximo, a
saber: DMU 4, DMU 13 e DMU 14, respectivamente.
A análise, considerando Engenharia de Produção e Engenharia Mecânica em

Conjunto produziu um quadro com poucas DMU’s de referência. Na verdade, a DMU 30
da Engenharia de Produção, é referência para praticamente todas as outras, o que pode
sugerir que haja categorias diferentes sendo analisadas e que uma delas, ou ambas, são
prejudicadas por esta modelagem. Para explorar este aspecto, são realizadas análises em
separado para Engenharia Mecânica e Engenharia de Produção.
39
Tabela 4.3 Escores e Referências, Ano a Ano, em conjunto
2001 2002 2003
DMU
Escore Posição Referência Escore Posição Referência Escore Posição Referência
1 0,523 14 4; 30 0,453 12 13 0,344 24 14; 30
2 0,123 36 30 0,447 13 13; 30 0,365 20 14; 30
3 0,370 23 4; 30 0,208 34 13; 30 0,223 35 30
4 1,000 1 4 0,754 4 13; 30 0,513 11 14; 30
5 0,313 26 4; 30 0,144 37 13; 30 0,325 27 14; 30
6 0,546 12 4; 30 0,600 7 13; 30 0,501 12 14; 30
7 0,364 24 4; 30 0,372 19 13; 30 0,411 18 14; 30
8 0,089 37 4; 30 0,270 28 13; 30 0,175 37 14; 30
9 0,358 25 4; 30 0,441 14 13; 30 0,338 25 30
10 0,495 17 4; 30 0,205 35 13; 30 0,314 30 14; 30
11 0,864 5 4 0,462 11 13 0,336 26 14; 30
12 0,788 7 4; 30 0,407 16 13; 30 0,440 15 14; 30
13 0,649 10 4; 30 1,000 1 13 0,701 4 14; 30
14 0,166 33 4; 30 0,514 9 13; 30 1,000 1 14
15 0,579 11 4; 30 0,383 17 13; 30 0,545 8 14; 30
16 0,508 16 4; 30 0,372 20 13; 30 0,466 13 14; 30
17 0,845 6 4 0,490 10 13 0,306 31 14; 30
18 0,442 22 4; 30 0,758 3 13; 30 0,586 5 14; 30
19 0,150 34 30 0,111 38 13; 30 0,315 29 14; 30
20 0,972 3 4; 30 0,714 5 13; 30 0,853 3 14; 30
21 0,171 32 4; 30 0,166 36 30 0,358 21 14; 30
22 0,493 18 4; 30 0,617 6 13; 30 0,515 10 14; 30
23 0,544 13 4; 30 0,342 22 13; 30 0,289 32 14; 30
24 0,951 4 4; 30 0,540 8 30 0,420 17 30
25 0,136 35 30 0,438 15 13; 30 0,432 16 30
26 0,071 38 30 0,221 32 30 0,218 36 30
27 0,704 8 4; 30 0,312 25 30 0,093 38 30
28 0,248 29 4; 30 0,252 29 13; 30 0,317 28 30
29 0,649 9 4; 30 0,372 18 13; 30 0,537 9 30
30 1,000 1 30 1,000 1 30 1,000 1 30
31 0,228 30 30 0,213 33 30 0,238 34 30
32 0,491 19 4; 30 0,344 21 13; 30 0,398 19 14; 30
33 0,303 27 30 0,341 23 30 0,574 6 30
34 0,226 31 30 0,241 30 30 0,566 7 30
35 0,456 20 4; 30 0,299 26 13; 30 0,345 23 14; 30
36 0,509 15 4; 30 0,240 31 13; 30 0,244 33 30
37 0,302 28 4; 30 0,284 27 13; 30 0,356 22 30
38 0,451 21 4; 30 0,336 24 30 0,448 14 14; 30
40
4.2.2 Engenharia Mecânica
A Tabela 4.4 apresenta a análise tomando apenas os programas de Engenharia
Mecânica em separado. Observa-se que duas DMU’s foram referências para as demais a
cada ano, DMU’s 4 e 20 em 2001, DMU’s 13 e 20 em 2002 e DMU’s 14 e 20 em 2003.
A DMU 20 foi referência todos os anos, já as demais DMU’s eficientes variaram

a cada ano. Nota-se ainda que houve uma alteração considerável no escore de um ano para
o outro das DMU’s que em um dos anos foram referência, principalmente a DMU 14, que
saiu de 0,227 em 2001, passou por 0,518 em 2002 e atingiu o escore máximo, 1,000, em
2003.
Tabela 4.4 Escores, Ano a Ano, Engenharia Mecânica

Eng Mecânica
DMU 2001 2002 2003
Escore Referência Escore Referência Escore Referência
1 0,528 4; 20 0,453 13 0,394 14; 20
2 0,260 20 0,547 13; 20 0,524 20
3 0,375 4; 20 0,302 20 0,376 20
4 1,000 4 0,922 13; 20 0,642 20
5 0,316 4; 20 0,304 20 0,372 14; 20
6 0,559 4; 20 0,604 13; 20 0,586 14; 20
7 0,373 4; 20 0,582 20 0,550 20
8 0,108 20 0,300 13; 20 0,193 14; 20
9 0,364 4; 20 0,875 20 0,569 20
10 0,498 4; 20 0,209 13; 20 0,350 14; 20
11 0,864 4 0,462 13 0,375 14; 20
12 0,800 4; 20 0,726 20 0,642 20
13 0,662 4; 20 1,000 13 0,800 14; 20
14 0,227 20 0,518 13; 20 1,000 14
15 0,703 20 0,752 20 0,734 20
16 0,519 4; 20 0,498 13; 20 0,557 20
17 0,845 4 0,490 13 0,325 14; 20
18 0,445 4; 20 0,798 13; 20 0,638 14; 20
19 0,316 20 0,267 20 0,358 14; 20
20 1,000 20 1,000 20 1,000 20
21 0,302 20 0,420 20 0,418 14; 20
22 0,506 4; 20 0,939 20 0,820 20
23 0,557 4; 20 0,716 20 0,416 20
O que se observa aqui é que DMU’s que eram ineficientes na análise em conjunto
tornaram-se eficiente na análise apenas contra programas da mesma área.
41
1,000
0,800
0,600
Escore
0,400
0,200
0,000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
DMU 2001 2002 2003
Figura 4.1 Escores, Ano a Ano, Engenharia Mecânica

4.2.3 Engenharia de Produção
A Tabela 4.5 apresenta os resultados da análise apenas para a Engenharia de

Produção. Observa-se que houve apenas duas DMU’s referência para este conjunto de
dados em todos os anos, a DMU 24 e a DMU 30. Nota-se que, assim como a DMU 24,
outras variaram bastante o escore de ano em ano com exceção da DMU 30 que manteve
seu escore constante todos os anos e as DMU’s 31, 35 e 37 cujos escores não variaram
muito em relação às outras DMU’s.
Destaca-se o desempenho da DMU 30, que obteve escore máximo em todos os

anos e também a diferença entre os escores da DMU 30 e das demais, citando como
exemplo o ano de 2003 onde excluindo seu escore, o maior escore atingido foi o da DMU
33: 0,574.
42
Tabela 4.5 Escores, Ano a Ano, Engenharia de Produção
Eng Produção
DMU 2001 2002 2003
24 1,000 24 0,540 30 0,420 30
25 0,136 30 0,697 30 0,432 30
26 0,071 30 0,221 30 0,218 30
27 0,726 24; 30 0,312 30 0,093 30
28 0,254 24; 30 0,317 30 0,317 30
29 0,817 24 0,653 30 0,537 30
30 1,000 30 1,000 30 1,000 30
31 0,228 30 0,213 30 0,238 30
32 0,576 24 0,601 30 0,446 30
33 0,303 30 0,341 30 0,574 30
34 0,226 30 0,241 30 0,566 30
35 0,477 24; 30 0,450 30 0,389 30
36 0,553 24 0,305 30 0,244 30
37 0,311 24; 30 0,320 30 0,356 30
38 0,471 24; 30 0,336 30 0,486 30
1,000
0,800
Escore
0,600
0,400
0,200
0,000
24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
DMU 2001 2002 2003
Figura 4.2 Escores, Ano a Ano, Engenharia de Produção
43
4.2.4 Síntese Comparativa
As tabelas 4.6, 4.7 e 4.8 apresentam os resultados das duas análises. Estes
resultados apontam para três observações.
A primeira é que, houve a manutenção de pelo menos uma DMU referência de

cada curso quando analisado em conjunto, em especial a DMU 30 que é referência em
todos os anos quando avaliada em seu curso, como em conjunto. Isto leva a entender que a
DMU 30 em pelo menos um dos eixos produto/insumo está no extremo, tanto em relação
ao seu curso quanto a ambos os cursos.
A segunda é a DMU 20 que havia sido referência todos os anos em engenharia

mecânica não foi referência em nenhum ano na análise em conjunto. Isto sugere uma
proximidade entre DMU 20 e a DMU 30, fazendo com que a DMU 20 deixe de ser
referência quando considerados ambos os cursos.
A terceira é que algumas DMU’s não alteraram seus escores quando lançadas em
conjunto, ao passo que outras alteraram. Esta observação demonstra que aquelas DMU’s
que não variaram, considerando as aproximações, mantiveram a mesma referencia do seu
curso quando avaliadas em separado, no caso a referência que permaneceu quando
passaram a ser avaliadas em conjunto. Já aquelas que variaram, mudaram a referência ou
estão sendo influenciadas também pela outra DMU que é referência quando avaliadas em
conjunto.
44
Tabela 4.6 Síntese Comparativa, 2001
Síntese Comparativa - 2001
DMU
Mecânica Produção Em Conjunto
1 0,528 0,523
2 0,260 0,123
3 0,375 0,370
4 1,000 1,000
5 0,316 0,313
6 0,559 0,546
7 0,373 0,364
8 0,108 0,089
9 0,364 0,358
10 0,498 0,495
11 0,864 0,864
12 0,800 0,788
13 0,662 0,649
14 0,227 0,166
15 0,703 0,579
16 0,519 0,508
17 0,845 0,845
18 0,445 0,442
19 0,316 0,150
20 1,000 0,972
21 0,302 0,171
22 0,506 0,493
23 0,557 0,544
24 1,000 0,951
25 0,136 0,136
26 0,071 0,071
27 0,726 0,704
28 0,254 0,248
29 0,817 0,649
30 1,000 1,000
31 0,228 0,228
32 0,576 0,491
33 0,303 0,303
34 0,226 0,226
35 0,477 0,456
36 0,553 0,509
37 0,311 0,302
38 0,471 0,451
45
DMU
1 0,453 0,453
2 0,547 0,447
3 0,302 0,208
4 0,922 0,754
5 0,304 0,144
6 0,604 0,600
7 0,582 0,372
8 0,300 0,270
9 0,875 0,441
10 0,209 0,205
11 0,462 0,462
12 0,726 0,407
13 1,000 1,000
14 0,518 0,514
15 0,752 0,383
16 0,498 0,372
17 0,490 0,490
18 0,798 0,758
19 0,267 0,111
20 1,000 0,714
21 0,420 0,166
22 0,939 0,617
23 0,716 0,342
24 0,540 0,540
25 0,697 0,438
26 0,221 0,221
27 0,312 0,312
28 0,317 0,252
29 0,653 0,372
30 1,000 1,000
31 0,213 0,213
32 0,601 0,344
33 0,341 0,341
34 0,241 0,241
35 0,450 0,299
36 0,305 0,240
37 0,320 0,284
38 0,336 0,336
46
DMU
1 0,394 0,344
2 0,524 0,365
3 0,376 0,223
4 0,642 0,513
5 0,372 0,325
6 0,586 0,501
7 0,550 0,411
8 0,193 0,175
9 0,569 0,338
10 0,350 0,314
11 0,375 0,336
12 0,642 0,440
13 0,800 0,701
14 1,000 1,000
15 0,734 0,545
16 0,557 0,466
17 0,325 0,306
18 0,638 0,586
19 0,358 0,315
20 1,000 0,853
21 0,418 0,358
22 0,820 0,515
23 0,416 0,289
24 0,420 0,420
25 0,432 0,432
26 0,218 0,218
27 0,093 0,093
28 0,317 0,317
29 0,537 0,537
30 1,000 1,000
31 0,238 0,238
32 0,446 0,398
33 0,574 0,574
34 0,566 0,566
35 0,389 0,345
36 0,244 0,244
37 0,356 0,356
38 0,486 0,448
47
4.3 Análise em Janela
A análise em janela permite a visualização da tendência do desempenho das

DMU’s, da estabilidade dos conjuntos de referência e outros possíveis vislumbramentos.
Sendo assim, aplica-se a análise em janelas aos cursos de engenharia mecânica e
engenharia de produção com janelas bianuais, onde as mesmas DMU’s a cada ano foram
consideradas distintas.
Conforme a tabela 4.9 percebe-se que no geral em relação ao desempenho, as

DMU’s não foram estáveis, assim como as DMU’s referências, observado no desempenho
das DMU’s 13 e 14, onde há uma grande variação nos escores, com exceção da DMU 20
onde a variação do escore é relativamente pequena.
Essa análise demonstrou também que a DMU 20 teve uma queda de desempenho
no ano de 2002 em relação a ela mesma, pois como já foi visto, quando considerada na
avaliação ano a ano em separado, ela é referência, mas na avaliação em janela, onde ela é
comparada consigo mesma, não alcança o escore máximo em um dos anos. Isso mostra a
importância da analise em janela, pois ela mostra a variação no desempenho das DMU’s
mesmo que tenha sido sempre referência do conjunto.
48
Tabela 4.9 Análise de Janela, Engenharia Mecânica
DMU 2001 2002 2003 2001-2002 2002-2003 Evolução

1 0,389 0,453
Ascendente
0,388 0,394
2 0,260 0,507
Consistentemente Ascendente
0,427 0,524
3 0,291 0,263
Instável
0,230 0,376
4 0,634 0,854
Instável
0,720 0,642
5 0,223 0,248
0,232 0,372
6 0,522 0,602
0,537 0,586
7 0,357 0,493
0,444 0,550
8 0,108 0,288
Instável
0,249 0,193
9 0,300 0,714
Instável
0,668 0,569
10 0,344 0,207
Instável
0,184 0,350
11 0,547 0,462
Instável
0,349 0,375
12 0,636 0,592
0,554 0,642
13 0,593 1,000
Instável
0,893 0,800
14 0,227 0,517
0,460 1,000
15 0,703 0,613
Instável
0,574 0,734
16 0,461 0,447
Ascendente
0,379 0,557
17 0,535 0,490
Instável
0,388 0,325
18 0,302 0,782
Instável
0,688 0,638
19 0,316 0,218
Instável
0,204 0,358
20 1,000 0,884
Instável
0,764 1,000
21 0,302 0,343
0,321 0,418
22 0,493 0,804
0,717 0,820
23 0,526 0,584
Instável
0,547 0,416
49
Assim como aconteceu com a engenharia mecânica, no geral as DMU’s na
Engenharia de Produção tiveram um comportamento instável (Tabela 4.10), à exceção da
DMU30.
No conjunto de DMU’s referência a DMU 24 destaca-se pela grande quebra nos
valores do escore, já a DMU 30 por manter o escore máximo em todos os anos, o que
indica um comportamento de um fora de série (outlier), o que será tratado em outro tópico.
Tabela 4.10 Análise de Janela, Engenharia de Produção
DMU 2001 2002 2003 2001-2002 2002-2003 Evolução

24 1,000 0,530
Consistentemente Descendente
0,540 0,364
25 0,136 0,664
Descendente
0,397 0,395
26 0,071 0,217
Instável
0,221 0,189
27 0,660 0,306
Consistentemente Descendente
0,312 0,081
28 0,221 0,308
0,231 0,275
29 0,817 0,622
Instável
0,372 0,521
30 1,000 1,000
Estável
1,000 1,000
31 0,228 0,209
Estável
0,213 0,206
32 0,576 0,573
Ascendente
0,342 0,446
33 0,303 0,335
0,341 0,498
34 0,226 0,236
Ascendente
0,241 0,517
35 0,466 0,429
Instável
0,256 0,389
36 0,553 0,296
Descendente
0,219 0,241
37 0,283 0,315
0,273 0,309
38 0,453 0,330
Instável
0,336 0,486
50
4.4 Retirando as DMU’s Outstanding
Uma análise proposta para este estudo está baseada na possibilidade de DMU’s
outstanding obscurecerem um desempenho relativo mais equilibrado entre as demais
DMU’s que compõem o seu conjunto, pois essas outstanding, elevariam o nível do
desempenho para as DMU’s eficientes. Como conseqüência haveria um quadro com
poucas DMU’s referência. Isto sugeriria que tais DMU’s outstanding estejam em uma
condição avaliada superior em relação às demais, também no que diz respeito à avaliação
CAPES. Na metodologia da CAPES, estas DMUs poderiam ser aquelas candidatas às notas
6 e 7.
Com o intuito de realizar essa comparação, posteriormente, é realizada essa análise,

e para isso são apresentados a seguir os critérios que determinarão se existem e quais
DMU’s representam essas DMU’s outstanding.
Tabela 4.11 Critérios para as Outstanding
Critérios Mecânica (DMU’s) Produção (DMU’s)
Escore 1,0 em todos anos 20 30
Escore 1,0 em apenas 2 anos
Escore 1,0 em apenas 1 ano 4, 13, 14 24
Baseado no quadro acima e no tópico anterior, entende-se que os comportamentos

das DMU’s 20 e 30 aparentemente caracterizam comportamento de outstanding, mas para
uma melhor avaliação, é feita a seguir uma análise retirando-se tais DMU’s de seus
conjuntos.
4.4.1 Avaliação Engenharia Mecânica sem as Outstanding
Observando a tabela 4.12 se percebe que o número de DMU’s referência

aumentou. A maioria dos escores também se elevaram, com algumas DMU’s elevando
seus escores consideravelmente, dando a entender que a DMU 20 é outstanding neste
conjunto de dados.
51
Tabela 4.12 Análise sem as Outstanding, Eng. Mecânica
Eng Mecânica
DMU 2001 2002 2003
1 0,625 4; 12 0,453 13 0,496 13; 22
2 0,370 15 0,561 13 0,652 13; 22
3 0,460 4; 12 0,314 13 0,458 22
4 1,000 4 0,947 13 0,823 13; 22
5 0,363 4; 12 0,316 13 0,467 13; 22
6 0,795 12; 15 0,604 13 0,763 13; 22
7 0,541 12; 15 0,606 13 0,695 13; 22
8 0,154 15 0,304 13 0,231 13; 14
9 0,468 12; 15 0,912 13 0,693 22
10 0,564 4; 12 0,209 13 0,423 13; 14
11 0,864 4 0,462 13 0,454 13; 14
12 1,000 12 0,756 13 0,796 13; 22
13 0,911 12; 15 1,000 13 1,000 13
14 0,323 15 0,519 13 1,000 14
15 1,000 15 0,784 13 0,926 13; 22
16 0,709 12; 15 0,517 13 0,722 13; 22
17 0,845 4 0,490 13 0,363 13; 14
18 0,497 4; 12 0,804 13 0,745 13; 14
19 0,450 15 0,278 13 0,446 13; 14
21 0,430 15 0,438 13 0,543 13; 22
22 0,747 12; 15 0,978 13 1,000 22
23 0,801 12; 15 0,746 13 0,517 13; 22
1,000
0,800
0,600
Escore
0,400
0,200
0,000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22 23
DMU 2001 2002 2003
Figura 4.3 Análise sem as Outstanding, Eng. Mecânica
52
4.4.2 Avaliação Engenharia de Produção sem as Outstanding
Observando a tabela 4.13 se percebe que, com a ausência da DMU 30, houve
aumento e diversificação das DMU’s referência, e todos os escores se elevaram
consideravelmente e alguns de forma extrema como o da DMU 38, que em 2003 atingiu
um valor maior que o dobro do seu escore anterior (0,486), atingindo o escore máximo.
Esse comportamento demonstra que a DMU 30 representa uma Outstanding neste

conjunto de dados.
Tabela 4.13 Análise sem as Outstanding, Eng. de Produção

Eng Produção
DMU 2001 2002 2003
24 1,000 24 1,000 24 0,735 33; 34
25 0,277 27 1,000 25 0,764 29; 34
26 0,144 27 0,409 24 0,382 33; 34
27 1,000 27 0,578 24 0,163 33; 34
28 0,393 27 0,581 24; 25 0,555 33; 34
29 0,817 24 0,937 25 1,000 29
31 0,463 27 0,396 24 0,414 33
32 0,576 24 0,863 25 0,916 38
33 0,614 27 0,720 24; 25 1,000 33
34 0,460 27 0,446 24 1,000 34
35 0,521 24; 27 0,684 24; 25 0,799 38
36 0,553 24 0,552 24; 25 0,485 29; 38
37 0,429 27 0,657 24; 25 0,626 33; 34
38 0,545 24; 27 0,674 24; 25 1,000 28
1,000
0,800
0,600
Escore
0,400
0,200
0,000
24 25 26 27 28 29 31 32 33 34 35 36 37 38
DMU 2001 2002 2003
Figura 4.4 Análise sem as Outstanding, Eng. de Produção
53
4.5 Análise comparada com a avaliação CAPES

De acordo com a tabela 4.14 se observa algumas diferenças entre a avaliação da
CAPES e a gerada pela DEA.
Das quatro DMU’s com nota 6, três foram pelo menos em um ano referência para
as demais. Uma das que não atingiram o escore máximo em nenhum ano, foi a DMU 15
cujo escore variou entre 0,703 e 0,752. A exceção se manifestou com o desempenho da
DMU 20 que obteve escore máximo em todos os anos, o que foi compatível com sua nota
6.
Tabela 4.14 Avaliação Comparativa DEA x CAPES, Eng. Mecânica

Escores - Eng Mecânica
DMU Média (escores) CAPES
2001 2002 2003
1 0,528 0,453 0,394 0,459 3
2 0,260 0,547 0,524 0,444 4
3 0,375 0,302 0,376 0,351 4
4 1,000 0,922 0,642 0,855 6
5 0,316 0,304 0,372 0,331 3
6 0,559 0,604 0,586 0,583 4
7 0,373 0,582 0,550 0,502 4
8 0,108 0,300 0,193 0,201 3
9 0,364 0,875 0,569 0,603 4
10 0,498 0,209 0,350 0,352 4
11 0,864 0,462 0,375 0,567 4
12 0,800 0,726 0,642 0,722 5
13 0,662 1,000 0,800 0,821 6
14 0,227 0,518 1,000 0,582 4
15 0,703 0,752 0,734 0,730 6
16 0,519 0,498 0,557 0,525 5
17 0,845 0,490 0,325 0,553 4
18 0,445 0,798 0,638 0,627 4
19 0,316 0,267 0,358 0,314 3
20 1,000 1,000 1,000 1,000 6
21 0,302 0,420 0,418 0,380 4
22 0,506 0,939 0,820 0,755 5
23 0,557 0,716 0,416 0,563 5
Com relação aos demais cursos nota 6, que foram referência, nota-se uma
variação elevada dos seus escores de um ano para o outro.
Um ponto a ser destacado é a evolução da DMU 14 que saiu de escore 0,227 em

2001 para 1,000 em 2003 e ainda assim obteve apenas nota 4.
Através de uma análise de correlação de Pearson entre as notas atribuídas pela

CAPES e a Média dos escores DEA (2001/2002/2003), observou-se que há um nível de
54
associação positiva forte, com r = 0,85654417. Embora através de algumas alterações nas
notas esse índice de correlação r pudesse ser ainda maior, o mesmo se mostra satisfatório.
De acordo com a tabela 4.15 se observa uma grande diferença entre a avaliação da
CAPES e a gerada pela DEA, pois dentre os cursos que obtiveram nota 5, dois obtiveram
escore superior a 0,700, sendo que um desses obtive tal escore em apenas um dos três anos.
Mas, discrepantes foram as diferenças relativas à DMU 28, que não obteve se quer um dos
escores superior a 0,400, e à DMU 38 que não obteve escore superior a 0,500 e ainda assim
foram consideradas nota 5.
E o grande destaque foi a DMU 30 que sempre foi referência em todos os anos,
quando considerada em separado, como quando considerada em conjunto e ainda assim
obter apenas nota 5, sendo que foi referência em todos os anos para todas as DMU’s nota
6, com exceção da DMU 4 em 2001 e a DMU 13 em 2002 conforme a Tabela 4.3.
Tabela 4.15 Avaliação Comparativa DEA x CAPES, Eng. de Produção

Escores - Eng Produção
DMU Média (escores) CAPES
2001 2002 2003
24 1,000 0,540 0,420 0,653 4
25 0,136 0,697 0,432 0,422 4
26 0,071 0,221 0,218 0,170 4
27 0,726 0,312 0,093 0,377 3
28 0,254 0,317 0,317 0,296 5
29 0,817 0,653 0,537 0,669 5
30 1,000 1,000 1,000 1,000 5
31 0,228 0,213 0,238 0,226 3
32 0,576 0,601 0,446 0,541 4
33 0,303 0,341 0,574 0,406 3
34 0,226 0,241 0,566 0,344 3
35 0,477 0,450 0,389 0,439 4
36 0,553 0,305 0,244 0,367 3
37 0,311 0,320 0,356 0,329 4
38 0,471 0,336 0,486 0,431 5
Através de uma análise de correlação de Pearson entre as notas atribuídas pela
CAPES e a Média dos escores DEA (2001/2002/2003), observou-se que há um nível de
associação positiva fraca, com r = 0,486593343. Este caso parece sugerir que há diferenças
no modo de avaliação (qualitativa, pois os escores DEA provêem uma avaliação nos dados
quantitativos) em relação à Engenharia Mecânica. Como exercício, fazendo apenas duas
alterações: DMU 26 nota 4 para 2; e DMU 28 nota 5 para 3, o índice de correlação de
Pearson passa para r = 0,758857324, ou seja, sai do nível de associação positiva fraca para
55
associação positiva forte. E se ainda alterasse a DMU 30 nota 5 para 6, atingiria o r =
0,847693106.
A Tabela 4.16 apresenta uma síntese da análise de correlação realizada.
Tabela 4.16 Síntese da Análise de Correlação – escores de eficiência versus nota

Programas em Análise Escore Médio (2001/2002/2003) r Interpretação
Mecânica e Produção Tabela 4.3 0,6302 Associação Positiva Fraca
Mecânica Tabela 4.4 0,8565 Associação Positiva Forte
Produção Tabela 4.5 0,4866 Associação Positiva Fraca
Mecânica (sem Outstanding) Tabela 4.12 0,8647 Associação Positiva Forte
Produção (sem Outstanding) Tabela 4.13 0,2928 Pouca ou Nenhuma Associação
56
Capítulo 5
Conclusões e Recomendações
Este capítulo apresenta uma síntese geral da dissertação de acordo com os

resultados e discussão.
Este capítulo está estruturado em seis tópicos: síntese dos principais resultados,
análise crítica quanto aos resultados, limitações do trabalho, direções da pesquisa,
recomendações e conclusões finais.
5.1 Síntese dos Principais Resultados
Os principais resultados do estudo situam-se no campo da aplicação de modelos

DEA, na discussão sobre a identificação de diferentes categorias de comparação e na
comparação com o método adotado pela CAPES.
Inicialmente, verificou-se que a adoção direta do CCR tem o inconveniente de

gerar pesos com valor zero, o que não é apropriado na medida em que um Programa de
Pós-Graduação teria seu escore máximo zerando um dos produtos, o que não faz sentido.
A adoção da Região de Garantia mostrou-se satisfatória, mas é necessário

verificar como efetivamente atribuir pesos mínimos que não limitem muito as variações de
escore. Este ponto não foi avançado neste trabalho.
Em termos de categorias, os resultados sugerem que os Programas de Engenharia

Mecânica e Engenharia de Produção possuem diferentes funções de transformação, ou
seja, seus resultados de Titulados e Produção Científica são distintos para um mesmo
número de insumos (professores). A aplicação da DEA neste caso aponta para que se
realize a análise em separado.
57
Em termos de comparação com o método da CAPES, os resultados apontam
importantes inconsistências, com programas bem avaliados com escores baixos e vice-
versa. Mostrou em alguns casos consistência no caso da Engenharia Mecânica, onde um
Programa com nota 6 é destacadamente um Outstanding em seu conjunto, mas o inverso
ocorreu na Engenharia de Produção, onde um Outstanding teve nota 5 pelo método da
CAPES.
5.2 Análise Crítica quanto ao Objetivo
O objetivo deste estudo foi explorar a aplicação de DEA na avaliação de

desempenho acadêmico dos programas de pós-graduação de Engenharia Mecânica e
Produção, avaliados pela CAPES no triênio 2001-2003, com vistas a fornecer uma nova
abordagem no tratamento dos dados, deixando que esses falem por si mesmos.
Pelos resultados encontrados, considera-se que o objetivo foi plenamente
alcançado.
5.3 Limitação do Trabalho
Este estudo limita-se à população composta pelos programas de pós-graduação de

Engenharia Mecânica e Produção avaliados pela CAPES no triênio 2001-2003.
Este estudo limita-se a avaliar alguns dados objetivos disponibilizados no relatório

da CAPES, mesmo sendo tais dados os julgados mais importantes.
Adicionalmente, foram utilizados apenas dois produtos – titulados e produção

indexada, embora estes sejam considerados os mais importantes.
5.4 Direções da Pesquisa
É recomendada a realização de novos trabalhos, devido às limitações citadas

anteriormente neste estudo, tais como:
Aplicar a mesma pesquisa envolvendo outras populações e modelos.
Aplicar a mesma pesquisa dentro das áreas definidas pela CAPES afim de
identificar as categorias existentes.
5.5 Recomendações
Após o exposto no desenvolvimento deste estudo, recomenda-se às instituições de

ensino, público ou privado, superior ou não, a utilização dessa metodologia para a
58
avaliação de desempenho acadêmico de instituições de ensino. Ressaltando a preocupação
com todas as observações feitas durante este estudo, tais como: as escolhas das variáveis,
método, orientação, restrições de pesos, sensibilidade dos métodos, entre outras.
As escolhas supra citadas são fundamentais, porém não são definitivas, pois os
interesses dos proprietário, gestores e tomadores de decisão são diferentes, e devem ser
levados em consideração no momento da definição das variáveis e do direcionamento da
pesquisa.
5.6 Conclusões
Este estudo procurou avaliar de maneira imparcial através da metodologia DEA, o

desempenho de programas de pós-graduação, julgando-se haver alcançado este estudo seus
objetivos.
Seus resultados mostram que a metodologia utilizada se adequou bem ao que foi
proposto, resultados esses que demonstraram a existência de DMU’s Outstanding dentro
dos conjuntos observados, o que deveria ser indicativo para um conceito (nota) elevado e
servir de parâmetro para a avaliação das demais DMU’s.
Os resultados da avaliação da metodologia DEA se mostram úteis para a

simplificação do processo de avaliação na sua etapa quantitativa, assim como a análise de
janela para a etapa qualitativa. Como complemento mostra a importância de retirar os
Outstanding para a perspectiva de benchmarking e melhoria contínua no período seguinte.
Endente-se que, com vistas aos resultados obtidos, a metodologia DEA para a
avaliação de eficiência de instituições de ensino superior é consistente e eficaz, e pode
contribuir para a evolução da avaliação das IES e no caso deste estudo, na avaliação dos
programas de pós-graduação, de forma objetiva, deixando que os dados falem por si
mesmos relativamente dentro de seus conjuntos.
59
Referências
ABEL, Lecir. Avaliação cruzada da produtividade dos departamentos acadêmicos da

UFSC utilizando DEA (Data Envelopment Analysis). 2000, 97p. Dissertação de Mestrado
em Engenharia de Produção, Universidade Federal de Santa Catarina.
ALBANI NETO, Luiz. Uma aplicação de DEA nos programas de mestrado em engenharia
civil nas instituições de ensino superior no Brasil. 2000, 110p. Dissertação de Mestrado
em Engenharia de Produção, Universidade Federal de Santa Catarina.
AMARAL, Odete dos Santos. Avaliação da eficiência produtiva das Unidades Acadêmicas
da Universidade do Amazonas nos anos de 1994 e 1995 empregando Analise Envoltória de
Dados. 1999, 93p. Dissertação de Mestrado em Engenharia de Produção, Universidade
Federal de Santa Catarina.
BANDEIRA Denise Lindstrom. Análise da Eficiência Relativa de Departamentos

Acadêmicos: o caso da UFRGS. 2000, 165p. Dissertação de Mestrado em Administração,
Universidade federal do Rio Grande do Sul.
BELLONI, José Ângelo. Uma metodologia de avaliação de eficiência produtiva de

universidades federais brasileiras. 2000, 246p. Tese de Doutorado em Engenharia de
Produção, Universidade Federal de Santa Catarina.
BIFULCO, Robert; BRETSCHNEIDER, Stuart. Response to comment on estimating

school efficiency. Economics of Education Review, nº 22, p. 635-638, 2003.
CABALLERO, Rafael et al. Budgetary allocations and efficiency in the human resources
policy of a university following multiple criteria. Economics of Education Review, nº 23,
p.67-74, 2004.
CASU, B.; THANASSOULIS, E. Evaluating cost efficiency in central administrative

services in UK universities. The International Journal of Management Science, nº 34, p.
417-426, 2006.
60
CHARNES, Abraham, COOPER, William, LEWIN, Arie Y., SEIFORD, Lawrence M.
Data Envelopment Analysis: Theory, Methodology, and Application. Boston/ Dordrecht/
London: Kluwer Academic Publishers, 1994.
CHARNES, A.; COOPER, W. W.; RHODES. Measuring the efficiency of decision

making units. European Journal of Operational Research. v. 2, n. 6. p 429-444, 1978.
CHARNES, A.; COOPER, W. W.; RHODES. Evaluating program a managerial

efficiency: na appication of Data Envelopment Analysis to program follow through.
Management Science. v. 27, n. 6. p 668-697, junho 1981.
COELLI, Timothy J. et al. An Introdution to Efficiency and Produtivity Analysis. 2. ed.

Springer, 2005.
COOPER, William W.; SEIFORD, Lawrence M.; TONE, Kaoru. Introduction to Data
Envelopment Analysis and its uses – with DEA-Solver software and references. Springer,
2006.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR -

CAPES. Engenharias III, Avaliação tri-anual, 2001-2003. Relatório da Avaliação.
CAPES, 2004a.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR

(2004b) Relatório Final da Avaliação Trienal da Pós-graduação - Período Avaliado:
2001-2003, 20 de dezembro de 2004. Disponível em
http://www.capes.gov.br/capes/portal/conteudo/10/Resultado_ AvaliacaoTrienal.htm
DALMAS, José Carlos. Fronteiras de eficiência produtiva de cursos de graduação: os

cursos de Administração da região sul do Brasil. 2000, 180p. Tese de Doutorado em
Engenharia de Produção, Universidade Federal de Santa Catarina.
DYSON, R.G.; THANASSOULIS E. Reducing Weight Flexibility in Data Envelopment

Analysis. Journal of the Operational Research Society, 39, pp. 563-576, 1988.
FORSUND, Finn R.; SARAFOGLOU, Nikias. On the origins of Data Envelopment

Analysis. Memorandum n. 24, 2000. Department of Economics, University of Oslo.
GIL, Antonio Carlos. Como elaborar Projetos de Pesquisa. 4. ed. São Paulo: Atlas, 2002.
GLASS, J. Colin et al. Implications of variant efficiency measures for policy evaluations in
UK higher education. Socio-Economic Planning Sciences, nº40, p. 119-142, 2006.
61
GUEDES, Luís Eduardo Madeiro. Uma análise na eficiência na formação de alunos dos
cursos de Engenharia Civil das instituições de ensino superior brasileiras. 2002, 161p.
Dissertação de Mestrado em Engenharia de Produção, Universidade Federal do Rio de
Janeiro.
JOHNES, Jill. Data envelopment analysis and its application to the measurement of
efficiency in higher education. Economics of Education Review, 2005.
JOHNES, Jill. Measuring teaching efficiency in higher education: An application of data

envelopment analysis to economics graduates from UK Universities 1993. European
Journal of Operational Research, nºX, p. x-x, 2005.
LINS, Marcos P.E.; ALMEIDA, Bernardo F.; BARTHOLO JÚNIOR, Roberto (2004)
Avaliação de desempenho na pós-graduação utilizando a Análise Envoltória de Dados: o
caso da Engenharia de Produção, Revista Brasileira de Pós-Graduação, N. 1, julho 2004,
41-56.
LOPES, Ana Lucia Miranda. Avaliação cruzada da produtividade e qualidade de

departamentos acadêmicos de uma Universidade com um modelo de Análise Envoltória de
Dados e Conjuntos Difusos. 1998, 268p. Tese de Doutorado em Engenharia de Produção,
Universidade Federal de Santa Catarina.
NUNES, Nilce. Avaliação da eficiência produtiva de organizações educacionais: Uma

aplicação de Análise Envoltória de Dados sobre a produção científica dos departamentos
da Universidade Federal de Santa Catarina. 1998, 138p. Dissertação de Mestrado em
Administração, Universidade Federal de Santa Catarina.
PAIVA, Francisco Canindé de. Eficiência Produtiva de Programas de Ensino de Pós-

Graduação em Engenharias: uma aplicação do método Análise de Envoltória de Dados –
DEA. 2000, 66p. Dissertação de Mestrado em Engenharia de Produção, Universidade
Federal de Santa Catarina.
PANEPUCCI, Giovana Troya Marques. Avaliação de desempenho dos departamentos

acadêmicos da UFSCar utilizando Análise de Envoltória de Dados-AED. 2003, 130p.
Dissertação de Mestrado em Engenharia de Produção, Universidade Federal de São
Carlos.
PAREDES, Edijane Barboza. Análise de componentes principais e procedimentos Iterativo

de Norman e Stoker: Técnica Alternativas para identificação dos insumos e produtos
62
relevantes no emprego da Análise Envoltória de Dados para avaliação da eficiência técnica
de instituições de ensino superior. 1999, 85p. Dissertação de Mestrado em Engenharia de
Produção, Universidade Federal de Santa Catarina.
PEGADO NETO, Heráclito Ferreira. Aplicação de bootstrap para avaliação de eficiência

das instituições brasileiras de ensino superior. 2003, 47p. Dissertação de Mestrado em
Estatística, Universidade Federal de Pernambuco.
QUARESMA, Edilan de Sant'Ana. Uma Medida de Eficiência na UFPE. 2000, 60p.

Dissertação de Mestrado em Estatística, Universidade Federal de Pernambuco.
ROLL, Y.; COOK, W.D.; GOLANY, B. (1991), Controlling Factor Weights in Data
Envelopment Analysis, IIE Transactions 23, pp. 2-9.
RUGGIERO, John. Comment on estimating school efficiency. Economics of Education

Review, nº22, p. 631-634, 2003.
SANTOS, Margarete Aparecida dos. Análise por Envoltória de Dados no processo de

avaliação institucional da Universidade Estadual do Centro-Oeste. 2003, 115p. Dissertação
de Mestrado em Métodos Numéricos em Engenharia, Universidade Federal do Paraná.
SILVA, Mauro Medina da. Um estudo da eficiência dos programas de pós-graduação em

Engenharia no Brasil. 2001, 232p. Dissertação de Mestrado em Engenharia de Produção,
Universidade Federal do Rio de Janeiro.
SOTERIOU, Andréas C. Using DEA to evaluate the efficiency of secondary schools: the
case of Cyprus. International Journal of Educational Management, nº X, p. 65-73, 1998.
SOUZA, Sérgio Henrique Lopes de. Análise Envoltória de Dados e cálculos probabilístico
de produtividades globais na avaliação de cursos. 2004. Dissertação de Mestrado em
Engenharia de Produção, Universidade Federal Fluminense.
TAVARES, Gabriel. A bibliography of Data Envelopment Analysis (1978 – 2001),

RUTCOR Research Report, n 01-02, Janeiro 2002.
THOMPSON, R.G.; SINGLETON, F.D.; THRALL JUNIOR, R.M.; SMITH, B.A. (1986),
Comparative Site Evaluations for Locating a High-Energy Physics Lab in Texas, Interfaces
16, pp. 35-49.
63
Anexos
64
Anexo 1 – Metodologia da Avaliação CAPES
Fonte: Transcrito integralmente de CAPES (2004), pp. 7-8
O processo de avaliação tri-anual foi dividido em duas etapas temporais. Na

primeira etapa, realizada no período de 28 de junho a 02 de julho de 2004, foram
analisados os relatórios do ano de 2003 e foram feitas as consolidações destas análises com
os resultados das avaliações continuadas de 2001 e 2002, inclusive refazendo a análise de
alguns Programas devido às alterações introduzidas pelos mesmos nos relatórios. Na
segunda etapa, realizada no período de 02 a 06 de agosto, os resultados referentes ao
desempenho de cada Programa nos três períodos foram consolidados em uma ficha única
de avaliação trienal. Em seguida passou-se à atribuição dos conceitos à luz dos resultados
expressos na ficha trienal de cada Programa. Neste caso, cada Programa foi analisado
quanto ao seu desempenho nos sete quesitos e na seqüência foi atribuído o conceito entre 1
e 5 de forma comparativa entre os Programas. Aos Programas com curso de doutoramento
e com desempenho claramente destacado dentre os que obtiveram o conceito 5, em
especial nos quesitos de produção científica e de teses e dissertações, atribuiu-se o conceito
6. Dentre estes não houve a ocorrência de Programa que tivesse alcançado a qualificação
necessária ao conceito 7, conforme definido no documento para este fim elaborado pelas
quatro áreas das engenharias.
Convém observar que as Engenharias III adotam uma prática conservativa em

relação à atribuição das notas, entendendo que um Programa é merecedor de uma melhoria
de conceito quando seu desempenho já está consolidado e excede os requisitos associados
ao conceito em que o mesmo se encontra.
Como metodologia de trabalho a Comissão de Avaliação foi dividida em 6 equipes

de duplas ou triplas em que cada equipe analisou, isoladamente para todos os Programas,
um dos quesitos da Ficha de Avaliação: Corpo Docente, Atividade de Pesquisa, Atividade
de Formação, Corpo Discente, Teses e Dissertações, e Produção Intelectual. Inicialmente
foram extraídos dos relatórios dos Programas os índices de desempenho relevantes, de
acordo com os critérios de avaliação praticados pelas Engenharias III, e conforme descrito
na secção seguinte. Na seqüência realizou-se a análise qualitativa e quantitativa dos itens
associados a cada quesito, sendo atribuído aos mesmos um conceito (MB, B, R, F ou D).
Com esta prática garantiu-se que cada quesito de todos os Programas fosse analisado pelas
65
mesmas equipes e, portanto, a partir de um mesmo critério. Ao final desta etapa, a
avaliação de cada quesito foi anotada em uma única Ficha de Avaliação para cada um dos
Programas. A seguir estas equipes de quesitos foram desfeitas e foram formadas novas
equipes de duplas para análise dos Programas. Cada equipe de Programa ficou responsável
pela análise de oito ou nove Programas. Estas equipes analisaram as propostas dos
Programas e os demais quesitos previamente avaliados pelas equipes que cuidaram de cada
quesito. Assim, cada Programa foi avaliado por dois consultores. Estas apreciações
individuais foram confrontadas e redigiu-se conjuntamente uma apreciação final para o
Programa com os resultados colocados na Ficha de Avaliação. Particular atenção foi
dedicada à síntese evolutiva feita através da comparação com os relatórios das avaliações
continuadas realizada em 2002 e 2003, bem como considerando os Relatórios de Visita.
Em um segundo momento, as equipes que analisaram cada Programa relataram aos demais
membros da Comissão de Avaliação suas apreciações que foram amplamente discutidas e,
de forma consensual, os pareceres finais foram finalmente consolidados e emitidos.
66
Anexo 2 – Critérios da Avaliação CAPES
Fonte: Transcrito integralmente de CAPES (2004), pp. 8-20
Na avaliação dos diferentes itens da Ficha de Avaliação recorreu-se inicialmente a

índices retirados dos relatórios de cada Programa. Em muitos itens os índices tiveram que
ser compostos para se obter a informação desejada e para tais planilhas especiais foram
solicitadas ao setor de informática da CAPES. Na seqüência são apresentados os
algoritmos utilizados para a avaliação de cada item de cada um dos quesitos, com as
respectivas correspondências entre os valores numéricos e os conceitos (MB, B, R, F e D).
São apresentados também comentários gerais sobre a avaliação de cada quesito.
I – Proposta do Programa (Qualitativo)
Itens Pesos
1 Coerência e consistência da Proposta. -
2 Adequação e abrangência das áreas de concentração. -
3 Adequação e abrangência das linhas de pesquisa. -
4 Participação de pesquisadores visitantes e outros docentes. -
Este é um quesito cuja avaliação é puramente qualitativa. Além dos itens listados
anteriormente para o quesito, na análise da proposta do Programa foram anotadas as
principais informações fornecidas pelo Coordenador tais como convênios internacionais,
eventos organizados pelo Programa, principais projetos aprovados, itens de infra-estrutura,
bolsistas de Produtividade em Pesquisa do CNPq, etc.
67
II – Corpo Docente (Peso 10%)
Itens Pesos
1 Composição e atuação do corpo docente; vínculo institucional e dedicação. 30
2 Dimensão do NRD6 relativamente ao corpo docente. Atuação do NRD6 no Programa. 20
3 Abrangência, especialização do NRD6 relativamente às Áreas de Concentração e 30

Linhas de Pesquisa.
4 Intercâmbio ou renovação do corpo docente. Participação de outros docentes. 10
5 Qualificação do NRD6. 10
Observação – A redação do item 3 foi alterada em relação ao que é proposto pela

CAPES. A redação mostrada anteriormente é a que foi adotada no processo de avaliação.
Nas fichas de avaliação preenchidas foi incluída uma errata indicando a alteração.
Item 1:
A = Número de docentes contratados pela instituição e com mais de 30 % de vínculo ao

Programa
B = Número total de docentes atuantes no Programa
Índice = A/B x 100
Item 2:
A = Número de docentes do NRD6
B = Número total de docentes atuantes no Programa
Índice = A/B x 100
Item 3: Análise qualitativa
Item 4:
A = Número de professores visitantes
B = Número de bolsistas recém-doutor
C = Número de docentes com menos de 30 % de vínculo ao Programa
D = Número total de docentes atuantes no Programa
68
Índice = (A+B+C)/D x 100
Item 5:
A = Número de docentes do NRD6 com doutorado
Índice = A/B x 100
Quesito II MB B R F D
(1) >90% 90-75% 75-50% 50-30% <30%
(2) 90-80% >90 ou 80-70% 70-50% 50-30% <30v
(3) Avaliação Qualitativa
(4) 5-10% 10-15% ou 3- 15-30% ou 30-50% >50%

5% <3%
(5) 100% 100-90% 90-80% 80-60% <60%
Este quesito foi avaliado considerando-se a distribuição dos docentes entre as áreas
de concentração, suas formações básicas, tempo de titulação, distribuição da carga letiva
na graduação e pós-graduação, orientação acadêmica e participação em projetos.
Constatou-se que em vários Programas se manteve uma assimetria no envolvimento

dos docentes na distribuição das atividades acadêmicas, apesar do alerta apresentado a
esses Programas em avaliações anteriores.
Na análise do NRD6 levou-se em conta as diretrizes adotadas pelas Engenharias de

se considerar o conceito mais amplo e inclusivo que o do Núcleo de Referência Docente 6
que é o de Docente Permanente. Conforme relatado aos Coordenadores de Programas das
Engenharias III nas reuniões anuais, um docente deve ser considerado do Núcleo
Permanente naquele ano caso ele seja enquadrado em pelo menos uma das seguintes
condições:
• tenha ministrado duas ou mais disciplinas na Pós-graduação do Programa;
• tenha ministrado uma disciplina na Pós-Graduação e tenha tido pelo menos
duas orientações de mestrado no Programa;
• tenha ministrado uma disciplina na Pós-Graduação e tenha tido pelo menos uma
orientação de doutorado no Programa;
• sua produção qualificada (periódico, livro e capítulo de livro) tenha sido maior
que a média da produção qualificada do NRD6.
69
A análise quantitativa do presente quesito foi feita utilizando-se como base o
Núcleo de Referência Docente 6 (NRD6) mas os Programas foram alertados que nem
sempre o NRD6 representava o real Núcleo Permanente de docentes do Programa.
No Anexo B tem-se as tabelas que mostram os NRD6 e os Núcleos Permanentes

obtidos conforme critério anterior.
III - Atividades de Pesquisa (Peso 10%)
Itens Pesos
1 Adequação e abrangência dos Projetos e Linhas de Pesquisa em relação às Áreas de 30

Concentração.
2 Vínculo entre Linhas e Projetos de Pesquisa. 30
3 Adequação da quantidade de Projetos de Pesquisa em andamento em relação à dimensão 20

do NRD6.
4 Participação do corpo discente nos Projetos de Pesquisa. 20
Item 2: Percentagem de projetos vinculados às linhas de pesquisa
Item 3:
A = Número de projetos de pesquisa
Índice = A/B
Item 4:
A = Número de discentes do mestrado acadêmico e do doutorado em atividades de

pesquisa
B = Número total de discentes
70
Índice = A/B x 100
Quesito III MB B R F D
(2) >90% 90-80% 80-70% 70-60% <60%
(3) 8-4 4-3 ou (10-8) 3-2 ou (12-10) <2 ou >12 -
(4) >70% 70-60% 60-50% 50-40% <40%
Observa-se na análise do quesito, que os itens 2 e 4 receberam, com o passar dos

anos, notas muito próximas de 5, em quase todos os Programas. As informações para
atribuição de nota nestes itens são extraídas diretamente dos dados preenchidos pelos
Programas no relatório enviado à CAPES. Assim, o Programa que se certifica em
estabelecer um vínculo entre seus projetos e linhas de pesquisa, bem como indica que seus
discentes estão envolvidos em atividades de pesquisa, conseguem sempre a nota máxima.
Alguns Programas não atingem essa pontuação máxima devido a erros no preenchimento
do relatório. Entende-se que tais itens tornaram-se supérfluos para uma análise
comparativa dos cursos, devendo ser eliminados das futuras fichas de avaliação.
Os itens 01 e 03 são mais eficientes para uma análise comparativa entre os

Programas, conforme se verifica na distribuição de notas ao longo dos anos. Observa-se
que os Programas têm incluído, inadequadamente, projetos de infra-estrutura ou iniciativas
estudantis de graduação (mini-baja, aero-design, etc...), como se fossem seus projetos de
pesquisa. Ainda nestes itens é possível observar a distribuição do trabalho de pesquisa
entre os docentes participantes do Programa, bem como a distribuição dos projetos nas
linhas e áreas de pesquisa.
71
IV - Atividades de Formação (Peso 10%)
Itens Pesos
1 Adequação e abrangência da Estrutura Curricular relativamente à Proposta do Programa 40

e às suas Áreas de Concentração. Adequação e abrangência das disciplinas ministradas
em relação às Linhas e Projetos de Pesquisa.
2 Distribuição da carga letiva e carga horária média. Participação de outros docentes. 20
3 Quantidade de orientadores do NRD6 relativamente à dimensão do NRD6. 20
4 Atividades letivas de graduação. 10
5 Orientação nos cursos de graduação. 10
Observação – A redação dos ítens 3 e 4 foi alterada em relação ao que é proposto pela
Nas fichas de avaliação preenchidas foi incluída uma errata indicando a alteração.
Item 2: Carga horária na pós-graduação por docente do NRD6
Item 3: Percentual de docente do NRD6 com orientação na pós-graduação
Item 4: Carga horária na graduação por docente do NRD6
Item 5: Percentual de docente do NRD6 com orientação na pós-graduação
Quesito IV MB B R F D
(2) 60-120 45-60 ou 30-45 ou <30 ou >180 -
120-150 150-180
(3) >90% 80-90% 70-80% 60-70% <60%
(4) 60-120 45-60 ou 30-45 ou <30 ou >180 -
120-150 150-180
(5) >90% 80-90% 70-80% 60-70% <60%
72
Ao longo do triênio foi observada uma série de dificuldades no fornecimento de
dados requeridos para análise deste quesito. As coordenações dos Programas muitas vezes
não forneceram as ementas dos cursos ministrados, as bibliografias recomendadas, e tão
pouco a designação do professor para cada disciplina. Este fato foi mais acentuado na
avaliação referente a 2001.
A maioria dos Programas possui uma carga letiva média na graduação acima
daquela preconizada pelos critérios adotados nas Engenharias III. Isto necessariamente
não pode ser considerado danoso aos Programas, pois nem sempre prejudica os demais
indicadores de produtividade. Um outro aspecto a ressaltar é a participação docente em
atividades de orientação na graduação, que de uma maneira geral tem ficado um pouco
aquém do desejado.
V – Corpo Discente (Peso 20%)
Itens Pesos
1 Dimensão do corpo discente em relação à dimensão do NRD6. 25
2 Número de desligamentos e abandonos em relação à dimensão do corpo discente. 15
3 Número de titulados em relação à dimensão do corpo discente. 40
4 Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente 20
Observação – A redação dos itens 2 e 3 foi alterada em relação ao que é proposto pela
Item 1:
A = Número de alunos de mestrado acadêmico
B = Número de alunos de doutorado
C = Número total de docentes do NRD6
Índice = (A+B)/C
73
Item 2:
A = Número de alunos de mestrado acadêmico que abandonaram e que foram

desligados do Programa
B = Número de alunos de doutorado que abandonaram e que foram desligados do

Programa
C = Número total de discentes
Índice = (A+B)/C x 100
Item 3:
A = Número de titulados em mestrado acadêmico
B = Número de titulados em doutorado
C = Número total de discentes no mestrado acadêmico
D = Número total de discentes no doutorado
Índice = (A+2B)/(C+2D) x 100
Item 4:
A = Número de alunos de mestrado que publicaram artigos
B = Número de alunos de doutorado que publicaram artigos
C = Número total de discentes
Índice = (A+B)/C x 100
Quesito V MB B R F D
(1) 4-8 3-4 ou 8-13 2-3 ou 13-16 1-2 ou >16 -
(2) 0-10% 10-15% 15-25% >25% -
(3) >30% 20-30% 10-20% 5-10% <5%
(4) >50% 35-50% 20-35% <20% -
De uma maneira geral observou-se que para o item 2 um grande número de

Programas se coloca na região superior da escala de notas, deixando de ser informativo
para este quesito. O item 3 tem o maior peso e mostra uma boa relação de desempenho,
74
associado ao grau de titulação no corpo discente. O item 4 é também importante como
resultado de desempenho, mostrando a qualidade do corpo discente.
VI - Teses e Dissertações (Peso 20%)
Itens Pesos
1 Vínculo das teses e dissertações com Projetos de Pesquisa; 10
2 Tempo médio de titulação normalizado pelos limites estabelecidos pela CAPES 30

considerando bolsistas e não-bolsistas.
3 Número de titulados em relação à dimensão do NRD6. Participação de outros docentes. 30
4 Número médio de orientandos em relação à dimensão do NRD6 20
5 Adequação das dissertações e teses à proposta do programa 10
Observação – A redação do item 4 foi alterada em relação ao que é proposto pela CAPES.
A redação mostrada anteriormente é a que foi adotada no processo de avaliação. Nas
fichas de avaliação preenchidas foi incluída uma errata indicando a alteração.
Item 1:
A = Número de dissertações vinculadas a projetos de pesquisa
B = Número de teses vinculadas a projetos de pesquisa
C = Número de titulados em mestrado acadêmico
D = Número de titulados em doutorado
Índice = (A+B)/(C+D) x 100
Item 2:
A = Média de meses para titulação no mestrado acadêmico
B = Fração de titulados bolsistas por titulados no mestrado acadêmico
C = Média de meses para titulação no doutorado
D = Fração de titulados bolsistas por titulados no doutorado
E = Número de titulados em mestrado acadêmico
F = Número de titulados em doutorado
Índice = {[(A/24)xE][(2+B)/3]+[(C/48)xF][(4+D)/5]}/(E+F)
75
Item 3:
A = Número de titulados em mestrado acadêmico
B = Número de titulados em doutorado
Índice = (A+2B)/C
Item 4:
A = Número de orientandos em mestrado acadêmico
B = Número de orientandos em doutorado
Índice = (A+B)/C
Quesito VI MB B R F D
(1) 80-100% 60-80% 40-60% 20-40% <20%
(2) <1,1 1,1-1,2 1,2-1,3 1,3-1,4 >1,4
(3) 1,5-4 1-1,5 ou 4–6 0,7-1,0 ou 6–8 0,4-0,7ou 8-10 <0,4 ou >10
(4) 3-6 2-3 ou 6-8 1-2 ou 8-10 <1 ou >10 -
(5) - - - - -
VII - Produção Intelectual (30%)
Itens Pesos
1 Adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de 10

Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações.
2 Qualidade dos veículos ou meios de divulgação. 30
3 Quantidade e regularidade em relação à dimensão do NRD6; distribuição da autoria entre 30

os docentes.
4 Autoria ou co-autoria de outros participantes (não pertencentes ao núcleo básico) 10
5 Produção técnica 20
76
Observação – A redação do item 4 foi alterada em relação ao que é proposto pela CAPES.
A redação mostrada anteriormente é a que foi adotada no processo de avaliação. Nas
fichas de avaliação preenchidas foi incluída uma errata indicando a alteração.
Item 1: Percentual de publicações com vínculo a áreas de concentração, linhas de pesquisa

ou projetos de pesquisa
Item 2:
A = 1,0 x Int. A + 0,75 x Int. B + 0,5 x Nac. A
B = Número total de docentes e pesquisadores
Índice = A/B
Item 3:
A = 1,0 x Periódicos [Int. (1,0A+0,8B+0,4C) + Nac. (0,6A+0,4B)] + 0,6 x Anais [Int.

(1,0A+0,6B+0,4C) + Nac. (0,6A+0,4B)] + 3 x Livro + 1,0 x Capt. Livro + 0,5 x
Coletânea + 1,0 x Trad. Livro
Índice = A/B
Item 4:
A = Número total de publicações do NRD6
B = Número total de publicações
Índice = A/B x 100
77
Item 5:
A = (Desenv. de Aplicativo + Desenv. de Produto + Desenv. de Técnica) + 0,1(Curso

de curta duração + Desenv Mat Didático + Editoria + Maquete + Organização de
Evento)
Índice = A/B
Quesito VII MB B R F D
(1) >80% 80-60% 60-40% 40-20% <20%
(2) >0,5 0,5-03 0,3-0,15 0,15-0,05 <0,05
(3) >2,5 2,5-1,5 1,5-1 1-0,5 <0,5
(4) 95-85% 85-75% ou 75-60% 60-40% <40%
>95%
(5) >0,25 0,25-0,13 0,13-0,06 0,06-0,03 <0,03
A produção científica qualificada da área de Engenharias III da CAPES aumentou

no último triênio, passando de 640 artigos em periódicos indexados, nas categorias
Internacional A e B e Nacional A, para 960. No entanto, quando normalizada pelo número
total de NRD6 dos Programas, observa-se que o valor médio neste triênio é basicamente o
mesmo do triênio anterior (0,27 artigos/docente do NRD6/ano). Este índice é calculado
considerando que publicações em periódicos classificados na categoria Internacional A do
QUALIS têm peso 1, publicações em periódicos Internacional B têm peso 0,75 e,
finalmente, publicações em periódicos Nacional A têm peso 0,50. Para avaliação do item
2 do presente quesito, a produção científica qualificada é dividida pelo número total de
docentes e pesquisadores atuando no Programa.
O desempenho da produção qualificada das Engenharias III parece ter estabilizado

em um nível ainda muito aquém do desejável. Este processo de estabilização é ainda mais
marcante nos Programas mais consolidados, notando-se até, em alguns casos, decréscimo
da produção média no período da presente avaliação. É necessário portanto que se
desenvolvam mecanismos que propiciem uma melhoria deste quesito nas Engenharias III.
78
Considerando-se a produção científica global da área, que inclui artigos completos
em anais de congressos, capítulos de livros, e artigos em periódicos de circulação mais
restrita, os índices melhoraram. Isto indica que, em linhas gerais, os docentes e
pesquisadores das Engenharias III ainda não estão convertendo seus artigos de
conferências em publicações de maior impacto. De uma maneira geral, observa-se que os
índices de produção técnica dos Programas melhoraram em relação aos do triênio anterior.
Entretanto, também se observa que diversos Programas não dão a devida atenção ao
preenchimento dos dados relativos a este item da avaliação.
Vale observar finalmente que o item 1 deste quesito, que mede vínculo das
publicações com as Áreas e Linhas de Pesquisa, tornou-se pouco significativo, já que um
grande número de Programas obtive o conceito “muito bom” para todo o triênio. Sugere-
se, portanto, que a importância deste item seja minimizada em avaliações futuras.
INDICADORES DE INSERÇÃO INTERNACIONAL
Os Programas que obtiveram conceito 5 foram revisitados de forma a verificar se

satisfaziam os critérios de inserção internacional para que pudessem ser promovidos ao
conceito 6. Os seguintes critérios descritos a seguir são exigidos pelas Engenharias para
conceito 6.
Produção Intelectual
• Publicação e produção artística de circulação internacional;
• Distribuição da produção intelectual/científica de forma equilibrada entre os
docentes;
• Publicação qualificada de livros e capítulos de livros;
• Evidência de impacto da produção como número de citações, impacto regional,
impacto em políticas públicas e outros indicadores específicos de cada Área;
Participações Internacionais
• Participação qualificada em eventos científicos internacionais;
• Colaborações internacionais importantes tais como consultoria internacional
docente e editoria de periódicos qualificados de circulação internacional;
• Participação como convidado em eventos internacionais;
• Participação em comitês e diretorias de associações, sociedades científicas e
programas internacionais;
79
• Participação em intercâmbios e convênios de cooperação internacional;
• Captação de recursos nacionais e internacionais em situação de competitividade em
projetos de pesquisa (PRONEX, Instituto do Milênio, National Science Foundation,
etc.);
Indicadores Discentes
• Participação de alunos estrangeiros no Programa;
• Inserção destacada dos egressos do Programa;
Indicadores Diversos
• Número expressivo de pesquisadores CNPq-I no Programa;
• Premiações nacionais e internacionais qualificadas;
• Realização de eventos internacionais;
Produção Intelectual (Nível 7)

• Ter produção cientifica em periódicos de circulação internacional (Qualis
Internacional A) de 0,5 publicações por docente por ano;
• Pelo menos 50% do Corpo Docente Permanente deve satisfazer o requisito anterior;
Atividades de Formação (Nível 7)

• Ter formado em média 1 Mestre a cada dois anos e 1 Doutor a cada quatro, por
docente permanente;
• Pelo menos 75% do Corpo Docente deve satisfazer o requisito anterior;
80
Anexo 3 – Indicadores do Apêndice C do Relatório CAPES
(2004)
APÊNDICE C
Indicadores de Produtividade dos Programas
ENGENHARIAS III
Para as tabelas a seguir, a seguinte nomenclatura foi utilizada:
Tit/NRD6 – Número de alunos titulados (M+2D), tendo o mestrado como base, por
docente do NRD6 (NRD6 corr);
Indx/NRD6 – Número de artigos publicados em periódicos indexados (Int.A+0,75

Int.B+0,5 Nac. A) por docente do NRD6 (NRD6 corr);
NRD6 decl – Número de docentes NRD6 declarados pelo Programa;
NRD6 corr - Número de docentes NRD6 corrigido pelo critério adotado pela Área para o
Programa;
Total tituld - Total de alunos titulados, tendo o mestrado como base (M+2D);
Total indx – Total de artigos publicados em periódicos indexados (Int.A+0,75 Int.B+0,5

Nac. A) pelo Programa.
81
Ano de 2001
Programa Tit/NRD6 Indx/NRD6 NRD6 decl NRD6 corr Total tituld Total indx
Mec EFEI 0.73 0.06 8 12 9 0.72
Mec IME 0.60 0.29 8 8 5 2.3
Mec PUC/MG 0.64 0.03 7 12 8 0.36
Mec PUC/PR 0.50 0.2 10 10 5 2
Mec PUC-Rio 0.55 0.59 20 22 12 13.0
Mec UFES 0.33 0.17 8 12 4 2.1
Mec UFF 1.09 0.27 10 11 12 3.0
Mec UFMG 0.77 0.18 24 25 19 4.5
Mec UFPA 0.27 0.04 8 12 3 0.48
Mec UFPB-JP 0.57 0.19 17 18 10 3.4
Mec UFPE 0.50 0.28 15 18 9 5.0
Mec UFPR 0.00 0.51 12 15 0 7.7
Mec UFRGS 1.11 0.42 16 23 26 9.7
Mec UFRJ 1.20 0.33 24 26 31 8.6
Mec UFRN 0.50 0.07 13 13 7 0.91
Mec UFSC 1.63 0.26 31 40 65 10.4
Mec UFU 0.91 0.26 19 25 23 6.5
Mec UNB 0.33 0.5 10 12 4 6
Mec UNESP/G 0.42 0.25 10 26 11 6.5
Mec UNESP/I.S. 0.83 0 12 13 11 0
Mec UNICAMP 2.22 0.47 48 52 115 24.4
Mec USP-SC 1.08 0.24 26 29 31 7.0
Mec USP-SP 1.11 0.27 23 27 30 7.3
82
Ano de 2001
Prod EFEI 1.30 0 18 18 23 0
Prod PUC-Rio 2.30 0.45 10 10 23 4.5
Podução UFAM 0 0 0
Prod UFF 0.75 0.02 20 24 18 0.48
Prod UFMG 0.40 0 5 10 4 0
Prod UFPB/JP 2.50 0.28 6 6 15 1.7
Prod UFPE 1.00 0.09 10 13 13 1.2
Prod UFRGS 0.48 0.38 9 13 6 4.9
Prod UFRJ 5.34 0.29 23 28 150 8.1
Prod UFRN 1.30 0 7 7 9 0
Prod UFSCAR 0.71 0.27 24 27 19 7.3
Prod UFSM 1.70 0 24 24 41 0
Prod UNIMEP 1.20 0.21 13 13 16 2.7
Prod UNIP 1.11 0.25 7 12 13 3
Prod USP-SC 1.10 0.12 11 14 15 1.7
Prod USP-SP 1.31 0.2 17 26 34 5.2
Gestão UFF 0.00 0.02 16 16 0 0.32
Naval USP 1.10 0.64 13 13 14 8.3
Ener-Petr. UNICAMP 0.75 0.28 9 12 9 3.4
Esp INPE 0.18 0.99 19 31 6 30.7
Aer Mec ITA 0.96 0.66 22 32 31 21.1
Oce UFRJ 1.31 0.25 21 24 32 6
Oce FURG 0.38 0.2 10 16 6 3.2
Tecnologia CEFET/RJ 1.13 0.44 15 16 18 7.0
Industrial UNESP/B 0.51 0.06 11 15 8 0.9
Energia EFEI 0.08 0 10 12 1 0
Mecânica/Mat CEFET/PR 0.00 0.36 10 14 0 5.0
83
Ano de 2002
Mec IME 0.47 0.42 7 9 4 3.8
Mec PUC/MG 0.81 0.38 9 10 8 3.8
Mec PUC/PR 0.50 0.16 10 10 5 1.6
Mec PUC-Rio 1.33 0.64 19 20 27 12.8
Mec UFES 0.60 0.08 9 12 7 0.96
Mec UFF 0.69 0.56 12 14 10 7.8
Mec UFMG 1.01 0.27 23 25 25 6.8
Mec UFPA 0.40 0.24 8 10 4 2.4
Mec UFPB-JP 1.64 0.26 21 23 38 6.0
Mec UFPE 0.23 0.19 15 20 5 3.8
Mec UFPR 0.22 0.43 14 19 4 8.2
Mec UFRGS 1.34 0.27 21 22 29 5.9
Mec UFRJ 1.19 0.93 21 23 27 21.4
Mec UFRN 0.65 0.48 12 13 8 6.2
Mec UFSC 1.41 0.23 29 41 58 9.4
Mec UFU 0.79 0.3 20 28 22 8.4
Mec UNB 0.30 0.46 19 19 6 8.7
Mec UNESP/G 0.99 0.69 12 23 23 15.9
Mec UNESP/I.S. 0.56 0.05 14 15 8 0.75
Mec UNICAMP 1.62 0.56 46 51 83 28.6
Mec UNIFEI 0.93 0 8 12 11 0
Mec UNITAU 0.00 0.08 10 12 0 0.96
Mec USP-SC 1.60 0.46 27 32 51 14.7
Mec USP-SP 1.38 0.19 24 40 55 7.6
Mec/Mat CEFET-PR 0.08 0.19 9 12 1 2.3
84
Ano de 2002 (continuação)
Prod PUC-Pr 0.10 0.04 12 12 1 0.48
Prod PUC-Rio 2.91 0.08 10 11 32 0.88
Prod UFAM 0.00 0.02 12 14 0 0.28
Prod UFF 1.33 0.3 20 24 32 7.2
Prod UFMG 1.22 0 5 9 11 0
Prod UFPB/JP 1.75 0 8 11 19 0
Prod UFPE 1.04 0.13 12 15 16 2.0
Prod UFRGS 0.90 0.28 9 12 11 3.4
Prod UFRJ 5.13 0.41 22 30 154 12.3
Prod UFRN 1.20 0 11 11 13 0
Prod UFSCAR 0.86 0.26 24 28 24 7.3
Prod UFSM 1.80 0.1 24 24 43 2.4
Prod UNIFEI 1.30 0 9 9 12 0
Prod UNIMEP 1.03 0.19 12 14 14 2.7
Prod UNIP 1.00 0.13 10 14 14 1.8
Prod USP-SC 1.33 0.13 10 12 16 1.6
Prod USP-SP 1.79 0.08 25 28 50 2.2
Gestão UFF 0.00 0.1 24 25 0 2.5
Naval USP 0.72 0.21 9 10 7 2.1
Esp INPE 0.29 0.68 15 26 8 17.7
Aer Mec ITA 1.38 0.83 26 32 44 26.6
Oce UFRJ 1.19 0.3 22 24 29 7.2
Oce FURG 0.42 0.11 11 13 6 1.4
Industrial UNESP/B 0.34 0.07 11 16 6 1.1
Energia UNIFEI 1.08 0.1 9 10 11 1
Automot USP 0.00 0.34 10 11 0 3.7
Cienc.Eng. UENF 0.42 0.06 16 19 8 1.1
85
Ano de 2003
Mec IME 0.71 0.36 7 7 5 2.5
Mec PUC/MG 1.18 0.32 10 11 13 3.5
Mec PUC/PR 0.92 0.15 12 12 11 1.9
Mec PUC-Rio 1.35 0.49 20 23 31 11.3
Mec UFES 0.67 0.34 6 9 6 3.05
Mec UFF 1.18 0.50 15 17 20 8.5
Mec UFMG 1.20 0.38 17 25 30 9.4
Mec UFPA 0.29 0.19 11 14 4 2.7
Mec UFPB-JP 1.45 0.17 22 22 32 3.8
Mec UFPE 0.55 0.34 15 22 12 7.5
Mec UFPR 0.59 0.36 12 22 13 8.0
Mec UFRGS 1.46 0.38 19 26 38 9.8
Mec UFRJ 1.42 0.73 23 24 34 17.6
Mec UFRN 0.50 1.27 13 14 7 17.7
Mec UFSC 1.61 0.50 30 51 82 25.3
Mec UFU 1.14 0.46 22 29 33 13.3
Ciênc, Mec. UNB 0.36 0.36 11 14 5 5.0
Mec UNESP/G 0.86 0.66 14 29 25 19.1
Mec UNESP/I.S. 0.63 0.33 13 16 10 5.3
Mec UNICAMP 2.02 0.85 52 58 117 49.3
Mec UNIFEI 0.83 0.36 7 12 10 4.3
Mec UNITAU 0.00 0.11 9 9 0 1.0
Mec USP-SC 1.94 0.41 32 33 64 13.5
Mec USP-SP 0.94 0.25 25 34 32 8.5
Mec/Mat CEFET-PR 0.88 0.38 12 17 15 6.4
86
Prod PUC-Pr 0.47 0.13 14 15 7 2.0
Prod PUC-Rio 1.92 0.10 10 12 23 1.2
Prod UFAM 0.00 0.03 12 16 0 0.46
Prod UFF 1.86 0.21 20 22 41 4.7
Prod UFMG 1.00 0.05 7 11 11 0.53
Prod UFPB/JP 0.41 0.03 6 17 7 0.57
Prod UFPE 1.47 0.06 12 15 22 0.88
Prod UFRGS 2.23 0.36 9 13 29 4.6
Prod UFRJ 4.06 0.75 22 33 134 24.8
Prod UFRN 1.14 0.00 11 14 16 0.0
Prod UFSCAR 1.34 0.34 27 29 39 9.8
Prod UFSM 2.72 0.04 24 25 68 1.0
Prod UNIFEI 2.44 0.28 9 9 22 2.5
Prod UNIMEP 1.16 0.29 12 19 22 5.6
Prod UNIP 1.00 0.17 11 15 15 2.6
Prod USP-SC 1.59 0.13 15 17 27 2.1
Prod USP-SP 1.61 0.37 24 28 45 10.3
Gestão UFF 0.00 0.05 31 31 0 1.6
Naval USP 1.64 0.16 7 14 23 2.2
Esp INPE 0.03 0.54 29 37 1 19.8
Aer Mec ITA 1.04 0.86 35 49 51 42.3
Oce UFRJ 1.15 0.23 24 26 30 6.1
Oce FURG 0.33 0.13 9 15 5 2.0
87
Mecânica UNESP/B 0.47 0.15 7 17 8 2.6
Energia UNIFEI 0.75 0.00 5 12 9 0.0
Automot USP 0.00 0.28 21 24 0 6.7
Cienc.Eng. UENF 1.20 0.00 8 10 12 0.0
Mecatrônica UNB 0.00 0.36 9 9 0 3.3
Mecatrônica UFBA 0.00 0.17 14 17 0 2.9
Mec UNIVAP 0.00 0.95 10 10 0 9.6
Prod UFSC 0.00 0.02 23 26 0 0.57
88
Anexo 4 Avaliação CCR-O
A4-1 Mec/Pro – CCR-O 2002
1 0,454 0,24485 0,00000 0,26316
2 0,447 0,22359 0,02709 0,20612
3 0,208 0,48056 0,05823 0,44302
4 0,754 0,06635 0,00804 0,06117
5 0,144 0,57696 0,06991 0,53189
6 0,600 0,11901 0,01442 0,10972
7 0,372 0,10755 0,01303 0,09915
8 0,270 0,37075 0,04493 0,34179
9 0,441 0,09866 0,01195 0,09095
10 0,205 0,24337 0,02949 0,22436
11 0,464 0,11347 0,00000 0,12195
12 0,407 0,11169 0,01353 0,10297
13 1,000 0,04348 0,00527 0,04008
14 0,514 0,14959 0,01813 0,13790
15 0,383 0,06372 0,00772 0,05874
16 0,372 0,09606 0,01164 0,08856
17 0,492 0,10695 0,00000 0,11494
18 0,758 0,05732 0,00695 0,05285
19 0,111 0,60212 0,07296 0,55508
20 0,714 0,02745 0,00333 0,02531
21 0,179 0,46667 0,09091 0,00000
22 0,617 0,05068 0,00614 0,04672
23 0,342 0,07315 0,00886 0,06743
24 0,567 0,16042 0,03125 0,00000
25 0,438 0,09510 0,01152 0,08767
26 0,238 0,46667 0,09091 0,00000
27 0,336 0,27018 0,05263 0,00000
28 0,252 0,26437 0,03204 0,24372
29 0,372 0,22385 0,02712 0,20636
30 1,000 0,03333 0,00649 0,00000
31 0,230 0,39487 0,07692 0,00000
32 0,344 0,10376 0,01257 0,09565
33 0,349 0,11938 0,02326 0,00000
34 0,260 0,42778 0,08333 0,00000
35 0,299 0,23892 0,02895 0,22026
36 0,240 0,29799 0,03611 0,27471
37 0,284 0,29293 0,03550 0,27005
38 0,348 0,10267 0,02000 0,00000
89
A4-2 Mec/Pro – CCR-O 2003
1 0,344 0,41499 0,04472 0,31055
2 0,365 0,24874 0,02681 0,18614
3 0,226 0,36915 0,09091 0,00000
4 0,513 0,08477 0,00914 0,06343
5 0,325 0,34141 0,03679 0,25549
6 0,501 0,11742 0,01265 0,08787
7 0,411 0,09739 0,01050 0,07288
8 0,175 0,40790 0,04396 0,30525
9 0,358 0,12689 0,03125 0,00000
10 0,314 0,14481 0,01561 0,10836
11 0,336 0,13536 0,01459 0,10129
12 0,440 0,08750 0,00943 0,06548
13 0,701 0,05940 0,00640 0,04445
14 1,000 0,07143 0,00770 0,05345
15 0,545 0,03601 0,00388 0,02695
16 0,466 0,07402 0,00798 0,05539
17 0,306 0,23361 0,02518 0,17482
18 0,586 0,05887 0,00634 0,04405
19 0,315 0,19826 0,02137 0,14837
20 0,853 0,02020 0,00218 0,01512
21 0,358 0,23280 0,02509 0,17421
22 0,515 0,05882 0,00634 0,04402
23 0,289 0,10194 0,01099 0,07629
24 0,472 0,17655 0,04348 0,00000
25 0,459 0,09904 0,02439 0,00000
26 0,246 0,36915 0,09091 0,00000
27 0,101 0,58009 0,14286 0,00000
28 0,361 0,18457 0,04545 0,00000
29 0,549 0,14002 0,03448 0,00000
30 1,000 0,03030 0,00746 0,00000
31 0,281 0,25379 0,06250 0,00000
32 0,398 0,08668 0,00934 0,06487
33 0,670 0,05971 0,01471 0,00000
34 0,602 0,18457 0,04545 0,00000
35 0,345 0,15240 0,01642 0,11405
36 0,246 0,27071 0,06667 0,00000
37 0,391 0,15039 0,03704 0,00000
38 0,448 0,07963 0,00858 0,05959
90
Anexo 5 Avaliação em Conjunto AR-O-C
A5-1 Mec/Pro AR-O-C 2002
1 0,453 0,24518 0,01669 0,26140
2 0,447 0,22359 0,27093 0,20612
3 0,208 0,48056 0,58232 0,44302
4 0,754 0,06635 0,08040 0,06117
5 0,144 0,57696 0,69913 0,53189
6 0,600 0,11901 0,14421 0,10972
7 0,372 0,10755 0,13032 0,09915
8 0,270 0,37075 0,44926 0,34179
9 0,441 0,09866 0,11955 0,09095
10 0,205 0,24337 0,29490 0,22436
11 0,462 0,11403 0,00776 0,12157
12 0,407 0,11169 0,13534 0,10297
13 1,000 0,04348 0,05268 0,04008
14 0,514 0,14959 0,18126 0,13790
15 0,383 0,06372 0,07721 0,05874
16 0,372 0,09606 0,11641 0,08856
17 0,490 0,10734 0,00730 0,11444
18 0,758 0,05732 0,06946 0,05285
19 0,111 0,60212 0,72961 0,55508
20 0,714 0,02745 0,03327 0,02531
21 0,166 0,50348 0,90901 0,08990
22 0,617 0,05068 0,06141 0,04672
23 0,342 0,07315 0,08864 0,06743
24 0,540 0,16851 0,30423 0,03009
25 0,438 0,09510 0,11524 0,08767
26 0,221 0,50348 0,90901 0,08990
27 0,312 0,29150 0,52629 0,05205
28 0,252 0,26437 0,32035 0,24372
29 0,372 0,22385 0,27125 0,20636
30 1,000 0,03333 0,06018 0,00595
31 0,213 0,42603 0,76917 0,07607
32 0,344 0,10376 0,12573 0,09565
33 0,341 0,12207 0,22039 0,02180
34 0,241 0,46153 0,83326 0,08241
35 0,299 0,23892 0,28951 0,22026
36 0,240 0,29799 0,36109 0,27471
37 0,284 0,29293 0,35495 0,27005
38 0,336 0,10616 0,19166 0,01896
91
A5-2 Mec/Pro AR-O-C 2003
1 0,344 0,41499 0,44723 0,31055
2 0,365 0,24874 0,26807 0,18614
3 0,223 0,37300 0,77645 0,07679
4 0,513 0,08477 0,09135 0,06343
5 0,325 0,34141 0,36793 0,25549
6 0,501 0,11742 0,12655 0,08787
7 0,411 0,09739 0,10496 0,07288
8 0,175 0,40790 0,43959 0,30525
9 0,338 0,13434 0,27966 0,02766
10 0,314 0,14481 0,15606 0,10836
11 0,336 0,13536 0,14588 0,10129
12 0,440 0,08750 0,09430 0,06548
13 0,701 0,05940 0,06402 0,04445
14 1,000 0,07143 0,07698 0,05345
15 0,545 0,03601 0,03881 0,02695
16 0,466 0,07402 0,07977 0,05539
17 0,306 0,23361 0,25177 0,17482
18 0,586 0,05887 0,06344 0,04405
19 0,315 0,19826 0,21366 0,14837
20 0,853 0,02020 0,02177 0,01512
21 0,358 0,23280 0,25089 0,17421
22 0,515 0,05882 0,06339 0,04402
23 0,289 0,10194 0,10986 0,07629
24 0,420 0,19861 0,41345 0,04089
25 0,432 0,10524 0,21907 0,02167
26 0,218 0,41685 0,86774 0,08582
27 0,093 0,63512 1,32210 0,13076
28 0,317 0,21005 0,43725 0,04324
29 0,537 0,14319 0,29807 0,02948
30 1,000 0,03030 0,06308 0,00624
31 0,238 0,30022 0,62496 0,06181
32 0,398 0,08668 0,09341 0,06487
33 0,574 0,06963 0,14495 0,01434
34 0,566 0,19630 0,40862 0,04041
35 0,345 0,15240 0,16424 0,11405
36 0,244 0,27339 0,56911 0,05629
37 0,356 0,16521 0,34392 0,03401
38 0,448 0,07963 0,08582 0,05959
92
Anexo 6 Avaliação Mecânica AR-O-C
A6-1 Mecânica AR-O-C 2001
1 0,528 0,23666 0,27403 0,37521
2 0,260 0,32020 1,19674 0,11836
3 0,375 0,26668 0,30878 0,42280
4 1,000 0,04545 0,05263 0,07206
5 0,316 0,26368 0,30530 0,41804
6 0,559 0,16271 0,18840 0,25797
7 0,373 0,10713 0,12404 0,16985
8 0,108 0,77002 2,87793 0,28463
9 0,364 0,15271 0,17682 0,24211
10 0,498 0,11149 0,12909 0,17676
11 0,864 0,07719 0,00829 0,12987
12 0,800 0,05438 0,06297 0,08622
13 0,662 0,05806 0,06722 0,09205
14 0,227 0,33869 1,26582 0,12519
15 0,703 0,03554 0,13283 0,01314
16 0,519 0,07711 0,08928 0,12225
17 0,845 0,09865 0,01059 0,16596
18 0,445 0,08636 0,10000 0,13692
19 0,316 0,24322 0,90901 0,08990
20 1,000 0,01923 0,07187 0,00711
21 0,302 0,27549 1,02964 0,10183
22 0,506 0,06809 0,07883 0,10794
23 0,557 0,06646 0,07695 0,10536
93
1 0,453 0,24518 0,01669 0,26140
2 0,547 0,18286 0,78974 0,09690
3 0,302 0,33150 1,51920 0,15025
4 0,922 0,05422 0,23417 0,02873
5 0,304 0,27449 1,25795 0,12441
6 0,604 0,11832 0,51098 0,06269
7 0,582 0,06878 0,31521 0,03117
8 0,300 0,33342 1,43996 0,17667
9 0,875 0,04967 0,22761 0,02251
10 0,209 0,23964 1,03494 0,12698
11 0,462 0,11403 0,00776 0,12157
12 0,726 0,06264 0,28707 0,02839
13 1,000 0,04348 0,18777 0,02304
14 0,518 0,14836 0,64074 0,07861
15 0,752 0,03242 0,14860 0,01470
16 0,498 0,07167 0,30954 0,03798
17 0,490 0,10734 0,00730 0,11444
18 0,798 0,05447 0,23525 0,02886
19 0,267 0,24961 1,14393 0,11314
20 1,000 0,01961 0,08986 0,00889
21 0,420 0,19835 0,90901 0,08990
22 0,939 0,03329 0,15258 0,01509
23 0,716 0,03490 0,15996 0,01582
94
1 0,394 0,36241 0,70643 0,25871
2 0,524 0,17361 0,60748 0,06008
3 0,376 0,22190 0,77645 0,07679
4 0,642 0,06776 0,23710 0,02345
5 0,372 0,29879 0,58241 0,21330
6 0,586 0,10034 0,19558 0,07163
7 0,550 0,07273 0,25447 0,02517
8 0,193 0,36939 0,72003 0,26370
9 0,569 0,07992 0,27966 0,02766
10 0,350 0,12999 0,25337 0,09279
11 0,375 0,12129 0,23642 0,08658
12 0,642 0,05992 0,20968 0,02074
13 0,800 0,05211 0,10157 0,03720
14 1,000 0,07143 0,13923 0,05099
15 0,734 0,02670 0,09344 0,00924
16 0,557 0,06192 0,21667 0,02143
17 0,325 0,22007 0,42897 0,15710
18 0,638 0,05403 0,10532 0,03857
19 0,358 0,17444 0,34002 0,12452
20 1,000 0,01724 0,06033 0,00597
21 0,418 0,19925 0,38838 0,14224
22 0,820 0,03695 0,12928 0,01279
23 0,416 0,07073 0,24748 0,02448
95
Anexo 7 Avaliação Produção AR-O-C
A7-1 Produção AR-O-C 2001
DMU Escore u(1) Doc u(1) Tit u(2) Prod
24 1,000 0,10000 0,09208 0,17516
25 0,136 0,30546 0,54128 0,05353
26 0,071 1,41046 2,49938 0,24719
27 0,726 0,22942 0,21125 0,40184
28 0,254 0,30313 0,27912 0,53095
29 0,817 0,09410 0,01293 0,20250
30 1,000 0,03571 0,06329 0,00626
31 0,228 0,62696 1,11099 0,10988
32 0,576 0,06435 0,00884 0,13848
33 0,303 0,13764 0,24390 0,02412
34 0,226 0,24535 0,43476 0,04300
35 0,477 0,16122 0,14846 0,28240
36 0,553 0,15072 0,02070 0,32436
37 0,311 0,22942 0,21125 0,40184
38 0,471 0,08171 0,07524 0,14312

24 0,540 0,16851 0,30423 0,03009
25 0,697 0,05980 0,00862 0,13506
26 0,221 0,50348 0,90901 0,08990
27 0,312 0,29150 0,52629 0,05205
28 0,317 0,21063 0,03036 0,47571
29 0,653 0,12759 0,01839 0,28817
30 1,000 0,03333 0,06018 0,00595
31 0,213 0,42603 0,76917 0,07607
32 0,601 0,05941 0,00856 0,13417
33 0,341 0,12207 0,22039 0,02180
34 0,241 0,46153 0,83326 0,08241
35 0,450 0,15873 0,02288 0,35850
36 0,305 0,23435 0,03378 0,52928
37 0,320 0,26013 0,03750 0,58750
38 0,336 0,10616 0,19166 0,01896
96
24 0,420 0,19861 0,41345 0,04089
25 0,432 0,10524 0,21907 0,02167
26 0,218 0,41685 0,86774 0,08582
27 0,093 0,63512 1,32210 0,13076
28 0,317 0,21005 0,43725 0,04324
29 0,537 0,14319 0,29807 0,02948
30 1,000 0,03030 0,06308 0,00624
31 0,238 0,30022 0,62496 0,06181
32 0,446 0,07736 0,00635 0,09951
33 0,574 0,06963 0,14495 0,01434
34 0,566 0,19630 0,40862 0,04041
35 0,389 0,13543 0,01112 0,17420
36 0,244 0,27339 0,56911 0,05629
37 0,356 0,16521 0,34392 0,03401
38 0,486 0,07343 0,00603 0,09445
97
Anexo 8 Avaliação Mecânica sem Outstanding AR-O-C
A8-1 Mecânica AR-O-C 2001 Sem Outstanding
1 0,625 0,19986 0,77201 0,26696
2 0,370 0,22524 1,19674 0,11836
3 0,460 0,21725 0,83922 0,29020
4 1,000 0,04545 0,17558 0,06072
5 0,363 0,22988 0,88797 0,30705
6 0,795 0,11430 0,47229 0,14442
7 0,541 0,07387 0,30525 0,09334
8 0,154 0,54167 2,87793 0,28463
9 0,468 0,11865 0,49028 0,14992
10 0,564 0,09847 0,38038 0,13153
11 0,864 0,07719 0,00829 0,12987
12 1,000 0,04348 0,17966 0,05494
13 0,911 0,04224 0,17453 0,05337
14 0,323 0,23825 1,26582 0,12519
15 1,000 0,02500 0,13283 0,01314
16 0,709 0,05644 0,23323 0,07132
17 0,845 0,09865 0,01059 0,16596
18 0,497 0,07733 0,29872 0,10329
19 0,450 0,17109 0,90901 0,08990
21 0,430 0,19379 1,02964 0,10183
22 0,747 0,04618 0,19082 0,05835
23 0,801 0,04625 0,19112 0,05844
98
1 0,453 0,24518 0,01669 0,26140
2 0,561 0,17810 0,85047 0,08411
3 0,314 0,31814 1,51920 0,15025
4 0,947 0,05280 0,25215 0,02494
5 0,316 0,26343 1,25795 0,12441
6 0,604 0,11822 0,56452 0,05583
7 0,606 0,06601 0,31521 0,03117
8 0,304 0,32856 1,56897 0,15517
9 0,912 0,04767 0,22761 0,02251
10 0,209 0,23910 1,14178 0,11292
11 0,462 0,11403 0,00776 0,12157
12 0,756 0,06012 0,28707 0,02839
13 1,000 0,04348 0,20762 0,02053
14 0,519 0,14818 0,70762 0,06998
15 0,784 0,03112 0,14860 0,01470
16 0,517 0,06910 0,32995 0,03263
17 0,490 0,10734 0,00730 0,11444
18 0,804 0,05408 0,25823 0,02554
19 0,278 0,23955 1,14393 0,11314
21 0,438 0,19036 0,90901 0,08990
22 0,978 0,03195 0,15258 0,01509
23 0,746 0,03350 0,15996 0,01582

1 0,496 0,28780 1,10737 0,17853
2 0,652 0,13941 0,53641 0,08648
3 0,458 0,18200 0,77645 0,07679
4 0,823 0,05280 0,20318 0,03276
5 0,467 0,23806 0,91600 0,14767
6 0,763 0,07711 0,29671 0,04783
7 0,695 0,05756 0,22146 0,03570
8 0,231 0,30973 1,15454 0,19933
9 0,693 0,06555 0,27966 0,02766
10 0,423 0,10753 0,40083 0,06920
11 0,454 0,10006 0,37297 0,06439
12 0,796 0,04831 0,18588 0,02997
13 1,000 0,04167 0,16032 0,02585
14 1,000 0,07143 0,26625 0,04597
15 0,926 0,02117 0,08144 0,01313
16 0,722 0,04774 0,18368 0,02961
17 0,363 0,19679 0,73355 0,12664
18 0,745 0,04627 0,17249 0,02978
19 0,446 0,14009 0,52219 0,09015
21 0,543 0,15349 0,59059 0,09521
22 1,000 0,03030 0,12928 0,01279
23 0,517 0,05686 0,21880 0,03527
99
Anexo 9 Avaliação Produção sem Outstanding AR-O-C
A9-1 Produção AR-O-C 2001 Sem Outstanding
24 1,000 0,10000 0,35211 0,04225
25 0,277 0,15049 0,54128 0,05353
26 0,144 0,69488 2,49938 0,24719
27 1,000 0,16667 0,59947 0,05929
28 0,393 0,19597 0,70488 0,06971
29 0,817 0,09410 0,01293 0,20250
31 0,463 0,30888 1,11099 0,10988
32 0,576 0,06435 0,00884 0,13848
33 0,614 0,06781 0,24390 0,02412
34 0,460 0,12087 0,43476 0,04300
35 0,521 0,14761 0,51975 0,06237
36 0,553 0,15072 0,02070 0,32436
37 0,429 0,16667 0,59947 0,05929
38 0,545 0,07058 0,24851 0,02982

24 1,000 0,09091 0,30423 0,03009
25 1,000 0,04167 0,11966 0,08571
26 0,409 0,27163 0,90901 0,08990
27 0,578 0,15727 0,52629 0,05205
28 0,581 0,11483 0,32976 0,23619
29 0,937 0,08890 0,01839 0,28817
31 0,396 0,22984 0,76917 0,07607
32 0,863 0,04139 0,00856 0,13417
33 0,720 0,05785 0,16614 0,11900
34 0,446 0,24900 0,83326 0,08241
35 0,684 0,10445 0,29995 0,21484
36 0,552 0,12948 0,37185 0,26634
37 0,657 0,12681 0,36417 0,26083
38 0,674 0,05295 0,15207 0,10892
100
24 0,735 0,11342 0,40999 0,04751
25 0,764 0,05949 0,18449 0,05182
26 0,382 0,23819 0,86101 0,09978
27 0,163 0,36112 1,30539 0,15128
28 0,555 0,12017 0,43441 0,05034
29 1,000 0,07692 0,23854 0,06701
31 0,414 0,17246 0,62496 0,06181
32 0,916 0,03763 0,00635 0,09951
33 1,000 0,04000 0,14495 0,01434
34 1,000 0,11111 0,40165 0,04655
35 0,799 0,06587 0,01112 0,17420
36 0,485 0,13754 0,07650 0,34048
37 0,626 0,09399 0,33975 0,03937
38 1,000 0,03571 0,01986 0,08841
101
Anexo 10 Avaliação Mecânica Janela AR-O-C
A10-1 Mecânica AR-O-C, Janela 2001-2002
DMU Ano Escore v(1) Doc u(1) Tit u(2) Prod
1 2001 0,389 0,32112 0,98284 0,22112
2 2001 0,260 0,32020 1,19674 0,11836
3 2001 0,291 0,34393 1,05267 0,23683
4 2001 0,634 0,07173 0,00488 0,07647
5 2001 0,223 0,37448 1,14618 0,25787
6 2001 0,522 0,17426 0,53335 0,11999
7 2001 0,357 0,11218 0,34336 0,07725
8 2001 0,108 0,77002 2,87793 0,28463
9 2001 0,300 0,18512 0,56659 0,12747
10 2001 0,344 0,16135 0,49385 0,11111
11 2001 0,547 0,12181 0,00829 0,12987
12 2001 0,636 0,06832 0,20910 0,04704
13 2001 0,593 0,06489 0,19862 0,04468
14 2001 0,227 0,33869 1,26582 0,12519
15 2001 0,703 0,03554 0,13283 0,01314
16 2001 0,461 0,08684 0,26579 0,05980
17 2001 0,535 0,15566 0,01059 0,16596
18 2001 0,302 0,12751 0,39026 0,08780
19 2001 0,316 0,24322 0,90901 0,08990
20 2001 1,000 0,01923 0,07187 0,00711
21 2001 0,302 0,27549 1,02964 0,10183
22 2001 0,493 0,06989 0,21391 0,04813
23 2001 0,526 0,07038 0,21541 0,04846
1 2002 0,453 0,24518 0,01669 0,26140
2 2002 0,507 0,19742 0,60425 0,13595
3 2002 0,263 0,37992 1,16283 0,26162
4 2002 0,854 0,05855 0,17922 0,04032
5 2002 0,248 0,33658 1,25795 0,12441
6 2002 0,602 0,11860 0,36300 0,08167
7 2002 0,493 0,08108 0,24815 0,05583
8 2002 0,288 0,34759 1,06388 0,23935
9 2002 0,714 0,06090 0,22761 0,02251
10 2002 0,207 0,24114 0,73804 0,16605
11 2002 0,462 0,11403 0,00776 0,12157
12 2002 0,592 0,07681 0,28707 0,02839
13 2002 1,000 0,04348 0,13307 0,02994
14 2002 0,517 0,14886 0,45560 0,10250
15 2002 0,613 0,03976 0,14860 0,01470
16 2002 0,447 0,07989 0,24451 0,05501
17 2002 0,490 0,10734 0,00730 0,11444
18 2002 0,782 0,05559 0,17015 0,03828
19 2002 0,218 0,30607 1,14393 0,11314
20 2002 0,884 0,02217 0,06787 0,01527
21 2002 0,343 0,24322 0,90901 0,08990
22 2002 0,804 0,03886 0,11895 0,02676
23 2002 0,584 0,04280 0,15996 0,01582
102
A10-2 Mecânica AR-O-C, Janela 2002-2003
1 2002 0,388 0,28634 0,55814 0,20441
2 2002 0,427 0,23408 0,45627 0,16710
3 2002 0,230 0,43417 1,51920 0,15025
4 2002 0,720 0,06944 0,13536 0,04957
5 2002 0,232 0,35951 1,25795 0,12441
6 2002 0,537 0,13302 0,25930 0,09496
7 2002 0,444 0,09008 0,31521 0,03117
8 2002 0,249 0,40112 0,78189 0,28635
9 2002 0,668 0,06505 0,22761 0,02251
10 2002 0,184 0,27120 0,52863 0,19360
11 2002 0,349 0,15075 0,29385 0,10762
12 2002 0,554 0,08204 0,28707 0,02839
13 2002 0,893 0,04869 0,09490 0,03476
14 2002 0,460 0,16707 0,32567 0,11927
15 2002 0,574 0,04247 0,14860 0,01470
16 2002 0,379 0,09430 0,32995 0,03263
17 2002 0,388 0,13550 0,26412 0,09673
18 2002 0,688 0,06316 0,12311 0,04509
19 2002 0,204 0,32693 1,14393 0,11314
20 2002 0,764 0,02568 0,08986 0,00889
21 2002 0,321 0,25979 0,90901 0,08990
22 2002 0,717 0,04361 0,15258 0,01509
23 2002 0,547 0,04571 0,15996 0,01582
1 2003 0,394 0,36241 0,70643 0,25871
2 2003 0,524 0,17361 0,60748 0,06008
3 2003 0,376 0,22190 0,77645 0,07679
4 2003 0,642 0,06776 0,23710 0,02345
5 2003 0,372 0,29879 0,58241 0,21330
6 2003 0,586 0,10034 0,19558 0,07163
7 2003 0,550 0,07273 0,25447 0,02517
8 2003 0,193 0,36939 0,72003 0,26370
9 2003 0,569 0,07992 0,27966 0,02766
10 2003 0,350 0,12999 0,25337 0,09279
11 2003 0,375 0,12129 0,23642 0,08658
12 2003 0,642 0,05992 0,20968 0,02074
13 2003 0,800 0,05211 0,10157 0,03720
14 2003 1,000 0,07143 0,13923 0,05099
15 2003 0,734 0,02670 0,09344 0,00924
16 2003 0,557 0,06192 0,21667 0,02143
17 2003 0,325 0,22007 0,42897 0,15710
18 2003 0,638 0,05403 0,10532 0,03857
19 2003 0,358 0,17444 0,34002 0,12452
20 2003 1,000 0,01724 0,06033 0,00597
21 2003 0,418 0,19925 0,38838 0,14224
22 2003 0,820 0,03695 0,12928 0,01279
23 2003 0,416 0,07073 0,24748 0,02448
103
Anexo 11 Avaliação Produção Janela AR-O-C
A11-1 Produção AR-O-C, Janela 2001-2002
24 2001 1,000 0,10000 0,02926 0,20727
25 2001 0,136 0,30546 0,54128 0,05353
26 2001 0,071 1,41046 2,49938 0,24719
27 2001 0,660 0,25237 0,07385 0,52308
28 2001 0,221 0,34872 0,10204 0,72279
29 2001 0,817 0,09410 0,01293 0,20250
30 2001 1,000 0,03571 0,06329 0,00626
31 2001 0,228 0,62696 1,11099 0,10988
32 2001 0,576 0,06435 0,00884 0,13848
33 2001 0,303 0,13764 0,24390 0,02412
34 2001 0,226 0,24535 0,43476 0,04300
35 2001 0,466 0,16490 0,04825 0,34178
36 2001 0,553 0,15072 0,02070 0,32436
37 2001 0,283 0,25237 0,07385 0,52308
38 2001 0,453 0,08494 0,02486 0,17606
24 2002 0,530 0,17168 0,30423 0,03009
25 2002 0,664 0,06276 0,00862 0,13506
26 2002 0,217 0,51298 0,90901 0,08990
27 2002 0,306 0,29700 0,52629 0,05205
28 2002 0,308 0,21675 0,06342 0,44926
29 2002 0,622 0,13391 0,01839 0,28817
30 2002 1,000 0,03333 0,05656 0,01049
31 2002 0,209 0,43406 0,76917 0,07607
32 2002 0,573 0,06235 0,00856 0,13417
33 2002 0,335 0,12421 0,21075 0,03907
34 2002 0,236 0,47023 0,83326 0,08241
35 2002 0,429 0,16650 0,04872 0,34511
36 2002 0,296 0,24152 0,07067 0,50059
37 2002 0,315 0,26424 0,07732 0,54768
38 2002 0,330 0,10816 0,19166 0,01896
104
A11-2 Produção AR-O-C, Janela 2002-2003
24 2002 0,540 0,16851 0,30423 0,03009
25 2002 0,397 0,10500 0,00862 0,13506
26 2002 0,221 0,50348 0,90901 0,08990
27 2002 0,312 0,29150 0,52629 0,05205
28 2002 0,231 0,28818 0,44879 0,14097
29 2002 0,372 0,22403 0,01839 0,28817
30 2002 1,000 0,03333 0,06018 0,00595
31 2002 0,213 0,42603 0,76917 0,07607
32 2002 0,342 0,10431 0,00856 0,13417
33 2002 0,341 0,12207 0,22039 0,02180
34 2002 0,241 0,46153 0,83326 0,08241
35 2002 0,256 0,27871 0,02288 0,35850
36 2002 0,219 0,32671 0,50880 0,15982
37 2002 0,273 0,30540 0,47561 0,14939
38 2003 0,336 0,10616 0,19166 0,01896
24 2003 0,364 0,22900 0,41345 0,04089
25 2003 0,395 0,11515 0,17933 0,05633
26 2003 0,189 0,48063 0,86774 0,08582
27 2003 0,081 0,73047 1,13760 0,35733
28 2003 0,275 0,24218 0,43725 0,04324
29 2003 0,521 0,14779 0,23016 0,07229
30 2003 1,000 0,03030 0,04719 0,01482
31 2003 0,206 0,34616 0,62496 0,06181
32 2003 0,446 0,07736 0,00635 0,09951
33 2003 0,498 0,08029 0,14495 0,01434
34 2003 0,517 0,21510 0,33498 0,10522
35 2003 0,389 0,13543 0,01112 0,17420
36 2003 0,241 0,27717 0,43165 0,13559
37 2003 0,309 0,19049 0,34392 0,03401
38 2003 0,486 0,07343 0,00603 0,09445
105

DEA Conceitos

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

DEA Conceitos

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE

APLICANDO ANÁLISE DE ENVOLTÓRIA DE DADOS - DEA À AVALIAÇÃO

HARLAN JULU GUERRA MARCELICE

TESE SUBMETIDA AO PROGRAMA DE ENGENHARIA DE PRODUÇÃO DA

MESTRE EM CIÊNCIAS EM ENGENHARIA DE PRODUÇÃO

© 2006 HARLAN JULU GUERRA MARCELICE.

O autor, aqui designado, concede ao Programa de Engenharia de Produção da

Assinatura do Autor: ______________________________________________

Catalogação da Publicação na Fonte. UFRN / Biblioteca Central Zila Mamede

Marcelice, Harlan Julu Guerra.

Orientador : Rubens Eugênio Barreto Ramos.

Tese (Mestrado) – Universidade Federal do Rio Grande do Norte. Centro

1. Engenharia de produção – Tese. 2. Análise envoltória de dados - DEA

RN/UF/BCZM CDU 658.5(043.2)

Harlan Julu Guerra Marcelice é Engenheiro Industrial

ARTIGOS DURANTE A PÓS-GRADUAÇÃO

• RAMOS, Rubens E.B., MARCELICE, Harlan J.G. (2006) Avaliando o

• MARCELICE, Harlan J.G. (2005) Perfil da produção científica em Gestão da

• MARCELICE, Harlan J.G. (2005) Perfil da produção científica em Gestão da

À Universidade Federal do Rio Grande do Norte e ao Programa de Engenharia de

Aos demais Professores do Programa de Engenharia de Produção, pela capacidade de

À Secretária do Programa de Engenharia de Produção, que sempre foi solícita em todas as

Ao casal Antônio de Souza e Maria José que me acolheram quando cheguei e se

Ao General Francisco Gomes da Costa, que durante um período me hospedou e deu

APLICANDO ANÁLISE DE ENVOLTÓRIA DE DADOS - DEA À AVALIAÇÃO

HARLAN JULU GUERRA MARCELICE

Orientador: Prof. Rubens Eugênio Barreto Ramos, D.Sc.

Curso: Mestrado em Ciências em Engenharia de Produção

Esta Tese de Mestrado explora a avaliação de desempenho acadêmico de programas de

APPLYING DEA TO ACADEMIC PERFORMANCE EVALUATION: A STUDY

HARLAN JULU GUERRA MARCELICE

Thesis Supervisor: Professor Rubens Eugênio Barreto Ramos

Program: Master of Sciences in Production Engineering

1.1 CONTEXTUALIZAÇÃO ............................................................................................................................... 1

CAPÍTULO 2 ANÁLISE DE DESEMPENHO UTILIZANDO DEA ......................................................... 7

2.1 SURGIMENTO DA DEA ............................................................................................................................. 7

CAPÍTULO 3 METODOLOGIA DA PESQUISA ..................................................................................... 31

3.1 TIPOLOGIA DA PESQUISA ....................................................................................................................... 31

CAPÍTULO 4 RESULTADOS E DISCUSSÃO .......................................................................................... 36

4.1 ANÁLISE CCR-O, ANO A ANO, EM CONJUNTO ....................................................................................... 36

CAPÍTULO 5 CONCLUSÕES E RECOMENDAÇÕES ........................................................................... 57

5.1 SÍNTESE DOS PRINCIPAIS RESULTADOS .................................................................................................. 57

Tabela 1.1 Critérios da Avaliação CAPES, 2001-2003 ..................................................3

Tabela 1.2 Indicadores do Critério VII - Produção Intelectual..........................................3

Tabela 1.3 Cálculo dos Indicadores dos itens 2 e 3...........................................................4

Tabela 2.3 Estudos no Brasil – Teses de Mestrado e Doutorado...................................26

Tabela 3.1 Lista de DMU’s e dados CAPES ................................................................32

Tabela 4.1 Escores e Pesos, Análise CCR – O, 2001 em conjunto................................37

Tabela 4.2 Escores e Pesos, Análise AR-C-O, 2001 em conjunto.................................38

Tabela 4.3 Escores e Referências, Ano a Ano em conjunto..........................................40

Tabela 4.4 Escores, Ano a Ano, Engenharia Mecânica ................................................41

Tabela 4.5 Escores, Ano a Ano, Engenharia de Produção ............................................43

Tabela 4.6 Síntese Comparativa, 2001 .........................................................................45

Tabela 4.7 Síntese Comparativa, 2002 .........................................................................46

Tabela 4.8 Síntese Comparativa, 2003 .........................................................................47

Tabela 4.9 Análise de Janela, Engenharia Mecânica ....................................................49

Tabela 4.10 Análise de Janela, Engenharia de Produção ..............................................50

Tabela 4.11 Critérios para as Outstanding....................................................................51

Tabela 4.12 Análise sem as Outstanding, Eng. Mecânica.............................................52

Tabela 4.13 Análise sem as Outstanding, Eng. de Produção.........................................53

Tabela 4.14 Avaliação Comparativa DEA x CAPES, Eng. Mecânica...........................54

Tabela 4.15 Avaliação Comparativa DEA x CAPES, Eng. de Produção ......................55

Tabela 4.16 Síntese da Análise de Correlação – Escores de Eficiência x nota................56