XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002

AVALIAO DE PROGRAMAS DE PS-GRADUAO EMPREGANDO O MTODO ELECTRE TRI

Caroline Maria Guerra de Miranda

Universidade Federal de Pernambuco/ UFPE Cx. Postal 7462, CEP 50.630-970, Recife PE,

Adiel Teixeira de Almeida

Universidade Federal de Pernambuco/ UFPE Cx. Postal 7462, CEP 50.630-970, Recife -PE

Abstract This work deals with the model building of multicriteria decision aid in order to evaluate the postgraduate courses in Brazil. A study case is concentrated in a particular committee of CAPES, so called the III Engineering area. These models are based on the evaluation methodology adopted by the CAPES. This methodology has the objective of making comparative analysis of the postgraduate programs of the III Engineering area during 1998-2000 term. This analysis has been conducted supported by ELECTRE TRI method, incorporating criteria utilised by the CAPES in order to generate a postgraduate programmes sorting. Keywords: Evaluate the postgraduate, Multicriteria Decision, ELECTRE

Introduo A Fundao de Coordenao de Aperfeioamento de Pessoal de Ensino Superior (CAPES) ligada ao ministrio da educao do Governo Brasileiro (MEC), o rgo que define as diretrizes de abertura, funcionamento e avaliao dos cursos de ps-graduao no Brasil. A importncia de se ter um sistema de avaliao dos programas de ps-graduao no Brasil est relacionada a vrios fatores. Dentre os mais relevantes, est a busca permanente da elevao dos padres de qualidade desse nvel de ensino, manter um sistema capaz de impulsionar a evoluo de toda a Psgraduao mediante metas e desafios que expressem os avanos da cincia e tecnologia, fomentar estudos e atividades que, direta ou indiretamente, contribuam para o desenvolvimento e consolidao das instituies de ensino superior, manter intercmbio e contato com outros rgos, visando celebrao de convnios, acordos, contratos e manter um sistema de avaliao de cursos reconhecido e utilizado por outras instituies, capaz de apoiar o processo de desenvolvimento cientfico e tecnolgico nacional (CAPES, 2001e). Este trabalho apresenta modelos de deciso multicritrio para apoiar na avaliao dos cursos de psgraduao strictu sensu do Brasil, mais especificamente a rea Engenharias III, que composta pelos cursos: Engenharia Aeronutica, Mecnica, Naval, Ocenica, Petrleo e Produo do pas. Estes modelos so baseado na metodologia de avaliao adotada pela CAPES. O Processo de Avaliao da CAPES A CAPES realiza periodicamente uma avaliao dos programas de ps-graduao do Pas (Mestrado e Doutorado). Esse sistema de avaliao permite comparar o nvel das atividades de pesquisa entre os programas nacionais e internacionais. O processo de avaliao da CAPES, para rea Engenharias III, caracteriza-se por atribuir conceitos entre 1 e 7 aos programas de ps-graduao. O programa com nvel de avaliao igual ou superior a 3 tem seus diplomas validados e reconhecidos nacionalmente. O programa que oferece apenas o mestrado tem seu nvel limitado a 5, ficando os nveis 6 e 7 reservados para os doutorados de referencial internacional. Este processo est dividido em duas etapas principais: Em primeiro lugar, os programas so classificados em cinco categorias (conceitos de 1 a 5). Posteriormente, aqueles que foram classificados com nvel 5 podem participar de uma segunda classificao em funo de seu desempenho diferenciado quanto produo cientfica, cultural e artstica, alm de caractersticas que os tornam competidores em nvel internacional. Este artigo dar nfase na anlise da primeira etapa. ENEGEP 2002 ABEPRO 1 2.

1.

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 O processo de avaliao para o trinio 1998-2000, foi dividido em duas etapas temporais. Na primeira etapa, foram consolidados os resultados das avaliaes continuadas de 1998 e 1999. Na segunda, os relatrios referentes a 2000 foram analisados de acordo com a mesma metodologia utilizada nas avaliaes continuadas, e os resultados foram consolidados em uma viso nica de avaliao trienal para cada curso. Essa viso da avaliao engloba seis critrios de anlise: Corpo docente, Atividade de pesquisa, Atividade de formao, Teses e Dissertaes, Corpo discente e Produo intelectual. Na avaliao trienal, para cada critrio, essa viso representa a mdia das atribuies concedidas nas trs avaliaes sofridas pelo programa. Na seqncia, fez-se a atribuio dos conceitos luz dos resultados da viso trienal de cada programa. Cada um dos programas foi analisado quanto ao seu desempenho nos seis critrios de anlise, sendo atribudo conceitos entre 1 e 5 (CAPES, 2001a). O mecanismo de avaliao da CAPES, nessa rea, leva em considerao 6 critrios fundamentais. Cada um desses critrios so subdivididos em subcritrios consolidados por todos os aspectos levados em considerao nos procedimentos adotados pela avaliao (CAPES, 2001a; CAPES, 2001b). As Tabelas 1 e 2 apresentam, respectivamente, os critrios de avaliao e uma breve descrio dos subcritrios com seus respectivos pesos.
Critrios Corpo Docente (CD) Atividade de Pesquisa (AP) Atividade de Formao (AF) Corpo Discente (CA) Teses e Dissertaes (TD) Produo Intelectual (PI) Peso 10 pontos 10 pontos 10 pontos 20 pontos 20 pontos 30 pontos

Tabela 1 - Peso dos critrios

Critrios Subcritrios 1 Composio e atuao do corpo docente 2 Dimenso do NRD6 rel. ao corpo docente 3 Abrangncia do NRD6 rel. s reas de concentrao e pesquisa 4 Intercmbio do corpo docente. Participao de outros docentes 5 Qualificao do NRD6 1 2 3 4 1 2 3 4 5 1 2 3 4 1 2 3 4 5 1 2 3 4 5 Adequao das Linhas de Pesquisa s reas de Concentrao Vnculo entre Linhas e Projetos de Pesquisa Adequao da quant. de Linhas de Pesquisa em rel. dimenso do NRD6 Participao do Corpo Discente nos Projetos de Pesquisa Adequao das disciplinas em rel. s Linhas de Pesquisa Distribuio da carga letiva e da carga horria mdia Quantidade de orientadores do NRD6 rel. dimenso do Corpo Docente Atividades letivas de graduao Orientao nos cursos de graduao Dimenso do Corpo Discente em relao dimenso do NRD6 No. de desligamentos em rel. dimenso do Corpo Discente No. de titulados em rel. dimenso do Corpo Discente No. de discentes- autores em rel. dimenso do Corpo Discente Vnculo teses e dissertaes c/ reas de concentrao e Linhas de Pesquisa Tempo mdio de bolsa e titulao de bolsistas x no bolsistas No. de titulados em rel. dimenso do NRD6 No. mdio de orientandos em relao dimenso do NRD6 Adequao das dissertaes e teses proposta do programa Adequao dos tipos de produo e Linhas de Pesquisa Qualidade dos meios de divulgao - distribuio entre os docentes Quantidade em rel. dimenso do NRD6 - distribuio entre docentes Autoria de outros participantes Produo tcnica Pesos 30 20 30 10 10 30 30 20 20 40 20 20 10 10 25 15 40 20 10 30 30 20 10 10 30 30 10 20

Corpo Docente

Atividades de Pesquisa

Atividades de Formao

Corpo Discente

Teses e Dissertaes

Produo Intelectual

Tabela 2 - Critrios e subcritrios com seus respectivos pesos Por meio dos ndices retirados dos relatrios de cada programa, avalia-se cada um desses subcritrios de forma qualitativa ou quantitativa. So atribudos conceitos que variam entre Deficiente, Fraco, Regular, Bom e Muito Bom a cada um desses subcritrios associados aos seis critrios de avaliao (CAPES, 2001a). O algoritmo utilizado para a obteno da avaliao dos subcritrios e a relao entre os valores numricos e os conceitos (MB, B, R, F e D) constam na Tabela 3.

ENEGEP 2002

ABEPRO

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002

Correspondncias dos subcritrios B R 75-90 50-75 70-80 ou >90 50-70 ----10-15 15-30 ou <5 80-90 60-80 --90-80 3-4 ou (10-8) 0.7-0.6 ---45-60 ou 120-150 80-90 45-60 ou 120-150 80-90 3-4/8-10 10-15% 20-30% 35-50% 60-80 1,1-1,2 0,8-1,0 1,1-1,5 3-4 ou 8-10 60-80 0,2-0,4 1-2 0,75-0,85ou > 0,95 0,13-0,25 --80-70 2-3 ou (12-10) 0.6-0.5 ---30-45 ou 150-180 70-80 30-45 ou 150-180 70-80 2-3/10-12 15-25% 10-20% 20-35% 40-60 1,2-1,3 0,6-0,8 0,75-1,1 2-3 ou 10-12 40-60 0,1-0,2 0,5-1 0,6-0,75 0,06-0,13

Critrios Corpo Docente 1 2 3 4 5 1 2 3 4 1 2 3 4 5 1 2 3 4 1 2 3 4 5 1 2 3 4 5

MB >90 80-90 ---5-10 >90 ---> 90 8-4 >0.7 ---60-120 >90 60-120 >90 4-8 0-10% >30% >50% 80-100% <1,1 >1,0 >1,5 4-8 >80 >0,4 >2 0,85-0,95 >0,25

F 30-50 30-50 ---30-50 50-60 ---70-60 <2 ou >12 0.5-0.4 ---<30 ou >180 60-70 <30 ou >180 60-70 1-2/>12 >25% 5-10% <20% 20-40 1,3-1,4 0,4-0,6 0,5-0,75 <2 ou >12 20-40 0,05-0,1 0,25-0,5 0,4-0,6 0,03-0,06

D <30 <30 -->50 <50 --<60 ----<0.4 ------<60 ---<60 --------<20 >1,4 <0,4 <0,5 --<20 <0,05 <0,25 <0,4 <0,03

Atividades de Pesquisa

Atividades de Formao

Corpo Discente

Teses e Dissertaes

Produo Intelectual

Tabela 3 - Correspondncia entre os valores numricos e os conceitos (MB, B, R, F e D) O processo de avaliao consiste em ponderar os subcritrios dentro de cada critrio, e os totais de cada critrio so novamente ponderados, obtendo-se a avaliao global do programa (conceitos MB, B, R, F, D). Com base na avaliao global, chega-se aos nveis (conceito final) de 1 a 5. (CAPES, 2001a ) A comisso da CAPES, tendo realizado uma primeira avaliao sobre os dados fornecidos por cada programa, comps uma tabela a partir dos itens avaliados de forma qualitativa e quantitativa, resultando nos conceitos de cada um dos seis critrios para cada programa de ps-graduao: corpo docente (CD), atividade de pesquisa (AP), atividade de formao (AF), corpo discente (CA), teses e dissertaes (TD) e produo intelectual (PI). A tabela encontra-se em anexo (Tabela I) (CAPES, 2001c). Os cursos UNICAMP/SP Petrleo, UNICAMP/SP Qualidade, CEFET/PR Mecnica e UFSC/SC Produo, foram retirados da anlise por falta de dados. 3. Mtodos Multicritrio de Apoio a Deciso O escopo deste trabalho fazer uma anlise do processo de avaliao da CAPES sob a tica do Apoio Deciso Multicritrio. Esta rea do conhecimento possui um amplo conjunto de ferramentas cujo objetivo auxiliar um indivduo ou grupo de pessoas (decisor) no desenvolvimento de um processo de deciso. Quando modelamos um problema de deciso multicritrio, vrias problemticas (Ou formulao de problemas) podem ser consideradas. Roy (1996) distinguiu quatro problemticas bsicas: escolha, classificao, ordenao e descrio Dado um conjunto de alternativas A, a problemtica de escolha, ou seleo (P. ), consiste na escolha de um subconjunto A A, to pequeno quanto possvel, composto de alternativas julgadas como as mais satisfatrias. Problemas de otimizao so casos particulares da problemtica de escolha, onde A fica restrito a uma nica alternativa. A problemtica de classificao (P.) consiste em formular o problema de deciso de tal forma que distribua cada alternativa de A para uma categoria predefinida. A distribuio de uma alternativa a para sua categoria apropriada devida ao valor real intrnseco de a ( e no da comparao de a com outras alternativas de A). A problemtica de ordenao (P.) consiste em estabelecer uma ordem de preferncia (que pode ser parcial ou completa) no conjunto de alternativas A. Por fim, a problemtica de descrio (P.) descreve aes formal e sistematicamente, com suas conseqncias em termos de qualidade e quantidade, ou prope uma metodologia baseada no procedimento cognitivo, a qual pode ser usada repetidamente.

ENEGEP 2002

ABEPRO

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 So encontrados na literatura vrios mtodos multicritrio de apoio a deciso. Segundo Vincke (1992), este campo de estudo possui duas linhas de pensamentos principais: a Escola Francesa, na qual o mtodo mais citado o ELECTRE e a Escola Americana, onde foi idealizado o MAUT. Mtodos de Sobreclassificao Os mtodos de Sobreclassificao fundamentam-se na construo de uma relao de sobreclassificao que incorpora as preferncias estabelecidas pelo decisor diante dos problemas e das alternativas disponveis. Segundo Roy (1996), a relao de sobreclassificao S uma relao binria definida em A tal que aSb, se a pelo menos to boa quanto b. Essa relao no exige a transitividade. Dentre os mtodos de Sobreclassificao destacam-se os mtodos da famlia ELECTRE (Elimination and Choice Translating algorithm), tambm denominados mtodos de subordinao (termo em ingls: outranking), composta pelos mtodos ELECTRE I, II, III, IV, IS e TRI. Para anlise do processo de avaliao da CAPES utilizado o mtodo de sobreclassificao ELECTRE TRI. O ELECTRE TRI um mtodo multicritrio de classificao, isto , um mtodo que aloca alternativas em categorias pr- definidas (P.). A alocao de uma alternativa a resulta da comparao de a com perfis definidos de limites das categorias. (Mousseau & Slowinski, 1998 e YU, 1992). As preferncias por cada critrio so definidas mediante um pseudo-critrio, no qual os limiares de preferncia e indiferena pj(bh) e qj(bh) constituem as informaes intracritrios. Assim, qj(bh) especifica a maior diferena gj(a)-gj(bh), que preserva a indiferena entre a e bh no critrio gj e pj(bh) representa a menor diferena gj(a)-gj(bh), compatvel com uma preferncia de a no critrio gj. Duas condies devem ser verificadas para validar a afirmao aSbh : Concordncia: para uma sobreclassificao aSbh ser aceita, a maioria dos critrios devem estar a favor da afirmao aSbh . No- discordncia: quando a condio de concordncia no for atendida, nenhum dos critrios deve opor-se afirmao aSbh. Na construo de S utilizado um conjunto de limiares veto (v1(bh ), v2(bh), ..., vm(bh) ), usado no teste de discordncia. vj(bh), que representa a menor diferena gj(bh)-gj(a), incompatvel com a afirmao aSbh . Os ndices de concordncia parcial cj(a,b), concordncia c(a,b) e discordncia parcial dj(a,b) so calculados pelas formulas 6, 7 e 8 abaixo.
cj(a,b) = 0 if g j (bh ) g j (a ) p j (bh ) 1 if g j (bh ) g j (a ) q j (bh ) p j ( b h ) + g j ( a ) g j (b h ) n.c p j (b h ) q j ( b h ) dj(a,b) = 0 if g j (bh ) g j (a) p j (bh ) 1 if g j (bh ) g j (a ) > v j (bh ) g j (b h ) + g j ( a ) p j (b h ) n.c v j (b h ) p j (b h )

3.1

(6)

c(a,b) =

k
jF

c j ( a , bh )
j

k
jF

(7)

(8)

O ELECTRE TRI constri um ndice (a, bh) [0,1] ((bh , a) , resp.) que representa o grau de credibilidade da afirmao que a aSbh , a A, h B (Formula 9). A afirmao aSbh , considerada vlida se (a, bh) ((bh ,a) . inicia um nvel de corte tal que [0.5,1]. (Mousseau et al, 2001) 1 d j ( a, bh ) (9) (a, bh) = c(a, bh) .

1 c ( a, b
jF

, onde F = {j F : dj(a, bh) > c(a, bh) } Os valores de (a, bh), (bh ,a) e determinam as situaes de preferencias entre a e bh: (a, bh) e (bh ,a) aSbh e bhSa a indiferente a bh. (a, bh) < e (bh ,a) aSbh e no bhSa a prefervel a bh. (a, bh) e (bh ,a) < no aSbh e bhSa bh prefervel a. (a, bh) < e (bh ,a) < no aSbh e no bhSa aRbh e no bhRa a incomparvel bh . Dois procedimentos de atribuies podem ser avaliados: Procedimento pessimista e Procedimento otimista. (Mousseau et al, 2001). So encontradas na literatura diversas aplicaes do ELECTRE TRI tais como: Aplicao em Recursos Hdricos, Tratamento de Esgoto, Agricultura, Irrigao, Sistemas de Informao Geogrfico, dentre outros. (Raju et al, 2000; Joerin et al, 2001; Dias & Climaco, 2000).

ENEGEP 2002

ABEPRO

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 Aplicao do Mtodo ELECTRE TRI Sobre os Dados da Capes no perodo 1998-2000 O ELECTRE TRI foi aplicado sobre os dados da CAPES para classificao dos Programas de Psgraduao da rea Engenharias III em cinco nveis (conceitos de 1 a 5). Os programas foram rotulados por letras do alfabeto de A a YY, representando cada um dos programas sob avaliao. Para aplicao do mtodo ELECTRE TRI foi utilizada uma escala linear de 0 a 1 para representar a escala verbal utilizada pela CAPES. A definio dos parmetros do modelo foi feita mediante anlise de sensibilidade, de modo que a classificao do mtodo ELECTRE TRI se aproximasse da classificao feita pela CAPES: - Limite das classes 1 a 5 (Tabela 4).
Limite Superior (bh) 0,125 0,375 0,675 0,775 1 Classe 1 2 3 4 5

4.

Tabela 4 Definio das Classes - Limiar de preferencia p = 0 - Limiar de Indiferena q = 0 - Limiar de veto v = 0,4*g(bh) - Nvel de corte - = 0,5 Os valores dos limiares de preferncia e indiferena p e q foram considerados iguais a zero pois no so aplicveis ao tipo de escala utilizada (escala discreta). Isso equivale a usar critrios verdade ao invs de pseudo-critrios, como considerando no ELECTRE TRI. Foi feita uma anlise comparativa entre os resultados do modelo e a avaliao final da CAPES. Esta comparao pode ser visualizada na Tabela 5.
LECTRE-TRI Num CAPES Pessimista Otimista F 2 2 3 O 3 1 3 E 3 2 3 C 3 3 3 M 3 3 3 YY 3 3 3 X 3 3 3 II 3 3 3 PP 3 3 3 I 3 3 3 V 3 3 3 Y 3 3 3 VV 3 3 3 KK 3 3 4 H 3 3 4 S 3 3 4 LECTRE-TRI Num CAPES Pessimista Otimista Z 3 3 4 N 3 3 4 OO 3 4 4 XX 3 4 4 CC 4 3 4 L 4 4 4 R 4 4 4 A 4 4 4 B 4 4 4 U 4 4 4 AA 5 4 4 MM 4 4 4 D 4 4 4 T 4 4 4 DD 5 4 4 LL 4 4 4 LECTRE-TRI Num CAPES Pessimista Otimista G 4 4 4 JJ 4 4 4 UU 5 4 4 FF 5 4 4 TT 5 4 4 HH 5 4 4 K 5 4 4 BB 5 4 4 RR 5 4 4 EE 5 4 5 NN 5 4 5 GG 5 4 5 J 5 5 5 P 5 5 5 Q 5 5 5 W 5 5 5

Tabela 5 Resultado da Aplicao do mtodo ELECTRE TRI x CAPES Os dados foram arrumados para facilitar a comparao dos resultados do mtodo ELECTRE TRI e os conceitos atribudos pela CAPES. Os programas com conceito maior que 5 pela CAPES devem ser considerados como de nvel 5 para efeito de comparao, j que a aplicao s contempla a primeira fase da avaliao. Analisando os resultados, constata-se que os programas E e F tiveram resultado muito baixo nas avaliaes da CAPES e do ELECTRE TRI. Isso se d porque os programas receberam a avaliao fraco nota 0,25 nos critrios de maior peso (Teses e dissertaes 20 e Produo Intelectual 30). O programa O teve avaliao deficiente nota zero em um critrio de peso 20. Na avaliao pessimista do mtodo, esse programa recebeu conceito 1 e na otimista conceito 3. Isso se deve incomparabilidade entre esse programa e os limiares superiores das classes 1 e 2 (b1 e b2). Os programas FF, TT, HH, K, BB e RR receberam conceito 5 pela CAPES (o que caracteriza um programa muito bom). Porm, nas avaliaes pessimista e otimista do ELECTRE TRI, os programas receberam conceito 4. Isso aconteceu porque os programas tiveram a avaliao muito bom em no mximo dois critrios de peso 10, e nos critrios de maior peso tiveram, no mximo, a avaliao bom. Alguns desses programas tiveram a avaliao regular em um dos critrios. J o programa FF, em especial, teve avaliao bom em todos os critrios, o que claramente resultaria no conceito 4. ENEGEP 2002 ABEPRO 5

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 Foi feita uma anlise de sensibilidade para verificar a robustez do modelo e analisar seu comportamento quanto s variaes impostas. Assim, como anlise de sensibilidade do modelo, o parmetro (nvel de corte) e os limites das classes, foram variados resultando nas seguintes simulaes: Simulao 1: variao no parmetro (nvel de corte) de 0,5 para 0,6. Para primeira simulao, com = 0,6 e as classes estabelecidas acima, obteve-se pouca variao do resultado. Os programas I, II, V, Y, VV e SS tiveram, na primeira aplicao, a avaliao pessimista 3 e passaram para 4. Isso se deve ao aumento da exigncia para declarar a afirmao aSbh, e o conseqente aumento na formao de relaes de incomparabilidade. Este aumento devido ao fato de o ndice de credibilidade (a, bh) e (bh ,a) entre esses programas e o limite superior da classe 3 (perfil b3) terem ficado igual ou abaixo de 0,5. Simulao 2: variao nos limites das classes. Na segunda simulao variou-se os limites estabelecidos para as classes. Estes limites foram estabelecidos de forma que resultassem em uma classificao mais prxima a da CAPES. Os limiares das classes forma variados entorno de 5% para mais nas classes 3, 4 e 5 onde b1 = 0,125 ; b2 = 0,4 ; b3 = 0,7 ; b4 = 0,8. Para estes valores o resultado praticamente no mudou. Diante destes resultados pode-se concluir que: ou a definio das classes acima representadas no representa completamente o processo de distribuio dos conceitos pela CAPES ou a forma de relacionar os valores qualitativos aos critrios (MB, B, R, F e D) no linear, onde as avaliaes bom e muito bom estariam mais prximas. Aspectos Gerais do Processo de Avaliao e do uso do mtodo ELECTRE TRI O processo de avaliao dos programas de ps-graduao feito pela CAPES estabelece, atravs de nveis de desempenho, um conceito verbal para cada critrio avaliado. O conceito final obtido atravs da agregao, de forma aditiva (mdia ponderada), de todos os critrios. A forma de agregao aditiva resulta num modelo compensatrio onde programas que obtiveram uma avaliao desfavorvel em um determinado critrio podem ter o resultado compensado por uma avaliao muito favorvel de outro. Essa forma de agregao favorece programas com avaliaes pouco balanceadas, ou seja, programas que possuem baixo grau de avaliao em alguns critrios e elevados graus de avaliao em outros critrios, para compensar. (Vinke, 1992). O ELECTRE TRI um mtodo de sobreclassificao, que elimina programas (alternativas) superados por meio do estabelecimento de ndices que traduzem o grau de sobreclassificao aceito pelo decisor, sendo um mtodo no-compensatrio, que tende a favorecer alternativas mais balanceadas (alternativas que possuem avaliaes razoavelmente boas em todos os critrios). Assim, a escolha em utilizar o mtodo ELECTRE TRI deve-se a importncia em analisar o problema da CAPES mediante uma viso diferente (mtodo no-compensatrio). Sua aplicao mostrou que parte da avaliao dos programas feita de forma subjetiva, e que talvez outros critrios, no estabelecidos aqui, tambm seriam considerados, porm no foram explicitados (ex: coerncia e consistncia dos dados e aspectos relacionados evoluo do programa.) Isto pode ser verificado pela anlise de alguns programas. Por exemplo o programa FF, que obteve a avaliao bom em todos os critrios recebeu 5 como conceito final. Os programas AA, DD e UU tiveram como avaliao global da CAPES bom o que caracteriza o nvel 4 (ver tabela I em anexo). No entanto esses programas receberam conceito 5. Pela aplicao do ELECTRE TRI esses programas receberiam justamente o conceito 4 . Atravs das anlises de sensibilidade pde-se perceber tambm que o critrio Produo Intelectual tem peso muito elevado (0,3), ou seja, os programas que tiveram avaliao baixa nesse critrio provavelmente no tero bons conceitos. Na aplicao do ELECTRE TRI foi necessrio desconsiderar os limiares de preferencia e indiferena, o que caracteriza um critrio verdade e no um pseudo-critrio (como o caso do ELECTRE TRI). A modelagem de preferncias que considera pseudo-critrios foi desenvolvida para tratar com dados contnuos, levando em considerao, em alguns casos, a impreciso dos dados. Como os dados da CAPES so tratados como discretos, ento os limiares de preferncia e indiferena no se aplicam ao problema. Concluses O processo de avaliao da CAPES considera aspectos que podem ser agrupados em seis critrios: Corpo Docente, Atividades de Pesquisa, Atividades de Formao, Corpo Discente, Teses e Dissertaes e Produo Intelectual. O processo de avaliao realizado por uma comisso de especialistas da rea, cada qual colaborando e influenciando no conceito final dos programas. Esse processo envolve, alm de avaliaes quantitativas e qualitativas, questes subjetivas que no podem ser mensuradas. O mtodo ELECTRE TRI foi aplicado aos programas de ps-graduao da rea Engenharias III (CAPES, 2001a). Os resultados da aplicao desse mtodo, em comparao com a avaliao feita pelos avaliadores, permitiu analisar de forma diferente o processo de avaliao da CAPES. Tambm foi detectado 6. 5.

ENEGEP 2002

ABEPRO

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 que parte do processo de avaliao feita de forma subjetiva, pois a atribuio de conceitos aos programas pode considerar outros fatores no explicitados no mtodo. Uma extenso do trabalho seria considerar o apoio multicritrio desde a avaliao dos subcritrios. Assim o ponto de partida para a aplicao do ELECTRE TRI seria a avaliao dos subcritrios, para compor cada uma dos seis critrios fundamentais. Em seguida, esses critrios seriam avaliados para compor a avaliao global de cada programa, atribuindo-se-lhe os conceitos de 1 a 5. Da mesma forma, uma continuidade deste trabalho, seria a realizao da anlise multicritrio no segundo momento da avaliao, onde aqueles programas que foram classificados com nvel 5 participam de uma segunda anlise para classificao nos nveis 6 ou 7, em funo de seu desempenho diferenciado quanto produo cientfica, cultural e artstica, alm de caractersticas que os tornam competidores em nvel internacional. Bibliografia CAPES (2001a).: DOCUMENTO DE REA - RELATRIO DA AVALIAO 1998-2000 ENGENHARIAS III, Julho de 2001. CAPES (2001b).: Avaliao da Ps- Graduao 1998-2000 nas ENGENHARIAS III - CRITRIOS DA AVALIAO - Perfil de Excelncia, 2000 CAPES (2001c).: Avaliao da Ps- Graduao 1998-2000 nas ENGENHARIAS III - SNTESE DA AVALIAO POR ETAPA, 2000 CAPES (2001d).: CAPES Avaliao Trienal: Dados sobre programas de ps-graduao. http://www.capes.gov.br/Scripts/SelecionaAnoDadosPosGraduacao.icd. CAPES (2001e).: Apresentao geral. http://www.capes.gov.br/ oqueecapes.html. MIRANDA, C.M.G.: Anlise Comparativa Da Avaliao De Ps-Graduao Da Capes Com Mtodos De Apoio Multicritrio A Deciso: O Caso Da rea Engenharias III. Recife, maro de 2002. (Mestrado Universidade Federal de Pernambuco/UFPE). FERRER, F. C.; MIRANDA, C. M. G. de ; ALMEIDA, A. T de. :Avaliao de Programas de psgraduao com mtodo Multicritrio. XXXI Simpsio Brasileiro de Pesquisa Operacional, Campos do Jordo -SP, 2001. GOMES, L., F., A. ; GOMES, C., F., S., ALMEIDA, A. T. de.: Tomada de Deciso Gerencial: O Enfoque Multicritrio, Rio de Janeiro. Ed. Atlas, vol.1, 2002. KEENEY, R. & RAIFFA, H.: Decisions with Mutiple Objectives - Preferences and Value Trade-offs. John Wiley & Sons, 1976. MOUSSEAU V.; FIGUEIRA J. & NAUX JP.: Using assignment examples to infer weights for ELECTRE TRI method: Some experimental results. European Journal of Operational Research. v. 130, n. 2, pp. 263-275, 2001. MOUSSEAU, V. & SLOWINSKI, R.: Inferring an ELECTRE TRI Model from Assignment Examples. Journal of Global Optimization, n 12, pp. 157-174, 1998. OLSON, D. L.: Decision aids for eletion problems. Springer, 1996. ROY, B.: Classement et Choix en Prsence de Points de vue Multiples (la mthode Electre). Revue Franaise dInformatique et de Recherche Oprationnelle. v. 8, pp. 57-75, 1968 ROY, B.: Critres Multiples et Modlisation des Prfrences: lapport des relations de surclassement Revue dEconomie Politique 1, 1974. APUD Vincke (1992). ROY, B.: Multicriteria Methodology Goes Decision Aiding. Kluwer Academic Publishers, 1996. VINCKE, P.: Multicriteria Decision-Aid. John Wiley & Sons Ltd. ISBN: 0-471-93184-5, 1992. YU, W.:. ELECTRE TRI Aspects Mthodologiques et Guide dUtilisation. Document du LAMSADE, 74 , Universit de Paris Dauphine, avril 1992.

ENEGEP 2002

ABEPRO

XXII Encontro Nacional de Engenharia de Produo Curitiba PR, 23 a 25 de outubro de 2002 ANEXO
IES UFPA UFRN UFRN UFPB/J. P. UFPB/J. P. UFPB/C.G UFPE UFPE UFES UFRJ UFRJ UFRJ UFF UFF UFF PUC-RIO PUC-RIO IME CEFET/RJ UFMG UFMG EFEI EFEI EFEI UFU PUC-MG UFSCAR USP USP USP USP/ SC USP/ SC UNICAMP UNICAMP UNICAMP UNICAMP UNESP/BA UNESP/GU UNESP/IS UNIMEP INPE ITA UNIP PUC/PR CEFET/PR UFSC UFSC UFRGS UFRGS UFSM FURG UNIB UF PA RN RN PB PB PB PE PE ES RJ RJ RJ RJ RJ RJ RJ RJ RJ RJ MG MG MG MG MG MG MG SP SP SP SP SP SP SP SP SP SP SP SP SP SP SP SP SP PR PR SC SC RS RS RS RS DF Curso MEC MEC PROD MEC PROD MEC PROD MEC MEC MEC OCEA PROD PROD MEC GEST MEC PROD MEC TEC MEC PROD MEC PROD ENE MEC MEC PROD MEC NAVAL PROD MEC PROD MEC PETR QUAL PETR PROD MEC MEC PROD TECESP AERO PROD MEC MEC MEC PROD MEC PROD PROD OCEA MEC Prog M M M M/D M M M/F M M M/D M/D M/D M M F M/D M/D/F M M M/D M M/D M M M M/D M/D M/D M/D M/D M/D M M/D/F M F M/D M M/D M M M/D M/D M M M M/D/F M/D M/D M/D M M M Aval. Geral B B R B R F B R R MB MB B R R R MB MB B R B B R R R MB R B MB B B MB MB MB --MB R B R B B MB R R B MB R MB B R R R CD (P=10) B B R B B B B B B MB MB MB B B R MB MB B B MB MB B B B MB R B B MB B B B MB --B B B MB B B MB B B B B B MB R R R R AP (P=10) B B B MB R B MB MB B MB MB B R B R MB MB B R B B B B R MB R B MB MB B B B MB --MB R B MB B B B R B R B R MB MB B B B AF (P=10) B B B B R R B R B B B B B R B MB MB B R B B B B B MB B B MB B MB R B B --B B B B B B B B B B B B B MB R B B CA (P=20) B B R B R R B R B B B R R R NA B MB B B B B B R R B R B B R R MB B R --B R R R B B B B R NA B R B B B B R TD (P=20) R R R R F F B R R B B R R R R B MB B R R B R R R MB B R B R B MB B MB --B F B R B R B B R NA B R R B B R R PI (P=30) B B R B F F B B R MB B B R MB F MB B R B B R R R B MB B B B R B B B MB --B B MB R B B MB R R B MB B B B R B R

Tabela I Sntese da Avaliao dos Programas de Ps-Graduao 1998-2000 (FONTE: Capes 2001c) Legenda: Engenharias: Aeronutica AERO; Mecnica MEC; Naval NAVAL; - Ocenica OCEA; Petrleo PETR; Produo PROD; Energia ENE; Engenharia e tecnologia espaciais TECESP; Qualidade QUAL; Tecnologia TEC; Sistemas de gesto GEST.

ENEGEP 2002

ABEPRO