A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Instrumentos de Enquadramento das Concluses da Avaliao

Avaliao do impacto de gnero Anlise custo-benefcio Benchmarking (Avaliao comparativa de desempenho) Anlise custo-eficcia Avaliao do impacto econmico Avaliao de impacte ambiental Avaliao ambiental estratgica Anlise multicritrio Painis de peritos

Anlise multicritrio

Descrio da tcnica O objectivo da tcnica Circunstncias em que se aplica Os principais passos da sua implementao Pontos fortes e limitaes da abordagem Bibliografia Palavras-chave

Descrio da Tcnica
A anlise multicritrio surgiu nos anos 60 enquanto instrumento de apoio deciso. aplicada na anlise comparativa de projectos alternativos ou medidas heterogneas. Atravs desta tcnica podem ser tidos em conta diversos critrios, em simultneo, na analise de uma situao complexa. O mtodo destina-se a ajudar os decisores polticos a integrar diferentes opes nas suas aces, reflectindo sobre as opinies de diferentes actores envolvidos num quadro prospectivo ou retrospectivo. A participao dos decisores polticos no processo um dos elementos centrais da abordagem. Os resultados so, em geral, orientados decises de natureza operacional ou para a apresentao de recomendaes para futuras actividades. A avaliao multicritrio pode ser organizada com vista a produzir uma concluso sinttica simples no final da avaliao ou, pelo contrrio, com vista a produzir concluses adaptadas s preferncias e prioridades de diferentes parceiros. No caso dos programas socioeconmicos da Unio Europeia, podero estar envolvidos diferentes nveis de parceria (europeu, nacional e regional). Cada um destes nveis tem legitimidade para estabelecer as suas prprias prioridades e expressar as suas prprias preferncias entre os critrios. A anlise multicritrio similar s tcnicas adoptadas no campo do desenvolvimento organizacional ou gesto de sistemas de informao. Tambm se assemelha anlise custobenefcio, embora no reduza os fenmenos dspares a uma base unitria (monetria) comum.

O objectivo da tcnica
O objectivo da tcnica consiste em estruturar e combinar as diferentes anlises a ter em considerao no processo de tomada de deciso, sendo que a tomada de deciso se baseia

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio em escolhas mltiplas e o tratamento dado a cada uma das escolhas condiciona, em grande medida, a deciso final. A anlise multicritrio ser usada para retratar o raciocnio e as convices subjectivas das diferentes partes interessadas sobre cada questo em particular. , normalmente, usada para sintetizar opinies expressadas, para determinar prioridades, para analisar situaes de conflito, para formular recomendaes ou proporcionar orientaes de natureza operacional. As suas aplicaes podem incluir, por exemplo:

Fazer recomendaes sobre a repartio de um oramento, quer o programa esteja em curso ou durante a preparao do programa seguinte. As principais decises a este respeito so tomadas ao nvel das medidas do programa. As medidas vistas como sendo as menos eficazes tm de ser reconsideradas com o intuito de reduzir os seus oramentos ou reorganiz-las no sentido de melhorar a sua eficcia. Caso seja pertinente, tambm podem ser feitas recomendaes para aumentar os oramentos das medidas avaliadas como as melhores. Divulgar as melhores prticas, identificando reas de sucesso e as medidas mais eficazes de um programa. A informao sobre as medidas consideradas como sendo as mais bem sucedidas (melhores prticas) pode ser divulgada atravs de uma diversidade de meios, incluindo comunicao social, se as autoridades responsveis pelo programa desejarem expor ao pblico a maneira como os fundos do programa foram gastos. A publicao de exemplos concretos das medidas mais bem sucedidas pode ajudar a informar os gestores de medidas similares, financiadas por outras fontes. Dar o feedback sobre os mtodos de seleco de projectos. A escolha de critrios de avaliao, a sua precisa definio e a sua ponderao constituem uma contribuio til para a anlise multicritrio. Este trabalho possibilita formular uma descrio clara, completa e coerente das intenes e prioridades dos parceiros do programa. ento possvel usar estes resultados para difundir mensagens claras aos gestores das medidas e ao corpo tcnico responsvel pela sua implementao. Melhorar o processo de seleco de projectos. relativamente fcil transferir critrios, escalas de classificao e graus de ponderao para o sistema de seleco de projectos, se o sistema tambm estiver organizado com base num esquema de pontuao/ponderao. Baseando a seleco de projectos na mesma lgica da avaliao de medidas, aumentam-se as probabilidades de incentivar e financiar projectos que contribuam efectivamente para as prioridades do(s) programa(s).

A anlise multicritrio foi usada para reunir as opinies de diferentes parceiros e partes interessadas na avaliao de um programa de desenvolvimento regional co-financiado pelos trs Fundos Estruturais Europeus e pelo Governo da regio de Walloon, tal como descrito no exemplo apresentado a seguir. A anlise multicritrio ajusta-se bem gesto e avaliao de programas estruturais em parceria, dado que as opinies dos membros nacionais e supranacionais podem ser expressas em conjunto, sem perder nenhuma das suas especificidades, ou sem terem de fazer demasiadas concesses em relao s suas escalas de valor. No exemplo de Walloon, foi desenvolvida uma variante do mtodo designada de anlise multicritrio/multi-apreciao (multicriteria-multijudge), que permitiu a cada parceiro construir a sua prpria apreciao com base nos seus prprios critrios e elementos de ponderao. Caixa Exemplo: O Mtodo Multicritrio e os Fundos Estruturais Caixa: Exemplo: O Mtodo Multicritrio e os Fundos Estruturais A anlise multicritrio foi usada na avaliao de um programa de desenvolvimento regional cofinanciado pelos trs Fundos Estruturais Europeus e pelo governo da regio de Walloon. O

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio contexto da avaliao prendia-se com a inteno de reafectar parte do oramento durante o curso do programa. O instrumento de anlise multicritrio foi escolhido pela sua caracterstica multi-apreciao que possibilita a considerao de sistemas de ponderao especficos de cada parceiro. Oito critrios de avaliao foram definidos em acordo com os representantes de diferentes nveis de governao:

viabilidade econmico-financeira das empresas apoiadas; empregabilidade dos beneficirios de formao; diversificao sectorial da economia; abertura da economia; integrao ambiental da actividade; distribuio territorial da actividade; servios a empresas; sinergias entre as diferentes componentes do programa.

Em primeiro lugar, pediu-se aos gestores das medidas para avaliarem a eficcia de cada uma das medidas no mbito do programa, atravs de entrevistas, em que foram atribuidas pontuaes eficcia de cada medida face aos critrios. Como era de esperar, os resultados revelaram grandes diferenas nas pontuaes atribudas eficcia, dependendo das medidas e dos critrios. Em segundo lugar, atravs de um procedimento com base em entrevistas formais, seis juzes (2 membros da Comisso Europeia, 2 do governo de Walloon e 2 da Regio de Hainaut) estabeleceram uma ponderao para cada um dos critrios usados, com base na importncia que lhes era atribuda. Mais uma vez, os resultados foram muito diversos, reflectindo os diferentes ncleos de interesse (por exemplo, as pontuaes relativas ao critrio de viabilidade das empresas variaram entre 3 e 26 pontos). Depois de serem processadas em computador, as medidas foram classificadas por ordem de eficcia, tendo em conta o facto de haver uma escala para cada juiz (dado que cada um tinha o seu prprio sistema de ponderao dos critrios). Apesar das diferenas de opinio entre os gestores, sobre as pontuaes atribudas eficcia, e entre os juzes, sobre a ponderao dos critrios as vrias classificaes convergiram em funo de um resultado virtualmente idntico sobre o valor relativo das medidas entre si. A compreenso dos valores relativos atribudos foi de utilidade considervel para os decisores polticos, em particular, no contexto das decises sobre a redistribuio dos oramentos.
Fonte: MEANS Handbook no 4 (1995) Applying the Multicriteria Method to the Evaluation of Structural Programmes. Bruxelas: Unio Europeia.

Circunstncias em que se aplica

A anlise multicritrio uma ferramenta de comparao, em que so tidos em conta vrios pontos de vista, tornando-se desta forma particularmente til durante a formulao de uma concluso sobre questes complexas. A anlise pode ser aplicada com critrios de apreciao

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio contraditrios (por exemplo, na comparao do emprego com o ambiente) ou quando for difcil a escolha entre os critrios. Em temos gerais, recorre-se a esta tcnica principalmente em avaliaes ex-ante de intervenes e projectos pblicos e suas variantes (o traado de uma auto-estrada, a construo de uma nova infra-estrutura, etc.). Embora menos habitual, a anlise multicritrio tem sido igualmente aplicada em avaliaes intercalares e ex-post de programas. Contudo, provvel que tenha potencial para aplicaes mais abrangentes em avaliaes intercalares e ex-post enquanto instrumento que contribui para a formulao de uma concluso. No mbito de programas de desenvolvimento socioeconmico, diz respeito a apreciaes sobre o sucesso das diferentes medidas para efeitos de formulao de concluses sintticas. Esta apreciao tem em considerao os principais critrios pertinentes para o grupo de acompanhamento e gesto da interveno.

Os principais passos da sua implementao

Os principais passos para a implementao da anlise multicritrio podem ser divididos em diversas fases, descritas abaixo por ordem sequencial. possvel repetir as fases e, assim, efectuar as devidas correces. Fase 1. Definio dos projectos ou aces para apreciao Esta definio envolver um inventrio das aces programadas e implementadas, ou dos elementos sobre os quais ser realizada a apreciao comparativa. Fase 2. Definio dos critrios de apreciao Deve ser dada particular ateno definio dos critrios, de forma a serem to exaustivos quanto possvel; as questes devem igualmente ser definidas de forma adequada. Os critrios devem reflectir as preferncias dos decisores polticos e diferentes pontos de vista, de modo a resumir e a reunir as diversas dimenses tipo usadas para avaliar uma aco. No caso dos programas socioeconmicos financiados pela Unio Europeia, o sucesso de uma interveno normalmente avaliado em termos da sua contribuio para alcanar os objectivos intercalares especificados nos documentos programticos. As principais prioridades das polticas da Unio Europeia (p. ex., ambiente, igualdade de oportunidades) tambm contribuem para a definio de critrios de apreciao. Uma variante consiste em recorrer a objectivos implcitos do programa, reconstrudos pelo grupo directivo ou por grupos de trabalho alargados, p. ex., recorrendo a um mapeamento conceptual dos impactos. Se, em vez de se focar nos impactos, a inteno da avaliao fosse dar particular ateno relevncia do programa para o desenvolvimento da base econmica regional, a anlise multicritrio concentrar-se-ia nos principais pontos fortes e fracos da base econmica regional e no modo como as diferentes medidas reforam os pontos fortes ou compensam os pontos fracos. A sinergia entre os impactos de diferentes medidas tambm poderia ser considerada, e, assim, a sinergia tornar-se-ia um critrio de apreciao por direito prprio. possvel usar uma matriz de cruzamento de impactos e, em particular, coeficientes de sinergia para ter este critrio em conta na formulao de uma concluso sinttica sobre as medidas.

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio Contrariamente ao nmero de medidas a serem comparadas, que pode ser vasto, o nmero de critrios no deve exceder um limite razovel. A experincia revela que o nmero mximo de critrios para uma avaliao eficaz de oito. Caixa Critrios escolhidos para a avaliao de um programa socioeconmico na Blgica Critrios escolhidos para a avaliao de um programa socioeconmico na Blgica Como parte de uma avaliao intercalar, foi efectuada uma anlise multicritrio que envolveu um grupo de acompanhamento alargado constitudo por cerca de dez membros. Foram escolhidos oito critrios aos quais foram dados as seguintes designaes:

Diversificao sectorial (a medida em causa orienta a actividade econmica da regio para mercados em crescimento). Reforo das PMEs (a medida em causa melhora a quota das pequenas e mdias empresas na economia regional) Abertura ao exterior (a medida em causa aumenta o volume de exportao da regio). Melhoria dos servios s empresas (a medida em causa possibilita que mais empresas recorram a servios na regio). Melhor integrao ambiental (a medida em causa reduz o nmero de empresas na regio cujo desenvolvimento ou sobrevivncia prejudicado(a) por problemas de integrao ambiental). Melhor distribuio territorial (a medida em causa orienta a actividade econmica da regio para reas mais desfavorecidas). Melhor empregabilidade (a medida em causa melhora a empregabilidade das pessoas na regio que trabalham ou procuram emprego). Sinergia (a medida em causa contribui para o sucesso de outras medidas do programa).

Uma questo de mxima importncia na anlise multicritrio o envolvimento, ou no, dos diferentes actores na definio dos critrios e na sua respectiva ponderao. Se o avaliador estiver activamente envolvido na anlise, a credibilidade dos resultados prejudicada. Por outro lado, quando os parceiros e diferentes partes interessadas na avaliao participam na definio dos critrios, cada interveniente prolongar a discusso at se encontrar pelo menos um critrio de apreciao que coloque a sua aco preferida na primeira posio. Em geral, os responsveis que encomendaram a avaliao tero a palavra final na especificao dos critrios. Nesta fase, a equipa de avaliao deve verificar se os critrios escolhidos so logicamente independentes uns dos outros. No diagrama apresentado a seguir, pode observar-se que o impacto intitulado de reforo da viabilidade econmico financeira das empresas est relacionado, de forma lgica, com o impacto que lhe precede, que se intitula de atractividade do ambiente. A anlise multicritrio tem por isso de optar por um destes critrios para formular as respectivas concluses sobre as medidas: no pode usar os dois. Por outro lado, o diagrama revela que a atractividade do ambiente e a empregabilidade so considerados impactos independentes. Ambos podem, deste modo, ser escolhidos como critrios distintos de apreciao. Figura: Independncia e interdependncia dos critrios de avaliao

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Medidas

Impactos intermdios

I&D Turismo reas industriais degradadas Empresas

Abertura ao exterior Atractividade do ambiente Diversificao sectorial

Reforo da viabilidade econmico financeira das empresas

Agricultura

Proliferao de PMEs

Empregabilidade reforada

Formao

Impactos Interdependentes Impactos Independentes

Antes de continuar com a anlise multicritrio, a equipa de avaliao deve verificar se o processo permitir comparar as medidas de forma satisfatria. Ao escolher os critrios, a equipa dever ter j assegurado de que estes se aplicam ao maior nmero de medidas possvel. A maioria destas medidas ter necessariamente produzido impactos relacionados com a maioria dos critrios (ou seja, a matriz de classificao de impactos no deve conter demasiados impactos neutros, ausentes ou insignificantes). O exemplo abaixo apresenta uma situao, em que apenas as pontuaes que no equivalem a zero se situam na diagonal. Esta situao sugere que as medidas a serem avaliadas no tm nada em comum. Desta forma, os critrios de avaliao so especficos a cada medida e a anlise multicritrio no pode ser aplicada. Caixa: Caso de critrios de avaliao demasiado especficos

Caixa: Caso de critrios de avaliao demasiado especficos Critrio Modalidades de avaliao dos critrios Medidas Diversificao (classificao do impacto entre 0 e 10) Empregabilidade (classificao do impacto entre 0 e 10) Ambiente (classificao do impacto entre 0 e 10)

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio Apoio ao investimento Formao interna Reconverso industrial 7 0 0 0 5 0 0 0 8

Fase 3. Anlise dos impactos das aces Uma vez definidos os projectos e os critrios, ter de ser realizada uma estimativa quantitativa ou uma descrio qualitativa do impacto de cada projecto em termos destes critrios. Para este efeito, podero ser usadas breves descries dos diferentes nveis de impacto (descritores de impacto). Com base nos critrios de apreciao e nas medidas (ou grupos ou partes de medidas) a serem avaliadas, a equipa de avaliao dever normalmente construir uma matriz de avaliao multicritrio. Esta matriz consiste num quadro com igual nmero de colunas e critrios e igual nmero de linhas e medidas a serem comparadas. Cada clula representa a avaliao de uma medida por critrio. A anlise multicritrio requer a avaliao de todas as medidas relativamente a todos os critrios (nenhuma clula pode ficar vazia), mas no requer que todas as avaliaes sejam feitas da mesma forma. Tal como a Caixa Combinao de critrios qualitativos e quantitativos mostra, a tcnica pode suportar uma combinao de critrios quantitativos expressos por indicadores, critrios qualitativos expressos por descritores e critrios intermdios expressos por pontuaes.

Caixa: Combinao de critrios qualitativos e quantitativos Critrio Modalidades de avaliao dos critrios Medidas Apoio ao investimento Formao interna Reconverso industrial Diversificao (% de empresas apoiadas operando activamente em sectores de crescimento) 72% 21% 52% Empregabilidade (descritores de impacto) Impacto neutro Aumento significativo na empregabilidade dos formandos j qualificados; impacto neutro para os outros Impacto neutro Ambiente (classificao do impacto entre 0 e 10) 3 1 8

A equipa de avaliao tem duas possibilidades principais para comparar os mritos das diferentes medidas com base na classificao pontuada:

anlise multicritrio por compensao; ou anlise multicritrio com base em prevalncia (outranking).

Estes mtodos encontram-se descritos na Caixa: Mtodo de compensao e mtodo de prevalncia (outranking). O mtodo de prevalncia nem sempre produz concluses claras, sendo que a anlise baseada na compensao sempre conclusiva. De um ponto de vista tcnico, a variante de compensao igualmente mais fcil de implementar. O modo mais pragmtico de criar a matriz da avaliao multicritrio a concepo das escalas de classificao relativamente a todas as concluses de avaliao, quer sejam de ordem

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio quantitativa quer qualitativa. A matriz da avaliao multicritrio por isso equivalente matriz de classificao de impactos. O mtodo de compensao por norma aplicado, a no ser que os membros da comisso de acompanhamento identifiquem um problema que possa justificar o uso do sistema de veto. Caixa: Mtodo de compensao e mtodo de prevalncia (outranking) Mtodo de compensao O mtodo de compensao a variante mais conhecida e consiste na atribuio de uma ponderao a cada critrio e no clculo de uma pontuao global para cada medida, sob a forma de uma mdia aritmtica ponderada das pontuaes atribudas medida em questo em relao aos diferentes critrios. Esta variante designa-se de compensatria, porque o clculo desta mdia ponderada torna possvel compensar entre os critrios. Por exemplo, a medida que teve um mau impacto no critrio ambiental poderia ainda obter uma boa pontuao global se o seu impacto sobre a empregabilidade for excelente. Mtodo de prevalncia (outranking) A variante de prevalncia aplicada se nem todos os critrios forem considerados comensurveis, no sendo, por isso, possvel produzir uma pontuao global. A anlise baseia-se em mltiplas comparaes do tipo: a Medida A tem prevalncia em relao Medida B do ponto de vista do critrio do ambiente?, a Medida A tem prevalncia em relao Medida B do ponto de vista do critrio da empregabilidade?, etc. Estas questes podem responder-se com sim ou no, ou podem ser qualificadas; neste ltimo caso, so introduzidas as noes de preferncia fraca e de critrio limite. A anlise faz todas as comparaes possveis e apresenta uma sntese do tipo: a Medida A , no mnimo, to boa quanto a Medida B, em relao maioria dos critrios (caso de concordncia), sem que, no conjunto, seja muito m em relao aos outros critrios (caso de discordncia). A anlise poderia incluir uma ressalva contra uma apreciao favorvel relativa a uma medida que seria desastrosa do ponto de vista do critrio em questo, ao estabelecer um limiar de veto para cada critrio. A introduo de um limiar de veto diferencia fortemente a lgica da prevalncia da lgica da compensao. Se existisse um limiar de veto, um pssimo impacto sobre o ambiente impossibilitaria considerar a medida como favorvel, mesmo que o impacto sobre a empregabilidade fosse considerado excelente. A prevalncia tem a vantagem de reflectir de uma forma mais adequada a natureza das relaes entre as instituies pblicas, dado que existe frequentemente uma correspondncia entre os critrios de avaliao e as partes interessadas na avaliao. Nos casos em que o grupo de acompanhamento se alarga a cerca de dez parceiros, no invulgar que os participantes se identifiquem, eles prprios, fortemente com os critrios de ambiente ou de empregabilidade. Nesta situao, a variante da prevalncia ir provavelmente melhor reflectir o processo colectivo de formulao de uma apreciao dentro do grupo.

Fase 4. Apreciao dos efeitos das aces em termos de cada um dos critrios seleccionados Esta aco passa pela avaliao dos impactos da interveno. Se for usado o mtodo de compensao, o processo implica a atribuio de pontuaes e uma anlise simples com base numa folha de clculo bsica. Com respeito variante da prevalncia, a abordagem ir divergir

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio de acordo com o tipo de anlise, sendo que os mais conhecidos so apresentados na Caixa: Variantes da anlise multicritrio com base na prevalncia. Caixa: Variantes da anlise multicritrio com base na prevalncia (outranking) As principais variantes da anlise multicritrio que aplicam o mtodo a prevalncia so: ELECTRE I Esta variante funciona com um ndice de concordncia e um ndice de discordncia, apresentado sob a forma de pontuaes. introduzido um limiar de discordncia (um veto) para todos os critrios. Os limiares de prevalncia e de veto so do tipo franco (franc type). O software processa uma situao em que (so) escolhida(s) a(s) melhor(es) medida(s), por exemplo, uma situao em que o objectivo identificar a melhor prtica. ELECTRE TRI Esta variante serve para distribuir as medidas em diferentes categorias, por exemplo, as medidas com mais sucesso, as medidas que no tm impacto significativo e as medidas de despenho mediano. ELECTRE II produz uma classificao de medidas, desde as mais eficazes s menos eficazes. Os limiares de prevalncia e de veto so do tipo franco (franc type). ELECTRE III tambm executa uma classificao, mas introduz relaes de prevalncia mais vagas. PROMETHEE faz uso de apenas um ndice de concordncia e introduz uma ordem de prevalncia progressiva.
Para mais informao, consulte a bibliografia: Vincke 1989.

O processo pode basear-se em dados quantitativos, ou ser assumido de uma forma mais subjectiva pelos prprios peritos ou pelas partes envolvidas na avaliao. Na verdade, a tcnica combina geralmente elementos factuais e elementos objectivos relativos aos impactos, como os pontos de vista e as preferncias dos principais parceiros. Na recolha das opinies dos parceiros, a equipa de avaliao recorre normalmente a entrevistas individuais ou a focus groups com pessoas cujos pontos de vista sejam considerados como os de maior relevncia para a avaliao das medidas do programa (referidos aqui como assessores). Uma opo habitual consiste em nomear membros do grupo de acompanhamento da avaliao como assessores. Idealmente, o grupo deveria ser grande o suficiente para reflectir os principais pontos de vista, mas um grupo de seis a dez assessores ser provavelmente satisfatrio, e, desta forma, tenderia a constituir um subgrupo. As preferncias dos assessores so tidas em conta de acordo com base em um de vrios mtodos:

Via expresso directa sob a forma de uma ponderao atribuda a cada critrio. Isto pode ser realizado por meio de votao atravs da distribuio de pontuaes. A discusso tambm pode ocorrer atravs da realizao de vrias reunies sucessivas. Revelar as preferncias atravs da classificao de perfis. Nesta variante, os assessores so apresentados com os perfis das medidas ou projectos descritos de um modo que revela preferncias entre os critrios. Os assessores tm de escolher um destes dois perfis e, se possvel, tm de especificar se a sua preferncia fraca, mdia,

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio forte ou muito forte. O exerccio repete-se para todos os pares de perfis e utiliza-se um software para atribuir uma ponderao a cada impacto, expressa em forma de percentagem, para que as ponderaes possam somar os 100%.

Revelar as preferncias atravs da classificao de projectos reais. A escolha oferecida aos assessores na variante anterior poderia ter o inconveniente de parecer artificial. Para evitar este problema, prefervel pedir aos assessores para especificarem as suas preferncias entre projectos reais.

Caixa: Exemplos. Caixa: Exemplos Criao de um sistema de classificao/ponderao No mbito de um programa de desenvolvimento social na regio do nordeste de Inglaterra, durante o perodo de 1991-93, um pequeno grupo de dez pessoas desenvolveu um sistema de seleco de projectos. O grupo de trabalho reuniu vrias vezes durante um perodo de trs meses. Os seus membros eram representantes das principais autoridades responsveis pelo programa e sua implementao. O grupo estabeleceu uma lista de critrios e a ponderao de cada critrio, bem como as escalas de classificao para os diferentes critrios. Apesar das opinies divergentes, os membros do grupo conseguiram chegar a acordo, a seguir ao qual todas as agncias envolvidas no programa foram consultadas e as autoridades responsveis pelo programa validaram o sistema. Perfis de duas medidas que favorecem dois critrios Foi pedido aos assessores para compararem duas medidas tericas A e B com os mesmos impactos representados em esquema, tal como se pode ver no diagrama. A medida terica A ser descrita como uma medida cujo impacto neutro, ou seja, nulo, relativamente a todos os critrios, excepo do critrio integrao ambiental, cujo impacto bom. Por outras palavras, a medida ajudou a melhorar sistematicamente a viabilidade ambiental das actividades dos destinatrios. A segunda medida terica B ser descrita como uma medida cujo impacto neutro, ou seja, nulo, relativamente a todos os critrios, excepo do critrio reforo das PMEs, cujo impacto bom. Por outras palavras, a medida afectou uma grande fatia de PMEs e contribuiu decisivamente para o reforo da sua competitividade.

10

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Impacto positivo

Impacto neutro

Perfil da Medida A Perfil da Medida B

Classificao de projectos reais pelos assessores Procedeu-se avaliao intercalar de um programa francs de desenvolvimento urbano, cofinanciado a nvel regional e nacional. Foram seleccionados oito critrios de avaliao. A equipa de avaliao realizou um levantamento com base em estudos de caso de cerca de vinte projectos concludos. Cada projecto constitua o tema de um relatrio com a descrio dos impactos em termos dos diferentes critrios. A equipa de avaliao realizou a seguir entrevistas individuais e confidenciais, com a durao de cerca de duas horas, com seis assessores nomeados pelo grupo de acompanhamento. Durante as entrevistas, a equipa de avaliao apresentou ao assessor vrias monografias de projectos com os quais estava perfeitamente familiarizado e verificou se os relatrios reflectiam de forma aproximada a realidade do ponto de vista do assessor. O assessor foi, depois, informado acerca de trs ou quatro relatrios de projectos que desconhecia. Os projectos foram escolhidos de forma que alguns tivessem mais sucesso do ponto de vista de determinados critrios, enquanto outros tivessem mais sucesso do ponto de vista de outros critrios. Os relatrios eram, em geral, considerados suficientemente precisps para possibilitar a formulao de uma apreciao sobre os projectos. O assessor foi, posteriormente, convidado a classificar estes trs ou quatro projectos intuitivamente, categorizando-os desde o melhor, ou seja, o mais meritrio do financiamento do programa, ao pior, ou seja, o menos meritrio. A equipa de avaliao e o assessor discutiram as razes para a classificao e deduziram uma ponderao dos critrios que foi discutida e validada pelo assessor. Neste exemplo, cada um dos assessores revelou pontos de vista muito diferentes sobre a importncia a atribuir aos diferentes critrios.

Fase 5. Agregao das apreciaes e concluses Utiliza-se normalmente um programa informtico (software) para ordenar as aces entre si. Pode deduzir-se um nico sistema de ponderao para os critrios, ou a equipa de avaliao e

11

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio o grupo de acompanhamento podem decidir estabelecer ponderaes mdias, cujo efeito consiste em dissipar os diferentes pontos de vista entre os assessores. Existem trs abordagens diferentes agregao das apreciaes:

apreciaes pessoais: os diferentes critrios de apreciao no esto sintetizados. Cada um dos destinatrios da avaliao constri a sua prpria apreciao pessoal com base na anlise e usa-a para construir argumentao do seu ponto de vista. assistir a coligao: os diferentes critrios de apreciao so classificados com base num programa informtico. Ser classificada uma aco acima de outra se tiver melhor pontuao relativamente maioria dos critrios (nmero mximo de aliados) e se tiver menos pontuaes eliminatrias comparativamente a outros critrios (nmero mnimo de oponentes). assistir o compromisso: proposta uma ponderao dos critrios pelo avaliador ou negociada pelos destinatrios da avaliao. O resultado a classificao das aces em termos da sua pontuao ponderada.

Na aplicao mais comum do mtodo nesta fase, a equipa de avaliao tem todos os elementos que precisa para calcular pontuaes globais ponderadas s diferentes medidas. Os resultados e os impactos de cada medida tero de ser avaliados em relao aos mesmos critrios. Todas estas avaliaes tero de ser apresentadas sob a forma de pontuao numa matriz de classificao de impactos e existe um sistema de ponderao que expressa as preferncias mdias dos assessores relativamente a determinado critrio. A pontuao global calculada atravs da multiplicao de cada pontuao elementar pela sua ponderao e somando as pontuaes elementares atribudas, como no exemplo da Caixa Clculo das pontuaes globais das medidas, que aplica a matriz de classificao de impactos apresentada na Caixa Combinao dos critrios qualitativos e quantitativos. Com base nas pontuaes mdias ponderadas, a equipa de avaliao pode classificar as medidas por ordem de contribuio para o sucesso global do programa.

Caixa: Clculo das pontuaes globais das medidas Contribuio das medidas para a produo dos impactos esperados (pontuao entre 0 e 10) Desenvolvimento urbano (pontuaes mdias para as medidas 1 e 2) Infra-estrutura (pontuao mdia para as medidas de 3 a 8) Aces sociais colectivas (pontuao mdia para as medidas de 9 a 14) Aces sociais personalizadas (pontuao mdia para as medidas de 15 a 19) Coeficiente de ponderao para os critrios Integrao social 1 5 6 Equilbrio entre Equilbrio entre as Emprego os bairros numa cidades de uma cidade regio 1 4 5 1 4 3 2 3 3 Pontuao mdia ponderada 1.2 4.1 4.4

6 35%

6 20%

2 20%

2 25%

4.2 100%

12

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Caixa: Combinao de critrios qualitativos e quantitativos (j apresentado anteriormente, aqui repetida) Critrio Modalidades de avaliao dos critrios Medidas Apoio ao investimento Formao interna Reconverso industrial

Diversificao (% de empresas apoiados activas em sectores de crescimento)

Empregabilidade (descritores de impacto)

Ambiente (classificao do impacto entre 0 e 10)

72%

Impacto neutro Aumento significativo na empregabilidade dos formandos j qualificados; impacto neutro para os outros Impacto neutro

21%

52%

A variante multi-concluso/apreciao consiste em manter as ponderaes individuais de cada assessor. Neste caso, o anonimato dos assessores tem de ser respeitado quando se processar as ponderaes que atriburam individualmente. Contudo, se as preferncias entre os critrios revelarem fortes divergncias, possvel estabelecer vrias classificaes das medidas. A equipa de avaliao pode aplicar diferentes sistemas de ponderao na mesma matriz de classificao de impactos (um conjunto de diferentes ponderaes para cada assessor). Resultaro diferenas entre as pontuaes globais ponderadas e, consequentemente, haver diferenas na escala de classificao, j que, do ponto de vista de um dos assessores, uma medida pode ser considerada um sucesso, mas ser, pelo contrrio, considerada um fracasso por outro. Ter ento algum interesse apresentar separadamente as ponderaes para uma determinada categoria de assessor, como, por exemplo, no caso dos assessores se identificarem mais com questes nacionais ou regionais. A concluso sinttica sobre a eficcia das medidas ser, normalmente, considerada slida e imparcial, desde que:

os critrios de avaliao tenham sido validados pelo grupo de acompanhamento; as concluses sobre os impactos de cada medida e a matriz de classificao de impactos que as resume tenham sido validadas; os coeficientes de ponderao para os critrios tenham sido estabelecidos com o apoio dos assessores e com o acordo do grupo de acompanhamento.

A experincia indica igualmente que os parceiros so bastante mais receptivos a aceitarem as concluses do relatrio se a equipa de avaliao tiver registado as suas opinies de forma cuidada e se se tiver dado ao trabalho de ter em conta as suas preferncias ao apresentar as concluses. Se, pelo contrrio, a equipa de avaliao escolher e avaliar, ela prpria, a ponderao dos critrios, sem qualquer interaco dos parceiros, a imparcialidade dos resultados sofrer consequncias e a anlise multicritrio ter menos utilidade.

13

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Pontos fortes e limitaes da abordagem

Como j foi referido, a anlise multicritrio apresenta um enquadramento em que todos os actores podem participar no processo de tomada de deciso e na resoluo de problemas. Atravs da negociao entre as partes interessadas e do tratamento explcito dos critrios de apreciao, a tcnica serve para dar forma a uma realidade no estruturada. O ponto forte da anlise multicritrio assenta assim no facto de permitir ter em linha de conta os valores e as opinies individuais de vrios actores, e processar as relaes funcionais dentro de uma rede complexa, de forma quantitativa. A interveno de um perito, a margem de manobra gozada pelos decisores polticos e as similaridades com mtodos que se baseiam em votaes torna-a uma ferramenta adequada a uma abordagem de parceria. A tcnica ajusta-se bem ao desenvolvimento de parcerias, na medida em define reas de consenso, em que os parceiros chegam a um acordo quanto classificao das medidas, e reas de divergncia, que revelam as medidas consideradas eficazes para uns e ineficazes para outros. A experincia revela que as concluses com base em consenso esto geralmente em maioria. Esta situao pode encontrar explicao no facto de diferentes ponderaes se aplicarem mesma matriz de classificao de impactos. Assim, uma medida que tenha obtido uma baixa pontuao em a todos os critrios nunca ter uma pontuao global elevada, independentemente das diferenas de prioridades entre os parceiros. Os diferentes pontos de vista dos parceiros no podem entrar em forte contradio com as concluses resultantes de uma observao emprica, se estas concluses mostrarem que certas medidas fazem efectivamente parte da melhor prtica e que outras apresentam verdadeiros problemas de eficcia. Alm disso, a tcnica pode contribuir para o estabelecimento de um compromisso ou para definir uma coligao de pontos de vista, mas no ir ditar as concluses individuais ou colectivas dos parceiros. Os decisores polticos preferem abordagens deste tipo, uma vez que esto envolvidos no processo, tendo este uma base tcnica relativamente simples. No obstante estes factores, no domnio da avaliao no sentido estrito do termo, a anlise multicritrio raramente usada para outros efeitos que no os estreitamente equivalentes ao apoio tomada de decises e, em particular, avaliao ex-ante de projectos de infraestruturas de transporte. Existem problemas especficos de implementao que podem limitar o uso da anlise multicritrio, ou que requerem a presena de peritos. Adicionalmente, esta tcnica nem sempre usada de uma forma interactiva, como deveria ser, e tende a fixar critrios que so, na realidade, instveis.

Bibliografia

Saaty T.L. (1984), Dcider face la complexit, Paris: Entreprise Moderne d'Edition, 231 p. Schrlig A. (1990, 2me d.), Dcider sur plusieurs critres, panorama de l'aide la dcision multicritre, Lausanne: Presses polytechniques et universitaires romandes, 303 p. (Um manual exaustivo e muito acessvel).

14

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

Roy B. et Buyssou D. (1993), Aide Multicritre la dcision: Mthodes et Cas, Paris: Economica, 695 p.

Palavras-chave

Mtodo de compensao Mtodos de prevalncia (outranking)

15