A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas

Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

1
Instrumentos de Enquadramento das Concluses da Avaliao
Avaliao do impacto de gnero
Anlise custo-benefcio
Benchmarking (Avaliao comparativa de desempenho)
Anlise custo-eficcia
Avaliao do impacto econmico
Avaliao de impacte ambiental
Avaliao ambiental estratgica
Anlise multicritrio
Painis de peritos
Anlise multicritrio
Descrio da tcnica
O objectivo da tcnica
Circunstncias em que se aplica
Os principais passos da sua implementao
Pontos fortes e limitaes da abordagem
Bibliografia
Palavras-chave

Descrio da Tcnica
A anlise multicritrio surgiu nos anos 60 enquanto instrumento de apoio deciso. aplicada
na anlise comparativa de projectos alternativos ou medidas heterogneas. Atravs desta
tcnica podem ser tidos em conta diversos critrios, em simultneo, na analise de uma situao
complexa. O mtodo destina-se a ajudar os decisores polticos a integrar diferentes opes nas
suas aces, reflectindo sobre as opinies de diferentes actores envolvidos num quadro
prospectivo ou retrospectivo. A participao dos decisores polticos no processo um dos
elementos centrais da abordagem. Os resultados so, em geral, orientados decises de
natureza operacional ou para a apresentao de recomendaes para futuras actividades.
A avaliao multicritrio pode ser organizada com vista a produzir uma concluso sinttica
simples no final da avaliao ou, pelo contrrio, com vista a produzir concluses adaptadas s
preferncias e prioridades de diferentes parceiros. No caso dos programas socioeconmicos da
Unio Europeia, podero estar envolvidos diferentes nveis de parceria (europeu, nacional e
regional). Cada um destes nveis tem legitimidade para estabelecer as suas prprias prioridades
e expressar as suas prprias preferncias entre os critrios.
A anlise multicritrio similar s tcnicas adoptadas no campo do desenvolvimento
organizacional ou gesto de sistemas de informao. Tambm se assemelha anlise custo-
benefcio, embora no reduza os fenmenos dspares a uma base unitria (monetria) comum.

O objectivo da tcnica
O objectivo da tcnica consiste em estruturar e combinar as diferentes anlises a ter em
considerao no processo de tomada de deciso, sendo que a tomada de deciso se baseia
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

2
em escolhas mltiplas e o tratamento dado a cada uma das escolhas condiciona, em grande
medida, a deciso final. A anlise multicritrio ser usada para retratar o raciocnio e as
convices subjectivas das diferentes partes interessadas sobre cada questo em particular. ,
normalmente, usada para sintetizar opinies expressadas, para determinar prioridades, para
analisar situaes de conflito, para formular recomendaes ou proporcionar orientaes de
natureza operacional. As suas aplicaes podem incluir, por exemplo:
Fazer recomendaes sobre a repartio de um oramento, quer o programa esteja em
curso ou durante a preparao do programa seguinte. As principais decises a este
respeito so tomadas ao nvel das medidas do programa. As medidas vistas como
sendo as menos eficazes tm de ser reconsideradas com o intuito de reduzir os seus
oramentos ou reorganiz-las no sentido de melhorar a sua eficcia. Caso seja
pertinente, tambm podem ser feitas recomendaes para aumentar os oramentos das
medidas avaliadas como as melhores.
Divulgar as melhores prticas, identificando reas de sucesso e as medidas mais
eficazes de um programa. A informao sobre as medidas consideradas como sendo as
mais bem sucedidas (melhores prticas) pode ser divulgada atravs de uma diversidade
de meios, incluindo comunicao social, se as autoridades responsveis pelo programa
desejarem expor ao pblico a maneira como os fundos do programa foram gastos. A
publicao de exemplos concretos das medidas mais bem sucedidas pode ajudar a
informar os gestores de medidas similares, financiadas por outras fontes.
Dar o feedback sobre os mtodos de seleco de projectos. A escolha de critrios de
avaliao, a sua precisa definio e a sua ponderao constituem uma contribuio til
para a anlise multicritrio. Este trabalho possibilita formular uma descrio clara,
completa e coerente das intenes e prioridades dos parceiros do programa. ento
possvel usar estes resultados para difundir mensagens claras aos gestores das
medidas e ao corpo tcnico responsvel pela sua implementao.
Melhorar o processo de seleco de projectos. relativamente fcil transferir critrios,
escalas de classificao e graus de ponderao para o sistema de seleco de
projectos, se o sistema tambm estiver organizado com base num esquema de
pontuao/ponderao. Baseando a seleco de projectos na mesma lgica da
avaliao de medidas, aumentam-se as probabilidades de incentivar e financiar
projectos que contribuam efectivamente para as prioridades do(s) programa(s).
A anlise multicritrio foi usada para reunir as opinies de diferentes parceiros e partes
interessadas na avaliao de um programa de desenvolvimento regional co-financiado pelos
trs Fundos Estruturais Europeus e pelo Governo da regio de Walloon, tal como descrito no
exemplo apresentado a seguir. A anlise multicritrio ajusta-se bem gesto e avaliao de
programas estruturais em parceria, dado que as opinies dos membros nacionais e
supranacionais podem ser expressas em conjunto, sem perder nenhuma das suas
especificidades, ou sem terem de fazer demasiadas concesses em relao s suas escalas de
valor. No exemplo de Walloon, foi desenvolvida uma variante do mtodo designada de anlise
multicritrio/multi-apreciao (multicriteria-multijudge), que permitiu a cada parceiro construir a
sua prpria apreciao com base nos seus prprios critrios e elementos de ponderao.
Caixa Exemplo: O Mtodo Multicritrio e os Fundos Estruturais
Caixa: Exemplo: O Mtodo Multicritrio e os Fundos Estruturais
A anlise multicritrio foi usada na avaliao de um programa de desenvolvimento regional co-
financiado pelos trs Fundos Estruturais Europeus e pelo governo da regio de Walloon. O
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

3
contexto da avaliao prendia-se com a inteno de reafectar parte do oramento durante o
curso do programa.
O instrumento de anlise multicritrio foi escolhido pela sua caracterstica multi-apreciao
que possibilita a considerao de sistemas de ponderao especficos de cada parceiro. Oito
critrios de avaliao foram definidos em acordo com os representantes de diferentes nveis de
governao:
viabilidade econmico-financeira das empresas apoiadas;
empregabilidade dos beneficirios de formao;
diversificao sectorial da economia;
abertura da economia;
integrao ambiental da actividade;
distribuio territorial da actividade;
servios a empresas;
sinergias entre as diferentes componentes do programa.
Em primeiro lugar, pediu-se aos gestores das medidas para avaliarem a eficcia de cada uma
das medidas no mbito do programa, atravs de entrevistas, em que foram atribuidas
pontuaes eficcia de cada medida face aos critrios. Como era de esperar, os resultados
revelaram grandes diferenas nas pontuaes atribudas eficcia, dependendo das medidas
e dos critrios.
Em segundo lugar, atravs de um procedimento com base em entrevistas formais, seis juzes
(2 membros da Comisso Europeia, 2 do governo de Walloon e 2 da Regio de Hainaut)
estabeleceram uma ponderao para cada um dos critrios usados, com base na importncia
que lhes era atribuda.
Mais uma vez, os resultados foram muito diversos, reflectindo os diferentes ncleos de
interesse (por exemplo, as pontuaes relativas ao critrio de viabilidade das empresas
variaram entre 3 e 26 pontos).
Depois de serem processadas em computador, as medidas foram classificadas por ordem de
eficcia, tendo em conta o facto de haver uma escala para cada juiz (dado que cada um tinha o
seu prprio sistema de ponderao dos critrios). Apesar das diferenas de opinio entre os
gestores, sobre as pontuaes atribudas eficcia, e entre os juzes, sobre a ponderao dos
critrios as vrias classificaes convergiram em funo de um resultado virtualmente
idntico sobre o valor relativo das medidas entre si. A compreenso dos valores relativos
atribudos foi de utilidade considervel para os decisores polticos, em particular, no contexto
das decises sobre a redistribuio dos oramentos.
Fonte: MEANS Handbook no 4 (1995) Applying the Multicriteria Method to the Evaluation of Structural
Programmes. Bruxelas: Unio Europeia.

Circunstncias em que se aplica
A anlise multicritrio uma ferramenta de comparao, em que so tidos em conta vrios
pontos de vista, tornando-se desta forma particularmente til durante a formulao de uma
concluso sobre questes complexas. A anlise pode ser aplicada com critrios de apreciao
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

4
contraditrios (por exemplo, na comparao do emprego com o ambiente) ou quando for difcil
a escolha entre os critrios.
Em temos gerais, recorre-se a esta tcnica principalmente em avaliaes ex-ante de
intervenes e projectos pblicos e suas variantes (o traado de uma auto-estrada, a
construo de uma nova infra-estrutura, etc.). Embora menos habitual, a anlise multicritrio
tem sido igualmente aplicada em avaliaes intercalares e ex-post de programas. Contudo,
provvel que tenha potencial para aplicaes mais abrangentes em avaliaes intercalares e
ex-post enquanto instrumento que contribui para a formulao de uma concluso. No mbito de
programas de desenvolvimento socioeconmico, diz respeito a apreciaes sobre o sucesso
das diferentes medidas para efeitos de formulao de concluses sintticas. Esta apreciao
tem em considerao os principais critrios pertinentes para o grupo de acompanhamento e
gesto da interveno.

Os principais passos da sua implementao
Os principais passos para a implementao da anlise multicritrio podem ser divididos em
diversas fases, descritas abaixo por ordem sequencial. possvel repetir as fases e, assim,
efectuar as devidas correces.
Fase 1. Definio dos projectos ou aces para apreciao
Esta definio envolver um inventrio das aces programadas e implementadas, ou dos
elementos sobre os quais ser realizada a apreciao comparativa.
Fase 2. Definio dos critrios de apreciao
Deve ser dada particular ateno definio dos critrios, de forma a serem to exaustivos
quanto possvel; as questes devem igualmente ser definidas de forma adequada. Os critrios
devem reflectir as preferncias dos decisores polticos e diferentes pontos de vista, de modo a
resumir e a reunir as diversas dimenses tipo usadas para avaliar uma aco.
No caso dos programas socioeconmicos financiados pela Unio Europeia, o sucesso de uma
interveno normalmente avaliado em termos da sua contribuio para alcanar os objectivos
intercalares especificados nos documentos programticos. As principais prioridades das
polticas da Unio Europeia (p. ex., ambiente, igualdade de oportunidades) tambm contribuem
para a definio de critrios de apreciao. Uma variante consiste em recorrer a objectivos
implcitos do programa, reconstrudos pelo grupo directivo ou por grupos de trabalho alargados,
p. ex., recorrendo a um mapeamento conceptual dos impactos.
Se, em vez de se focar nos impactos, a inteno da avaliao fosse dar particular ateno
relevncia do programa para o desenvolvimento da base econmica regional, a anlise
multicritrio concentrar-se-ia nos principais pontos fortes e fracos da base econmica regional e
no modo como as diferentes medidas reforam os pontos fortes ou compensam os pontos
fracos.
A sinergia entre os impactos de diferentes medidas tambm poderia ser considerada, e, assim,
a sinergia tornar-se-ia um critrio de apreciao por direito prprio. possvel usar uma matriz
de cruzamento de impactos e, em particular, coeficientes de sinergia para ter este critrio em
conta na formulao de uma concluso sinttica sobre as medidas.
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

5
Contrariamente ao nmero de medidas a serem comparadas, que pode ser vasto, o nmero de
critrios no deve exceder um limite razovel. A experincia revela que o nmero mximo de
critrios para uma avaliao eficaz de oito.
Caixa Critrios escolhidos para a avaliao de um programa socioeconmico na Blgica
Critrios escolhidos para a avaliao de um programa socioeconmico na Blgica
Como parte de uma avaliao intercalar, foi efectuada uma anlise multicritrio que envolveu
um grupo de acompanhamento alargado constitudo por cerca de dez membros. Foram
escolhidos oito critrios aos quais foram dados as seguintes designaes:
Diversificao sectorial (a medida em causa orienta a actividade econmica da regio
para mercados em crescimento).
Reforo das PMEs (a medida em causa melhora a quota das pequenas e mdias
empresas na economia regional)
Abertura ao exterior (a medida em causa aumenta o volume de exportao da regio).
Melhoria dos servios s empresas (a medida em causa possibilita que mais empresas
recorram a servios na regio).
Melhor integrao ambiental (a medida em causa reduz o nmero de empresas na
regio cujo desenvolvimento ou sobrevivncia prejudicado(a) por problemas de
integrao ambiental).
Melhor distribuio territorial (a medida em causa orienta a actividade econmica da
regio para reas mais desfavorecidas).
Melhor empregabilidade (a medida em causa melhora a empregabilidade das pessoas
na regio que trabalham ou procuram emprego).
Sinergia (a medida em causa contribui para o sucesso de outras medidas do
programa).
Uma questo de mxima importncia na anlise multicritrio o envolvimento, ou no, dos
diferentes actores na definio dos critrios e na sua respectiva ponderao. Se o avaliador
estiver activamente envolvido na anlise, a credibilidade dos resultados prejudicada. Por outro
lado, quando os parceiros e diferentes partes interessadas na avaliao participam na definio
dos critrios, cada interveniente prolongar a discusso at se encontrar pelo menos um critrio
de apreciao que coloque a sua aco preferida na primeira posio. Em geral, os
responsveis que encomendaram a avaliao tero a palavra final na especificao dos
critrios.
Nesta fase, a equipa de avaliao deve verificar se os critrios escolhidos so logicamente
independentes uns dos outros. No diagrama apresentado a seguir, pode observar-se que o
impacto intitulado de reforo da viabilidade econmico financeira das empresas est
relacionado, de forma lgica, com o impacto que lhe precede, que se intitula de atractividade
do ambiente. A anlise multicritrio tem por isso de optar por um destes critrios para formular
as respectivas concluses sobre as medidas: no pode usar os dois. Por outro lado, o diagrama
revela que a atractividade do ambiente e a empregabilidade so considerados impactos
independentes. Ambos podem, deste modo, ser escolhidos como critrios distintos de
apreciao.
Figura: Independncia e interdependncia dos critrios de avaliao

A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

6
Empresas
Agricultura
Turismo
I&D
reas
industriais
degradadas
Formao
Refor o da
vi abi lidade
econmico
fi nancei ra das
empresas
Empregabil idade
reforada
Medidas
Impactos inter mdi os
Diver sifi cao
sector ial
Atr acti vidade
do
ambi ente
Abertura ao
exteri or
Pr ol ifer ao
de PMEs
Impactos Interdependentes
Impactos Independentes


Antes de continuar com a anlise multicritrio, a equipa de avaliao deve verificar se o
processo permitir comparar as medidas de forma satisfatria. Ao escolher os critrios, a
equipa dever ter j assegurado de que estes se aplicam ao maior nmero de medidas
possvel. A maioria destas medidas ter necessariamente produzido impactos relacionados com
a maioria dos critrios (ou seja, a matriz de classificao de impactos no deve conter
demasiados impactos neutros, ausentes ou insignificantes). O exemplo abaixo apresenta uma
situao, em que apenas as pontuaes que no equivalem a zero se situam na diagonal. Esta
situao sugere que as medidas a serem avaliadas no tm nada em comum. Desta forma, os
critrios de avaliao so especficos a cada medida e a anlise multicritrio no pode ser
aplicada.
Caixa: Caso de critrios de avaliao demasiado especficos

Caixa: Caso de critrios de avaliao demasiado especficos
Critrio
Modalidades de avaliao
dos critrios
Medidas
Diversificao
(classificao do impacto
entre 0 e 10)
Empregabilidade
(classificao do impacto
entre 0 e 10)
Ambiente
(classificao do impacto
entre 0 e 10)
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

7
Apoio ao investimento 7 0 0
Formao interna 0 5 0
Reconverso industrial 0 0 8

Fase 3. Anlise dos impactos das aces
Uma vez definidos os projectos e os critrios, ter de ser realizada uma estimativa quantitativa
ou uma descrio qualitativa do impacto de cada projecto em termos destes critrios. Para este
efeito, podero ser usadas breves descries dos diferentes nveis de impacto (descritores de
impacto).
Com base nos critrios de apreciao e nas medidas (ou grupos ou partes de medidas) a serem
avaliadas, a equipa de avaliao dever normalmente construir uma matriz de avaliao
multicritrio. Esta matriz consiste num quadro com igual nmero de colunas e critrios e igual
nmero de linhas e medidas a serem comparadas. Cada clula representa a avaliao de uma
medida por critrio. A anlise multicritrio requer a avaliao de todas as medidas relativamente
a todos os critrios (nenhuma clula pode ficar vazia), mas no requer que todas as avaliaes
sejam feitas da mesma forma. Tal como a Caixa Combinao de critrios qualitativos e
quantitativos mostra, a tcnica pode suportar uma combinao de critrios quantitativos
expressos por indicadores, critrios qualitativos expressos por descritores e critrios
intermdios expressos por pontuaes.

Caixa: Combinao de critrios qualitativos e quantitativos
Critrio
Modalidades de avaliao
dos critrios
Medidas
Diversificao
(% de empresas apoiadas
operando activamente em
sectores de crescimento)
Empregabilidade
(descritores de impacto)
Ambiente
(classificao do impacto
entre 0 e 10)
Apoio ao investimento 72% Impacto neutro 3
Formao interna 21%
Aumento significativo na
empregabilidade dos
formandos j qualificados;
impacto neutro para os outros
1
Reconverso industrial 52% Impacto neutro 8
A equipa de avaliao tem duas possibilidades principais para comparar os mritos das
diferentes medidas com base na classificao pontuada:
anlise multicritrio por compensao; ou
anlise multicritrio com base em prevalncia (outranking).
Estes mtodos encontram-se descritos na Caixa: Mtodo de compensao e mtodo de
prevalncia (outranking). O mtodo de prevalncia nem sempre produz concluses claras,
sendo que a anlise baseada na compensao sempre conclusiva. De um ponto de vista
tcnico, a variante de compensao igualmente mais fcil de implementar. O modo mais
pragmtico de criar a matriz da avaliao multicritrio a concepo das escalas de
classificao relativamente a todas as concluses de avaliao, quer sejam de ordem
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

8
quantitativa quer qualitativa. A matriz da avaliao multicritrio por isso equivalente matriz
de classificao de impactos. O mtodo de compensao por norma aplicado, a no ser que
os membros da comisso de acompanhamento identifiquem um problema que possa justificar o
uso do sistema de veto.
Caixa: Mtodo de compensao e mtodo de prevalncia (outranking)
Mtodo de compensao
O mtodo de compensao a variante mais conhecida e consiste na atribuio de uma
ponderao a cada critrio e no clculo de uma pontuao global para cada medida, sob a
forma de uma mdia aritmtica ponderada das pontuaes atribudas medida em questo
em relao aos diferentes critrios. Esta variante designa-se de compensatria, porque o
clculo desta mdia ponderada torna possvel compensar entre os critrios. Por exemplo, a
medida que teve um mau impacto no critrio ambiental poderia ainda obter uma boa pontuao
global se o seu impacto sobre a empregabilidade for excelente.
Mtodo de prevalncia (outranking)
A variante de prevalncia aplicada se nem todos os critrios forem considerados
comensurveis, no sendo, por isso, possvel produzir uma pontuao global. A anlise
baseia-se em mltiplas comparaes do tipo: a Medida A tem prevalncia em relao
Medida B do ponto de vista do critrio do ambiente?, a Medida A tem prevalncia em relao
Medida B do ponto de vista do critrio da empregabilidade?, etc. Estas questes podem
responder-se com sim ou no, ou podem ser qualificadas; neste ltimo caso, so introduzidas
as noes de preferncia fraca e de critrio limite. A anlise faz todas as comparaes
possveis e apresenta uma sntese do tipo: a Medida A , no mnimo, to boa quanto a Medida
B, em relao maioria dos critrios (caso de concordncia), sem que, no conjunto, seja muito
m em relao aos outros critrios (caso de discordncia).
A anlise poderia incluir uma ressalva contra uma apreciao favorvel relativa a uma medida
que seria desastrosa do ponto de vista do critrio em questo, ao estabelecer um limiar de
veto para cada critrio. A introduo de um limiar de veto diferencia fortemente a lgica da
prevalncia da lgica da compensao. Se existisse um limiar de veto, um pssimo impacto
sobre o ambiente impossibilitaria considerar a medida como favorvel, mesmo que o impacto
sobre a empregabilidade fosse considerado excelente.
A prevalncia tem a vantagem de reflectir de uma forma mais adequada a natureza das
relaes entre as instituies pblicas, dado que existe frequentemente uma correspondncia
entre os critrios de avaliao e as partes interessadas na avaliao. Nos casos em que o
grupo de acompanhamento se alarga a cerca de dez parceiros, no invulgar que os
participantes se identifiquem, eles prprios, fortemente com os critrios de ambiente ou de
empregabilidade. Nesta situao, a variante da prevalncia ir provavelmente melhor reflectir
o processo colectivo de formulao de uma apreciao dentro do grupo.

Fase 4. Apreciao dos efeitos das aces em termos de cada um dos critrios
seleccionados
Esta aco passa pela avaliao dos impactos da interveno. Se for usado o mtodo de
compensao, o processo implica a atribuio de pontuaes e uma anlise simples com base
numa folha de clculo bsica. Com respeito variante da prevalncia, a abordagem ir divergir
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

9
de acordo com o tipo de anlise, sendo que os mais conhecidos so apresentados na Caixa:
Variantes da anlise multicritrio com base na prevalncia.
Caixa: Variantes da anlise multicritrio com base na prevalncia (outranking)
As principais variantes da anlise multicritrio que aplicam o mtodo a prevalncia so:
ELECTRE I Esta variante funciona com um ndice de concordncia e um ndice de
discordncia, apresentado sob a forma de pontuaes. introduzido um limiar de discordncia
(um veto) para todos os critrios. Os limiares de prevalncia e de veto so do tipo franco (franc
type). O software processa uma situao em que (so) escolhida(s) a(s) melhor(es)
medida(s), por exemplo, uma situao em que o objectivo identificar a melhor prtica.
ELECTRE TRI Esta variante serve para distribuir as medidas em diferentes categorias, por
exemplo, as medidas com mais sucesso, as medidas que no tm impacto significativo e as
medidas de despenho mediano.
ELECTRE II produz uma classificao de medidas, desde as mais eficazes s menos eficazes.
Os limiares de prevalncia e de veto so do tipo franco (franc type).
ELECTRE III tambm executa uma classificao, mas introduz relaes de prevalncia mais
vagas.
PROMETHEE faz uso de apenas um ndice de concordncia e introduz uma ordem de
prevalncia progressiva.
Para mais informao, consulte a bibliografia: Vincke 1989.

O processo pode basear-se em dados quantitativos, ou ser assumido de uma forma mais
subjectiva pelos prprios peritos ou pelas partes envolvidas na avaliao. Na verdade, a tcnica
combina geralmente elementos factuais e elementos objectivos relativos aos impactos, como os
pontos de vista e as preferncias dos principais parceiros.
Na recolha das opinies dos parceiros, a equipa de avaliao recorre normalmente a
entrevistas individuais ou a focus groups com pessoas cujos pontos de vista sejam
considerados como os de maior relevncia para a avaliao das medidas do programa
(referidos aqui como assessores). Uma opo habitual consiste em nomear membros do
grupo de acompanhamento da avaliao como assessores. Idealmente, o grupo deveria ser
grande o suficiente para reflectir os principais pontos de vista, mas um grupo de seis a dez
assessores ser provavelmente satisfatrio, e, desta forma, tenderia a constituir um subgrupo.
As preferncias dos assessores so tidas em conta de acordo com base em um de vrios
mtodos:
Via expresso directa sob a forma de uma ponderao atribuda a cada critrio. Isto
pode ser realizado por meio de votao atravs da distribuio de pontuaes. A
discusso tambm pode ocorrer atravs da realizao de vrias reunies sucessivas.

Revelar as preferncias atravs da classificao de perfis. Nesta variante, os
assessores so apresentados com os perfis das medidas ou projectos descritos de um
modo que revela preferncias entre os critrios. Os assessores tm de escolher um
destes dois perfis e, se possvel, tm de especificar se a sua preferncia fraca, mdia,
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

10
forte ou muito forte. O exerccio repete-se para todos os pares de perfis e utiliza-se um
software para atribuir uma ponderao a cada impacto, expressa em forma de
percentagem, para que as ponderaes possam somar os 100%.

Revelar as preferncias atravs da classificao de projectos reais. A escolha oferecida
aos assessores na variante anterior poderia ter o inconveniente de parecer artificial.
Para evitar este problema, prefervel pedir aos assessores para especificarem as suas
preferncias entre projectos reais.
Caixa: Exemplos.
Caixa: Exemplos
Criao de um sistema de classificao/ponderao
No mbito de um programa de desenvolvimento social na regio do nordeste de Inglaterra,
durante o perodo de 1991-93, um pequeno grupo de dez pessoas desenvolveu um sistema de
seleco de projectos. O grupo de trabalho reuniu vrias vezes durante um perodo de trs
meses. Os seus membros eram representantes das principais autoridades responsveis pelo
programa e sua implementao. O grupo estabeleceu uma lista de critrios e a ponderao de
cada critrio, bem como as escalas de classificao para os diferentes critrios. Apesar das
opinies divergentes, os membros do grupo conseguiram chegar a acordo, a seguir ao qual
todas as agncias envolvidas no programa foram consultadas e as autoridades responsveis
pelo programa validaram o sistema.
Perfis de duas medidas que favorecem dois critrios
Foi pedido aos assessores para compararem duas medidas tericas A e B com os mesmos
impactos representados em esquema, tal como se pode ver no diagrama. A medida terica A
ser descrita como uma medida cujo impacto neutro, ou seja, nulo, relativamente a todos os
critrios, excepo do critrio integrao ambiental, cujo impacto bom. Por outras
palavras, a medida ajudou a melhorar sistematicamente a viabilidade ambiental das
actividades dos destinatrios. A segunda medida terica B ser descrita como uma medida
cujo impacto neutro, ou seja, nulo, relativamente a todos os critrios, excepo do critrio
reforo das PMEs, cujo impacto bom. Por outras palavras, a medida afectou uma grande
fatia de PMEs e contribuiu decisivamente para o reforo da sua competitividade.
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

11
Impacto positivo
Impacto neutro
Perfil da Medida A
Perfil da Medida B

Classificao de projectos reais pelos assessores
Procedeu-se avaliao intercalar de um programa francs de desenvolvimento urbano, co-
financiado a nvel regional e nacional. Foram seleccionados oito critrios de avaliao. A
equipa de avaliao realizou um levantamento com base em estudos de caso de cerca de vinte
projectos concludos. Cada projecto constitua o tema de um relatrio com a descrio dos
impactos em termos dos diferentes critrios. A equipa de avaliao realizou a seguir
entrevistas individuais e confidenciais, com a durao de cerca de duas horas, com seis
assessores nomeados pelo grupo de acompanhamento. Durante as entrevistas, a equipa de
avaliao apresentou ao assessor vrias monografias de projectos com os quais estava
perfeitamente familiarizado e verificou se os relatrios reflectiam de forma aproximada a
realidade do ponto de vista do assessor. O assessor foi, depois, informado acerca de trs ou
quatro relatrios de projectos que desconhecia. Os projectos foram escolhidos de forma que
alguns tivessem mais sucesso do ponto de vista de determinados critrios, enquanto outros
tivessem mais sucesso do ponto de vista de outros critrios. Os relatrios eram, em geral,
considerados suficientemente precisps para possibilitar a formulao de uma apreciao sobre
os projectos. O assessor foi, posteriormente, convidado a classificar estes trs ou quatro
projectos intuitivamente, categorizando-os desde o melhor, ou seja, o mais meritrio do
financiamento do programa, ao pior, ou seja, o menos meritrio. A equipa de avaliao e o
assessor discutiram as razes para a classificao e deduziram uma ponderao dos critrios
que foi discutida e validada pelo assessor. Neste exemplo, cada um dos assessores revelou
pontos de vista muito diferentes sobre a importncia a atribuir aos diferentes critrios.

Fase 5. Agregao das apreciaes e concluses
Utiliza-se normalmente um programa informtico (software) para ordenar as aces entre si.
Pode deduzir-se um nico sistema de ponderao para os critrios, ou a equipa de avaliao e
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

12
o grupo de acompanhamento podem decidir estabelecer ponderaes mdias, cujo efeito
consiste em dissipar os diferentes pontos de vista entre os assessores.
Existem trs abordagens diferentes agregao das apreciaes:
apreciaes pessoais: os diferentes critrios de apreciao no esto sintetizados. Cada
um dos destinatrios da avaliao constri a sua prpria apreciao pessoal com base
na anlise e usa-a para construir argumentao do seu ponto de vista.
assistir a coligao: os diferentes critrios de apreciao so classificados com base
num programa informtico. Ser classificada uma aco acima de outra se tiver melhor
pontuao relativamente maioria dos critrios (nmero mximo de aliados) e se tiver
menos pontuaes eliminatrias comparativamente a outros critrios (nmero mnimo
de oponentes).
assistir o compromisso: proposta uma ponderao dos critrios pelo avaliador ou
negociada pelos destinatrios da avaliao. O resultado a classificao das aces em
termos da sua pontuao ponderada.
Na aplicao mais comum do mtodo nesta fase, a equipa de avaliao tem todos os
elementos que precisa para calcular pontuaes globais ponderadas s diferentes medidas. Os
resultados e os impactos de cada medida tero de ser avaliados em relao aos mesmos
critrios. Todas estas avaliaes tero de ser apresentadas sob a forma de pontuao numa
matriz de classificao de impactos e existe um sistema de ponderao que expressa as
preferncias mdias dos assessores relativamente a determinado critrio. A pontuao global
calculada atravs da multiplicao de cada pontuao elementar pela sua ponderao e
somando as pontuaes elementares atribudas, como no exemplo da Caixa Clculo das
pontuaes globais das medidas, que aplica a matriz de classificao de impactos apresentada
na Caixa Combinao dos critrios qualitativos e quantitativos. Com base nas pontuaes
mdias ponderadas, a equipa de avaliao pode classificar as medidas por ordem de
contribuio para o sucesso global do programa.

Caixa: Clculo das pontuaes globais das medidas
Contribuio das medidas para a
produo dos impactos esperados
(pontuao entre 0 e 10)
Integrao
social
Emprego
Equilbrio entre
os bairros numa
cidade
Equilbrio entre as
cidades de uma
regio
Pontuao
mdia
ponderada
Desenvolvimento urbano
(pontuaes mdias para as
medidas 1 e 2)
1 1 1 2 1.2
Infra-estrutura (pontuao mdia
para as medidas de 3 a 8)
5 4 4 3 4.1
Aces sociais colectivas
(pontuao mdia para as medidas
de 9 a 14)
6 5 3 3 4.4
Aces sociais personalizadas
(pontuao mdia para as medidas
de 15 a 19)
6 6 2 2 4.2
Coeficiente de ponderao para os
critrios
35% 20% 20% 25% 100%
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

13

Caixa: Combinao de critrios qualitativos e quantitativos (j apresentado
anteriormente, aqui repetida)
Critrio
Modalidades de
avaliao dos
critrios
Medidas
Diversificao
(% de empresas apoiados
activas em sectores de
crescimento)
Empregabilidade
(descritores de impacto)
Ambiente
(classificao do
impacto entre 0 e 10)
Apoio ao
investimento
72% Impacto neutro 3
Formao interna 21%
Aumento significativo na
empregabilidade dos formandos j
qualificados; impacto neutro para os
outros
1
Reconverso
industrial
52% Impacto neutro 8

A variante multi-concluso/apreciao consiste em manter as ponderaes individuais de cada
assessor. Neste caso, o anonimato dos assessores tem de ser respeitado quando se processar
as ponderaes que atriburam individualmente. Contudo, se as preferncias entre os critrios
revelarem fortes divergncias, possvel estabelecer vrias classificaes das medidas. A
equipa de avaliao pode aplicar diferentes sistemas de ponderao na mesma matriz de
classificao de impactos (um conjunto de diferentes ponderaes para cada assessor).
Resultaro diferenas entre as pontuaes globais ponderadas e, consequentemente, haver
diferenas na escala de classificao, j que, do ponto de vista de um dos assessores, uma
medida pode ser considerada um sucesso, mas ser, pelo contrrio, considerada um fracasso
por outro. Ter ento algum interesse apresentar separadamente as ponderaes para uma
determinada categoria de assessor, como, por exemplo, no caso dos assessores se
identificarem mais com questes nacionais ou regionais.
A concluso sinttica sobre a eficcia das medidas ser, normalmente, considerada slida e
imparcial, desde que:
os critrios de avaliao tenham sido validados pelo grupo de acompanhamento;
as concluses sobre os impactos de cada medida e a matriz de classificao de
impactos que as resume tenham sido validadas;
os coeficientes de ponderao para os critrios tenham sido estabelecidos com o apoio
dos assessores e com o acordo do grupo de acompanhamento.
A experincia indica igualmente que os parceiros so bastante mais receptivos a aceitarem as
concluses do relatrio se a equipa de avaliao tiver registado as suas opinies de forma
cuidada e se se tiver dado ao trabalho de ter em conta as suas preferncias ao apresentar as
concluses. Se, pelo contrrio, a equipa de avaliao escolher e avaliar, ela prpria, a
ponderao dos critrios, sem qualquer interaco dos parceiros, a imparcialidade dos
resultados sofrer consequncias e a anlise multicritrio ter menos utilidade.
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

14

Pontos fortes e limitaes da abordagem
Como j foi referido, a anlise multicritrio apresenta um enquadramento em que todos os
actores podem participar no processo de tomada de deciso e na resoluo de problemas.
Atravs da negociao entre as partes interessadas e do tratamento explcito dos critrios de
apreciao, a tcnica serve para dar forma a uma realidade no estruturada. O ponto forte da
anlise multicritrio assenta assim no facto de permitir ter em linha de conta os valores e as
opinies individuais de vrios actores, e processar as relaes funcionais dentro de uma rede
complexa, de forma quantitativa.
A interveno de um perito, a margem de manobra gozada pelos decisores polticos e as
similaridades com mtodos que se baseiam em votaes torna-a uma ferramenta adequada a
uma abordagem de parceria.
A tcnica ajusta-se bem ao desenvolvimento de parcerias, na medida em define reas de
consenso, em que os parceiros chegam a um acordo quanto classificao das medidas, e
reas de divergncia, que revelam as medidas consideradas eficazes para uns e ineficazes
para outros. A experincia revela que as concluses com base em consenso esto geralmente
em maioria. Esta situao pode encontrar explicao no facto de diferentes ponderaes se
aplicarem mesma matriz de classificao de impactos. Assim, uma medida que tenha obtido
uma baixa pontuao em a todos os critrios nunca ter uma pontuao global elevada,
independentemente das diferenas de prioridades entre os parceiros. Os diferentes pontos de
vista dos parceiros no podem entrar em forte contradio com as concluses resultantes de
uma observao emprica, se estas concluses mostrarem que certas medidas fazem
efectivamente parte da melhor prtica e que outras apresentam verdadeiros problemas de
eficcia.
Alm disso, a tcnica pode contribuir para o estabelecimento de um compromisso ou para
definir uma coligao de pontos de vista, mas no ir ditar as concluses individuais ou
colectivas dos parceiros. Os decisores polticos preferem abordagens deste tipo, uma vez que
esto envolvidos no processo, tendo este uma base tcnica relativamente simples.
No obstante estes factores, no domnio da avaliao no sentido estrito do termo, a anlise
multicritrio raramente usada para outros efeitos que no os estreitamente equivalentes ao
apoio tomada de decises e, em particular, avaliao ex-ante de projectos de infra-
estruturas de transporte.
Existem problemas especficos de implementao que podem limitar o uso da anlise
multicritrio, ou que requerem a presena de peritos. Adicionalmente, esta tcnica nem sempre
usada de uma forma interactiva, como deveria ser, e tende a fixar critrios que so, na
realidade, instveis.

Bibliografia
Saaty T.L. (1984), Dcider face la complexit, Paris: Entreprise Moderne d'Edition, 231
p.
Schrlig A. (1990, 2me d.), Dcider sur plusieurs critres, panorama de l'aide la
dcision multicritre, Lausanne: Presses polytechniques et universitaires romandes, 303
p. (Um manual exaustivo e muito acessvel).
A Avaliao do Desenvolvimento Socioeconmico, MANUAL TCNICO II: Mtodos e Tcnicas
Instrumentos de Enquadramento das Concluses da Avaliao: Anlise Multicritrio

15
Roy B. et Buyssou D. (1993), Aide Multicritre la dcision: Mthodes et Cas, Paris:
Economica, 695 p.

Palavras-chave
Mtodo de compensao
Mtodos de prevalncia (outranking)