Escolar Documentos
Profissional Documentos
Cultura Documentos
FaculdadedeEconomia,AdministraoeContabilidade
DepartamentodeAdministrao
TRABALHODECONCLUSODECURSO
MENSURAODORESULTADOSOCIAL
NOCONTEXTODASORGANIZAESDO
TERCEIROSETOR
RafaelMartnDelatorre
Orientador:RoyMartelanc
SoPaulo
2002
UNIVERSIDADEDESOPAULO
FaculdadedeEconomia,AdministraoeContabilidade
DepartamentodeAdministrao
MENSURAODORESULTADOSOCIAL
NOCONTEXTODASORGANIZAESDO
TERCEIROSETOR
RafaelMartnDelatorre
Orientador:RoyMartelanc
SoPaulo
2002
i
Sumrio
SUMRIO ...................................................................................................................................... I
INTRODUO.............................................................................................................................. 1
SOBREOTERCEIROSETOR......................................................................................................... 4
1.1.Contextualizao............................................................................................................. 4
1.2.UmaConceituaoparaoTerceiroSetor ................................................................... 6
1.3.reasdeAtuaodasOrganizaesdoTerceiroSetor ........................................... 8
1.4.AFormaJurdicadasOrganizaesBrasileiras........................................................ 9
SOBREAAVALIAODEPROJETOSEPROGRAMAS............................................................ 11
2.1.Projetos,ProgramasesuaAdministrao................................................................ 11
2.2.AvaliaodeProgramaseProjetos ........................................................................... 13
2.3.ObjetivosEconmicosversusObjetivosSociais .................................................... 15
ENTIDADESSEMFINSLUCRATIVOSEAVALIAODEPROJETOS ..................................... 18
3.1.ObjetivosdaAvaliaonoTerceiroSetor ............................................................... 18
3.1.1.AprimoramentodaGesto........................................................................................... 18
2.1.1.Causasnobresversuscausaseconmicas ................................................................... 19
3.1.2.FerramentadeCaptaodeRecursos......................................................................... 20
3.1.3.CompromissosdasOrganizaes................................................................................ 21
2.3.1.CompromissocomosDoadoresdeRecursos ................................................................ 21
2.3.2.CompromissocomosVoluntrios ................................................................................ 22
2.3.3.CompromissodasOrganizaescomaSociedade ........................................................ 23
3.2.DificuldadedeAvaliaroDesempenhoSocial........................................................ 24
AVALIAOSOCIALDEPROJETOS......................................................................................... 27
4.1.RevisoHistricadosMtodosdeAvaliaodeImpacto.................................... 29
4.2.OrientaesparaaDefiniodoResultado/Impacto .......................................... 31
ii
4.3.Mtodosdeavaliaodeimpacto.............................................................................. 32
4.3.1.Oxfam.............................................................................................................................. 32
4.3.1.1.Indicadores................................................................................................................. 34
4.3.1.2.PropriedadesdosIndicadores..................................................................................... 36
4.3.2.CostBenefitAnalysis .................................................................................................... 38
4.3.2.1.Definies .................................................................................................................. 38
4.3.2.2.Possveisobjetivosaseremperseguidos..................................................................... 39
4.3.2.3.Avaliaodasprefernciasindividuais...................................................................... 41
4.4.QuestodombitodoProjeto .................................................................................. 43
MEDINDOORESULTADOSOCIAL........................................................................................... 44
5.1.BenefciosdeumaMedidadeImpactoSocial........................................................ 45
5.2.CaractersticasdoProcessodeMedidadoImpactoSocial ................................... 47
5.3.MensurandooImpactoSocial ................................................................................... 47
5.3.1.UsandoIndicadoresparaMensuraroImpactoSocial.............................................. 48
5.3.2.UnindoosIndicadoresAtravsdaAnliseConjunta .............................................. 49
5.4.AnliseConjunta.......................................................................................................... 49
5.4.1.PropriedadesdosIndicadoresparaaAnliseConjunta.......................................... 52
5.4.2.EscolhadoModeloBsicodeComposio................................................................ 53
5.4.3.AspectosaseremconsideradosnaAnliseConjunta .............................................. 53
5.5.UtilizandoosResultadosdaAnliseConjunta...................................................... 54
EXEMPLODEAPLICAODOMTODO.................................................................................. 56
6.1.RealizaodaPesquisa................................................................................................ 57
6.2.ResultadosdoExemplo............................................................................................... 58
6.3.InterpretaodosResultados ..................................................................................... 63
6.4.AplicaodosResultados ........................................................................................... 64
6.4.1.EscolhadeProjetos ........................................................................................................ 64
6.5.MensuraodoResultado........................................................................................... 65
CONCLUSESEPRXIMOSPASSOS........................................................................................ 67
BIBLIOGRAFIA ........................................................................................................................... 69
ANEXOS...................................................................................................................................... 71
Introduo
O Terceiro Setor desempenha um papel de grande relevncia na sociedade brasileira. Em
alguns casos, sua atuao determina o bem estar de inmeras pessoas, pessoas que de
outraformateriamproblemassrios.NosEstadosUnidos,ondeosetorsemfinslucrativos
mais desenvolvido, o Terceiro Setor composto por cerca de 1,13 milhes de
organizaes de diferentes tamanhos, movimentando mais de US$ 400 bilhes e
representandocercade7,4%doGDPdopas.(SalamoninSalamoneAnheier,1997,p.302)
NoBrasil,apesardenoexistiremdadosconfiveisarespeitodorealtamanhodoTerceiro
Setor no pas, como mostrado na Figura 0.1, se reconhece que um setor que vem
ganhando maior expresso a cada momento. J existem no Brasil organizaes de grande
porte no Terceiro Setor, atuando em mais de uma rea de atuao, com diversos projetos.
Emumasimplesvistaaosportaisdessasinstituies,entreasquaisaFundaoBradesco,o
Instituto Ayrton Senna e a Fundao ABRINQ; possvel ver a grande relevncia que o
TerceiroSetorvematingindonoBrasil.
Com a crescente importncia do Terceiro Setor para a sociedade, outra tendncia se torna
clara:aprofissionalizaodaatuaosocial.Buscasecadavezmaisconduziraaosocial
de maneira racional, de tal forma a se conseguir o mximo de mudana social com os
recursos disponveis. Para tanto, as organizaes tentam incorporar tcnicas de
administrao empresarial em suas atividades, adaptandoas conforme as peculiaridades
2
desse setor no lucrativo. Desse processo surge uma srie de novos conceitos, expresses
comomarketingsocial,balanosocial,contabilidadesocial,entreoutros.
Figura0.1.
AsindefiniessobreoTerceiroSetornoBrasil(adaptadodeFilinto,2002)
Fundaes: 11.076
Associaes: 169.260
Organizaes Religiosas: 29.473
Sindicatos: 7.874
Federaes: 1.451
Confederaes: 425
Total: 219.559
Secretaria da Receita Federal in LANDIM, Leilah, 1998
550.000 instituies no Terceiro Setor
Jornal O Estado de S.Paulo, julho 2000
12.000 instituies no Terceiro Setor no Estado de
Pernambuco
Ministrio Pblico do Estado de Pernambuco, 2000
5.200 fundaes de direito privado no Brasil
Fundata/CEFEIS/FIPE, 2000
No se sabe quantas organizaes da sociedade civil existem,
e nem como atuam. No s o nmero de organizaes
desconhecido, como tambm no se sabe ao certo qual o
volume de recursos movimentados pelas ONGs (sua origem e
destino)
MEREGE, Luiz Carlos. Entrevista ao Jornal Valor, Maio, 2001
O captulo brasileiro do trabalho realizado pelo John Hopkins
Institute for Policy Studies da Universidade John Hopkins
USA Estudo Comparativo Internacional sobre o setor sem fins
Lucrativos - , foi dificultado pela falta de dados estatsticos
e sistematizao da rea do Brasil .
LANDIM, Leilah e BERES, Neide.1999
No decorrer da pesquisa baseada a partir das fontes
estatsticas oficiais hoje existentes, evidenciou-se que estas
fontes so relativamente imprecisas e limitadas.
LANDIM, Leilah. BERES, Neide.1999
Fundaes: 11.076
Associaes: 169.260
Organizaes Religiosas: 29.473
Sindicatos: 7.874
Federaes: 1.451
Confederaes: 425
Total: 219.559
Secretaria da Receita Federal in LANDIM, Leilah, 1998
550.000 instituies no Terceiro Setor
Jornal O Estado de S.Paulo, julho 2000
12.000 instituies no Terceiro Setor no Estado de
Pernambuco
Ministrio Pblico do Estado de Pernambuco, 2000
5.200 fundaes de direito privado no Brasil
Fundata/CEFEIS/FIPE, 2000
No se sabe quantas organizaes da sociedade civil existem,
e nem como atuam. No s o nmero de organizaes
desconhecido, como tambm no se sabe ao certo qual o
volume de recursos movimentados pelas ONGs (sua origem e
destino)
MEREGE, Luiz Carlos. Entrevista ao Jornal Valor, Maio, 2001
O captulo brasileiro do trabalho realizado pelo John Hopkins
Institute for Policy Studies da Universidade John Hopkins
USA Estudo Comparativo Internacional sobre o setor sem fins
Lucrativos - , foi dificultado pela falta de dados estatsticos
e sistematizao da rea do Brasil .
LANDIM, Leilah e BERES, Neide.1999
No decorrer da pesquisa baseada a partir das fontes
estatsticas oficiais hoje existentes, evidenciou-se que estas
fontes so relativamente imprecisas e limitadas.
LANDIM, Leilah. BERES, Neide.1999
Cadaumadestasreaspossuicaractersticasmuitodiferentes,detalformanopodeexistir
formadeavaliaoquenoleveemcontaessefato.
1.4.AFORMAJURDICADASORGANIZAESBRASILEIRAS
Szazi(2000,p.27293739),apresentaasformasjurdicasquepodemtomarasorganizaes
doTerceiroSetornoBrasil.
Associao uma pessoa jurdica criada a partir da unio de idia e esforos de
pessoasemtornodeumpropsitoquenotenhafinalidadelucrativa.(Szazi,2000)
10
Sociedade Civil sem Fins Lucrativos Da mesma forma que as associaes,
so pessoas jurdicas formadas a partir da unio dos esforos de pessoas em
proldealgumobjetivocomum.(Diniz,2000,p.144)
Fundaes um conjunto de bens, com um fim determinado, que a lei d a
condiodepessoa.(Resende,1997apudSzazi,2000)
A grande diferena, portanto, entre as associaes/sociedades civis e as fundaes o
objetocercadoqualelasseconstituem,equemresponsvelpelaelaboraodosobjetivos.
Paraasassociaes/sociedadescivis,tratasedaconjugaodevontadesautnomasparachegar
ao fim, em outras palavras, o meio so as pessoas e o fim por elas concebido. No caso das
fundaes, a conjugao de bens para alcanar o fim. Nesse caso, o meio so os bens e o fim
concebidopeloinstituidor.Opatrimnionoapessoajurdicaemsi,masoobjetodaorganizao
queseinstituiueconstituiu.(Diniz,2000,p.144)
Outras denominaes encontradas no Brasil, como os institutos, no possuem uma forma
jurdica prevista em lei. Tratamse apenas de nomenclaturas que se utilizam sem grande
diferenciao, para formas jurdicas que obrigatoriamente so associao, fundao ou
sociedadecivilsemfinslucrativos.
A distino entre as formas jurdicas importante porque elas possuem obrigaes
diferentes perante a lei. Como ser apresentado adiante, as fundaes so obrigadas a
prestar contas sociedade de maneira muito mais detalhada do que as associaes. Alm
disso, essas prestaes de contas incluem verificar se os objetivos da organizao esto
sendocumpridos,tarefaqueexigeumaavaliaodoresultadosocialdessasorganizaes.
11
Captulo2
SobreaAvaliaode
ProjetoseProgramas
2.1.PROJETOS,PROGRAMASESUAADMINISTRAO
Projeto, segundo a definio do Project Management Institute, um esforo temporrio
empreendidoparacriarumprodutoouservionico.Temporriosignificaquecadaprojetotemum
incioeumfinaldefinido.nicosignificaqueoprodutoouserviodiferente,emalgumaformade
distino,detodososoutrosprodutosouserviossimilares.(PMI,1999,p.45)
JumProgramapodeserconsideradocomoumprojetodelongadurao,nopossuindo
umfinaldefinido.Tratasedeumesforocontnuocomalgumobjetivodefinido.(Meredith
eMantelJr.,1989apudDurigan,2000)
Chianca et al (2001, p.19) apresentam ainda as diferentes abordagens que podem ser
utilizadasnaavaliaosistemtica/formaldeprojetoseprogramas:
Avaliao voltada para objetivos Procura avaliar em que medida os
objetivos e metas determinados previamente foram alcanados. O grande
problema com essa abordagem que no leva em conta os benefcios ou
limitaesquenoestejamcontempladosnoplanotraadoinicialmente.
Avaliao orientada para a tomada de decises Est voltada s
necessidades que os gestores/gerentes tm de informao. Todo o processo
voltado a julgar a efetividade do tomador de decises, influenciando
diretamente a avaliao. As crticas que se faz a essa abordagem esto
relacionadas 1) dificuldade de trazer tona questes importantes do
14
programa que no esto no rol de preocupaes ou de alguma forma vo de
encontrosposiesdogestor,quecontrolaaavaliaoe2)aprefernciaque
dada aos gestores que esto no topo das decises, o que pode tornar o
processopoucodemocrtico.
Avaliao voltada para consumidores aquela realizada junto aos
consumidores ou beneficirios da ao social, principalmente atravs de
pesquisasdeopiniojuntoaessepblico.
Avaliaobaseadaemopiniesdeespecialistasbaseadanaaplicaode
conhecimentos tcnicoprofissionais por especialistas no julgamento da
qualidade de um projeto ou programa. Funciona como uma espcie de
auditoria,ondeosespecialistassoconvidadosaopinarsobreaconduoeos
resultados obtidos por determinada iniciativa. Um exemplo apresentado por
Chiancaetalacontrataodeumaequipedeprofissionaisdareadasade
(mdicos, psiclogos, enfermeiros), especializada no atendimento a
dependentes qumicos, para julgar o mrito e relevncia de um programa de
tratamento de drogados realizado por um hospital pblico. A principal
limitao dessa abordagem o grau de subjetividade envolvido na opinio,
mesmodeumespecialista.Comestemtodo,asavaliaesvariamsegundoas
crenaseopinies,oquepodegerarconflitos.
Avaliao baseada em opinies contrrias baseada no desenvolvimento
depontosdevistaopostospordiferentesavaliadores,deformasemelhantea
um tribunal. Sua aplicao na rea social ainda limitada, porm tratase de
umaabordagemquepodesertilquando1)oobjetoavaliadoatingeamuitas
pessoas; 2) a populao est mobilizada, graas a controvrsias relacionados
aoobjeto avaliado;3) existe a necessidade de se decidir sobrea continuidade
ou o trmino de um programa; 4) existem avaliadores externos disponveis
para ajudar na avaliao; 5) h clareza sobre os principais aspectos
15
relacionados ao objeto avaliado e 6) existem recursos disponveis para
financiar a implantaode uma abordagem como essa. A crtica que se lana
sobreessaabordagemestrelacionadacomofatodeessaavaliaoacabars
sendo realizada quando existirem problemas ou crises que precisam de
soluo, reforando a prtica de se avaliar os projetos somente quando
existemproblemas.
Avaliao baseada na participao Envolve as pessoas interessadas ou
influenciadas pelo programa ou projeto avaliado. Essa influncia acontece na
determinao das necessidades, do tipo de dados a serem coletados e dos critrios e
valores a serem utilizados na formao de juzo de valor sobre o objeto avaliado.
(Chiancaetal,2001,p.23)
2.3.OBJETIVOSECONMICOSVERSUSOBJETIVOSSOCIAIS
O conceito de projeto e programa surgiu no mercado. Assim, toda a teoria de
administrao de projetos foi desenvolvida nesse contexto. bvio pensar que no
possvelutilizarasteoriasdeadministraodeprojetosdamesmaformanoTerceiroSetor
enomercado.
No mercado, o objetivo final est quase sempre ligado ao lucro e ao aumento de valor da
empresa, de tal forma que o conceito de eficincia sempre aparece como de fundamental
relevncia. No Terceiro Setor, no entanto, os objetivos esto ligados ao setor pblico, fato
que deve ser considerado ao se pensar em mtodos de avaliao. Assim, nos objetivos do
Terceiro Setor no aparece o lucro, nem estes esto necessariamente ligados apenas
eficincia.
Fuguitt e Wilcox (1999, p. 3842) apresentam os objetivos que um programa do setor
pblicopodemperseguir:
16
Eficincia No fim do sculo XIX, Pareto j apresentava um conceito de
eficincia. Segundo este conceito, uma poltica qualquer ser superior (ou
mais eficiente) se conseguir aumentar os ganhos sociais sem prejudicar
ningum,oucompensandoosprejudicados.Essadefinionoeratotalmente
adequada,umavezqueraraumapolticaquenoprejudiquealgumgrupoe
as compensaes que existem no so automticas. Assim, uma nova
definio foi desenvolvida e chegouse ao chamado critrio de KaldorHicks,
quedizqueaeficinciaestsendoatingidaquandoalgumapolticageramais
benefcios que custos, no importando quem recebe os benefcios, quem
suportaoscustoseseosprejudicadossorecompensados.
Diminuio da desigualdade (distributional equity) O critrio da eficincia
no diz nada a respeito da igualdade de uma sociedade. Uma poltica
qualquer, dita eficiente, pode trazer benefcios para apenas parte da
sociedade,aumentandosuadesigualdade.Noentanto,osefeitosdistributivos
de qualquer poltica no podem ser ignorados pelos tomadores de deciso,
sendo que o objetivo de alguma poltica pode no ser necessariamente a
eficincianousodosrecursos,massimapromoodaeqidade.
Sustentabilidade O conceito de sustentabilidade no unnime entre os
estudiosos, mas normalmente associado com os impactos de determinada
poltica para as geraes futuras. Assim, uma poltica dita sustentvel
quando no impacta negativamente nas geraes futuras. Um exemplo seria
uma poltica de desenvolvimento da Amaznia que inclusse a
industrializao macia da rea florestal. Essa poltica poderia muito bem
atender aos anseios da populao local, diminuindo a desigualdade. Porm
no promoveria a sustentabilidade, uma vez que a destruio da reserva
naturalcertamenteprejudicariaasociedadefutura.
17
DireitoshumanosExistemdoistiposdecritriospossveisnomomentode
analisaralgumapolticaemparticular.Oprincpiodeontolgicoenfatizaodever
ticodoadministradorpblicodeprotegerosdireitoshumanos.Assim,uma
poltica que possa causar qualquer malefcio a algum indivduo deve ser
evitada. A tica ulititarista base do anlise de custobenefcio afirma ao
contrrioqueoquecertooqueirmaximizaroquebom(BeatleyapudFuguitt
eWilcox,1999,p.41),noimportandosecausaalgumprejuzoaalgumneste
processo. A idia que, desde que no cmputo geral a sociedade saia
ganhando,qualquercoisapermitida.Estesdoiscritriosoferecemdiferentes
respostas para os problemas de escolha. Por exemplo, se todos os seres
humanostemdireitoarespirararpuro,polticadepoluiozerodevemser
permitidas. Uma anlise segundo o critrio utilitarista poderia chegar a uma
concluso diferente, priorizando investimentos em outras reas que possam
causarumimpactomaissignificativonavidadaspessoas.
Direitos da natureza Este objetivo diz respeito a responsabilidade do ser
humano em relao aos recursos naturais. Apesar de haver algum debate a
respeito de se a natureza e seus componentes (animais, pedras, plantas,
ecossistemas)possuemdireitos,otomadordedecisodevelevaremcontaos
custos ambientais na sua anlise, se no por uma perspectiva deontolgica
(onde os humanos tem o dever moral de proteger o ambiente), pelo menos
pelo impacto que determinada poltica pode ter na sustentabilidade e nos
direitoshumanos.
18
Captulo3
EntidadessemFinsLucrativose
AvaliaodeProjetos
A avaliao do resultado uma ferramenta de grande utilidade para os gestores de
quaisquer organizaes, como visto no captulo anterior. No mundo das organizaes do
Terceiro Setor, a avaliao de projetos pode ser usada com outros objetivos alm dos
tradicionais. Neste captulo so apresentados os usos possveis da avaliao de projetos e
programas sociais dentro do contexto do Terceiro Setor, alm de uma discusso sobre as
dificuldadesiniciaisdeumprocessodeavaliao.
3.1.OBJETIVOSDAAVALIAONOTERCEIROSETOR
3.1.1.AprimoramentodaGesto
Umdosusosprincipaisdaavaliaooaprimoramentodagesto.Algumasorganizaes
nopossuemqualquertipodemediodoresultadosocialquesuaatuaoproporcionaa
sociedade,estandodestaformatrabalhandoscegas.Nodifcilentenderque,aonose
visualizarclaramenteosresultadosdeseutrabalho,asorganizaespodemseenvolverem
atividades que no as ajudam a atingir seus objetivos. Alm disso, ao no acompanhar os
resultados de seu trabalho, sequer tomam conscincia a respeito de problemas em seus
sistemas de trabalho, o que as impede de promover quaisquer aes corretivas. No se
podecorrigiroquenoseconhece.
19
Aavaliaodoresultadosocialumaformadeseforneceraogestordaorganizaouma
medida de seu trabalho, de tal forma que ele possa acompanhar seu desenvolvimento.
Tornase mais palpvel o surgimento de problemas, porque estes tero influncia no
resultado.Apartirdessasinformaes,possveltomaraescorretivasoumesmomudar
radicalmente a estratgia, de forma a sempre avanar no cumprimento dos objetivos e no
benefciosociedade.
2.1.1.Causasnobresversuscausaseconmicas
Nesse sentido, uma das objees apresentadas pelas instituies avaliao e medio do
resultado social que o processo de avaliao as afastariam de sua funo e objetivo
principal: a atividade social. Contra este argumento, Drucker (1997, p. 82) apresenta os
conceitosdecausanobreecausaeconmica,dizendooseguinte:
As instituies sem fins lucrativos em geral acham quase impossvel
abandonar qualquer coisa. Tudo o que fazem trabalho do Senhor ou
uma boa causa. Mas elas precisam distinguir entre causas morais e
causaseconmicas.Umacausamoralumbemabsoluto.Ospregadores
vm vociferando contra a fornicao h cinco mil anos. Infelizmente os
resultadosforamnulos,masistosprovaqueomalestprofundamente
enraizado. A ausncia de resultados indica somente que os esforos tm
que ser redobrados. Esta a essncia da causa moral. No caso de uma
causa econmica, a pergunta : Esta a melhor aplicao de nossos
recursos escassos? H muito trabalho a ser feito. Coloquemos nossos
recursos onde esto os resultados. No podemos nos dar ao luxo de ser
ntegrosecontinuarumprojetonoqualparecemosincapazesdeatingir
osresultadosquefixamosparansmesmos.
Neste ponto inserido o pragmatismo nas aes sociais. No possvel querer resolver
todososproblemasdeumasvezeporumsprograma.necessrioprocurarformasde
utilizarosrecursosdeformaaconseguiromximoderesultadopossvel,mesmoqueisso
signifiquedeixardeladoalgumpblico,oualgumaatividadeemespecial.Semdvidaque
essespblicoseatividadespodemserimportantesparaasociedadecomoumtodo,maso
fatoaaoestarmelhororientadasebuscaromximodebenefcioquepuder.
20
possvel fazer uma analogia com o setor privado. O gestor de uma empresa
freqentementetemaseudisporumasriedeopesdeinvestimento.Ele,focadoemseus
objetivos finais teoricamente aumentar o valorpara o acionista no hesita em escolher
aquele que tiver o melhor lucro,ou omelhor fluxo de caixa. Mais do que isso, ele escolhe
entre esses projetos a partir de uma perspectiva que leva em conta o custo ou o
investimentoparadeterminadoprojeto.
Umaorganizaosemfinslucrativospodeincorporaressavisonasuagestointerna.As
diferenas esto nos objetivos, de lucro para benefcio social; nas fontes de recurso, de
venda de bens e servios para atividades de captao de recursos e nos interessados, de
acionistas,funcionrioseclientesparafinanciadores,voluntrios,pblicosalvo.
3.1.2.FerramentadeCaptaodeRecursos
UmaconsidervelpartedasorganizaesdoTerceiroSetordependemfundamentalmente
de recursos doados por terceiros. Tratase de pessoas fsicas e jurdicas, interessadas de
alguma forma no desenvolvimento da sociedade. Como tal, claro que so pessoas
interessadasemcomoseroutilizadososrecursosdoados,equalobenefcioquedecorrer
dessaatuao.MesmoconsiderandoqueosetornodesenvolvidoplenamentenoBrasil,
com os doadores muitas vezes no buscando ou no tendo acesso aos resultados das
organizaes que suporta, certamente a informao a respeito do benefcio e do uso dos
recursosseriaapreciadapelodoador.
As organizaes, ao buscarem estas doaes, utilizam toda uma srie de argumentos.
Desde apelos conscincia das pessoas at projetos sociais elaborados cuidadosamente,
essesargumentosserotomaisconvincentesquantoareputaodaorganizaoperantea
sociedade.
21
possvel dizer que uma avaliao dos resultados sociais de uma organizao um
argumentopoderosonessesentido,aosedemonstrarqueosrecursosdoadossoutilizados
demaneiraeficaz.Depossedessasinformaes,aorganizaopodeviratersuatarefade
captaoderecursossignificativamentefacilitada.
3.1.3.CompromissosdasOrganizaes
As organizaes do Terceiro Setor no possuem donos ou proprietrios a quem devam
responderouprestarcontar.Suaatuaoeorientaosoindependentes,sendoquenesse
processo abremse brechas para o aparecimento de comportamentos oportunistas e
ineficcia. Constitudas com objetivos nobres, as organizaes podem se descobrir
envolvidas com a corrupo, ou ver seu patrimnio dilapidado por desvios ou m
administrao, ou ainda simplesmente no conseguir atingir seus objetivos de maneira
eficaz.
Com isso, fica claro ento que as organizaes devem prestar contas de suas atividades a
todososinteressadosouenvolvidos.Tratasedacobranafeitapelosdoadoresderecursos,
da superviso dos voluntrios, do velamento do Estado etc. As organizaes possuem
compromissos com esses agentes, que devem ser atendidos seja por imposio legal ou
moral.
2.3.1.CompromissocomosDoadoresdeRecursos
O primeiro controle das atividades das fundaes vem da cobrana dos doadores de
recursos.Essecontrolenofeitodamesmamaneirapor,nemsuarelevnciaigualpara
todososdoadores.
Existem doadores que no se envolvem com a atuao das entidades de maneira direta.
Normalmente, so pessoas que respondem a algum apelo especfico de captao de
22
recursos, no realizando doaes continuamente. Algumas vezes, isso significa passar ao
largo de qualquer tipo de superviso, sendo que as organizaes acabam livres para
realizar o que seja com os recursos. Algumas dessas instituies acabam prestando contas
por iniciativa prpria, o que no a regra. Exemplos desse tipo de doador podem ser
encontradosfacilmenteemcampanhascomooCrianaEsperana.
Outrosdoadoresfiscalizameacompanhamcontinuamenteaatuaodasorganizaes.Um
exemplo desse tipo de doador as organizaes filantrpicas, cuja atuao social
realizadaatravsdofinanciamentodeoutrasinstituies.Essasorganizaes,comooW.K.
Kellogg Foundation nos EUA e o Instituto Ayrton Senna no Brasil, possuem programas
contnuos de avaliao de projetos, condicionando a doao ao cumprimento de metas e
objetivos.
2.3.2.CompromissocomosVoluntrios
Osvoluntriospodemservistoscomoutraclassededoadores.Enquantoaquelesajudama
organizaodoTerceiroSetordoandovaloresmonetrios,osvoluntriosdoamovalorde
seutrabalho.
Dessa forma, os voluntrios so merecedores de ateno to especial quanto os doadores
de recursos. Afinal de contas, uma organizao de m reputao ter dificuldades de
formarseuquadrodecolaboradores,oqueatrapalharsuasoperaes.possvelafirmar
que de interesse da organizao manter seus voluntrios motivados e desejosos de
contribuir.
A avaliao do resultado social, neste contexto, surge como forma de demonstrar ao
voluntrio os benefcios conseguidos com sua colaborao. Os benefcios sociais
demonstrados inequivocamente, transmitiro ao mesmo tempo a eficcia na atuao e o
valordotrabalhodovoluntrio.
23
2.3.3.CompromissodasOrganizaescomaSociedade
Como visto anteriormente, as organizaes do Terceiro Setor podem ser constitudas
segundo trs formas jurdicas: Associao, Sociedade Civil sem Fins Lucrativos ou Fundao.
Cada tipo de organizao presta contas de suas atividades de maneiras diferentes.
possvel dizer que as fundaes possuem uma maior cobrana em relao aos seus
resultados, enquanto as associaes possuem uma atuao menos controlada pela
sociedade.
As associaes e sociedades civis no possuem uma legislao especfica a respeito de
prestao de contas sociedade. Uma associao s precisa prestar contas ou apresentar
informaes ao Estado se possuir algum tipo de certificao que a obrigue, como o caso
da Utilidade Pblica Federal, Estadual e Municipal, do Certificado de Entidades de Fins
Filantrpicos, do Registro no Conselho Nacional de Assistncia Social (CNAS) e da Qualificao
como Organizao da Sociedade Civil de Interesse Pblico (OSCIP). Tais certificaes exigem
umarenovaoperidica,envolvendoaapresentaodosresultadosdasorganizaes,de
seusobjetivosetc.
No caso das fundaes, a legislao prev que sero veladas pelo Ministrio Pblico do
estado onde estejam situadas. Como coloca Szazi (2000, p. 38), o patrimnio constitudo
para a fundao no pertence mais a quem institui, sendo destinado ao bem da
coletividade. Dessa forma, a fundao no nem de seus dirigentes, nem dos usurios e
nemmesmopertenceaoEstado.Tratasedeumpatrimnioparabemcomum,pormno
pertencenteaningum,oqueexigeumaproteoespecial.
OvelamentodafundaopeloMinistrioPblicoconsistenaaprovaodosestatutosedassuas
reformas; em velar para que os bens no sejam malbaratados por administraes ruinosas, ou
desviados dos destinos a que os aplicou o instituidor; e em verificar se a fundao se pode
24
manter; ou se o patrimnio deve ser incorporado no de outra que se proponha a fins semelhantes.
(BevilcquaapudSzazi,2000,p.38)
Considerando que os objetivos da fundao esto vinculados s atividades do Terceiro
Setor, o Ministrio Pblico deve saber avaliar se os objetivos estatutrios esto sendo
cumpridos. Essa tarefa exige, necessariamente, que se busque avaliar de alguma forma o
impactodasaesnasociedade.
Alm do velamento realizado pelo Ministrio Pblico, se uma fundao possui alguma
certificao como as apresentadas acima, elas tambm necessitam apresentar documentos
sobresuasatividades,sofrendoasmesmasexignciasdasassociaes.
3.2.DIFICULDADEDEAVALIARODESEMPENHOSOCIAL
No so poucas as instituies que no tm claro como avaliar seu desempenho. Rocche
(2000,p.14),inclusive,serefereaumestudorecentearespeitodoimpactodeONGs,que
concluiuqueoverdadeiroimpactodo(...)trabalhodedesenvolvimentoerapoucoclaroequehavia
pouco consenso sobre quais ferramentas e mtodos eram mais apropriados para sua definio.
Apesar de extremamente relevante e importante, muito difcil avaliar o desempenho de
umaorganizaosemfinslucrativos.
Rocche (2000, p. 14) coloca inclusive que, por falta de um programa apropriado de
avaliaonasinstituies,osetorentrouemumcrculovicioso,comoomostradonaFigura
3.1.
25
Figura3.1.
OcrculoviciosoenfrentadopeloTerceiroSetor(adaptadodeRocche,2000,p.15)
Crescente
Concorrncia
entre as ONGs
Crescente Presso
para Apresentar
Resultados e
Impacto
Falta de Normas e
Padres Profissionais
Incipiente
Aprendizagem e
Responsabilidade
Institucional
Crescente
Necessidade de um
Perfil para Levantar
Recursos e Trabalho
de Advocacy
Crescente
Concorrncia
entre as ONGs
Crescente Presso
para Apresentar
Resultados e
Impacto
Falta de Normas e
Padres Profissionais
Incipiente
Aprendizagem e
Responsabilidade
Institucional
Crescente
Necessidade de um
Perfil para Levantar
Recursos e Trabalho
de Advocacy
Ocrculoapresentacincoelementosprincipais.Asorganizaesnecessitamcadavezmais
da confiana da sociedade, para a captao de recursos e da imprensa, como forma de
auxiliar o trabalho de advocacy. Alm disso, existe uma grande concorrncia entre as
organizaesporestemesmoespao,oqueprovocaumacrescentepressoporapresentar
resultadoseimpactodeseusprojetossociais.Noentanto,muitasinstituiesaindasofrem
comafaltadenormasepadresprofissionaisnasuaatuao,provocandoumaincipiente
aprendizagemeumafracaatuao.
Rocche(2000,p.14)afirma,nessesentido,queesseselementossecombinamparaproduzirum
enorme espao vazio entre a retrica das agncias e a realidade do que realizam. Eles tambm
alimentam um ceticismo cada vez maior sobre o valor da ajuda e diminuem a confiana entre as
organizaes.
Um dos motivos dessa dificuldade a falta de uma nica varivel que nos sirva de
resultado e para a qual podemos voltar nossas anlises. Nas empresas privadas, existe o
lucro, conceito claro para qualquer pessoa na empresa e fora dela. Nas organizaes sem
26
finslucrativos,oresultadoseriaobenefciotrazidopordeterminadaaoparaasociedade
ouumgrupo.
Numaempresa,existeoresultadofinanceiro.Lucroeprejuzoporsiss
nososuficientesparajulgarodesempenho,maspelomenossocoisas
concretas. Quer os executivos da empresa gostem ou no, o lucro
certamente ser usado para medir seu desempenho. Entretanto, quando
os executivos de instituies sem fins lucrativos se vem diante de uma
deciso que implica em riscos, eles precisam definir os resultados
desejados antes que os meios de medir o desempenho e os resultados
possamserdeterminados.(Drucker,1997,p.79).
27
Captulo4
AvaliaoSocialdeProjetos
Oqueumcnico?Umhomemquesabeo
preodetudoeovalordenada.
OscarWilde
29
4.1.REVISOHISTRICADOSMTODOSDEAVALIAODEIMPACTO
Rocche (2000, p. 33) apresenta um breve histrico dos mtodos de avaliao de impacto.
Segundo ela, as primeiras abordagens datam da dcada de 1950, quando agncias de
desenvolvimento comeam a usalas para prever as provveis conseqncias ambientais,
sociais e econmicas de um projeto, para poder aprovalo, ajustalo ou rejeitalo. Nesse
sentido, as abordagens mais comuns so a avaliao de impacto ambiental (environment
impactassessmentEIA),avaliaodeimpactosocial(socialimpactassessmentSIA),anlise
decustobenefcio(costbenefitanalysisCBA)eanlisedecustobenefciosocial(socialcost
benefitanalysisSCBA).
30
Figura4.2.
AbordagemparaAvaliaoeDeterminao(AdaptadodeHowes,1992apudRocche,2000)
1950
1960
1970
1980
1990
Modernizao Participao Participao Aumentada
EIA
SIA
CBA
LFA
SIA
SIA & EIA ?
Anlise de
Impacto
Anlise de
Impacto
Anlise de
Impacto
LFA
LFA
EIA
RRA
RRA
PPA
ZOOP
ZOOP
Avaliao do
Desenvolvimento Social
Quarta
Gerao
PRA
Sntese
Auto
Avaliao
Legenda
Mtodos de planejamento
ou determinao
Mtodos retrospectivos
ou de avaliao
1950
1960
1970
1980
1990
Modernizao Participao Participao Aumentada
EIA
SIA
CBA
LFA
SIA
SIA & EIA ?
Anlise de
Impacto
Anlise de
Impacto
Anlise de
Impacto
LFA
LFA
EIA
RRA
RRA
PPA
ZOOP
ZOOP
Avaliao do
Desenvolvimento Social
Quarta
Gerao
PRA
Sntese
Auto
Avaliao
1950
1960
1970
1980
1990
Modernizao Participao Participao Aumentada
EIA
SIA
CBA
LFA
SIA
SIA & EIA ?
Anlise de
Impacto
Anlise de
Impacto
Anlise de
Impacto
LFA
LFA
EIA
RRA
RRA
PPA
ZOOP
ZOOP
Avaliao do
Desenvolvimento Social
Quarta
Gerao
PRA
Sntese
Auto
Avaliao
Legenda
Mtodos de planejamento
ou determinao
Mtodos retrospectivos
ou de avaliao
Nadcadade1970,surgeumanovaabordagem,quetentaestabelecerumahierarquiados
insumos, atividades e objetivos, relacionando estas com as suposies feitas a respeito do
ambienteexterno.Essaabordagem,denominadaanlisedomarcolgico(logicalframework
analysis LFA) e suas variantes so a estrutura de planejamento mais comum usada
atualmente.
31
Na dcada de 1980 comeam a surgir abordagens participativas de avaliao de impacto,
ondeaspessoasecomunidadessosujeitosativosenoapenasobjetosdaavaliao.Entre
essasabordagensestoaavaliaoruralrpida(rapidruralappraisalRRA),pesquisacom
ao participativa (participatory action research PAR), avaliao rural participativa
(participatory rural appraisal PRA) denominada atualmente ao e aprendizado
participativos(participatorylearningandactionPLA),entreoutros.Issolevaaosurgimento
de esforos para se sintetizar os diferentes resultados. Nesse sentido, surge o projeto
orientado pelos objetivos (ZOPP), que buscava introduzir noes de participao na
abordagemdomarcolgico.
Outrasabordagens,levandoemcontaaavaliaododesenvolvimentosocialeasidiasda
quarta gerao vem a avaliao como uma negociao das diferentes opinies e
perspectivas. Essas abordagens buscam compreender as opinies dos vrios grupos de
interesse, especialmente aqueles cujos pontos de vista no so normalmente levados em
conta. Mais recentemente, as estratgias de avaliao comearam a levar em conta as
avaliaes participativas da pobreza (participatory poverty assessments PPA), procurando
incorporar as perspectivas locais e as opinies pela incluso de mtodos de pesquisa
participativa.
4.2.ORIENTAESPARAADEFINIODORESULTADO/IMPACTO
Existem dois erros comuns na determinao do que resultado concreto para uma
organizao:temeridadeeexagero.Atemeridadesignificasubestimaraspossibilidadesda
organizao, mirando em objetivos para os quais fcil conseguir recursos ou resultados.
J o exagero consiste em superestimar os objetivos a serem alcanados, esquecendose do
quepossveloudosrecursosexistentesparadeterminadaao.
Quandoosexecutivosdeumainstituiosemfinslucrativoscomeama
definir o desempenho que torna operacional a misso da mesma,
32
precisam resistir a duas tentaes comuns. Em primeiro lugar:
temeridade.muitofcildizerqueacausatudoequeseaspessoasno
querem apiala, pior para elas. Desempenho significa concentrar os
recursos disponveis onde esto os resultados. No significa fazer
promessasquenopodemsercumpridas.
Mas o oposto tambm perigoso buscar resultados fceis ao invs
daquelas que promovem a misso. Evite o excesso de nfase nas coisas
para as quais a instituio pode conseguir dinheiro com facilidade. As
universidades, por exemplo, freqentemente esto sob grande presso
para aceitar dinheiro para uma ctedra que, para a administrao e o
corpodocente,prejudicaamissodaescola.(Drucker,1997,p.80).
4.3.MTODOSDEAVALIAODEIMPACTO
4.3.1.Oxfam
Roche (2000, p. 57) apresenta as orientaes seguidas pela Oxfam uma confederao de
organizaes com projetos de combate a pobreza em mais de 100 pases em seus
processosdeavaliaodeimpacto.
Segundo aautora,a avaliao de impacto deve ser feita em todo o ciclo de projeto, sendo
queemcadaumadasfasesmudaofocodaavaliao.AFigura4.3apresentaasdiferentes
caractersticasdaavaliaoparacadapartedociclodoprojeto.
Umaparteimportantedoprocessodeavaliao,aindasegundoopropostoporRocche,so
asetapaspreparatrias.Napreparaodoprocessoquesedefinemasquestesprincipais
que iro orientar todo o trabalho posterior. Essas etapas preparatrias levam em conta o
seguinte:
DefiniodoobjetivodaavaliaodeimpactoSegundoRoccheumponto
que parece bvio, mas geralmente negligenciado. O ponto principal que
quantomaioronmerodepessoasenvolvidasnoprojetoouprograma,maior
apossibilidadedetensoentreelas.Oesclarecimentodasexpectativaseoque
33
diferentes grupos de interesse interpretam como impacto podem auxiliar a
criarumacompreensopartilhadadoprocesso.
Figura4.3.
ElementosChavedaAvaliaodeImpactoemEtapasEspecficasdoCiclodeProjeto(Rocche,2000)
Reviso ou Avaliao
Pode ser feito durante o pr ojeto, no seu
tr mino, ou vrios anos depois.
Ger almente envolve r ever a eficcia, a
eficincia e o impacto do pr ojeto,
estr utur ado sobr e dados pr eliminar es,
coletados no incio, bem como
monitor ar os dados coletados no
decorr er da implementao
Identificao e Elaborao
Envolve a anlise inicial da
situao, das mudanas
passadas e pr ovavelmente
futur as nas vidas das pessoas,
e uma avaliao de impacto
esper ado de qualquer
inter veno pr oposta. Pode
levar ao estabelecimento de
dados pr eliminares e
indicador es de impacto contra
que futur a mudana pode ser
avaliada.
Avaliao Preliminar
Em ger al envolve uma
r eviso detalhada da
ex eqibilidade,
eficcia, custos,
benefcios e o impacto
do pr ojeto pr oposto.
Implementao
No decorr er do pr ojeto, a coleta e a
anlise ou monitor amento das
infor maes so r ealizadas para
ajudar no desenvolvimento do
pr ojeto, mas tambm para per mitir
que o impacto seja avaliado com o
decorr er do tempo. Envolve r ever os
dados e indicador es pr eliminar es,
bem como olhar adiante para o
futur o impacto.
Pode significar ter que descar tar
indicador es existentes e incor porar
outr os novos. Momentos especficos
de r eflex o e r eviso nor malmente
r equer em que se baseiem em planos
de implementao, par ticular mente
no tr mino das etapas especficas.
Reviso ou Avaliao
Pode ser feito durante o pr ojeto, no seu
tr mino, ou vrios anos depois.
Ger almente envolve r ever a eficcia, a
eficincia e o impacto do pr ojeto,
estr utur ado sobr e dados pr eliminar es,
coletados no incio, bem como
monitor ar os dados coletados no
decorr er da implementao
Identificao e Elaborao
Envolve a anlise inicial da
situao, das mudanas
passadas e pr ovavelmente
futur as nas vidas das pessoas,
e uma avaliao de impacto
esper ado de qualquer
inter veno pr oposta. Pode
levar ao estabelecimento de
dados pr eliminares e
indicador es de impacto contra
que futur a mudana pode ser
avaliada.
Avaliao Preliminar
Em ger al envolve uma
r eviso detalhada da
ex eqibilidade,
eficcia, custos,
benefcios e o impacto
do pr ojeto pr oposto.
Implementao
No decorr er do pr ojeto, a coleta e a
anlise ou monitor amento das
infor maes so r ealizadas para
ajudar no desenvolvimento do
pr ojeto, mas tambm para per mitir
que o impacto seja avaliado com o
decorr er do tempo. Envolve r ever os
dados e indicador es pr eliminar es,
bem como olhar adiante para o
futur o impacto.
Pode significar ter que descar tar
indicador es existentes e incor porar
outr os novos. Momentos especficos
de r eflex o e r eviso nor malmente
r equer em que se baseiem em planos
de implementao, par ticular mente
no tr mino das etapas especficas.
4.3.1.2.PropriedadesdosIndicadores
Rocche apresenta dois tipos diferentes de propriedades que os indicadores devem ter,
como tipos diferentes de indicadores. Esses dois tipos so descritos pelas siglas SMART e
SPICED. SMART significa Especfico, Mensurvel, Atingvel, Relevante e Comprometido
comoTempo:
EspecficoDevemrefletiroqueoprojetopretendemudar,evitando
asmedidasqueestomuitosujeitassinflunciasexternas;
Mensurvel(semserambguo)Devemestardefinidosdemodoaque
sua medio e interpretao no deixem margem dvidas,
proporcionando dados coletivos, independentemente de quem os
colete;
37
Atingvel e sensvel Devem ser viveis, portanto sensveis s
mudanasqueoprojetoprope;
RelevanteefcildecoletarOsindicadoresnopodemserdifceisde
coletar,dentrodeprazosecustosrazoveis;
Comprometidos com o tempo Devem determinar para quando est
previstaumacertamudana.
Estetipodeindicadorobjetivoedireto,pormnodmargemaqueseanalisemoutros
impactos, como o descrito pelo Dilema do Indicador apresentado anteriormente. O outro
tipodeindicadortentacomplementaressaviso.SPICEDsignificaSubjetivo,Participativo,
Interpretados e comunicveis, Checados de modo cruzado e comparados, Empoderante,
Diversoedesagregado:
SubjetivoOsinformantestmumaespecialposioouexperincia
que lhes atribuem percepes mpares que podem render um
retorno muito alto no tempo do investigador. Nesse sentido, o que
poderia ser visto por outrem como anedtico, tornase dado
importanteporcausadovalordafonte.
Participativo Os indicadores deve contar com a participao
daquelesmaisbemcolocadosparaavalialos.Porexemplo,devese
incluirnessadefinioosbeneficiriosltimosdoprojeto.
Interpretados e comunicveis Os indicadores definidos localmente
podem no significar muito para outras partes interessadas, de
formaquedevemserexplicados.
ChecadosdemodocruzadoecomparadosAvalidadedaavaliaodeve
ser checada, usandose mtodos, informantes e pesquisadores
diferentes.
38
Empoderantes Os indicadores devem propiciar uma reflexo a
respeito do processo de mudanas, sendo empoderante por si
prprio.
Diverso e desagregado Devese buscar continuamente novos
indicadores e grupos onde avaliar, e essas informaes devem ser
registradasparaaavaliaoaolongodotempo.
4.3.2.CostBenefitAnalysis
AanlisedecustobenefciosurgiunoinciodosculoXXcomoumauxiliadornatomada
dedecisesporpartedogoverno.Suaprimeiraaplicaoconhecidafoiduranteosanos30,
seexpandindoesendoutilizadapelaInglaterraeoutrasnaesocidentaisnosanos60.Sua
versatilidade permitiu a anlise de projetos to diferentes como projetos de fornecimento
de gua, projetos de transporte, programas educacionais, polticas de sade e nutrio da
populaoeprojetosambientais.(FuguitteWilcox,1999)
4.3.2.1.Definies
SegundoFuguitteWilcox(1999,p.35),aanlisedecustobenefcioumaabordagemtil
na anlise de quais decises que utilizam recursos escassos promovem eficincia.
Considerando uma poltica especfica e as alternativas relevantes, a anlise envolve a
identificaosistemticadasconseqnciasdetalpoltica,acompanhadadavaloraodos
benefciosecustossociais,almdaaplicaodocritriodedecisoapropriado.
Dentrodestadefinio,podemosdestacartrspontosprincipais:
1. A analise de custobenefcio uma ferramenta, um meio pelo qual o decisor
podeatuarracionalmente;
39
2. Aanlisedecustobenefcioavaliaaeficincianousodosrecursos,sendoque
isso caracterizado, no setor pblico, pelo aumento do bemestar da
sociedade.
3. A anlise de custobenefcio no o mesmo que contabilizar o valor dos
recursos e ver o quanto foi gasto em alguma poltica em especial. Na
realidade, o conceito central na anlise o valor social das polticas e
recursos,segundoopontodevistadetodososindivduosdasociedade.
4.3.2.2.Possveisobjetivosaseremperseguidos
Dentro do contexto do setor pblico, existem alguns possveis objetivos para uma dada
polticaouprogramaparaasociedade,quesobastantedistintosdosquenorteiamaao
privada.FuguitteWilcox(1999,p.3842),elencamosseguintespossveisobjetivos:
Eficincia No fim do sculo XIX, Pareto j nosapresentava um conceitode
eficincia. Segundo este conceito, uma poltica qualquer ser superior (ou
mais eficiente) se conseguir aumentar os ganhos sociais sem prejudicar
ningum,oucompensandoosprejudicados.Essadefinionoeratotalmente
adequada,umavezqueraraumapolticaquenoprejudiquealgumgrupoe
as compensaes que existem no so automticas. Assim, uma nova
definiofoidesenvolvidaechegouseaochamadocritriodeKaldorHicks,
quedizqueaeficinciaestsendoatingidaquandoalgumapolticageramais
benefcios que custos, no importando quem recebe os benefcios, quem
suportaoscustoseseosprejudicadossorecompensados.
Diminuio da desigualdade (distributional equity) O critrio da eficincia
no diz nada a respeito da igualdade de uma sociedade. Uma poltica
qualquer, dita eficiente, pode trazer benefcios para apenas parte da
sociedade,aumentandosuadesigualdade.Noentanto,osefeitosdistributivos
de qualquer poltica no podem ser ignorados pelos tomadores de deciso,
40
sendo que o objetivo de alguma poltica pode no ser necessariamente a
eficincianousodosrecursos,massimapromoodaeqidade.
Sustentabilidade O conceito de sustentabilidade no unnime entre os
estudiosos, mas normalmente associado com os impactos de determinada
poltica para as geraes futuras. Assim, uma poltica dita sustentvel
quando no impacta negativamente nas geraes futuras. Um exemplo seria
uma poltica de desenvolvimento da Amaznia que inclusse a
industrializao macia da rea florestal. Essa poltica poderia muito bem
atender aos anseios da populao local, diminuindo a desigualdade. Porm
no promoveria a sustentabilidade, uma vez que a destruio da reserva
naturalcertamenteprejudicariaasociedadefutura.
DireitoshumanosExistemdoistiposdecritriospossveisnomomentode
analisaralgumapolticaemparticular.Oprincpiodeontolgicoenfatizaodever
ticodoadministradorpblicodeprotegerosdireitoshumanos.Assim,uma
poltica que possa causar qualquer malefcio a algum indivduo deve ser
evitada. A tica ulititarista base da anlise de custobenefcio afirma ao
contrrioqueoquecertooqueirmaximizaroquebom(BeatleyapudFuguitt
eWilcox1999,p.41),noimportandosecausaalgumprejuzoaalgumneste
processo. A idia que, desde que no cmputo geral a sociedade saia
ganhando,qualquercoisapermitida.Estesdoiscritriosoferecemdiferentes
respostas para os problemas de escolha. Por exemplo, se todos os seres
humanostemdireitoarespirararpuro,polticadepoluiozerodevemser
permitidas. Uma anlise segundo o critrio utilitarista poderia chegar a uma
concluso diferente, priorizando investimentos em outras reas que possam
causarumimpactomaissignificativonavidadaspessoas.
Direitos da natureza Este objetivo diz respeito a responsabilidade do ser
humano em relao aos recursos naturais. Apesar de haver algum debate a
41
respeito de se a natureza e seus componentes (animais, pedras, plantas,
ecossistemas)possuemdireitos,otomadordedecisodevelevaremcontaos
custos ambientais na sua anlise, se no por uma perspectiva deontolgica
(onde os humanos tem o dever moral de proteger o ambiente), pelo menos
pelo impacto que determinada poltica pode ter na sustentabilidade e nos
direitoshumanos.
4.3.2.3.Avaliaodasprefernciasindividuais
Os indivduos de uma sociedade possuem diferentes interesses e desejos. Na tomada de
deciso a respeito de polticas pblicas, o decisor deve levar em conta estes interesses e
desejos,detalsorteaidentificarosinteressesdasociedade.Essesinteressesepreferncias
podemserdescritospeloconceitodeutilidade.
Segundo Samuelson e Nordhaus (1993, p. 100), utilidade significa satisfao. Mais
precisamente, a utilidade seria o prazer ou benefcio subjetivo que um indivduo recebe
comoconsumodeumbemouservio.
No entanto, para a tomada de deciso, no necessitamos necessariamente avaliar
absolutamenteautilidadedeumbemouservioumatarefabastantecomplexamassim
avaliarautilidaderelativadedeterminadobemouservioemrelaoaosdemais.
Os economistas rejeitam atualmente a noo de uma utilidade cardinal
quepossaserrelacionadacomoconsumodebensvulgares,comosapatos
ecaf.Defato,podemserdeduzidascurvasdeprocurasemsemencionar
algumavezanoodeutilidade.Paraamodernateoriadeprocura,oque
conta se um consumidorprefere mais certos conjuntos de bens do que
outros, uma abordagem representada em afirmaes do tipo A
prefervelaB.Nonecessriomaisdoqueestautilidadeordinalpara
fundamentaraspropriedadesgeraisdascurvasdeprocura(Samuelsone
Nordhaus,1993,p.102)
42
Aanlisedecustobenefciodeveconsideraraavaliaodautilidadedaspolticaspblicas
paraosindivduosdasociedade.ConformecolocaFuguitteWilcox(1999,p.43),aanlisede
custobenefcio presume, portanto, que as preferncias expressas no mercado podem oferecer dados
valiososparaamensuraodosvaloressociais.
Tal afirmao, no entanto, no isenta de crticas. Segundo alguns especialistas, as
prefernciasdemonstradasnaseleiesofereceminformaesmuitomaisapropriadaspara
odecisorpblico,distinguindodessaformaafiguradoconsumidoredocidado.Fuguitte
Wincox,resolvemaquesto,apontandoqueasprefernciasindividuais,independentementese
expressas economicamente ou politicamente, podem fornecer informaes de relevncia para a
tomadadedecisopblica.
O uso do conceito de utilidade na anlise de custobenefcio implica na aceitao de duas
premissasbsicas:
Asoberaniadoconsumidorouindivduooindivduosabeoquemelhor
para ele, ou seja, o valor de todos os indivduos da sociedade deve ser
considerado,aoinvsdeumgruporestritodeespecialistasoudeumaelitena
sociedade.
A distribuio de renda dada This is similar to the consumer in the market
whodeterminestheamountheorsheiswillingtopayforaparticulargoodwithinthe
constraint of available household income. Since individuals have different income
constraints,theyhavedifferentabilitiestopay.Thus,theanalysisineffectacceptsthe
existingincomedistributionasgiven.(FuguitteWilcox,1999,p.45)
43
4.4.QUESTODOMBITODOPROJETO
Mullen e Dumpson (1976, p.11) afirmam que todos os projetos podem ser classificados
segundoseumbitodeatuao.Pormbitodeatuao,entendesequalaextensodaao
social na sociedade como um todo. Assim, so trs os sistemas que os projetos sociais
podemcontemplar:
Microsistema Os problemas de um microsistema dizem respeito a um
indivduooupequenosgrupos,comofamlias.
Mezzosistema Os mezzosistemas so determinados so apenas seres
humanos em sua individualidade, mas sim as relaes entre eles em um
sistema social. Assim, o mezzosistema encontrado na realidade como uma
vizinhanaouumacomunidade,maisdoqueumafamlia.
MacrosistemaOsmacrosistemasdizemrespeitoaumagrandecomunidade,
formada por grupos individuais, espalhada por uma grande extenso
territorial.Nessecasotemosporexemploumpas,ouumestado.
44
Captulo5
MedindooResultadoSocial
Comoapresentado,notarefasimplesrealizaraavaliaodoresultadoouimpactosocial
de qualquer projeto. Quando se entra no universo das entidades filantrpicas, que
financiam outros projetos de outras organizaes, a questo se torna ainda mais aguda.
Como decidir a respeito de quais projetos so os que merecem mais recursos? E como
avaliar se os diferentes projetos, com diferentes objetos e meios de ao esto cumprindo
seuobjetivosocialacontentoeacontentodequemfinancia.
Como foi visto, o problema central de no se conseguir avaliar com clareza o resultado
entre projetos diferentes reside no fato de que no h uma medida nica de resultado,
como no setor privado: o lucro. Uma medida de benefcio social, como um lucro social
ouimpactosocial,quepudessesermedidonasaesdediferentesprojetosserviriapara
essepropsito.
Este captulo se prope a discutir essas questes, propondo uma forma de se analisar os
projetos segundo uma tica de indicador nico. Primeiramente, sero apresentados os
benefcios e justificativas para um trabalho nessa direo. Segundamente, ser discutida a
formapelaqualsedariaessamedio,comalgunsdetalhesarespeitodesuaaplicao.
45
5.1.BENEFCIOSDEUMAMEDIDADEIMPACTOSOCIAL
Como visto, as organizaes do Terceiro Setor possuem compromissos com uma srie de
agentes. Esses agentes possuem maior ou menor grau de influncia em relao s
atividadesdaorganizao,mastodosdemandaminformaoarespeitodesuasatividades.
Issosetornaclaroquandoseobservaquetodaaatividadesocialdependeemgrandeparte
damotivaodaspessoasemconstruirummundomelhor,umasociedademaisjustaetc.
EntreosbenefciosdeumamedidadeImpactoSocialestoosseguintes:
Comparabilidade
Objetividade
Um dos benefcios mais evidentes de um indicador nico de resultado social tornar
comparveis projetos diferentes, em diferentes reas. A pergunta que esse indicador
respondecomoumprojetocontribuidentrodoconjuntodeprojetosparaapromoodo
bemestarsocial.
Dessa forma, seria possvel comparar os resultados de um projeto de educao a adultos
com outro de cuidados a idosos. sabido que ambos projetos seriam teis a qualquer
sociedade, em maior ou menor grau. Quo teis so esses projetos para a sociedade a
questonorespondida.
Quando colocamos essa discusso dentro do contexto de organizaes filantrpicas e
voluntrios, a contribuio de um indicador nico clara. Os financiadores tero uma
forma de decidir razoavelmente por um ou outro projeto apresentado, enquanto as
organizaes que possuem uma contribuio efetiva para a sociedade teriam facilitada a
tarefadedemonstraloaosmesmosfinanciadores.
46
Mesmo quando consideramos a questo do voluntariado, fica simples pensar que para as
organizaestornasemaissimplesatarefadeatrairvoluntrios,apartirdademonstrao
dautilidadeeimpactodesuasaessociedade.
Outrobenefcioligadoaumindicadornicodizrespeitoaoestabelecimentodeobjetivose
metas. Uma medida nica permite ao gestor da organizao ter uma forma simples de
avaliar o desempenho da sua organizao no cumprimento de seus objetivos sociais. Essa
objetividade de uma medida de Impacto Social possui impactos interessantes na
administraodasorganizaesdoTerceiroSetor.
Em primeiro lugar, na gesto dos voluntrios. Um dos problemas que se enfrenta
atualmentecomagestodosvoluntriosqueestessopessoasextremamentemotivadas,
porm possuem opinies bastante divergentes entre si. Essa divergncia constante a
respeitodecomomelhorcontribuirparaobjetivossociaisdaorganizaomuitasvezesleva
ineficincia.
Um indicador nico representativo do resultado social pode ser um importante aliado
soluo dessas divergncias, servindo mesmo para a orientao de todos rumo a
consecuo de seus objetivos. Assim, a discusso se daria em torno deste indicador,
culminandocomosvoluntriosconcordandocomumplanodeaoqueimpactedeforma
significativanamedidadeImpactoSocial.Oplanodeaodeumprojetosocialpoderiater
relacionadatodaalistaderelaesdecausaeefeito,ecomocadaaocontribuiriaparao
objetivo final: o Impacto Social. Novos voluntrios poderiam ser introduzidos a
organizao a partir de outro referencial de resultado, mais simples de entender e ser
adotado. Tornase possvel tambm estabelecer metas de crescimento, e observar seu
cumprimento.
47
Alm do uso na orientao do trabalho voluntrio, uma medida de impacto social torna
simples a prestao de contas das organizaes sociedade, no que diz respeito a seus
objetivosestatutrios.Tornasepossvelcriarumpadrodeanlisequeservisseatodasas
organizaes,facilitando,porexemplo,opapeldevelamentodoEstadojuntofundaes.
5.2.CARACTERSTICASDOPROCESSODEMEDIDADOIMPACTOSOCIAL
Para ser implantado com sucesso, um mtodo de medida de impacto social necessita ter
algumascaractersticasimportantes.Essascaractersticassoasseguintes:
Facilidade de implantao e operacional O projeto no pode ser
excessivamente complicado de se implementar. O Terceiro Setor composto,
em grande parte, por organizaes de pequenomdio porte, sem recursos
abundantes para investir em avaliao. Essas organizaes no teriam como
implantarumsistemacomplicadodeavaliarsuasatividades.
CustodeimplantaoDamesmaforma,oscustosassociadosaessemtodo
de avaliao no podem ser to altos quanto para essas pequenas
organizaesdesistiremdeimplementarla.
Validade temporal Para que seja realmente relevantes, as medidas do
resultado e as pesquisas necessrias para sua implantao devem continuar
vlidas por longos perodos de tempo. Alm disso, o desempenho de
determinadoprojetodeveserpassveldeanliseaolongodotempo.
5.3.MENSURANDOOIMPACTOSOCIAL
Achaveparaessarespostaestembuscaroquehdeigualnosdiferentesprojetos.Neste
caso, possvel afirmar sem grandes receios que todos os projetos sociais, por definio,
buscamaumentardealgumaformaobemestardasociedadecomoumtodo.
48
Mesmo levando em conta que grande parte dos projetos atende s demandas de uma
pequenacoletividade,osidealizadoresdoprojetoeseusexecutoresbuscamsimplesmente
cumprirsuapartedentrodasociedade.Nopodendoatingirsociedadecomoumtodoao
mesmotempo,osprojetossefocamempequenascoletividades,seencaixandobemoumal
paraaumentarobemestardasociedadecomoumtodo.
Assim, a questo se reduz a medir a variao do bemestar social nos diferentes projetos.
Pormistonotornaoproblemamuitomaissimples.Afinaldecontas,obemestarsocial
noumconceitoconcreto,passveldesermedidocomosecontaolucrodeumaempresa.
Nesteponto,necessriorecorreraosconceitosapresentadosquandoapresentadaaanlise
decustobenefcio,nocaptulo04.Paraaanlisedecustobenefcionecessriosuporqueo
consumidor ou indivduo soberano, e saber decidiro que melhor para simesmo e para a
sociedade.
Portanto, para se avaliar os resultados de um projeto social, de forma que sejam
comparveis os projetos, basta deixar que a sociedade escolha entre os benefcios trazidos
pelos projetos, dizendo ao mesmo tempo qu benefcios considera mais importantes. Na
prtica, avaliase a utilidade relativa de cada um dos vrios benefcios possveis para um
projeto social. A partir dessa utilidade, criase um padro de referncias, aplicvel aos
projetossociaisconduzidosnaquelasociedade,quetrarobenefcioqueasociedadevem
cadaumdeseusprojetos.
5.3.1.UsandoIndicadoresparaMensuraroImpactoSocial
Paraseperguntarsociedadequaisbenefciossomaisteisemproporcionaroaumento
do bemestar social, necessrio ter muito claro quais as contribuies efetivas dos
projetos.
49
Assim, pararea de atuao devem ser definidosindicadoresde impacto,atravs de uma
pesquisa ampla com as organizaes, buscando um padro de referncias de indicadores.
Tais indicadores podero ser classificados como prope Rocche (2000), em medidas de
riquezapessoal,bemestarsocialebemestareconmico.
Sero estes indicadores que sero valorados e escolhidos pela sociedade. Tais indicadores
devem possuir as caractersticas descritas como SMART, ou seja, Especfico, Mensurvel,
Atingvel, Relevante e Comprometido com o Tempo. Como veremos, este um aspecto
importanteparaaaplicaodametodologiadepesquisaqueserproposta.
5.3.2.UnindoosIndicadoresAtravsdaAnliseConjunta
A anlise conjunta um mtodo de pesquisa usado normalmente para se avaliar a
importnciaqueoconsumidordadiferentesatributosdeumproduto.Hairetal(1995,p.
560) a define como uma tcnica multivariada [de anlise] usada especificamente para entender
como os respondentes desenvolvem preferncias por produtos ou servios. baseada na simples
premissaqueconsumidoresavaliamovalorouutilidadedeumproduto,servioouidiacombinando
asquantidadesdeutilidadesproporcionadasporcadaatributoemseparado.
No contexto da mensurao do resultado social, a anlise conjunta seria utilizada para se
obterautilidadequeasociedadedaosindicadorespesquisadosporrea,emumasriede
pesquisas. Essa utilidade medida por indicador seria utilizada posteriormente para se
avaliaroresultadodosprojetossociais,noqueserefereutilidadeparaasociedade.
5.4.ANLISECONJUNTA
A pesquisa de Anlise Conjunta se baseia em um conjunto de estmulos em cartes ou
outrasformas,cadaumcomumasriedefatores.Solicitaseaoentrevistadoqueordeneos
50
cartes segundo sua preferncia pessoal. A partir dessa ordenao se calcula a utilidade
relativadecadaumdosfatoresparaoentrevistado.
A Figura 0.1 apresenta o processo de elaborao de uma pesquisa de anlise conjunta. Os
principaispassosaseremseguidossoosseguintes:
Definir os objetivos da Anlise Conjunta Definir os objetivos da
pesquisa, definir que aspectos da utilidade do produto / servio /
idiaseroconsiderados;
Elaborar o instrumento de pesquisa Escolher os fatores e nveis,
desenhar os estmulos, especificar o modelo bsico de composio,
definiraformadeapresentao,aplicaodasentrevistas.
SuposiesdaAnliseConjuntaAvaliarquesuposiesarespeito
de como o indivduo tomaria decises a respeito de que projetos
financiarouparticiparforamfeitasnodesenhodosestmulos.
Estimar o Modelo Desenvolver um modelo para prever a deciso
queoindivduotomariacomrespeitosalternativasdeprojeto.
51
Figura5.1.
ProcessodeDecisodaAnliseConjunta(Hairetal,1995,p.566)
Problema de Pesquisa
Quais so os elementos da
utilidade que sero levados em
conta? Quais so as decises
chave?
Perfil
Completo
Desenhar Estmulos
Selecionar os fatores e nveis
Desenhar Estmulos
Selecionar o modelo bsico:
aditivo ou interativo
Coleta de Dados
Escolher a forma de
apresentao
Matriz de
Trade-Off
Comparao
de Pares
Coleta de Dados
Criando os estmulos
Desenho
Fatorial
Desenho
Fatorial
Fracionrio
A
Coleta de Dados
Escolher forma de medida
(ordenao vs avaliao)
Coleta de Dados
Escolher forma de pesquisa
Pressupostos
Selecionar uma
Tcnica de
Estimao
Avaliar os
Resultados
Interpretar os
Resultados
Validar os
Resultados
Aplicar os
Resultados
A
Problema de Pesquisa
Quais so os elementos da
utilidade que sero levados em
conta? Quais so as decises
chave?
Perfil
Completo
Desenhar Estmulos
Selecionar os fatores e nveis
Desenhar Estmulos
Selecionar o modelo bsico:
aditivo ou interativo
Coleta de Dados
Escolher a forma de
apresentao
Matriz de
Trade-Off
Comparao
de Pares
Coleta de Dados
Criando os estmulos
Desenho
Fatorial
Desenho
Fatorial
Fracionrio
A
Coleta de Dados
Escolher forma de medida
(ordenao vs avaliao)
Coleta de Dados
Escolher forma de pesquisa
Pressupostos
Selecionar uma
Tcnica de
Estimao
Avaliar os
Resultados
Interpretar os
Resultados
Validar os
Resultados
Aplicar os
Resultados
A
A partir dos resultados obtidos pela Anlise Conjunta, possvel que se obtenha grupos
homogneosdepessoas,quevalorizamdemaneirasemelhanteosindicadoressociais.Por
exemplo, possvel que se obtenha um grupo que d maior nfase ao desenvolvimento,
valorandomaisosindicadoresrelacionadoscomaeducao,enquantooutrosvalorizariam
aassistnciasocial,valorandomaisosindicadoresrelacionadoscomocombatefome.
Casoseidentifiquemgruposassim,sedevedesenvolverduasmedidasderesultadosocial,
associado ao perfil desses grupos. Assim, o investidor social dever escolher, a partir de
suas prprias crenas, que perfil o seu, e utilizalo para avaliar os projetos que lhe so
apresentados.
5.5.UTILIZANDOOSRESULTADOSDAANLISECONJUNTA
O resultado final de uma anlise conjunta os valores das utilidades atribudas pelos
entrevistadosaosindicadorespesquisados.Soessesvaloresquepodemserutilizadospara
semediroresultadosocialdeumprojeto.
55
O conceito por trs dessa idia bastante simples: sero melhores e oferecero maior
resultadosocialaquelesprojetosquemelhoremmaisosindicadoresmaisvalorizadospela
sociedade ou grupo. Com as utilidades parciais se podem estabelecer padres de medida
para os projetos. Alm disso, se podem agrupar dados semelhantes, formando com isso
medidasdiferentesdeacordocomosperfisdescobertos.
Esses padres podem ser utilizados igualmente como critrio de escolha de projetos, ou
como meio para se calcular a eficincia das organizaes em promover o bemestar,
segundo a opinio da sociedade ou grupo. A metodologia detalhada apresentada junto
comumexemplo,noprximocaptulo.
56
Captulo6
ExemplodeAplicaodoMtodo
Estecaptulopretendeexemplificaromtodoapresentadonocaptuloanterior,atravsde
um exerccio hipottico. Limitaes de tempo e recursos tornaram impossvel realizar a
pesquisa demaneira apropriada, de forma os resultados que seroapresentados possuem
apenasefeitoilustrativo.
Para tanto, foi realizado um nmero limitado de entrevistas (28 pessoas), onde o
entrevistadoeraopinadoaopinararespeitodeprojetosligadoseducao.Osresultados
das entrevistas embasaram uma srie de anlises. No caso, sero abordados dois usos
possveisdasinformaescoletadasnaanliseconjunta.
No primeiro exemplo, uma instituio financiadora estaria querendo escolher entre dois
projetos, o primeiro deles teria foco na reduo no uso de drogas e no aumento da
freqncia escolar, por parte dos jovens de determinada comunidade, atravs de
campanhas de conscientizao e aes diretas; enquanto o segundo projeto estaria focado
noaproveitamentoescolar,atravsdeaulasdereforoedoincentivofreqnciaescolar.
Figura6.1.
Projetosaseremescolhidos
Projeto 1 Projeto 2
Porcentagem de crianas da
comunidade na escola
90% das
crianas
80% das
crianas
Mdia de anos de defasagem
idade x srie
Diminuio
de 30%
Sem impacto
significativo
Nmero de casos de uso de
drogas reportado
Sem impacto
significativo
Reduo de
40%
57
Osegundoexemplo,ainstituiofinanciadorateriaescolhidofinanciarosdoisprojetos,se
bemquecomumvolumederecursosdistinto.Oobjetivodasegundaanlise,apartirdos
resultados efetivamente alcanados pelas duas ONGs e dado o valor financiado, calcular
qualdosdoisprojetosfoimaisefetivonoatendimentodasdemandassociais.
Figura6.2.
Resultadoefetivoobtidopelosprojetos
Projeto 1 Projeto 2
Porcentagem de crianas da
comunidade na escola
92% das
crianas
80% das
crianas
Mdia de anos de defasagem
idade x srie
Diminuio
de 40%
Diminuio
de 15%
Nmero de casos de uso de
drogas reportado
Sem impacto
significativo
Reduo de
40%
Custo dos Projetos 100.000 75.000
6.1.REALIZAODAPESQUISA
Para a pesquisa de exemplo, foi escolhido o modelo aditivo para a Anlise Conjunta, e a
apresentao dos perfis completos. Os fatores escolhidos esto relacionados com o
problema apresentado anteriormente. Portanto, foram escolhidos trs fatores, com trs
nveiscada,daseguinteforma:
Porcentagem de crianas da comunidade na escola significa o nmero
crianas efetivamente freqentando a escola da comunidade, sem fazer
refernciaaorealaproveitamentodela.Foramescolhidostrsnveis:80%,90%e
95%.
Mdiadeanosdedefasagemidadexsriesignificaonmerodeanosque,
em mdia, as crianas da comunidade se encontram defasadas em relao ao
que seria considerado ideal para cada idade. Foram escolhidos trs nveis:
Diminuiode10%,30%ou30%.
58
Nmero de casos de uso de drogas reportado significa o nmero de casos
de uso de drogas observado por pais, professores etc, entre as crianas da
comunidade.Foramescolhidostrsnveis:Reduode15%,20%e40%.
A partir desses fatores e nveis, foram elaborados 9 estmulos, que foram utilizados nas
entrevistas, alm de um instrumento de pesquisa. Os estmulos e o instrumento de
pesquisapodemserencontradosnosAnexos.
No houve nenhuma preocupao na formao da amostra. Os candidatos foram
escolhidos aleatoriamente principalmente entre alunos da Universidade de So Paulo,
entreosdias3e4dedezembrode2002.
6.2.RESULTADOSDOEXEMPLO
A partir dos dados coletados pela pesquisa, foram calculadas as seguintes informaes,
conformemetodologiaapresentadaporMalhotra(1999,p.558):
Autilidadeparcialdecadafatorparacadaumdosrespondentes,utilizando
se para isso regresses mltiplas a partir de variveis dummy, alm da
importncia relativa de cada fator correspondente a cada entrevistado. Esses
resultadossoapresentadosnaFigura6.3.
Autilidadeparcialdecadafatorparaaamostracomoumtodo,edamesma
formaqueoanterior,aimportnciarelativadecadafatorparaoconjuntode
respostas.EssesresultadossoapresentadosnaFigura6.4.
Em seguida, os respondentes foram agrupados em dois grupos homogneos,
coincidentemente com 14 respondentes cada, segundo o mtodo de aglomerao
hierrquica de Ward, onde se deve minimizar o quadrado da distncia euclidiana s
59
mdias dos conglomerados. Esse mtodo descrito por Malhotra (1999, p. 531), e
apresentadocomoummtodosuperiorentreosmtodoshierrquicos.
A partir dos dois grupos, foram calculados da mesma forma a utilidade
parcialparacadafatoreaimportnciarelativaacadafatorparacadagrupo.
Por fim, foram normalizadas as utilidades parciais de cada fator para a
amostracomoumtodoeparacadagrupo.Asutilidadesforamnormalizadas
atribuindosevalor0aomenornveldecadafator,eovalorcorrespondente
importncia relativa do fator para o maior nvel. Com isso, a soma das
utilidades dos maiores nveis de cada fator sempre igual a 1. Esses
resultadospodemserencontradosnaFigura6.5.
60
Figura6.3.
ResultadosdaAnliseConjuntaExperimental,paraCadaRespondente
Estimativa de Utilidades Parciais
Crianas Matriculadas Defasagem Idade x Srie Casos de Uso de Drogas Importncia Relativa dos Fatores
80% das
crianas
90% das
crianas
95% das
crianas
Diminuir
10%
Diminuir
30%
Diminuir
60%
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
Crianas
matriculadas
Defasagem
idade x srie
Casos de uso de
drogas
Estimativas para Cada Entrevistado
1. (3,000) 1,333 1,667 (1,667) 0,000 1,667 0,000 0,000 0,000 58,3% 41,7% 0,0%
2. 0,333 0,667 (1,000) (3,000) 1,333 1,667 (1,333) 0,333 1,000 19,2% 53,8% 26,9%
3. (0,667) 0,000 0,667 (1,667) 0,000 1,667 (1,667) (1,333) 3,000 14,3% 35,7% 50,0%
4. (3,000) 0,000 3,000 0,000 0,000 0,000 (1,000) 0,000 1,000 75,0% 0,0% 25,0%
5. (1,667) 0,000 1,667 (0,667) 0,000 0,667 (1,667) (1,333) 3,000 35,7% 14,3% 50,0%
6. (0,667) 0,000 0,667 0,000 (1,667) 1,667 (2,333) (0,333) 2,667 13,8% 34,5% 51,7%
7. (1,000) 0,000 1,000 (3,000) 0,000 3,000 0,000 0,000 0,000 25,0% 75,0% 0,0%
8. (3,000) 0,333 2,667 (1,333) 0,000 1,333 0,333 0,000 (0,333) 63,0% 29,6% 7,4%
9. (3,000) 0,000 3,000 (1,000) 0,000 1,000 0,000 0,000 0,000 75,0% 25,0% 0,0%
10. (1,000) 0,000 1,000 0,000 0,000 0,000 (3,000) 0,000 3,000 25,0% 0,0% 75,0%
11. (2,000) (1,000) 3,000 (0,333) 0,333 0,000 (1,667) 0,000 1,667 55,6% 7,4% 37,0%
12. (2,333) (0,333) 2,667 (0,667) 0,000 0,667 (1,333) (0,667) 2,000 51,7% 13,8% 34,5%
13. (0,333) 0,000 0,333 (3,000) 0,000 3,000 (1,000) 0,333 0,667 8,0% 72,0% 20,0%
14. (0,667) 0,000 0,667 (2,333) (0,333) 2,667 (1,333) (0,667) 2,000 13,8% 51,7% 34,5%
15. (2,333) 0,000 2,333 (0,667) 0,333 0,333 (1,333) (1,000) 2,333 50,0% 10,7% 39,3%
16. (1,667) 0,667 1,000 (1,000) 0,000 1,000 (1,667) (1,333) 3,000 28,6% 21,4% 50,0%
17. (0,333) 0,000 0,333 (2,333) 0,000 2,333 (1,000) (1,333) 2,333 7,4% 51,9% 40,7%
18. 0,000 1,000 (1,000) 1,333 1,667 (3,000) (1,000) 1,333 (0,333) 22,2% 51,9% 25,9%
19. (1,000) 0,667 0,333 (0,333) 0,000 0,333 (3,000) 0,000 3,000 20,0% 8,0% 72,0%
20. (1,667) 0,000 1,667 0,000 (0,333) 0,333 (1,667) (1,333) 3,000 38,5% 7,7% 53,8%
21. (3,000) 0,000 3,000 0,000 0,000 0,000 (1,000) 0,000 1,000 75,0% 0,0% 25,0%
22. (3,000) 1,000 2,000 (0,333) 0,667 (0,333) (1,333) (0,333) 1,667 55,6% 11,1% 33,3%
23. (1,333) 0,000 1,333 0,000 0,000 0,000 (2,667) (0,333) 3,000 32,0% 0,0% 68,0%
24. (3,000) 0,000 3,000 0,000 0,000 0,000 (1,000) 0,000 1,000 75,0% 0,0% 25,0%
25. (2,667) 0,667 2,000 (1,333) (0,667) 2,000 (0,333) (0,333) 0,667 51,9% 37,0% 11,1%
26. (3,000) 0,000 3,000 (1,000) 0,000 1,000 0,000 0,000 0,000 75,0% 25,0% 0,0%
27. (1,667) (0,333) 2,000 (1,000) 0,333 0,667 (1,667) (1,000) 2,667 37,9% 17,2% 44,8%
28. (1,000) 0,333 0,667 (3,000) 0,000 3,000 0,000 0,333 (0,333) 20,0% 72,0% 8,0%
61
Figura6.4.
ResultadosdaAnliseConjuntaExperimental,GeraleGrupos
Estimativa de Utilidades Parciais
Crianas Matriculadas Defasagem Idade x Srie Casos de Uso de Drogas Importncia Relativa dos Fatores
80% das
crianas
90% das
crianas
95% das
crianas
Diminuir
10%
Diminuir
30%
Diminuir
60%
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
Crianas
matriculadas
Defasagem
idade x srie
Casos de uso de
drogas
Estimativa Geral dos Resultados
Agg (1,702) 0,179 1,524 (1,012) 0,060 0,952 (1,202) (0,321) 1,524 40,8% 24,8% 34,4%
Estimativa Segundo os Grupos Formados
G1 (2,524) 0,167 2,357 (1,024) 0,048 0,976 (0,619) (0,143) 0,762 59,1% 24,2% 16,7%
G2 (0,881) 0,191 0,691 (1,000) 0,071 0,929 (1,786) (0,500) 2,286 20,8% 25,5% 53,8%
62
Figura6.5.
UtilidadesRelativasdosFatoresNormalizados,GeraleGrupos
Estimativa de Utilidades Parciais
Crianas Matriculadas Defasagem Idade x Srie Casos de Uso de Drogas
80% das
crianas
90% das
crianas
95% das
crianas
Diminuir
10%
Diminuir
30%
Diminuir
60%
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
Utilidades Relativas Normalizadas
Agg 0,000 0,238 0,408 0,000 0,135 0,248 0,000 0,111 0,344
G1 0,000 0,326 0,591 0,000 0,130 0,242 0,000 0,058 0,167
G2 0,000 0,142 0,208 0,000 0,142 0,255 0,000 0,170 0,538
63
6.3.INTERPRETAODOSRESULTADOS
Antesdaefetivaaplicaodosresultadosnosproblemaspropostos,interessanteanalisar
osresultadosporsis.AFigura6.6apresentaosgrficosdasutilidadesrelativasparacada
umdosfatores,detodaaamostraeparacadaumdosgrupos.
Figura6.6.
Grficosdasutilidadesrelativasparacadaumdosfatores,agregadoegrupos
Crianas na escola
(3,000)
(2,000)
(1,000)
0,000
1,000
2,000
3,000
80% das
crianas
90% das
crianas
95% das
crianas
U
t
i
l
i
d
a
d
e
Defasagem idade x srie
(1,500)
(1,000)
(0,500)
0,000
0,500
1,000
1,500
Diminuir
10%
Diminuir
30%
Diminuir
60%
U
t
i
l
i
d
a
d
e
Casos de uso de drogas
(2,000)
(1,000)
0,000
1,000
2,000
3,000
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
U
t
i
l
i
d
a
d
e
Agregado
Grupo 1
Grupo 2
Crianas na escola
(3,000)
(2,000)
(1,000)
0,000
1,000
2,000
3,000
80% das
crianas
90% das
crianas
95% das
crianas
U
t
i
l
i
d
a
d
e
Defasagem idade x srie
(1,500)
(1,000)
(0,500)
0,000
0,500
1,000
1,500
Diminuir
10%
Diminuir
30%
Diminuir
60%
U
t
i
l
i
d
a
d
e
Casos de uso de drogas
(2,000)
(1,000)
0,000
1,000
2,000
3,000
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
U
t
i
l
i
d
a
d
e
Crianas na escola
(3,000)
(2,000)
(1,000)
0,000
1,000
2,000
3,000
80% das
crianas
90% das
crianas
95% das
crianas
U
t
i
l
i
d
a
d
e
Defasagem idade x srie
(1,500)
(1,000)
(0,500)
0,000
0,500
1,000
1,500
Diminuir
10%
Diminuir
30%
Diminuir
60%
U
t
i
l
i
d
a
d
e
Casos de uso de drogas
(2,000)
(1,000)
0,000
1,000
2,000
3,000
Reduo
de 15%
Reduo
de 20%
Reduo
de 40%
U
t
i
l
i
d
a
d
e
Agregado
Grupo 1
Grupo 2
interessante notar que os grficos confirmam a existncia dos dois grupos, um deles
enfatizando com mais fora a presena das crianas na escola e outra enfatizando o
combate aouso das drogas por jovens. Alm disso, confirmase a hiptese que se poderia
fazerdacrescenteutilidadedetodososindicadores,ouseja,quantomaioresmelhorespara
obemestardasociedade,segundoaopiniodosentrevistados.Noentanto,issonouma
64
hiptese generalizvel a qualquer indicador. Para alguns indicadores, possvel que
existampontosideais,porexemplo.
A Figura 6.7 apresenta a importncia relativa atribuda a cada um dos fatores, que ser
utilizadanaaplicaodosresultados.
Figura6.7.
Importnciaatribudaacadaumdosfatores,agregadoegrupos
0,0%
20,0%
40,0%
60,0%
80,0%
Crianas matriculadas Defasagem idade x srie Casos de uso de drogas
I
m
p
o
r
t
n
c
i
a
d
o
s
F
a
t
o
r
e
s
Agregado
Grupo 1
Grupo 2
6.4.APLICAODOSRESULTADOS
6.4.1.EscolhadeProjetos
Aprimeiraaplicaopretendecriarumcritriodeescolhaparadiferentesprojetossociais,
apartirdequeindicadoresasociedadevalorizamais.Noexemplo,osdoisprojetosaserem
analisadospodemserencontradosnaFigura6.1.
O critrio de escolha para os projetos, a partir da pesquisa de Anlise Conjunta, ser
simplesmente o que trouxer maior utilidade para a sociedade. Isso pode ser calculado
65
atravs da soma das utilidades relativas normalizadas, apresentadas na Figura 6.5,
equivalentesacadaprojeto.
importante ressaltar que, como foram encontrados grupos homogneos, na prtica se
obteve duas formas distintas de se medir o resultado social. Essas formas so diferentes
pois so diferentes as crenas subjacentes a elas. Com isso, devese escolher que medida
utilizar, a do Grupo 1 ou do Grupo 2, conforme o que opina quem for tomar a deciso.
Umainstituiofinanciadorapoderia,porexemplo,pesquisarquaisosvaloresvinculados
asuaatuao,eutilizaressainformaoparaorientarsuaescolha.
OclculodasutilidadesparacadagrupopodeserencontradonaFigura6.8.
Figura6.8.
Escolhaentreosprojetos,segundoamedidaagregada,grupo1egrupo2
Indicadores Projeto 1 Projeto 2 Projeto 1 Projeto 2 Projeto 1 Projeto 2 Projeto 1 Projeto 2
Porcentagem de crianas da
comunidade na escola
90% das
crianas
80% das
crianas
0,238 0,000 0,326 0,000 0,142 0,000
Mdia de anos de defasagem
idade x srie
Diminuio
de 30%
Sem impacto
significativo
0,135 0,000 0,130 0,000 0,142 0,000
Nmero de casos de uso de
drogas reportado
Sem impacto
significativo
Reduo de
40%
0,000 0,344 0,000 0,167 0,000 0,538
Utilidade Total do Projeto 0,373 0,344 0,456 0,167 0,284 0,538
Escolha Projeto 1 Projeto 1 Projeto 2
Resultado Pretendido
Utilidades Relativas
Agregado Grupo 2 Grupo 1
6.5.MENSURAODORESULTADO
Nasegundaaplicao,oobjetivodeterminarqualdosdoisprojetosfoimaiseficienteaps
o trmino dos mesmos e considerando o valor investido em cada um, usando os mesmos
critrios pesquisados pela Anlise Conjunta. Os projetos para exemplo que ser discutido
estoapresentadosnaFigura6.2.
Para obter esse resultado, devese utilizar tambm as utilidades relativas normalizadas,
interpolandoosvaloresquandonecessrio.Apesardeainterpolaonoredundaremum
66
resultado exato, ela pode trazer uma boa indicao do que seria a escolha efetiva dos
grupos.Podemserpesquisadasformasalternativasdemensurao,associadasautilizao
deoutrosmodelosquenoolinear.Paraestetrabalho,noentanto,noforampesquisadas
informaesarespeitodasfunesquemelhordescreveriamaescolhaindicadores,como
queserutilizadaainterpolao.
Figura6.9.
MensuraodoResultadodosProjetossegundoasmedidasAgregada,Grupo1eGrupo2
Indicadores Projeto 1 Projeto 2 Projeto 1 Projeto 2 Projeto 1 Projeto 2 Projeto 1 Projeto 2
Porcentagem de crianas da
comunidade na escola
92% das
crianas
80% das
crianas
0,306 0,000 0,432 0,000 0,168 0,000
Mdia de anos de defasagem
idade x srie
Diminuio
de 40%
Diminuio
de 15%
0,173 0,034 0,167 0,033 0,180 0,036
Nmero de casos de uso de
drogas reportado
Sem impacto
significativo
Reduo de
40%
0,000 0,344 0,000 0,167 0,000 0,538
Custo dos Projetos 100.000 75.000
Utilidade Total do Projeto 0,479 0,378 0,599 0,200 0,348 0,574
Relao Utilidade Obtida / Recursos Empreendidos 4.787 5.037 5.993 2.660 3.481 7.647
Projeto mais Eficiente
Resultado Obtido Agregado Grupo 1 Grupo 2
Projeto 2 Projeto 1 Projeto 2
Utilidades Relativas
EstetrabalhodesejacontribuirdeformaefetivaparaofortalecimentodoTerceiroSetorno
Brasil.sabidoqueascondiessociaisdopasestomuitoaqumdoqueseriaidealpara
umanaojusta,pormoautorconsideraqueparaatingiresteobjetivosernecessrioum
esforo longo e constante. O Terceiro Setor um vetor muito importante na articulao
dessa mudana, representando a atuao direta da sociedade organizada nas demandas
dossetoresmaiscarentes.Tratasedeumagranderesponsabilidade,esuagestoeatuao
merecem uma ateno significativa.Em especial, aavaliaodo resultado e a mensurao
do resultado ainda so questes muito pouco debatidas, relativamente ao seu significado.
Assim, melhor avaliadas e com mais informaes a respeito de suas atividades, as
organizaes podero contribuir ainda mais profundamente para as mudanas sociais,
econmicasepolticasdopas.
69
Bibliografia
Anexos
1.EstmulosparaaAplicaodaAnliseConjunta
Porcentagem de crianas da
comunidade na escola
80% das crianas
Porcentagem de crianas da
comunidade na escola
80% das crianas
Porcentagem de crianas da
comunidade na escola
80% das crianas
Mdia de anos de defasagem
idade x srie
Diminuir 10%
Mdia de anos de defasagem
idade x srie
Diminuir 30%
Mdia de anos de defasagem
idade x srie
Diminuir 60%
Nmero de casos de uso de
drogas reportados
Reduo de 15%
Nmero de casos de uso de
drogas reportados
Reduo de 20%
Nmero de casos de uso de
drogas reportados
Reduo de 40%
Porcentagem de crianas da
comunidade na escola
90% das crianas
Porcentagem de crianas da
comunidade na escola
90% das crianas
Porcentagem de crianas da
comunidade na escola
90% das crianas
Mdia de anos de defasagem
idade x srie
Diminuir 10%
Mdia de anos de defasagem
idade x srie
Diminuir 30%
Mdia de anos de defasagem
idade x srie
Diminuir 60%
Nmero de casos de uso de
drogas reportados
Reduo de 20%
Nmero de casos de uso de
drogas reportados
Reduo de 40%
Nmero de casos de uso de
drogas reportados
Reduo de 15%
Porcentagem de crianas da
comunidade na escola
95% das crianas
Porcentagem de crianas da
comunidade na escola
95% das crianas
Porcentagem de crianas da
comunidade na escola
95% das crianas
Mdia de anos de defasagem
idade x srie
Diminuir 10%
Mdia de anos de defasagem
idade x srie
Diminuir 30%
Mdia de anos de defasagem
idade x srie
Diminuir 60%
Nmero de casos de uso de
drogas reportados
Reduo de 40%
Nmero de casos de uso de
drogas reportados
Reduo de 15%
Nmero de casos de uso de
drogas reportados
Reduo de 20%
Carto G Carto H Carto I
Carto A Carto B Carto C
Carto D Carto E Carto F
2.InstrumentodePesquisaUtilizado
Colocar em ordem os cartes apresentados, segundo que projetos os entrevistados julgam ser mais benfico sociedade como um todo.
Primeiro
Segundo
Terceiro
Quarto
Quinto
Sexto
Stimo
Oitavo
Nono
Contexto
Uma ONG, da rea educacional, possui um programa de atendimento a crianas carentes. Sua atuao se d atravs de um projeto chamado
"Ajudando a crescer", que oferece a crianas de uma comunidade particular (uma favela localizada na periferia de So Paulo) aulas de reforo
escolar. Alm das aulas de reforo, so promovidas atividades como esportes e sesses de leitura.
Os objetivos principais de tal atuao esto ligados a diminuir a evaso escolar da comunidade e melhorar o desempenho das crianas que
participam do projeto.