Você está na página 1de 10

2

Sade & Transformao Social


Health & Social Change

Pesquisa Qualitativa, Teoria e Metodologia

Importncia da Avaliao Qualitativa combinada com outras


modalidades de Avaliao
The importance of qualitative evaluation combined with other evaluation methods

Maria Ceclia de Souza Minayo1


1
Pesquisadora Titular da Fundao Oswaldo Cruz

RESUMO - Neste texto promove-se uma discusso sobre avaliao qualitativa de projetos e programas sociais e de sade e suas vrias formas
de abordagem, mas sem separar essa atividade tcnica, acadmica e social do contexto das investigaes avaliativas. Por isso, o artigo d nfase
questo histrica da prtica de avaliar; aos conceitos principais de avaliao; s tipologias; s fases e a seu sentido social, pragmtico e tico.
Do ponto de vista da avaliao qualitativa se discutem as bases tericas, as modalidades e as questes de validade, especificamente levando-se
em conta a triangulao de perspectivas e a incluso de todos os atores no processo. Aprofunda-se a proposta do chamado RAP (Rapid
Assessment to Projects). A concluso do texto leva a considerar a importncia de incluir os diversos atores com suas crenas e expectativas no
processo avaliativo para que ele se constitua num ato de aprendizagem para todos os envolvidos.
Palavras-chave: Avaliao em sade; avaliao de programas sociais; avaliao; avaliao qualitativa; pesquisa avaliativa.

ABSTRACT - This text promotes a discussion on the "qualitative evaluation" of social and health and social programs and projects and their
various approaches, but without separating this technical, academic and social activity from the context of the evaluative research.
This article emphasizes the historical questions of the practice of assessment, the main concepts of evaluation, the types, the stages and
its social, pragmatic and ethical sense. From the standpoint of qualitative assessment, the theoretical foundations, the modalities and the issues
of validity are discussed, specifically considering the triangulation of perspectives and the inclusion of all stakeholders in the process.
The proposal called the RAP (Rapid Assessment to Projects) goes deeper. The conclusion of the text leads to the consideration of the
importance of including diverse actors, with their own beliefs and expectations, in the evaluation process so that it becomes
an act of learning for all involved..
Keywords: Evaluation in health; evaluation of social programs, qualitative evaluation, evaluative research

1. INTRODUO
A prtica avaliativa tem sido introduzida em
O hbito de avaliar instituies, programas e projetos
diferentes ambientes e de vrias formas, ora como
com mtodos e tcnicas cientficas relativamente
uma ao externa que analisa determinada
recente no mundo e no Brasil. Tornou-se freqente
interveno ou problema, ora como etapa do
aps a Segunda Guerra Mundial nos pases centrais
planejamento e da gesto das instituies, de
do capitalismo, acompanhando os macios
programas e projetos e no seu sentido mais nobre,
investimentos em polticas pblicas de bem estar
acompanhando concomitantemente as aes
social.
voltadas a mudanas desde o seu primeiro desenho.
com essa insero na realidade que a 3
Segundo Scriven , a avaliao deve ser
avaliao passou, nos ltimos 60 anos, a fazer parte
considerada, na atualidade, no apenas como uma
da pauta de investimentos tericos e prticos, ao lado
tcnica, mas como uma transdisciplina, ou seja, um
das metodologias e modelos de pesquisas sociais,
campo de estudo prprio que ao mesmo tempo
visando maior eficincia na aplicao de recursos e
oferece instrumentos de reflexo para outras reas
efetividade nas aes institucionais, sociais e
1,2.
econmicas Autor correspondente
Maria Ceclia de Souza Minayo
Pesquisadora titular da Fundao Oswaldo Cruz
Centro Latino Americano de Estudos sobre Violncia e Sade Jorge Careli
Av. Brasil, 4036 sala 700 - Manguinhos
CEP:21040-361 Rio de Janeiro-RJ
Tel.: (21) 2290.4893 - Fax: (21) 3882.9151
ceclia@claves.fiocruz.br
Artigo encaminhado 17/02/2011
Aceito para publicao em 28/04/2011

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
3

de conhecimento. aprofundamento dos mecanismos de controle social


sobre as polticas sociais e instituies, colocando os
Na etapa atual de evoluo do capitalismo
recursos que utilizam sob vigilncia da sociedade civil
ps-industrial, a avaliao das instituies e das
e gerando presso dos meios de comunicao e da
polticas sociais passou a ser intensamente valorizada
opinio pblica. No rumo desse crescimento das
no mundo. Isso se deve, sobretudo, a mudanas
prticas avaliativas, necessrio levar em conta,
profundas no paradigma das relaes sociais de
tambm, o aumento da capacidade terico-
produo, cujas caractersticas so o acelerado
metodolgica, tcnica e crtica dos intelectuais e
crescimento do fluxo de informaes, de economia de
pesquisadores brasileiros na anlise de programas e
escala e de focalizao de aes. Ela se torna
projetos governamentais, das instituies pblicas e
verdadeiro desafio quando se trata de tomar decises
2 privadas e do terceiro setor.
complexas de investimento frente a questes que
apresentam fortes componentes culturais e polticos Existem dois tipos de ao avaliativa que se
resistentes s mudanas, exigindo um desenho de complementam: monitoramento e avaliao
instrumentos que valorize a vasta gama de propriamente dita. Entende-se por avaliao, a
intervenientes. realizao de um conjunto de atividades tcnico-
cientficas ou tcnico-operacionais que buscam
O processo de institucionalizao das
atribuir valor de eficincia, eficcia e efetividade a
tecnologias de avaliao visando a acompanhar
processos de interveno em sua implantao,
projetos sociais e ou de mudanas institucionais, no
implementao e resultados. Entende-se por
caso do Brasil, alm de ser recente, ainda muito
monitoramento, a observao e o registro regular das
tmido, o que se deve principalmente cultura
atividades previstas dentro de um projeto ou
autoritria e clientelista que costuma orientar a prxis
4 programa. Esse ltimo se configura como um
poltica do pas, independente dos governos vigentes .
processo rotineiro de acmulo de informaes sobre
No entanto, h exemplos notoriamente exitosos de
determinada proposta em todos os seus aspectos, por
avaliao, como so os casos das conduzidas pela
meio de observao sistemtica e com propsitos
CAPES e pelo CNPq que foram capazes de, no s
definidos.
acompanhar, mas tambm de evidenciar os
problemas e as potencialidades da cincia e O sentido da avaliao e do monitoramento
tecnologia no pas, orientando seu rumo e a aplicao pode ser resumido em trs pontos: (a) compreender
de recursos pblicos. Embora no faltem crticas aos o que contribui para o xito dos programas, projetos
sistemas utilizados pelas duas instituies, eles so e servios; (b) o que possibilita seu alcance e (c) o que
fortemente responsveis pelo elevado nvel questiona seus limites. Por isso, toda avaliao que
competitivo que as Ps-Graduaes e os Grupos de acompanha o desenrolar e analisa os resultados de
Pesquisa no Brasil atingiram no pas e pelo seu uma proposta de interveno uma iniciativa que
reconhecimento em mbito mundial. deve subsidiar a correo de rumos e reorientar
estratgias de ao. Principalmente, deve ressaltar
No campo das polticas pblicas, preciso
lies que as experincias em execuo ou passadas
reconhecer que, a partir dos anos 1990, tambm no
permitem aprender, trazendo informaes novas e
Brasil se intensificaram as prticas de avaliao na
propiciando mais qualidade s operaes e aos
rea social, de segurana e em vrios mbitos
5-10 critrios de financiamento dos projetos e propostas.
institucionais . Vrios fatores tm contribudo para
isso. Dentre eles, destacam-se: (a) a reforma do Para o xito de uma avaliao ou
Estado que fez diminuir sua presena direta nas reas monitoramento, devem ser seguidos pelo menos
sociais e aumentou seu papel de formulador de quatro parmetros: (a) a dimenso de utilidade, pois
polticas e de repassador de recursos para execuo jamais se deve empreender uma avaliao intil; (b) a
de polticas pblicas; (b) a focalizao da ao dimenso da viabilidade que significa levar em conta
governamental em determinadas atividades exigindo o ambiente poltico, prtico e de custo-benefcio; (c) a
anlise de eficcia dos investimentos; (c) a entrada de dimenso tica que ressalta o respeito aos valores
organizaes no-governamentais e da iniciativa dos interessados e a seriedade intelectual com que
privada na prestao de inmeros servios de deve ser realizada a abordagem avaliativa e
interesse pblico, em relao aos quais, h uma obedecidos os devidos critrios de benemerncia e de
concorrncia por recursos, pois tanto as empresas confidencialidade; e (d) a dimenso da preciso
como os governos cobram resultados; (d) as tcnica, ou seja, uma avaliao para gerar
exigncias dos rgos internacionais que financiam informaes importantes deve ser realizada dentro
projetos sociais e estratgicos; (e) a ampliao e o

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
4

de determinados parmetros que j esto hoje Do ponto de vista tcnico, preciso que a
11
universalmente consolidados cientificamente . organizao de uma avaliao leve em conta o
desenvolvimento terico j consolidado
Do ponto de vista da sua utilidade prtica,
universalmente nessa rea, para que todo o
uma boa avaliao visa a reduzir incertezas, a
instrumental utilizado seja qualitativamente
melhorar a efetividade das aes e a propiciar a
adequado aos objetivos propostos.
tomada de decises relevantes por meio de lies
1,12,13
aprendidas no processo . Uma avaliao deve Do ponto de vista tico, a avaliao de
permitir identificar pontos fracos e fortes e destacar o intervenes e de investimentos se dirige para
que mais produtivo visando a: (1) oferecer mudanas que precisam ser construdas no cho da
respostas aos beneficirios, instituio, sociedade realidade social: a populao brasileira anseia por
e ao governo atendendo ao ator social que a diminuir as desigualdades e ver erradicados o
encomendou - sobre o uso dos recursos empregados; mandonismo e o autoritarismo poltico, institucional e
(2) orientar os investidores sobre as melhores acadmico. A competente anlise de um projeto,
aplicaes de seus recursos visando ao programa ou conjunto de programas deve tornar
desenvolvimento de pessoas, instituies e setores; mais evidente para as instituies e a sociedade a
(3) responder aos interesses das instituies, de seus aplicao de seus recursos, evitando ou denunciando
gestores e de seus tcnicos; (4) buscar sempre uma desperdcios. Essa orientao tanto mais eficaz
1
melhor adequao das estratgias e das prticas . quanto mais o conceito e a prtica avaliativa forem
Quanto a sua utilidade, uma avaliao costuma ser cientificamente compreensivos e fundamentados e
enquadrada em trs tipos: a diagnstica, que passarem a fazer parte do cotidiano das instituies.
proporciona informaes acerca da situao; a
formativa que visa a socializar o entendimento dos
problemas existentes para possveis solues; e a 2. CONCEITOS QUE FUNDAMENTAM AVALIAES
somativa cujo propsito oferecer uma viso geral QUALITATIVAS E QUANTITATIVAS
do processo de interveno ou de soluo de um
Tipologias de avaliao - O desenvolvimento do
problema, considerando as etapas em seu conjunto.
campo da avaliao trouxe o aprimoramento de
Essa ltima uma modalidade bastante utilizada na
alguns termos prprios que devem fazer parte das
rea de educao.
abordagens quantitativas ou qualitativas. So eles:
importante enaltecer tanto o sentido como eficincia, eficcia, efetividade e, mais
a orientao prtica social, pois, como lembra Penna contemporaneamente, sustentabilidade. Esses
11
Firme , nem toda avaliao produtiva: avaliar termos permeiam a linguagem de todas as estratgias
pode ser um empreendimento de sucesso, mas e instrumentos de avaliao.
tambm de fracasso; pode conduzir a resultados
O conceito de eficincia oriundo da noo
significativos ou a respostas sem sentido; pode
11:p.1 de otimizao dos recursos disponveis: ou seja, obter
defender ou ameaar , dependendo de seus
a custo mnimo possvel o mximo de benefcio. A
propsitos e da postura tica com que feita. Ou
avaliao de eficincia vem transbordando cada vez
seja, podem existir avaliaes tendenciosas, mal
mais seu nicho econmico, incluindo estratgias e
elaboradas e superficiais que poucos resultados
instrumentos para analisar custos sociais, polticos e
trazem para a aprendizagem das instituies. Essas
ambientais alguns deles intangveis - provocados
correm o risco de prejudic-las quando as inferncias
por projetos de interveno institucional, de polticas
no so contextualizadas e compreensivas. Deve-se
pblicas ou do setor privado nas comunidades e no
ressaltar, no entanto, que mesmo uma avaliao bem
meio ambiente. Muitas agncias, atualmente,
realizada e cercada de cuidados, sozinha, no
incluem na avaliao de eficincia, pesquisas
consegue solucionar os problemas da prtica, pois
qualitativas ou quantitativas de satisfao da
solucion-los uma tarefa da administrao e de
populao atingida pelos projetos, com o intuito de
outros responsveis operacionais.
saber se sua aplicao est sendo social, poltica e
Para ser vivel, uma avaliao deve ter ambientalmente eficiente.
condies de realizao do ponto de vista financeiro,
A avaliao de eficcia consiste na anlise do
tcnico, e gerencial. Toda avaliao precisa de
cumprimento das metas traadas por um
oramento compatvel com o nvel de profundidade
determinado projeto. o tipo mais simples, comum e
que seu propsito e o objeto estudado requer.
difundido de anlise de determinada interveno,
geralmente realizada pelos prprios rgos

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
5

encarregados de execuo da proposta. Enquadram- conceito em construo - por isso, alvo de muitas
se aqui os dados apresentados nos relatrios anuais controvrsias - ele representa a idia de que o avano
das entidades e as estatsticas que elas produzem de uma dada sociedade medido no somente por
com o intuito de demonstrar que "cumpriram as sua capacidade de gerar riqueza (dimenso
expectativas", no que se refere ao volume e econmica), mas tambm pelas condies de diviso
quantidade do produto esperado. O critrio de da riqueza gerada (dimenso social), da preservao e
sucesso mais comumente usado o da eficcia conservao do meio ambiente (dimenso
objetiva, isto , a constatao de que as metas ambiental), quanto ao conhecimento e inovao
atingidas so iguais, superiores ou inferiores s metas (dimenso conhecimento) e do investimento nas
propostas. Os estudos de eficcia geralmente so instituies e pessoas para promov-lo (dimenso
15
metrificados, ou seja, se apresentam com dados institucional) . A avaliao de sustentabilidade vem
quantitativos, ilustrados com grficos, figuras e sendo incorporada anlise de projetos e aprimorada
tabelas. Mas tambm podem incluir anlises de terica e tecnicamente. E, o termo sustentabilidade
14
eficcia subjetiva que constituem abordagens tornou-se um aposto imprescindvel s propostas de
qualitativas que corroboram ou criticam a consecuo desenvolvimento.
das metas a que custo social e emocional para os que
Especificidade do monitoramento - O
trabalham na instituio ou para os que so os seus
monitoramento pode ser interpretado como uma
destinatrios.
etapa da avaliao e, ao mesmo tempo, tem o sentido
A avaliao de efetividade mais profunda especfico de acompanhar a eficincia do processo de
que a avaliao de eficcia. Ela capta os efeitos de um implantao e implementao de uma proposta de
projeto ou programa e tem por finalidade aferir as interveno, mas tambm, a eficcia de seus
mudanas quantitativas e qualitativas promovidas resultados. O monitoramento da implantao e da
pela interveno. Considera o antes e o depois da implementao constitui um olhar mais constante e
execuo de uma proposta ou compara os resultados prximo sobre a realizao da ao proposta, por
obtidos com outra situao em condies meio de indicadores que permitam sugerir
semelhantes, sobre a qual no houve interveno. As adequaes durante o processo e dar cincia aos
avaliaes de efetividade tm vrios pressupostos, financiadores, implementadores e beneficirios sobre
porm o mais bsico de que a ocorrncia de o andamento das intervenes. Geralmente, esse
mudanas no suficiente para referendar acompanhamento registrado em relatrios curtos e
concluses a respeito do xito de uma proposta: diretos contendo: (a) anlise da situao; (b) dados
necessrio demonstrar que elas no ocorreriam (total sobre os investimentos feitos; (c) identificao dos
ou parcialmente) sem a existncia da interveno em problemas e da busca de solues; (d) garantia de
pauta. Geralmente, as anlises de efetividade so que as atividades previstas estejam sendo executadas
5
realizadas por meio de estudos de impacto que corretamente ou sobre o porqu da proposta no
captam os efeitos e as alteraes efetivas de uma estar sendo bem sucedida; (e) anlise crtica voltada
interveno em relao aos objetivos estabelecidos, para apreciar se o projeto em execuo vem sendo o
empiricamente: (a) se os resultados esperados foram mais apropriado para a resoluo do problema em
alcanados; b) que resultados no esperados questo.
ocorreram; e se os resultados so positivos,
O monitoramento da eficcia, que ocorre ao
negativos, ou at perversos no mdio ou longo prazo
final do projeto, apresenta informaes sobre as
frente ao problema que se quis enfrentar. A avaliao
metas alcanadas e se elas correspondem ou
qualitativa costuma ser largamente utilizada nos
divergem do que havia sido proposto no incio do
estudos de efetividade, para que o destinatrio final
projeto. O relatrio desse monitoramento constitui
(usurio, cliente e outros) se pronuncie sobre os
um dos elementos importantes para o processo de
resultados de uma interveno ou de mudanas.
avaliao como um todo, mas particularmente para
A avaliao da sustentabilidade se os estudos de impacto que vierem a ser feitos,
fundamenta na construo de indicadores para tambm depois do projeto concludo.
analisar padres sustentveis de desenvolvimento
Ciclo de Avaliao - Uma avaliao completa
quanto a aspectos tcnicos, ambientais, econmicos e
aquela que incorpora um ciclo inteiro de anlise de
sociais. Fundamenta-se no termo desenvolvimento
determinada interveno ou ao, iniciando-se antes
sustentvel que substitui o conceito de progresso
que uma interveno ocorra (ex-ante), passando pelo
como sinnimo de crescimento apenas econmico.
acompanhamento do processo de implantao e
Embora desenvolvimento sustentvel ainda seja um
implementao (monitoramento) e pela anlise dos

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
6

efeitos e resultados (monitoramento e avaliao ex- Dentre suas vantagens, ainda possvel citar
post). No entanto, uma avaliao pode privilegiar o fato de que (1) o quadro lgico permite colocar foco
apenas um momento da realizao de uma poltica nos resultados; (2) facilita o monitoramento de
pblica, interveno ou ao institucional. Por alcance das metas e o uso prudente dos recursos; (3)
exemplo, pode-se avaliar: (a) apenas o processo de facilita a elaborao de relatrios e documentos
implantao de uma proposta; (b) somente sua baseados nos resultados alcanados e nas lies
implementao; (c) um problema institucional aprendidas. Mas o modelo, como todo modelo
especfico que requer anlise; (d) ou somente os tambm alvo de muitas crticas, sobretudo pelo seu
16
resultados de uma ao. Em todos os casos carter esttico, positivista e simplificado .
importante ter em mente todas as etapas do
Etapa de avaliao e o monitoramento da
processo e, no caso de avaliao institucional, o
implantao e da implementao - corresponde
estudo da origem, da histria e do contexto em que
anlise do processo de realizao das atividades
ela atua fundamental, sobretudo quando se trata de
previstas no momento ex-ante, por meio de
uma entidade consolidada em que ser impossvel
indicadores e acompanhamento das metas
reconstituir o ex-ante.
estabelecidas. O objetivo concreto dessa etapa
O estudo da etapa ex-ante muito promover ajustes e correes para que o projeto
recomendado quando se pretende obter produza os resultados previstos.
conhecimento sobre o impacto de determinada
A avaliao da implantao uma atividade
interveno ou mudana, para tornar possvel a
importante para assegurar a eficincia inicial que
comparao do estado inicial com as metas atingidas
corresponde ao ajuste entre as necessidades de
ao final. Para a preparao dessa etapa, um
recursos (humanos, materiais e de poder) e o comeo
instrumento que vem sendo muito utilizado hoje o
16 das atividades de interveno no tempo e na medida
chamado quadro lgico . Esse se constitui num
certa. A anlise da implementao corresponde ao
dispositivo que visa organizao racional de uma
acompanhamento do desenvolvimento da proposta
proposta de interveno, tanto para sua
de interveno por meio de indicadores e,
apresentao como para seu acompanhamento e
eventualmente, por meio de avaliaes extensas,
avaliao. Esse instrumento, desenvolvido nos anos
inclusive, avaliao qualitativa realizada com os
1960 nos Estados Unidos, passou a ser utilizado pela
17 realizadores da proposta e com os clientes ou
maioria das agncias internacionais para delinear o
usurios que so seu alvo, levando em conta os
momento inicial de seus emprstimos e
pontos crticos para correo de rumos durante o
investimentos a fim de compar-lo com os efeitos
processo.
gerados.
Em geral so objeto de avaliao da
Na elaborao do quadro lgico se
implantao e da implementao os seguintes
estabelecem o ponto de partida ou a linha de base,
elementos: (a) as estruturas necessrias para que o
assim como as metas e indicadores que devero ser
projeto ocorra sem atropelos: obteno de
acompanhados durante o processo e avaliados ao
informaes sobre recursos fsicos, humanos,
final de determinada interveno. Na sua
materiais, formas de organizao e de funcionamento
organizao, esse instrumento possui uma lgica
(normas e procedimentos), especificao de
vertical que clarifica a razo pela qual o projeto foi
equipamentos e tecnologias disponveis; (b) os
concebido e como ser executado (objetivo superior,
processos e movimentos de encaminhamento das
objetivo do projeto, resultados esperados e
atividades pelos diferentes atores com suas funes
atividades). E uma lgica horizontal que explica como
especficas e nveis hierrquicos, para garantir que as
os resultados do projeto sero expressos de forma
operaes de interveno tenham sucesso; (c) os
clara, realista e verificvel (indicadores, meios de
resultados e efeitos parciais: esperados ou no
verificao e fatores externos). Embora no fornea
esperados de acordo com as metas estabelecidas (d)
resposta a todas as perguntas, o uso do quadro lgico
a participao e as percepes dos diferentes atores
permite clarificar as seguintes questes: (1) Por que o
que influenciam os processos e os resultados, seja no
projeto deve ser realizado; (2) Qual o seu propsito
sentido positivo ou negativo.
e quais as mudanas a serem alcanadas; (3) Como se
pretende produzir melhorias; (4) Quais so as As avaliaes de processo trabalham,
condies externas que influenciam o alcance dos sobretudo, com indicadores de eficincia, no entanto,
resultados e dos seus efeitos; (5) Como possvel muitas instituies como o caso do Banco
18
identificar o alcance das melhorias e mudanas. Mundial , promovem avaliao de impacto mesmo

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
7

durante o processo; e tambm no decorrer da Muito frequentemente costuma-se opor a


proposta, de satisfao dos usurios quando julga que avaliao qualitativa baseada em estudos
isso seja necessrio. Por exemplo, estudos de impacto quantitativos que do nfase mtrica dos processos
19
durante a implementao so importantes quando h e dos produtos . Contudo, considera-se que essas
intervenes que provocam mudanas na vida das duas abordagens se complementam uma vez que
pessoas. Quando essas mudanas so negativas, a sempre h aes quantificveis, assim como sempre
avaliao oferece elementos para correo de rumos existe implicao subjetiva em todas as aes
ou interrupo da proposta. humanas. Isso particularmente verdadeiro quando
se trata da anlise de programas e instituies, em
Etapa de avaliao dos resultados ex-post
que o envolvimento, as opinies e as atitudes de
O termo resultado bastante ambguo, pois se
todos os atores que configuram a ao social (agentes
espera que uma avaliao comece a produzir efeitos
pblicos, membros de ONG, professores, estudantes,
desde a sua concepo, por exemplo, quando se
gestores, administrativos, dentre outros) influenciam
colocam gestores e profissionais juntos colaborando
fortemente os resultados almejados. Assim, o
na organizao das questes que devem ser
objetivo de uma avaliao qualitativa permitir a
perguntadas e aprofundadas. Tambm, avaliam-se
compreenso compreenso a palavra chave de
resultados durante o processo de implantao e 20
toda investigao qualitativa - dos processos e dos
implementao que, ao ser conduzido, promove
resultados considerando-os como um complexo
efeitos positivos ou negativos e oferece lies a
integrado por idias, padres de comportamento e de
serem seguidas pelos diferentes atores envolvidos na
interaes, organizados em torno a interesses
ao. No entanto, restringe-se aqui o sentido de
consensuais e socialmente reconhecidos.
avaliao de resultados para as anlises de
21,22
efetividade e de impacto que ocorrem aps ser Segundo Zucker , a pujana de uma
concludo um projeto. Instituies e agncias poltica social ou de uma instituio dependem da
costumam dar grande nfase ao momento ex-post, capacidade dos atores individuais e organizacionais
estabelecendo um intervalo de tempo de, por de serem agentes de seu processo de atualizao
exemplo, um ano a dois, depois de concluda permanente, o que envolve os conceitos de
determinada interveno, para se observar, interdependncia entre estruturas e aes sociais,
dimensionar e compreender os efeitos que provocou. sem se sucumbir idia de causalidade linear entre
23 23
Na finalizao de uma proposta, uma avaliao de elas . Segundo Giddens , a recursividade entre
efetividade pode ocorrer em duas vias: por meio de estruturas, as aes e as vontades fundamenta o
estudos mais simples e operacionais; ou por meio de processo por meio do qual as polticas sociais e
anlises mais profundas e complexas que incluem instituies emergem, se transformam e so
abordagens quantitativas e qualitativas, no permeadas por configuraes contnuas de
conhecimento das dimenses do que ocorreu. interpretao. Nesse sentido, a avaliao qualitativa
lida com os aspectos estruturais e funcionais de
polticas sociais ou de instituies e, de preferncia
3. ESPECIFICIDADE DA AVALIAO QUALITATIVA DE concomitantemente, com os componentes
PROGRAMAS E INSTITUIES ideolgicos, relacionais e polticos.
Entende-se por avaliao qualitativa aquela que Em si mesma e para que tenha sucesso, a
busca analisar o papel das representaes, das avaliao qualitativa precisa ser encarada como um
crenas, das emoes e das relaes no andamento processo que reconhece os vrios atores
de um programa, projeto ou proposta de poltica institucionais ou que compem uma poltica pblica
pblica ou institucional. A razo principal deste tipo ou social em seus diversos papis e funes como
de avaliao se fundamenta na certeza de que os agentes de mudana ou conservadorismo atuando,
valores, as injunes polticas e as relaes humanas portanto, num ambiente de aprendizagem. Gestores
influenciam na realizao dos projetos e programas. e tcnicos que vislumbram o papel da avaliao como
Portanto, saber como ocorre a dinmica parte de seu planejamento e de sua programao
antropolgica subjacente s propostas de ao cotidiana criam espaos permanentes de reflexo
pblicas ou institucionais fundamental para se sobre a prxis. Isso lhes permite desconstrurem
conhecer os motivos mais profundos que promovem idias pr-concebidas, alinhar conceitos, fazer
ou emperram os processos e os resultados de uma correo de rumos, mudar prioridades, abrir mo de
ao social. iniciativas que no se mostram frutferas e at trocar
seus lderes.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
8

Do ponto de vista tico, a avaliao de cunho operacional se fundamenta na apropriao


qualitativa das instituies e das intervenes sociais de estratgias de abordagem antropolgica de forma
se orienta para mudanas a serem construdas no ao mesmo tempo sistemtica e rpida.
cho da realidade social. por isso que a prtica
Embora variem quanto s tcnicas
avaliativa mais eficaz quando passa pela viso e
desenvolvidas e s finalidades para as quais se
crena das pessoas e sobre o cotidiano de atuao
realizam, as abordagens qualitativas tm um ncleo
institucional a partir de uma orientao como a
comum e estruturante: (a) referem-se necessidade
formulada por Silva e Brando. Entendemos
de levar em conta a participao e as percepes dos
avaliao como a elaborao, a negociao, a
sujeitos envolvidos na criao e na implementao
aplicao de critrios explcitos de anlise, em um
dos processos institucionais ou programas em
exerccio metodolgico cuidadoso e preciso, com
avaliao; (b) consideram as relaes hierrquicas e
vistas a conhecer, medir, determinar e julgar o
entre os pares e as representaes sobre a
contexto, o mrito, o valor ou o estado de um
instituio, sua atuao e problemas como parte
determinado objeto, a fim de estimular e facilitar
fundamental dos xitos e dos limites das aes; e (c)
processos de aprendizagem e de desenvolvimento de
7:p.2 partem da proposta de simplificar e tornar operativa,
pessoas e de organizaes .
para fins de anlise de intervenes, a abordagem
7
Na abordagem de Silva & Brando , a antropolgica. Os instrumentos geralmente utilizados
relevncia dada ao sentido construcionista da so descries socioculturais, econmicas e
parceria no processo. Os autores usam expresses demogrficas dos contextos analisados. E, empregam
tais como elaborao, negociao, uso de critrios entrevistas, grupos focais e observao de campo,
explcitos, processo de aprendizagem, complementados com informaes institucionais,
desenvolvimento de pessoas e de organizaes. o orientaes escritas, dados de servios, mapas de
24
mesmo modelo tambm preconizado por Demo . atividades, organogramas, cronogramas de trabalho,
11
Ou coincide com Penna Firme , quando diz que estudos estatsticos j existentes, entre outros.
preciso investir em: Avaliaes sensveis
Por isso a expresso avaliao qualitativa
responsabilidade situacional e metodologicamente
no significa a mesma coisa que avaliao de
flexveis no entendimento poltico e substancialmente 8
qualidade . Essa ltima expresso, embora
criativas para integrarem todas essas dimenses na
excepcionalmente seja tratada por meio de
direo do desenvolvimento e do aperfeioamento de
estratgias qualitativas, costuma compor-se de um
seu objeto (pag.3). A concepo de avaliao
corpo terico-metodolgico em que de antemo so
qualitativa aqui exposta se inclui nas tentativas
estabelecidos critrios ou indicadores para
cientficas contemporneas que consideram essa
acreditao ou parmetros tcnicos por
atividade no como um evento isolado e sim como
especialidades, privilegiando-se a mensurao. J a
um processo cientfico que integra avaliadores e
abordagem que se baseia nas correntes de
avaliados em busca do comprometimento e do
pensamento compreensivas deve ser realizada por
aperfeioamento dos indivduos, dos grupos, das
meios etnometodolgicos tais como exemplificados
instncias de gesto, dos programas e das 26-30
acima e sempre inclui a participao dos atores .
instituies.
Seu uso vem constituindo, alm de uma demanda
Dentro das tipologias correntes, a avaliao pragmtica, uma necessidade de aprofundamento
qualitativa tal como concebida neste texto insere-se terico e validado e isso vem ocorrendo nos ltimos
12,25 26
nas modalidades de investigao avaliativa ou anos .
de pesquisa operacional, mas ambas vo alm da
Uma das modalidades hoje mais comuns e
proposta de avaliao normativa que costuma tratar
mais utilizadas de avaliao qualitativa de programas
o evento a ser analisado isolado de qualquer
sociais e de sade atualmente de o chamado RAP
interferncia dos sujeitos e dos contextos. A 26-32
(Rapid Assessment) que foi concebido para
investigao avaliativa comporta outras
atender s necessidades prticas de conhecimento
caractersticas como menciona
12 dos profissionais dessas reas, de compreenderem o
Contandriopoulos;Champagne; et al : pretende
quanto valores, crenas e relaes dificultam ou
analisar a pertinncia, os fundamentos tericos, a
facilitam a promoo social, a preveno de
produtividade, os efeitos e o rendimento de uma
enfermidades e a vida saudvel, sobretudo em
interveno [ou ao institucional], assim como as
contextos tnicos ou de pobreza. O RAP trabalha
relaes existentes entre a interveno e o contexto
12:p.37 dentro de uma sistemtica operacional e etnogrfica
no qual ela se situa . J a avaliao qualitativa
para coleta e anlise de dados, em geral,

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
9

complementado informaes quantitativas e


observao direta no campo. Essa estratgia se inclui
4. AVALIAO POR TRIANGULAO DE MTODOS
num conjunto de outros modelos de avaliao rpida
- todos eles desenvolvidos a partir dessa proposta A proposta defendida neste texto que a avaliao
inicial e pioneira de Suzan Scrimshaw e Helena que melhor consegue compreender e explicar as
27
Hurtado em cuja primeira implementao a autora situaes sociais e de sade alia abordagens
28,29 1,26
deste texto participou - como os que so quantitativas ou qualitativas . Embora, cada uma
33 34
utilizados para avaliao rural ambiental , estudos delas possa ser utilizada independentemente e com
35
rpidos de problemas epidemiolgicos , estudos sucesso, desde que seja rigorosa na contextualizao,
36 37
imediatos de desastres e de condies biomdicas . nas perguntas que faz e nos instrumentos que utiliza.
Hoje essa modalidade metodolgica vem sendo A viso que combina as abordagens quantitativas e
utilizada com xito, sobretudo, por Organizaes qualitativas aqui denominada como triangulao
Internacionais como o Banco Mundial e a Organizao de mtodos e encontra fundamento nas idias
38 45:p.115
Mundial de Sade . Mas h muitas outras iniciativas filosficas de Kant , desenvolvidas no Sistema
de avaliao qualitativa que possuem as mesmas dos Princpios do Entendimento em sua obra sobre a
8,24,31,37-41,
premissas e se regem pelo pressuposto da Crtica da Razo Pura. Kant ensina que a a
possibilidade de treinar e sensibilizar profissionais de possibilidade da experincia oferecida pela
sade e de outras reas sociais e institucionais para as realidade objetiva a todos os nossos conhecimentos a
45
utilizarem. uma aposta na expectativa de que as priori. Para Kant o entendimento da realidade se
estratgias metodolgicas qualitativas possam tornar fundamenta em princpios bsicos: os axiomas da
mais compreensivas, sistemticas, estruturadas e intuio; as antecipaes da percepo. Num
interativas as propostas de interveno e a definio fenmeno sempre existe uma quantidade extensiva
de sua situao por parte de todos os atores sociais no tempo e no espao que s pode ser apreendida
envolvidos na implementao de uma ao, de uma pela composio de homogneos mltiplos e pela
mudana ou na soluo de um problema. conscincia da unidade sinttica deste mltiplo. No
entanto a conscincia emprica dos fenmenos, diz o
Embora se distinga do que historicamente foi
42,43 autor, permite perceb-los tambm em sua
considerada pesquisa participativa a pesquisa
intensidade, pois eles contm sensaes sob forma de
qualitativa sempre pressupe a participao dos
representao subjetiva. Ou seja, o sujeito afetado
atores que so investigados. Essa postura tica e
e experimenta existencialmente o fenmeno que
terica que se fundamenta nos princpios da filosofia
44 vivencia: isso constitui uma unidade do sistema de
comunicativa propicia meios para que, no
entendimento que ao mesmo tempo quantitativo e
desenvolvimento do processo de anlise, os que o 45
qualitativo. Kant chamou a quantidade intensiva de
implementam ou recebem seus influxos se apropriem
qualidade das sensaes, assinalando que a
da compreenso dos dados quantitativos e
vivncia dessa qualidade sempre emprica. Da
qualitativos gerados pelo trabalho e recolham
mesma forma, as quantidades s podem ser
subsdios para liderar mudanas necessrias. No
conhecidas pela sua continuidade e repetio:
entanto, existe uma diferena fundamental entre
Chamarei matemticos, os dois princpios
pesquisa qualitativa e pesquisa participante. Essa
precedentes, sendo ambos constitutivos dos
ltima tem como exigncia terica de seu modelo 45:p.123
42,43 fenmenos Logo atuao concreta subjazem
, a integrao dos mltiplos interlocutores na
princpios e regras universais relativas unidade na
realizao de todas as fases da investigao: na sua
sntese dos fenmenos, cuja realidade objetiva e
concepo, na definio do problema, na teorizao,
subjetiva pode ser mostrada e avaliada: no objeto
no levantamento de dados, nas anlises do material
que a unidade sinttica dos conceitos evidencia uma
coletado e na elaborao dos resultados. J pesquisa 45:p.119
realidade . Ou seja, a realidade concreta pode
qualitativa conta com os atores (entrevistados,
ser conhecida por meio de dados subjetivos
gestores, usurios, por exemplo) como um dos
(significados, intencionalidade, interao,
agentes para discutir o objeto, os objetivos, os
participao) e de dados objetivos (indicadores,
instrumentos de pesquisa e a primeira verso do
distribuio de freqncia e outros) inseparveis e
relatrio, mas no os inclui em todas as etapas
interdependentes. Essa proposta propicia a
tcnicas de realizao da investigao. Poder-se-ia
dissoluo de dicotomias que existem em nosso
dizer que toda pesquisa participante uma
esprito: entre quantitativo e qualitativo; entre macro
abordagem qualitativa e nem toda investigao
e micro; entre interior e exterior; entre sujeito e
qualitativa se confunde com pesquisa participante.
objeto.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
10

A modalidade de triangulao de mtodos se usurios, e as indagaes de quem financia ou


fundamenta na teorizao do contexto e do contedo patrocina.
do programa a ser avaliado e usa os instrumentos
operacionais para analisar os resultados, os efeitos e
o rendimento da interveno. Acrescenta, porm, a REFERNCIAS BIBLIOGRFICAS
esses elementos, a observao e a anlise da 1. Minayo MCS, Assis SG; Souza ER. Avaliao por triangulao de
mtodos. Rio de Janeiro: Editora Fiocruz; 2005.
dinmica visvel e subjacente dos atores sociais
2. Braverman MT, Engle M, Arnold MA, Rennekemp R, (org.).
envolvidos no processo e suas representaes. No Program Evaluation in a Complex Organizational System:
desdobramento metodolgico e prtico, retomam-se lessons from cooperative extension: new directions for
os trs pilares da avaliao tradicional e a eles se evaluation. American Evaluation Association Editions; 2008.
3. Scriven M. Evaluation in the new millennium: the
agregam os princpios bsicos da sociologia
transdisciplinarity vision. Pp.1-30. In: Donaldson P, Steward I
compreensiva, no como superposio e sim como ,Scriven M. (editors). Evaluating social programs and problems:
39,40,46,47,
sntese de mltiplos olhares Mas dentro da visions for a new millennium. New Jersey: Lawrence Earlbaum
prpria abordagem qualitativa deve-se exercitar uma Associates Publishers; 2005. p.1-30.
4. Silva PLB, Melo MAB. O processo de implementao de
viso triangulada que se faz pela: (a) combinao e
polticas pblicas no Brasil: caractersticas e determinantes da
cruzamento de mltiplos pontos de vista; (b) tarefa avaliao de programas e projetos. Repblica Dominicana:
conjunta de pesquisadores com formao CLADE; 2000.
diferenciada; (c) viso de vrios informantes e (d) 5. Cohen E, Franco R. Avaliao de Projetos Sociais. Petrpolis:
Editora Vozes; 2003.
emprego de uma variedade de tcnicas de coleta de
6. Hartz ZMA Explorando novos caminhos na pesquisa avaliativa
dados que acompanha o trabalho de investigao. das aes de sade. In: Hartz ZMA (org.). Avaliao em sade:
Seu uso, na prtica, permite interao, crtica dos modelos conceituais prtica na anlise da implantao de
39,40,48- 50 programas. Rio de Janeiro: Editora Fiocruz; 1997.p.19-28.
intersubjetiva e comparao .
7. Silva RS, Brando D. Construo da capacidade avaliativa em
organizaes da sociedade civil. So Paulo: Instituto Fontes;
2003.
5. ALGUMAS CONCLUSES 8. Uchimura KY, Bosi, MLM. Qualidade e subjetividade na
avaliao de programas e servios de sade. Cad Sade Pblica
Os avanos recentes da avaliao, como uma rea de 2002; 18(6),1561-1569.
conhecimento especfica, evidenciam importantes 9. Raposo R. Avaliao de Aes Sociais: uma abordagem
mudanas na postura tantos dos pesquisadores como estratgica. In: vila CM. (org.) Gesto de Projetos Sociais. So
Paulo: APCCS; 2001. p. 90-101.
dos gestores e profissionais das diferentes reas de 10. Carvalho MCB. Avaliao de projetos sociais. In: vila CM.
interveno. Em geral, a maioria deles hoje busca (org.) Gesto de Projetos Sociais. So Paulo: APCCS; 2001. p.59-
integrar avaliados e avaliadores nos processos 73.
analticos institucionais ou de prestao de servios, 11. Penna Firme T. Avaliao em rede. Disponvel em:
www.rits.org.br. Acesso em 04.06.2008.
pois considera esse par de oposies complementares 12. Contandriopoulos AP, Champagne F, Denis JF, Pineault R. A
como aprendizes que, estudando e refinando avaliao na rea da sade: conceitos e mtodos. In: Hartz
conceitos e tcnicas, crescem junto com a dinmica ZMA (org). Avaliao em sade. Rio de Janeiro: Editora Fiocruz;
avaliativa. Nessa concepo, a avaliao menos 1997. p. 29-48.
13. Posavac EJ, Carey RG. Program evaluation: methods and case
classificatria do que melhor ou do que peor e studies. New Jersey: Upper Saddle River; 2003.
muito mais promocional. Serve para consolidar 14. Figueiredo MA, Figueiredo AMC. Avaliao poltica e avaliao
entendimentos e parcerias, apoiar mudanas de Polticas. Anlise de Conjuntura 1986;1(3),107-127.
sucessivas, corrigir rumos, ampliar o 15. Sachs I. Desenvolvimento sustentvel, bioindustrializao
descentralizada e novas configuraes rural-urbana. Os casos
comprometimento dos diferentes atores e promover da ndia e do Brasil. In: Vieira PF, Weber J (org.). Gesto de
o aperfeioamento dos indivduos, grupos instituies Recursos Naturais Renovveis e Desenvolvimento: Novos
e sistemas. Desafios para a Pesquisa Ambiental. So Paulo: Cortez; 1997. p.
29-37.
Um dos ganhos fundamentais da avaliao 16. Gasper D. Logical Frameworks: problems and potentials.
ocorre quando a equipe que a realiza aceita o desafio Disponvel em: www.mande.co.uk/logframe.htm. Acesso em:
10.08.2010.
do trabalho cooperativo e inclui o grupo que objeto
17. Mackay K. The World Banks ECB Experience. New directions
de anlise em suas atividades por meio da auto- for evaluation2002; 93, 81-99.
avaliao e nos momentos de formulao do projeto, 18. World Bank (BIRD). Second Minas Gerais Development
de discusso dos instrumentos e dos resultados. Assim Partnership: project appraisal document. BIRD; 2008.
19. Bernstein RJ. Beyond objectivism and relativism: science,
se complementa o olhar interno e o olhar externo: o
hermeneutics and praxis. Philadelphia: University of
labor de quem recolhe os dados, o envolvimento Philadelphia Press, 1983.
intersubjetivo de quem investiga em campo, a viso de 20. Minayo MCS. Los conceptos estructurantes de la investigacin
quem atua na interveno, as preocupaes dos cualitativa. Salud Colectiva 2010; 6(3), 251-261.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.
11

21. Zucker LG. Institutional theories of organization. Annual 47. Samaja J. La Combinacin de Mtodos: Pasos para una
Review of Sociology 1987; 13, 443-464. Comprensin Dialectica del Trabajo Interdisciplinario.
22. Zucker LG. The role of institutionalization in cultural Educacin Medico-Social 1992; 26 (1), 4-34.
persistence. In: Powell WW, Dimaggio PJ. (editors). The new 48. Minayo MCS, Cruz Neto O. Triangulacin de mtodos en da
institutionalism in organizational analysis. Chicago: The evaluacin de programas y servicios de salud. 65-80. In:
University of Chicago Press;1991. p.83-107. Bronfman M, Castro R. (org). Salud, cambio social y poltica:
23. Giddens A. The constitution of society. Berckeley: University of perspectivas desde Amrica Latina. Mxico: Edamex; 1999.
California Press; 1984. p.65-80.
24. Demo P. Avaliao qualitativa. So Paulo: Editora Cortez; 1999. 49. Minayo MCS, Sanches O. Quantitativo-Qualitativo; oposio ou
25. Silva LMV, Formigli VLA. Avaliao em sade: limites e complementaridade? Cad Sade Pblica 1993; 9 (supl.1), 239-
perspectivas. Cad Sade Pblica 1994; 10 (2), 80-91. 262.
26. Trotter R, Needle RH, Goosby E, Bates C, Singer M. A 50. Minayo MCS, Souza E, Assis SG, Cruz Neto O, Deslandes SF,
methodological model por rapid assessment, responses and Silva CMPF. Avaliao dos Centros de Orientao e Apoio
evaluation: the RARE program in public health. Field Methods Sorolgico/CTA/COAS da Regio Nordeste. Cad Sade Pblica
2001; 13(2),137-139. 1999;15(1),355-367.
27. Scrimshaw S, Hurtado E. Rapid Assessment Procedures for
Nutrition and Primary Health Care: anthropological approaches
to improving program effectiveness. Tokio: The United Nations
University; 1987.
28. Patton MQ. How to use qualitative methods in evaluation.
Newbury Park: Sage Publications; 1987.
29. Minayo MCS. Abordagem Antropolgica para Avaliao de
Polticas Sociais. Rev Saude Publica 1991; 25 (3),233-238.
30. Minayo MCS, DElia JC, Svitone E. Programa Agentes de Sade
do Cear: Estudo de Caso. Fortaleza: UNICEF; 1990.
31. Atkinson S. 1993. Anthropology in research on the quality of
health services. Cad Saude Publica 1993;9(2),283-299.
32. Nuto SS, Nations MK.. Avaliao qualitativa dos servios com
processo de construo de cidadania. Ao Coletiva 1999;
2,25-29.
33. Heaver R. Participative rural appraisal: potential applications to
family planning, health and nutrition programs. Washington
DC: Technical Department Asia Region World; 1991.
34. Stohlgren TJ, Chong GW, Kalkhan MA, Shell LD. Rapid
assessment of plant diversity patterns: a methodology for
landscape. Environment monitoring and assessment 1997; 4
(1), 25-43.
35. International Epidemiological Association. Rapid epidemiologic
assessment. Official Journal or the International
Epidemiological Association 1989;18 (supl.2).
36. Malilay J, Flanders WD, Brogan DA. Mtodo modificado de
mostreo por conglomerados para evaluacin rpida de
necesidades despus de un desastre. Revista Pan Americana de
Salud Pblica 1997; 2(1),7-12.
37. Lee T, Price T. Indicators and research methods for rapid
assessment of a tuberculosis control program: case study of a
rural area of South Africa. Tubercle Lung Diseases 1995;
76(5),441-449.
38. World Health Organization. Rapid evaluation method:
guidelines for maternal and child health, family planning and
other health services. Geneva: WHO; 1993.
39. Denzin NK, Lincoln YS. Handbook of qualitative research.
Thousand Oaks: Sage Publications; 1994.
40. Denzin NK. The research act. Chicago: Aldine Publishing
Company, 1979.
41. Bebe J. Basic concepts and techniques of rapid appraisal.
Human Organization 1995; 54: 42-51.
42. Brando CR. Repensando a pesquisa qualitativa. So Paulo:
Editora Brasiliense; 1985.
43. Gajardo M. Pesquisa participante na Amrica Latina. So Paulo:
Editora Brasiliense; 1987.
44. Habermas J. Teora de la Accin Comunicativa. I, II. Madrid:
Taurus Editorial;1987.
45. Kant I. Crtica Razo Pura. Coleo os Pensadores. So Paulo:
Editora Abril;1980.
46. Jick TD. Mixing Quantitative and Qualitative Methods:
triangulation and action. Administrative Science Quarterly
1979; 24, 602-611.

Sau. & Transf. Soc., ISSN 2178-7085, Florianpolis, v.1, n.3, p.02-11, 2011.