A avaliação na área da saúde:

conceitos e métodos

André-Pierre Contandriopoulos
François Champagne
Jean-Louis Denis
Raynald Pineault

SciELO Books / SciELO Livros / SciELO Libros

HARTZ, ZMA., org. Avaliação em Saúde: dos modelos conceituais à prática na análise da
implantação de programas [online]. Rio de Janeiro: Editora FIOCRUZ, 1997. 132 p. ISBN 85-85676-
36-1. Available from SciELO Books <http://books.scielo.org>.

All the contents of this work, except where otherwise noted, is licensed under a Creative Commons Attribution-Non
Commercial-ShareAlike 3.0 Unported.

Todo o conteúdo deste trabalho, exceto quando houver ressalva, é publicado sob a licença Creative Commons Atribuição -
Uso Não Comercial - Partilha nos Mesmos Termos 3.0 Não adaptada.

Todo el contenido de esta obra, excepto donde se indique lo contrario, está bajo licencia de la licencia Creative Commons
Reconocimento-NoComercial-CompartirIgual 3.0 Unported.
 A AVALIAÇÃO NA ÁREA DA SAÚDE: CONCEITOS E
MÉTODOS*

André-Pierre Contandriopoulos
François Champagne
Jean-Louis Denis
Raynald Pineault

INTRODUÇÃO

A avaliação é uma atividade tão velha quanto o m u n d o , banal e inerente ao

p r ó p r i o processo d e a p r e n d i z a g e m . H o j e , a a v a l i a ç ã o é t a m b é m u m c o n c e i t o q u e está
n a m o d a , c o m c o n t o r n o s vagos e q u e a g r u p a realidades múltiplas e diversas.
Logo após a Segunda G u e r r a M u n d i a l apareceu o conceito d e avaliação dos
programas p ú b l i c o s . Ele é , d e certa f o r m a , o c o r o l á r i o d o p a p e l q u e o Estado c o m e ç o u
a d e s e m p e n h a r nas áreas d a e d u c a ç ã o , d o social, d o e m p r e g o , d a s a ú d e e t c . O Esta-
d o , q u e passava a substituir o m e r c a d o , d e v i a e n c o n t r a r m e i o s para q u e a a t r i b u i ç ã o
d e recursos fosse a mais eficaz possível. O s e c o n o m i s t a s d e s e n v o l v e r a m , e n t ã o , m é t o -
d o s para analisar as v a n t a g e n s e os custos destes p r o g r a m a s p ú b l i c o s ; s ã o os p i o n e i r o s
d a a v a l i a ç ã o . M a s , r a p i d a m e n t e , suas a b o r d a g e n s revelaram-se insuficientes, e s p e c i a l -
m e n t e q u a n d o q u e r e m o s aplicá-las aos p r o g r a m a s sociais e à e d u c a ç ã o . A a v a l i a ç ã o
foi, então, d e certo m o d o , "profissionalizada", adotando-se u m a perspectiva
interdisciplinar e insistindo nos aspectos m e t o d o l ó g i c o s . N o c o n t i n e n t e a m e r i c a n o ,
associações c o m o a A m e r i c a n Evaluation Association o u a C a n a d i a n E v a l u a t i o n S o c i e t y
c o n t r i b u í r a m m u i t o para esse m o v i m e n t o .

* Versão adaptada de um artigo dos mesmos autores, L'évaluation dans le domaine de la santé: concepts
& méthodes, publicado nas atas do colóquio editadas por LEBRUN, SAILLY & AMOURETTI (1992:14-
32). A tradução preliminar deste texto recebeu o apoio do Instituto Materno-lnfantil de Pernambuco
(IMIP - projeto financiado pelo BID), com revisão de Zulmira Maria de Araújo Hartz e Luiz Claudio S.
Thuller.
 N o d e c o r r e r d o s a n o s 70 a n e c e s s i d a d e d e avaliar as a ç õ e s sanitárias se i m p ô s .
O p e r í o d o d e i m p l a n t a ç ã o d o s grandes programas, b a s e a d o s n o seguro m é d i c o , estava
t e r m i n a d o . A d i m i n u i ç ã o d o c r e s c i m e n t o e c o n ô m i c o e o p a p e l d o Estado n o f i n a n c i a -
m e n t o d o s s e r v i ç o s d e s a ú d e t o r n a v a m indispensável o c o n t r o l e d o s custos d o sistema
d e s a ú d e , s e m q u e , p o r isso, u m a a c e s s i b i l i d a d e suficiente d e t o d o s a serviços d e
q u a l i d a d e seja q u e s t i o n a d a .

A s d e c i s õ e s necessárias para q u e esta d u p l a exigência seja respeitada são parti-

c u l a r m e n t e difíceis d e se t o m a r , por c a u s a d o caráter m u i t o c o m p l e x o d o sistema d e
s a ú d e , d a s g r a n d e s z o n a s d e i n c e r t e z a q u e e x i s t e m nas r e l a ç õ e s e n t r e os p r o b l e m a s
d e s a ú d e e as i n t e r v e n ç õ e s suscetíveis d e resolvê-las, d o d e s e n v o l v i m e n t o m u i t o r á p i -
d o d a s n o v a s t e c n o l o g i a s m é d i c a s e d a s e x p e c t a t i v a s crescentes d a p o p u l a ç ã o . N e s t e
c o n t e x t o , a n e c e s s i d a d e d e i n f o r m a ç ã o sobre o f u n c i o n a m e n t o e a eficácia d o sistema
d e s a ú d e é c o n s i d e r á v e l e a a v a l i a ç ã o p a r e c e ser a m e l h o r s o l u ç ã o .

D e s d e e n t ã o , a a v a l i a ç ã o na á r e a sanitária goza d e u m prestígio e n o r m e . A

m a i o r i a d o s países (Estados U n i d o s , C a n a d á , F r a n ç a , Austrália etc.) c r i o u organismos
e n c a r r e g a d o s d e a v a l i a r as n o v a s t e c n o l o g i a s . O s p r o g r a m a s d e f o r m a ç ã o , os c o l ó q u i -
os, os s e m i n á r i o s , os artigos, as o b r a s s o b r e a a v a l i a ç ã o já n ã o se c o n t a m mais.

Esta p r o l i f e r a ç ã o é , c e r t a m e n t e , o sinal d e u m a n e c e s s i d a d e , m a s ela t a m b é m é

sinal d a c o m p l e x i d a d e d a á r e a . O o b j e t i v o d a nossa a p r e s e n t a ç ã o é p r o p o r u m q u a d r o
c o n c e i t u a i q u e p e r m i t a u m a visão m a i s clara.

A s d e f i n i ç õ e s d a a v a l i a ç ã o são n u m e r o s a s e p o d e r í a m o s a t é c h e g a r a dizer q u e
c a d a a v a l i a d o r constrói a sua. Patton ( 1 9 8 1 ) p r o p õ e o g r u p a m e n t o das d e f i n i ç õ e s d a
a v a l i a ç ã o e m seis g r a n d e s famílias e m razão d a sua natureza. Patton ( 1 9 8 2 ) nota e m
s e g u i d a q u e , e m c a d a f a m í l i a , o c o n t e ú d o d a s d e f i n i ç õ e s é v a r i á v e l e e l e agrupa os
d i f e r e n t e s c o n t e ú d o s e m seis categorias. O autor constata q u e esta t a b e l a q u e d e f i n e
3 6 t i p o s d e d e f i n i ç õ e s d a a v a l i a ç ã o só p e r m i t e classificar u m p o u c o mais d e 5 0 % d o s
trabalhos d e avaliação publicados.

G u b a & Lincoln (1990) identificam quatro estágios na história d a avaliação. A pas-

sagem d e u m estágio para outro se faz c o m o desenvolvimento dos conceitos e a a c u m u -
lação d o s c o n h e c i m e n t o s . O primeiro estágio é baseado na m e d i d a (dos resultados escola-
res, d a inteligência, d a produtividade dos trabalhadores). O avaliador é essencialmente u m
t é c n i c o q u e t e m q u e saber construir e saber usar os instrumentos q u e p e r m i t e m medir os
f e n ô m e n o s estudados. O segundo estágio se fortalece nos anos 2 0 e 30. Ele trata d e
identificar e descrever c o m o os programas p e r m i t e m atingir seus resultados. O terceiro
estágio é f u n d a m e n t a d o n o julgamento. A avaliação d e v e permitir o julgamento d e u m a
intervenção. O quarto estágio está emergindo. A avaliação é então feita c o m o u m processo
d e n e g o c i a ç ã o entre os atores envolvidos na intervenção a ser avaliada.

C h e n ( 1 9 9 0 ) p r o p õ e distinguir as a v a l i a ç õ e s q u e são b a s e a d a s nos m é t o d o s das

q u e s ã o o r i e n t a d a s p o r u m a discussão teórica s o b r e as relações e n t r e a i n t e r v e n ç ã o , o
c o n t e x t o n o q u a l ela é inserida e os resultados o b t i d o s .
 Esta b r e v e revisão d o e s t a d o d o s c o n h e c i m e n t o s mostra a v a i d a d e q u e seria
propor u m a definição universal e absoluta d a avaliação. N o entanto, para tentar visualizar
m e l h o r e para fixar o q u a d r o n o q u a l esta a p r e s e n t a ç ã o se insere, p o d e m o s a d o t a r a
d e f i n i ç ã o seguinte, q u e h o j e é o b j e t o d e u m a m p l o c o n s e n s o .

Avaliar consiste f u n d a m e n t a l m e n t e e m fazer u m j u l g a m e n t o d e v a l o r a respeito

d e u m a i n t e r v e n ç ã o o u sobre q u a l q u e r u m d e seus c o m p o n e n t e s , c o m o objetivo
d e ajudar na t o m a d a d e d e c i s õ e s . Este j u l g a m e n t o p o d e ser resultado d a a p l i c a ç ã o d e
critérios e d e n o r m a s ( a v a l i a ç ã o n o r m a t i v a ) o u se e l a b o r a r a partir d e u m p r o c e d i m e n -
to científico (pesquisa avaliativa).

U m a i n t e r v e n ç ã o , q u a l q u e r q u e seja, p o d e sofrer os dois tipos d e a v a l i a ç ã o .

P o d e m o s , por u m l a d o , buscar estudar c a d a u m d o s c o m p o n e n t e s d a i n t e r v e n ç ã o e m
r e l a ç ã o a n o r m a s e critérios. Trata-se, e n t ã o , d e u m a a v a l i a ç ã o n o r m a t i v a . P o r o u t r o ,
p o d e m o s q u e r e r e x a m i n a r , p o r u m p r o c e d i m e n t o c i e n t í f i c o , as r e l a ç õ e s q u e e x i s t e m
e n t r e os diferentes c o m p o n e n t e s d e u m a i n t e r v e n ç ã o . Trata-se, e n t ã o , d e pesquisa
avaliativa.

Estas d e f i n i ç õ e s p e r m i t e m a c o n s t a t a ç ã o d e q u e a á r e a d a a v a l i a ç ã o e a á r e a d a
pesquisa c o i n c i d e m s o m e n t e p a r c i a l m e n t e (Shortell & R i c h a r d s o n , 1 9 7 8 ) . A a v a l i a ç ã o
administrativa n ã o faz parte d a á r e a d a pesquisa, d a m e s m a f o r m a q u e existe u m
c a m p o d e pesquisa q u e n ã o faz parte d a a v a l i a ç ã o (as pesquisas disciplinares q u e
visam fazer progredir os c o n h e c i m e n t o s ) ( F i g u r a 1).

FIGURA 1

Pesquisa e a v a l i a ç ã o

A pesquisa A avaliação

Pesquisa Avaliação
não avaliativa Normativa

Gris, Universidade de Montreal, 1992.

Para a v a n ç a r , d e v e m o s precisar o q u e e n t e n d e m o s por i n t e r v e n ç ã o . U m a inter-

v e n ç ã o é constituída p e l o c o n j u n t o d o s m e i o s (físicos, h u m a n o s , f i n a n c e i r o s , s i m b ó l i -

cos) organizados e m u m c o n t e x t o e s p e c í f i c o , e m u m d a d o m o m e n t o , para p r o d u z i r

b e n s o u serviços c o m o o b j e t i v o d e m o d i f i c a r u m a s i t u a ç ã o p r o b l e m á t i c a .
 U m a intervenção é caracterizada, portanto, por cinco c o m p o n e n t e s : objeti-
v o s ; recursos; serviços, bens o u atividades; efeitos e contexto preciso e m u m d a d o
m o m e n t o (Figura 2).

FIGURA 2

O s componentes de uma Intervenção

Situação
Problemática

Efeitos Objetivos

Serviços
t
1
Recursos

Contexto

Ela p o d e ser u m a t é c n i c a , por e x e m p l o , u m kit p e d a g ó g i c o para m e l h o r a r os

c o n h e c i m e n t o s s o b r e a a l i m e n t a ç ã o , u m teste p a r a d e t e c t a r m á s f o r m a ç õ e s fetais,
u m r e m é d i o , u m p r o g r a m a d e gerência e m r e a n i m a ç ã o ; u m tratamento ( u m ato o u u m
c o n j u n t o d e atos); u m a prática (por e x e m p l o , u m p r o t o c o l o d e t r a t a m e n t o d o c â n c e r
d o p u l m ã o por quimioterapia); u m a organização (um centro d e desintoxicação, uma
u n i d a d e d e t r a t a m e n t o ) ; u m p r o g r a m a (desinstitucionalização d o s p a c i e n t e s psiquiá-
tricos, p r e v e n ç ã o d a s d o e n ç a s transmitidas s e x u a l m e n t e ) ; u m a política ( p r o m o ç ã o d a
s a ú d e , p r i v a t i z a ç ã o d o f i n a n c i a m e n t o d o s serviços e t c ) .

É n e c e s s á r i o c o m p r e e n d e r q u e n ã o p o d e m o s falar d e u m a i n t e r v e n ç ã o s e m
levar e m c o n t a os d i f e r e n t e s atores q u e ela e n v o l v e (Figura 3). S ã o eles q u e d ã o sua
f o r m a particular e m u m d a d o m o m e n t o e m u m d a d o c o n t e x t o . D e fato, c a d a u m d o s
atores p o d e ter seus p r ó p r i o s o b j e t i v o s e m r e l a ç ã o à i n t e r v e n ç ã o e sua a v a l i a ç ã o .
 FIGURA 3
O s atores e n v o l v i d o s p e l a I n t e r v e n ç ã o

Os Avaliadores

Situação
Problemática

(^XPopu I ação^)

Efeitos Objetivos

(^Os"lUsuários

Os Administradores

Serviços

t \Financiadores/

Os Profissionais

T
Recursos

C ^ P o d e r PúbHaT>

Contexto
 É p r e c i s o e n t e n d e r q u e os o b j e t i v o s d e u m a a v a l i a ç ã o são n u m e r o s o s , q u e eles
p o d e m ser oficiais o u oficiosos, explícitos o u implícitos, consensuais o u conflitantes,
a c e i t o s p o r t o d o s o s atores o u s o m e n t e por alguns.

O s o b j e t i v o s oficiais d e u m a a v a l i a ç ã o s ã o d e q u a t r o tipos:

• a j u d a r n o p l a n e j a m e n t o e na e l a b o r a ç ã o d e u m a i n t e r v e n ç ã o (objetivo estratégico);

• f o r n e c e r i n f o r m a ç ã o p a r a m e l h o r a r u m a i n t e r v e n ç ã o n o s e u d e c o r r e r (objetivo
formativo);

• d e t e r m i n a r os efeitos d e u m a i n t e r v e n ç ã o para d e c i d i r se ela d e v e ser m a n t i d a ,

t r a n s f o r m a d a d e f o r m a i m p o r t a n t e o u i n t e r r o m p i d a (objetivo s o m a t i v o ) ;

• c o n t r i b u i r p a r a o progresso d o s c o n h e c i m e n t o s , para a e l a b o r a ç ã o teórica (objetivo

fundamental).

O s o b j e t i v o s oficiosos d o s diferentes atores, muitas v e z e s implícitos, são t a m -

b é m m u i t o i m p o r t a n t e s d e se considerar.
O s administradores q u e p e d e m uma avaliação p o d e m querer:

• atrasar u m a d e c i s ã o ;

• legitimar u m a d e c i s ã o já t o m a d a ;

• a m p l i a r s e u p o d e r e o c o n t r o l e q u e eles e x e r c e m s o b r e a i n t e r v e n ç ã o ;

• satisfazer as e x i g ê n c i a s d o s o r g a n i s m o s d e f i n a n c i a m e n t o .

O s a v a l i a d o r e s p o d e m buscar:

• a m p l i a r os c o n h e c i m e n t o s ;

• a m p l i a r s e u prestígio e p o d e r ;

• obter uma p r o m o ç ã o ;

• p r o m o v e r u m a i d é i a q u e lhes é c a r a .

O s usuários p o d e m b u s c a r :

• b e n e f í c i o s c o m serviços diferentes d o s d i s p o n í v e i s h a b i t u a l m e n t e ;

• reduzir sua d e p e n d ê n c i a p e r a n t e profissionais.

O pessoal d e u m a o r g a n i z a ç ã o p o d e b u s c a r :

• a t r o p e l a r as regras h i e r á r q u i c a s ;

• obter u m adiantamento.

A AVALIAÇÃO NORMATIVA

A a v a l i a ç ã o n o r m a t i v a é a a t i v i d a d e q u e consiste e m fazer u m j u l g a m e n t o sobre

u m a i n t e r v e n ç ã o , c o m p a r a n d o os recursos e m p r e g a d o s e sua o r g a n i z a ç ã o (estrutura),
o s serviços o u os b e n s p r o d u z i d o s (processo), e os resultados o b t i d o s , c o m critérios e
n o r m a s (Figura 4 ) .
 FIGURA 4

A avaliação normativa

A p r e c i a ç ã o d o s resultados

A p r e c i a ç ã o d o processo

A p r e c i a ç ã o d a estrutura

C o n t e x t o |"

© Gris, Universidade de Montreal, 1992.

O s critérios e as n o r m a s nos q u a i s se a p ó i a m as a v a l i a ç õ e s n o r m a t i v a s c o n s t i t u -

e m o q u e R i v e l i n e ( 1 9 9 1 ) c h a m a d e " r e s u m o s d o v e r d a d e i r o e r e s u m o s d o b e m " . Eles

p o d e m ser d e r i v a d o s d o s resultados d a pesquisa avaliativa o u d e o u t r o s tipos d e p e s -

quisa, o u f u n d a m e n t a d o s n o j u l g a m e n t o d e pessoas b e m - i n f o r m a d a s o u d e experts na

área. Todas as a v a l i a ç õ e s n o r m a t i v a s se a p ó i a m n o p o s t u l a d o d e q u e existe u m a rela-

ç ã o forte e n t r e o respeito a o s critérios e às n o r m a s e s c o l h i d a s e os efeitos reais d o

p r o g r a m a o u d a i n t e r v e n ç ã o (Rossi & F r e e m a n , 1 9 8 5 ) .

A avaliação normativa é u m a atividade c o m u m e m u m a organização o u u m

programa. Ela c o r r e s p o n d e às f u n ç õ e s d e c o n t r o l e e d e a c o m p a n h a m e n t o , assim c o m o

aos p r o g r a m a s d e garantia d e q u a l i d a d e ( C l e m e n h a g e n & C h a m p a g n e , 1 9 8 6 ) .

Apreciação da Estrutura
Trata-se d e saber e m q u e m e d i d a os recursos são e m p r e g a d o s d e m o d o a d e -
q u a d o para atingir os resultados e s p e r a d o s . C o m p a r a m o s e n t ã o os recursos d a inter-
v e n ç ã o , assim c o m o sua o r g a n i z a ç ã o , c o m critérios e n o r m a s c o r r e s p o n d e n t e s . Esse
tipo d e a p r e c i a ç ã o d e v e r i a permitir r e s p o n d e r às perguntas d o t i p o : O pessoal é c o m -
p e t e n t e ? A o r g a n i z a ç ã o administrativa f a v o r e c e a c o n t i n u i d a d e e a g l o b a l i d a d e ? Estes
recursos são suficientes p a r a o f e r e c e r o l e q u e c o m p l e t o d o s serviços prestados? É g e -
r a l m e n t e neste t i p o d e a p r e c i a ç ã o q u e se a p ó i a m os o r g a n i s m o s d e a c r e d i t a ç ã o .
 Apreciação do Processo
Trata-se d e saber e m q u e m e d i d a os serviços são a d e q u a d o s para atingir os

resultados e s p e r a d o s . Esta a p r e c i a ç ã o se faz c o m p a r a n d o os serviços o f e r e c i d o s p e l o

p r o g r a m a o u p e l a i n t e r v e n ç ã o c o m critérios e n o r m a s p r e d e t e r m i n a d a s e m f u n ç ã o d o s

resultados v i s a d o s .

A a p r e c i a ç ã o d o p r o c e s s o d e u m a i n t e r v e n ç ã o v i s a n d o o f e r e c e r serviços para

u m a c l i e n t e l a p o d e ser d e c o m p o s t a e m três d i m e n s õ e s : a d i m e n s ã o t é c n i c a , a d i m e n -

são d a s r e l a ç õ e s interpessoais e a d i m e n s ã o o r g a n i z a c i o n a l .

A d i m e n s ã o técnica dos serviços

A p r e c i a a a d e q u a ç ã o d o s serviços às n e c e s s i d a d e s . O s serviços c o r r e s p o n d e m
às n e c e s s i d a d e s d o s b e n e f i c i á r i o s ; d o s clientes? A d i m e n s ã o t é c n i c a inclui a a p r e c i a -
ç ã o d a q u a l i d a d e d o s s e r v i ç o s . Trata-se g e r a l m e n t e d a q u a l i d a d e d e f i n i d a a partir d o s
critérios e d a s n o r m a s profissionais. O s p r o g r a m a s d e garantia d a q u a l i d a d e nas orga-
n i z a ç õ e s f a z e m p a r t e d a a p r e c i a ç ã o d o processo.

A d i m e n s ã o das relações interpessoais

A p r e c i a a i n t e r a ç ã o psicológica e social q u e existe e n t r e os clientes e os p r o d u -

tores d e c u i d a d o s . N o s interessamos e n t ã o n o a p o i o q u e o pessoal d á aos p a c i e n t e s ,
n a satisfação destes, n a cortesia d o s p r o d u t o r e s d e c u i d a d o s e n o respeito à pessoa.

A dimensão organizacional

A d i m e n s ã o o r g a n i z a c i o n a l d o processo diz respeito à acessibilidade aos servi-

ç o s , à e x t e n s ã o d a c o b e r t u r a d o s serviços o f e r e c i d o s pela i n t e r v e n ç ã o c o n s i d e r a d a ,

assim c o m o à g l o b a l i d a d e e à c o n t i n u i d a d e d o s c u i d a d o s e d o s serviços. Por globalidade

e c o n t i n u i d a d e e n t e n d e m o s o c a r á t e r multiprofissional e interorganizacional d o s c u i -

d a d o s , assim c o m o sua c o n t i n u i d a d e n o t e m p o e n o e s p a ç o .

A Apreciação dos Resultados

A a p r e c i a ç ã o d o s resultados consiste e m se perguntar se os resultados o b s e r v a -

d o s c o r r e s p o n d e m a o s e s p e r a d o s , isto é , a o s o b j e t i v o s q u e a i n t e r v e n ç ã o se p r o p ô s

atingir. A a p r e c i a ç ã o d o s resultados é feita c o m p a r a n d o - s e os í n d i c e s d o s resultados

o b t i d o s c o m critérios e c o m n o r m a s d e resultados e s p e r a d o s . Esta a p r e c i a ç ã o é , m u i -

tas v e z e s , insuficiente para se fazer u m j u l g a m e n t o v á l i d o s o b r e os resultados d e u m a

i n t e r v e n ç ã o . P a r a avaliá-los d e v e - s e g e r a l m e n t e e m p r e g a r u m a pesquisa avaliativa.

 A PESQUISA AVALIATIVA
P o d e m o s definir a pesquisa avaliativa c o m o o p r o c e d i m e n t o q u e consiste e m

fazer u m j u l g a m e n t o ex-post d e u m a i n t e r v e n ç ã o u s a n d o m é t o d o s científicos. M a i s

p r e c i s a m e n t e , trata-se d e analisar a p e r t i n ê n c i a , os f u n d a m e n t o s t e ó r i c o s , a p r o d u t i v i -

d a d e , os efeitos e o r e n d i m e n t o d e u m a i n t e r v e n ç ã o , assim c o m o as r e l a ç õ e s e x i s t e n -

tes e n t r e a i n t e r v e n ç ã o , e o c o n t e x t o n o q u a l ela se situa, g e r a l m e n t e c o m o o b j e t i v o

d e ajudar na t o m a d a d e d e c i s õ e s .

A pesquisa avaliativa, c o m o p o d e m o s v e r na Figura 5, p o d e se d e c o m p o r e m

seis tipos d e análise. Fazer pesquisa avaliativa e m u m a i n t e r v e n ç ã o consistirá, p o r t a n -
to, e m fazer u m a o u várias destas análises. T e r e m o s , e n t ã o , q u e f r e q ü e n t e m e n t e a p e -
lar para várias estratégias d e pesquisa e c o n s i d e r a r as perspectivas d o s d i f e r e n t e s a t o -
res e n v o l v i d o s na i n t e r v e n ç ã o .

FIGURA 5

A pesquisa avaliativa

Situação
Problemática
Análise
estratégica

Efeitos Objetivos
Análise dos
Análise da
efeitos
intervenção
Serviços
Análise da
Análise d o .
produtividade
rendimento
Recursos

Análise da
implantação

Contexto

© Gris, Universidade de Montreal, 1992.

Análise Estratégica
Trata-se d e analisar a p e r t i n ê n c i a d a i n t e r v e n ç ã o , isto é , d e analisar a a d e q u a -
ç ã o estratégica e n t r e a i n t e r v e n ç ã o e a situação p r o b l e m á t i c a q u e d e u o r i g e m à inter-
v e n ç ã o . Para isto, f a z e m o s d u a s perguntas (Figura 6 ) : é p e r t i n e n t e intervir para este
p r o b l e m a c o n s i d e r a n d o t o d o s os p r o b l e m a s existentes? É p e r t i n e n t e , c o n s i d e r a n d o a
estratégia d e i n t e r v e n ç ã o a d o t a d a , intervir c o m o está s e n d o feito? O u seja, o fator d e
risco n o q u a l q u e r agir a i n t e r v e n ç ã o é o m a i s i m p o r t a n t e , a p o p u l a ç ã o - a l v o é a d e
m a i o r risco? O s recursos e m p r e g a d o s são os m a i s a d a p t a d o s ?

FIGURA 6

A n á l i s e Estratégica: j u l g a m e n t o s o b r e a p e r t i n ê n c i a d e u m a I n t e r v e n ç ã o

Problemas de saúde 1

i r

Problema escolhido (doenças

cardiovasculares; AlDS...)

Objetivo específico da 2
Intervenção: modificação
d e u m f a t o r d e risco e m u m a +.
p o p u l a ç ã o específica através d e
u m c o n j u n t o preciso d e recursos

Fazer estas análises i m p l i c a q u e nos p r e o c u p e m o s c o m a f o r m a c o m o a situa-

ç ã o p r o b l e m á t i c a foi i d e n t i f i c a d a , isto é , c o m m é t o d o s usados para a p r e c i a r as n e c e s -

s i d a d e s , c o m o grau d e p r i o r i d a d e d o p r o b l e m a d e s a ú d e e s c o l h i d o e m relação a o

c o n j u n t o d o s p r o b l e m a s identificados, assim c o m o c o m a p e r t i n ê n c i a d a i n t e r v e n ç ã o

e s c o l h i d a e m r e l a ç ã o a t o d a s as i n t e r v e n ç õ e s possíveis.

A a n á l i s e estratégica d e u m a i n t e r v e n ç ã o p o d e ser feita a partir d e análises d e

m e r c a d o , análises d e n e c e s s i d a d e s , d e m é t o d o s d e d e t e r m i n a ç ã o d e prioridades e t c .

(Dever & C h a m p a g n e , 1984).

Análise da Intervenção
A a n á l i s e d a i n t e r v e n ç ã o consiste e m estudar a r e l a ç ã o q u e existe e n t r e os o b -
jetivos d a i n t e r v e n ç ã o e os m e i o s e m p r e g a d o s . Trata-se d e interrogar s o b r e a c a p a c i d a -
d e d o s recursos q u e f o r a m m o b i l i z a d o s e d o s serviços q u e f o r a m p r o d u z i d o s para
atingir os o b j e t i v o s d e f i n i d o s (Figura 7).
 FIGURA 7
Análise da Intervenção

Efeitos s o b r e o o b j e t i v o d e

Hipótese saúde visado (redução das

causal doenças cardiovasculares;
AIDS)

Efeito d i r e t o d a
Objetivos específicos
Intervenção (% d e
da Intervenção (redução
r e d u ç ã o d a taxa d e
d a taxa d e c o l e s t e r o l o u
colesterol o u d a
da infecção pelo H I V )
infecção pelo HIV)

Hipótese sobre
o mecanismo
de ação da
intervenção
Objetivo
intermediário
(inibição d o
HMG-Coa;
utilização d e
condons)

Atividades Recursos

Processo Estrutura
( u m medicamento; u m programa
d e e d u c a ç ã o sanitária)
 Para analisar esta r e l a ç ã o , p o d e m o s nos perguntar, p o r u m l a d o , se a teoria na

q u a l a i n t e r v e n ç ã o foi c o n s t r u í d a é a d e q u a d a e , p o r o u t r o , se os recursos e as ativida-

d e s s ã o suficientes e m q u a n t i d a d e , e m q u a l i d a d e e na m a n e i r a c o m o estão organiza-

d a s . N o s p e r g u n t a m o s , a s s i m , se o algoritmo d a i n t e r v e n ç ã o é v á l i d o e a p r o p r i a d o e se

os m e i o s e m p r e g a d o s para atingir os objetivos são a d e q u a d o s e suficientes. D a m e s m a

f o r m a q u e n o s i n t e r r o g a m o s s o b r e a c o n f i a b i l i d a d e e a v a l i d a d e d o s instrumentos d e

m e d i d a e m u m a p e s q u i s a , p o d e m o s nos interrogar sobre a c o n f i a b i l i d a d e e a v a l i d a d e

d a i n t e r v e n ç ã o e m u m a pesquisa avaliativa.

O s m é t o d o s a p r o p r i a d o s para a análise d a i n t e r v e n ç ã o são os q u e p e r m i t e m

a p r e c i a r a q u a l i d a d e d e u m m o d e l o t e ó r i c o , isto é , sua v e r a c i d a d e e sua g e n e r a l i d a d e

( C h e n , 1 9 9 0 ) . Elas s ã o e x t r a p o l a ç õ e s d o s m é t o d o s d e s e n v o l v i d o s para a p r e c i a r a q u a -

lidade d e u m instrumento d e medida (Mark, 1990).

Análise da Produtividade
A a n á l i s e d a p r o d u t i v i d a d e consiste e m estudar o m o d o c o m o os recursos são
u s a d o s p a r a p r o d u z i r serviços. A í se c o l o c a m dois tipos d e q u e s t õ e s : p o d e r í a m o s p r o -
d u z i r m a i s serviços c o m os m e s m o s recursos? P o d e r í a m o s produzir a m e s m a q u a n t i d a -
d e d e serviços c o m m e n o s recursos?

A p r o d u t i v i d a d e p o d e ser m e d i d a e m u n i d a d e s físicas o u e m u n i d a d e s m o n e t á -
rias. N o p r i m e i r o c a s o , f a l a r e m o s d e p r o d u t i v i d a d e física, n o s e g u n d o , d e p r o d u t i v i d a -
de econômica.

Para analisar a p r o d u t i v i d a d e d e u m a i n t e r v e n ç ã o , deve-se p o d e r definir e m e d i r

sua p r o d u ç ã o . N a á r e a d a s a ú d e , trata-se muitas v e z e s d e u m e m p r e e n d i m e n t o difícil
e para a l c a n ç á - l o é i m p o r t a n t e d e c o m p o r o c o n c e i t o d e p r o d u ç ã o .

P o d e m o s c o n c e b e r (Figura 8) q u e t o d a i n t e r v e n ç ã o na á r e a d a s a ú d e p r o d u z
d i f e r e n t e s tipos d e resultados. O s recursos d a i n t e r v e n ç ã o s e r v e m , e m p r i m e i r o lugar,
para p r o d u z i r serviços d e s u p o r t e . Trata-se e s s e n c i a l m e n t e d e p r o d u t o s intermediários
q u e , c o m b i n a d o s c o m c o n t r i b u i ç õ e s profissionais, s e r v e m para produzir serviços c l í n i -
c o s q u e p o d e m o s c h a m a r d e resultados primários.

Estes serviços c l í n i c o s , q u a n d o são c o m b i n a d o s para r e s p o n d e r a o s p r o b l e m a s

d e s a ú d e d e u m p a c i e n t e , p r o d u z e m e p i s ó d i o s d e t r a t a m e n t o q u e são os resultados
finais d a i n t e r v e n ç ã o . Estes e p i s ó d i o s d e t r a t a m e n t o , c u j o o b j e t i v o é m o d i f i c a r u m
p r o b l e m a d e s a ú d e , p o d e m eles m e s m o s se c o m b i n a r c o m outros fatores para m e l h o -
rar o e s t a d o d e s a ú d e d o s p a c i e n t e s e m q u e s t ã o .
 FIGURA 8
Produtos d e u m a Intervenção d e saúde

INTERVENÇÃO

Inputs
Gerais

Outputs Inputs Recursos

Gerais Gerais Profissionais

1'
Outputs
F
Inputs
Primários Secundários
(Serviços
clínicos)
+
Julgamentos
profissionais
Outros
determinantes
da S a ú d e

Processos de transformação do problema de saúde

Problema da Outputs Outcome

Saúde de um Secundários • ou Output
paciente (Tratamentos) F 3
Final
efeitos-saúde, isto é,
transformação d o
problema d e saúde)

Contandriopoulos, A. R, Gris, 1990.

A análise d a p r o d u t i v i d a d e p o d e , p o r t a n t o , ser feita e m vários n í v e i s :

• P o d e m o s falar d a c a p a c i d a d e d o s recursos para p r o d u z i r serviços d e s u p o r t e ( p r o d u -

t i v i d a d e d o pessoal d e m a n u t e n ç ã o d e p r o d u z i r serviços d e r e p a r a ç ã o , serviços a l i -
m e n t a r e s d e p r o d u z i r refeições).

• P o d e m o s falar d a p r o d u t i v i d a d e d o s recursos profissionais e m serviços clínicos (recur-

sos d e laboratório e d e radiologia para produzir e x a m e s laboratoriais e radiológicos).
 O s d i f e r e n t e s serviços clínicos p o d e m ser c o m b i n a d o s para p r o d u z i r t r a t a m e n -

tos para o s p a c i e n t e s e s p e c í f i c o s . F a l a r e m o s e n t ã o d a p r o d u t i v i d a d e d o s recursos para

produzir tratamentos.

P o d e r í a m o s a i n d a a m p l i a r a análise e falar d a p r o d u t i v i d a d e d o s recursos para

p r o d u z i r efeitos d e s a ú d e . D e i x a r í a m o s , e n t ã o , a á r e a d a análise d a p r o d u t i v i d a d e d e

u m a i n t e r v e n ç ã o p a r a e n t r a r na análise d o s seus efeitos.

M é t o d o s a p r o p r i a d o s para a análise d a p r o d u t i v i d a d e são d e r i v a d o s d o s m é t o -

d o s e c o n ô m i c o s e d o s m é t o d o s d a c o n t a b i l i d a d e analítica.

Análise dos Efeitos

A a n á l i s e d o s efeitos é a q u e l a q u e se baseia e m avaliar a influência d o s serviços
s o b r e os estados d e s a ú d e . Ela consistirá e m d e t e r m i n a r a eficácia d o s serviços para
m o d i f i c a r os estados d e s a ú d e . A m e d i d a d o s efeitos, q u e s e j a m d e s e j a d o s , o u n ã o ,
d e p e n d e d o t i p o d e pesquisa a d o t a d a (Figura 9 ) . O c o n c e i t o d e eficácia n ã o t e m u m
s e n t i d o a b s o l u t o , e l e d e v e ser q u a l i f i c a d o e m v i r t u d e d o c o n t e x t o n o q u a l a pesquisa é
feita, d o p r o c e d i m e n t o e s c o l h i d o , d a natureza d a i n t e r v e n ç ã o a v a l i a d a e d a f i n a l i d a d e
d o exercício d e avaliação.

P o d e m o s falar d e eficácia teórica q u a n d o nos situamos n o c o n t e x t o d a pesquisa

d e l a b o r a t ó r i o n o q u a l o a m b i e n t e é i n t e i r a m e n t e c o n t r o l a d o e n o q u a l n ã o há v a r i a -
bilidade interindividual.

A eficácia dos ensaios é a q u e é m e d i d a nos ensaios clínicos r a n d o m i z a d o s . A

i n t e r v e n ç ã o é a p l i c a d a d e u m a f o r m a total e o t i m i z a d a para c a d a u m d o s i n d i v í d u o s a
e l a s u b m e t i d o s . A e f i c á c i a d o s ensaios c o n s i d e r a as v a r i a ç õ e s inter-individuais, m a s
n ã o as v a r i a ç õ e s n o c o m p o r t a m e n t o d o s usuários e d o s profissionais.

A eficácia de utilização é a q u e l a q u e e s t i m a m o s a o analisar os resultados d e

u m a i n t e r v e n ç ã o , e m u m c o n t e x t o n a t u r a l , s o b r e os i n d i v í d u o s q u e d e l a se b e n e f i c i a -
r a m . N e s t a s i t u a ç ã o , as v a r i á v e i s relativas a o s usuários e a o s prestadores d e serviço são
observadas.

P o d e m o s a i n d a e s t e n d e r o c o n c e i t o d e eficácia e falar d e eficácia populacional

c o n s i d e r a n d o os efeitos d e u m a i n t e r v e n ç ã o n ã o s o m e n t e para a q u e l e s q u e b e n e f i c i -
aram-se d e l a , m a s t a m b é m para t o d a a p o p u l a ç ã o a q u e m a i n t e r v e n ç ã o e r a destina-
d a . C o n s i d e r a m o s e n t ã o o grau d e c o b e r t u r a d a i n t e r v e n ç ã o , sua a c e i t a b i l i d a d e e sua
acessibilidade na população-alvo.

N a a n á l i s e d o s efeitos, é i m p o r t a n t e c o n s i d e r a r n ã o s o m e n t e a q u e l e s q u e são
d e s e j á v e i s , m a s t a m b é m os efeitos n ã o d e s e j a d o s . E m outros t e r m o s , é i m p o r t a n t e
c o n s i d e r a r os efeitos e x t e r n o s para a p o p u l a ç ã o - a l v o e t a m b é m e v e n t u a l m e n t e para as
outras p o p u l a ç õ e s n ã o visadas d i r e t a m e n t e pela i n t e r v e n ç ã o .

N a a n á l i s e d o s efeitos, t a m b é m é m u i t o i m p o r t a n t e analisar, q u a n d o for possí-

v e l , n ã o s o m e n t e os efeitos a c u r t o p r a z o , m a s t a m b é m os efeitos a longo prazo.
 FIGURA 9
M e d i d a d o s efeitos d e u m a I n t e r v e n ç ã o

Contexto da Estratégia e Natureza da Eficácia Medida Finalidade da

Pesquisa Desenho de Intervenção (direta/indireta, Pesquisa e Tipo de
Pesquisa Avaliada prevista/imprevista, Usuário
desejada/indesejada

Laboratório Experimento Intervenção pura, Eficácia teórica Aquisição de novos

(especificação das isolada de seu conhecimentos
hipóteses rivais contexto (princípio (outros
consideradas) ativo de um pesquisadores)
remédio)

Ensaios clínicos Ensaios aleatórios Intervenção Eficácia experimental Efeito puro de uma
(hipóteses rivais não perfeitamente intervenção sobre o
especificadas) controlada homem (outros
(padronização dos pesquisadores,
comportamentos clínicos)
dos atores)

Prática normal Procedimentos Intervenção Eficácia de utilização Ajuda para a

quase-experimentais; atuando em um decisão e avaliação
experimentação contexto normal da intervenção
invocada (hipóteses (comportamentos (gerentes, clínicos)
rivais especificadas) variados dos atores)

Comunidade, Experimentação Intervenção e Eficácia populacional Ajuda para decisão

população invocada; Pesquisa contexto e planejamento
sintética (ampliação (intervenção + (gerentes,
das hipóteses rivais) comportamento planejadores,
dos atores + políticos)
acessibilidade)

© Gris, Universidade de Montreal, 1992.

O s m é t o d o s p á r a analisar a eficácia d e u m a i n t e r v e n ç ã o são m u i t o s . Eles p o -

d e m ser q u a n t i t a t i v o s e q u a l i t a t i v o s , d e n a t u r e z a e x p e r i m e n t a l o u sintética
(Contandriopoulos et al., 1990).

A Análise do Rendimento
A análise d o r e n d i m e n t o ( o u d a e f i c i ê n c i a ) é a q u e l a q u e consiste e m r e l a c i o n a r
a análise d o s recursos e m p r e g a d o s c o m os efeitos o b t i d o s . Trata-se d e u m a c o m b i n a -
ç ã o d a análise d a p r o d u t i v i d a d e e c o n ô m i c a e d a análise d o s efeitos. A a v a l i a ç ã o d o
r e n d i m e n t o d e u m a i n t e r v e n ç ã o se faz g e r a l m e n t e c o m a j u d a d e análises c u s t o / b e n e -
fício, custo/eficácia o u custo/utilidade.

N a s análises custo/benefício, e x p r e s s a m o s e m t e r m o s m o n e t á r i o s t o d o s o s c u s -
tos d a i n t e r v e n ç ã o e t o d a s as v a n t a g e n s q u e ela traz.
 N a s análises custo/eficácia e custo/utilidade, os custos são expressos e m t e r m o s
m o n e t á r i o s , m a s as v a n t a g e n s são expressas o u por í n d i c e s reais d e resultados (anos d e
v i d a g a n h o s , í n d i c e d e satisfação, r e d u ç ã o d a d o r etc.) o u pela utilidade q u e traz a
i n t e r v e n ç ã o para a q u e l e s a o s q u a i s ela se destina ( Q A L Y - Q u a l i t y A d j u s t e d Life Years).

A s análises d e custo/benefício são as mais gerais. Elas i m p l i c a m saber d e t e r m i -

nar o v a l o r d a s v a n t a g e n s e d o s custos d e u m a i n t e r v e n ç ã o para otimizar a atribuição
d e recursos. Este t i p o d e análise é m u i t o difícil d e se c o n d u z i r na área d a s a ú d e ,
p a r t i c u l a r m e n t e p o r c a u s a d a d i f i c u l d a d e q u e se t e m d e d a r u m valor m o n e t á r i o para
variações nos estados d e saúde.

A s análises custo/eficácia o u custo/utilidade são as mais f r e q ü e n t e s . C o n s i s t e m

e m c o m p a r a r os custos d e diversas i n t e r v e n ç õ e s c o m sua eficácia nos usuários o u ,
a i n d a , c o m a u t i l i d a d e q u e os usuários retiram d a i n t e r v e n ç ã o . O c o n c e i t o d e utilidade
u s a d o nas análises custo/utilidade p e r m i t e i n c o r p o r a r os diferentes efeitos possíveis d e
u m a i n t e r v e n ç ã o e m u m só i n d i c a d o r . Ele p e r m i t e , portanto, c o m p a r a r e n t r e elas as
d i f e r e n t e s i n t e r v e n ç õ e s q u e n ã o t ê m os m e s m o s objetivos. Esta c o m p a r a ç ã o é , na
m a i o r i a d a s v e z e s , impossível a partir d o s resultados d e análise custo/eficácia. T o d a v i a ,
a d e t e r m i n a ç ã o d a u t i l i d a d e associada a diferentes tipos d e efeitos traz sérios p r o b l e -
mas metodológicos e conceituais.

A s d i f i c u l d a d e s m e t o d o l ó g i c a s desta análise estão na m e d i d a das vantagens e

na d e f i n i ç ã o d e critérios q u e p e r m i t e m c o m p a r a r o r e n d i m e n t o d e várias o p ç õ e s .

Análise da Implantação
O último t i p o d e análise q u e p o d e m o s fazer n o q u a d r o d e u m a pesquisa avaliativa

consiste, p o r u m l a d o , e m m e d i r a influência q u e p o d e ter a v a r i a ç ã o n o grau d e

i m p l a n t a ç ã o d e u m a i n t e r v e n ç ã o nos seus efeitos e, por o u t r o , e m a p r e c i a r a i n f l u ê n -

c i a d o a m b i e n t e , d o c o n t e x t o , n o q u a l a i n t e r v e n ç ã o está i m p l a n t a d a nos efeitos d a

i n t e r v e n ç ã o . Este t i p o d e análise é p e r t i n e n t e q u a n d o o b s e r v a m o s u m a g r a n d e v a r i a b i -

l i d a d e n o s resultados o b t i d o s p o r i n t e r v e n ç õ e s s e m e l h a n t e s i m p l a n t a d a s e m contextos

d i f e r e n t e s . D e v e m o s , e n t ã o , nos perguntar se esta v a r i a b i l i d a d e p o d e ser e x p l i c a d a

p o r d i f e r e n ç a s existentes nos c o n t e x t o s . A análise d a i m p l a n t a ç ã o é p a r t i c u l a r m e n t e

i m p o r t a n t e q u a n d o a i n t e r v e n ç ã o analisada é c o m p l e x a e c o m p o s t a d e e l e m e n t o s

s e q ü e n c i a i s s o b r e o s q u a i s o c o n t e x t o p o d e interagir d e diferentes m o d o s .

O p r i m e i r o t i p o d e análise d a i m p l a n t a ç ã o consiste e m m e d i r a influência d a

v a r i a ç ã o n o grau d e i m p l a n t a ç ã o d a i n t e r v e n ç ã o e m diferentes c o n t e x t o s . A t é m e s m o

u m a a u s ê n c i a d e efeito p o d e ser c o n s e q ü ê n c i a d o fato d e q u e a i n t e r v e n ç ã o a v a l i a d a

n ã o foi r e a l m e n t e i m p l a n t a d a .
 O s e g u n d o t i p o d e análise d a i m p l a n t a ç ã o consiste e m se perguntar s o b r e os
efeitos d a i n t e r d e p e n d ê n c i a q u e p o d e h a v e r e n t r e o c o n t e x t o n o q u a l a i n t e r v e n ç ã o
está i m p l a n t a d a e a i n t e r v e n ç ã o e m si.
N o s interrogamos, neste t i p o d e análise, s o b r e o sinergismo q u e p o d e existir
entre u m c o n t e x t o e u m a i n t e r v e n ç ã o o u , p e l o c o n t r á r i o , s o b r e os a n t a g o n i s m o s e x i s -
tentes e n t r e o c o n t e x t o e a i n t e r v e n ç ã o , isto é , s o b r e os efeitos i n i b i d o r e s d o c o n t e x t o
e sobre os efeitos d a i n t e r v e n ç ã o .
O s m é t o d o s a p r o p r i a d o s para analisar a i m p l a n t a ç ã o d e u m p r o g r a m a s ã o , s o -
b r e t u d o , os estudos d e casos ( Y i n , 1 9 8 9 ) .

CONCLUSÃO

S e n d o o o b j e t i v o final d a a v a l i a ç ã o o d e ajudar n a t o m a d a d e d e c i s õ e s , é p r e c i -
so se interrogar s o b r e a influência q u e as i n f o r m a ç õ e s f o r n e c i d a s p e l o a v a l i a d o r p o -
d e m ter nas d e c i s õ e s .

A a v a l i a ç ã o n o r m a t i v a t e m c o m o f i n a l i d a d e principal a j u d a r os gerentes a p r e -
e n c h e r suas f u n ç õ e s habituais. Ela é n o r m a l m e n t e feita p o r a q u e l e s q u e são r e s p o n s á -
veis pelo f u n c i o n a m e n t o e pela gestão d a i n t e r v e n ç ã o , faz parte d a a t i v i d a d e natural
d e u m g e r e n t e e d e v e r i a , p o r t a n t o , ter u m a forte v a l i d a d e p r a g m á t i c a ( D u n n , 1 9 8 9 ) .
N o e n t a n t o , a pesquisa avaliativa, q u e exige u m a perícia m e t o d o l ó g i c a e t e ó r i -
ca i m p o r t a n t e , g e r a l m e n t e n ã o p o d e ser feita por a q u e l e s q u e são responsáveis p e l a
i n t e r v e n ç ã o e m si. Ela é mais f r e q ü e n t e m e n t e c o n f i a d a a p e s q u i s a d o r e s q u e são e x t e -
riores à i n t e r v e n ç ã o . N e s t e c a s o , a q u e s t ã o d e saber se seus t r a b a l h o s s e r ã o úteis para
as decisões é i m p o r t a n t e .

O q u a d r o d e referência p r o p o s t o e v i d e n c i a q u e a a v a l i a ç ã o d e u m a i n t e r v e n -
ç ã o é constituída pelos resultados d e várias análises o b t i d a s p o r m é t o d o s e a b o r d a g e n s
diferentes. Estes resultados n ã o p o d e r ã o ser f a c i l m e n t e r e s u m i d o s e m u m p e q u e n o
n ú m e r o d e r e c o m e n d a ç õ e s . E a t é p r o v á v e l q u e q u a n t o mais u m a a v a l i a ç ã o seja b e m ¬
s u c e d i d a , mais ela a b r a c a m i n h o s para n o v a s perguntas. Ela s e m e i a d ú v i d a s s e m ter
c o n d i ç õ e s d e d a r t o d a s as respostas e n ã o p o d e n u n c a t e r m i n a r r e a l m e n t e , d e v e ser
vista c o m o u m a a t i v i d a d e d i n â m i c a n o t e m p o , a p e l a n d o para atores n u m e r o s o s , utili-
z a n d o m é t o d o s diversos e e n v o l v e n d o c o m p e t ê n c i a s v a r i a d a s .

A a v a l i a ç ã o é u m a a t i v i d a d e , c o m o a pesquisa, útil para o e s t a b e l e c i m e n t o d e

políticas, m a s n u n c a é suficiente para e s t a b e l e c e r políticas (Figura 1 0 ) .
 F I G U R A 10
Pesquisa - A v a l i a ç ã o - Políticas

A pesquisa A avaliação

Os políticos

© Gris, Universidade de Montreal, 1992.

Para a u m e n t a r as c h a n c e s d e q u e os resultados d e u m a a v a l i a ç ã o s e j a m úteis, é

i m p o r t a n t e se c o n s c i e n t i z a r d e q u e a a v a l i a ç ã o é u m dispositivo d e p r o d u ç ã o d e infor-
m a ç ã o e , c o n s e q ü e n t e m e n t e , d e q u e ela é f o n t e d e p o d e r para os atores q u e a c o n t r o -
l a m . D e v e - s e p o r t a n t o assegurar, inspirando-se n o d e b a t e e n t r e Patton ( 1 9 8 6 ) e W e i s s
(1988a, b), q u e :

• t o d o s o s q u e d e c i d e m e s t e j a m i m p l i c a d o s na d e f i n i ç ã o d o s p r o b l e m a s q u e d e v e m
ser resolvidos e nas estratégias d e pesquisa a empregar-se. S e por e x e m p l o , para
m e d i r o s efeitos d e u m a i n t e r v e n ç ã o d e c i d i r m o s fazer u m teste aleatório, c o n h e c e -
r e m o s a e f i c á c i a e m u m a s i t u a ç ã o p e r f e i t a m e n t e c o n t r o l a d a , m a s este resultado será
d e p o u c o interesse para q u e m d e c i d i u q u e q u e r c o n h e c e r a e f i c á c i a d e sua inter-
v e n ç ã o e m u m contexto b e m específico;

• s e j a m p e r i o d i c a m e n t e i n f o r m a d o s a q u e l e s q u e d e c i d e m os resultados o b t i d o s pela
a v a l i a ç ã o . N o final é m u i t a s v e z e s t a r d e d e m a i s para agir;

• o a v a l i a d o r f a ç a o p a p e l d e u m a g e n t e facilitador e d e p e d a g o g o na utilização d o s
resultados;

• a i n f o r m a ç ã o e x t r a í d a d e u m a a v a l i a ç ã o seja c o n s i d e r a d a c o m o u m a f e r r a m e n t a d e
n e g o c i a ç ã o e n t r e interesses múltiplos e n ã o c o m o u m a v e r d a d e absoluta;

• e s t e j a m o s c o n s c i e n t e s d o fato d e q u e o s q u e d e c i d e m n ã o p o d e m definir e x a t a m e n -
t e suas n e c e s s i d a d e s d e i n f o r m a ç ã o e , c o n s e q ü e n t e m e n t e , q u e a a v a l i a ç ã o p o d e r á
d a r respostas parciais a o s p r o b l e m a s q u e eles e n f r e n t a m ;

• a a v a l i a ç ã o seja feita c o m o m a i o r rigor possível.

 REFERÊNCIAS BIBLIOGRÁFICAS
C H E N , T. H. Theory-Driven Evaluations. Beverly Hills: Sage, 1990.

C L E M E N H A C E N , C. & C H A M P A G N E , F. Quality assurance as part of Program Evaluation:

Guidelines for managers and clinical department heads. Quality Review Bulletin, 1986.

C O N T A N D R I O P O U L O S , A. P. et al. Savoir Préparer une Recherche. Montréal: Presses de

l'Université de Montréal, 1990.

D E N I S , J . L. & C H A M P A G N E , F. Analyse de l'implantation. Montréal, Cahiers du G R I S , N90-05,

1990.

DEVER, G . & C H A M P A G N E , F. Epidemiology in Health Services Management. Rockville: Aspen,

1984.

D U N N , W . N. Two faces of validity in the policy sciences. Knowledge in Society, 2(1), 1989.

GEPHART, W . J . Watercolor painting. In: S M I T H , N. L. (Ed.) Mataphors for Evaluation. Beverly

Hills: Sage, 1 9 8 1 . p.247-272.

C U B A , E. G . & L I N C O L N , Y. S. Fourth Generation Evaluation.Beverly Hills: Sage, 1990.

M A R K , M . From program theory to tests of program theory. New Directions for Program Evaluation,
47, 1990.

PATTON, M . Q. Creative Evaluation. Beverly Hills: Sage, 1 9 8 1 .

PATTON, M . Q. Practical Evaluation. Beverly Hills: Sage, 1982.

PATTON, M . Q. Utilization-Focused Evaluation. 2.ed. Beverly Hills: Sage, 1986.

PATTON, M . Q. The evaluator's responsability for utilization. Evaluation Practice, 9(2), 1988.

RIVELINE, C. U n point de vue d'ingénieur sur la gestion des organisations. École des Mines de
Paris, mai 1 9 9 1 .

R O S S I , P. H. & F R E E M A N , H. E. Evaluation: A Systematic Approach. Beverly Hills: Sage, 1985.

S H O R T E L L , S. M . & R I C H A R D S O N , W . C. Health Program Evaluation. St-Louis: Mosby, 1978.

W E I S S , C. Evaluation for decisions: Is anybody there? Does anybody care? Evaluation Practice,
9(1), 1988a.

W E I S S , C. If program decisions hinged only on information: A response to Patton. Evaluation

Practice, 9(3), 1988b.

Y I N , R. K. Case Study Research. Beverly Hills: Sage, 1989.