Você está na página 1de 11

REVISO REVIEW

Reflexes sobre avaliao de polticas


de sade no Brasil
Reflections on health policy evaluation
in Brazil

Fernando Manuel Bessa Fernandes 1


Jos Mendes Ribeiro 1
Marcelo Rasga Moreira 1

Escola Nacional de Sade


Pblica Sergio Arouca,
Fundao Oswaldo Cruz, Rio
de Janeiro, Brasil.

Correspondncia
F. M. B. Fernandes
Departamento de Cincias
Sociais, Escola Nacional de
Sade Pblica Sergio Arouca,
Fundao Oswaldo Cruz.
Rua Leopoldo Bulhes 1480,
Rio de Janeiro, RJ 21041-210,
Brasil.
fernando.bessa@ensp.fiocruz.br

Abstract

Introduo

This article aims to contribute to the debate on


public policy evaluation, specifically in the Brazilian health sector. The objective is to analyze
some of the key issues in this field through a literature search in the SciELO database. Sixty-six
articles were selected using the descriptors health
evaluation and evaluation of health programs
and projects in indexed Brazilian public health
periodicals from 1994 to 2009. The article explores
aspects of academic output according to an established typology and in relation to possibilities for
developing the theme of policy evaluation, linked
to interventions focused on efficacious, efficient,
and effective treatment of the populations health
problems.

Uma crescente consolidao da avaliao como


prtica no mbito da gesto/administrao pblica tem sido apontada como fenmeno ocorrido no mundo pelo menos nas ltimas cinco
dcadas. Tal fato tem estimulado a reunio de
considervel arcabouo terico, mltiplas reflexes metodolgicas e destaque acadmico
1,2,3,4,5,6,7,8,9,10.
No Brasil, notadamente desde o contexto de
Reforma Gerencial do Estado (Bodstein R, Moreira MR, 2008, comunicao pessoal) 11, a consolidao da avaliao comea lentamente a ter
contornos mais ntidos e a se tornar prtica institucional e institucionalizada, o que tem refletido
na produo cientfico-literria.
Mesmo com esses considerveis avanos, a
rigor no existe um consenso estabelecido na literatura sobre o conceito de avaliao. A variedade de enfoques, abordagens e teorias tal, a ponto de ser menos difcil e embaraoso identificar o
que no avaliao 1,2,3,6,7,9,10,12,13,14,15,16.
De fato, consideraes que levam em conta
aspectos tericos e metodolgicos sobre o que
avaliao aplicada a polticas e o que anlise de
polticas, por exemplo, podem ser feitas.
Um aprofundamento dessa distino exigiria
um desvio do foco deste artigo; porm, fundamental afirmar a importncia do impacto exercido tanto pelo avaliador quanto pelo analista
enquanto atores das polticas com as quais eles

Program Evaluation; Health Evaluation; Health


Public Policy

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1667

1668

Fernandes FMB et al.

esto relacionados, dado que as interaes entre


eles e os demandantes das avaliaes e anlises se caracterizam por negociaes e escolhas
conceituais, procedimentais e expositivas dos
achados 17.
Diante da inexistncia de neutralidade de
todos os envolvidos com polticas pblicas,
percebe-se que elas podem ser compreendidas
como demandas das sociedades manifestadas e
mediadas por grupos de interesses e movimentos sociais e, por outro lado, tambm podem ser
entendidas como as tentativas de resposta dos
governos a esses anseios e demandas 18,19,20.
Nosso entendimento o de que as polticas
pblicas podem ser tratadas de modo esquemtico e para fins de anlise, como estruturadas segundo ciclos e estgios, podendo ou no recomear com novas orientaes, num movimento processual e dinmico chamado policy cycle 21,22.
Polticas pblicas so passveis de ser compreendidas, portanto, como aes governamentais idealizadas, formuladas e desenhadas em
ateno aos propsitos de agenda dos governos,
permeados e intercambiados com os anseios e
demandas de grupos da sociedade, resultando
em programas, aes, estratgias, planos, que
tero efeitos e buscaro transformaes e resultados positivos e benficos para pessoas numa
dada realidade.
Isso permite dizer que as polticas pblicas,
de modo geral (dentre elas, iniciativas nas reas da Sade e da Educao, por exemplo) so
campos multidisciplinares de estudos e interesses, j que, diante da vontade e inclinao para
estud-las, torna-se necessria a compreenso
de que teorias e instrumentais construdos nos
campos da Sociologia, da Cincia Poltica e da
Economia, para citar os mais evidentes, so fundamentais para a realizao de anlises e estudos
5,16,18,19,20,23.
Nunca perdendo de vista o carter intersetorial e multidisciplinar dos processos das polticas, a sua formulao, implementao e execuo so caracterizadas por situaes e desafios
que demandam prticas de acompanhamento,
monitoramento e avaliao, no apenas para
eventuais correes de rumo na conduo das
aes por parte dos especialistas, polticos e tcnicos responsveis, mas tambm para atender
s modificaes constantes e estruturais que o
dinamismo do processo inerentemente apresenta e para servir de base e lies aprendidas
para aplicao em outras aes do mesmo gnero (Bodstein R, Moreira MR, 2008, comunicao
pessoal) 1,2,6,7,12,20,23,24.
Tendo sido feitas reflexes iniciais para se
pensar o que , como se faz e quais as questes
envolvendo avaliao de polticas, especialmen-

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

te no mbito da gesto pblica no setor sade,


um bom ponto de partida estabelecer uma definio objetiva: avaliar significaria emitir um juzo
de valor, atribuir valor a algo, conferir a algo um
aval.
S que, por ser a avaliao de polticas um
processo complexo, avaliar tambm comparar
parmetros estabelecidos e resultados alcanados de uma dada interveno ou sobre qualquer
dos seus componentes, com vistas facilitao
da consecuo de determinados objetivos.
Utilizando-se de critrios ou padres traados para uma investigao sistemtica, a atividade avaliativa insere-se tanto no campo da cincia
por meio da produo de evidncias quanto
no da prtica cotidiana da poltica por meio dos
processos analisados, e vincula-se a uma dimenso instrumental, com o intuito de auxiliar na
tomada de decises 15,17,24,25,26,27,28,29,30,31.
Se a ao avaliativa compreende a emisso
de um juzo de valor, torna-se, portanto, necessrio refletir sobre como; quando; onde; para
quem; com quem; quanto ou seja, despendendo quais fontes e quais quantidades de recursos;
em que medida; atendendo a quais interesses;
significando e ressignificando quais conceitos;
representando quais influncias e interesses; resultando em quais consequncias; uma prtica
caracterizada como avaliao pode e deve gerar transformaes positivas na realidade e bemestar coletivo.
Essas so perenes questes e desafios epistemolgicos, tcnicos e, sobretudo, ideolgicos,
dos quais os interessados na prtica avaliativa
em sade no podem se desviar, dada a prpria
natureza dos conceitos em tela.
Nesse contexto e com essas preocupaes,
procura-se contribuir para o debate sobre a avaliao de polticas pblicas, especificamente no
que concerne ao setor sade.
Busca-se apresentar e tematizar algumas das
questes fundamentais que perpassam tal campo de estudo, mediante um levantamento ou reviso bibliogrfica sobre avaliao de polticas
no setor sade numa conceituada e reconhecida
base de dados. Exploram-se aspectos da produo acadmica numa tipologia estabelecida e em
correlao com as possibilidades de desenvolvimento do tema da avaliao de polticas que
articulem intervenes voltadas para o enfrentamento efetivo de agravos da populao.

Aspectos metodolgicos
Ao se refletir sobre reviso bibliogrfica, percebese que possvel caracteriz-la como uma atividade de resumo crtico sobre determinado tpi-

REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE

co de interesse, resultando num estado da arte


do conhecimento produzido e acumulado sobre
um dado tema.
Contudo, ela deve estar intimamente vinculada ao problema de pesquisa que a provocou,
da advindo, justamente, uma imprescindvel
flexibilidade, sem prejuzo da adoo de uma sistemtica delineada.
Isto permite dizer que, apesar da variedade
das formas de operacionalizao oferecida pelos
modelos encontrados na literatura referente reviso bibliogrfica, para atender elaborao do
presente texto foi percorrido o seguinte trajeto:
Seleo do tema; Definio de critrios para a
seleo da amostra; Busca em base de dados; Enquadramento e anlise dos dados; Interpretao
e Discusso dos resultados.
As buscas efetuadas para a confeco deste
artigo foram realizadas na base de dados eletrnica SciELO (http://www.scielo.org), escolhida
por sua relevncia advinda do pioneirismo e da
manuteno da garantia do acesso ao conhecimento acadmico produzido no pas. Os procedimentos relacionados respeitaram os seguintes
passos:
1. Identificao de termos junto aos Descritores em Cincias da Sade (DeCS), da Biblioteca
Virtual em Sade (http://decs.bvs.br), considerando termos mais citados em literatura de referncia, na lngua portuguesa, que articulavam
os conceitos colocados como focais para o artigo:
Avaliao em Sade; Avaliao de Programas e
Projetos de Sade;
2. Refinamento da busca, visando maior especificidade e foco direcionado ao objetivo. Foram
sumariamente excludas as produes cientficas
repetidas e aquelas que no se relacionavam diretamente com o escopo e o objetivo do presente
artigo;
3. Enquadramento dos artigos encontrados numa tipologia identificada na literatura sobre avaliao de polticas;
4. Anlise crtica dos artigos encontrados luz
do instrumental terico estabelecido.
Conscientes acerca de limitaes inerentes
s escolhas feitas, os autores verificaram que a
utilizao do descritor avaliao gerou um excessivo nmero de ocorrncias, o que provocou
a opo de no inclu-lo por ampliar demasiadamente o horizonte de anlise. De fato, a partir do
momento em que se estabeleceu que o foco do
artigo se firmaria na conjugao dos conceitos de
avaliao, de polticas e de sade, configurou-se
o refinamento da busca, e assumiu-se que no
ela no seria efetuada em bases de dados abertas
como o site Google, por exemplo.
Assim sendo, pela aplicao dos dois descritores designados na base de dados SciELO, foram

selecionados 66 artigos, de publicaes brasileiras indexadas na rea da sade coletiva, desde o


ano de 1994 at o ano de 2009.
Com o primeiro descritor, intitulado Avaliao em Sade, foram encontrados 49 artigos. J
com o segundo descritor, denominado Avaliao de Programas e Projetos de Sade, foram
selecionados 17 artigos (Tabela 1).
A dificuldade em se conceituar uma prtica
como uma avaliao advinda da heterogeneidade dos corpos tericos e dos conceitos utilizados,
impede que haja algum tipo de consenso estabelecido quanto ao que envolve a elaborao de
tipologias de prticas avaliativas.
No entanto, se o campo ainda est sendo
construdo terica e metodologicamente, as
possibilidades de serem exploradas trajetrias e caminhos esto completamente abertas
3,5,8,10,12,13,27.
As formas de se iniciar a explorao de caminhos passam pela definio de pontos de partida
que serviro de guia no trajeto a ser percorrido,
como possvel perceber na citao: Patton, ao
desenvolver uma abordagem da avaliao denominada avaliao focada para a utilizao inclui
na sua definio: a) a maneira de fazer a avaliao que corresponderia coleta sistemtica de
informaes sobre as atividades, caractersticas e
resultados dos programas; b) o propsito da avaliao, ou seja, fazer julgamentos sobre os programas e/ou para subsidiar o processo de tomada de
decises sobre futuras programaes 30 (p. 15).

Tabela 1
Artigos publicados no SciELO, obedecendo aos descritores Avaliao em Sade e
Avaliao de Programas e Projetos de Sade. Distribuio no perodo 1994-2009.
Ano de publicao

Avaliao em Sade

Avaliao de Programas e

(49 artigos)

Projetos de Sade (17 artigos)

1994

49

1996

76

1997

5,44,91

1999

34

2001

2002

42

2004

53

2005

50

2006

8,38

2007

19,33,35,46,64

52,57,71,83,84,92

2008

4,32,39,41,48,51,56,60,63,65,66,

58,69,82,88

67,73,74,78,85,89,93

2009

36,40,41,45,47,59,61,75,79,80,81,87,90,94

37,54,62,68,70,71,77

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1669

1670

Fernandes FMB et al.

Percebe-se que a forma como o autor citado


classifica avaliao passa por dois focos, ou melhor, duas categorias: o mtodo empregado na
atividade, ou seja, como se pretende desenvolver
a atividade, e o objetivo da atividade, significando
o que se quer ou a finalidade da atividade.
Estendendo-se este raciocnio, e conjugando-o com a produo de outros autores, H. Novaes desenvolveu uma sntese das principais modalidades propostas e categorizou-as, seguindo
critrios considerados mais significativos para as
questes priorizadas e selecionados com base na
literatura, e depois as inseriu na nomenclatura
mais frequentemente adotada 10.
A escolha da tipologia adotada por Novaes 21
na classificao dos artigos justificou-se, portanto, pela necessidade operacional de estabelecimento de pontos iniciais de reflexo, conforme
o estudo da literatura sobre o tema da avaliao
indica. Notadamente, considerou-se que os critrios adotados por M. Patton e utilizados por
Novaes referentes ao mtodo e aos objetivos
empregados na atividade avaliativa exposta nos
artigos seriam pertinentes, dada a sua coerncia
metodolgica.
Novaes 21 estipulou oito critrios que buscam
considerar as principais variveis orientadoras
das decises conceituais e metodolgicas na
construo dos processos de avaliao. So eles:
(1) objetivo da avaliao, (2) posio do avaliador,
(3) enfoque priorizado, (4) metodologia predominante, (5) forma de utilizao da informao produzida, (6) contexto da avaliao, (7) temporalidade da avaliao e (8) tipo de juzo formulado.
Com a combinao das alternativas colocadas para cada um desses critrios, Novaes 21

identificou trs grandes tipos de avaliao: (a)


Pesquisa de Avaliao ou Investigao avaliativa/
avaliatria, (b) Avaliao para Deciso e (c) Avaliao para Gesto.
A Tabela 2 permite a visualizao da tipologia com a qual se prope trabalhar, utilizando-a
como apoio terico para o desenvolvimento de
reflexes terico-metodolgicas sobre os artigos
que constituem o universo contemplado.

Resultados e discusso
Cumpre explicitar que foram selecionados artigos que tivessem a preocupao em expandir e
buscar novos paradigmas para o campo da avaliao de polticas no Brasil, notadamente no que
se refere quelas do setor sade. Por no serem
produtos ou estarem vinculados a atividades de
pesquisa e/ou de gesto propriamente ditas conforme a tipologia adotada, e por trazerem contribuies de cunho eminentemente terico. A esses artigos foi dada a denominao de Tericos
5,8,9,32,33,34,35,36,37.
Seu nmero no foi elevado, tendo havido a
ocorrncia de nove artigos enquadrados nessa
categoria; ressalte-se que isso de modo algum diminui a pertinncia ou o mrito de tais artigos.
Outro grupo, constitudo por 13 artigos, no
foi passvel de caracterizao como Tericos,
uma vez que os artigos no tinham o propsito
de realizar reflexes neste sentido. Descreviam
procedimentos sistemticos de pesquisa, mas
no apresentavam um carter avaliativo propriamente dito.

Tabela 2
Caracterizao de tipos de avaliao segundo critrios selecionados.
Critrios
Objetivo
Posio do avaliador
Enfoque priorizado
Metodologia dominante

Investigao avaliatria

Avaliao para deciso

Avaliao para gesto

Conhecimento

Tomada de deciso

Aprimoramentos

Externo (interno)

Interno/Externo

Interno/Externo

Impactos

Caracterizao/

Caracterizao/

Compreenso

Quantificao

Quantitativo (qualitativo)

Qualitativo e quantitativo

Quantitativo e qualitativo

experimental/

situacional

situacional

Quase-experimental
Contexto
Utilizao da informao
Juzo formulado em relao
Temporalidade
Fonte: Novaes 21.

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

Controlado

Natural

Natural

Demonstrao

Informao

Instrumentos para gesto

Hipteses

Recomendaes

Normas

Pontual/Replicado

Corrente/Pontual

Integrado/Contnuo

REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE

A forma pela qual esses artigos foram concebidos, construdos e apresentados no continha
elementos terico-metodolgicos suficientes
que permitissem inclu-los como pertencentes
a nenhum dos trs tipos de avaliao, conforme
a tipologia adotada, visto que no apresentam
de modo realado o componente explicativo de
evidncias referentes a intervenes explcitas.
Ou seja, as discusses por esses artigos no
contemplavam uma explicao de achados marcadamente relacionados avaliao de aes,
estratgias, programas ou polticas, o que no se
lhes retira sua validade e seu valor. A tais artigos
foi dada a denominao de No Avaliaes 38,39,
40,41,42,43,44,45,46,47,48,49,50.
Completando o universo analisado, foram
identificados 44 artigos que davam conta de atividades investigativas, pesquisas e estudos envolvendo naturezas, propostas, direcionamentos
e procedimentos que podem ser classificados de
Avaliaes.
Nesse subconjunto de artigos, foram identificados segundo a tipologia sugerida os seguintes grupos, em ordem decrescente de ocorrncia

(1) Investigao Avaliatria, com 23 artigos; (2)


17 ocorrncias de Avaliao para Deciso; e
(3) 4 artigos classificados como Avaliao para
Gesto.
A Figura 1 ilustra o universo de artigos analisados para esse texto, distribudos por categorias.
Cabe ressaltar que um nico artigo 51 dentre os que foram classificados como Avaliaes
expressava ntida preocupao em situar-se no
quadro terico-conceitual da Avaliao, levando em considerao abordagens possveis do
campo. Afirmava tratar-se de uma avaliao de
servios de sade, no tocante a efetividade de
uma estratgia: Entre as abordagens possveis no
campo de avaliao em sade, a diviso clssica
proposta por Donabedian em estrutura, processo
e resultado, este trabalho pretende avaliar o resultado, ou seja, se existe modificao no estado de
sade dos idosos cadastrados na ESF da CASSI, de
acordo com o tempo de adeso... Por fim, entre a
diversidade de estratgias e desenhos de pesquisa,
este se encaixa em um estudo epidemiolgico do
tipo longitudinal (coorte), considerado adequado
para avaliar resultados 51 (p. 1545).

Figura 1
Artigos publicados no SciELO, obedecendo aos descritores Avaliao em Sade e Avaliao de Programas e Projetos de
Sade. Distribuio por tipos.

6,06%
13,64%

Terico
No avaliao
Investigao avaliativa
Avaliao para deciso
Avaliao para gesto

25,76%

19,70%

34,85%

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1671

1672

Fernandes FMB et al.

Artigos da categoria Investigao


Avaliatria
Os 23 artigos includos na categoria de Investigao Avaliatria 4,11,35,52,53,54,55,56,57,58,59,60,61,62,
63,64,65,66,67,68,69,70,71 tm como caracterstica comum predominante a busca pela produo de
conhecimento vinculado comunidade cientfica e reconhecido por ela.
Tal tipo de artigo originrio de estudos e
pesquisas geralmente desenvolvidas sob a coordenao de instituies acadmicas, por iniciativa delas prprias ou de grupos de pesquisadores,
ou o que aconteceu mais raramente no universo
de artigos estudado, em funo de solicitaes de
instncias pblicas.
concebido com o intuito de demonstrar um
conhecimento que apresente nfase na objetividade, de modo a servir de possvel fator orientador de decises referentes a questes vrias sobre uma dada realidade configurada numa ao,
projeto ou programa 10.
A tnica dos artigos enquadrados nessa categoria tende a ser a preocupao pelo estabelecimento de nexos causais entre objetivos traados
no planejamento de uma ao e os impactos alcanados por elas, por intermdio das observveis alteraes da realidade 19.
Em termos metodolgicos, essas observaes
demandam a adoo de estratgias que impliquem algum nvel de controle sobre o contexto
observado, de modo a serem mais frequentes desenhos gerais metodolgicos quase-experimentais. Isso no exclui a possibilidade de incluso
de pesquisas com desenhos experimentais 10.
Trabalha-se neste tipo de pesquisa avaliativa com a formulao de hipteses a serem demonstradas e correlacionadas com os objetivos
da pesquisa e com os resultados das observaes,
e daquelas, o juzo da pesquisa ser articulado.
So pesquisas que em geral apresentam custo
considervel, fato que as torna de natureza predominantemente focada e especfica. Porm, por
conta dessa pontualidade e da prpria necessidade comparativa, podem ser reproduzidas ou
replicadas 10.
Artigos da categoria Avaliao para
Deciso
Os 17 artigos enquadrados na categoria Avaliao para Deciso 51,52,59,72,73,74,75,76,77,78,79,80,81,
82,83,84,85 falam de atividades cujo objetivo principal subsidiar processos de tomada de deciso de modo a responder perguntas de carter
operacional e imediato, formuladas e propostas
por aqueles que vivenciam o objeto avaliado, o
que torna importante que avaliadores internos

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

componham a equipe coordenadora da avaliao 10.


Em ateno complexidade dos objetos, neste tipo de ao avaliativa costuma-se lanar mo
de mtodos quantitativos e qualitativos, de natureza situacional, (como, por exemplo, os estudos
de caso). Seus resultados so articulados no momento da anlise, ao se tomar por referncia uma
teoria geral que permita a sua integrao 10.
Buscam-se resultados que, aps serem submetidos a uma sistematizao, sejam passveis
de se transformar em recomendaes positivas
para a tomada de deciso, medida que contribuam para a soluo dos problemas identificados inicialmente ou ao longo do processo de
implementao das intervenes 86.
Artigos da categoria Avaliao
para Gesto
Apenas 4 artigos enquadraram-se na categoria
Avaliao para Gesto 87,88,89,90. Eles apresentaram aes avaliativas que tinham como objetivo
principal a produo da informao que contribua para o aprimoramento do objeto avaliado,
vale dizer, tinham a proposta de aperfeioar, incrementar e melhorar uma condio j dada. Para tanto, necessitam de caracterizar semelhante
condio e traduzi-la em medidas quantificveis
e replicveis 10.
Isso significa que h uma nfase na busca por
medidas representativas de uma totalidade, com
a informao produzida sendo prioritariamente
voltada ao desenvolvimento e aprimoramento
de indicadores. Como resultado dessa avaliao,
espera-se a proposio de critrios ou normas,
de modo a contriburem e assegurarem o funcionamento otimizado da interveno.
A anlise do universo dos artigos selecionados possibilitou a constatao de que, em vrios
deles, mesmo independentemente de sua classificao como Avaliao, autores considerados consagrados ou clssicos que trabalham no
campo da avaliao e das polticas pblicas so
citados como marcos referenciais.
No entanto, tais citaes tendem a prenderse a definies conceituais de ordem cronolgica, no havendo reflexes aprofundadas em
grandes quantidades.
Em outra direo, alguns dos artigos citam os
conceitos a fim de pontuar suas caractersticas e
funes, sem o objetivo explicitamente desenhado de entrar em discusses que correlacionassem de modo crtico-reflexivo os citados conceitos s prticas governamentais que ensejaram as
intervenes, programas, aes e ou estratgias
analisadas.

REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE

Consideraes finais
Guardadas as limitaes aqui assumidas, corroborou-se a percepo de que a preocupao com
a avaliao de polticas, que tem sido uma prtica institucional/institucionalizada disseminada
em mbito internacional e gerado uma grande
produo cientfica fora do Brasil, ainda no se
encontra consolidada. Apesar de ser perceptvel
um considervel crescimento de estudos acadmicos nos ltimos anos e de louvveis esforos
para a ao gestora cada vez mais incorpor-la
no setor sade, muito terreno ainda h de ser
percorrido.
Pesquisas avaliativas tm sido muito valorizadas pela gesto na esfera pblica, o que acaba
por provocar algum reflexo na produo acadmico-literria. Dentre o total de 66 artigos analisados para este texto, 81% foram publicados de
2007 a 2009.
A anlise possibilitou o reconhecimento de
propostas criativas de avaliao em sade, com
pontos de convergncia e em consonncia com
as proposies governamentais, de agncias financiadoras intergovernamentais, de organizaes no governamentais, de profissionais e de
acadmicos, que vm sendo colocadas, sugeridas
e praticadas h muitos anos no mundo inteiro.
Este panorama que se apresenta para o campo da avaliao de polticas de sade no Brasil
sem dvida pode ser considerado bom. Todavia,
com as devidas cautelas que toda anlise deve
ter, e diante do quadro formado pelo conjunto
de artigos do universo estudado, cabem algumas
questes inspiradas por esta leitura, como fechamento do texto e, por que no, de abertura de outras e novas frentes para reflexo sobre o tema:
A adoo de prticas e a elaborao de pesquisas avaliativas no Brasil tm crescido, mas,
por conta da complexidade terico-conceitual
e da multiplicidade metodolgico-operacional,
ainda um campo em formao. Como imaginar, viabilizar e executar pesquisas no mbito

acadmico que, sem se prenderem a roteiros


fechados e modelos rgidos, apresentem graus
aceitveis de sistematizao e consistncia terico-metodolgica?
Ainda por ser um campo em formao, a utilizao de conceitos por parte dos que trabalham
com avaliao no segue um padro nico, o que
gera por vezes uma situao de inadequao que
transcende a simples semntica. Avaliao
um termo amplamente utilizado, mas cuja adequao tende a ser escassa em muitos casos.
A utilizao de uma tipologia como a que foi
proposta neste texto demanda um esforo de
enquadramento que, por vezes, encontra dificuldades, dada a variedade de caractersticas das
pesquisas apresentadas nos artigos selecionados. Se for lcito dizer que essa variedade, por um
lado, ancora-se na criatividade dos pesquisadores, possibilitada pela natureza no consensual
do campo avaliao, por outro lado, percebe-se
que aponta para riscos de inadequao na concepo, operacionalizao e divulgao dos resultados e achados das pesquisas.
Ainda, a utilizao da tipologia proposta e a
anlise dos artigos selecionados apontaram para a necessidade de maiores esforos acerca da
compreenso do que so polticas pblicas. A
no distino entre polticas e iniciativas tais como programas, aes e projetos, melhor dizendo,
a no percepo de que programas, aes e projetos podem ser entendidos como componentes
de polticas, abre margem ocorrncia de uma
confuso de grau, limite, alcance e escopo.
Enfim, este artigo no tem a pretenso de
apontar este ou aquele caminho como correto
a ser seguido no campo da avaliao de polticas de sade. No entanto se reserva a modesta
iniciativa compartilhada por muitos em buscar
a reflexo e disseminar ideias e percepes, de
modo a contribuir para o fortalecimento, a solidificao e o aperfeioamento do vasto campo da avaliao de polticas, programas, aes e
projetos de sade.

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1673

1674

Fernandes FMB et al.

Resumo

Colaboradores

O presente texto tem como objetivo trazer contribuies para o debate sobre a avaliao de polticas pblicas, especificamente no que concerne ao setor sade
no Brasil. Busca-se apresentar e tematizar algumas
das questes fundamentais que perpassam esse campo de estudo, mediante o levantamento ou reviso bibliogrfica sobre avaliao de polticas no setor sade numa conceituada e reconhecida base de dados, o
SciELO. Foram selecionados 66 artigos com os descritores Avaliao em Sade e Avaliao de Programas
e Projetos de Sade, de publicaes brasileiras indexadas na rea da sade coletiva, desde o ano de 1994 at
o ano de 2009. O artigo explora aspectos da produo
acadmica numa tipologia estabelecida e em correlao com as possibilidades de desenvolvimento do tema
da avaliao de polticas, articulado a intervenes
voltadas para o enfrentamento eficaz, eficiente e efetivo de agravos da populao.

F. M. B. Fernandes contribuiu na concepo e desenho


do estudo, na anlise e na interpretao dos dados, na
reviso do contedo intelectual, na reviso final aps
contribuio dos coautores, e no encaminhamento da
verso final para publicao. J. M. Ribeiro contribuiu
na reviso crtica do contedo intelectual, na reviso
e na aprovao final da verso para publicao. M. R.
Moreira contribuiu na reviso crtica do contedo intelectual, na reviso e na aprovao final da verso para
publicao.

Avaliao de Programas e Projetos de Sade; Avaliao em Sade; Polticas Pblicas de Sade

Referncias
1.

2.

3.

4.

Arretche M. Uma contribuio para fazermos avaliaes menos ingnuas. In: Barreira C, Carvalho M,
organizadores. Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo:
Instituto de Estudos Especiais, Pontifcia Universidade Catlica de So Paulo; 2001. p. 43-56.
Barreira MCRN, Carvalho MCB, organizadores.
Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: Instituto de Estudos Especiais, Pontifcia Universidade Catlica
de So Paulo; 2001.
Browne A, Wildavsky A. What should evaluation
mean? In: Pressman JL, Wildavsky A, editors. Implementation. 3rd Ed. Berkeley: University of California Press; 1984. p. 181-205.
Cesconetto A, Lapa JS, Calvo MCM. Avaliao da
eficincia produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Sade Pblica 2008; 24:
2407-17.

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

5.

6.

7.
8.

9.

Deslandes SF. Concepes em pesquisa social: articulaes com o campo da avaliao em servios
de sade. Cad Sade Pblica 1997; 13:103-7.
Draibe SM. Avaliao de implementao: esboo
de uma metodologia de trabalho em polticas pblicas. In: Barreira MCRN, Carvalho MCB, organizadores. Tendncias e perspectivas na avaliao de
polticas e programas sociais. So Paulo: Instituto
de Estudos Especiais, Pontifcia Universidade Catlica de So Paulo; 2001. p. 13-42.
Faleiros VP. Desafios para a pesquisa em poltica
social. Ser Social 2001; (9):53-75.
Felisberto E. Da teoria formulao de uma poltica nacional de avaliao em sade: reabrindo o
debate. Cinc Sade Coletiva 2006; 11:553-63.
Furtado JP. Um mtodo construtivista para a avaliao em sade. Cinc Sade Coletiva 2001; 6:
165-81.

REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE

10. Ncleo de Estudos de Polticas Pblicas, Universidade Estadual de Campinas. Modelo de avaliao
de programas sociais prioritrios relatrio final.
Campinas: Ncleo de Estudos de Polticas Pblicas, Universidade Estadual de Campinas; 1999.
11. Bresser Pereira LC, Spink P. Reforma do estado e
administrao pblica gerencial. Rio de Janeiro:
Editora FGV; 1998.
12. Arretche M. Tendncias no estudo sobre avaliao.
In: Melo Rico E, organizador. Avaliao de polticas
sociais: uma questo em debate. 3a Ed. So Paulo: Cortez Editora/Instituto de Estudos Especiais,
Pontifcia Universidade Catlica de So Paulo;
2001. p. 29-39.
13. Chen T. Theory-driven evaluations. Newbury Park:
Sage Publications; 1990.
14. Figueiredo AC, Figueiredo M. Avaliao poltica e
avaliao de polticas: um quadro de referncia terica. Anlise & Conjuntura 1986; 1:107-27.
15. Frey K. Polticas pblicas: um debate conceitual e
reflexes referentes prtica da anlise de polticas pblicas no Brasil. Planej Polt Pblicas 2000;
(21):211-59.
16. Minayo MCS, Assis SG, Souza ER. Avaliao por
triangulao de mtodos: abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005.
17. Geva-May I, Pal LA. Good fences make good neighbours. Policy evaluation and policy analysis exploring the differences. Evaluation 1999; 5:259-77.
18. Bernier NF, Clavier C. Public health policy research:
making the case for a political science approach.
Health Promot Int 2011; 26:109-16.
19. Moreira M, Sucena LFM, Fernandes FMB. A avaliao de polticas sociais no contexto da reforma
gerencial do estado: contribuies para o debate
metodolgico. Ser Social 2004; (14):4-76.
20. Souza R. Poder local e implementao da poltica
de sade: dilemas da gesto descentralizada [Tese
de Doutorado]. Rio de Janeiro: Escola Nacional de
Sade Pblica Sergio Arouca, Fundao Oswaldo
Cruz; 2005.
21. Novaes HMD. Avaliao de programas, servios
e tecnologias em sade. Rev Sade Pblica 2000;
34:547-59.
22. Viana M. Abordagens metodolgicas em polticas
pblicas. Campinas: Ncleo de Estudos de Polticas Pblicas, Universidade Estadual de Campinas;
1988. (Caderno de Pesquisa, 5).
23. Cano I. Introduo avaliao de programas sociais. Rio de Janeiro: Fundao Getlio Vargas;
2002.
24. MacRae Jr. D. Cross-national perspectives for aiding policy choice. Journal of Comparative Policy
Analysis: Research and Practice 1999; 1:23-37.
25. Bosi M, Mercado F, organizadores. Avaliao qualitativa de programas de sade: enfoques emergentes. Petrpolis: Editora Vozes; 2006.
26. Contandriopoulos AP, Champagne F, Denis JL,
Pineault R. A avaliao na rea de sade: conceitos e mtodos. In: Hartz Z, organizador. Avaliao
em sade. Rio de Janeiro: Editora Fiocruz; 2000.
p. 29-47.
27. Cohen E, Franco R. Avaliao de projetos sociais.
Rio de Janeiro: Editora Vozes; 2002.

28. Scriven M. O conceito de avaliao. In: Instituto


Fonte para o Desenvolvimento Social, organizador. Introduo avaliao de programas sociais
coletnea de textos. So Paulo: Instituto Fonte
para o Desenvolvimento Social; 2004. p. 8-33.
29. Verani JF. Uma proposta metodolgica para a avaliao de programa de imunizao: contribuies
para a construo de um novo modelo [Tese de
Doutorado]. Rio de Janeiro: Escola Nacional de
Sade Pblica Sergio Arouca, Fundao Oswaldo
Cruz; 2005.
30. Vieira-da-Silva LM, Formigli VLA. Conceitos, abordagens e estratgias para a avaliao em sade.
In: Hartz ZMA, Vieira-da-Silva LM, organizadoras.
Avaliao em sade: dos modelos tericos prtica na avaliao de programas e sistemas de sade.
Salvador: EDUFBA/Rio de Janeiro: Editora Fiocruz;
2005. p. 15-39.
31. Worthen B, Sanders J, Fitzpatrick J. Avaliao de
programas: concepes e prticas. So Paulo: Editora Gente; 2004.
32. Costa GD, Cotta R, Franceschini S, Batista R, Gomes, A, Martins, P, et al. Avaliao em sade: reflexes inscritas no paradigma sanitrio contemporneo. Physis (Rio J.) 2008; 18:705-26.
33. Dubeux LS, Cazarin G, Figueir AC, Bezerra LCA,
Barros M, Salvi A, et al. Formao de avaliadores
na modalidade educao a distncia: necessidade
transformada em realidade. Rev Bras Sade Matern Infant 2007; 7 Suppl 1:47-52.
34. Hartz Z. Avaliao dos programas de sade: perspectivas terico-metodolgicas e polticas institucionais. Cinc Sade Coletiva 1999; 4:341-54.
35. Lins AM, Ceclio LCO. Campos de intervenes organizacionais: a contribuio das cincias humanas para uma leitura crtica das propostas de gesto das organizaes de sade. Interface Comum
Sade Educ 2007; 11:503-14.
36. Minayo MCS. Construo de indicadores qualitativos para avaliao de mudanas. Rev Bras Educ
Md 2009; 33 Suppl 1:83-91.
37. Santos IS. Avaliao do impacto de programas nutricionais. Rev Nutr 2009; 22:141-50.
38. Carraro TE, Knobel V, Radunz V, Meincke SMK,
Fiewski MFC, Frello AT, et al. Cuidado e conforto
durante o trabalho de parto e parto: na busca pela
opinio das mulheres. Texto & Contexto Enferm
2006; 15(No Spe):97-104.
39. Cielo CA, Conterno G, Carvalho CDM, Finger LS.
Disfonias: relao S/Z e tipos de voz. Rev CEFAC
2008; 10:536-47.
40. Cipriano Jr. G, Yuri D, Bernardelli GF, Mair V, Buffolo E, Branco JNR. Avaliao da segurana do teste de caminhada dos 6 minutos em pacientes no
pr-transplante cardaco. Arq Bras Cardiol 2009;
92:312-9.
41. Clemente A, Matos DR, Grejanin DKM, Santos HE,
Quevedo MP, Massa PA. Residncia multiprofissional em sade da famlia e a formao de psiclogos para a atuao na ateno bsica. Sade Soc
2008; 17:176-84.
42. Costa NR, Pinto LF. Avaliao de programa de
ateno sade: incentivo oferta de ateno ambulatorial e a experincia da descentralizao no
Brasil. Cinc Sade Coletiva 2002; 7:907-23.

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1675

1676

Fernandes FMB et al.

43. Finger LS, Cielo CA, Schwarz K. Acoustic vocal


measures in women without voice complaints
and with normal larynxes. Braz J Otorhinolaryngol
2009; 75:432-40.
44. Glina DMR, Satut BTG, Andrade EMOAC. A exposio ocupacional ao mercrio metlico no mdulo
odontolgico de uma unidade bsica de sade localizada na cidade de So Paulo. Cad Sade Pblica 1997; 13:257-67.
45. Gonalves GP, Barbosa FT, Barbosa LT, Duarte JL.
Avaliao da qualidade dos ensaios clnicos aleatrios em terapia intensiva. Rev Bras Ter Intensiva
2009; 21:45-50.
46. Morales RR, Morales NMO, Rocha FCG, Fenelon
SB, Pinto RMC, Silva CHM. Qualidade de vida em
portadores de esclerose mltipla. Arq Neuropsiquiatr 2007; 65:454-60.
47. Silva GF, Pelloso SM. Perfil das parturientes e seus
recm-nascidos atendidos em um hospital-escola
do noroeste do Estado do Paran. Rev Esc Enferm
USP 2009; 43:95-102.
48. Vasconcelos EM. Os diferentes tipos de pesquisa.
In: Vasconcelos EM, organizador. Complexidade e
pesquisa interdisciplinar: epistemologia e metodologia operativa. 2a Ed. Petrpolis: Editora Vozes;
2002. p. 157-67.
49. Veras CMT, Martins MS. A confiabilidade dos dados nos formulrios de Autorizao de Internao
Hospitalar (AIH), Rio de Janeiro, Brasil. Cad Sade
Pblica 1994; 10:339-55.
50. Vidal SA, Arruda BKG, Vanderlei LC, Frias PG. Avaliao da srie histrica dos nascidos vivos em
unidade terciria de Pernambuco: 1991 a 2000.
Rev Assoc Md Bras 2005; 51:17-22.
51. Xavier AJ, Reis SS, Paulo EM, dOrsi E. Tempo de
adeso Estratgia Sade da Famlia protege idosos de eventos cardiovasculares e cerebrovasculares em Florianpolis, 2003 a 2007. Cinc Sade
Coletiva 2008; 13:1543-51.
52. Barroso LMM, Galvo MTG. Avaliao de atendimento prestado por profissionais de sade a purperas com HIV/AIDS. Texto & Contexto Enferm
2007; 16:463-9.
53. Brandalize SRC, Czeresnia D. Avaliao do programa de preveno e promoo da sade de fenilcetonricos. Rev Sade Pblica 2004; 38:300-6.
54. Carvalho BG, Souza RKT, Soares DA, Yagi MCN.
Doenas cardiovasculares antes e aps o Programa
Sade da Famlia, Londrina, Paran. Arq Bras Cardiol 2009; 93:645-50.
55. Chaves SCL, Vieira-da-Silva LM. Ateno sade
bucal e a descentralizao da sade no Brasil: estudo de dois casos exemplares no Estado da Bahia.
Cad Sade Pblica 2007; 23:1119-31.
56. Elias E, Magajewski F. A Ateno Primria Sade
no sul de Santa Catarina: uma anlise das internaes por condies sensveis ateno ambulatorial, no perodo de 1999 a 2004. Rev Bras Epidemiol
2008; 11:633-47.
57. Gonalves MJF, Penna MLF. Morbidade por tuberculose e desempenho do programa de controle em
municpios brasileiros, 2001-2003. Rev Sade Pblica 2007; 41 Suppl 1:95-102.
58. Grangeiro GR, Digenes MAR, Moura ERF. Ateno
pr-natal no municpio de Quixad-CE segundo
indicadores de processo do SISPRENATAL. Rev Esc
Enferm USP 2008; 42:105-11.

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

59. Kalckmann SFN, Carvalheiro JR. Avaliao da continuidade de uso do preservativo feminino em
usurias do Sistema nico de Sade em unidades
da Regio Metropolitana de So Paulo, Brasil. Rev
Bras Epidemiol 2009; 12:132-43.
60. Martins MA, Frana E, Matos JC, Goulart EMA. Vigilncia ps-alta das infeces de stio cirrgico
em crianas e adolescentes em um hospital universitrio de Belo Horizonte, Minas Gerais, Brasil.
Cad Sade Pblica 2008; 24:1033-41.
61. Mendes ACG, Arajo J JLCA, Furtado BMAS, Duarte
PO, Santiago RF, Costa TR. Avaliao da satisfao
dos usurios com a qualidade do atendimento nas
grandes emergncias do Recife, Pernambuco, Brasil. Rev Bras Sade Matern Infant 2009; 9:157-65.
62. Nascimento AC, Moyss ST, Bisinelli JC, Moyss SJ.
Oral health in the Family Health Strategy: a change
of practices or semantics diversionism. Rev Sade
Pblica 2009; 43:455-62.
63. Parada CMGL, Tonete VLP. O cuidado em sade
no ciclo gravdico-puerperal sob a perspectiva de
usurias de servios pblicos. Interface Comum
Educ Sade 2008; 12:35-46.
64. Rebouas D, Legay LF, Abelha L. Satisfao com o
trabalho e impacto causado nos profissionais de
servio de sade mental. Rev Sade Pblica 2007;
41:244-50.
65. Rocha PM, Uchoa AC, Rocha NSPD, Souza ECF,
Rocha ML, Pinheiro TXA. Avaliao do Programa
Sade da Famlia em municpios do Nordeste brasileiro: velhos e novos desafios. Cad Sade Pblica
2008; 24 Suppl 1:S69-78.
66. Santa Helena ET, Nemes MIB, Eluf-Neto J. Desenvolvimento e validao de questionrio multidimensional para medir no-adeso ao tratamento com medicamentos. Rev Sade Pblica 2008;
42:764-7.
67. Secoli SR, Padilha KG, Litvoc J. Cost-effectiveness
analysis of the analgesic therapy of postoperative
pain. Rev Latinoam Enferm 2008; 16:42-6.
68. Stranieri I, Takano OA. Avaliao do servio de
referncia em triagem neonatal para hipotireoidismo congnito e fenilcetonria no Estado de Mato
Grosso, Brasil. Arq Bras Endocrinol Metab 2009;
53:446-52.
69. Theme Filha MM, Szwarcwald CL, Souza Junior
PRB. Medidas de morbidade referida e inter-relaes com dimenses de sade. Rev Sade Pblica
2008; 42:73-81.
70. Torres HC, Franco LJ, Stradioto MA, Hortale VA,
Schall VT. Avaliao estratgica de educao em
grupo e individual no programa educativo em diabetes. Rev Sade Pblica 2009; 43:291-8.
71. Veloso IS, Santana VS, Oliveira NF. Programas de
alimentao para o trabalhador e seu impacto sobre ganho de peso e sobrepeso. Rev Sade Pblica
2007; 41:769-76.
72. Almeida CAL, Tanaka OY. Perspectiva das mulheres na avaliao do Programa de Humanizao do
Pr-Natal e Nascimento. Rev Sade Pblica 2009;
43:98-104.
73. Bottari CMS, Vasconcellos MM, Mendona MHM.
Cncer crvico-uterino como condio marcadora: uma proposta de avaliao da ateno bsica.
Cad Sade Pblica 2008; 24 Suppl 1:S111-22.

REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE

74. Facchini LA, Piccini RX, Tomasi E, Thum E, Teixeira VA, Silveira DS, et al. Avaliao de efetividade da
Ateno Bsica Sade em municpios das regies
Sul e Nordeste do Brasil: contribuies metodolgicas. Cad Sade Pblica 2008; 24 Suppl 1:S159-72.
75. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Poltica de monitoramento e avaliao da
ateno bsica no Brasil de 2003 a 2006: contextualizando sua implantao e efeitos. Rev Bras Sade
Matern Infant 2009; 9:339-57.
76. Formigli VLA, Silva LMV, Cerdeira AJP, Pinto CMF,
Oliveira RSA, Caldas AC, et al. Avaliao da ateno
sade atravs da investigao de bitos infantis.
Cad Sade Pblica 1996; 12 Suppl 2:33-41.
77. Gomes KO, Cotta RMM, Euclydes MP, Targueta CL,
Priore SE, Franceschini SCC. Avaliao do impacto
do Programa Sade da Famlia no perfil epidemiolgico da populao rural de Aires, Municpio de
Paula Cndido (MG), 1992-2003. Cinc Sade Coletiva 2009; 14 Suppl 1:1473-82.
78. Henrique F, Calvo MCM. Avaliao do Programa
Sade da Famlia nos municpios do Estado de
Santa Catarina, Brasil. Cad Sade Pblica 2008;
24:809-19.
79. Macdo VC, Bezerra AFB, Frias PG, Andrade CLT.
Avaliao das aes de preveno da transmisso
vertical do HIV e sfilis em maternidades pblicas
de quatro municpios do Nordeste brasileiro. Cad
Sade Pblica 2009; 25:1679-92.
80. Minayo MCS, Deslandes SF. Anlise da implantao da Rede de Ateno s Vtimas de Acidentes e
Violncias segundo diretrizes da Poltica Nacional
de Reduo da Morbimortalidade sobre Violncia
e Sade. Cinc Sade Coletiva 2009; 14:1641-9.
81. Nagahama EI. Avaliao da implantao de servios de sade reprodutiva no Municpio de Maring, Paran, Brasil. Cad Sade Pblica 2009; 25
Suppl 2:S279-90.
82. Rodrigues MAP, Facchini LA, Piccini RX, Tomasi E,
Thum E, Silveira DS, et al. Uso de servios ambulatoriais por idosos nas regies Sul e Nordeste do
Brasil. Cad Sade Pblica 2008; 24:2267-78.
83. Santos SMC, Santos LMP. Avaliao de polticas
pblicas de segurana alimentar e combate fome
no perodo de 1995-2002: 1 - abordagem metodolgica. Cad Sade Pblica 2007; 23:1029-40.
84. Santos LMP, Santos SMC, Santana LAA, Henrique
FCS, Mazza RPD, Santos LAS, et al. Avaliao de
polticas pblicas de segurana alimentar e combate fome no perodo de 1995-2002: 4 Programa Nacional de Alimentao Escolar. Cad Sade
Pblica 2007; 23:2681-93.

85. Scochi MJ, Marcon SS, Oliveira MLF, Waldman


MAP, Gonalves MB, Nishiyama P, et al. Capacitao das equipes locais como estratgia para a institucionalizao da avaliao em sade. Cad Sade
Pblica 2008; 24 Suppl 1:S183-92.
86. Patton MQ. Utilization-focused evaluation: the
new century text. Beverly Hills: Sage Publications;
1997.
87. Costa GD, Cotta RMM, Reis JR, Siqueira-Batista R,
Gomes AP, Franceschini SCC. Avaliao do cuidado sade da gestante no contexto do Programa
Sade da Famlia. Cinc Sade Coletiva 2009; 14
Suppl 1:1347-57.
88. Feliciano KVO, Kovacs MH, Costa IER, Oliveira
MG, Arajo MAS. Avaliao continuada da educao permanente na ateno criana na Estratgia
Sade da Famlia. Rev Bras Sade Matern Infant
2008; 8:45-53.
89. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalizao da avaliao em
sade: uma proposta de auto-avaliao. Cad Sade Pblica 2008; 24:2091-102.
90. Manzini FC, Borges VTM, Parada CMGL. Avaliao
da assistncia ao parto em maternidade terciria
do interior do Estado de So Paulo, Brasil. Rev Bras
Sade Matern Infant 2009; 9:59-67.
91. Lancman S. Instituies psiquitricas e comunidades: um estudo de demanda em sade mental
no Estado de So Paulo, Brasil. Cad Sade Pblica
1997; 13:93-102.
92. Caldeira AP, Gonalves E. Avaliao de impacto
da implantao da Iniciativa Hospital Amigo da
Criana. J Pediatr (Rio J.) 2007; 83:127-32.
93. Hfelmann DA, Blank N. Identification of confounders in the association between self-reported
diseases and symptoms and self-rated health in a
group of factory workers. Cad Sade Pblica 2008;
24:983-92.
94. Bezerra LCA, Freese E, Frias PG, Samico I, Almeida
CKA. A vigilncia epidemiolgica no mbito municipal: avaliao do grau de implantao das aes.
Cad Sade Pblica 2009; 25:827-39.
Recebido em 10/Ago/2010
Verso final reapresentada em 10/Mai/2011
Aprovado em 27/Mai/2011

Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011

1677