Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011
1667 Reflexes sobre avaliao de polticas de sade no Brasil Reections on health policy evaluation in Brazil 1 Escola Nacional de Sade Pblica Sergio Arouca, Fundao Oswaldo Cruz, Rio de Janeiro, Brasil. Correspondncia F. M. B. Fernandes Departamento de Cincias Sociais, Escola Nacional de Sade Pblica Sergio Arouca, Fundao Oswaldo Cruz. Rua Leopoldo Bulhes 1480, Rio de Janeiro, RJ 21041-210, Brasil. fernando.bessa@ensp.fiocruz.br Fernando Manuel Bessa Fernandes 1 Jos Mendes Ribeiro 1 Marcelo Rasga Moreira 1 Abstract This article aims to contribute to the debate on public policy evaluation, specifically in the Bra- zilian health sector. The objective is to analyze some of the key issues in this field through a lit- erature search in the SciELO database. Sixty-six articles were selected using the descriptors health evaluation and evaluation of health programs and projects in indexed Brazilian public health periodicals from 1994 to 2009. The article explores aspects of academic output according to an estab- lished typology and in relation to possibilities for developing the theme of policy evaluation, linked to interventions focused on efficacious, efficient, and effective treatment of the populations health problems. Program Evaluation; Health Evaluation; Health Public Policy Introduo Uma crescente consolidao da avaliao como prtica no mbito da gesto/administrao p- blica tem sido apontada como fenmeno ocor- rido no mundo pelo menos nas ltimas cinco dcadas. Tal fato tem estimulado a reunio de considervel arcabouo terico, mltiplas re- flexes metodolgicas e destaque acadmico 1,2,3,4,5,6,7,8,9,10 . No Brasil, notadamente desde o contexto de Reforma Gerencial do Estado (Bodstein R, Mo- reira MR, 2008, comunicao pessoal) 11 , a con- solidao da avaliao comea lentamente a ter contornos mais ntidos e a se tornar prtica insti- tucional e institucionalizada, o que tem refletido na produo cientfico-literria. Mesmo com esses considerveis avanos, a rigor no existe um consenso estabelecido na li- teratura sobre o conceito de avaliao. A varieda- de de enfoques, abordagens e teorias tal, a pon- to de ser menos difcil e embaraoso identificar o que no avaliao 1,2,3,6,7,9,10,12,13,14,15,16 . De fato, consideraes que levam em conta aspectos tericos e metodolgicos sobre o que avaliao aplicada a polticas e o que anlise de polticas, por exemplo, podem ser feitas. Um aprofundamento dessa distino exigiria um desvio do foco deste artigo; porm, funda- mental afirmar a importncia do impacto exer- cido tanto pelo avaliador quanto pelo analista enquanto atores das polticas com as quais eles REVISO REVIEW Fernandes FMB et al. 1668 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 esto relacionados, dado que as interaes entre eles e os demandantes das avaliaes e anli- ses se caracterizam por negociaes e escolhas conceituais, procedimentais e expositivas dos achados 17 . Diante da inexistncia de neutralidade de todos os envolvidos com polticas pblicas, percebe-se que elas podem ser compreendidas como demandas das sociedades manifestadas e mediadas por grupos de interesses e movimen- tos sociais e, por outro lado, tambm podem ser entendidas como as tentativas de resposta dos governos a esses anseios e demandas 18,19,20 . Nosso entendimento o de que as polticas pblicas podem ser tratadas de modo esquem- tico e para fins de anlise, como estruturadas se- gundo ciclos e estgios, podendo ou no recome- ar com novas orientaes, num movimento pro- cessual e dinmico chamado policy cycle 21,22 . Polticas pblicas so passveis de ser com- preendidas, portanto, como aes governamen- tais idealizadas, formuladas e desenhadas em ateno aos propsitos de agenda dos governos, permeados e intercambiados com os anseios e demandas de grupos da sociedade, resultando em programas, aes, estratgias, planos, que tero efeitos e buscaro transformaes e resul- tados positivos e benficos para pessoas numa dada realidade. Isso permite dizer que as polticas pblicas, de modo geral (dentre elas, iniciativas nas re- as da Sade e da Educao, por exemplo) so campos multidisciplinares de estudos e interes- ses, j que, diante da vontade e inclinao para estud-las, torna-se necessria a compreenso de que teorias e instrumentais construdos nos campos da Sociologia, da Cincia Poltica e da Economia, para citar os mais evidentes, so fun- damentais para a realizao de anlises e estudos 5,16,18,19,20,23 . Nunca perdendo de vista o carter interseto- rial e multidisciplinar dos processos das polti- cas, a sua formulao, implementao e execu- o so caracterizadas por situaes e desafios que demandam prticas de acompanhamento, monitoramento e avaliao, no apenas para eventuais correes de rumo na conduo das aes por parte dos especialistas, polticos e tc- nicos responsveis, mas tambm para atender s modificaes constantes e estruturais que o dinamismo do processo inerentemente apre- senta e para servir de base e lies aprendidas para aplicao em outras aes do mesmo gne- ro (Bodstein R, Moreira MR, 2008, comunicao pessoal) 1,2,6,7,12,20,23,24 . Tendo sido feitas reflexes iniciais para se pensar o que , como se faz e quais as questes envolvendo avaliao de polticas, especialmen- te no mbito da gesto pblica no setor sade, um bom ponto de partida estabelecer uma defi- nio objetiva: avaliar significaria emitir um juzo de valor, atribuir valor a algo, conferir a algo um aval. S que, por ser a avaliao de polticas um processo complexo, avaliar tambm comparar parmetros estabelecidos e resultados alcana- dos de uma dada interveno ou sobre qualquer dos seus componentes, com vistas facilitao da consecuo de determinados objetivos. Utilizando-se de critrios ou padres traa- dos para uma investigao sistemtica, a ativida- de avaliativa insere-se tanto no campo da cincia por meio da produo de evidncias quanto no da prtica cotidiana da poltica por meio dos processos analisados, e vincula-se a uma dimen- so instrumental, com o intuito de auxiliar na tomada de decises 15,17,24,25,26,27,28,29,30,31 . Se a ao avaliativa compreende a emisso de um juzo de valor, torna-se, portanto, neces- srio refletir sobre como; quando; onde; para quem; com quem; quanto ou seja, despenden- do quais fontes e quais quantidades de recursos; em que medida; atendendo a quais interesses; significando e ressignificando quais conceitos; representando quais influncias e interesses; re- sultando em quais consequncias; uma prtica caracterizada como avaliao pode e deve ge- rar transformaes positivas na realidade e bem- estar coletivo. Essas so perenes questes e desafios epis- temolgicos, tcnicos e, sobretudo, ideolgicos, dos quais os interessados na prtica avaliativa em sade no podem se desviar, dada a prpria natureza dos conceitos em tela. Nesse contexto e com essas preocupaes, procura-se contribuir para o debate sobre a ava- liao de polticas pblicas, especificamente no que concerne ao setor sade. Busca-se apresentar e tematizar algumas das questes fundamentais que perpassam tal cam- po de estudo, mediante um levantamento ou re- viso bibliogrfica sobre avaliao de polticas no setor sade numa conceituada e reconhecida base de dados. Exploram-se aspectos da produ- o acadmica numa tipologia estabelecida e em correlao com as possibilidades de desenvol- vimento do tema da avaliao de polticas que articulem intervenes voltadas para o enfrenta- mento efetivo de agravos da populao. Aspectos metodolgicos Ao se refletir sobre reviso bibliogrfica, percebe- se que possvel caracteriz-la como uma ativi- dade de resumo crtico sobre determinado tpi- REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE 1669 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 co de interesse, resultando num estado da arte do conhecimento produzido e acumulado sobre um dado tema. Contudo, ela deve estar intimamente vincu- lada ao problema de pesquisa que a provocou, da advindo, justamente, uma imprescindvel flexibilidade, sem prejuzo da adoo de uma sis- temtica delineada. Isto permite dizer que, apesar da variedade das formas de operacionalizao oferecida pelos modelos encontrados na literatura referente re- viso bibliogrfica, para atender elaborao do presente texto foi percorrido o seguinte trajeto: Seleo do tema; Definio de critrios para a seleo da amostra; Busca em base de dados; En- quadramento e anlise dos dados; Interpretao e Discusso dos resultados. As buscas efetuadas para a confeco deste artigo foram realizadas na base de dados eletr- nica SciELO (http://www.scielo.org), escolhida por sua relevncia advinda do pioneirismo e da manuteno da garantia do acesso ao conheci- mento acadmico produzido no pas. Os proce- dimentos relacionados respeitaram os seguintes passos: 1. Identificao de termos junto aos Descrito- res em Cincias da Sade (DeCS), da Biblioteca Virtual em Sade (http://decs.bvs.br), conside- rando termos mais citados em literatura de re- ferncia, na lngua portuguesa, que articulavam os conceitos colocados como focais para o artigo: Avaliao em Sade; Avaliao de Programas e Projetos de Sade; 2. Refinamento da busca, visando maior espe- cificidade e foco direcionado ao objetivo. Foram sumariamente excludas as produes cientficas repetidas e aquelas que no se relacionavam di- retamente com o escopo e o objetivo do presente artigo; 3. Enquadramento dos artigos encontrados nu- ma tipologia identificada na literatura sobre ava- liao de polticas; 4. Anlise crtica dos artigos encontrados luz do instrumental terico estabelecido. Conscientes acerca de limitaes inerentes s escolhas feitas, os autores verificaram que a utilizao do descritor avaliao gerou um ex- cessivo nmero de ocorrncias, o que provocou a opo de no inclu-lo por ampliar demasiada- mente o horizonte de anlise. De fato, a partir do momento em que se estabeleceu que o foco do artigo se firmaria na conjugao dos conceitos de avaliao, de polticas e de sade, configurou-se o refinamento da busca, e assumiu-se que no ela no seria efetuada em bases de dados abertas como o site Google, por exemplo. Assim sendo, pela aplicao dos dois descri- tores designados na base de dados SciELO, foram selecionados 66 artigos, de publicaes brasilei- ras indexadas na rea da sade coletiva, desde o ano de 1994 at o ano de 2009. Com o primeiro descritor, intitulado Avalia- o em Sade, foram encontrados 49 artigos. J com o segundo descritor, denominado Avalia- o de Programas e Projetos de Sade, foram selecionados 17 artigos (Tabela 1). A dificuldade em se conceituar uma prtica como uma avaliao advinda da heterogeneida- de dos corpos tericos e dos conceitos utilizados, impede que haja algum tipo de consenso esta- belecido quanto ao que envolve a elaborao de tipologias de prticas avaliativas. No entanto, se o campo ainda est sendo construdo terica e metodologicamente, as possibilidades de serem exploradas trajet- rias e caminhos esto completamente abertas 3,5,8,10,12,13,27 . As formas de se iniciar a explorao de cami- nhos passam pela definio de pontos de partida que serviro de guia no trajeto a ser percorrido, como possvel perceber na citao: Patton, ao desenvolver uma abordagem da avaliao deno- minada avaliao focada para a utilizao inclui na sua definio: a) a maneira de fazer a avalia- o que corresponderia coleta sistemtica de informaes sobre as atividades, caractersticas e resultados dos programas; b) o propsito da ava- liao, ou seja, fazer julgamentos sobre os progra- mas e/ou para subsidiar o processo de tomada de decises sobre futuras programaes 30 (p. 15). Tabela 1 Artigos publicados no SciELO, obedecendo aos descritores Avaliao em Sade e Avaliao de Programas e Projetos de Sade. Distribuio no perodo 1994-2009. Ano de publicao Avaliao em Sade (49 artigos) Avaliao de Programas e Projetos de Sade (17 artigos) 1994 49 - 1996 76 - 1997 5,44,91 - 1999 34 - 2001 9 - 2002 42 - 2004 53 - 2005 50 - 2006 8,38 - 2007 19,33,35,46,64 52,57,71,83,84,92 2008 4,32,39,41,48,51,56,60,63,65,66, 67,73,74,78,85,89,93 58,69,82,88 2009 36,40,41,45,47,59,61,75,79,80,81,87,90,94 37,54,62,68,70,71,77 Fernandes FMB et al. 1670 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 Percebe-se que a forma como o autor citado classifica avaliao passa por dois focos, ou me- lhor, duas categorias: o mtodo empregado na atividade, ou seja, como se pretende desenvolver a atividade, e o objetivo da atividade, significando o que se quer ou a finalidade da atividade. Estendendo-se este raciocnio, e conjugan- do-o com a produo de outros autores, H. No- vaes desenvolveu uma sntese das principais mo- dalidades propostas e categorizou-as, seguindo critrios considerados mais significativos para as questes priorizadas e selecionados com base na literatura, e depois as inseriu na nomenclatura mais frequentemente adotada 10 . A escolha da tipologia adotada por Novaes 21
na classificao dos artigos justificou-se, portan- to, pela necessidade operacional de estabeleci- mento de pontos iniciais de reflexo, conforme o estudo da literatura sobre o tema da avaliao indica. Notadamente, considerou-se que os cri- trios adotados por M. Patton e utilizados por Novaes referentes ao mtodo e aos objetivos empregados na atividade avaliativa exposta nos artigos seriam pertinentes, dada a sua coerncia metodolgica. Novaes 21 estipulou oito critrios que buscam considerar as principais variveis orientadoras das decises conceituais e metodolgicas na construo dos processos de avaliao. So eles: (1) objetivo da avaliao, (2) posio do avaliador, (3) enfoque priorizado, (4) metodologia predomi- nante, (5) forma de utilizao da informao pro- duzida, (6) contexto da avaliao, (7) temporali- dade da avaliao e (8) tipo de juzo formulado. Com a combinao das alternativas colo- cadas para cada um desses critrios, Novaes 21
identificou trs grandes tipos de avaliao: (a) Pesquisa de Avaliao ou Investigao avaliativa/ avaliatria, (b) Avaliao para Deciso e (c) Ava- liao para Gesto. A Tabela 2 permite a visualizao da tipolo- gia com a qual se prope trabalhar, utilizando-a como apoio terico para o desenvolvimento de reflexes terico-metodolgicas sobre os artigos que constituem o universo contemplado. Resultados e discusso Cumpre explicitar que foram selecionados arti- gos que tivessem a preocupao em expandir e buscar novos paradigmas para o campo da ava- liao de polticas no Brasil, notadamente no que se refere quelas do setor sade. Por no serem produtos ou estarem vinculados a atividades de pesquisa e/ou de gesto propriamente ditas con- forme a tipologia adotada, e por trazerem contri- buies de cunho eminentemente terico. A es- ses artigos foi dada a denominao de Tericos
5,8,9,32,33,34,35,36,37 . Seu nmero no foi elevado, tendo havido a ocorrncia de nove artigos enquadrados nessa categoria; ressalte-se que isso de modo algum di- minui a pertinncia ou o mrito de tais artigos. Outro grupo, constitudo por 13 artigos, no foi passvel de caracterizao como Tericos, uma vez que os artigos no tinham o propsito de realizar reflexes neste sentido. Descreviam procedimentos sistemticos de pesquisa, mas no apresentavam um carter avaliativo propria- mente dito. Tabela 2 Caracterizao de tipos de avaliao segundo critrios selecionados. Critrios Investigao avaliatria Avaliao para deciso Avaliao para gesto Objetivo Conhecimento Tomada de deciso Aprimoramentos Posio do avaliador Externo (interno) Interno/Externo Interno/Externo Enfoque priorizado Impactos Caracterizao/ Compreenso Caracterizao/ Quantificao Metodologia dominante Quantitativo (qualitativo) experimental/ Quase-experimental Qualitativo e quantitativo situacional Quantitativo e qualitativo situacional Contexto Controlado Natural Natural Utilizao da informao Demonstrao Informao Instrumentos para gesto Juzo formulado em relao Hipteses Recomendaes Normas Temporalidade Pontual/Replicado Corrente/Pontual Integrado/Contnuo Fonte: Novaes 21 . REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE 1671 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 A forma pela qual esses artigos foram conce- bidos, construdos e apresentados no continha elementos terico-metodolgicos suficientes que permitissem inclu-los como pertencentes a nenhum dos trs tipos de avaliao, conforme a tipologia adotada, visto que no apresentam de modo realado o componente explicativo de evidncias referentes a intervenes explcitas. Ou seja, as discusses por esses artigos no contemplavam uma explicao de achados mar- cadamente relacionados avaliao de aes, estratgias, programas ou polticas, o que no se lhes retira sua validade e seu valor. A tais artigos foi dada a denominao de No Avaliaes 38,39, 40,41,42,43,44,45,46,47,48,49,50 . Completando o universo analisado, foram identificados 44 artigos que davam conta de ati- vidades investigativas, pesquisas e estudos en- volvendo naturezas, propostas, direcionamentos e procedimentos que podem ser classificados de Avaliaes. Nesse subconjunto de artigos, foram identi- ficados segundo a tipologia sugerida os seguin- tes grupos, em ordem decrescente de ocorrncia (1) Investigao Avaliatria, com 23 artigos; (2) 17 ocorrncias de Avaliao para Deciso; e (3) 4 artigos classificados como Avaliao para Gesto. A Figura 1 ilustra o universo de artigos analisa- dos para esse texto, distribudos por categorias. Cabe ressaltar que um nico artigo 51 den- tre os que foram classificados como Avaliaes expressava ntida preocupao em situar-se no quadro terico-conceitual da Avaliao, levan- do em considerao abordagens possveis do campo. Afirmava tratar-se de uma avaliao de servios de sade, no tocante a efetividade de uma estratgia: Entre as abordagens possveis no campo de avaliao em sade, a diviso clssica proposta por Donabedian em estrutura, processo e resultado, este trabalho pretende avaliar o resul- tado, ou seja, se existe modificao no estado de sade dos idosos cadastrados na ESF da CASSI, de acordo com o tempo de adeso... Por fim, entre a diversidade de estratgias e desenhos de pesquisa, este se encaixa em um estudo epidemiolgico do tipo longitudinal (coorte), considerado adequado para avaliar resultados 51 (p. 1545). Figura 1 Artigos publicados no SciELO, obedecendo aos descritores Avaliao em Sade e Avaliao de Programas e Projetos de Sade. Distribuio por tipos. 13,64% 19,70% 34,85% 25,76% 6,06% Terico No avaliao Investigao avaliativa Avaliao para deciso Avaliao para gesto Fernandes FMB et al. 1672 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 Artigos da categoria Investigao Avaliatria Os 23 artigos includos na categoria de Investi- gao Avaliatria 4,11,35,52,53,54,55,56,57,58,59,60,61,62, 63,64,65,66,67,68,69,70,71 tm como caracterstica co- mum predominante a busca pela produo de conhecimento vinculado comunidade cientfi- ca e reconhecido por ela. Tal tipo de artigo originrio de estudos e pesquisas geralmente desenvolvidas sob a coor- denao de instituies acadmicas, por iniciati- va delas prprias ou de grupos de pesquisadores, ou o que aconteceu mais raramente no universo de artigos estudado, em funo de solicitaes de instncias pblicas. concebido com o intuito de demonstrar um conhecimento que apresente nfase na objetivi- dade, de modo a servir de possvel fator orienta- dor de decises referentes a questes vrias so- bre uma dada realidade configurada numa ao, projeto ou programa 10 . A tnica dos artigos enquadrados nessa cate- goria tende a ser a preocupao pelo estabeleci- mento de nexos causais entre objetivos traados no planejamento de uma ao e os impactos al- canados por elas, por intermdio das observ- veis alteraes da realidade 19 . Em termos metodolgicos, essas observaes demandam a adoo de estratgias que impli- quem algum nvel de controle sobre o contexto observado, de modo a serem mais frequentes de- senhos gerais metodolgicos quase-experimen- tais. Isso no exclui a possibilidade de incluso de pesquisas com desenhos experimentais 10 . Trabalha-se neste tipo de pesquisa avaliati- va com a formulao de hipteses a serem de- monstradas e correlacionadas com os objetivos da pesquisa e com os resultados das observaes, e daquelas, o juzo da pesquisa ser articulado. So pesquisas que em geral apresentam custo considervel, fato que as torna de natureza pre- dominantemente focada e especfica. Porm, por conta dessa pontualidade e da prpria necessi- dade comparativa, podem ser reproduzidas ou replicadas 10 . Artigos da categoria Avaliao para Deciso Os 17 artigos enquadrados na categoria Avalia- o para Deciso 51,52,59,72,73,74,75,76,77,78,79,80,81, 82,83,84,85 falam de atividades cujo objetivo prin- cipal subsidiar processos de tomada de deci- so de modo a responder perguntas de carter operacional e imediato, formuladas e propostas por aqueles que vivenciam o objeto avaliado, o que torna importante que avaliadores internos componham a equipe coordenadora da avalia- o 10 . Em ateno complexidade dos objetos, nes- te tipo de ao avaliativa costuma-se lanar mo de mtodos quantitativos e qualitativos, de natu- reza situacional, (como, por exemplo, os estudos de caso). Seus resultados so articulados no mo- mento da anlise, ao se tomar por referncia uma teoria geral que permita a sua integrao 10 . Buscam-se resultados que, aps serem sub- metidos a uma sistematizao, sejam passveis de se transformar em recomendaes positivas para a tomada de deciso, medida que con- tribuam para a soluo dos problemas identifi- cados inicialmente ou ao longo do processo de implementao das intervenes 86 . Artigos da categoria Avaliao para Gesto Apenas 4 artigos enquadraram-se na categoria Avaliao para Gesto 87,88,89,90 . Eles apresenta- ram aes avaliativas que tinham como objetivo principal a produo da informao que contri- bua para o aprimoramento do objeto avaliado, vale dizer, tinham a proposta de aperfeioar, in- crementar e melhorar uma condio j dada. Pa- ra tanto, necessitam de caracterizar semelhante condio e traduzi-la em medidas quantificveis e replicveis 10 . Isso significa que h uma nfase na busca por medidas representativas de uma totalidade, com a informao produzida sendo prioritariamente voltada ao desenvolvimento e aprimoramento de indicadores. Como resultado dessa avaliao, espera-se a proposio de critrios ou normas, de modo a contriburem e assegurarem o funcio- namento otimizado da interveno. A anlise do universo dos artigos seleciona- dos possibilitou a constatao de que, em vrios deles, mesmo independentemente de sua clas- sificao como Avaliao, autores considera- dos consagrados ou clssicos que trabalham no campo da avaliao e das polticas pblicas so citados como marcos referenciais. No entanto, tais citaes tendem a prender- se a definies conceituais de ordem cronol- gica, no havendo reflexes aprofundadas em grandes quantidades. Em outra direo, alguns dos artigos citam os conceitos a fim de pontuar suas caractersticas e funes, sem o objetivo explicitamente desenha- do de entrar em discusses que correlacionas- sem de modo crtico-reflexivo os citados concei- tos s prticas governamentais que ensejaram as intervenes, programas, aes e ou estratgias analisadas. REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE 1673 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 Consideraes finais Guardadas as limitaes aqui assumidas, corro- borou-se a percepo de que a preocupao com a avaliao de polticas, que tem sido uma prti- ca institucional/institucionalizada disseminada em mbito internacional e gerado uma grande produo cientfica fora do Brasil, ainda no se encontra consolidada. Apesar de ser perceptvel um considervel crescimento de estudos acad- micos nos ltimos anos e de louvveis esforos para a ao gestora cada vez mais incorpor-la no setor sade, muito terreno ainda h de ser percorrido. Pesquisas avaliativas tm sido muito valori- zadas pela gesto na esfera pblica, o que acaba por provocar algum reflexo na produo acad- mico-literria. Dentre o total de 66 artigos ana- lisados para este texto, 81% foram publicados de 2007 a 2009. A anlise possibilitou o reconhecimento de propostas criativas de avaliao em sade, com pontos de convergncia e em consonncia com as proposies governamentais, de agncias fi- nanciadoras intergovernamentais, de organiza- es no governamentais, de profissionais e de acadmicos, que vm sendo colocadas, sugeridas e praticadas h muitos anos no mundo inteiro. Este panorama que se apresenta para o cam- po da avaliao de polticas de sade no Brasil sem dvida pode ser considerado bom. Todavia, com as devidas cautelas que toda anlise deve ter, e diante do quadro formado pelo conjunto de artigos do universo estudado, cabem algumas questes inspiradas por esta leitura, como fecha- mento do texto e, por que no, de abertura de ou- tras e novas frentes para reflexo sobre o tema: A adoo de prticas e a elaborao de pes- quisas avaliativas no Brasil tm crescido, mas, por conta da complexidade terico-conceitual e da multiplicidade metodolgico-operacional, ainda um campo em formao. Como imagi- nar, viabilizar e executar pesquisas no mbito acadmico que, sem se prenderem a roteiros fechados e modelos rgidos, apresentem graus aceitveis de sistematizao e consistncia te- rico-metodolgica? Ainda por ser um campo em formao, a utili- zao de conceitos por parte dos que trabalham com avaliao no segue um padro nico, o que gera por vezes uma situao de inadequao que transcende a simples semntica. Avaliao um termo amplamente utilizado, mas cuja ade- quao tende a ser escassa em muitos casos. A utilizao de uma tipologia como a que foi proposta neste texto demanda um esforo de enquadramento que, por vezes, encontra difi- culdades, dada a variedade de caractersticas das pesquisas apresentadas nos artigos seleciona- dos. Se for lcito dizer que essa variedade, por um lado, ancora-se na criatividade dos pesquisado- res, possibilitada pela natureza no consensual do campo avaliao, por outro lado, percebe-se que aponta para riscos de inadequao na con- cepo, operacionalizao e divulgao dos re- sultados e achados das pesquisas. Ainda, a utilizao da tipologia proposta e a anlise dos artigos selecionados apontaram pa- ra a necessidade de maiores esforos acerca da compreenso do que so polticas pblicas. A no distino entre polticas e iniciativas tais co- mo programas, aes e projetos, melhor dizendo, a no percepo de que programas, aes e pro- jetos podem ser entendidos como componentes de polticas, abre margem ocorrncia de uma confuso de grau, limite, alcance e escopo. Enfim, este artigo no tem a pretenso de apontar este ou aquele caminho como correto a ser seguido no campo da avaliao de polti- cas de sade. No entanto se reserva a modesta iniciativa compartilhada por muitos em buscar a reflexo e disseminar ideias e percepes, de modo a contribuir para o fortalecimento, a so- lidificao e o aperfeioamento do vasto cam- po da avaliao de polticas, programas, aes e projetos de sade. Fernandes FMB et al. 1674 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 Resumo O presente texto tem como objetivo trazer contribui- es para o debate sobre a avaliao de polticas p- blicas, especificamente no que concerne ao setor sade no Brasil. Busca-se apresentar e tematizar algumas das questes fundamentais que perpassam esse cam- po de estudo, mediante o levantamento ou reviso bi- bliogrfica sobre avaliao de polticas no setor sa- de numa conceituada e reconhecida base de dados, o SciELO. Foram selecionados 66 artigos com os descri- tores Avaliao em Sade e Avaliao de Programas e Projetos de Sade, de publicaes brasileiras indexa- das na rea da sade coletiva, desde o ano de 1994 at o ano de 2009. O artigo explora aspectos da produo acadmica numa tipologia estabelecida e em correla- o com as possibilidades de desenvolvimento do tema da avaliao de polticas, articulado a intervenes voltadas para o enfrentamento eficaz, eficiente e efeti- vo de agravos da populao. Avaliao de Programas e Projetos de Sade; Avalia- o em Sade; Polticas Pblicas de Sade Colaboradores F. M. B. Fernandes contribuiu na concepo e desenho do estudo, na anlise e na interpretao dos dados, na reviso do contedo intelectual, na reviso final aps contribuio dos coautores, e no encaminhamento da verso final para publicao. J. M. Ribeiro contribuiu na reviso crtica do contedo intelectual, na reviso e na aprovao final da verso para publicao. M. R. Moreira contribuiu na reviso crtica do contedo inte- lectual, na reviso e na aprovao final da verso para publicao. Referncias 1. Arretche M. Uma contribuio para fazermos ava- liaes menos ingnuas. In: Barreira C, Carvalho M, organizadores. Tendncias e perspectivas na ava- liao de polticas e programas sociais. So Paulo: Instituto de Estudos Especiais, Pontifcia Universi- dade Catlica de So Paulo; 2001. p. 43-56. 2. Barreira MCRN, Carvalho MCB, organizadores. Tendncias e perspectivas na avaliao de polti- cas e programas sociais. So Paulo: Instituto de Es- tudos Especiais, Pontifcia Universidade Catlica de So Paulo; 2001. 3. Browne A, Wildavsky A. What should evaluation mean? In: Pressman JL, Wildavsky A, editors. Im- plementation. 3 rd Ed. Berkeley: University of Cali- fornia Press; 1984. p. 181-205. 4. Cesconetto A, Lapa JS, Calvo MCM. Avaliao da eficincia produtiva de hospitais do SUS de San- ta Catarina, Brasil. Cad Sade Pblica 2008; 24: 2407-17. 5. Deslandes SF. Concepes em pesquisa social: ar- ticulaes com o campo da avaliao em servios de sade. Cad Sade Pblica 1997; 13:103-7. 6. Draibe SM. Avaliao de implementao: esboo de uma metodologia de trabalho em polticas p- blicas. In: Barreira MCRN, Carvalho MCB, organi- zadores. Tendncias e perspectivas na avaliao de polticas e programas sociais. So Paulo: Instituto de Estudos Especiais, Pontifcia Universidade Ca- tlica de So Paulo; 2001. p. 13-42. 7. Faleiros VP. Desafios para a pesquisa em poltica social. Ser Social 2001; (9):53-75. 8. Felisberto E. Da teoria formulao de uma pol- tica nacional de avaliao em sade: reabrindo o debate. Cinc Sade Coletiva 2006; 11:553-63. 9. Furtado JP. Um mtodo construtivista para a ava- liao em sade. Cinc Sade Coletiva 2001; 6: 165-81. REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE 1675 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 10. Ncleo de Estudos de Polticas Pblicas, Universi- dade Estadual de Campinas. Modelo de avaliao de programas sociais prioritrios relatrio final. Campinas: Ncleo de Estudos de Polticas Pbli- cas, Universidade Estadual de Campinas; 1999. 11. Bresser Pereira LC, Spink P. Reforma do estado e administrao pblica gerencial. Rio de Janeiro: Editora FGV; 1998. 12. Arretche M. Tendncias no estudo sobre avaliao. In: Melo Rico E, organizador. Avaliao de polticas sociais: uma questo em debate. 3 a Ed. So Pau- lo: Cortez Editora/Instituto de Estudos Especiais, Pontifcia Universidade Catlica de So Paulo; 2001. p. 29-39. 13. Chen T. Theory-driven evaluations. Newbury Park: Sage Publications; 1990. 14. Figueiredo AC, Figueiredo M. Avaliao poltica e avaliao de polticas: um quadro de referncia te- rica. Anlise & Conjuntura 1986; 1:107-27. 15. Frey K. Polticas pblicas: um debate conceitual e reflexes referentes prtica da anlise de polti- cas pblicas no Brasil. Planej Polt Pblicas 2000; (21):211-59. 16. Minayo MCS, Assis SG, Souza ER. Avaliao por triangulao de mtodos: abordagem de progra- mas sociais. Rio de Janeiro: Editora Fiocruz; 2005. 17. Geva-May I, Pal LA. Good fences make good neigh- bours. Policy evaluation and policy analysis ex- ploring the differences. Evaluation 1999; 5:259-77. 18. Bernier NF, Clavier C. Public health policy research: making the case for a political science approach. Health Promot Int 2011; 26:109-16. 19. Moreira M, Sucena LFM, Fernandes FMB. A ava- liao de polticas sociais no contexto da reforma gerencial do estado: contribuies para o debate metodolgico. Ser Social 2004; (14):4-76. 20. Souza R. Poder local e implementao da poltica de sade: dilemas da gesto descentralizada [Tese de Doutorado]. Rio de Janeiro: Escola Nacional de Sade Pblica Sergio Arouca, Fundao Oswaldo Cruz; 2005. 21. Novaes HMD. Avaliao de programas, servios e tecnologias em sade. Rev Sade Pblica 2000; 34:547-59. 22. Viana M. Abordagens metodolgicas em polticas pblicas. Campinas: Ncleo de Estudos de Polti- cas Pblicas, Universidade Estadual de Campinas; 1988. (Caderno de Pesquisa, 5). 23. Cano I. Introduo avaliao de programas so- ciais. Rio de Janeiro: Fundao Getlio Vargas; 2002. 24. MacRae Jr. D. Cross-national perspectives for aid- ing policy choice. Journal of Comparative Policy Analysis: Research and Practice 1999; 1:23-37. 25. Bosi M, Mercado F, organizadores. Avaliao quali- tativa de programas de sade: enfoques emergen- tes. Petrpolis: Editora Vozes; 2006. 26. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliao na rea de sade: concei- tos e mtodos. In: Hartz Z, organizador. Avaliao em sade. Rio de Janeiro: Editora Fiocruz; 2000. p. 29-47. 27. Cohen E, Franco R. Avaliao de projetos sociais. Rio de Janeiro: Editora Vozes; 2002. 28. Scriven M. O conceito de avaliao. In: Instituto Fonte para o Desenvolvimento Social, organiza- dor. Introduo avaliao de programas sociais coletnea de textos. So Paulo: Instituto Fonte para o Desenvolvimento Social; 2004. p. 8-33. 29. Verani JF. Uma proposta metodolgica para a ava- liao de programa de imunizao: contribuies para a construo de um novo modelo [Tese de Doutorado]. Rio de Janeiro: Escola Nacional de Sade Pblica Sergio Arouca, Fundao Oswaldo Cruz; 2005. 30. Vieira-da-Silva LM, Formigli VLA. Conceitos, abor- dagens e estratgias para a avaliao em sade. In: Hartz ZMA, Vieira-da-Silva LM, organizadoras. Avaliao em sade: dos modelos tericos prti- ca na avaliao de programas e sistemas de sade. Salvador: EDUFBA/Rio de Janeiro: Editora Fiocruz; 2005. p. 15-39. 31. Worthen B, Sanders J, Fitzpatrick J. Avaliao de programas: concepes e prticas. So Paulo: Edi- tora Gente; 2004. 32. Costa GD, Cotta R, Franceschini S, Batista R, Go- mes, A, Martins, P, et al. Avaliao em sade: refle- xes inscritas no paradigma sanitrio contempo- rneo. Physis (Rio J.) 2008; 18:705-26. 33. Dubeux LS, Cazarin G, Figueir AC, Bezerra LCA, Barros M, Salvi A, et al. Formao de avaliadores na modalidade educao a distncia: necessidade transformada em realidade. Rev Bras Sade Ma- tern Infant 2007; 7 Suppl 1:47-52. 34. Hartz Z. Avaliao dos programas de sade: pers- pectivas terico-metodolgicas e polticas institu- cionais. Cinc Sade Coletiva 1999; 4:341-54. 35. Lins AM, Ceclio LCO. Campos de intervenes or- ganizacionais: a contribuio das cincias huma- nas para uma leitura crtica das propostas de ges- to das organizaes de sade. Interface Comum Sade Educ 2007; 11:503-14. 36. Minayo MCS. Construo de indicadores qualita- tivos para avaliao de mudanas. Rev Bras Educ Md 2009; 33 Suppl 1:83-91. 37. Santos IS. Avaliao do impacto de programas nu- tricionais. Rev Nutr 2009; 22:141-50. 38. Carraro TE, Knobel V, Radunz V, Meincke SMK, Fiewski MFC, Frello AT, et al. Cuidado e conforto durante o trabalho de parto e parto: na busca pela opinio das mulheres. Texto & Contexto Enferm 2006; 15(No Spe):97-104. 39. Cielo CA, Conterno G, Carvalho CDM, Finger LS. Disfonias: relao S/Z e tipos de voz. Rev CEFAC 2008; 10:536-47. 40. Cipriano Jr. G, Yuri D, Bernardelli GF, Mair V, Buffo- lo E, Branco JNR. Avaliao da segurana do tes- te de caminhada dos 6 minutos em pacientes no pr-transplante cardaco. Arq Bras Cardiol 2009; 92:312-9. 41. Clemente A, Matos DR, Grejanin DKM, Santos HE, Quevedo MP, Massa PA. Residncia multiprofissio- nal em sade da famlia e a formao de psiclo- gos para a atuao na ateno bsica. Sade Soc 2008; 17:176-84. 42. Costa NR, Pinto LF. Avaliao de programa de ateno sade: incentivo oferta de ateno am- bulatorial e a experincia da descentralizao no Brasil. Cinc Sade Coletiva 2002; 7:907-23. Fernandes FMB et al. 1676 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 43. Finger LS, Cielo CA, Schwarz K. Acoustic vocal measures in women without voice complaints and with normal larynxes. Braz J Otorhinolaryngol 2009; 75:432-40. 44. Glina DMR, Satut BTG, Andrade EMOAC. A exposi- o ocupacional ao mercrio metlico no mdulo odontolgico de uma unidade bsica de sade lo- calizada na cidade de So Paulo. Cad Sade Pbli- ca 1997; 13:257-67. 45. Gonalves GP, Barbosa FT, Barbosa LT, Duarte JL. Avaliao da qualidade dos ensaios clnicos alea- trios em terapia intensiva. Rev Bras Ter Intensiva 2009; 21:45-50. 46. Morales RR, Morales NMO, Rocha FCG, Fenelon SB, Pinto RMC, Silva CHM. Qualidade de vida em portadores de esclerose mltipla. Arq Neuropsi- quiatr 2007; 65:454-60. 47. Silva GF, Pelloso SM. Perfil das parturientes e seus recm-nascidos atendidos em um hospital-escola do noroeste do Estado do Paran. Rev Esc Enferm USP 2009; 43:95-102. 48. Vasconcelos EM. Os diferentes tipos de pesquisa. In: Vasconcelos EM, organizador. Complexidade e pesquisa interdisciplinar: epistemologia e meto- dologia operativa. 2 a Ed. Petrpolis: Editora Vozes; 2002. p. 157-67. 49. Veras CMT, Martins MS. A confiabilidade dos da- dos nos formulrios de Autorizao de Internao Hospitalar (AIH), Rio de Janeiro, Brasil. Cad Sade Pblica 1994; 10:339-55. 50. Vidal SA, Arruda BKG, Vanderlei LC, Frias PG. Ava- liao da srie histrica dos nascidos vivos em unidade terciria de Pernambuco: 1991 a 2000. Rev Assoc Md Bras 2005; 51:17-22. 51. Xavier AJ, Reis SS, Paulo EM, dOrsi E. Tempo de adeso Estratgia Sade da Famlia protege ido- sos de eventos cardiovasculares e cerebrovascu- lares em Florianpolis, 2003 a 2007. Cinc Sade Coletiva 2008; 13:1543-51. 52. Barroso LMM, Galvo MTG. Avaliao de atendi- mento prestado por profissionais de sade a pur- peras com HIV/AIDS. Texto & Contexto Enferm 2007; 16:463-9. 53. Brandalize SRC, Czeresnia D. Avaliao do progra- ma de preveno e promoo da sade de fenilce- tonricos. Rev Sade Pblica 2004; 38:300-6. 54. Carvalho BG, Souza RKT, Soares DA, Yagi MCN. Doenas cardiovasculares antes e aps o Programa Sade da Famlia, Londrina, Paran. Arq Bras Car- diol 2009; 93:645-50. 55. Chaves SCL, Vieira-da-Silva LM. Ateno sade bucal e a descentralizao da sade no Brasil: es- tudo de dois casos exemplares no Estado da Bahia. Cad Sade Pblica 2007; 23:1119-31. 56. Elias E, Magajewski F. A Ateno Primria Sade no sul de Santa Catarina: uma anlise das interna- es por condies sensveis ateno ambulato- rial, no perodo de 1999 a 2004. Rev Bras Epidemiol 2008; 11:633-47. 57. Gonalves MJF, Penna MLF. Morbidade por tuber- culose e desempenho do programa de controle em municpios brasileiros, 2001-2003. Rev Sade P- blica 2007; 41 Suppl 1:95-102. 58. Grangeiro GR, Digenes MAR, Moura ERF. Ateno pr-natal no municpio de Quixad-CE segundo indicadores de processo do SISPRENATAL. Rev Esc Enferm USP 2008; 42:105-11. 59. Kalckmann SFN, Carvalheiro JR. Avaliao da con- tinuidade de uso do preservativo feminino em usurias do Sistema nico de Sade em unidades da Regio Metropolitana de So Paulo, Brasil. Rev Bras Epidemiol 2009; 12:132-43. 60. Martins MA, Frana E, Matos JC, Goulart EMA. Vi- gilncia ps-alta das infeces de stio cirrgico em crianas e adolescentes em um hospital uni- versitrio de Belo Horizonte, Minas Gerais, Brasil. Cad Sade Pblica 2008; 24:1033-41. 61. Mendes ACG, Arajo J JLCA, Furtado BMAS, Duarte PO, Santiago RF, Costa TR. Avaliao da satisfao dos usurios com a qualidade do atendimento nas grandes emergncias do Recife, Pernambuco, Bra- sil. Rev Bras Sade Matern Infant 2009; 9:157-65. 62. Nascimento AC, Moyss ST, Bisinelli JC, Moyss SJ. Oral health in the Family Health Strategy: a change of practices or semantics diversionism. Rev Sade Pblica 2009; 43:455-62. 63. Parada CMGL, Tonete VLP. O cuidado em sade no ciclo gravdico-puerperal sob a perspectiva de usurias de servios pblicos. Interface Comum Educ Sade 2008; 12:35-46. 64. Rebouas D, Legay LF, Abelha L. Satisfao com o trabalho e impacto causado nos profissionais de servio de sade mental. Rev Sade Pblica 2007; 41:244-50. 65. Rocha PM, Uchoa AC, Rocha NSPD, Souza ECF, Rocha ML, Pinheiro TXA. Avaliao do Programa Sade da Famlia em municpios do Nordeste bra- sileiro: velhos e novos desafios. Cad Sade Pblica 2008; 24 Suppl 1:S69-78. 66. Santa Helena ET, Nemes MIB, Eluf-Neto J. Desen- volvimento e validao de questionrio multidi- mensional para medir no-adeso ao tratamen- to com medicamentos. Rev Sade Pblica 2008; 42:764-7. 67. Secoli SR, Padilha KG, Litvoc J. Cost-effectiveness analysis of the analgesic therapy of postoperative pain. Rev Latinoam Enferm 2008; 16:42-6. 68. Stranieri I, Takano OA. Avaliao do servio de referncia em triagem neonatal para hipotireoidis- mo congnito e fenilcetonria no Estado de Mato Grosso, Brasil. Arq Bras Endocrinol Metab 2009; 53:446-52. 69. Theme Filha MM, Szwarcwald CL, Souza Junior PRB. Medidas de morbidade referida e inter-rela- es com dimenses de sade. Rev Sade Pblica 2008; 42:73-81. 70. Torres HC, Franco LJ, Stradioto MA, Hortale VA, Schall VT. Avaliao estratgica de educao em grupo e individual no programa educativo em dia- betes. Rev Sade Pblica 2009; 43:291-8. 71. Veloso IS, Santana VS, Oliveira NF. Programas de alimentao para o trabalhador e seu impacto so- bre ganho de peso e sobrepeso. Rev Sade Pblica 2007; 41:769-76. 72. Almeida CAL, Tanaka OY. Perspectiva das mulhe- res na avaliao do Programa de Humanizao do Pr-Natal e Nascimento. Rev Sade Pblica 2009; 43:98-104. 73. Bottari CMS, Vasconcellos MM, Mendona MHM. Cncer crvico-uterino como condio marcado- ra: uma proposta de avaliao da ateno bsica. Cad Sade Pblica 2008; 24 Suppl 1:S111-22. REFLEXES SOBRE AVALIAO DE POLTICAS DE SADE 1677 Cad. Sade Pblica, Rio de Janeiro, 27(9):1667-1677, set, 2011 74. Facchini LA, Piccini RX, Tomasi E, Thum E, Teixei- ra VA, Silveira DS, et al. Avaliao de efetividade da Ateno Bsica Sade em municpios das regies Sul e Nordeste do Brasil: contribuies metodol- gicas. Cad Sade Pblica 2008; 24 Suppl 1:S159-72. 75. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Sa- mico I. Poltica de monitoramento e avaliao da ateno bsica no Brasil de 2003 a 2006: contextu- alizando sua implantao e efeitos. Rev Bras Sade Matern Infant 2009; 9:339-57. 76. Formigli VLA, Silva LMV, Cerdeira AJP, Pinto CMF, Oliveira RSA, Caldas AC, et al. Avaliao da ateno sade atravs da investigao de bitos infantis. Cad Sade Pblica 1996; 12 Suppl 2:33-41. 77. Gomes KO, Cotta RMM, Euclydes MP, Targueta CL, Priore SE, Franceschini SCC. Avaliao do impacto do Programa Sade da Famlia no perfil epidemio- lgico da populao rural de Aires, Municpio de Paula Cndido (MG), 1992-2003. Cinc Sade Co- letiva 2009; 14 Suppl 1:1473-82. 78. Henrique F, Calvo MCM. Avaliao do Programa Sade da Famlia nos municpios do Estado de Santa Catarina, Brasil. Cad Sade Pblica 2008; 24:809-19. 79. Macdo VC, Bezerra AFB, Frias PG, Andrade CLT. Avaliao das aes de preveno da transmisso vertical do HIV e sfilis em maternidades pblicas de quatro municpios do Nordeste brasileiro. Cad Sade Pblica 2009; 25:1679-92. 80. Minayo MCS, Deslandes SF. Anlise da implanta- o da Rede de Ateno s Vtimas de Acidentes e Violncias segundo diretrizes da Poltica Nacional de Reduo da Morbimortalidade sobre Violncia e Sade. Cinc Sade Coletiva 2009; 14:1641-9. 81. Nagahama EI. Avaliao da implantao de ser- vios de sade reprodutiva no Municpio de Ma- ring, Paran, Brasil. Cad Sade Pblica 2009; 25 Suppl 2:S279-90. 82. Rodrigues MAP, Facchini LA, Piccini RX, Tomasi E, Thum E, Silveira DS, et al. Uso de servios ambu- latoriais por idosos nas regies Sul e Nordeste do Brasil. Cad Sade Pblica 2008; 24:2267-78. 83. Santos SMC, Santos LMP. Avaliao de polticas pblicas de segurana alimentar e combate fome no perodo de 1995-2002: 1 - abordagem metodo- lgica. Cad Sade Pblica 2007; 23:1029-40. 84. Santos LMP, Santos SMC, Santana LAA, Henrique FCS, Mazza RPD, Santos LAS, et al. Avaliao de polticas pblicas de segurana alimentar e com- bate fome no perodo de 1995-2002: 4 Progra- ma Nacional de Alimentao Escolar. Cad Sade Pblica 2007; 23:2681-93. 85. Scochi MJ, Marcon SS, Oliveira MLF, Waldman MAP, Gonalves MB, Nishiyama P, et al. Capacita- o das equipes locais como estratgia para a ins- titucionalizao da avaliao em sade. Cad Sade Pblica 2008; 24 Suppl 1:S183-92. 86. Patton MQ. Utilization-focused evaluation: the new century text. Beverly Hills: Sage Publications; 1997. 87. Costa GD, Cotta RMM, Reis JR, Siqueira-Batista R, Gomes AP, Franceschini SCC. Avaliao do cuida- do sade da gestante no contexto do Programa Sade da Famlia. Cinc Sade Coletiva 2009; 14 Suppl 1:1347-57. 88. Feliciano KVO, Kovacs MH, Costa IER, Oliveira MG, Arajo MAS. Avaliao continuada da educa- o permanente na ateno criana na Estratgia Sade da Famlia. Rev Bras Sade Matern Infant 2008; 8:45-53. 89. Felisberto E, Freese E, Natal S, Alves CKA. Contri- buindo com a institucionalizao da avaliao em sade: uma proposta de auto-avaliao. Cad Sa- de Pblica 2008; 24:2091-102. 90. Manzini FC, Borges VTM, Parada CMGL. Avaliao da assistncia ao parto em maternidade terciria do interior do Estado de So Paulo, Brasil. Rev Bras Sade Matern Infant 2009; 9:59-67. 91. Lancman S. Instituies psiquitricas e comuni- dades: um estudo de demanda em sade mental no Estado de So Paulo, Brasil. Cad Sade Pblica 1997; 13:93-102. 92. Caldeira AP, Gonalves E. Avaliao de impacto da implantao da Iniciativa Hospital Amigo da Criana. J Pediatr (Rio J.) 2007; 83:127-32. 93. Hfelmann DA, Blank N. Identification of con- founders in the association between self-reported diseases and symptoms and self-rated health in a group of factory workers. Cad Sade Pblica 2008; 24:983-92. 94. Bezerra LCA, Freese E, Frias PG, Samico I, Almeida CKA. A vigilncia epidemiolgica no mbito muni- cipal: avaliao do grau de implantao das aes. Cad Sade Pblica 2009; 25:827-39. Recebido em 10/Ago/2010 Verso final reapresentada em 10/Mai/2011 Aprovado em 27/Mai/2011