605

possvel avaliar um imperativo tico? Is it possible to assess an ethical imperative?

ARTIGO ARTICLE

Marco Akerman 1 Rosilda Mendes 2 Cludia Maria Bgus 3

1 Centro de Estudos, Pesquisa e Documentao em Cidades Saudveis (Cepedoc Cidades Saudveis), Secretaria Municipal de Sade de So Paulo. Av. Dr. Arnaldo 715, 01246-904, So Paulo SP. akermanm.ops@terra.com.br 2 Cepedoc Cidades Saudveis. 3 Instituto de Sade, Secretaria Estadual de Sade de So Paulo, Cepedoc Cidades Saudveis.

Abstract Stakeholders and institutions involved in implementing public policies, of which health promotion is the main axis, have discussed the need to improve evaluation processes in order to appropriately understand the results of these actions. This issue has been approached with diverse emphasis seeking elements that demonstrate the effectiveness of the actions, and developing participatory evaluation tools that address the philosophical principles of the health promotion . This article briefly presents the main current perspectives of health promotion assessment based primarily on the following references: a book published by WHO, in 2001, updates the state-of-the art in evaluation of health promotion; an initiative by PAHO implemented in the past years with an emphasis on participatory evaluation methodologies; and a project on evidence and effectiveness carried out by IUHPE, as of 2002. Finally, it addresses a set of values and principles that could guide health promotion assessment. Moreover, the paper discusses three critical variables related to developing a participatory evaluation process in a healthy city project.These perspectives demonstrate the importance of establishing a conceptual landmark for evaluation, and that health promotion assessment is not exempt from values and principles. Key words Assessment, Health promotion, Healthy city, public policies

Resumo Na implementao de polticas pblicas que tm a promoo da sade como eixo, atores sociais e instituies tm discutido a necessidade de aprimorar processos avaliativos para conhecer, adequadamente, os resultados de tais aes. O tema tem sido abordado com nfases distintas: buscando elementos que evidenciam a efetividade das aes, e desenvolvendo ferramentas participativas de avaliao que contemplam os princpios filosficos do movimento da promoo da sade. O artigo recupera as principais perspectivas quanto avaliao em promoo da sade tomando como principais referncias: um livro publicado pela OMS em 2001 que atualiza o estado da arte em avaliao da promoo da sade, uma iniciativa da OPAS desenvolvida nos ltimos anos, com nfase na avaliao participativa, e um projeto sobre evidncias e efetividade da UIPES, desenvolvido a partir de 2002. Por fim, o artigo destaca um conjunto de valores e princpios que podem nortear a avaliao em promoo da sade e, a partir da anlise de uma experincia, o trabalho discute 3 variveis crticas de um processo participativo de avaliao de um projeto de municpio saudvel. Estas perspectivas denotam a importncia de construir um marco conceitual para a avaliao em promoo da sade que no est isenta de valores e de princpios. Palavras-chave Avaliao, Promoo da sade, Municpio saudvel, Polticas pblicas

606
Akerman, M. et al.

Introduo
Na implementao de polticas pblicas que tm a promoo da sade como eixo, atores sociais tm discutido a necessidade de aprimorar processos avaliativos para conhecer, adequadamente, os resultados de tais aes. As instituies de investigao e gesto vm se ocupando do tema da avaliao, desenvolvendo metodologias de monitoramento e avaliao de programas, aes e atividades, para subsidiar as polticas pblicas. Destacamos que, mais que atender aos apelos legtimos de financiadores de projetos, formuladores de polticas e tomadores de deciso em demonstrar a efetividade de procedimentos (WHO, 1998; Buvinich, 1999; Belloni et al., 2000), tambm estamos preocupados em como fazer com que uma metodologia de avaliao possa contribuir para o aprendizado, a ao e a transformao de prticas sociais. Esta discusso no nova, e permeia a literatura de avaliao em promoo da sade, tendo sido descrita como um debate entre positivistas e estruturalistas (Wimbusch & Watson, 2000) que ainda no chegaram a nenhum consenso sobre o que efetividade em um campo de intervenes to complexas. Vrios autores e organismos internacionais vm abordando o tema da avaliao em promoo da sade com nfases distintas: a primeira busca elementos que evidenciam a efetividade das aes, como por exemplo, os trabalhos de Davies & MacDonald (1998), IUHPE (1999), Perkins et al. (1999), McQueen (2000; 2002), Wimbush & Watson (2000), e outra que desenvolve ferramentas participativas de avaliao que contemplam os princpios filosficos do movimento da promoo da sade, como, por exemplo, os trabalhos de Wallerstein et al. (1997) e Springett (1998). Nutbean (1998) procura evitar a polarizao entre estes dois caminhos dizendo que importante fomentar desenhos que combinem as vantagens das diferentes abordagens de investigao, de maneira que se perceba qual estar mais adequada para cada estgio do programa. A avaliao deve ser formatada de acordo com as necessidades e circunstncias dos programas, pois nenhuma abordagem isolada ser adequada para todos os tipos de programa.

Perspectivas em avaliao da promoo da sade

A palavra perspectiva nos faz pensar em olhares, pontos de vista, aquilo que se espera no futuro ou, at mesmo, esperana. Olhar em perspectiva pode significar, tambm, ver objetos guardando-se uma certa distncia. Certamente, no a postura que adotamos neste artigo, pois o nosso envolvimento com este assunto quase visceral e nos deixa pleno de inquietaes. Sim, vamos trazer outros olhares e pontos de vista, pois o campo est eivado de distintas concepes e prticas. Entretanto, vamos ser econmicos na apresentao desses outros olhares para no sermos redundantes. Uma das mais recentes publicaes sobre avaliao em promoo da sade (WHO, 2001) revela no seu ttulo Evaluation in health promotion: principles and perspectives (Avaliao em promoo da sade: princpios e perspectivas) a mesma preocupao dos editores deste nmero da Cincia e Sade Coletiva. Vrios dos captulos contidos nessa publicao como, por exemplo, A framework for health promotion evaluation (Um marco conceitual para a avaliao em promoo da sade) de Rootman et al. (2001); Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes (Alm da avaliao de processo e resultados: uma abordagem ampliada para avaliar programas de promoo da sade) de Potvin et al. (2001) e Evaluation in health promotion: synthesis and recommendations (Avaliao em promoo da sade: sntese e recomendaes) de Goodstadt et al. (2001) apresentam os principais aspectos do atual debate no campo da avaliao em promoo da sade. Entretanto, vale frisar, que a perspectiva (ponto de vista) expressa no livro , predominantemente, a dos pases desenvolvidos, pois os autores envolvidos, por exemplo, no captulo final, o de sntese e recomendaes (Goodstadt et al., 2001) esto inseridos em organizaes canadenses (Potvin et al., 2001, Goodstadt et al. 2001, Rootman, 2001), americana (McQueen & Anderson, 2001) e inglesa (Springett, 2001). Por outro lado, importa saber que a perspectiva desses autores sobre promoo da sade no est guiada pelos cnones da biomedicina e que eles se guiam pelos princpios do empoderamento, da integralidade, da partici-

607
Cincia & Sade Coletiva, 9(3):605-615, 2004

pao, da intersetorialidade, da eqidade, da sustentabilidade e da combinao de estratgias mltiplas para promover sade como formulao de polticas pblicas, mudanas organizacionais, desenvolvimento social, leis, advocacia, educao e comunicao (Rootman, 2001). Quanto avaliao, a perspectiva proposta pelos idealizadores do livro a de estimular e apoiar abordagens e prticas inovadoras de avaliao em promoo da sade (Rootman, 2001). E para tal, os autores identificaram nove importantes dimenses que poderiam fertilizar o terreno para que iniciativas inovadoras sobre avaliao em promoo da sade possam proliferar: 1) um campo em evoluo; 2) pode contribuir para a prtica; 3) padece da falta de demonstrao de evidncias de efetividade de iniciativas concretas; 4) envolve uma gama ampla de abordagens e modelos; 5) oferece possibilidade de utilizao de abordagens tanto quantitativas quanto qualitativas; 6) utiliza uma grande quantidade de disciplinas e abordagens da rea de cincias sociais; 7) tem como base uma gama variada de modos de planejar as iniciativas; 8) requer teoria e marco conceitual para ser efetiva; e 9) propicia novos papis para avaliadores e pesquisadores (Goodstadt et al., 2001). Uma outra perspectiva neste campo, digna de nota, a iniciativa da Organizao PanAmericana da Sade (OPAS) em indicar diretrizes para formuladores de poltica e gestores no que concerne avaliao em promoo da sade (PAHO, 2004a), alm de desenvolver um marco conceitual e metodologias para a avaliao participativa de aes comunitrias e intersetoriais voltadas para a promoo da sade (PAHO, 2004b). Nessas duas abordagens, foi considerada a perspectiva de pases em desenvolvimento, pois o grupo responsvel pela elaborao deste material contou com representantes de pases da Amrica do Sul e Central. Sua perspectiva est calcada na advocacia de polticas pblicas voltadas para a promoo da sade e na participao ativa dos sujeitos das iniciativas no processo avaliativo. O Global Programme on Health Promotion Effectiveness (Programa Global em Efetividade da Promoo da Sade) impulsionado pela Unio Internacional de Promoo e Educao em Sade (UIPES) a partir de 2002, em colaborao com a Organizao Mundial da Sade (OMS) , tambm, uma outra perspecti-

va sobre avaliao em promoo da sade, que pode ser consultada na pgina www.iuhpe.org clicando na pgina principal em projects. Esta iniciativa est representada em todas as regies do mundo, sendo que a iniciativa LatinoAmericana denomina-se Proyecto sobre Evidencias de Efectividad en Promocin de la Salud. Dentre vrios objetivos que se prope atingir, a iniciativa busca demonstrar para os gestores a efetividade da promoo da sade e para tal apoiar o desenvolvimento de projetos de avaliao neste campo. Concentra sua perspectiva, ento, em construir uma base de evidncias em promoo da sade. Ainda vale referir algumas observaes importantes feitas por Restrepo (2001). Ela enfatiza que a avaliao deve ser considerada parte do planejamento das iniciativas de promoo da sade e, assim, a prtica avaliativa deve ser desenvolvida por meio de um planejamento que potencialize a participao social e a sustentabilidade das aes. Especificamente, quanto avaliao de projetos e iniciativas de municpios saudveis, Werna & Harpham (1995) j recomendavam a combinao de indicadores de processo em especial os relacionados com os processos de participao e de fortalecimento da comunidade e das instituies e de impacto, considerando o tempo de desenvolvimento das aes e o contexto local e a priorizao dos problemas, sem sobrepor indicadores internacionais sobre aqueles gerados no nvel local . Por fim, Hartz (1999; 2000) ressalta que o processo de avaliao envolve a coleta de dados e o processamento e anlise da informao. Assim, fundamental um planejamento adequado desde o incio para que a coleta do material atenda s perguntas que se pretende responder. A avaliao supe a utilizao de um conjunto de modelos, instrumentos e tcnicas. fundamental a construo de um modelo terico, explicitando como se espera que a poltica e/ou o programa exera sua influncia e a existncia de dispositivos institucionais que regulamentem o processo de avaliao, alm da pluralidade metodolgica.

Introduzindo a nossa perspectiva

Uma perspectiva, olhar ou ponto de vista, no deve estar descolada do lugar de onde se situa quem olha ou emite pontos de vista, mesmo que este olhar e opinio sejam efetuados

608
Akerman, M. et al.

distncia, como quando se olha em perspectiva quadros em uma exposio ou se analisam problemas. Mesmo na distncia, os ps do sujeito que olha algo ou, enuncia postulados, esto firmes em um determinado cho. Os autores deste artigo enunciam sua perspectiva de um lugar social e acadmico relacionado com a promoo da sade: 1) esto envolvidos em uma das perspectivas, acima, enunciadas, pois so membros do grupo que elaborou e testou os materiais e recursos para avaliao participativa promovida pela OPAS (PAHO, 2004b); 2) so membros da diretoria do Cepedoc um centro de documentao e investigao que concentra suas atividades de promoo da sade em iniciativas de municpios saudveis no Estado de So Paulo; 3) estiveram envolvidos nos ltimos trs anos com uma iniciativa concreta de avaliao participativa no municpio de Bertioga, SP (Akerman et al., 2002b); e 4) pesquisam outras agendas urbanas que promovam a participao social e a intersetorialidade (Mendes et al., 2002), pois entendem no ser prerrogativa do municpio saudvel a contribuio exclusiva para a formulao de polticas pblicas integradas, participativas, eqitativas e sustentveis.

Tudo que vale a pena ser feito, vale a pena ser avaliado. Por isso, compartilhamos com vrios atores sociais suas indagaes sobre se funciona, ou no, o que estamos fazendo e sobre qual o objeto da nossa atuao (Quadro 1). Esses depoimentos reforam a necessidade de termos de demonstrar como as iniciativas participativas e intersetoriais voltadas para a formulao de polticas pblicas direcionadas para a melhoria da qualidade de vida produzem mudanas. Neste sentido, a avaliao cumpriria um papel que no absoluto em determinar, ou no, a validade deste tipo de iniciativas, mas um eixo reflexivo sobre caminhos (Akerman et al., 2002a). Avaliar produzir um juzo de valor ou mrito para alguma ao humana sobre o ambiente social. Utiliza-se, para tal intento, um conjunto de procedimentos metodolgicos. Nos primrdios, avaliadores consideravam que os fatos falavam por si mesmos e que a avaliao era isenta de valores. Esta teoria vem sendo cada vez mais criticada dado que os programas sociais sempre trazem valores implcitos. O campo da promoo da sade exemplar neste sentido, pois est permeado de valores em disputa, e isto re-significa o processo avaliativo que contemplaria em seu desenho a explicitao de ticas, valores e princpios.

Quadro 1 Manifestaes de atores sociais relacionados com objetivos e resultados de iniciativas de municpios saudveis. Vocs acham que dizer aos prefeitos de cidades brasileiras que uma iniciativa de municpio saudvel empodera a populao suficiente para eu influenci-los a ingressar no movimento? Depoimento do coordenador do projeto Promoo da Sade do Ministrio da Sade em reunio realizada em 2001 com especialistas para discutir formas de advogar a iniciativa de municpios saudveis junto com os prefeitos. Como saber se uma cidade est se tornando saudvel? / Que resultados concretos vocs tm que podem demonstrar a melhora da qualidade de vida nas cidades onde vocs atuam? Perguntas de jornalistas em entrevistas concedidas pela equipe do Cepedoc Cidades Saudveis sobre as iniciativas que apoiamos. Desde o incio eu pensei que estvamos aqui para melhorar a conscientizao da populao e no para resolver os problemas de esgoto da cidade. Questionamento de um membro da Comisso Intersetorial do Projeto Bertioga Municpio Saudvel em uma reunio de avaliao da iniciativa.

609
Cincia & Sade Coletiva, 9(3):605-615, 2004

Valores e princpios que podem guiar a avaliao em promoo da sade

Promover sade promover a vida. compartilhar possibilidades para que todos possam viver seus potenciais de forma plena. perceber a interdependncia entre indivduos, organizaes e grupos populacionais e os conflitos decorrentes desta interao. reconhecer que a cooperao, solidariedade e transparncia, como prticas sociais correntes entre sujeitos, precisam ser, urgentemente, resgatadas. Promover a sade uma imposio das circunstncias atuais que apontam para a necessidade imperiosa de novos caminhos ticos para a sociedade. Para que a promoo da sade, ento, seja praticada nessa perspectiva e no apenas como um conjunto de procedimentos que informam e capacitam indivduos e organizaes ou que controlem determinantes de grupos populacionais, a sua avaliao poderia contribuir com este caminho, e no sendo, ento, um procedimento meramente tcnico, explicitaria valores e princpios. Com o intuito de aprofundar esse debate, em fevereiro de 2001, um grupo de trabalho apoiado pela Organizao Pan-Americana da Sade (OPAS), e que contou com a participao de dois dos autores deste artigo, reuniu-se em Antgua (Guatemala) e aprofundou o debate da avaliao de polticas e/ou programas de promoo da sade. Por meio de uma metodologia participativa, o grupo pactuou um conjunto de valores e princpios norteadores da avaliao em promoo da sade. O quadro 2, adaptado pelos autores do presente artigo, mostra o resultado desse trabalho. No se pretende com os valores e princpios acima enumerados estabelecer uma bula para a avaliao. O deve ser explicitado nas condies, caractersticas condies dos princpios apontados, mais que um dever do processo avaliativo, um posicionamento que delimita o direito dos sujeitos da avaliao. A avaliao de um projeto ou programa, usualmente, mede, aps um perodo de sua realizao, se foram atingidos ou no os objetivos propostos e, muitas vezes, estabelece uma linha de base de medida em relao ao incio do projeto ou programa. Um empreendimento social participativo e intersetorial, em que haja uma pluralidade de perspectivas e uma alta rotatividade de atores que participam, possui um alvo mvel; e um objetivo estabelecido, por

exemplo, no comeo da iniciativa, pode no estar mais ativo e em seu lugar terem surgido outros objetivos. Esta caracterstica, tambm, compromete a construo de uma linha de base analtica e respectivos indicadores. Ento, uma avaliao focada na anlise do alcance de objetivos de mdio e longo prazo pode no ser adequada, mas avaliaes participativas e em tempo real poderiam minimizar esta questo. O caso do Projeto Bertioga Municpio Saudvel (PBMS) ilustra esta reflexo.

O caso de Bertioga: um processo de avaliao e suas variveis crticas

O Projeto Bertioga Municpio Saudvel (PBMS) iniciou suas atividades em maro de 2000, a partir do estabelecimento do convnio de cooperao entre a Universidade de So Paulo (USP) e a Prefeitura do Municpio de Bertioga (Faculdade de Sade Pblica, 2000). A estncia balneria de Bertioga est localizada no litoral do Estado de So Paulo na regio Administrativa da Baixada Santista da qual fazem parte outros oito municpios. De acordo com o ltimo censo de 2000 a populao possui cerca de 32.000 residentes, sendo que nos meses de dezembro a fevereiro chega a 250.000 habitantes. O PBMS priorizou nesse primeiro ano as aes de interveno por meio da metodologia da pesquisa-ao, tcnicas participativas, visando mobilizao de atores sociais e a criao de espaos coletivos de discusso e de fomento do projeto nas diversas regies do municpio. No perodo de trs anos, foram realizados levantamentos das lideranas locais, capacitaes, oficinas de trabalho e reunies peridicas, com o objetivo de mobilizar e envolver a sociedade civil e setores do governo, em um processo de identificao dos problemas e definio de estratgias de negociao e definio de polticas pblicas locais. Imbudos da necessidade de buscar caminhos metodolgicos para a avaliao deste contexto de aes e vontades nos deparamos com desafios crticos ao seu desenvolvimento que compartilhamos com o leitores. A primeira varivel crtica Definio de um desenho metodolgico avaliativo suficiente para captar todos os aspectos envolvidos em projetos dessa natureza, que pres-

610
Akerman, M. et al.

Quadro 2 Valores, princpios e condies para avaliao da promoo da sade. Valores/Princpios Eqidade, Justia Social e Solidariedade Condies O processo avaliativo deve revelar todas as premissas tericas, ideolgicas e polticas sobre as quais se baseia e explicitar as relaes de poder existentes, incluindo aquelas que envolvem o avaliador. A avaliao deve levar em conta a diversidade e ser um instrumento de reflexo sobre como a iniciativa trata as iniqidades. A avaliao deve respeitar e valorizar os conhecimentos e as experincias locais. A avaliao deve transmitir um esprito de esperana, felicidade, amor e alegria. O processo da avaliao deve levar em considerao o contexto local da iniciativa, inclusive as barreiras e os elementos facilitadores. A avaliao deve reconhecer e explicitar as diferenas das identidades culturais, sociais e econmicas entre os distintos focos da avaliao, sejam eles populaes, grupos sociais, comunidades, organizaes, indivduos. O processo avaliativo deve ser capaz de responder: quem, por que e como. A avaliao deve estar integrada ao planejamento e orientada para a ao e para a mudana. O processo avaliativo deve contribuir para a criao de novos recursos na comunidade. A avaliao deve reconhecer a necessidade de criar variadas formas de divulgar resultados e de fortalecer os grupos sociais. O processo avaliativo deve envolver de forma apropriada aqueles que possuem interesse legtimo na iniciativa. A avaliao deve garantir que os grupos sociais, que esto tendo sua sade e qualidade de vida afetados pela iniciativa, participem do processo avaliativo. A avaliao deve garantir que os grupos, tradicionalmente excludos das polticas pblicas, possam compartilhar e apropriar-se tanto do processo de implementao da iniciativa, quanto da avaliao propriamente dita. A multiplicidade de mtodos deve refletir os princpios da promoo da sade. A avaliao deve utilizar uma combinao equilibrada de mtodos, tcnicas e instrumentos qualitativos e quantitativos. A avaliao deve obter informao de distintas fontes de dados. A avaliao deve focar em estrutura, processo e resultados de curto ou longo prazo, dependendo do estgio da iniciativa. O processo avaliativo deve produzir indicadores que sejam oportunos e apropriados ao contexto da iniciativa. A avaliao deve se basear nas potencialidades da comunidade. A avaliao deve apoiar a soluo de problemas locais. A avaliao deve assegurar a eqidade, permitindo que todos os atores sociais sejam ouvidos, principalmente aqueles advindos dos grupos mais vulnerveis e com menor poder. A avaliao deve gerar informao que possa ser usada para a advocacia da promoo da sade. A avaliao deve estimular o co-aprendizado entre atores. O processo avaliativo deve encorajar o dilogo e a reflexo e facilitar todas as formas de desenvolvimento do conhecimento para todos os envolvidos. A avaliao deve reconhecer que aprendizagem a chave para o desenvolvimento de capacidades para os grupos e organizaes locais. A avaliao deve conduzir para a ao e para a mudana.

Contextualizar a iniciativa que se quer avaliar

Ter sentido prtico

Oportunizar a participao como espao para a incluso social

Estar ancorada em mltiplos mtodos

Estar comprometida com o fortalecimento de grupos sociais

Conduzir para um processo de aprendizagem dos atores sociais envolvidos

(continua)

611
Cincia & Sade Coletiva, 9(3):605-615, 2004

Quadro 2 (continuao) Valores, princpios e condies para avaliao da promoo da sade. Valores/Princpios Ser consistente com os propsitos da promoo da sade Condies A avaliao deve se adaptar ao contexto local. A avaliao deve demonstrar sensibilidade para a complexidade e para a dinmica do contexto. A avaliao deve refletir as necessidades dos envolvidos. A avaliao deve ser vivel em termos dos recursos locais envolvidos. A avaliao deve ser acessvel e entendida por todos os envolvidos. A avaliao deve ser planejada por todos os atores sociais envolvidos. A avaliao deve estar sustentada nas concepes bsicas da iniciativa.

supem a elaborao de agendas locais participativas e o fortalecimento dos sujeitos sociais. Optou-se por um desenho metodolgico que privilegiava o componente participativo. Foi realizada, permanentemente, a avaliao formativa ou de processo, que tinha por objetivo prover informaes essenciais sobre o processo desenvolvido, para facilitar a introduo de mudanas durante a ao em Bertioga. Todas as atividades descritas tm registros de percepes e sugestes que foram sendo incorporadas visando solucionar problemas no previstos no planejamento e se certificar de que o caminho a ser percorrido levaria a resultados esperados inicialmente. Assim, cada passo concludo resultou na elaborao de recomendaes especficas que deveriam promover mudanas necessrias e caminhos futuros a serem perseguidos pelo projeto. Foram utilizadas tcnicas participativas que favoreceram a integrao das pessoas, que puderam opinar, esclarecer suas dvidas e defender pontos de vista diferentes. Esse tipo de avaliao formativa pode ser traduzida como um elemento motivador, no qual os envolvidos puderam acompanhar o seu prprio desenvolvimento. Trata-se de uma avaliao que olha para frente, para correes ou adequaes e procura afetar as decises cotidianas, operativas. Portanto, esse tipo de avaliao, tambm chamada de avaliao contnua, realizada durante a implantao do projeto, ou em sua fase de operao, para indicar qualitativamente o grau de mudana produzida, em relao ao processo e envolvimento dos atores (Cohen & Franco, 1994; Contandriopoulos et al., 2000).

A esta avaliao participativa que j se desenvolvia foi incorporado o caminho implementado pela Parceria do Novo Mxico, que publicou um manual completo para o desenvolvimento de proposta participativa em avaliao Participatory evaluation workbook for community initiatives (Wallerstein et al., 1997; 2002). Este material, produzido na Universidade do Novo Mxico, foi sendo readaptado a partir da constituio de um grupo de trabalho da Organizao Pan-Americana da Sade (Washington/EUA) e se transformou em Participatory evaluation of healthy municipalities: a practical resource kit for action, finalizado em agosto de 2003, e que ser aplicado por meio da realizao de estudos multicntricos em vrios pases das Amricas, entre os quais o Brasil. Essa avaliao participativa desenvolve-se em oito estgios que se complementam e se retroalimentam, simultaneamente: 1) compartilhar uma histria comum; 2) criar uma viso comum de futuro; 3) identificar os diversos atores com interesse no processo avaliativo; 4) identificar metas, objetivos e indicadores; 5) identificar estratgias para se alcanar metas; 6) coletar dados e construir indicadores; 7) analisar dados; e 8) comunicar resultados (Wallerstein et al., 1997) (Figura 1). Este processo pressupe: um desenho compartilhado entre comunidade, tcnicos e financiadores; que as habilidades e conhecimentos produzidos no desenrolar do programa sejam transferidos para os membros da comunidade; que haja contnuo processo de retroalimentao e reflexo e, finalmente, pressupe um envolvimento de diferentes atores sociais no processo de avaliao.

612
Akerman, M. et al.

Figura 1 Passos do processo de avaliao.

2 Criar uma viso comum

3 Identificar os diversos atores com interesse no processo avaliativo

Incio

1 Compartilhar uma histria

4 Identificar metas objetivos e indicadores

v
8 Comunicar resultados 5 Identificar estratgias para se alcanar metas

Fonte: Wallerstein N, Maltrud K & Polacsek M. Participatory evaluation workbook for community initiatives Healthier Communities. New Mexico 1997.

A segunda varivel crtica Deciso quanto ao foco da avaliao, pois isto significa definir e/ou rever as prprias metas propostas pelos projetos. A metodologia proposta pelo material previa, inicialmente, a definio de princpios. O grupo debateu a lista preliminarmente proposta e agregou outros princpios que representavam aspectos do contexto local. Essa etapa foi desenvolvida por uma Comisso de Avaliao, em vrias reunies e o consenso foi facilmente alcanado. No entanto, aps a definio dos princpios, iniciou-se a discusso dos objetivos e metas da avaliao, ou seja, foram formuladas perguntas avaliativas que poderiam permitir refletir sobre o que avaliar do processo vivenciado na iniciativa e onde chegar. Partiu-se de questes simples, que direciona-

v
7 Analisar dados 6 Coletar dados e construir indicadores

ram o olhar avaliativo: O que avaliar? Como chegamos at aqui? O que fazer para que a avaliao seja melhor? Essa discusso realizada com a Comisso Intersetorial permitiu o aprofundamento de algumas questes metodolgicas, como por exemplo, a importncia da definio clara e precisa dos objetivos de uma avaliao, as questes de representatividade e a explicitao dos princpios do processo avaliativo. Esse foi o momento em que surgiram as maiores dificuldades. O grupo de atores sociais que se formou em torno da iniciativa Bertioga Municpio Saudvel encontrou, inicialmente, dificuldades para atingir grau de consenso em relao a metas e objetivos que fossem de interesse comum. Apesar de individualmente serem atores que j participavam de outras organizaes sociais, a sua agregao em torno de um movimento, como o Projeto Municpio Saudvel, que

613
Cincia & Sade Coletiva, 9(3):605-615, 2004

Figura 2 Modelo lgico: fortalecimento de iniciativas saudveis. Criar critrios para definir uma iniciativa saudvel Criao de espaos comuns Identificar as iniciativas saudveis de Bertioga

v
Registro de todas as iniciativas

Realizar Encontro em dezembro de 2002

v
Realizar Oficinas de Sensibilizao

Capacitao das Iniciativas

Fortalecimento de cada Projeto

considera a cidade um todo, trouxe um grau de complexidade para a definio de metas e objetivos comuns diferentes de suas prticas vividas anteriormente, mais segmentadas e especficas dentro de territrios mais bem definidos, isto seus bairros de origem. Inicialmente, considerou-se que as metas e os objetivos do processo de avaliao pudessem ser definidas em funo da lista de problemas existentes na sade, na educao, na habitao, no meio-ambiente, no saneamento, etc., que foram identificados em todas as oficinas realizadas pelo PBMS. Porm, esse caminho foi infrutfero porque o grupo no conseguiu identifi-

Identificao das necessidades das iniciativas

Criar cooperao entre as iniciativas

car as aes relacionadas com os problemas levantados. O que havia era a percepo desse grupo de participantes de que outras iniciativas no municpio poderiam fortalecer o iderio do movimento de municpios saudveis. As reflexes, desencadeadas no processo de avaliao, junto com a atividade de identificao de iniciativas locais que estivessem desenvolvendo aes concretas sobre problemas percebidos pela sociedade, permitiram traar um objetivo comum: articular e apoiar a formao de uma rede social de iniciativas locais. A citao de uma participante da populao e da equipe de avaliao explicita o objetivo a ser

v
v

Mapear iniciativas saudveis

v
Criar espaos de comunicao entre as iniciativas

v
v

v
Fortalecer iniciativas saudveis

614
Akerman, M. et al.

avaliado: o papel do Projeto Bertioga Municpio Saudvel em aumentar a coeso social na cidade de Bertioga. Com isto o Projeto Bertioga Municpio Saudvel ir fortalecer e ser fortalecido por iniciativas j existentes, mas que atuam isoladamente. Estaremos fomentando estas clulas para que se transformem num grande organismo e esta ser a nossa base para empreitadas maiores. A formulao de um marco lgico avaliativo (Jordan, 1999; Pfeiffer, 2000), em que atividades, estratgias, objetivos e metas so explicitadas (componente cinco do ciclo avaliativo), foi realizada como uma possibilidade de clarear os objetivos e metas do processo avaliativo. Esperava-se que este modelo pudesse auxiliar na definio dos dados a serem coletados e dos indicadores a serem construdos e monitorados (Figura 2). Mas o marco lgico no conseguiu ser incorporado como um elemento da avaliao. Algumas hipteses podem ser levantadas para justificar isso: ele no parece ter tido a capacidade de captar todas as dinmicas presentes e tambm exigia um grande esforo de sistematizao e retroalimentao da iniciativa. A terceira varivel crtica Incorporao, na gesto, dos elementos decorrentes da prtica avaliativa. Uma pesquisa, realizada em 2002, na qual gestores de quatro cidades paulistas, incluindo Bertioga, foram entrevistados quanto incorporao da avaliao na gesto local, apontou a desvalorizao do processo em curso na cidade (Mendes et al., 2002). O depoimento de um assessor indica como o gestor entende a questo: a avaliao das polticas pblicas da cidade realizada atravs do prefeito, um conhecedor profundo da comunidade. Isto indica a resposta ao trabalho da administrao. Ele tem claro um diagnstico. Uma nica vez que se consultou uma pessoa de fora da cidade, que utilizou um instrumento sistematizado de pesquisa, concluiu-se que a sua avaliao era igual percepo do pre-

feito (...) o prefeito da rea de sade e sabe dos problemas da rea. Isso s reitera as dificuldades encontradas no desenvolvimento do projeto na cidade, onde o gestor local pouco se envolveu e investiu com um trabalho compartilhado de co-responsabilidade. Ento, deve-se concluir que no houve nenhuma interveno na gesto local? Ao contrrio, do que possa parecer, ocorreu a elaborao de uma proposta para o Plano Diretor de Bertioga, pela comunidade envolvida no projeto, que vem sendo debatido com a Cmara Municipal (Comaru, 2004). Ou seja, o desejo por uma cidade melhor tem se manifestado na arena poltica.

Observaes finais
O caminho percorrido pelo artigo retratou o debate corrente que se processa no campo da avaliao em promoo da sade. As trs perspectivas internacionais assinaladas (Rootman et al., 2001; PAHO, 2004a; 2004b; IUHPE, 2002) e a perspectiva dos autores deste artigo, fundada na sua prtica concreta de avaliao, representam, de alguma maneira, o debate travado na literatura e nos fruns de promoo da sade no Brasil e no mundo. Estas perspectivas denotam a busca por um marco conceitual para a avaliao, a necessidade de se advogar aos tomadores de deciso a prtica sistemtica da avaliao, o uso de mltiplos mtodos para a construo de uma base de evidncias e os dilemas advindos de sua aplicao. Enfatizamos que a avaliao em promoo da sade no est isenta de valores e de princpios e que estes precisam ser explicitados pelos atores da avaliao como roteiro tico do processo avaliativo. Este debate seguir evoluindo, mas j existe um consenso: de que necessitamos, cada vez mais, de boas prticas avaliativas e de boas prticas em promoo da sade.

Agradecimentos
Agradecemos a contribuio da professora Nina Wallerstein da Universidade do Novo Mxico (EUA), nas discusses e na elaborao do Marco Lgico do Projeto Bertioga Municpio Saudvel.

Colaboradores
M Akerman, R Mendes & CM Bgus trabalharam na definio do tema e dos aspectos abordados, pesquisa bibliogrfica, acompanhamento da experincia Projeto Bertioga Municpio Saudvel, anlise dos dados, redao final e na reviso do artigo

615
Cincia & Sade Coletiva, 9(3):605-615, 2004

Referncias bibliogrficas
Akerman M et al. 2002a. Avaliao em promoo da sade: foco no municpio saudvel. Revista de Sade Pblica 36(5):638-646. Akerman M, Mendes R, Bgus CM, Westphal MF & Wallerstein N 2002b. Desarrollo de metodologa de evaluacin participativa en municipiso saludables . Anais do II Congreso Chileno de Promocin de la Salud, p. 145, Santiago, Chile. Belloni I, Magalhes H & Sousa LC 2000. Metodologia de avaliao em polticas pblicas . Cortez, So Paulo. (Coleo Questes da nossa poca; v. 75). Buvinich R 1999. A importncia da avaliao de programas e projetos sociais. Fundao Banco do Brasil. Vivavoz. setembro: 8. Cohen E & Franco R 2000. Avaliao de projetos sociais. 4a ed. Vozes, Petrpolis. Comaru FA 2004. Polticas de habitao e desenvolvimento urbano em municpios saudveis: o caso de Bertioga. Tese de doutorado. Faculdade de Sade Pblica da Universidade de So Paulo. Contandriopoulos AP, Champagne F, Denis JL & Pineault R 2000. A avaliao na rea da sade: conceitos e mtodos, pp. 29-47. In ZMA Hartz (org.). Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. 1a reimpresso. Fiocruz, Rio de Janeiro. Davies JK & MacDonald G 1998. Evidence and effectiveness in health promotion: striving for certainties, Routledge, Londres. Faculdade de Sade Pblica da Universidade de So Paulo e Prefeitura Municipal de Bertioga 2000. Projeto Bertioga Municpio Saudvel. Relatrio Tcnico. Goodstadt M et al. 2001. Evaluation in health promotion: synthesis and recommendations, pp. 517-533. In WHO-Europe Evaluation in Health Promotion: principles and perspectives. WHO-Europe, Copenhague. Hartz ZMA 1999. Avaliao dos programas de sade: perspectivas terico-metodolgicas e polticas institucionais. Cincia & Sade Coletiva 4(2):341-353. Hartz ZMA 2000. Explorando novos caminhos na pesquisa avaliativa das aes de sade, pp.19-28. In ZMA Hartz. (org.). Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. 1a reimpresso. Fiocruz, Rio de Janeiro. [IUHPE] International Union for Health Promotion and Education 1999. The Evidence of Health Promotion Effectivenesss. ECSC-EC-EAEC, Luxemburgo. [IUHPE] International Union for Health Promotion and Education 2002. Global Programme on Health Promotion Effectiveness. Disponvel em <www.iuhpe.org> Jordan G 1999. The state of the art of logic modeling. American Evaluation Association Conference. McQueen D 2000. Strenthening the Evidence Base For Health Promotion. A Report on Evidence for the Fifthh Global Conference on Health Promotion. Mxic (DF): WHO. McQueen D 2002. The evidence debate. Journal of Epidemiological Community Health 56(2):83-84. Mendes R, Bgus CM & Akerman M 2002. A percepo dos gestores municipais sobre projetos de melhoria de qualidade de vida nas cidades. Anais da 3a Conferncia Regional Latino-Americana de Promoo da Sade e Educao para a Sade. So Paulo. Nutbean D 1998. Evaluating health promotion progress, problems and solutions. Health Promotion International 13(1):27-44. [PAHO] Pan-American Health Organization 2004a. Health Promotion evaluation: Recommendations for Policymakers in the Americas . Washington DC (no prelo). [PAHO] Pan-American Health Organization 2004b. Paticipatory Evaluation of Healthy Municipalities: a practical resource kit for acction. Washington DC (no prelo). Perkings ER, Sinmett I & Wright L 1999. Evidence-based health promotion. Wiley, Inglaterra. Pfeifer P 2000. O quadro lgico: um mtodo para planejar e gerenciar mudanas. Revista do Servio Pblico 51(1):81-123. Potvin L, Haddad S & Frohlich KL 2001. Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes, pp. 45-62. In WHO-Europe Evaluation in Health Promotion: principles and perspectives . WHO-Europe, Copenhagen. Restrepo H 2001. Generalidades sobre evaluacin de experiencias y proyectos de promocin de la salud, pp. 212-217. In H Restrepo & H Mlaga (orgs.). Promocin de la salud: cmo construir vida saludable. Editorial Mdica Panamericana. Bogot. Rootman I, Goodstadt M, Potvin L & Springett J 2001. A framework for health promotion evaluation, pp. 738. In WHO-Europe Evaluation in Health Promotion: principles and perspectives. WHO-Europe, Copenhague. Springett J 1998. Practical Guidance on Evaluationg Health Promotion. WHO-Europe, Copenhague. Wallerstein N, Maltrud K & Polacseck M 1997. Participatory Evaluation Workbook for Community Initiatives. New Mexico Department of Health, Public Health Division, Healthier Communities Unit. Wallerstein N, Maltrud K & Polacseck M 2002. Participatory evaluation model for coalitions: the development of system indicators. Health Promotion Practice 3(3):361-373. Werna E & Harpham T 1995. The evaluation of healthy city projects in developing countries. Habitat International. 19(3):1-13. [WHO] WHO Regional Office for Europe. 1998. Health Promotion Evaluation: recommendations to policymakers. Copenhagen. [WHO] WHO Regional Office for Europe. 2001. Evaluation in Health Promotion: principles and perspectives. WHO-Europe. Copenhague. Wimbusch E & Watson J 2000. An evaluation framework for health promotion: theory, quality and effectiveness. Evaluation 6(3):301-321. Artigo apresentado em 24/4/2004 Aprovado em 20/06/2004 Verso final apresentada em 26/6/2004