705

Avaliando a institucionalizao da avaliao Evaluating the institutionalization of evaluation

ARTIGO ARTICLE

Andr-Pierre Contandriopoulos 1

1 Groupe de Recherche Interdisciplinaire en Sant (GRIS), Dpartement de Administration de la Sant, Universit de Montral. C. P. 6128, succursale Centre-ville. Montral, Qubec, H3C 3J7, Canada. andre-pierre.contandrio poulos@umontreal.ca

Abstract This article approaches the challenges posed by the need to conceive and implement a culture of evaluation. For this purpose it discusses the relations and differences between evaluative research, normative evaluation and decisionmaking. The analysis shows the capacity to institutionalize the evaluation as a tool for improving the health system to be self-contradictory, for presupposing that the information produced by an evaluation helps to rationalize the decision processes. It is affirmed that the degree to which the results of an evaluation are taken into consideration by decision-makers varies according to their credibility, theoretical foundation and pertinence. What can be observed is that the actors occupying different positions are unable to agree upon the pertinence of the results produced by the evaluation. For turning evaluation into a core-strategy for transforming the health system the author suggests to create the conditions for a truly critical judgment through implementation of strategies that favor professional qualification and instruction, debates, reflections and the opening of new horizons of intervention. Institutionalize the evaluation implies in the first place in questioning the capacity of this evaluation to produce the information and judgments the decision-makers need for improving the performance of the SUS. Key words Evaluation, Institutionalization of the evaluation, Primary health care

Resumo O artigo aborda os desafios em torno da necessidade de conceber e implantar uma cultura de avaliao. So discutidas as relaes e diferenas entre pesquisa avaliativa, avaliao normativa e tomada de deciso. A anlise mostra que a capacidade de institucionalizao da avaliao como instrumento para melhorar o sistema de sade paradoxal, pois supe que a informao produzida contribua para uma racionalizao dos processos de deciso. Postula-se que o grau em que os resultados de uma avaliao so levados em conta pelas instncias decisrias varia de acordo com a credibilidade, fundamentao terica e pertinncia das avaliaes. Observa-se que atores que ocupam diferentes posies no conseguem chegar a um consenso quanto pertinncia dos resultados produzidos pela avaliao. Para fazer com que a avaliao esteja no cerne das estratgias de transformao do sistema de sade, sugere-se criar condies para um julgamento avaliativo verdadeiramente crtico, com a implementao de estratgias que favoream a formao e o aprendizado, o debate, a reflexo e a abertura de novas frentes de interveno. Institucionalizar a avaliao implica antes de tudo se questionar a capacidade da avaliao de produzir as informaes e julgamentos necessrios para ajudar as instncias decisrias a melhorar o desempenho do SUS. Palavras-chave Avaliao, Institucionalizao da avaliao, Ateno bsica

706
Contandriopoulos, A-P.

Nos dias de hoje, a necessidade da concepo e implantao de uma verdadeira cultura de avaliao nos sistemas de sade parece ainda mais importante do que h dez anos1, 2. Os sistemas de sade esto em crise no mundo inteiro. A crescente tenso entre as expectativas de atendimento da populao em funo do desenvolvimento de novos conhecimentos e tcnicas, de um lado, e a necessidade de controlar os gastos pblicos (e conseqentemente os gastos com a sade), do outro, nos do a sensao de o sistema de sade no corresponder mais s necessidades da populao, de ter sua viabilidade comprometida. Resumindo, ele necessita de reformulao e aprofundamento. Para tanto, imperioso que as decises, tanto dos gestores e planejadores como dos clnicos, se baseiem em conhecimentos cientficos slidos. Existe amplo consenso quanto idia de que qualquer deciso deve ser acompanhada de avaliaes sistemticas, ou seja, que o ciclo de Deming3 planejar, executar, avaliar, agir, no sentido de readaptar os conhecimentos em funo do saber fornecido pela avaliao deve passar a fazer parte da rotina. Esta idia se traduz na necessidade de institucionalizar a avaliao em todos os nveis do sistema de sade, de criar uma verdadeira cultura de avaliao, permitindo que qualquer deciso seja tomada com base em evidncias comprovadas (Evidence Base Decision Making EBDM). Esta perspectiva coerente com a proposta de institucionalizao descrita por Felisberto4, segundo a qual a avaliao tem o sentido de se incorporar rotina das organizaes de sade, acompanhando todo processo de planejamento e gesto das polticas e programas. Anteriormente nos perguntvamos se a institucionalizao da avaliao seria suficiente para que, dentro da sociedade, se estabelecesse uma verdadeira cultura de avaliao, e se esta institucionalizao no poderia implicar o risco de se reforar o domnio da lgica tcnicocientfica na tomada de decises, em detrimento de outras lgicas profissionais, econmicas e democrticas2, 5, cada uma tendo concepes diferentes sobre o que o conhecimento e seu papel no processo decisrio6. Atualmente, essas questes se colocam com maior intensidade. Apesar de todos os esforos mobilizados no sentido de institucionalizar a avaliao, apesar do aumento considervel no nmero de avaliaes feitas a cada ano, a crise do sistema de sade est aumentando. A necessidade de melhorar os processos de tomada de

decises est maior do que nunca. A esta altura, imprescindvel avaliar a avaliao como sistema institucionalizado de apoio tomada de decises na rea de sade7. Para situar nosso questionamento no modelo lgico da Poltica Nacional de Monitoramento e Avaliao da Ateno Bsica8, necessrio colocar a aquisio de novos conhecimentos e a melhoria do desempenho do Sistema nico de Sade (SUS) como suas principais finalidades. No basta institucionalizar a avaliao. preciso questionar a capacidade da avaliao de produzir as informaes e julgamentos necessrios para ajudar as instncias decisrias a melhorar o desempenho do SUS. Nosso raciocnio se baseia na idia de que avaliar pode ser definido como uma atividade que consiste fundamentalmente em aplicar um julgamento de valor a uma interveno, atravs de um dispositivo capaz de fornecer informaes cientificamente vlidas e socialmente legtimas sobre ela ou qualquer um dos seus componentes, permitindo aos diferentes atores envolvidos, que podem ter campos de julgamento diferentes, se posicionarem e construrem (individual ou coletivamente) um julgamento capaz de ser traduzido em ao. Este julgamento pode ser o resultado da aplicao de critrios e normas (avaliao normativa) ou, ser elaborado a partir de um procedimento cientfico (pesquisa avaliativa)9. Por um lado, esta definio permite considerar a avaliao como interveno formal, mobilizando recursos e atores em torno de uma finalidade explcita, em outras palavras, como um sistema organizado de ao. Por outro lado, permite visualizar as ligaes e diferenas entre trs reas distintas: pesquisa, avaliao e tomada de deciso. (Figura 1) No plano conceitual, estas trs reas esto interligadas, mas no se sobrepem. A avaliao se distingue da pesquisa por seu carter normativo; ela visa no somente a medir os efeitos de uma interveno e a entender como foram obtidos, mas, tambm, a julg-la. nesta rea que as instncias de deciso, de posse dos resultados da avaliao, elaboram seus julgamentos, expressam seus valores e manifestam suas intenes estratgicas. (Figura 2) Pode-se ento conceber que os resultados de uma avaliao no se traduzam automaticamente em uma deciso, mas espera-se que as informaes produzidas contribuam para o julgamento de uma determinada situao com maior validade, influenciando positivamente as decises.

707
Cincia & Sade Coletiva, 11(3):705-711, 2006

Figura 1 Pesquisa, avaliao e tomada de deciso. PESQUISA AVALIAO

Pesquisa no-avaliativa

Pesquisa avaliativa (Abordagem relacional)

Avaliao normativa (Abordagem normativa)

Julgamentos

TOMADA DE DECISO

Figura 2 Avaliao e decises. Processos de tomada de deciso

Avaliao

Mtodos

Informao

Julgamentos

Melhorar, tornar mais racional uma deciso

Abordagem analtica, cientfica

com base nesta hiptese que os pases desenvolvidos tm envidado esforos considerveis no sentido de institucionalizar a prtica da avaliao, na esperana de melhorar os seus sistemas de ateno sade. E esta hiptese que queremos explorar. Para fazer um julgamento sobre o papel da avaliao na tomada de decises, podemos aplicar o esquema geral de avaliao5 interveno particular, que constitui o processo avaliativo

(Figura 3). Pode-se tambm postular que o grau em que os resultados de uma avaliao so levados em conta pelas instncias decisrias ser tanto maior quanto sua credibilidade, fundamentao terica e pertinncia. Por pertinncia entendemos a capacidade de uma avaliao fornecer respostas aos problemas com que se confrontam as instncias decisrias. Fundamentao terica significa a capacidade de explicar teoricamente que a insti-

708
Contandriopoulos, A-P.

Figura 3 Avaliao como interveno.

Impacto

SITUAO PROBLEMTICA Melhorar a eficincia do sistema de ateno sade

EFEITOS Mudanas nos processos decisrios dos atores

v

Eficincia

Credibilidade dos resultados Credibilidade dos processos Credibilidade dos dispositivos de avaliao

Processos de avaliao
v

DISPOSITIVO DE AVALIAO Recursos, estimativas, procedimentos, oramento, participao dos atores envolvidos, monitoramento
v

CONTEXTO

tucionalizao da avaliao tem o potencial de contribuir para melhorar a tomada de decises. O termo credibilidade refere-se ao valor cientfico atribudo pelas instncias de deciso avaliao em si mesma. A pertinncia, a fundamentao terica e a credibilidade, que comentaremos a seguir, tratam, portanto, das relaes dentro de um determinado contexto, entre a avaliao, os diferentes sujeitos envolvidos (suas caractersticas e motivaes, sua viso de mundo e seus recursos) e os problemas a serem solucionados.

Pertinncia dos objetivos

v

OBJETIVOS Melhorar as decises dos atores (planejadores, gestores e profissionais de sade) Dispositivos de avaliao bem fundamentados

Eficcia

Informaes sobre pertinncia, fundamento, custo, qualidade e efeitos das diversas intervenes avaliadas

Implantao

Pertinncia da avaliao
A pertinncia corresponde solidez da relao lgica entre os problemas a serem resolvidos e o objetivo da interveno. No nosso caso, trata-se de saber se todos os atores envolvidos reconhecem que a institucionalizao da avaliao representa uma estratgia importante a ser promovida para melhorar a eficincia do sistema de sade (isto , para tornar mais eficaz o desempenho do SUS). Quanto mais um ator estiver convicto de que a melhora do desempenho do sistema passa por uma melhora do processo de deciso, quanto mais ele achar que esta melhora depende da existncia de informa-

709
Cincia & Sade Coletiva, 11(3):705-711, 2006

es vlidas sobre as intervenes deste sistema, mais pertinente lhe parecer a institucionalizao da avaliao. No plano coletivo, a pertinncia da avaliao tanto maior quanto a aliana de interesses que se cria em torno dela. Em outras palavras, para que a avaliao desempenhe um papel nas decises que estruturam o sistema de sade no suficiente que um ator esteja pessoalmente convencido da importncia dos resultados obtidos; necessrio que um grande nmero de atores esteja convencido disto. Sem uma mobilizao desta ordem, a avaliao no ser verdadeiramente veculo de mudanas. No se trata aqui de concordar em termos gerais sobre a necessidade de introduzir alguma racionalidade nas decises, mas de ter uma forte convico, o bastante para que se traduza em uma mudana nas prticas das instncias decisrias e em uma demanda crescente de informao oriunda das avaliaes.

Avaliao com fundamentao terica

Ainda que todos estejam de acordo quanto necessidade de aumentar a eficincia do sistema de sade, existem grandes divergncias sobre a maneira de faz-lo e, em particular, sobre a pertinncia da avaliao. Esta falta de consenso decorre da complexidade do sistema de sade, que envolve grandes grupos de atores (os profissionais de sade, os gestores, os planejadores, o mercado e a poltica), que intervm segundo diferentes lgicas, nveis de atuao, cronogramas e valores. Assim, quando o governo tenta implementar o bem coletivo que a sade, segue uma lgica democrtica, respeitando os desejos dos cidados e os valores da sociedade. Quando os gestores querem definir os servios a serem oferecidos a uma determinada populao, dentro de uma dotao oramentria, agem de acordo com uma lgica tecnocrata. Quando a indstria farmacutica ou os seguros estabelecem os preos de seus produtos, agem em funo de uma lgica econmica. Finalmente, quando os clnicos se esforam para propiciar aos seus pacientes o melhor atendimento possvel dentro dos conhecimentos mdicos existentes, obedecem a uma lgica profissional. Estas quatro lgicas coexistem em qualquer sistema de sade e no so intercambiveis. Se, em teoria, a avaliao tem a capacidade de produzir informaes teis para cada instncia de deciso, acre-

dita-se que os resultados das avaliaes que satisfazem s expectativas de uns no sero compatveis com as expectativas de outros. Existe tambm uma distncia importante entre os horizontes temporais nos quais as decises dos diferentes atores so tomadas, entre o momento em que as decises devem ser tomadas e o tempo necessrio para produzir a informao da qual necessitam. Os diferentes atores atribuem ainda sentidos diversos noo de eficincia. O que interessa ao governo eficincia na alocao de recursos, ou seja, uma distribuio que permita atender da melhor forma possvel ao bem-estar coletivo no mbito dos grandes valores sociais (eqidade, solidariedade, respeito liberdade individual e promoo da sade da populao). Para gestores e planejadores, distribuio de recursos eficiente a que permite maximizar os benefcios para a sade em relao a um determinado gasto. Na lgica econmica, somente considerada eficiente uma distribuio de recursos que resulte no livre funcionamento do mercado. Finalmente, para os profissionais de sade, atuar de maneira eficiente significa fornecer a todos os servios considerados necessrios do ponto de vista clnico, de acordo com o estado de sade do indivduo e do conhecimento mdico disponvel. Os diferentes atores no sistema de sade tm necessidades distintas em termos de informao e, por esta razo, no conseguem chegar a um consenso quanto ao mtodo de avaliao a ser implantado. No caso de um novo medicamento, por exemplo, o pesquisador vai querer fazer um ensaio com amostras selecionadas aleatoriamente e em grupos-controle, para verificar a relao causal entre o novo medicamento e os marcadores biolgicos do resultado. O clnico vai preferir um estudo longitudinal em um grupo de pacientes, para poder inteirar-se melhor dos efeitos colaterais do medicamento. O gestor, finalmente, vai levar em considerao a relao custo-benefcio, ou seja, analisar se o custo do novo medicamento ser compensado por um perodo de internao hospitalar menor.

Credibilidade das avaliaes

A credibilidade de uma avaliao depende da qualidade do procedimento de investigao ou de anlise empregada, da qualidade do processo de execuo da avaliao e da qualidade das informaes produzidas. (Figura 3)

710
Contandriopoulos, A-P.

Essa credibilidade no se resume ao respeito s regras da arte estabelecidas pelos avaliadores. Ela depende da formao dos responsveis pelas decises, das suas experincias, das suas concepes sobre os desafios, dos seus interesses, em resumo, das suas posies no sistema de sade. A percepo de um fato e, por conseguinte, sua credibilidade dependem sempre da posio de quem faz o julgamento. A credibilidade da informao aumenta na medida em que aceita por um grande nmero de atores em diferentes posies. The idea of transpositional objectivity incorporates ideas of coherent reasoning accessible to others and not anchored on positionally peculiar observation10. O grande desafio para a avaliao conseguir incorporar nas suas estratgias os pontos de vista de atores em diferentes posies, a fim de fornecer s instncias de deciso as informaes de que precisam para fazer um julgamento o mais amplo possvel. Quanto mais posicionamentos me so fornecidos em relao a uma determinada questo que estou analisando, tanto melhor consigo me imaginar nestas posies, tanto maior ser a minha capacidade de ter um pensamento representativo e maior a validade das minhas concluses finais, a minha opinio. esta capacidade de ter uma mente aberta que torna o homem capaz de fazer julgamentos [...]11. A credibilidade de uma avaliao depende, portanto, da capacidade de produzir informao coerente para todos os sujeitos envolvidos na interveno. No nosso caso, necessrio que as instncias de deciso s quais a avaliao se dirige possam utilizar as informaes produzidas nos seus modelos de ao. Portanto, necessrio que, por um lado, os avaliadores se acostumem com os processos de elaborao de polticas e de deciso dos gestores e, por outro lado, preciso que as instncias de deciso compreendam os desafios e exigncias da avaliao. Acima de tudo, imprescindvel que as instncias de deciso compreendam exatamente o que foi avaliado, em que contexto e de que forma a avaliao foi realizada. Os gestores precisam ter uma idia correta da consistncia dos resultados para ter condies de decidir como aplic-los s situaes e aos problemas que os preocupam.

Concluso
Nossa anlise mostra claramente que a capacidade de institucionalizao da avaliao como instrumento para melhorar o sistema de sade

paradoxal, embora justificada pela suposio de que a informao produzida contribua para racionalizar os processos de deciso. No entanto, observa-se que os diferentes atores que ocupam posies distintas freqentemente no conseguem chegar a um consenso quanto pertinncia dos resultados que a avaliao produz. Retomamos a idia de que o domnio da tomada de deciso no abrange o da avaliao. Um julgamento realizado por uma instncia de deciso deveria considerar, alm de critrios de eficincia, tambm critrios que permitissem apreciar as conseqncias das suas decises em matria de eqidade de acesso aos servios e em relao ao respeito s liberdades individuais dos diferentes atores. Para que esse paradoxo no exera um efeito negativo sobre a transformao do sistema de sade, preciso entender o papel da avaliao para alm de um guia racional das escolhas nas instncias decisrias, permitindo a todos os atores desenvolverem sua cultura democrtica12. Tendo em vista que uma das importantes funes da avaliao favorecer o aprendizado individual e coletivo13, ela poderia tornarse um excelente instrumento de transformao e inovao. A partir da, a avaliao deixaria de ser instrumento de poder de um determinado grupo de atores e passaria a ser um verdadeiro instrumento de liberao, permitindo uma viso crtica da norma estabelecida. Para desempenhar este papel, a avaliao deveria estar orientada para a ao, criando a oportunidade de aprendizado diversificado, participativo, no-hierrquico, portador de sentido, interdisciplinar, vlido, prospectivo e democrtico. Na prtica, no entanto, ainda no se dispe da liderana, das competncias, dos mtodos e dos meios necessrios para institucionalizar este tipo de avaliao. Enquanto isto no acontecer, muito provvel que a institucionalizao da avaliao continue sendo um procedimento limitado no alcance do seu objetivo final: a melhoria do desempenho do sistema de sade. A prioridade para que a avaliao esteja no cerne das estratgias de transformao do sistema de sade deveria ser a de criar as condies para que o julgamento avaliativo seja verdadeiramente crtico. Neste caso, necessrio implementar estratgias para favorecer: A formao e o aprendizado, permitindo que todos os atores envolvidos possam adquirir novos modelos intelectuais para apreender a complexidade da avaliao e do sistema de

711
Cincia & Sade Coletiva, 11(3):705-711, 2006

sade. Desta forma, estamos ajudando estes atores a serem reflexivos, em outras palavras, a terem conscincia dos determinantes das suas decises e das suas prticas; As discusses que admitem que uma mesma informao possa ter sentidos diferentes para pessoas em posies e campos de julgamento distintos;

A abertura de mais frentes de trabalho, atuando com o mesmo rigor, quer seja sobre a interveno fundamentada teoricamente, quer seja sobre a avaliao dos resultados, dos processos e das condies de implantao de uma ao; As reflexes, que permitem compreender que necessrio tornar a avaliao um instrumento prospectivo, mesmo que esta ainda seja fundamentalmente conservadora.

Referncias
1. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over readymade. Cad Sade Pblica 1999; 15(2):229-59. Contandriopoulos AP. Is the institutionalization of evaluation sufficient to guarantee its practice? Cad Sade Pblica 1999; 15(2):253-56. Deming WE. Out of the crisis. Cambridge: MIT Press; 1989. Felisberto E. Monitoramento e avaliao na ateno bsica: novos horizontes. Rev Bra Sade MaternoInfantil 2004; 4(3):317-21. Contandriopoulos AP, Champagne F, Denis JL, Avargues MC. Lvaluation dans le domaine de la sant: concepts et mthodes. Revue Epidmiologie et Sant Publique 2000; 48:517-39. Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualization knowledge. In: Lemieux-Charles L, Champagne F, editors. Using knowledge and evidence in health care. Toronto: University of Toronto Press; 2004. p. 18-40. Lemieux-Charles L, Champagne F. Using knowledge and evidence in health care. Toronto: University of Toronto Press; 2004. 8. Brasil. Ministrio da Sade. Avaliao da ateno bsica em sade: caminhos da institucionalizao. Braslia: MS; 2005. Contandriopoulos AP, Pouvourville G, Poullier JP, Contandriopoulos D. la recherche dune troisime voie: les systmes de sant au XXIe sicle. In: Pomey MP, Poullier JP, diteurs. Sant publique. Paris: Elipses; 2000. p. 637-67. Sen A. Objectivity and position: assessment of health and well-being. In: Chen LC, Kleinman A, Ware NC, editors. Health and social change in international perspective. Boston: Harvard University Press; 1994. p. 115-28. Arendt A. La crise de la culture. Paris: Gallimard; 1972. (Folio Essais). Touraine A. Quest-ce que la dmocratie? Paris: Fayard; 1994. Crozier M, Freidberg E. Lacteur et le systme. Paris: Seuil; 1977.

9.

2.

3. 4.

10.

5.

11. 12. 13.

6.

7.

Artigo apresentado em 27/02/2006 Aprovado em 31/03/2006 Verso final apresentada em 17/04/2006