711

Uma metodologia de avaliao do desempenho do sistema de sade brasileiro A methodology for assessing the performance of the Brazilian health system

ARTIGO ARTICLE

Francisco Viacava 1, Clia Almeida 2 Rosngela Caetano 3, Mrcia Fausto 4 James Macinko 5, Mnica Martins 2 Jos Carvalho de Noronha 1 Heligonda Maria Dutilh Novaes 6 Eliane dos Santos Oliveira 2 Silvia Marta Porto 2, Ligia M Vieira da Silva 7 Clia Landmann Szwarcwald 1

1 Departamento Informaes em Sade, Centro de Informao Cientfica e Tecnolgica, Fiocruz. Av. Brasil 4365, Manguinhos, 21045-900, Rio de Janeiro RJ. viacava@cict.fiocruz.br 2 Departamento de Administrao e Planejamento em Sade, ENSP/Fiocruz. 3 Instituto de Medicina Social (UERJ). 4 Instituto Fernandes Figueira (Fiocruz). 5 New York University, e Departamento de Administrao e Planejamento em Sade (ENSP/Fiocruz). 6 Departamento de Medicina Preventiva (FM/USP). 7 Instituto de Sade Coletiva da UFBA.

Abstract This paper is the result of a Brazilian multidisciplinary public health working group and consists of a methodology developed to: a) identify the factors that influence the efficiency, effectiveness, and equity of the Brazilian public health system and understand how these factors function; b) improve the formulation of health policies; and c) monitor inequalities in access to and quality of health services among different population groups in Brazil. The methodology developed here is based on Australian and Canadian and PAHO proposals that use a dashboard approach, allowing one to examine and evaluate simultaneously multiple dimensions of health system performance. This article describes the experience of adapting and developing the methodology and provides suggestions on how such a system might be employed to improve health policymaking in Brazil. Key words Health system performance, Health indicators, Health services

Resumo Este artigo uma sntese de alguns dos principais resultados das discusses realizadas ao longo de 18 meses entre pesquisadores de diversas instituies, afiliadas Abrasco, e procura contribuir para a formulao de uma metodologia que permita: a) compreender quais so e como se inter-relacionam os fatores que influenciam a eficincia, a efetividade e a eqidade no desempenho do SUS; b) melhorar a formulao de polticas e c) monitorar as desigualdades no acesso e na qualidade dos servios recebidos pelos diferentes grupos sociais no Brasil. A metodologia desenvolvida nutre-se de elementos utilizados nas propostas de avaliao de desempenho dos sistemas de sade canadense, australiano, ingls e a da OPS e tem o formato de um painel de controle (dashboard), onde podem ser visualizadas simultaneamente diferentes dimenses da avaliao. O artigo descreve a experincia na adaptao e desenvolvimento da metodologia e fornece sugestes no sentido de aplic-la para melhorar a formulao da poltica de sade no Brasil. Palavras-chave Avaliao do desempenho de sistemas de sade, Indicadores de sade, servios de sade

712
Viacava, F. et al.

Introduo
A partir dos anos 80 gestores dos sistemas de servios de sade de todo o mundo depararamse com o desafio de reformar a organizao e o funcionamento dos respectivos sistemas de sade, tendo em vista a necessidade de imprimir maior transparncia ao gasto pblico vis--vis a reduo dos recursos disponveis para o setor, assim como para a poltica social em geral, o aumento incontrolvel das despesas com ateno mdica hospitalar e as mudanas no perfil demogrfico e epidemiolgico das populaes. Alm disso, a busca de alternativas que possibilitassem o alcance de maior eqidade e proporcionassem servios de melhor qualidade tornou-se peremptria diante do aumento das desigualdades e da piora das condies de vida e sade das populaes. Ainda que os motivos que levaram reforma setorial tenham sido diferentes nos diversos pases, sobretudo no Norte e no Sul, a onda de reforma setorial se espalhou por todas as regies do planeta, orientada por uma agenda bastante homognea. De uma maneira geral, as propostas de reforma setorial so sintonizadas com o amplo movimento mundial de reforma do Estado, questionando-se fortemente a forma como at ento os sistemas de servios de sade vinham sendo organizados e desempenhavam suas funes (Almeida, 1995). A questo do papel do Estado ganhou destaque nesse debate, sendo que a universalizao do acesso aos servios de sade como direito de cidadania e a dominncia dos fundos pblicos no financiamento dos sistemas de sade tm sido objeto de crticas, buscando-se alternativas supostamente mais eficientes e efetivas, pregando-se a retirada do Estado da proviso direta de servios e o reforo de sua funo reguladora. O elenco de crticas extenso, mas, muito sinteticamente, argumenta-se que, apesar dos altos montantes de recursos financeiros investidos, muitos Estados no conseguiram proporcionar a implementao de polticas de sade universais, eqitativas e de boa qualidade. Em termos bastante sucintos, pode-se dizer que as questes centrais que tm orientado essas perspectivas reformistas so: a) conteno dos custos da assistncia mdica; b) reestruturao do mix pblico/privado, a partir da descentralizao de atividades e responsabilidades (operacionais e de financiamento), tanto para os nveis sub-nacionais de governo quanto para o setor privado; e c) aumento da participa-

o financeira do usurio no custeio dos servios que utiliza (sejam pblicos ou privados). Num primeiro momento, a face conservadora dessa agenda de reforma restringiu-se questo da assistncia mdica individual, objetivando primordialmente a restrio do gasto nesse sub-setor. No plano ideolgico, o impulso principal pretendia: a) despolitizar a arena setorial, passando a consider-la como eminentemente tcnica; b) privilegiar a atuao dos gerentes, deslocando o poder dos profissionais (principalmente o mdico); c) resgatar uma montagem empresarial nos arranjos institucionais que, acreditava-se, seria mais eficiente. A reduo do desequilbrio fiscal e a criao de condies macroeconmicas mais sustentveis estiveram subjacentes a esses processos de reforma. A crtica centrava-se no lado da oferta de servios (supply side), enfatizando a importncia de direcionar os sistemas de sade para atender a demanda do consumidor. Advogava-se que as estruturas burocrticas hierrquicas tradicionais, com a rigidez inerente dos procedimentos normativos, eram danosas aos interesses pblicos, ineficientes e ineficazes. pressupunha-se que, como qualquer monoplio, as agncias estatais seriam inerentemente ineficientes, tendendo a crescer indefinidamente, e o resultado seria sempre um mau desempenho. A mudana central do foco de ateno foi das atividades ou produtos das agncias governamentais (output) para os resultados dessas atividades (outcomes) (Kettl, 1996 apud Almeida, 1999). E como os servios deveriam estar voltados para o consumidor, os sistemas deveriam ser re-orientados nessa perspectiva. A avaliao de desempenho passou a ser um instrumento importante dessa reestruturao. Ao longo dos ltimos trinta anos o debate centrou-se principalmente sobre a questo de se restringir a performance dos sistemas de sade a anlises de custo efetividade baseadas em resultados ou consider-lo em sentido mais amplo j que ele afetado por fatores econmicos, educacionais e pelas desigualdades sociais (Naylor, 2002). Para alm do debate ideolgico e da agenda conservadora, a avaliao de desempenho dos sistemas de sade desejvel e promissora, podendo constituir-se num poderoso instrumento de monitoramento das polticas de reforma. Entretanto, a questo fundamental a ser enfrentada como medir desempenho em termos de qualidade, eficincia e eqidade e montar

713
Cincia & Sade Coletiva, 9(3):711-724, 2004

sistemas de gerenciamento de desempenho na perspectiva de impulsionar mudanas de comportamentos que possibilitem conseguir melhores resultados (Hurst, 2002). Este artigo pretende contribuir com esse debate. Na primeira parte, discutem-se aspectos conceituais da avaliao de desempenho de sistemas de sade; na segunda, apresenta os quadros de referncia e marcos conceituais elaborados por algumas organizaes internacionais diretamente envolvidas nessa discusso (Organizao Mundial da Sade-OMS, Organizao para a Cooperao e Desenvolvimento Econmico-OCDE e Organizao Pan-Americana de Sade-OPS); a seguir, resumem-se alguns dos principais elementos presentes nas propostas de avaliao de desempenho elaboradas por alguns pases; e, finalmente, apresenta-se uma metodologia de avaliao de desempenho para o sistema de sade brasileiro, baseada na experincia passada e atual de diferentes pases.

Sistemas de sade e sistemas de servios de sade: aspectos conceituais

De uma maneira geral, pode-se dizer que no h concordncia entre os autores sobre uma definio de sistema de sade, mas isso no impede que tenham sido propostas categorizaes e classificaes que, ou trazem embutida uma perspectiva evolucionista e unidirecional, alm de no permitirem uma anlise mais dinmica dos sistemas de sade (SSs), ou so parciais e baseadas em sistemas de sade particulares e, portanto, no podem ser generalizadas. Por outro lado, as definies, conceitos e categorias analticas usadas para definir ou analisar os SSs variam segundo valores, princpios e concepes sobre o que sade e qual o papel do Estado (responsabilidade) em relao sade das populaes que vivem em seu territrio. Nessa perspectiva, podem mudar no tempo e no espao, refletindo mudanas nas concepes dominantes. A maneira como os problemas de sade das populaes so estruturados determinar os tipos de evidncia que sero consideradas relevantes e o que ser descartado. As implicaes polticas surgem dessas evidncias e no do quadro de referncia per se. E os modelos implcitos ou explcitos de anlise definem e incluem (ou excluem) categorias que so relevantes para determinado referencial e no para outros.

preciso diferenciar os SSs dos sistemas de servios de sade, uma vez que os primeiros so mais abrangentes e se referem sade em sentido amplo, isto , manifestao objetiva das condies de vida de uma populao determinada, o que resultante da ao intersetorial de diferentes sistemas, mais ou menos complexos. Quanto aos sistemas de servios de sade, integram os SSs, mas sua ao se efetua nas instituies prestadoras de servios, eminentemente internas ao setor, embora sejam influenciadas de forma importante por elementos externos a ele, tais como as instituies geradoras de recursos, conhecimentos e tecnologias; as empresas de equipamentos biomdicos; e a indstria de insumos e medicamentos. Conhecimento e tecnologia so facilmente exportados, mas os demais inputs dos sistemas sanitrios so fortemente condicionados pelas tradies histricas nacionais. As regras legais diferem na forma como ancoram as responsabilidades do Estado com a sade da populao, seja outorgando benefcios universais ou especficos para determinados grupos. Uma definio considerada quase clssica foi formulada por Roemer (1991): um SS uma combinao de recursos, organizao, financiamento e gerenciamento que culmina na prestao de servios de sade para a populao. Entretanto, essas cinco grandes categorias que integram a definio no possibilitam a compreenso do funcionamento dos SSs nem dos seus resultados, pois no so explicitadas as relaes entre elas. Field define os sistemas de sade como um mecanismo societal, que transforma recursos generalizados (ou inputs) em resultados especializados, na forma de servios de sade direcionados para resolver os problemas de sade da sociedade, sendo provido de um mandato que usualmente concede ao sistema o quasemonoplio na performance dos servios de sade, alinhado com a legislao e a regulao do sistema poltico. Outros inputs incluem o conhecimento cientfico e a tecnologia, que especialmente na medicina do sculo 20 foram extremamente poderosos. Mdicos e outros profissionais de sade so especialmente treinados e empregados no sistema e configuram componentes cruciais. Finalmente, recursos econmicos so necessrios para financiar essa estrutura (Field, 1973 apud Heideheimer, 1975). A OMS, por sua vez, define os sistemas de servios de sade como o conjunto de atividades cujo principal propsito promover, restau-

714
Viacava, F. et al.

rar e manter a sade de uma populao (WHO, 2000). Nesse sentido, como reitera Mendes (2002), so respostas sociais organizadas deliberadamente para responder s necessidades, demandas e representaes das populaes, em determinada sociedade e determinado tempo. A estruturao dos SSs bastante complexa e compe-se de distintos elementos, variveis segundo as caractersticas de cada pas, que se inter-relacionam para dar alguma resposta aos problemas de sade de determinada populao. Entretanto, essas relaes no so harmnicas, mas sim dialticas, fazendo com que os sistemas de servios de sade funcionem de forma conflitiva e segundo trajetrias bastante prprias, apesar dos problemas comuns a serem enfrentados por todos os SSs. Em geral buscam a consecuo de um conjunto de objetivos compartilhados, o que lhes imprime uma direcionalidade intencionada (Mendes, 2001; 2002). Embora toda sociedade teoricamente comparta as crenas de que a sade tem um valor intrnseco para as pessoas e os servios de sade so necessrios para manter a vida e para aliviar o sofrimento (Mendes, 2001), os objetivos dos sistemas de sade variam de um pas para outro, assim como as concepes dos respectivos sistemas de servios de sade, ainda que se explicitem valores subjacentes bastante semelhantes, tais como o alcance da eqidade (ou superao das desigualdades) e o bem-estar de toda a populao. Na realidade, muitas vezes, apesar da explicitao desses valores, a estruturao e o funcionamento dos sistemas de servios de sade esto longe de cumprirem com os requisitos mnimos para alcan-los. Alm disso, ainda que os objetivos e valores se mantenham, as propostas de reforma e de mudanas nem sempre possibilitam transformaes positivas. Existem, portanto, diferentes formulaes dos objetivos e funes dos sistemas de servios de sade, segundo determinados momentos histricos e propostas de reforma, como tambm segundo o enfoque analtico privilegiado. No caso brasileiro, embora o SUS tenha seus princpios definidos por lei, o SUS ainda palco de disputa entre modelos assistenciais diversos. As tentativas de articular ao de promoo, preveno, recuperao e reabilitao, na dupla dimenso individual e coletiva, tm sido experimentadas no espao micro dos municpios, acumulando experincias que apontam para a possibilidade de construo de um modelo de ateno sade voltado para a qualidade de vida (Marinho de Souza & Kalichman,

1994), tal como proposto na 10 a Conferncia Nacional de Sade (CNS), em 1996 (Teixeira et al., 1998), e reforado nas 11a e 12a CNSs, realizadas respectivamente em 2000 e 2003. De uma maneira geral, melhorar a sade da populao o objetivo central e mximo dos SSs. Entretanto, o alcance dessa meta um processo complexo, que envolve objetivos intermedirios e aes intersetoriais. E a prestao de servios, individuais e coletivos, assim como as aes intersetoriais so apenas um dos modos de melhorar a sade da populao. Fatores vinculados situao socioeconmica, ambientais, biolgicos e genticos e os comportamentos coletivo e individual tm influncia poderosa sobre a sade. Sendo assim, necessrio o refinamento do conhecimento de como esses fatores interagem, como influenciam a sade dos indivduos e das populaes, e de como contribuem para o alcance da meta central dos SSs.

Avaliao de desempenho dos sistemas de sade: marcos conceituais propostos pelos organismos internacionais
Embora a literatura se refira avaliao de desempenho dos sistemas de sade, o foco de interesse central tem sido os servios de sade, com especial nfase, em muitos casos, nos servios de assistncia mdica. Isso se deve a diversos fatores, mas destacam-se entre eles os relacionados busca de maior eficincia, ou seja, conseguir que os sistemas de servios de sade desempenhem suas funes da melhor forma possvel diante dos constrangimentos financeiros que se generalizaram em todos os pases nas ltimas dcadas. Ainda que haja discordncia conceitual, desempenho, em geral, se refere ao grau de alcance dos objetivos dos sistemas de sade (Hurst & Hughes, 2001). A construo metodolgica da avaliao de desempenho depender, portanto, da clareza sobre os princpios, objetivos e metas dos sistemas de sade que se quer avaliar, que por sua vez, vo embasar a escolha das dimenses que sero objeto da avaliao de desempenho. A avaliao de desempenho dos servios de sade foi o objeto central do World Health Report 2000- WHR 2000 (WHO, 2000) que, apesar de muito criticado, teve o mrito de colocar essa questo no centro do debate contemporneo sobre as reformas setoriais. O quadro de

715
Cincia & Sade Coletiva, 9(3):711-724, 2004

referncia utilizado pela OMS para avaliao dos sistemas de sade no WHR 2000 tem as seguintes caractersticas: a) adota uma definio de sistema de sade ampla e imprecisa, com objetivos pouco claros; b) considera parte do sistema de sade todos os recursos, organizaes e atores que realizam ou apiam aes sanitrias (de proteo, fomento ou melhora da sade), mas no inclui a educao; c) define trs metas a serem atingidas pelos sistemas de sade (melhora do estado de sade; responsividade denominada responsiveness isto , um sistema que responda s aspiraes legtimas do pblico; e justia na contribuio financeira). As duas primeiras metas so medidas atravs de sua mdia e distribuio, enquanto que o terceiro apenas pela distribuio; d) identifica quatro funes dos SSs, decisivas para o alcance dessas metas financiamento (incluindo contribuies especficas, fundos setoriais e compra direta de servios); prestao de servios de sade (individuais e coletivos); gerao de recursos; e conduo do sistema superviso e orientao de todo o sistema pblico e privado (denominada stewardship). A inter-relao entre essas metas e componentes seriam a medida de desempenho. Esse quadro de referncia considera a definio dos recursos financeiros setoriais como externa ao setor; a responsividade est referida apenas assistncia mdica, sendo que acesso considerado um determinante e no componente da responsividade; e a eficincia definida como o grau com que o sistema de sade realiza a contribuio mxima possvel s metas sociais em funo dos recursos disponveis, interna e externamente ao setor. As crticas mais contundentes a esse modelo de avaliao de desempenho foram inmeras e de diferentes naturezas. H uma srie de questionamentos que se referem ao modelo terico (Williams, 2001; Navarro, 2000; Braveman et al. 2001) e outro conjunto de problemas que se refere aos aspectos metodolgicos da mensurao propriamente dita das dimenses da avaliao do desempenho adotada (Almeida et al. 2001). No primeiro caso, apontam-se como aspectos crticos: a) o fato da OMS ter assumido determinado posicionamento poltico e ideolgico e induzido um determinado modelo de reforma; b) o ndice de medida elaborado (Overall Health System Performance Indicator), ao ser composto por diversas dimenses, no permite identificar os problemas prioritrios dos

SSs; c) no h evidncias cientficas que demonstrem que mudanas no estado de sade, tanto em termos da sua mdia quanto da distribuio entre os indivduos da sociedade, reflitam predominantemente a forma como os sistemas de sade operam, mas exprimiriam, na realidade, as condies sociais e econmicas vigentes nas diferentes sociedades; d) ao incorporar a noo de novo universalismo, o cidado passa a ser considerado um cliente/consumidor abstrato e descontextualizado, o que no permite avanar na identificao das desigualdades sociais em sade. Entre os problemas relacionados com a metodologia utilizada incluem-se: a) a grande insuficincia de dados nos pases levou adoo de mtodos economtricos, pouco transparentes e de difcil compreenso pelos gestores, para estimar os dados da maioria dos pases; b) a metodologia para obteno dos pesos necessrios para a construo do ndice composto tambm no foi esclarecida; c) as desigualdades medidas considerando o afastamento de cada indivduo em relao mdia impedem a distino de grupos populacionais, alm de colocar os pases que tm poucas variaes em torno de mdias baixas em uma situao melhor do que pases que tem maiores desigualdades, mas mdias mais altas; d) as medidas da justia na contribuio financeira partem do suposto que todos os indivduos devem comprometer o mesmo percentual da receita familiar em gastos com sade, o que no pode ser considerado uma operacionalizao adequada da idia de eqidade no financiamento de servios de sade. A proposta de avaliao de desempenho da OCDE (Hurst & Hughes, 2001), por sua vez, ainda que no se oponha explicitamente ao quadro de referncia elaborado pela OMS, apresenta algumas alteraes que, de fato, o modificam substancialmente, alm de que critica o conceito de eficincia utilizado. Pensado complementarmente ao da OMS, caracterizase por: a) incluir indicadores de resultados dos servios de sade (outcomes) como parte da avaliao de desempenho (eficincia microeconmica); b) incluir acesso como componente da responsividade, possibilitando avaliao da eqidade; c) incluir o nvel de gasto sanitrio como meta dos sistemas de sade (eficincia macroeconmica); d) excluir qualquer ponderao para avaliao de metas; e) referir a avaliao de desempenho a vrias e distintas dimenses dos sistemas de sade; e f) considerar a avaliao de desempenho restrita assistn-

716
Viacava, F. et al.

cia mdica como oposta s atividades de sade pblica ou quaisquer outras mais amplas. Por fim, a OPS defende que como as definies e os objetivos dos sistemas de sade variam entre pases, a avaliao de desempenho no deve ser um fim em si mesma e nem ser encaminhada como um exerccio puramente acadmico, mas deve voltar-se para orientar o desenvolvimento de polticas, estratgias e programas de sade, alm de estar centrada na avaliao quantitativa e qualitativa do grau de realizao dos seus objetivos. A avaliao de desempenho implicaria, portanto, considerar as diferentes funes do sistema gerao de recursos; financiamento, prestao de servios e conduo (sterwarship); alm de incorporar, desde o incio, os vrios nveis de anlise (nacional, intermedirio e local) e os diferentes atores envolvidos. E a eficincia deveria ser considerada apenas uma dentre outras dimenses do desempenho, tais como, eqidade, efetividade, aceitabilidade, satisfao etc. Os mtodos e indicadores de avaliao devem ser estabelecidos por consenso e requerem a medio de distintas dimenses: do desempenho geral do sistema (indicadores finais ou macro) e dos diferentes componentes do sistema (indicadores intermedirios, instrumentais ou micro) (OPS, 2001). Uma recomendao importante feita pela OPS sobre a necessidade de os marcos tericos inclurem a eqidade na avaliao do desempenho dos SSs, numa perspectiva transversal s demais dimenses, o que, alis, j vem sendo proposto por alguns pases, tais como Canad e Austrlia. Na reviso da literatura feita nesta pesquisa foram considerados os conceitos de eqidade formulados por Whitehead (1992), que considera como iniqidade as diferenas evitveis e injustas, e pela International Society for Equity in Health (ISEqH), segundo a qual a eqidade corresponderia ausncia de diferenas sistemticas potencialmente solucionveis em subgrupos populacionais definidos social, econmica, demogrfica ou geograficamente (Macinko & Starfield, 2002). Para fins de uma proposta de avaliao do desempenho de sistemas de servios de sade pode-se recorrer a alguns consensos que permitem a operacionalizao do conceito de eqidade. Esses consensos se referem a: 1. considerar diferenas em sade como aquelas decorrentes de processos biolgicos ou de situaes que independem do livre arbtrio dos sujeitos;

2. considerar iniqidades em sade como associadas s polticas de sade ou sociais que determinam o surgimento de desigualdades na morbi-mortalidade e no acesso aos servios de sade; e 3. considerar desigualdades em sade como a expresso emprica das iniqidades.

Alguns comentrios sobre experincias internacionais de avaliao de desempenho de sistemas de sade

Vrios pases membros da OCDE esto desenvolvendo quadros de referncia e indicadores de avaliao de desempenho dos sistemas de sade (Cozzens, 1995; Hurst & Hughes, 2001; AIHW, 2000; NHPC, 2002; CIHI, 2001; Hurst, 2002; Or, 2002; Smee, 2002; Wolfson & Alvarez, 2002). De uma maneira geral, os sistemas de avaliao que vm sendo implementados por esses pases tm como caractersticas comuns: a) a definio de quadros de referncia (objetivos e metas) e distintas dimenses de desempenho (sobretudo em relao qualidade e eficincia); b) a preocupao com a facilidade de operacionalizao dos conceitos enquanto as organizaes internacionais (como OMS e a OECD) se preocupam mais com definies em nvel macro; c) dar maior nfase s dimenses de estrutura e processo como proxy de resultados; d) no incluso de medidas mais gerais de eficincia. Os processos de elaborao dos quadros de referncia so longos e trabalhosos, em geral com participao multi-institucional, e acompanhados da realizao de vrias consultas ou seminrios para estabelecimento de consensos quanto ao quadro terico e conceitual, definio de indicadores etc. O desencadeamento desses processos so aes de governo, normalmente por iniciativa do nvel federal. A maioria das iniciativas de avaliao de desempenho dos sistemas de sade recente e no apresenta ainda resultados mais conclusivos. Quanto s dimenses e indicadores utilizados, so bastante diferentes entre si (sobretudo em relao questo da qualidade e eficincia). Entretanto, alguns elementos comuns possibilitam identificar quais as dimenses que vm sendo privilegiadas: confirma-se concentrao da avaliao nas dimenses de melhora da sade/resultados e responsividade; pouco desenvolvimento da rea de avaliao da eqidade e ausncia de indicadores de eficincia macroeconmica.

717
Cincia & Sade Coletiva, 9(3):711-724, 2004

Em relao aos indicadores de resultados (outcomes) esto referidos a mudanas no estado de sade de indivduos e populaes determinadas pela ao dos sistemas de servios de sade. Apontam-se algumas dificuldades na sua operacionalizao, uma vez que difcil trabalhar com indicadores de resultado de base populacional usando as estatsticas rotineiras, como tambm identificar quais resultados podem, inquestionavelmente, ser atribudos ao impacto da ao dos servios de sade. Da a utilizao de proxies de resultados, isto , medidas de estado de sade (morbi e mortalidade, desde que suscetveis ateno sade) e medidas de processo de ateno (principalmente utilizao, desde que altamente correlacionada com resultados). Num conjunto de 13 indicadores de resultados mais comumente utilizados pelos pases, apenas cinco podem ser considerados, de fato, medidas de resultados das aes dos servios e todos os demais so proxy (Hurst & Hughes, 2001). O conceito de responsividade tambm difere muito nos diferentes sistemas de avaliao e as dimenses tambm so variadas, mas em geral contm elementos de satisfao, aceitabilidade e experincia do paciente. Os dois primeiros so mais relacionados com a expectativa do paciente; e o ltimo com caractersticas objetivas da proviso, tais como, a livre escolha do tratamento. Os pases trabalham comumente com diferentes dimenses e conjuntos de indicadores de responsividade. Estes indicadores seriam, supostamente, de mais fcil obteno, pela grande quantidade de inquritos populacionais que vm sendo realizados nos distintos pases, sendo que as dificuldades esto mais relacionadas com a coleta da informao instrumentos (definio de perguntas do questionrio), definio de amostras (estatisticamente significantes) etc. Quanto aos indicadores de avaliao da eqidade, embora se faa meno, so muito pouco desenvolvidos e as dificuldades esto relacionadas tanto formulao quanto operacionalizao do conceito de eqidade nos servios de sade, uma vez que a construo de um conjunto de indicadores relevantes como medida de eqidade requer considervel quantidade de dados de boa qualidade. Enfatiza-se, porm, que a eqidade deve ser colocada como uma dimenso transversal, isto , deve ser considerada na anlise de todas as demais. Em relao aos indicadores de eficincia, a maioria prope indicadores de microeficincia

bastante especficos. A experincia do Reino Unido pode ser considerada uma exceo no que diz respeito aos indicadores de eficincia hospitalar, que vm sendo desenvolvidos desde os anos 70, como forma de monitorar a produtividade desses servios, sendo que vm sendo periodicamente revisados, sobretudo a partir dos anos 90, em funo da implementao da reforma chamada Mercado Interno (Smee, 2002). Por fim, no gerenciamento do desempenho, existem grandes diferenas nos modelos institudos pelos pases, dependendo dos arranjos institucionais, do mix pblico/privado e do tipo de coordenao do sistema controle gerencial pblico (Reino Unido, Canad, Austrlia) ou centrado em incentivos de mercado (EUA). De uma maneira geral, pode ser centralizado (Reino Unido), descentralizado (EUA), ou misto (Austrlia, Canad). A participao do profissional mdico nesses processos de avaliao e gerenciamento de desempenho importante e presente em todos os sistemas, mas explicita-se a necessidade de lidar com as questes relativas ao monoplio profissional sobre a prtica mdica, auto-regulao e dominncia desse profissional no que concerne avaliao da qualidade tcnica da ateno. Sugere-se que alm dos mecanismos de reviso por pares e de auditorias mdicas, tradicionalmente utilizados, sejam complementados com avaliaes externas feitas por outros profissionais, tais como gerentes, administradores etc. As dvidas persistem, porm, tanto em relao ao contedo dessas avaliaes externas quanto sobre a quem elas seriam dirigidas (aos prestadores de servios ou ao pblico em geral). Por outro lado, diferentes atores (stakeholders) e distintas aes necessitam de diferentes conjuntos de indicadores de avaliao de desempenho, o que remete a que os relatrios de desempenho devem conter indicadores agregados e desagregados, de forma a atender a diferentes audincias e clientelas. Como estabelecer padres (ou benchmarks) para o desempenho outro ponto crtico e existem problemas com a [disponibilizao] de dados, pois tem pouco efeito para os consumidores ou compradores de servios e, em geral, funciona melhor quando dirigidos aos organizadores da proviso (Reino Unido) ou empregadores, que pagam a conta do seguro privado para seus funcionrios (EUA). Por fim, constata-se que todos esses processos so de longo prazo e permanentes, para per-

718
Viacava, F. et al.

mitir ajustes sucessivos e contnuos, alm de que, necessariamente, devem ser concertados nacionalmente, sobretudo nos pases com sistemas descentralizados e com grande diversidade regional e fragmentao do sistema de sade.

Uma proposta para avaliao de desempenho do sistema de servios de sade brasileiro

No Brasil, em que pese o grande nmero de iniciativas voltadas para a consolidao do SUS e a existncia de uma gama de projetos dirigidos para a avaliao das inovaes que vm sendo implementadas, no existe nenhuma iniciativa governamental no sentido de avaliar o impacto dessas mudanas no desempenho do sistema em seu conjunto, sendo que a maioria das avaliaes est voltada para o processo de descentralizao ou de implantao de programas especficos, como o programa de Agentes Comunitrios de Sade (PACS) e o Programa de Sade da Famlia (PSF). A partir dos elementos discutidos anteriormente, um sistema de avaliao de desempenho do SUS teria de ser pautado por um quadro de referncia que levasse em considerao a sua concepo legal, a forma como vem sendo implantado e os problemas de sade priorizados, alm de que deveria permitir avaliar em que medida seus princpios e objetivos esto sendo cumpridos. Neste trabalho procurou-se desenvolver uma metodologia que abarcasse um espectro amplo de dimenses da avaliao de sistemas de servios de sade, a exemplo do que foi constatado na reviso da literatura. A experincia de alguns pases voltada para a melhoria do desempenho dos sistemas de sade baseia-se na construo de um quadro de referncia composto por elementos que, em linhas gerais, capturam o estado de sade, os determinantes no mdicos da sade, o desempenho do sistema de sade, as caractersticas gerais do sistema de sade e dos recursos da comunidade. A abordagem no formato de um painel de controle (dashboard), proposta pelo Canad, foi recomendada pela OPS (2001), para aplicao nos pases da regio das Amricas. Segundo esta organizao, cada pas deveria desenvolver indicadores referentes aos cuidados de sade prestados para responder aos problemas de sade prioritrios de suas respectivas populaes, alm de enfatizar a distribui-

o dos servios distribudos por grupo social, sexo e idade (eqidade como dimenso transversal). Embora a metodologia de avaliao aqui apresentada se nutra, principalmente, de elementos das propostas canadense, australiana, inglesa e da OPS existem diferenas importantes, que merecem ser destacadas: a) enquanto no Canad a incluso dos determinantes da sade feita para ampliar o escopo da atuao do sistema de sade e de sua avaliao (Evans & Stoddart, 1994), no nosso caso sua incluso parte do pressuposto de que as condies de sade da populao sofrem o impacto de fatores sociais econmicos e ambientais, que podem intervir de forma importante nos resultados do desempenho do sistema de servios de sade; sendo assim, o modelo de avaliao proposto est centrado fundamentalmente no desempenho dos servios; b) a estrutura do sistema de sade foi uma dimenso introduzida na proposta recomendada pela OPS e incorporada neste modelo, mas no uma dimenso explorada separadamente pelos demais pases; c) as categorias de anlise foram redefinidas, principalmente o financiamento; e tambm foi introduzida a categoria recursos; d) o arcabouo poltico social e econmico e a conformao do sistema de sade adquirem nesta um carter contextual, enquanto que no Canad uma das dimenses da avaliao do desempenho do sistema de sade; e, no caso australiano, abordado como uma das categorias dos determinantes da sade; e) o modelo canadense assume o monitoramento das condies de sade e do desempenho do sistema de servios de sade como dois objetivos que devem ser perseguidos; e, no caso australiano, o foco est na avaliao do desempenho do sistema de sade, o que tambm o objetivo maior desta proposta; e f) enquanto nos outros casos, as vrias dimenses so colocadas num painel sem articulao definida entre elas, prope-se que o foco da avaliao esteja no desempenho dos servios de sade, que, por sua vez, est relacionado com os determinantes das condies de sade que definem, de forma importante, as necessidades de sade que devem orientar o financiamento e os recursos materiais e humanos necessrios ao bom desempenho do sistema, do qual depender, em parte, a melhoria das condies de sade da populao. Prope-se ento que o desempenho do sistema de sade brasileiro seja analisado no contexto poltico, social e econmico que traduz

719
Cincia & Sade Coletiva, 9(3):711-724, 2004

sua histria e conformao atual, levando-se em considerao seus objetivos e prioridades. Nesse contexto seriam identificados os determinantes de sade (primeira dimenso) associados aos problemas de sade tidos como prioritrios, evitveis e passveis de interveno. Sua apreciao deveria ser feita considerandose o seu impacto em diferentes grupos sociais. A caracterizao desses problemas de sade em termos de morbidade, mortalidade, limitao de atividade fsica e qualidade de vida associada, conformaria uma segunda dimenso da avaliao, que permitiria conhecer a magnitude dos problemas e sua expresso em diferentes regies geogrficas e grupos sociais. Esse perfil de morbi-mortalidade, que expressa as necessidades de sade, deveria orientar a definio de elementos que compem a terceira dimenso da avaliao, ou seja, a estrutura do sistema de sade (conduo, financiamento e recursos), que por sua vez condicionaria as possibilidades de melhor ou pior desempenho do sistema de sade, objeto principal da avaliao (Figura 1).

A partir desse marco conceitual seria possvel pensar um conjunto de metodologias analticas capazes de responder a algumas indagaes sobre a qualidade dos servios prestados, sua variao entre reas geogrficas e grupos sociais, oportunidade de melhorar o desempenho do sistema e da sade da populao, adeso de sua conformao legislao e sua contribuio para a melhoria de sade da populao (Figura 2). Uma vez decididas as grandes dimenses da avaliao, foi desenvolvido um processo de detalhamento para cada uma delas (Figura 3). A reviso da literatura sobre os indicadores demonstrou que em primeiro lugar seria importante conceituar cada uma das dimenses e seus componentes ou categorias, j que o mesmo indicador pode ser usado para avaliar diferentes aspectos. Em alguns casos existe uma diversidade conceitual importante e, em outros, as opinies so mais convergentes e facilitam a escolha dos indicadores. Nessa seleo devem ser identificados os indicadores j existentes (por

Figura 1 Modelo explicativo do desempenho de sistemas de sade. Contexto poltico, social, econmico e a conformao do Sistema de Sade

Eqidade

v
Determinantes de sade

v
Condies de sade da populao

Estrutura do Sistema de Sade

v
Desempenho do Sistema de Sade

720
Viacava, F. et al.

Figura 2 Modelo explicativo do desempenho de sistemas de sade: algumas perguntas. Contexto poltico, social, econmico e a conformao do Sistema de Sade

Eqidade A estrutura do Sistema de Sade adequado ao bom desempenho do sistema de sade?

v
Determinantes de sade

Os fatores determinantes da sade impactam igualmente todos os grupos sociais?

v
Condies de sade da populao

Qual o estado de sade dos brasileiros? Como varia o estado de sade da populao brasileira entre as reas geogrficas e os grupos sociais?

Estrutura do Sistema de Sade

v
Desempenho do Sistema de Sade

O sistema est prestando servios de boa qualidade? O desempenho do Sistema de Sade varia entre as reas geogrficas e grupos sociais? Quais so as oportunidades para melhorar o desempenho do Sistema de Sade e a sade da populao? O desempenho do Sistema de Sade est de acordo com os princpios definidos na lei? Qual a contribuio do Sistema de Sade para a melhoria da sade das pessoas?

721
Cincia & Sade Coletiva, 9(3):711-724, 2004

Figura 3 Matriz de dimenses da avaliao de desempenho do Sistema de Sade. Contexto poltico, social, econmico e a conformao do Sistema de Sade

Determinantes da sade Ambientais Fatores fsicos, qumicos e biolgicos do ambiente que atuam como determinantes de agravos sade Socioeconmicos e demogrficos Caractersticas demogrficas e socioeconmicas, contextuais e dos indivduos, relacionadas com a produo de agravos sade Comportamentais e biolgicos Atitudes, prticas, crenas, comportamentos, e fatores biolgicos individuais, que condicionam, predispem, influenciam a ocorrncia de agravos sade

Eqidade

Nota: Eqidade o eixo que corta transversalmente todas as dimenses. Portanto, todas elas devem ser analisadas segundo essa perspectiva, utilizando as variveis e indicadores mais apropriados a cada uma delas.

Condies de sade da populao Morbidade Ocorrncia de sintomas, doenas traumas e deficincias Estado funcional Ocorrncia de limitao ou restrio na realizao de atividades cotidianas tpicas (funcionalidade) Bem-estar Qualidade de vida associada ao bem-estar fsico, mental e social dos indivduos Mortalidade Padro e tendncias da ocorrncia de bitos na populao

Sistema de Sade Estrutura do Sistema de Sade Conduo Capacidade do governo de formular e implementar polticas de sade, garantindo monitoramento, regulao, participao e responsabilizao na execuo das polticas Desempenho do Sistema de Sade Acesso Capacidade das pessoas em obter os servios necessrios no lugar e momento certo Adequao Grau com que os cuidados intervenes setoriais esto baseados no conhecimento tcnicocientfico existente Aceitabilidade Grau com que os servios de sade ofertados esto de acordo com os valores e expectativas dos usurios e da populao Segurana Capacidade do Sistema de Sade de identificar, evitar ou minimizar os riscos potenciais das intervenes em sade ou ambientais Respeito ao direito das pessoas Capacidade do Sistema de Sade de assegurar que os servios respeitem o indivduo e a comunidade, e estejam orientados s pessoas Efetividade Continuidade Capacidade do Sistema de Sade de prestar servios de forma ininterrupta e coordenada Eficincia Financiamento Montante de recursos financeiros e modos pelos quais so captados e alocados Recursos Conjunto de pessoas, informaes, instalaes, equipamentos, insumos incorporados na operao do Sistema de Sade

v v
Grau com que a assistncia, Relao entre o servios e aes atingem produto da interos resultados esperados veno de sade e os recursos utilizados

722
Viacava, F. et al.

exemplo, Indicadores e Dados Bsicos IDBs) e definidos novos, que podem ser obtidos seja a partir de dados existentes (Pesquisa Mundial da Sade 2003, Suplemento Sade da PNAD/1998, Inqurito Domiciliar sobre Comportamentos de Risco e Morbidade Referida de Agravos no Transmissveis/INCA) ou que deveriam ser coletados por meio de inquritos domiciliares ou de usurios dos sistemas de sade. Para cada indicador seria necessria a construo de uma ficha tcnica que deveria tambm conter a medida de desigualdade para comparao de grupos populacionais, de forma a evidenciar as desigualdades geogrficas e sociais. A anlise da validade aparente (face validity) dos indicadores deveria ser feita por especialistas e potenciais usurios deste sistema de monitoramento, tomando por base os critrios de seleo descritos. importante considerar que a metodologia proposta deve permitir tambm a avaliao de sistemas regionais de sade ou de programas especficos, levando em conta as desigualdades no desempenho do segmento estatal e privado do SUS. E fundamental tambm levar em conta a exeqibilidade e sustentabilidade organizacional e financeira da proposta, pois da sua continuidade e operacionalidade que depende a efetividade e impacto de qualquer proposta de avaliao de desempenho de sistemas de servios de sade.

Concluso
Embora no haja consenso sobre como medir desempenho dos sistemas de servios de sade, desempenho sempre definido em relao ao cumprimento de objetivos e funes das organizaes que compem o sistema, variando de acordo com o que cada pas estabeleceu como suas metas. Dado que os objetivos e metas para os sistemas de sade so diversos, do mesmo modo que as dimenses de anlise, no h uma correspondncia estrita entre as vrias experincias locais, ainda que, em algumas situaes, os indicadores (nos seus contedos) sejam os mesmos. Ainda assim possvel constatar que:

a) a regularidade temporal com que as medidas subjacentes aos indicadores efetuada varivel e nem sempre especificada; b) alguns indicadores so coletados de forma rotineira como parte do cotidiano administrativo dos servios (indicadores de mortalidade geral e especfica, cobertura vacinal, incidncia e prevalncia de determinadas morbidades etc.) e, em outros casos, as medidas so obtidas atravs de inquritos especiais e pontuais, alguns dos quais de realizao regular e predefinida (estado de sade auto-referido; limitao de atividade/ dor crnica; tabagismo atual, passado ou passivo etc.). A experincia dos diversos pases demonstra que para implementar uma efetiva avaliao de desempenho existe a necessidade de um processo amplo de pactuao, que leve em considerao a conformao do sistema de sade, seus objetivos e metas e os diferentes atores que dele fazem parte. Dessa maneira, gestores, prestadores e usurios dos servios de sade definiriam, a partir dos critrios de relevncia, confiabilidade, validade, capacidade de discriminao e viabilidade, um conjunto mnimo de indicadores para compor um sistema de monitoramento das diversas dimenses do desempenho do sistema de sade. Finalmente seria desejvel que fosse estabelecida uma agenda para a implantao do sistema de monitoramento com os indicadores e para a definio de mecanismos de obteno peridica de dados inexistentes, alm do estabelecimento de mtodos e tcnicas de explorao e anlise dos dados, de forma a promover um processo de paulatina implantao da avaliao do desempenho do sistema de sade. A reviso dos modelos de avaliao internacionais e nacionais indica que um possvel caminho a ser tentado para o caso brasileiro seria iniciar um processo amplo de discusso nacional, a exemplo do que foi feito no Reino Unido, Canad e Austrlia, para a formulao de um quadro conceitual a partir do qual seriam definidos indicadores adequados para a avaliao de desempenho do SUS. Nesse sentido, este artigo poderia ser considerado uma primeira aproximao para o desencadeamento desse debate.

723
Cincia & Sade Coletiva, 9(3):711-724, 2004

Colaboradores
Grande parte do trabalho deriva de discusses coletivas, sendo que alguns autores concentraram-se mais em alguns aspectos, a saber: F Viacava na coordenao geral e desenvolvimento da matriz de avaliao da proposta brasileira; C Almeida, ES Oliveira e J Macinko na conceituao dos sistemas de sade, avaliao crtica de modelos de avaliao propostos por agncias internacionais e por outros pases; R Caetano e M Fausto na anlise dos indicadores nacionais e internacionais; M Martins e JC Noronha nos modelos alternativos para anlise de sistemas de sade; CL Szwarcwald na anlise das desigualdades e condies de sade, avaliao crtica de modelos de avaliao propostos por agncias internacionais; MD Novaes, C Almeida, S Porto, M Martins, J Macinko, R Caetano, LV Silva e M Fausto no desenvolvimento da matriz de dimenses da avaliao da proposta brasileira; e LV Silva e S Porto na anlise dos conceitos de eqidade em sade.

Nota
Para um maior detalhamento da discusso conceitual das dimenses, bibliografia sobre o tema e sistemas de indicadores revistos utilizados em diversos pases e alguns dos indicadores sugeridos para a proposta brasileira ver www.proadess.cict.fiocruz.br

Referncias bibliogrficas
AIHW Australia Institute of Health and Welfare 2000. The seventh biennal health report of the Australian Institute of Health and Welfare. AIHW, Camberra:. AIHW Cat. No. 19. Almeida CM 1995. As reformas sanitrias nos anos 80: crise ou transio? Tese de doutorado. Rio de Janeiro, ENSP/ Fiocruz. Almeida CM 1999. Reforma do Estado e reforma de sistemas de sade: experincias internacionais de tendncias de mudana. Cincia & Sade Coletiva 4(2):263-286. Almeida CM et al. 2001. Methodological concerns and recommendations on policy consequences of the World Health Report 2000. Lancet 357(9269):16926977. Braveman P, Starfield B & Geiger JH 2001. World Health Report 2000: how it removes equity from the agenda for public health monitoring and policy. British Medical Journal, 323 (22/September):678-681. CIHI Canadian Institute of Health Information 2001. Health Care in Canada. CIHI, Canad. Disponvel em <http:/www.cihi.ca> Cozzens S 1995. Performance Assessment and the National Science Foundation: Proposals for NSFs Response to the Government Performance and Results Act, NSF Discussion Paper, Arlington, VA, November. Evans RG, Stoddart GL 1994. Why are some people healthy and others not? The determinants of health of populations. Captulo 2: Producing Health, consuming health care. Aldine de Gruyter, Nova York. Hurst J & Hughes MJ 2001. Performance measurement and performance management in OECD health systems . Disponvel em <www1.oecd.org>. OECD Health Systems. Labour Market and Social Policy Occasional Papers n. 47, pp.1-60. Hurst J 2002. Performance measurement and improvement in OECD health systems: overview of issues and challenges, pp. 35-54. In OECD. Measuring up improving health system performance in OECD countries. Editora da OCDE, Paris. Macinko J & Starfield B 2002. Annotated bibliography on equity and health, 1980-2001. International Journal for Equity in Health 1(1): 1-20. Marinho de Souza MF & Kalichman A 1994. Vigilncia sade: epidemiologia, servios e qualidade de vida, pp. 467-476. In MZ Rouquayrol & N Almeida-Filho (orgs.). Epidemiologia e Sade. MEDSI, Rio de Janeiro. Mendes EV 1993. O processo social de distritalizao da sade, pp. 93-158. In EV Mendes (org.). Distrito Sanitrio: o processo social de mudana das prticas do Sistema nico de Sade. Hucitec-Abrasco, So PauloRio de Janeiro. Mendes EV 2001. Os grandes dilemas do SUS (Tomo I). ISC/Casa da Sade, Salvador. Mendes EV 2002. Os sistemas de servios de sade: o que os gestores deveriam saber sobre essas organizaes complexas. Escola de sade Pblica do Cear, Fortaleza. Navarro V 2000. Assessment of the World Health Report 2000. Lancet 356:1598-1601. Naylor CD, Iron K, & Handa K 2002. Measuring Health health System system Performanceperformance: Problems problems and Opportunities opportunities in the Era of Assessment assessment and Accountabilityaccountability, pp. 13-34. In OECD. Measuring up improving health system performance in OECD countries. Editora da OCDE, Paris. NHPC National Health Performance Committee 2002. National Report on Health Sector Performance Indicators 2001. Queensland Health, Brisbane.

724
Viacava, F. et al.

Or Z 2002 . Improving the performance of health systems: from measures to action (a review of experiences in four countries. Labour Marlet and Social Policy Occasional Papers No. 57. OECD, Paris. OPS Organizacin Panamericana de la Salud 2001. Health Systems Performance Assessment and Improvement in The Region of Americas. Washington, DC. Paim JS 1993. A reorganizao das prticas de sade em Distritos Sanitrios, pp. 187-220. In EV Mendes (org.). Distrito Sanitrio: o processo social de mudana das prticas do Sistema nico de Sade . HucitecAbrasco, So Paulo-Rio de Janeiro. Roemer M 1991. National Health Systems of the World . (Vol.1: The Countries). Oxford University Press, Oxford, Inglaterra. Smee CH 2002. Improving value for money in the United Kingdom National Health Service: performance measurement and improvement in a centralized system, pp. 57-85. In OECD. Measuring up improving health system performance in OECD Countries . Editora da OEDC, Paris.

Teixeira CF, Paim JS & Villasbas AL 1998. SUS, modelos assistenciais e vigilncia da sade. Informe Epidemiolgico do SUS, Braslia, COMED/ASPLAN/FNS, ano VII, n. 2:7-28. Whitehead M 1992. The concepts and principles of equity and health. International Journal of Health Services 22(3):429-445. Williams A 2001. Science or marketing at WHO? A commentary on World Health 2000. Health Economics 10:93-100. Wolfson M & Alvarez R 2002. Towards integrated and coeherent health information systems for performance monitoring: the Canadian experience, pp. 133-155. In OECD. Measuring up improving health system performance in OECD countries. Editora da OEDC, Paris. WHO World Health Organization 2000. The World Health Report: Health System: Improving Performance. Genebra.

Artigo apresentado em 26/6/2004 Aprovado em 18/7/2004 Verso final apresentada em 28/7/2004