711

A methodology for assessing the performance

of the Brazilian health system

Francisco Viacava 1, Clia Almeida 2

Rosngela Caetano 3, Mrcia Fausto 4
James Macinko 5, Mnica Martins 2
Jos Carvalho de Noronha 1
Heligonda Maria Dutilh Novaes 6
Eliane dos Santos Oliveira 2
Silvia Marta Porto 2, Ligia M Vieira da Silva 7
Clia Landmann Szwarcwald 1

1 Departamento
Informaes em Sade,
Centro de Informao
Cientfica e Tecnolgica,
Fiocruz.
Av. Brasil 4365,
Manguinhos, 21045-900,
Rio de Janeiro RJ.
viacava@cict.fiocruz.br
2 Departamento
de Administrao e
Planejamento em Sade,
ENSP/Fiocruz.
3 Instituto de Medicina
Social (UERJ).
4 Instituto Fernandes
Figueira (Fiocruz).
5 New York University,
e Departamento
de Administrao e
Planejamento em Sade
(ENSP/Fiocruz).
6 Departamento
de Medicina Preventiva
(FM/USP).
7 Instituto de Sade
Coletiva da UFBA.

Abstract This paper is the result of a Brazilian

multidisciplinary public health working group
and consists of a methodology developed to: a)
identify the factors that influence the efficiency,
effectiveness, and equity of the Brazilian public
health system and understand how these factors
function; b) improve the formulation of health
policies; and c) monitor inequalities in access to
and quality of health services among different
population groups in Brazil. The methodology developed here is based on Australian and Canadian and PAHO proposals that use a dashboard
approach, allowing one to examine and evaluate
simultaneously multiple dimensions of health system performance. This article describes the experience of adapting and developing the methodology and provides suggestions on how such a system might be employed to improve health policymaking in Brazil.
Key words Health system performance, Health
indicators, Health services

Resumo Este artigo uma sntese de alguns dos

principais resultados das discusses realizadas ao
longo de 18 meses entre pesquisadores de diversas
instituies, afiliadas Abrasco, e procura contribuir para a formulao de uma metodologia que
permita: a) compreender quais so e como se inter-relacionam os fatores que influenciam a eficincia, a efetividade e a eqidade no desempenho
do SUS; b) melhorar a formulao de polticas e
c) monitorar as desigualdades no acesso e na qualidade dos servios recebidos pelos diferentes grupos sociais no Brasil. A metodologia desenvolvida
nutre-se de elementos utilizados nas propostas de
avaliao de desempenho dos sistemas de sade
canadense, australiano, ingls e a da OPS e tem o
formato de um painel de controle (dashboard),
onde podem ser visualizadas simultaneamente
diferentes dimenses da avaliao. O artigo descreve a experincia na adaptao e desenvolvimento da metodologia e fornece sugestes no sentido de aplic-la para melhorar a formulao da
poltica de sade no Brasil.
Palavras-chave Avaliao do desempenho de
sistemas de sade, Indicadores de sade, servios
de sade

ARTIGO ARTICLE

Uma metodologia de avaliao

do desempenho do sistema de sade brasileiro

Viacava, F. et al.

712

Introduo
A partir dos anos 80 gestores dos sistemas de
servios de sade de todo o mundo depararamse com o desafio de reformar a organizao e o
funcionamento dos respectivos sistemas de sade, tendo em vista a necessidade de imprimir
maior transparncia ao gasto pblico vis--vis
a reduo dos recursos disponveis para o setor, assim como para a poltica social em geral,
o aumento incontrolvel das despesas com
ateno mdica hospitalar e as mudanas no
perfil demogrfico e epidemiolgico das populaes. Alm disso, a busca de alternativas que
possibilitassem o alcance de maior eqidade e
proporcionassem servios de melhor qualidade
tornou-se peremptria diante do aumento das
desigualdades e da piora das condies de vida
e sade das populaes. Ainda que os motivos
que levaram reforma setorial tenham sido diferentes nos diversos pases, sobretudo no Norte e no Sul, a onda de reforma setorial se espalhou por todas as regies do planeta, orientada
por uma agenda bastante homognea.
De uma maneira geral, as propostas de reforma setorial so sintonizadas com o amplo
movimento mundial de reforma do Estado,
questionando-se fortemente a forma como at
ento os sistemas de servios de sade vinham
sendo organizados e desempenhavam suas funes (Almeida, 1995). A questo do papel do
Estado ganhou destaque nesse debate, sendo
que a universalizao do acesso aos servios de
sade como direito de cidadania e a dominncia dos fundos pblicos no financiamento dos
sistemas de sade tm sido objeto de crticas,
buscando-se alternativas supostamente mais
eficientes e efetivas, pregando-se a retirada do
Estado da proviso direta de servios e o reforo de sua funo reguladora. O elenco de crticas extenso, mas, muito sinteticamente, argumenta-se que, apesar dos altos montantes de
recursos financeiros investidos, muitos Estados
no conseguiram proporcionar a implementao de polticas de sade universais, eqitativas
e de boa qualidade.
Em termos bastante sucintos, pode-se dizer
que as questes centrais que tm orientado essas perspectivas reformistas so: a) conteno
dos custos da assistncia mdica; b) reestruturao do mix pblico/privado, a partir da descentralizao de atividades e responsabilidades
(operacionais e de financiamento), tanto para
os nveis sub-nacionais de governo quanto para o setor privado; e c) aumento da participa-

o financeira do usurio no custeio dos servios que utiliza (sejam pblicos ou privados).
Num primeiro momento, a face conservadora
dessa agenda de reforma restringiu-se questo da assistncia mdica individual, objetivando primordialmente a restrio do gasto nesse
sub-setor. No plano ideolgico, o impulso
principal pretendia: a) despolitizar a arena setorial, passando a consider-la como eminentemente tcnica; b) privilegiar a atuao dos
gerentes, deslocando o poder dos profissionais
(principalmente o mdico); c) resgatar uma
montagem empresarial nos arranjos institucionais que, acreditava-se, seria mais eficiente.
A reduo do desequilbrio fiscal e a criao de condies macroeconmicas mais sustentveis estiveram subjacentes a esses processos de reforma. A crtica centrava-se no lado da
oferta de servios (supply side), enfatizando a
importncia de direcionar os sistemas de sade
para atender a demanda do consumidor. Advogava-se que as estruturas burocrticas hierrquicas tradicionais, com a rigidez inerente
dos procedimentos normativos, eram danosas
aos interesses pblicos, ineficientes e ineficazes. pressupunha-se que, como qualquer monoplio, as agncias estatais seriam inerentemente ineficientes, tendendo a crescer indefinidamente, e o resultado seria sempre um mau
desempenho. A mudana central do foco de
ateno foi das atividades ou produtos das
agncias governamentais (output) para os resultados dessas atividades (outcomes) (Kettl,
1996 apud Almeida, 1999). E como os servios
deveriam estar voltados para o consumidor, os
sistemas deveriam ser re-orientados nessa perspectiva. A avaliao de desempenho passou a
ser um instrumento importante dessa reestruturao.
Ao longo dos ltimos trinta anos o debate
centrou-se principalmente sobre a questo de
se restringir a performance dos sistemas de sade a anlises de custo efetividade baseadas em
resultados ou consider-lo em sentido mais
amplo j que ele afetado por fatores econmicos, educacionais e pelas desigualdades sociais (Naylor, 2002).
Para alm do debate ideolgico e da agenda
conservadora, a avaliao de desempenho dos
sistemas de sade desejvel e promissora, podendo constituir-se num poderoso instrumento de monitoramento das polticas de reforma.
Entretanto, a questo fundamental a ser enfrentada como medir desempenho em termos
de qualidade, eficincia e eqidade e montar

713

Sistemas de sade e sistemas de servios

de sade: aspectos conceituais
De uma maneira geral, pode-se dizer que no
h concordncia entre os autores sobre uma
definio de sistema de sade, mas isso no impede que tenham sido propostas categorizaes
e classificaes que, ou trazem embutida uma
perspectiva evolucionista e unidirecional, alm
de no permitirem uma anlise mais dinmica
dos sistemas de sade (SSs), ou so parciais e
baseadas em sistemas de sade particulares e,
portanto, no podem ser generalizadas.
Por outro lado, as definies, conceitos e
categorias analticas usadas para definir ou
analisar os SSs variam segundo valores, princpios e concepes sobre o que sade e qual o
papel do Estado (responsabilidade) em relao
sade das populaes que vivem em seu territrio. Nessa perspectiva, podem mudar no
tempo e no espao, refletindo mudanas nas
concepes dominantes. A maneira como os
problemas de sade das populaes so estruturados determinar os tipos de evidncia que
sero consideradas relevantes e o que ser descartado. As implicaes polticas surgem dessas
evidncias e no do quadro de referncia per se.
E os modelos implcitos ou explcitos de anlise definem e incluem (ou excluem) categorias
que so relevantes para determinado referencial e no para outros.

preciso diferenciar os SSs dos sistemas de

servios de sade, uma vez que os primeiros
so mais abrangentes e se referem sade em
sentido amplo, isto , manifestao objetiva
das condies de vida de uma populao determinada, o que resultante da ao intersetorial
de diferentes sistemas, mais ou menos complexos. Quanto aos sistemas de servios de sade,
integram os SSs, mas sua ao se efetua nas instituies prestadoras de servios, eminentemente internas ao setor, embora sejam influenciadas de forma importante por elementos externos a ele, tais como as instituies geradoras
de recursos, conhecimentos e tecnologias; as
empresas de equipamentos biomdicos; e a indstria de insumos e medicamentos.
Conhecimento e tecnologia so facilmente
exportados, mas os demais inputs dos sistemas
sanitrios so fortemente condicionados pelas
tradies histricas nacionais. As regras legais
diferem na forma como ancoram as responsabilidades do Estado com a sade da populao,
seja outorgando benefcios universais ou especficos para determinados grupos.
Uma definio considerada quase clssica
foi formulada por Roemer (1991): um SS
uma combinao de recursos, organizao, financiamento e gerenciamento que culmina na
prestao de servios de sade para a populao. Entretanto, essas cinco grandes categorias
que integram a definio no possibilitam a
compreenso do funcionamento dos SSs nem
dos seus resultados, pois no so explicitadas
as relaes entre elas.
Field define os sistemas de sade como um
mecanismo societal, que transforma recursos
generalizados (ou inputs) em resultados especializados, na forma de servios de sade direcionados para resolver os problemas de sade
da sociedade, sendo provido de um mandato
que usualmente concede ao sistema o quasemonoplio na performance dos servios de sade, alinhado com a legislao e a regulao do
sistema poltico. Outros inputs incluem o conhecimento cientfico e a tecnologia, que especialmente na medicina do sculo 20 foram extremamente poderosos. Mdicos e outros profissionais de sade so especialmente treinados
e empregados no sistema e configuram componentes cruciais. Finalmente, recursos econmicos so necessrios para financiar essa estrutura (Field, 1973 apud Heideheimer, 1975).
A OMS, por sua vez, define os sistemas de
servios de sade como o conjunto de atividades cujo principal propsito promover, restau-

Cincia & Sade Coletiva, 9(3):711-724, 2004

sistemas de gerenciamento de desempenho na

perspectiva de impulsionar mudanas de comportamentos que possibilitem conseguir melhores resultados (Hurst, 2002).
Este artigo pretende contribuir com esse
debate. Na primeira parte, discutem-se aspectos conceituais da avaliao de desempenho de
sistemas de sade; na segunda, apresenta os
quadros de referncia e marcos conceituais elaborados por algumas organizaes internacionais diretamente envolvidas nessa discusso
(Organizao Mundial da Sade-OMS, Organizao para a Cooperao e Desenvolvimento
Econmico-OCDE e Organizao Pan-Americana de Sade-OPS); a seguir, resumem-se alguns dos principais elementos presentes nas
propostas de avaliao de desempenho elaboradas por alguns pases; e, finalmente, apresenta-se uma metodologia de avaliao de desempenho para o sistema de sade brasileiro, baseada na experincia passada e atual de diferentes pases.

Viacava, F. et al.

714

rar e manter a sade de uma populao (WHO,

2000). Nesse sentido, como reitera Mendes
(2002), so respostas sociais organizadas deliberadamente para responder s necessidades, demandas e representaes das populaes, em determinada sociedade e determinado tempo.
A estruturao dos SSs bastante complexa
e compe-se de distintos elementos, variveis
segundo as caractersticas de cada pas, que se
inter-relacionam para dar alguma resposta aos
problemas de sade de determinada populao.
Entretanto, essas relaes no so harmnicas,
mas sim dialticas, fazendo com que os sistemas
de servios de sade funcionem de forma conflitiva e segundo trajetrias bastante prprias,
apesar dos problemas comuns a serem enfrentados por todos os SSs. Em geral buscam a consecuo de um conjunto de objetivos compartilhados, o que lhes imprime uma direcionalidade intencionada (Mendes, 2001; 2002).
Embora toda sociedade teoricamente comparta as crenas de que a sade tem um valor intrnseco para as pessoas e os servios de sade so
necessrios para manter a vida e para aliviar o
sofrimento (Mendes, 2001), os objetivos dos sistemas de sade variam de um pas para outro,
assim como as concepes dos respectivos sistemas de servios de sade, ainda que se explicitem valores subjacentes bastante semelhantes,
tais como o alcance da eqidade (ou superao
das desigualdades) e o bem-estar de toda a populao. Na realidade, muitas vezes, apesar da
explicitao desses valores, a estruturao e o
funcionamento dos sistemas de servios de sade esto longe de cumprirem com os requisitos
mnimos para alcan-los. Alm disso, ainda
que os objetivos e valores se mantenham, as
propostas de reforma e de mudanas nem sempre possibilitam transformaes positivas.
Existem, portanto, diferentes formulaes
dos objetivos e funes dos sistemas de servios
de sade, segundo determinados momentos
histricos e propostas de reforma, como tambm segundo o enfoque analtico privilegiado.
No caso brasileiro, embora o SUS tenha
seus princpios definidos por lei, o SUS ainda
palco de disputa entre modelos assistenciais diversos. As tentativas de articular ao de promoo, preveno, recuperao e reabilitao,
na dupla dimenso individual e coletiva, tm
sido experimentadas no espao micro dos municpios, acumulando experincias que apontam para a possibilidade de construo de um
modelo de ateno sade voltado para a qualidade de vida (Marinho de Souza & Kalichman,

1994), tal como proposto na 10 a Conferncia

Nacional de Sade (CNS), em 1996 (Teixeira et
al., 1998), e reforado nas 11a e 12a CNSs, realizadas respectivamente em 2000 e 2003.
De uma maneira geral, melhorar a sade da
populao o objetivo central e mximo dos
SSs. Entretanto, o alcance dessa meta um processo complexo, que envolve objetivos intermedirios e aes intersetoriais. E a prestao de
servios, individuais e coletivos, assim como as
aes intersetoriais so apenas um dos modos
de melhorar a sade da populao. Fatores vinculados situao socioeconmica, ambientais,
biolgicos e genticos e os comportamentos coletivo e individual tm influncia poderosa sobre a sade. Sendo assim, necessrio o refinamento do conhecimento de como esses fatores
interagem, como influenciam a sade dos indivduos e das populaes, e de como contribuem
para o alcance da meta central dos SSs.

Avaliao de desempenho
dos sistemas de sade: marcos
conceituais propostos pelos
organismos internacionais
Embora a literatura se refira avaliao de desempenho dos sistemas de sade, o foco de interesse central tem sido os servios de sade,
com especial nfase, em muitos casos, nos servios de assistncia mdica. Isso se deve a diversos fatores, mas destacam-se entre eles os
relacionados busca de maior eficincia, ou seja, conseguir que os sistemas de servios de sade desempenhem suas funes da melhor forma possvel diante dos constrangimentos financeiros que se generalizaram em todos os
pases nas ltimas dcadas.
Ainda que haja discordncia conceitual, desempenho, em geral, se refere ao grau de alcance dos objetivos dos sistemas de sade (Hurst
& Hughes, 2001). A construo metodolgica
da avaliao de desempenho depender, portanto, da clareza sobre os princpios, objetivos
e metas dos sistemas de sade que se quer avaliar, que por sua vez, vo embasar a escolha das
dimenses que sero objeto da avaliao de desempenho.
A avaliao de desempenho dos servios de
sade foi o objeto central do World Health Report 2000- WHR 2000 (WHO, 2000) que, apesar de muito criticado, teve o mrito de colocar
essa questo no centro do debate contemporneo sobre as reformas setoriais. O quadro de

715

SSs; c) no h evidncias cientficas que demonstrem que mudanas no estado de sade,

tanto em termos da sua mdia quanto da distribuio entre os indivduos da sociedade, reflitam predominantemente a forma como os
sistemas de sade operam, mas exprimiriam,
na realidade, as condies sociais e econmicas
vigentes nas diferentes sociedades; d) ao incorporar a noo de novo universalismo, o cidado passa a ser considerado um cliente/consumidor abstrato e descontextualizado, o que no
permite avanar na identificao das desigualdades sociais em sade.
Entre os problemas relacionados com a metodologia utilizada incluem-se: a) a grande insuficincia de dados nos pases levou adoo
de mtodos economtricos, pouco transparentes e de difcil compreenso pelos gestores, para
estimar os dados da maioria dos pases; b) a
metodologia para obteno dos pesos necessrios para a construo do ndice composto tambm no foi esclarecida; c) as desigualdades
medidas considerando o afastamento de cada
indivduo em relao mdia impedem a distino de grupos populacionais, alm de colocar os pases que tm poucas variaes em torno de mdias baixas em uma situao melhor
do que pases que tem maiores desigualdades,
mas mdias mais altas; d) as medidas da justia
na contribuio financeira partem do suposto
que todos os indivduos devem comprometer o
mesmo percentual da receita familiar em gastos
com sade, o que no pode ser considerado uma
operacionalizao adequada da idia de eqidade no financiamento de servios de sade.
A proposta de avaliao de desempenho da
OCDE (Hurst & Hughes, 2001), por sua vez,
ainda que no se oponha explicitamente ao
quadro de referncia elaborado pela OMS,
apresenta algumas alteraes que, de fato, o
modificam substancialmente, alm de que critica o conceito de eficincia utilizado. Pensado
complementarmente ao da OMS, caracterizase por: a) incluir indicadores de resultados dos
servios de sade (outcomes) como parte da
avaliao de desempenho (eficincia microeconmica); b) incluir acesso como componente
da responsividade, possibilitando avaliao da
eqidade; c) incluir o nvel de gasto sanitrio
como meta dos sistemas de sade (eficincia
macroeconmica); d) excluir qualquer ponderao para avaliao de metas; e) referir a avaliao de desempenho a vrias e distintas dimenses dos sistemas de sade; e f) considerar
a avaliao de desempenho restrita assistn-

Cincia & Sade Coletiva, 9(3):711-724, 2004

referncia utilizado pela OMS para avaliao

dos sistemas de sade no WHR 2000 tem as seguintes caractersticas: a) adota uma definio
de sistema de sade ampla e imprecisa, com
objetivos pouco claros; b) considera parte do
sistema de sade todos os recursos, organizaes e atores que realizam ou apiam aes sanitrias (de proteo, fomento ou melhora da
sade), mas no inclui a educao; c) define
trs metas a serem atingidas pelos sistemas de
sade (melhora do estado de sade; responsividade denominada responsiveness isto ,
um sistema que responda s aspiraes legtimas do pblico; e justia na contribuio financeira). As duas primeiras metas so medidas atravs de sua mdia e distribuio, enquanto que o terceiro apenas pela distribuio;
d) identifica quatro funes dos SSs, decisivas
para o alcance dessas metas financiamento
(incluindo contribuies especficas, fundos
setoriais e compra direta de servios); prestao de servios de sade (individuais e coletivos); gerao de recursos; e conduo do sistema superviso e orientao de todo o sistema
pblico e privado (denominada stewardship).
A inter-relao entre essas metas e componentes seriam a medida de desempenho.
Esse quadro de referncia considera a definio dos recursos financeiros setoriais como
externa ao setor; a responsividade est referida apenas assistncia mdica, sendo que acesso considerado um determinante e no componente da responsividade; e a eficincia definida como o grau com que o sistema de sade realiza a contribuio mxima possvel s
metas sociais em funo dos recursos disponveis, interna e externamente ao setor.
As crticas mais contundentes a esse modelo de avaliao de desempenho foram inmeras e de diferentes naturezas. H uma srie de
questionamentos que se referem ao modelo terico (Williams, 2001; Navarro, 2000; Braveman et al. 2001) e outro conjunto de problemas que se refere aos aspectos metodolgicos
da mensurao propriamente dita das dimenses da avaliao do desempenho adotada (Almeida et al. 2001).
No primeiro caso, apontam-se como aspectos crticos: a) o fato da OMS ter assumido determinado posicionamento poltico e ideolgico e induzido um determinado modelo de reforma; b) o ndice de medida elaborado (Overall Health System Performance Indicator), ao
ser composto por diversas dimenses, no permite identificar os problemas prioritrios dos

Viacava, F. et al.

716

cia mdica como oposta s atividades de sade

pblica ou quaisquer outras mais amplas.
Por fim, a OPS defende que como as definies e os objetivos dos sistemas de sade variam entre pases, a avaliao de desempenho no
deve ser um fim em si mesma e nem ser encaminhada como um exerccio puramente acadmico, mas deve voltar-se para orientar o desenvolvimento de polticas, estratgias e programas
de sade, alm de estar centrada na avaliao
quantitativa e qualitativa do grau de realizao
dos seus objetivos. A avaliao de desempenho
implicaria, portanto, considerar as diferentes
funes do sistema gerao de recursos; financiamento, prestao de servios e conduo
(sterwarship); alm de incorporar, desde o incio, os vrios nveis de anlise (nacional, intermedirio e local) e os diferentes atores envolvidos. E a eficincia deveria ser considerada apenas uma dentre outras dimenses do desempenho, tais como, eqidade, efetividade, aceitabilidade, satisfao etc. Os mtodos e indicadores
de avaliao devem ser estabelecidos por consenso e requerem a medio de distintas dimenses: do desempenho geral do sistema (indicadores finais ou macro) e dos diferentes
componentes do sistema (indicadores intermedirios, instrumentais ou micro) (OPS, 2001).
Uma recomendao importante feita pela
OPS sobre a necessidade de os marcos tericos inclurem a eqidade na avaliao do desempenho dos SSs, numa perspectiva transversal s demais dimenses, o que, alis, j
vem sendo proposto por alguns pases, tais como Canad e Austrlia.
Na reviso da literatura feita nesta pesquisa
foram considerados os conceitos de eqidade
formulados por Whitehead (1992), que considera como iniqidade as diferenas evitveis e
injustas, e pela International Society for Equity
in Health (ISEqH), segundo a qual a eqidade
corresponderia ausncia de diferenas sistemticas potencialmente solucionveis em subgrupos populacionais definidos social, econmica, demogrfica ou geograficamente (Macinko & Starfield, 2002). Para fins de uma proposta de avaliao do desempenho de sistemas
de servios de sade pode-se recorrer a alguns
consensos que permitem a operacionalizao
do conceito de eqidade. Esses consensos se referem a:
1. considerar diferenas em sade como aquelas decorrentes de processos biolgicos ou
de situaes que independem do livre arbtrio dos sujeitos;

2. considerar iniqidades em sade como associadas s polticas de sade ou sociais que

determinam o surgimento de desigualdades na morbi-mortalidade e no acesso aos
servios de sade; e
3. considerar desigualdades em sade como a
expresso emprica das iniqidades.

Alguns comentrios sobre experincias

internacionais de avaliao
de desempenho de sistemas de sade
Vrios pases membros da OCDE esto desenvolvendo quadros de referncia e indicadores de
avaliao de desempenho dos sistemas de sade
(Cozzens, 1995; Hurst & Hughes, 2001; AIHW,
2000; NHPC, 2002; CIHI, 2001; Hurst, 2002; Or,
2002; Smee, 2002; Wolfson & Alvarez, 2002). De
uma maneira geral, os sistemas de avaliao que
vm sendo implementados por esses pases tm
como caractersticas comuns: a) a definio de
quadros de referncia (objetivos e metas) e distintas dimenses de desempenho (sobretudo
em relao qualidade e eficincia); b) a preocupao com a facilidade de operacionalizao
dos conceitos enquanto as organizaes internacionais (como OMS e a OECD) se preocupam mais com definies em nvel macro; c)
dar maior nfase s dimenses de estrutura e
processo como proxy de resultados; d) no incluso de medidas mais gerais de eficincia.
Os processos de elaborao dos quadros de
referncia so longos e trabalhosos, em geral
com participao multi-institucional, e acompanhados da realizao de vrias consultas ou
seminrios para estabelecimento de consensos quanto ao quadro terico e conceitual, definio de indicadores etc. O desencadeamento
desses processos so aes de governo, normalmente por iniciativa do nvel federal. A maioria
das iniciativas de avaliao de desempenho dos
sistemas de sade recente e no apresenta
ainda resultados mais conclusivos.
Quanto s dimenses e indicadores utilizados, so bastante diferentes entre si (sobretudo
em relao questo da qualidade e eficincia).
Entretanto, alguns elementos comuns possibilitam identificar quais as dimenses que vm
sendo privilegiadas: confirma-se concentrao
da avaliao nas dimenses de melhora da sade/resultados e responsividade; pouco desenvolvimento da rea de avaliao da eqidade e
ausncia de indicadores de eficincia macroeconmica.

717

bastante especficos. A experincia do Reino

Unido pode ser considerada uma exceo no
que diz respeito aos indicadores de eficincia
hospitalar, que vm sendo desenvolvidos desde
os anos 70, como forma de monitorar a produtividade desses servios, sendo que vm sendo
periodicamente revisados, sobretudo a partir
dos anos 90, em funo da implementao da
reforma chamada Mercado Interno (Smee,
2002).
Por fim, no gerenciamento do desempenho,
existem grandes diferenas nos modelos institudos pelos pases, dependendo dos arranjos
institucionais, do mix pblico/privado e do tipo de coordenao do sistema controle gerencial pblico (Reino Unido, Canad, Austrlia) ou centrado em incentivos de mercado
(EUA). De uma maneira geral, pode ser centralizado (Reino Unido), descentralizado (EUA),
ou misto (Austrlia, Canad).
A participao do profissional mdico nesses processos de avaliao e gerenciamento de
desempenho importante e presente em todos
os sistemas, mas explicita-se a necessidade de lidar com as questes relativas ao monoplio
profissional sobre a prtica mdica, auto-regulao e dominncia desse profissional no
que concerne avaliao da qualidade tcnica
da ateno. Sugere-se que alm dos mecanismos
de reviso por pares e de auditorias mdicas,
tradicionalmente utilizados, sejam complementados com avaliaes externas feitas por outros
profissionais, tais como gerentes, administradores etc. As dvidas persistem, porm, tanto em
relao ao contedo dessas avaliaes externas
quanto sobre a quem elas seriam dirigidas (aos
prestadores de servios ou ao pblico em geral).
Por outro lado, diferentes atores (stakeholders) e distintas aes necessitam de diferentes
conjuntos de indicadores de avaliao de desempenho, o que remete a que os relatrios de
desempenho devem conter indicadores agregados e desagregados, de forma a atender a diferentes audincias e clientelas.
Como estabelecer padres (ou benchmarks)
para o desempenho outro ponto crtico e
existem problemas com a [disponibilizao] de
dados, pois tem pouco efeito para os consumidores ou compradores de servios e, em geral, funciona melhor quando dirigidos aos organizadores da proviso (Reino Unido) ou empregadores, que pagam a conta do seguro privado para seus funcionrios (EUA).
Por fim, constata-se que todos esses processos so de longo prazo e permanentes, para per-

Cincia & Sade Coletiva, 9(3):711-724, 2004

Em relao aos indicadores de resultados

(outcomes) esto referidos a mudanas no estado de sade de indivduos e populaes determinadas pela ao dos sistemas de servios de
sade. Apontam-se algumas dificuldades na
sua operacionalizao, uma vez que difcil
trabalhar com indicadores de resultado de base
populacional usando as estatsticas rotineiras,
como tambm identificar quais resultados podem, inquestionavelmente, ser atribudos ao
impacto da ao dos servios de sade. Da a
utilizao de proxies de resultados, isto , medidas de estado de sade (morbi e mortalidade,
desde que suscetveis ateno sade) e medidas de processo de ateno (principalmente
utilizao, desde que altamente correlacionada
com resultados). Num conjunto de 13 indicadores de resultados mais comumente utilizados pelos pases, apenas cinco podem ser considerados, de fato, medidas de resultados das
aes dos servios e todos os demais so proxy
(Hurst & Hughes, 2001).
O conceito de responsividade tambm difere muito nos diferentes sistemas de avaliao e
as dimenses tambm so variadas, mas em geral contm elementos de satisfao, aceitabilidade e experincia do paciente. Os dois primeiros so mais relacionados com a expectativa do
paciente; e o ltimo com caractersticas objetivas da proviso, tais como, a livre escolha
do tratamento. Os pases trabalham comumente com diferentes dimenses e conjuntos de indicadores de responsividade. Estes indicadores
seriam, supostamente, de mais fcil obteno,
pela grande quantidade de inquritos populacionais que vm sendo realizados nos distintos
pases, sendo que as dificuldades esto mais relacionadas com a coleta da informao instrumentos (definio de perguntas do questionrio), definio de amostras (estatisticamente
significantes) etc.
Quanto aos indicadores de avaliao da
eqidade, embora se faa meno, so muito
pouco desenvolvidos e as dificuldades esto relacionadas tanto formulao quanto operacionalizao do conceito de eqidade nos servios de sade, uma vez que a construo de
um conjunto de indicadores relevantes como
medida de eqidade requer considervel quantidade de dados de boa qualidade. Enfatiza-se,
porm, que a eqidade deve ser colocada como
uma dimenso transversal, isto , deve ser
considerada na anlise de todas as demais.
Em relao aos indicadores de eficincia, a
maioria prope indicadores de microeficincia

Viacava, F. et al.

718

mitir ajustes sucessivos e contnuos, alm de

que, necessariamente, devem ser concertados
nacionalmente, sobretudo nos pases com sistemas descentralizados e com grande diversidade
regional e fragmentao do sistema de sade.

Uma proposta para avaliao

de desempenho do sistema de servios
de sade brasileiro
No Brasil, em que pese o grande nmero de
iniciativas voltadas para a consolidao do SUS
e a existncia de uma gama de projetos dirigidos para a avaliao das inovaes que vm
sendo implementadas, no existe nenhuma iniciativa governamental no sentido de avaliar o
impacto dessas mudanas no desempenho do
sistema em seu conjunto, sendo que a maioria
das avaliaes est voltada para o processo de
descentralizao ou de implantao de programas especficos, como o programa de Agentes
Comunitrios de Sade (PACS) e o Programa
de Sade da Famlia (PSF).
A partir dos elementos discutidos anteriormente, um sistema de avaliao de desempenho do SUS teria de ser pautado por um quadro de referncia que levasse em considerao
a sua concepo legal, a forma como vem sendo implantado e os problemas de sade priorizados, alm de que deveria permitir avaliar em
que medida seus princpios e objetivos esto
sendo cumpridos.
Neste trabalho procurou-se desenvolver
uma metodologia que abarcasse um espectro
amplo de dimenses da avaliao de sistemas
de servios de sade, a exemplo do que foi
constatado na reviso da literatura.
A experincia de alguns pases voltada para
a melhoria do desempenho dos sistemas de sade baseia-se na construo de um quadro de
referncia composto por elementos que, em linhas gerais, capturam o estado de sade, os determinantes no mdicos da sade, o desempenho do sistema de sade, as caractersticas gerais do sistema de sade e dos recursos da comunidade. A abordagem no formato de um
painel de controle (dashboard), proposta pelo
Canad, foi recomendada pela OPS (2001), para aplicao nos pases da regio das Amricas.
Segundo esta organizao, cada pas deveria
desenvolver indicadores referentes aos cuidados de sade prestados para responder aos problemas de sade prioritrios de suas respectivas populaes, alm de enfatizar a distribui-

o dos servios distribudos por grupo social,

sexo e idade (eqidade como dimenso transversal).
Embora a metodologia de avaliao aqui
apresentada se nutra, principalmente, de elementos das propostas canadense, australiana,
inglesa e da OPS existem diferenas importantes, que merecem ser destacadas: a) enquanto
no Canad a incluso dos determinantes da sade feita para ampliar o escopo da atuao do
sistema de sade e de sua avaliao (Evans &
Stoddart, 1994), no nosso caso sua incluso
parte do pressuposto de que as condies de
sade da populao sofrem o impacto de fatores sociais econmicos e ambientais, que podem intervir de forma importante nos resultados do desempenho do sistema de servios de
sade; sendo assim, o modelo de avaliao proposto est centrado fundamentalmente no desempenho dos servios; b) a estrutura do sistema de sade foi uma dimenso introduzida
na proposta recomendada pela OPS e incorporada neste modelo, mas no uma dimenso
explorada separadamente pelos demais pases;
c) as categorias de anlise foram redefinidas,
principalmente o financiamento; e tambm
foi introduzida a categoria recursos; d) o arcabouo poltico social e econmico e a conformao do sistema de sade adquirem nesta
um carter contextual, enquanto que no Canad uma das dimenses da avaliao do desempenho do sistema de sade; e, no caso australiano, abordado como uma das categorias
dos determinantes da sade; e) o modelo canadense assume o monitoramento das condies
de sade e do desempenho do sistema de servios de sade como dois objetivos que devem
ser perseguidos; e, no caso australiano, o foco
est na avaliao do desempenho do sistema de
sade, o que tambm o objetivo maior desta
proposta; e f) enquanto nos outros casos, as vrias dimenses so colocadas num painel sem
articulao definida entre elas, prope-se que o
foco da avaliao esteja no desempenho dos
servios de sade, que, por sua vez, est relacionado com os determinantes das condies de
sade que definem, de forma importante, as
necessidades de sade que devem orientar o financiamento e os recursos materiais e humanos necessrios ao bom desempenho do sistema, do qual depender, em parte, a melhoria
das condies de sade da populao.
Prope-se ento que o desempenho do sistema de sade brasileiro seja analisado no contexto poltico, social e econmico que traduz

719

A partir desse marco conceitual seria possvel pensar um conjunto de metodologias analticas capazes de responder a algumas indagaes sobre a qualidade dos servios prestados,
sua variao entre reas geogrficas e grupos
sociais, oportunidade de melhorar o desempenho do sistema e da sade da populao, adeso de sua conformao legislao e sua contribuio para a melhoria de sade da populao (Figura 2).
Uma vez decididas as grandes dimenses da
avaliao, foi desenvolvido um processo de detalhamento para cada uma delas (Figura 3). A
reviso da literatura sobre os indicadores demonstrou que em primeiro lugar seria importante conceituar cada uma das dimenses e seus
componentes ou categorias, j que o mesmo indicador pode ser usado para avaliar diferentes
aspectos. Em alguns casos existe uma diversidade conceitual importante e, em outros, as opinies so mais convergentes e facilitam a escolha dos indicadores. Nessa seleo devem ser
identificados os indicadores j existentes (por

Figura 1
Modelo explicativo do desempenho de sistemas de sade.
Contexto poltico, social, econmico e a conformao do Sistema de Sade

v
Determinantes de sade

v
Condies de sade da populao

Eqidade

v
Desempenho do Sistema
de Sade

Estrutura do Sistema de Sade

Cincia & Sade Coletiva, 9(3):711-724, 2004

sua histria e conformao atual, levando-se

em considerao seus objetivos e prioridades.
Nesse contexto seriam identificados os determinantes de sade (primeira dimenso) associados aos problemas de sade tidos como prioritrios, evitveis e passveis de interveno.
Sua apreciao deveria ser feita considerandose o seu impacto em diferentes grupos sociais.
A caracterizao desses problemas de sade
em termos de morbidade, mortalidade, limitao de atividade fsica e qualidade de vida associada, conformaria uma segunda dimenso da
avaliao, que permitiria conhecer a magnitude dos problemas e sua expresso em diferentes regies geogrficas e grupos sociais. Esse
perfil de morbi-mortalidade, que expressa as
necessidades de sade, deveria orientar a definio de elementos que compem a terceira dimenso da avaliao, ou seja, a estrutura do sistema de sade (conduo, financiamento e recursos), que por sua vez condicionaria as possibilidades de melhor ou pior desempenho do
sistema de sade, objeto principal da avaliao
(Figura 1).

Figura 2
Modelo explicativo do desempenho de sistemas de sade: algumas perguntas.
Contexto poltico, social, econmico e a conformao do Sistema de Sade

v
Determinantes de sade

v
Condies de sade da populao

Os fatores determinantes da sade impactam

igualmente todos os grupos sociais?

Qual o estado de sade dos brasileiros?

Como varia o estado de sade da populao
brasileira entre as reas geogrficas e os grupos
sociais?

Eqidade

Estrutura do Sistema de Sade

v
v

Viacava, F. et al.

720

Desempenho do Sistema
de Sade

A estrutura do Sistema de Sade adequado

ao bom desempenho do sistema de sade?

O sistema est prestando servios de boa qualidade?

O desempenho do Sistema de Sade varia entre
as reas geogrficas e grupos sociais?
Quais so as oportunidades para melhorar
o desempenho do Sistema de Sade e a sade
da populao?
O desempenho do Sistema de Sade est de acordo
com os princpios definidos na lei?
Qual a contribuio do Sistema de Sade para
a melhoria da sade das pessoas?

721
Cincia & Sade Coletiva, 9(3):711-724, 2004

Figura 3
Matriz de dimenses da avaliao de desempenho do Sistema de Sade.

Determinantes da sade
Ambientais

Socioeconmicos e demogrficos

Comportamentais e biolgicos

Fatores fsicos, qumicos e

biolgicos do ambiente que
atuam como determinantes de
agravos sade

Caractersticas demogrficas e
socioeconmicas, contextuais e dos
indivduos, relacionadas com a
produo de agravos sade

Atitudes, prticas, crenas,

comportamentos, e fatores
biolgicos individuais, que
condicionam, predispem,
influenciam a ocorrncia de
agravos sade

Contexto poltico, social, econmico e a conformao do Sistema de Sade

Condies de sade da populao

Morbidade

Estado funcional

Bem-estar

Mortalidade

Ocorrncia de
sintomas, doenas
traumas e deficincias

Ocorrncia de limitao
ou restrio na realizao
de atividades cotidianas
tpicas (funcionalidade)

Qualidade de vida
associada ao bem-estar
fsico, mental e social
dos indivduos

Padro e tendncias
da ocorrncia de
bitos na populao

Sistema de Sade
Eqidade

Estrutura do Sistema de Sade

Conduo

Financiamento

Recursos

Capacidade do governo de formular

e implementar polticas de sade,
garantindo monitoramento,
regulao, participao e
responsabilizao na execuo
das polticas

Montante de recursos
financeiros e modos
pelos quais so captados
e alocados

Conjunto de pessoas,
informaes, instalaes,
equipamentos, insumos
incorporados na operao
do Sistema de Sade

Desempenho do Sistema de Sade

Acesso

Aceitabilidade

Respeito ao direito
das pessoas

Continuidade

Capacidade das
pessoas em obter os
servios necessrios
no lugar e momento
certo

Grau com que os servios

de sade ofertados esto
de acordo com os valores
e expectativas dos
usurios e da populao

Capacidade do Sistema
de Sade de assegurar
que os servios respeitem
o indivduo e a
comunidade, e estejam
orientados s pessoas

Capacidade do
Sistema de Sade de
prestar servios de
forma ininterrupta
e coordenada

Adequao

Segurana

Efetividade

Eficincia

Grau com que os cuidados

intervenes setoriais
esto baseados no
conhecimento tcnicocientfico existente

Capacidade do Sistema
de Sade de identificar,
evitar ou minimizar
os riscos potenciais das
intervenes em
sade ou ambientais

Grau com que a assistncia, Relao entre o

servios e aes atingem
produto da interos resultados esperados
veno de sade e os
recursos utilizados

Nota: Eqidade o eixo que corta transversalmente todas as dimenses. Portanto, todas elas devem ser analisadas segundo essa perspectiva, utilizando as
variveis e indicadores mais apropriados a cada uma delas.

Viacava, F. et al.

722

exemplo, Indicadores e Dados Bsicos IDBs) e

definidos novos, que podem ser obtidos seja a
partir de dados existentes (Pesquisa Mundial da
Sade 2003, Suplemento Sade da PNAD/1998,
Inqurito Domiciliar sobre Comportamentos
de Risco e Morbidade Referida de Agravos no
Transmissveis/INCA) ou que deveriam ser coletados por meio de inquritos domiciliares ou
de usurios dos sistemas de sade.
Para cada indicador seria necessria a construo de uma ficha tcnica que deveria tambm conter a medida de desigualdade para
comparao de grupos populacionais, de forma a evidenciar as desigualdades geogrficas e
sociais. A anlise da validade aparente (face validity) dos indicadores deveria ser feita por especialistas e potenciais usurios deste sistema
de monitoramento, tomando por base os critrios de seleo descritos.
importante considerar que a metodologia
proposta deve permitir tambm a avaliao de
sistemas regionais de sade ou de programas
especficos, levando em conta as desigualdades
no desempenho do segmento estatal e privado
do SUS. E fundamental tambm levar em
conta a exeqibilidade e sustentabilidade organizacional e financeira da proposta, pois da
sua continuidade e operacionalidade que depende a efetividade e impacto de qualquer proposta de avaliao de desempenho de sistemas
de servios de sade.

Concluso
Embora no haja consenso sobre como medir
desempenho dos sistemas de servios de sade,
desempenho sempre definido em relao ao
cumprimento de objetivos e funes das organizaes que compem o sistema, variando de
acordo com o que cada pas estabeleceu como
suas metas. Dado que os objetivos e metas para
os sistemas de sade so diversos, do mesmo
modo que as dimenses de anlise, no h uma
correspondncia estrita entre as vrias experincias locais, ainda que, em algumas situaes,
os indicadores (nos seus contedos) sejam os
mesmos. Ainda assim possvel constatar que:

a) a regularidade temporal com que as medidas subjacentes aos indicadores efetuada varivel e nem sempre especificada; b) alguns indicadores so coletados de forma rotineira como parte do cotidiano administrativo dos servios (indicadores de mortalidade geral e especfica, cobertura vacinal, incidncia e prevalncia de determinadas morbidades etc.) e, em outros casos, as medidas so obtidas atravs de inquritos especiais e pontuais, alguns dos quais
de realizao regular e predefinida (estado de
sade auto-referido; limitao de atividade/
dor crnica; tabagismo atual, passado ou passivo etc.).
A experincia dos diversos pases demonstra que para implementar uma efetiva avaliao de desempenho existe a necessidade de um
processo amplo de pactuao, que leve em considerao a conformao do sistema de sade,
seus objetivos e metas e os diferentes atores que
dele fazem parte. Dessa maneira, gestores, prestadores e usurios dos servios de sade definiriam, a partir dos critrios de relevncia, confiabilidade, validade, capacidade de discriminao e viabilidade, um conjunto mnimo de indicadores para compor um sistema de monitoramento das diversas dimenses do desempenho do sistema de sade.
Finalmente seria desejvel que fosse estabelecida uma agenda para a implantao do sistema de monitoramento com os indicadores e
para a definio de mecanismos de obteno
peridica de dados inexistentes, alm do estabelecimento de mtodos e tcnicas de explorao e anlise dos dados, de forma a promover
um processo de paulatina implantao da avaliao do desempenho do sistema de sade.
A reviso dos modelos de avaliao internacionais e nacionais indica que um possvel caminho a ser tentado para o caso brasileiro seria
iniciar um processo amplo de discusso nacional, a exemplo do que foi feito no Reino Unido,
Canad e Austrlia, para a formulao de um
quadro conceitual a partir do qual seriam definidos indicadores adequados para a avaliao de
desempenho do SUS. Nesse sentido, este artigo
poderia ser considerado uma primeira aproximao para o desencadeamento desse debate.

723

Nota

Grande parte do trabalho deriva de discusses coletivas,

sendo que alguns autores concentraram-se mais em alguns aspectos, a saber: F Viacava na coordenao geral e
desenvolvimento da matriz de avaliao da proposta
brasileira; C Almeida, ES Oliveira e J Macinko na conceituao dos sistemas de sade, avaliao crtica de
modelos de avaliao propostos por agncias internacionais e por outros pases; R Caetano e M Fausto na
anlise dos indicadores nacionais e internacionais; M
Martins e JC Noronha nos modelos alternativos para
anlise de sistemas de sade; CL Szwarcwald na anlise
das desigualdades e condies de sade, avaliao crtica
de modelos de avaliao propostos por agncias internacionais; MD Novaes, C Almeida, S Porto, M Martins, J
Macinko, R Caetano, LV Silva e M Fausto no desenvolvimento da matriz de dimenses da avaliao da proposta
brasileira; e LV Silva e S Porto na anlise dos conceitos de
eqidade em sade.

Para um maior detalhamento da discusso conceitual das

dimenses, bibliografia sobre o tema e sistemas de indicadores revistos utilizados em diversos pases e alguns
dos indicadores sugeridos para a proposta brasileira ver
www.proadess.cict.fiocruz.br

Referncias bibliogrficas
AIHW Australia Institute of Health and Welfare 2000.
The seventh biennal health report of the Australian Institute of Health and Welfare. AIHW, Camberra:. AIHW Cat. No. 19.
Almeida CM 1995. As reformas sanitrias nos anos 80: crise
ou transio? Tese de doutorado. Rio de Janeiro, ENSP/
Fiocruz.
Almeida CM 1999. Reforma do Estado e reforma de sistemas de sade: experincias internacionais de tendncias
de mudana. Cincia & Sade Coletiva 4(2):263-286.
Almeida CM et al. 2001. Methodological concerns and
recommendations on policy consequences of the
World Health Report 2000. Lancet 357(9269):16926977.
Braveman P, Starfield B & Geiger JH 2001. World Health
Report 2000: how it removes equity from the agenda
for public health monitoring and policy. British Medical Journal, 323 (22/September):678-681.
CIHI Canadian Institute of Health Information 2001.
Health Care in Canada. CIHI, Canad. Disponvel em
<http:/www.cihi.ca>
Cozzens S 1995. Performance Assessment and the National Science Foundation: Proposals for NSFs Response
to the Government Performance and Results Act,
NSF Discussion Paper, Arlington, VA, November.
Evans RG, Stoddart GL 1994. Why are some people healthy
and others not? The determinants of health of populations. Captulo 2: Producing Health, consuming health
care. Aldine de Gruyter, Nova York.
Hurst J & Hughes MJ 2001. Performance measurement and
performance management in OECD health systems.
Disponvel em <www1.oecd.org>. OECD Health Systems. Labour Market and Social Policy Occasional
Papers n. 47, pp.1-60.

Hurst J 2002. Performance measurement and improvement in OECD health systems: overview of issues and
challenges, pp. 35-54. In OECD. Measuring up improving health system performance in OECD countries.
Editora da OCDE, Paris.
Macinko J & Starfield B 2002. Annotated bibliography on
equity and health, 1980-2001. International Journal
for Equity in Health 1(1): 1-20.
Marinho de Souza MF & Kalichman A 1994. Vigilncia
sade: epidemiologia, servios e qualidade de vida,
pp. 467-476. In MZ Rouquayrol & N Almeida-Filho
(orgs.). Epidemiologia e Sade. MEDSI, Rio de Janeiro.
Mendes EV 1993. O processo social de distritalizao da
sade, pp. 93-158. In EV Mendes (org.). Distrito Sanitrio: o processo social de mudana das prticas do Sistema nico de Sade. Hucitec-Abrasco, So PauloRio de Janeiro.
Mendes EV 2001. Os grandes dilemas do SUS (Tomo I).
ISC/Casa da Sade, Salvador.
Mendes EV 2002. Os sistemas de servios de sade: o que os
gestores deveriam saber sobre essas organizaes complexas. Escola de sade Pblica do Cear, Fortaleza.
Navarro V 2000. Assessment of the World Health Report
2000. Lancet 356:1598-1601.
Naylor CD, Iron K, & Handa K 2002. Measuring Health
health System system Performanceperformance:
Problems problems and Opportunities opportunities
in the Era of Assessment assessment and Accountabilityaccountability, pp. 13-34. In OECD. Measuring
up improving health system performance in OECD
countries. Editora da OCDE, Paris.
NHPC National Health Performance Committee 2002.
National Report on Health Sector Performance Indicators 2001. Queensland Health, Brisbane.

Cincia & Sade Coletiva, 9(3):711-724, 2004

Colaboradores

Viacava, F. et al.

724

Or Z 2002 . Improving the performance of health systems:

from measures to action (a review of experiences in
four countries. Labour Marlet and Social Policy Occasional Papers No. 57. OECD, Paris.
OPS Organizacin Panamericana de la Salud 2001.
Health Systems Performance Assessment and Improvement in The Region of Americas. Washington, DC.
Paim JS 1993. A reorganizao das prticas de sade em
Distritos Sanitrios, pp. 187-220. In EV Mendes
(org.). Distrito Sanitrio: o processo social de mudana
das prticas do Sistema nico de Sade. HucitecAbrasco, So Paulo-Rio de Janeiro.
Roemer M 1991. National Health Systems of the World.
(Vol.1: The Countries). Oxford University Press, Oxford, Inglaterra.
Smee CH 2002. Improving value for money in the United
Kingdom National Health Service: performance measurement and improvement in a centralized system,
pp. 57-85. In OECD. Measuring up improving health
system performance in OECD Countries. Editora da
OEDC, Paris.

Teixeira CF, Paim JS & Villasbas AL 1998. SUS, modelos

assistenciais e vigilncia da sade. Informe Epidemiolgico do SUS, Braslia, COMED/ASPLAN/FNS, ano
VII, n. 2:7-28.
Whitehead M 1992. The concepts and principles of equity
and health. International Journal of Health Services
22(3):429-445.
Williams A 2001. Science or marketing at WHO? A commentary on World Health 2000. Health Economics
10:93-100.
Wolfson M & Alvarez R 2002. Towards integrated and coeherent health information systems for performance
monitoring: the Canadian experience, pp. 133-155.
In OECD. Measuring up improving health system
performance in OECD countries. Editora da OEDC,
Paris.
WHO World Health Organization 2000. The World
Health Report: Health System: Improving Performance.
Genebra.

Artigo apresentado em 26/6/2004

Aprovado em 18/7/2004
Verso final apresentada em 28/7/2004