Você está na página 1de 13

ARTIGO ORIGINAL | ORIGINAL ARTICLE 43

Sistemas de avaliao profissional e


contratualizao da gesto na Ateno
Primria Sade em Portugal
Professional evaluation systems and contracting of the management
in Primary Health Care in Portugal

Mrcia Silveira Ney1, Celia Regina Pierantoni2, Lus Velez Lapo3

RESUMO Apresenta-se um estudo de caso realizado em Portugal sobre sistemas de avaliao


profissional para ateno primria. Os objetivos foram analisar a trajetria de implantao,
a estrutura organizacional e as ferramentas de gesto utilizadas, bem como discutir sobre
os processos que vm sendo institudos no Brasil com o Programa Nacional de Melhoria do
Acesso e da Qualidade. Trata-se de estudo descritivo, com investigao bibliogrfica de abor-
dagem qualitativa. Os resultados indicam uma estrutura de coordenao, com descentrali-
zao dos servios, que requer maior autonomia dos gestores de sade e regulamentao do
processo avaliativo, contribuindo para a obteno de melhores resultados.

PALAVRAS-CHAVE Avaliao de desempenho profissional; Ateno Primria Sade;


Administrao de recursos humanos em sade.

ABSTRACT It presents a case study performed in Portugal on professional evaluation systems in


primary care. The objectives were to analyze the implanting trajectory, organizational structure
and the management tools employed, as well as to discuss about the processes that have been
instituted in Brazil along with National Program for Improving Access and Quality (PMAQ). It
is about a descriptive study, with bibliographical investigation of qualitative approach. Results
indicate a coordination structure with decentralization of services that requires greater auto-
nomy of the health managers and regulation of the evaluation process, contributing for obtaining
greater results.

1 Universidade Estadual KEYWORDS Employee performance appraisal; Primary Health Care; Health personnel
do Rio de Janeiro (Uerj), management.
Instituto de Medicina Social,
Observatrio de Recursos
Humanos em Sade Rio de
Janeiro, Brasil.
marcia.ney.unesa@gmail.com

2 Universidade Estadual do
Rio de Janeiro, Instituto de
Medicina Social Rio de
Janeiro (RJ), Brasil.
cpierantoni@gmail.com

3 Universidade Nova de
Lisboa, Instituto de Higiene
e Medicina Tropical
Lisboa, Portugal.
luis.lapao@ihmt.unl.pt

DOI: 10.1590/0103-110420151040266 SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015
44 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

Introduo Alm disso, com o atual crescimento


dos gastos com sade, assumidamente uma
Diversas transformaes vm ocorrendo no preocupao mundial, essa discusso tem
Brasil e no mundo, nos ltimos anos, visando estimulado pesquisadores e formuladores
reestruturao dos servios de sade e das de polticas a procurar solues inovadoras
polticas que envolvem o desenvolvimento sobre formas mais adequadas de utilizao
de recursos humanos e seus setores de tra- dos recursos, a fim de garantir que a evolu-
balho. H, finalmente, o reconhecimento de o das necessidades de cuidados de sade
que o desempenho dos recursos humanos seja atendida e que os sistemas de sade
um dos determinantes fundamentais do de- funcionem de forma mais eficiente e eficaz
sempenho dos sistemas de sade. (KALINICHENKO, 2013).
No Relatrio da Organizao Mundial Mesmo para pases desenvolvidos que
da Sade (OMS), de 2006, intitulado apresentam gastos pblicos elevados no
Trabalhando juntos pela sade, foram setor, como os europeus, isso ainda um
levantadas questes sobre avaliao dos grande desafio. Em recente pesquisa, reali-
trabalhadores no mbito da gesto de de- zada em pases integrantes da Organizao
sempenho dos servios de sade. Segundo o para a Cooperao e o Desenvolvimento
relatrio, o desempenho da fora de trabalho Econmico (OCDE), constatou-se que, se
fundamental porque tem um impacto ime- nada for feito para alterar essa situao,
diato na prestao de servios e, em ltima prev-se que grande parte dos pases ir
instncia, na sade da populao. Uma fora gastar valores acima de 20% do PIB at 2050
de trabalho com bom desempenho aquela (KALINICHENKO, 2013).
com boa capacidade de respostas, eficiente e De certa forma, muito tem sido feito com
que atinge os melhores resultados na sade a priorizao de reformas dos sistemas de
em face dos recursos disponveis e das cir- sade voltadas para a Ateno Primria
cunstncias encontradas. H de se conside- Sade (APS). Experincias exitosas enfocam
rar que o desempenho da fora de trabalho questes relacionadas melhoria de acesso
pode variar de acordo com algumas cir- sade, redistribuio de profissionais de
cunstncias, e que os trabalhadores tambm sade, sistemas mais equitativos, inclusivos
podem apresentar desempenhos diferentes e justos, mas, tambm, a mudanas funda-
nos servios (OMS, 2006). mentais com o desempenho dos sistemas
Reconhece-se, tambm, que os sistemas (VAN LEMBERGUE, 2008).
de sade e os determinantes de sua evolu- Alguns autores partilham desse interesse
o so complexos. Devido s mudanas renovado pela APS, e relatam, ainda, que inves-
demogrficas globais, por um lado, lidamos timentos so necessrios para apoiar a reforma
com o aumento da esperana de vida, com e que esta diz respeito no apenas aos recursos
a reduo da mortalidade infantil, com me- humanos e infraestrutura, mas, tambm,
lhoria dos indicadores sociais da populao, formao, educao, investigao, melhoria
e, por outro, com o envelhecimento popula- contnua da qualidade, a sistemas de gesto
cional, o aumento da prevalncia de doenas eficazes, quadro regulamentar adequados e
crnicas, os desafios de garantir acesso aos incentivos financeiros. Consequentemente, a
cuidados de sade populao, de reduzir melhoria contnua da qualidade na APS tem
os custos, de qualificar e melhorar o desem- sido reconhecida por vrias entidades inter-
penho dos profissionais, de alcanar e gerir nacionais como uma das prioridades (LAPO;
melhor os resultados, de trabalhar em equipe DUSSAULT, 2012; PISCO, 2011, P. 2842).
multiprofissional, de integrar uma rede de Neste sentido, no cenrio brasileiro, no
servios, entre tantos outros (SOUSA, 2009). que tange agenda estratgica do SUS para a

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 45

ateno primria, a prioridade a Estratgia alcanados nos ltimos anos so marcantes


Sade da Famlia (ESF) que teve como ante- para um pas extenso, complexo, com carac-
cessor o Programa de Agentes Comunitrios tersticas demogrficas distintas e grande
de Sade (Pacs), de 1991 , implantada em desigualdade social (MENDONA, 2009; VICTORA
1994, sendo impulsionada e incentivada pelo ET AL., 2011; MACINKO ET AL., 2007).
governo (BRASIL, 2011A; VIANA, DAL POZ, 1998). Porm, ainda persistem lacunas signi-
O Brasil apresentou, nos ltimos anos, ficativas na rea de gesto do trabalho e
grande avano no acesso e na oferta de recursos humanos quando se analisa o de-
servios de sade de ateno primria senvolvimento de polticas voltadas para a
com sua implantao. Segundo dados do qualificao do trabalho, atrao e fixao de
Departamento de Ateno Bsica (DAB), profissionais, tais como avaliao de desem-
do Ministrio da Sade (MS), em 2012, a penho, utilizao de ferramentas de gesto e
ESF atingiu uma cobertura de 54% da po- mecanismos de negociao do trabalho, que
pulao, com mais de 33 mil equipes, ga- deem conta do contingente de profissionais
rantindo assistncia para 124 milhes de que adentram diariamente em um mercado
brasileiros (BRASIL, 2012). em ascenso.
Com a consolidao e a expanso da es- Segundo pesquisa realizada em 2011 pela
tratgia, mudanas incrementais no sistema Estao de Pesquisa Sinais de Mercado,
foram surgindo, como iniciativas de for- do Ncleo de Educao em Sade Coletiva/
talecimento da articulao intersetorial e Universidade Federal de Minas Gerais , es-
abertura de novos postos de trabalho, possi- tima-se que a ESF seja responsvel por algo
bilitando a insero de mais categorias pro- prximo a 420 mil postos de trabalho em todo
fissionais, como a implantao das equipes o Pas (NEY; RODRIGUES, 2012; GIRARDI ET AL., 2009).
de sade bucal, em 2000, e a criao dos Esforos tm sido empreendidos pelo
Ncleos de Apoio Sade da Famlia (Nasf ), governo no sentido de ajustar as estrat-
em 2008, mudanas no perfil e na formao gias prioritrias para o SUS e de conhe-
profissional, revelando-se um programa de cer a qualidade dos servios ofertados na
carter um tanto inovador para a poltica de ateno primria sociedade, nos mais di-
ateno sade do Pas. versos contextos existentes no Pas. Dessa
Diante da expanso dos servios, o forma, o Ministrio da Sade, atravs da
Ministrio da Sade, em conjunto com as se- publicao, em 2011, da Portaria GM/MS
cretarias municipais, estaduais e instituies n. 1654, avanou nessa direo, instituin-
de ensino e pesquisa, desencadearam aes do, no mbito do SUS, o Programa Nacional
estratgicas com vistas a investimentos em de Melhoria do Acesso e da Qualidade da
atividades de monitoramento e avaliao, de Ateno Bsica (PMAQ-AB), que, alm de
forma sistemtica, favorecendo a definio ter como objetivo induzir melhoria do
de uma poltica nacional de avaliao e mo- acesso aos servios, possa garantir quali-
nitoramento para APS no Pas (BRASIL, 2011B). dade, incluindo incentivos financeiros aos
Diversas pesquisas vm sendo realizadas municpios participantes (BRASIL, 2011B).
desde ento, com diferentes abordagens, H de se destacar que o processo de ava-
em prol de melhoria de qualidade da APS liao que vem sendo preconizado no Brasil
brasileira. O impacto da ESF pode ser des- decorre de uma longa trajetria de experin-
crito como indutor da reduo de hospita- cias e iniciativas tomadas ao logo dos anos
lizaes por condies sensveis ateno desde a criao da estratgia para regimento
primria e tambm tem sido responsvel, da poltica nacional. Tambm, modelos uti-
com grande visibilidade, pela reduo da lizados em diversos pases tm sido utili-
mortalidade infantil no Pas. Os resultados zados para comparao, apoio e discusso,

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


46 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

ampliando conceitos fundamentais para a Metodologia


construo de um modelo nacional (CASTRO;
MACHADO, 2012). Pesquisa de abordagem qualitativa, que
O presente artigo insere-se nesse con- envolve anlise bibliogrfica e documental
texto, buscando como objeto ampliar os atravs de coleta de documentos expedidos
conhecimentos na rea, analisar a trajetria pelo governo de Portugal sobre a reforma da
de implantao de uma experincia inova- APS, estudos e pesquisas realizadas sobre o
dora relacionada aos processos de gesto processo de contratualizao e avaliao de
direcionados avaliao de desempenho e desempenho nas USF.
contratualizao das equipes no mbito da Para contextualizar e atender aos objetivos
APS. Neste sentido, optou-se pela realizao do estudo, de analisar tanto o sistema nacio-
de um estudo de caso sobre o modelo de ava- nal de sade portugus quanto as suas condi-
liao e contratualizao implementado na cionalidades no processo de implantao das
ateno primria, em Portugal. ferramentas de gesto para ateno prim-
Os principais objetivos do estudo foram ria, foi realizado um levantamento de docu-
conhecer a trajetria de implantao, anali- mentos expedidos pelo governo de Portugal,
sar o contexto geral e as condicionalidades disponibilizados atravs do site do departa-
de implantao do sistema, identificar os mento da Direo Geral da Administrao e
fatores facilitadores e limitantes na implan- do Emprego Pblico (DGAEP), da Direo
tao do processo de gesto para a ateno Geral da Sade (DGS), do Ministrio da
primria, as ferramentas utilizadas, bem Sade e do Alto Comissariado da Sade. As
como obter subsdios de correlaes com o normas, os decretos e as portarias vigentes
programa brasileiro que vem sendo institu- para os Cuidados de Sade Primrios foram
do atualmente. consultados atravs de acesso documental
Essa anlise no prev quaisquer compa- disponibilizado pelo link do Ministrio da
raes entre os pases Brasil e Portugal, j Sade do Pas.
que pontua dois sistemas de sade diferen- O levantamento bibliogrfico tambm se
tes, cada um com a sua histria, sua reforma apoiou na busca sistemtica de artigos cien-
e sua conquista. Porm, examinar uma ex- tficos mais recentes na rea, utilizando as
perincia mais antiga, torna sua anlise bases de busca Medline e Lilacs. Os descrito-
interessante como propsito de enriquecer res utilizados no estudo foram: ateno pri-
o debate, indicando um leque de alterna- mria sade, cuidados de sade primrios,
tivas e possveis subsdios para a recente sade da famlia, pagamento por resulta-
experincia, no cenrio brasileiro, com o dos, contratualizao, avaliao de desem-
PMAQ-AB. penho, avaliao de processos (cuidados de
O artigo est estruturado iniciando-se sade), incentivos profissionais e gesto de
com uma apresentao sobre a trajetria qualidade; e descritores na lngua inglesa:
de implantao da ateno primria em primary health care, primary healthcare
Portugal; posteriormente, so discutidas reform, pay for performance, employee per-
as polticas para introduo de novas fer- formance appraisal, management for result.
ramentas de gesto, como o sistema de ava- Tambm foi realizada leitura de teses e dis-
liao e contratualizao para as Unidades sertaes disponveis no portal da Capes
de Sade Familiar (USF), bem como os Peridicos e no repositrio da Universidade
resultados alcanados at o momento. Em Nova de Lisboa, bem como de relatrios dis-
seguida, so apresentadas algumas consi- ponibilizados pelo Observatrio de Sade
deraes para o cenrio brasileiro, finali- Portugus e pelo Observatrio Europeu dos
zando com a concluso. Sistemas e Polticas de Sade.

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 47

Quanto legislao e s normas vigen- organizar uma rede de servios para os


tes para o sistema de avaliao profissional Cuidados de Sade Primrios, de uma forma
e a contextualizao histrica da APS em generalizada, colocando os centros de sade
Portugal, o trabalho levou em considerao como o pilar central do sistema. Segundo Pisco
a legislao expedida ao longo do perodo de (2011), para o sistema de sade portugus, os
1990 e 2012. centros de sade so um patrimnio cultural,
Quanto anlise sobre a estruturao tcnico e institucional, que importa no apenas
e a organizao das unidades, foram exa- preservar, mas, tambm, modernizar e desen-
minados instrumentos normativos, como: volver, pois continuam a ser o meio mais efi-
resolues, decretos de lei e despachos, a ciente e acessvel para proteger e promover a
citar: a Resoluo de Conselho de Ministro sade da populao (PISCO, 2011, P. 2842).
n.157/2005, que criou a estrutura de Misso As primeiras iniciativas relacionadas aos
para os Cuidados de Sade Primrios; o cuidados primrios datam de 1962. O Pas
regulamento de implantao das USF; o apresentava uma alta taxa de mortalidade
Decreto de lei n. 28/2008, que criou os infantil (77,5%), sendo implementado nessa
Agrupamentos de Centros de Sade como ocasio um programa de vacinao e o desen-
uma nova estrutura de gesto. volvimento de servios destinados ao atendi-
O artigo faz parte de uma pesquisa de mento materno-infantil em todas as regies
doutorado, com modalidade sanduche, re- do Pas, com o apoio da Igreja Catlica e de
alizada em Lisboa/Portugal. A pesquisa foi uma rede de servios de sade, atravs das
submetida apreciao do Comit de tica Santas Casas de Misericrdia. Essa iniciativa
em Pesquisa (CEP) da Universidade do culminou com a intensa regresso da mor-
Estado do Rio de Janeiro (Uerj), de acordo talidade infantil no Pas, representando um
com a Resoluo n. 196/96, do Conselho importante avano nos ltimos trinta anos,
Nacional de Sade (CNS), e aprovada sob o reconhecido internacionalmente, confor-
parecer de nmero 153.996. me registrado no relatrio da Organizao
Mundial de Sade sobre as reformas implan-
tadas na APS (LAPO, 2012).
O sistema de avaliao No entanto, ao longo dos anos, aspectos
profissional e a relacionados a fragilidades no processo de
avaliao e monitoramento da expanso dos
contratualizao na ateno servios de sade se evidenciaram. O modelo
primria em Portugal de gesto e a organizao da prestao de
cuidados eram fragilizados. A excessiva cen-
Nos ltimos 30 anos, as polticas de sade em tralizao dos servios nas sub-regies e nas
Portugal inserido em um contexto mundial Administraes Regionais de Sade (ARS),
em que todos os pases iniciaram processos a crescente desproporo entre recursos
de reforma da ateno primria produzi- humanos existentes na ateno primria e
ram intensas transformaes na trajetria, secundria e a ausncia de um sistema remu-
na configurao e na organizao dos siste- neratrio sem incentivo adequado e propor-
mas de sade. Diversas foram as modifica- cional ao desempenho conduziram a uma
es e resolues tomadas, possibilitando deteriorao da capacidade de prestao de
um progresso significativo e melhoria siste- cuidados e a uma crescente desmotivao
mtica dos servios reconhecidos interna- dos profissionais.
cionalmente (BRANCO; RAMOS, 2001). Uma das primeiras iniciativas para reduzir
Portugal foi um dos primeiros pases eu- o descontentamento dos profissionais e
ropeus a adotar polticas integradas para ainda possibilitar a expanso da ateno

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


48 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

primria para a populao foi a aprovao do Tambm foi estabelecido o regime dos
regime das carreiras mdicas, possibilitando Sistemas Locais de Sade (SLS), como um
aos mdicos alargar o regime de trabalho, ad- conjunto de recursos articulados e organi-
mitindo-se e motivando a prtica do regime zados segundo critrios geogrfico-popula-
de dedicao exclusiva na ateno primria. cionais, facilitando a participao social e a
Dessa forma, vrias experincias para modi- racionalizao para a utilizao dos recursos
ficao da forma remuneratria do sistema na sade (BRANCO; RAMOS, 2001; PORTUGAL, 2012A).
foram iniciadas, resultando na Reforma dos Em 2005, foi criada uma estrutura de
Cuidados de Sade Primrios (PISCO, 2011). Misso para a Reforma dos Cuidados de
Em 1996, uma experincia voltada para a Sade Primrios (MCSP), atravs da pu-
mudana do processo remuneratrio e or- blicao de Resoluo do Conselho de
ganizacional das unidades de cuidados de Ministros n. 157/2005, de 22 de setembro,
sade primrios ocorreu, ainda que de forma para conduzir o projeto de lanamento, co-
localizada na regio de Lisboa e Vale do Tejo, ordenao e acompanhamento da estratgia
denominada Projeto Alfa. Essa iniciativa de reconfigurao dos centros de sade e
previa novas modalidades de organizao e implementao das USF. Tratava-se de um
de gesto por meio das equipes de mdicos novo modelo de governao da sade. Essa
de famlia, que deveriam alinhar sua prtica estrutura possibilitou a introduo de meca-
em objetivos negociados com a Autoridade nismos gerenciais e de contratualizao nas
Regional de Sade, a fim de melhorar o unidades de sade (PORTUGAL, 2005).
acesso e a qualidade dos servios. Nessa perspectiva, a MCSP publicou, em
Em 1998, foi implantado pelo Ministrio 2006, as Linhas de ao prioritria para
da Sade o Regime Remuneratrio o desenvolvimento dos cuidados de sade
Experimental (RRE) Decreto-Lei primrios, onde divulgou propostas em oito
n.117/98, de 5 de maio para um grupo de reas de atuao e apresentou qual seria
mdicos da carreira de clnica geral, mdicos a evoluo da reforma. Estabeleceu como
de famlia, com objetivo de organizar a pres- grandes objetivos para a reforma da APS a
tao dos cuidados, atravs de adequado e obteno de mais e melhores cuidados de
justo reconhecimento dos diferentes nveis sade para os cidados, aumento da acessibi-
do desempenho dos profissionais. A remu- lidade e consequente aumento da satisfao
nerao dos mdicos passava a ser baseada dos utilizadores dos servios. Pretendeu-se,
em um componente fixo e outro baseado tambm, aumentar a satisfao dos profis-
em variveis, como a realizao de cuidados sionais criando boas condies de trabalho,
domicilirios, o alargamento do perodo as- melhorando a organizao e recompensando
sistencial, a realizao de vigilncia a grupos as boas prticas. Simultaneamente, melho-
vulnerveis (gravidez, puerprio, crianas rando a eficincia e promovendo a conten-
no primeiro ano e planejamento familiar), o de custos (PISCO, 2007).
entre outros (PORTUGAL, 1998). Em setembro de 2006, foram implantadas
Com a necessidade de descentralizar as primeiras USF, atravs da deliberao do
a gesto das unidades e organizar os ser- Despacho Normativo n. 9/2006, de 16 de fe-
vios de sade pblica nos nveis regio- vereiro. Foi estabelecido o regimento jurdico
nal e local, foram criados os Centros de para organizao e funcionamento e o regime
Responsabilidade Integrados (CRI), nos de incentivos atribudo aos seus elementos,
hospitais do Servio Nacional de Sade, e as possibilitando o alargamento da cobertura
agncias de contratualizao dos servios populacional na ateno primria no Pas.
de sade, visando distino entre presta- A organizao e a distribuio das USF
o e financiamento dos servios de sade. respeitavam uma rea territorial estabelecida,

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 49

composta por trs a oito mdicos de famlia, dos utentes e, ainda, com uma vertente eco-
enfermeiros e secretrios clnicos, abrangen- nmica focada no custo dos medicamentos
do uma populao de 4000 at 14000 pessoas, e Mtodos Complementares de Diagnose e
e cada mdico de famlia teria sob sua respon- Terapia (MCDT).
sabilidade uma lista de pacientes cadastrados. A contratualizao contempla uma cartei-
Nessa fase, um grande passo se estabeleceu ra bsica de servios, comum a todas as USF
com a introduo de ferramentas gerenciais e uma carteira adicional de servios, aplic-
importantes para o monitoramento das uni- vel apenas s USF do modelo B. A monitori-
dades, com um sistema de pagamento misto zao e a avaliao dos resultados culminam
(capitao, salrio, objetivos), incentivos fi- na atribuio dos incentivos institucionais
nanceiros e profissionais com recompensa ao previstos para esses dois modelos de desen-
mrito (baseado em atividades) e sensvel volvimento (PORTUGAL, 2008; PORTUGAL, 2010A).
produtividade e acessibilidade, mas, tambm, Ao longo dos anos de existncia das USF,
qualidade, atravs de uma metodologia de a contratualizao comportou alteraes e
contratualizao estabelecida (PISCO, 2007). ajustes prprios de um sistema implemen-
A introduo do processo de contratua- tado pela primeira vez. Na carteira bsica
lizao com as USF foi um dos pontos fun- de servios, referente ao ano de 2007, foram
damentais da reforma em Portugal. A gesto contratualizados vinte indicadores esco-
por objetivos das USF, atravs da negociao lhidos a partir de uma lista de quarenta e
de metas, corresponde a um maior nvel nove: quinze comuns a todas as USF e cinco
de exigncia e de responsabilizao das selecionados pelas USF. Em 2008, a Portaria
equipes, com vista melhoria da prestao n. 301/2008, de 18 de abril, regulamentou o
de cuidados, ganhos de eficincia e de satis- processo de contratualizao e de atribuio
fao dos usurios (PORTUGAL, 2008). dos respectivos incentivos (PORTUGAL, 2008).
Com a estruturao e a organizao das A partir dessa publicao, passaram a ser
USF, estavam previstos trs modelos de desen- contratualizados apenas quinze indicado-
volvimento, classificados de acordo com o grau res, treze comuns a todas as USF e apenas
de desempenho no sistema: modelo A, B ou C. dois acordados especificamente com cada
A classificao de uma USF num dado nvel era USF. Os indicadores comuns so distribu-
determinada pelo cumprimento de critrios de dos por quatro grandes reas: acessibilidade
acordo com a seguinte diferenciao: grau de (quatro), desempenho assistencial (oito),
autonomia organizacional; a diferenciao do qualidade percepcionada (um) e desempe-
modelo retributivo e de incentivos dos pro- nho econmico (dois). Os indicadores sele-
fissionais; e o modelo de financiamento e seu cionados por cada USF pertencem ao grupo
respectivo estatuto jurdico. desempenho assistencial. As USF com car-
Atualmente, existem apenas os modelos teira adicional de servios devem ter pelo
A e B em funcionamento. A contratualiza- menos um indicador de desempenho assis-
o com as USF dos modelos A e B faz-se tencial, que permita aferir a carga horria
atravs da definio de metas a atingir. As realizada e a produo estimada para cada
metas fixadas no so quantificadoras do atividade adicional (PORTUGAL, 2010B).
nmero de consultas ou de outros atos. So Alguns indicadores so bsicos na carteira
um conjunto de indicadores de processo e de servios comuns a todas as USF, para atri-
de resultado, orientados para ganhos em buio dos incentivos institucionais, mesmo
sade. Os indicadores relacionam-se com assim, so avaliados anualmente, a fim de
pacientes vulnerveis (crianas, grvidas) verificar sua permanncia ou no no pro-
e de risco (diabticos, hipertensos), com a cesso de contratualizao anual, conforme
acessibilidade dos cuidados, com a satisfao demonstrado no quadro 1.

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


50 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

Quadro 1. Indicadores base para atribuio de incentivos institucionais, 2012

rea Indicadores
Percentagem de consultas ao utente pelo seu prprio mdico de famlia
Taxa de utilizao global de consultas
Acesso
Taxa de visitas domicilirias mdicas por 1.000 inscritos
Taxa de visitas domicilirias de enfermagem por 1.000 inscritos
Percentagem de mulheres, entre 25 e 64 anos, com colpocitologia atualizada
Percentagem de mulheres, entre 50 e 69 anos, com mamografia registrada nos ltimos dois anos
Percentagem de diabticos com pelo menos duas HbA1C registradas nos ltimos doze meses, desde que abranjam
dois semestres
Desempenho assistencial Percentagem de hipertensos com pelo menos uma avaliao de presso arterial em cada semestre
Percentagem de crianas com PNV* atualizado aos 2 anos
Percentagem de crianas com PNV atualizado aos 6 anos
Percentagem de primeiras consultas na vida efetuadas at os 28 dias
Percentagem de primeiras consultas de gravidez no primeiro trimestre
Satisfao dos utentes Percentagem de utilizadores satisfeitos/muitos satisfeitos
Custo mdio de medicamentos faturados por utilizador (em PVP**)
Eficincia
Custo mdio de MCDT*** faturados por utilizador
Fonte: BRASIL, 2012
*PNV Programa Nacional de Vacinao
** PVP Preo de Venda ao Pblico
***MCDT Meios Complementares de Diagnstico e Terapia

Em continuidade ao processo de reforma, da qual resulta a assinatura de uma Carta


foram criados, em 2008, os Agrupamentos de Compromisso; e um segundo momento, a con-
Centros de Sade (ACSs), atravs da publica- tratualizao externa entre a ARS regional e os
o do Decreto-lei n. 28, de 22 de fevereiro ACEs, de que resulta um Contrato Programa,
de 2008b. Assim, extinguiu-se a estrutura in- que teve incio em 2011 (PORTUGAL, 2012).
termediria de sub-regies de sade, concen- A reforma da ateno primria tem de-
trando o processo de organizao e gesto dos monstrado, desde o incio, resultados satisfa-
cuidados de sade primrios nos ACEs. trios no que tange melhoria de indicadores
A estrutura envolveu no s a organizao de sade e satisfao da populao, conforme
das USF, mas a estruturao de outras uni- demonstrado em pesquisas e mencionado
dades funcionais: Unidades de Cuidados de em relatrios sobre os Cuidados Primrios
Sade Personalizados (UCSP), Unidades de em Sade da Organizao Mundial de Sade
Cuidados na Comunidade (UCC), Unidades (OPSS, 2003; OMS, 2008). Porm, alguns autores
de Recursos Assistenciais Partilhados (Urap), destacam que a adeso reforma no tem
Unidades de Sade Pblica (USP) e unidades sido uniforme ao longo do Pas, criando desi-
ligadas diretamente ao Diretor Executivo, gualdades nos cuidados de sade disponibi-
como a Unidade de Apoio gesto (UAG), o lizados aos cidados, devido s fragilidades
gabinete do cidado, o conselho clnico e o na distribuio e recolocao de mdicos de
conselho da comunidade. famlia em algumas regies. Prev-se que, at
O processo de contratualizao estabeleci- 2020, cerca de 56% dos mdicos de famlia
do com a USF continuou com a organizao deixem a sua atividade profissional. Essas
dos ACEs, porm, algumas modificaes foram perdas tero implicaes, como uma menor
necessrias. A partir da criao dos ACEs, cobertura da populao e a consequente so-
o processo de contratualizao passou a ter brecarga dos nveis secundrios de cuidados,
dois momentos: uma contratualizao interna assim como reduo da eficincia e aumento
entre os ACEs e as unidades que os constituem, de gastos na sade (MIGUEL; S, 2010).

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 51

O processo que ainda decorre assenta-se movimentos sociais que levaram ao estabe-
numa segunda etapa de desenvolvimento lecimento de um Sistema nico de Sade
e amadurecimento. A garantia da susten- (SUS) pblico; os desafios percorridos para
tabilidade dessa reforma em mdio e longo a sua implantao, em um pas de enorme
prazos passa por manter as estratgias de dimenso territorial, com disparidades re-
mudana com ajustes que possam aumen- gionais e sociais; as dificuldades no proces-
tar a sua implementao, autonomia e que so de descentralizao; o subfinanciamento
diversifiquem a oferta de unidades, assim do setor; a reestruturao da rede de servi-
como a edificao de uma cultura e de pr- os integrados e orientados para a ateno
ticas regulares de responsabilizao, de ava- primria; as fragilidades do processo de
liao e de transparncia em todos os nveis. formao; a qualificao e a insero de
Consequentemente, esse um dos desa- recursos humanos; a ausncia de regulao
fios que se colocam para os prximos anos profissional e do trabalho; e o aumento de
(PORTUGAL, 2010). setores privados em concorrncia com os
recursos pblicos.
Mesmo diante de tantos desafios, o Pas
Consideraes para o apresentou grande avano nos ltimos anos.
cenrio brasileiro A ESF, como modelo organizacional da APS,
vem alcanando resultados importantes e
Os sistemas de sade, em geral, apontam positivos para a melhoria dos indicadores de
os processos de contratualizao como um sade e tem possibilitado maior integrao
instrumento necessrio para alcanar uma aos servios, o redirecionamento de recur-
maior eficincia dos recursos utilizados, fa- sos entre as regies do Pas, a implantao
cilidade de acessibilidade aos servios, uma do Piso de Ateno Bsica (PAB) e do pacto
prestao de servios de elevada qualidade, pela sade, como proposta descentralizado-
com maior enfoque na promoo da sade e ra (LIMA ET AL., 2012; PAIM, 2006).
preveno de doenas (OMS, 2006). A ESF, alm de expandir o acesso aos servi-
Porm, convm ressaltar que alguns ele- os da populao, repercutiu na implantao
mentos comuns de sucesso, observados em de novas polticas de sade, como: promoo
diversos pases que utilizam o instrumento, de sade, fornecimento de medicamentos,
compreendem a descentralizao das uni- sade bucal, implementao de estratgias
dades de prestao de servios, a criao de de formao, qualificao e insero profis-
equipes multidisciplinares, o envolvimento sional, polticas de avaliao e monitoramen-
e a motivao dos profissionais e uma maior to, entre tantas outras que foram necessrias
autonomia dos processos decisrios e da para dar os devidos suporte e consistncia
gesto de recursos para os profissionais de ao modelo preconizado.
linha de frente, por se encontrarem mais Tambm, ao analisarmos os caminhos per-
prximos dos doentes, com maior conheci- corridos sobre os processos avaliativos para
mento das necessidades e expectativas dos a APS, sobretudo quanto s polticas de ava-
usurios. Outro fator implicado no sucesso liao, percebe-se uma trajetria prioritria
consiste da articulao dos demais nveis de para os processos de avaliao e monitora-
assistncia ateno primria, que potencie mento voltados para a expanso da cobertu-
a integralidade do cuidado do paciente, devi- ra do programa, a implementao de novas
damente sustentados por modelos de incen- equipes, de outras categorias profissionais,
tivos financeiros (ESCOVAL ET AL., 2010). relacionadas aos processos de trabalho e aos
Ao analisarmos a situao do Brasil, produtos executados, em prol da melhoria
evidencia-se a importncia das lutas e dos de acesso e de indicadores de sade.

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


52 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

J no tocante outra vertente relacionada no condizendo com uma realidade global.


ao processo avaliativo, referente s polticas Em paralelo, destaca-se a ausncia de uma
de avaliao de recursos humanos, de avalia- cultura de avaliao e negociao entre profis-
o de desempenho profissional e de contra- sionais e gestores. Muitos profissionais sentem-
tualizao de metas voltadas para a melhoria -se amedrontados com processos avaliativos,
da qualidade, percebe-se a existncia de uma por no seguirem uma normatizao ou pelo
trajetria um tanto sombria, com poucos fato de os processos de negociao, na maioria
investimentos direcionados para a rea e das vezes, privilegiarem o poder da gesto pol-
sem experincia ao longo dos ltimos anos. tica em detrimento da gesto tcnica.
A proposta do PMAQ surge em 2011, Outro fator que pode comprometer os
em mbito nacional, pela possibilidade de processos gerenciais refere-se alta rotativi-
maior envolvimento dos profissionais no dade ainda existente, tanto de gestores como
processo avaliativo, tanto com relao aos de profissionais, representando uma ameaa
processos de trabalho executados quanto para a credibilidade de sistemas de avaliao,
s polticas de recursos humanos voltadas onde muitos programas so descontinuados
para a ateno primria. com as mudanas de governo.
O PMAQ vem para impulsionar melhorias No campo do trabalho, o programa pode
nas instalaes fsicas das unidades, no pla- ser um aliado dos profissionais de sade, pos-
nejamento e na organizao dos servios, na sibilitando maior poder de negociao com
avaliao e no monitoramento dos indicadores gestores e discusses sobre salrios, vnculos
de sade, em gesto, formao e qualificao trabalhistas e plano de carreiras, e favorecedor
profissional, alm de viabilizar incentivos finan- de fixao profissional e carreira para o setor.
ceiros tanto para os municpios participantes O estudo de caso realizado em Portugal
quanto para os profissionais, em reconhecimen- possibilitou a identificao de aspectos po-
to ao trabalho executado. Esse um modelo que sitivos que podero servir de reflexo ao
possibilita comparaes tanto entre equipes cenrio brasileiro:
do mesmo municpio como na esfera nacional.
Para isso, requer o cumprimento de indicadores A importncia de uma gesto profissional
em reas estratgicas estabelecidas, o que leva prxima aos servios e populao, pos-
em conta um padro de prioridade nacional. sibilitando adequaes, com rapidez, dos
Ressaltam-se, porm, alguns fatores que servios s necessidades das populaes;
necessitam ser analisados como pontos de
fragilidades que envolvem tanto a escolha A importncia condicionada gesto e go-
dos indicadores de monitoramento selecio- vernao clnica na APS, com formao espe-
nados pelas equipes quanto aos critrios de cfica dos diretores executivos. Mais ainda, a
adeso das equipes. Quanto aos indicadores discusso de normas de orientao clnica e
selecionados, estes podem no privilegiar as a participao da comunidade nos conselhos;
necessidades locais de sade da populao e
no englobar as competncias tcnicas dos A importncia da integrao entre a avalia-
profissionais, podendo no ser um repre- o de desempenho profissional e a contra-
sentativo de melhoria de qualidade. Outro tualizao como um caminho a percorrer
aspecto refere-se ao processo de seleo e em prol de melhorias no sistema;
adeso das equipes, podendo ocorrer um
vis pelos gestores, que passam a privilegiar A trajetria de implantao de um modelo,
as equipes com melhores condies de bons que j ocorre h alguns anos, at o aperfei-
resultados para recebimento de incentivos, oamento dos instrumentos, a adequao do
em detrimento de outras, para certificao, sistema e a imerso em uma cultura;

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 53

A capacitao do processo de contratua- poderiam trazer ganhos sade da popula-


lizao e apoio aos servios e o monitora- o, se bem treinados;
mento rigoroso das ARS aos ACEs.
Implementao da governana local e
A anlise do modelo de APS de Portugal fortalecimento dos conselhos gestores.
revelou pontos importantes, que servem de
anlise para o programa institudo na ESF no
Brasil. A APS, no Brasil, avanou muito posi- Concluso
tivamente em vrios aspectos, entretanto, cla-
ramente, ser necessrio maior empenho do Este artigo possibilitou discutir alguns
governo federal, dos estados e municpios em: aspectos importantes sobre sistemas de
avaliao e contratualizao profissional
Avanar na discusso sobre o processo de no mbito da ateno primria, com suas
descentralizao/regionalizao; trajetrias, tendncias, fragilidades, limita-
es, avanos alcanados. Contudo, de se
Garantir maior autonomia aos gestores e mencionar a necessidade de investimentos
unidades de sade da famlia; e estudos nessa rea diante da extrema im-
portncia que os processos avaliativos pro-
Rediscutir o financiamento da ateno pri- piciam para a melhoria da qualidade dos
mria e o incremento e a autonomia de utili- sistemas de sade.
zao de recursos financeiros em mbito local; A anlise de uma experincia aponta
que enfrentar mudanas necessrio,
Avanar nas discusses sobre os recursos diante de um processo de globalizao, de
humanos em sade, com estratgias para for- oscilaes dos planos econmico e poltico
mao e qualificao, estimular a atrao e a e das transies demogrfica e epidemio-
fixao de profissionais j que a APS ainda lgica por que, constantemente, passamos
apresenta alta rotatividade de profissionais; ao longo dos anos. Avaliar as iniciativas
tomadas sobre as reformas pode auxiliar
Investir na formao de agentes comuni- a enfrentar as transformaes, sempre em
trios de sade, que, em muitas ocasies, busca da melhor resposta para o que a po-
so subaproveitados. Em certas localidades, pulao necessita. s

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


54 NEY, M. S.; PIERANTONI, C. R.; LAPO; L. V.

Referncias

BRANCO, A. G.; RAMOS, V. Cuidados de sade prim- management, v. 27, n. 4, p. 295-307, 2012.
rios em Portugal. Revista Portuguesa de Sade Pblica,
Lisboa, v. 2, p. 5-12, 2001. LIMA, L. et al. Descentralizao e regionalizao:
dinmica e condicionantes da implantao do Pacto
BRASIL. Ministrio da Sade. Secretaria de Ateno pela Sade no Brasil. Cincia & Sade Coletiva, Rio de
Sade. Departamento de Ateno Bsica. Ateno Janeiro, v. 17, n. 7, p. 1903-1914, 2012.
Bsica e a Sade da Famlia. Disponvel em: <http://
www.saude.gov.br/dab>. Acesso em: 01 out. 2011a. MACINKO, J. et al. Going to scale with community-
-based primary care: an analysis of the family health
______. Ministrio da Sade. Secretaria de Ateno program and infant mortality in Brazil, 19992004.
Sade. Departamento de Ateno Bsica. Portaria Social science & medicine, London, v. 65, n. 10, p. 2070-
n. 1654, de 19 de julho de 2011. Institui, no mbito 2080, nov. 2007.
do Sistema nico de Sade, o Programa Nacional de
Melhoria do Acesso e da Qualidade da Ateno Bsica MENDONA, C. S. Uso das Internaes por con-
(PMAQ-AB) e o Incentivo Financeiro do PMAQ-AB. dies sensveis Ateno Primria: O caso de Belo
Braslia. Dirio Oficial [da] Repblica Federativa do Horizonte/MG. Dissertao (Mestrado Profissional em
Brasil, Braslia, DF, 2011b. Epidemiologia) Universidade Federal do Rio Grande
do Sul, Porto Alegre, 2009.
______. Ministrio da Sade. Secretaria de Ateno
Sade. Departamento de Ateno Bsica. Teto, cre- MIGUEL, L. S.; S, A. B. Cuidados de Sade Primrios em
denciamento e implantao das estratgias de Agentes 2011-2016: reforar, expandir-Contribuio para o Plano
Comunitrios de Sade, Sade da Famlia e Sade Bucal Nacional de Sade 2011-2016. Lisboa: Ministrio, 2010.
Unidade Geogrfica: Brasil Competncia: Junho de 2012
a Julho de 2012. Disponvel em: <http://dab.saude.gov.br/ NEY, M. S; RODRIGUES, P. H. A. Fatores crticos para
historico_cobertura_sf.php>. Acesso em: 09 ago. 2012. fixao do mdico na Estratgia Sade da Famlia.
Physis: Revista de Sade Coletiva, Rio de Janeiro, v. 22,
CASTRO, A. L. B.; MACHADO, C. V. A poltica federal n. 4, p.1293-1311, 2012.
de ateno bsica sade no Brasil nos anos 2000.
Physis, Rio de Janeiro, v. 22,n. 2, p. 477-506,jun. 2012. OBSERVATRIO PORTUGUS DE SISTEMAS
DE SADE (OPSS). Evoluo do Sistema de sade
ESCOVAL, A.; RIBEIRO, R. S.; MATOS, T. T. A contra- Portugus (internet). Rede de investigadores do OPSS.
tualizao em cuidados de sade primrios: o contexto p. 4, 2003. Disponvel em: <www.observaport.org>.
internacional. Revista Portuguesa de Sade Pblica, Acesso em: 01 fev. 2013.
Lisboa, v. 9, p. 41-57, 2010.
ORGANIZAO MUNDIAL DA SADE (OMS).
GIRARDI, S. N. et al. Pesquisa nacional de Relatrio Mundial da Sade 2006: Trabalhando juntos
Monitoramento da Qualidade do Emprego na Estratgia pela sade, 2006.
Sade da Famlia. Relatrio de Pesquisa Universidade
Federal de Minas Gerais, Faculdade de Medicina, Ncleo PAIM, J. S. Equidade e reforma em sistemas de ser-
de Educao em Sade Coletiva, Estao de Pesquisa de vios de sade: o caso do SUS. Sade e Sociedade, So
Sinais de Mercado. Belo Horizonte, 2009. Paulo, v. 15, n. 2, p. 34-46, 2006.

KALINICHENKO, O. et al. Performance assessment PISCO, L. A reforma dos cuidados de sade primrios.
in Primary Health Care: a System Literature Review. Cadernos de Economia, Chapec, v. 20, n. 80, p. 60-66,
Portugal. University of Algarve- faculty of Economics 2007.
and CEFAGE-UE. 2013, 17 p.
______. Reforma da Ateno Primria em Portugal em
LAPO, L. V.; DUSSAULT, G. From policy to rea- duplo movimento: unidades assistenciais autnomas de
lity: clinical managers views of the organizational sade familiar e gesto em agrupamentos de Centros
challenges of primary care reform in Portugal. de Sade. Cincia & Sade Coletiva, Rio de Janeiro, v.
The International journal of health planning and 16, n. 6, p. 2841-52, 2011.

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015


Sistemas de avaliao profissional e contratualizao da gesto na Ateno Primria Sade em Portugal 55

PORTUGAL. Governo da Repblica Portugues. Reviso ______. Ministrio da Sade. Minuta de Contrato-
histrica do Servio Nacional de Sade de Portugal Programa ARS-ACES. Disponvel em: <http://www.
[internet]. 2012a. Disponvel em: <http://www.por- acss.min-saude.pt/Portals/0/Minuta_CP_ACES_2010.
tugal.gov.pt/pt/os-ministerios/ministerio-da-saude/ pdf >. Acesso em: 01 abr. 2012.
quero-saber-mais/quero-aprender/historia-sns.aspx>.
Acesso em: 16 nov. 2012. ______. Ministrio das Finanas e da Administrao
Pblica e da Sade. Decreto Lei n. 28/ 2008, de
______. Ministrio das Finanas e da Administrao 28 de fevereiro de 2008. Dirio da Repblica, 28 fev,
Pblica e da Sade. Portaria n. 301/2008, de 18 de 2008b. Disponvel em: <https://dre.pt/application/dir/
Abril. Regula os critrios e condies para atribuio pdf1sdip/2008/02/03800/0118201189.PDF >. Acesso
de incentivos institucionais e financeiros s Unidades em: 01 abr. 2012
de Sade Familiar e aos profissionais que as integram,
com fundamento em melhorias de produtividade, ______. Resoluo do Conselho de Ministros n.
efectividade e qualidade dos cuidados prestados. Dirio 157/2005, de 12 de outubro de 2005. Institui a criao
da Repblica, Lisboa, 1 Srie, n.77, 2008. de uma estrutura de misso para a reforma dos cui-
dados de sade primrios. Dirio da Repblica, v.157,
______. Ministrio da Sade. Alto Comissariado 2005. Disponvel em: <www.mcsp.min-saude.pt/>.
de Sade. Plano nacional de Sade 2011-2016. Acesso em: 01 abr. 2012.
Levantamento de determinaes e recomendaes da
Organizao Mundial de Sade, 2010a. Disponvel em: SOUSA, P. A. F. O sistema de sade em Portugal: reali-
<www.acs.min-saude.pt>. Acesso em: 25 nov. 2012. zaes e desafios. Acta Paulista de Enfermagem, Lisboa,
v. 22, n. especial, p. 884-94, 2009.
______. Ministrio da Sade. Departamento de
Contratualizao das Administraes Regionais de Sade VAN LERBERGHE, W. The world health report 2008:
(DCARS). Cuidados de Sade primrios. Metodologia primary health care: now more than ever. World
de Contratualizao. p. 38, dez., 2010b. Disponvel em: Health Organization, 2008.
<www.acss.min-saude.pt>. Acesso em: 05 jun. 11.
VIANA, A.L, DAL POZ, M. R. A reforma do sistema de
______. Ministrio da Sade. Departamento de sade no Brasil e o Programa Sade da Famlia. Physis
Contratualizao das Administraes Regionais de Sade - Revista de Sade Coletiva, Rio de Janeiro, v. 8, n. 2, p.
(DCARS). Cuidados de Sade primrios. Metodologia 11-48, 1998.
de Contratualizao. p. 20, mar.2012. Disponvel em:
<http://www.acss.min-saude.pt/Portals/0/14_Mar_2012_ VICTORA, C. G et al. Condies de sade e inovaes
MetodologiaContratualizaoCSP_2012.pdf>. Acesso em: nas polticas de sade no Brasil: o caminho a percorrer.
20 jan. 2015. Lancet, Londres, supl. Sade no Brasil, v. 377, n. 9782, p.
90-102, 2011.
_______. Ministrio da Sade.Decreto-lei no 117/98,
de 5 de Maio, Regime Remuneratrio Experimental
Recebido para publicao em abril de 2014
dos Mdicos da Carreira de Clnica Geral.Dirio da Verso final em outubro de 2014
Conflito de interesse: inexistente
Repblica , 1. serie A, N 103, de 05.05., p. 1991, 1998.
Suporte financeiro: no houve
Disponvel em: <http://dre.tretas.org/dre/92514/>.
Acesso em 21 jan. 2015.

______. Ministrio da Sade. Cuidados de Sade Primrios.


Guio de apoio preparao de candidaturas a Unidades de
Sade Familiar (USF) Modelo A., p. 19, 2010.

SADE DEBATE | rio de Janeiro, v. 39, n. 104, p. 43-55, JAN-MAR 2015