Encontro Temtico Processos e Prticas do Monitoramento e Avaliao da Gesto do SUS: Desafios e Perspectivas para a Construo de uma Agenda Estratgica

Painel de Monitoramento A experincia da SMS-So Paulo

Contexto de criao do Painel de Monitoramento da SMS-SP

Retomada do SUS na cidade de So Paulo: dimenso e complexidade da cidade e da poltica de sade, chegada com atraso um SUS com grande normatizao genrica e grande nmero de sistemas de informao criados -necessidade de foco

Desenvolvimento da capacidade diagnstica, instrumentos e mtodos Insuficincia: -o que fazer depois do diagnstico?

O Painel de Monitoramento
Desenvolvimento do projeto considerou que temos bons instrumentos para produzir conhecimento da realidade e estabelecer pontos de partida para processos de planejamento e gesto, no entanto carecemos de instrumentos que acompanhem se as aes que desenvolvemos esto surtindo os efeitos esperados e se no, quais aspectos devem ser modificados para retomar a rota e/ou alcanar os objetivos pretendidos

Etapas na construo do Painel de Monitoramento da SMS

1) Surgimento da necessidade 2) Construo conceitual e metodolgica 3) Escolha dos eixos e indicadores 4) Implantao, operao nos diversos nveis da SMS-So Paulo e criao do GPD 5) Validao e categorizao dos indicadores 6) Aprimoramento da metodologia de anlise com modelagem, desempenho e previso 7) Construo do aplicativo facilitando acesso, automatizando a anlise e melhorando interface 8) Lanamento do Novo Painel de Monitoramento

Painel de Monitoramento: conceitos e critrios

Painel matriz composta por indicadores escolhidos para acompanhar prioridades da SMS-So Paulo segundo nve do sistema de sade Os indicadores so selecionados envolvendo a coordenao e os interlocutores regionais do projeto junto aos tcnicos das reas envolvidas e gestores Aspectos considerados nas escolhas Abrangncia das prioridades Pequeno nmero Capacidade de sntese e validade Oportunidade Disponibilidade do dado no nvel do sistema Governabilidade do gestor no nvel do sistema

Painel de Monitoramento: conceitos e critrios

A matriz permite vrias entradas. Os indicadores so categorizados pelos aspectos: linha de cuidado, grau de controle do gestor, momento do processo sadedoena, abordagem avaliativa, governabilidade do gestor no nvel, disponibilidade do indicador no nvel do sistema, eixo (rea institucional) e evento do sistema de informao de origem. Monitoramento: elaborao e anlise de mensuraes rotineiras visando detectar mudanas no ambiente, no estado de sade e no desempenho do servio de sade ou de profissionais de sade

Matriz: Prioridades e Nveis do SUS So Paulo

Prioridades (aspectos) P1 P1 P1 P2 P2 ... Px
Priorida Municip al IM1 Regiona l IR1 STS SubPr Local P1 P1 P1 P2 IM3 IR3 IM2 IR2 ID1 ID2 ID3 IL1

Municipal IM1 IM2 IM3 ... IMx

Regional IR1 IR2 IR3 ... IRx

STS

Local

ID1 ID2 ID3 IL2 ... IDx ... ILx IL1

P2 ... ... ... ...

IL2 ...

Px

IMx

IRx

IDx

ILx

O que o Painel de Monitoramento

Ferramenta de gesto que permite o acompanhamento contnuo e oportuno da atuao da SMS-So Paulo sobre as prioridades da poltica de sade municipal operado por meio de um pequeno nmero de indicadores disponveis que informam sobre os problemas e as aes para enfrent-los em cada nvel do sistema onde o gestor tem governabilidade para fazer mudar as situaes captadas

Como as metas so tratadas no Painel de Monitoramento?

Necessidade de estabelecer metas para 87 indicadores nos nveis: municipal, regional (5), supervises tcnicas de sade (24), subprefeituras (31), cerca de 545 unidades que produzem aes de ateno bsica, 18 hospitais municipais e 170 unidades com agenda regulada somado fragilidade dos parmetros existentes e insuficincia das metodologias disponveis levaram deciso de que no Painel de Monitoramento a meta a tendncia

Caractersticas essenciais para uso do novo Painel de Monitoramento

1) Agilidade e atualizao permanente: dados de julho e agosto disponveis em setembro de 2009 2) Superviso em cada nvel do sistema: coordenao, interlocuo e manuteno 3) Metodologia de anlise temporal robusta com emisso de desempenho e previso 4) Aplicativo com facilitao de acesso 5) Agenda de capacitaes definida

Coordenao, manuteno e superviso Coordenao geral: CEInfo e Grupo do Painel de Monitoramento: representantes do gabinete (informao, ateno bsica e vigilncia) e regionais Reunio mensal e sub-grupos Manuteno geral e Interlocutores regionais e por Superviso Tcnica de Sade Referncia em operao e anlise, cadastramento de usurios, entrada de dados e controle de pontos aberrantes Reunies temticas e oficinas Seminrios do Painel: semestrais

Metodologia de anlise de srie temporal desenvolvida para o Painel de Monitoramento da SMS-So Paulo e sadas (contornos)
Anlise do nmero de meses existentes na srie temporal
24 meses ou + 36 meses ou +

6 meses ou +

Anlise da dimenso do numerador do indicador na srie temporal suficiente insuficiente

Clculo de mdia e desviopadro (dp)

Grfico Teste de tendncia Teste de sazonalidade

Limites com 1, 2 e 3 dp para cada lado da mdia

Mdia mvel HoltWinters Simples Centrada Aditivo

Sinais mensais segundo faixa

Ponderao da equao de Holt Winters Aditivo

Srie ajustada, grau de ajuste da modelagem e previso

Desempenho: Sntese dos ltimos 7 meses, destacando meses envolvidos na emisso

Aplicativo disponvel em Intranet Prodam e acessado pelo Internet Explorer: tela inicial

Tela de definio de relatrios do aplicativo.

Relatrio 1: sries histricas de indicadores para o municpio

Relatrio 2: sinais mensais e desempenhos para o municpio com seleo de indicadores

O desempenho
Os desempenhos so destacados com base na intensidade, direo e coerncia dos desvios Tipos -ateno -alerta -crtico -estvel -bom -melhoria -excelncia -acima ou abaixo da mdia -em ascenso ou queda -inverso de tendncia prvia

Relatrio de sinais mensais e desempenhos do municpio com seleo apenas de resultados satisfatrios

Relatrio de sinais mensais e desempenhos por Coordenao Regional com seleo apenas de acionadores

Relatrio de sinais mensais e desempenhos de uma Superviso Tcnica de Sade - completo

Relatrio de sinais mensais e desempenhos de uma Unidade Bsica de Sade - completo

Relatrio de sinais mensais e desempenhos de dois Hospitais Municipais - completo

Relatrio 3: grfico com mdia e limites de 1, 2 e 3 desvios-padro, srie modelada, previso e emisso de desempenho

Exemplo com tendncia e sazonalidade significativas e desempenho satisfatrio

Teste de sazonalidade significativo

Teste de tendncia significativo

Teste de tendncia e sazonalidade significativos e desempenho Bom por trs sinais mensais consecutivos entre 1 e 2 dp acima da mdia

Padres atpicos Sete pontos consecutivos em ascenso ou queda

Padres atpicos: Inverso de tendncia prvia

Exemplo de problema atual captado no Painel

Exemplo com desempenho A Conferir

Exemplo anterior aps controle de pontos aberrantes

Agenda de capacitaes Mdulo bsico I Operao e anlise bsica para interlocutores Mdulo Bsico II Operao e anlise bsica para usurios Mdulo Avanado I Monitoramento, anlise de series temporais, modelagem e previso Mdulo Avanado II Monitoramento, avaliao e tomada de deciso

E a avaliao? Passos para uma avaliao (Furtado, 2006) -identificar atores -definir objeto -descrever programas -definir questes (perguntas) -escolher metodologia -coleta e anlise de dados (medir e comparar) -emitir juzo de valor -comunicao dos resultados -utilizao da avaliao -tomar deciso

Imagem-objetivo para uma possvel avaliao institucional Acompanhar o andamento da poltica de sade, dos programas e dos servios, gerando informao para tomada de deciso Posio do avaliador: interna Sujeitos: participativa e formativa avaliadores so os avaliados e esto envolvidos Espao: diversos nveis do sistema Tempo: cotidiano, permanente

Avaliao nos servios espao no ideal alternncia de poder descontinuidade de projetos e prioridades rotatividade de RH desconfiana

Discusso

O novo Painel de Monitoramento ousa ao emitir avisos (julgamentos de valor?) com base em desempenhos No entanto o aviso o limite do Painel O que fazer com o aviso depende da ao humana Desafio presente? Ir do monitoramento avaliao.

Aprofundamento em dois mbitos Tcnico: validao dos avisos de desempenho no Painel. Indicador adequado? Aviso coerente? Poltico: tomada de deciso Uso da informao / conhecimento como base para a deciso Necessidade de superao do receio de ser avaliado ou construo da vontade de aprimorar

Ao humana emancipadora decorre de competncia, responsabilidade e compromisso com a defesa da vida. Queremos mudar? Sabemos onde queremos chegar? Sabemos como? Estamos prontos para negociar e construir consensos? Estamos abertos para discutir os problemas?

Concluses (e novos desafios)

A tomada de deciso com base em informao cultura a ser construda Uma postura ativa deve nortear o andamento do sistema de sade buscando adequar ofertas e aes s necessidades da populao Produzir sade o objetivo maior do nosso trabalho cotidiano que deve nos unir de forma tica e solidria