Monitoramento Analitico como Ferramenta para Aprimoramento da Gestao de Programas Sociais: iacao e aVa Paulo de Martino Jannuzzi" toramento “moniResumo O PRESENTE TEXTO TEM 0 PROPOSITO DE DISCUTIR SOBRE A ESTRU- TURAGAO DE SISTEMAS DE MONITORAMENTO. PROCURA-SE MOSTRAR ‘QUE, PARA ALEM DO NECESSARIO CONJUNTO DE INFORMAGOES DECISORIAS PRODUZIDAS NO AMBITO DO “MONITORAMENTO GE- RENCIAL" — VOLTADO AO ACOMPANHAMENTO DE METAS E PRAZOS DE AGOES , € IMPRESCINDIVEL INVESTIR TEMPO E RECURSOS PARA IMPLANTAR NO COTIDIANO DE TECNICOS E GES TORES DE PROGRAMAS AS ROTINAS DE "MONITORAMENTO ANALITICO", ENTENDIDO NESTE TEXTO COMO 0 EXERCICIO SISTEMATICO DE ANALISE DE INDICADORES REPRESENTATIVOS 0S FLUXOS DE DESEMBOLSOS FINAN- CEIROS, DE REALIZAGAO DE ATIVIDA- DES-MEIO, DE ENTREGA DE PRODUTOS E DE INFERENCIA DE RESULTADOS DOS PROGRAMAS JUNTO A SEUS PUBLICOS- ALVO, SEGUNDO CRITERIOS CLASSICOS DE AVALIAGAO DE POLITICAS PUBLICAS = COMO EQUIDADE, EFICACIA, EFICIEN- CIA E EFETIVIDADE, PEN Ce Programas sociais, Avaliac3o: Monitora Abstract This Tex HAS THe PURPOSE OF BRINGING SOME CONCEPTUAL “STRUCTURING. IS PROPOSED I THIS PAPER THE PROSPECT OF "ANALYTIC, MOMTORIVG” OF THE ACTIONS AND PROGRAMS, CAR- INDICATORS ALONG THE TIME, THE TERRITORY AND ACCORDING 10 SUCH AS POORER AND RICHER MUNICIPALITIES, ITH GREATER O8 INTEGRATION / ARTICULATION AMONG SOCIL PROGRAMS EC) THE OBJEC 10 SHOW THA BEYOND INE NECESSARY SET OF _BECSION-HNOING INFORMATION PROBUICED UNDER THE *MOR {ORIG MANACEMEN”— FOCUSED ON THE FOLLOW-UP OF COM AND RESOURCES TO DEPLOY I THE DALY ACTITES OF PROGRAM “AnnurTCat MONITORING, HERE, UNDERSTOOD WY THIS TEXT ‘OF ACTIVITES, PRODUCT DELIVERY AND INFERENCE OF PROGRAM RESULTS WITH THEIR TARGET AUDIENCES, CONFORMING TO CLASSIC “RITEIA OF EVAWLATION OF PUBLIC POLICIES SUCH AS EQUITY earn Revista Brasileira de Monitoramento e Avallacéo | Nimero 1 | Janeira-junhe de 2011 Montoramente nati come Feramanta para Apimoramente da Gest de Programas Seca 3738 Introducao A institucionalizacao das atividades de mo- nitoramento e avaliago (MEA) da acdo go- vernamental ver ganhando forca no Brasil, acompanhando, por um lado, a ampliag3o do escopo e escala dos programas sociais e, por outro, © aumento da qualificagso média dos técnicos e gestores nas trés esferas do setor publico. A andlise da evolugéo e da natureza do gasto social elaborada por Cestro et al. (2008) revels um aumento real de 74% do gasto federal na drea entre 1995 e 2005, com ampliagao de benefciérios e/ou programas ‘nos diversos setores da Politica Social, Da- dos da Relac3o Anual de Informagdes Sociais, (RAIS) revelam que, de 2002 a 2008, houve um crescimento de 66% nos quadros té- nicos de nivel superior nas trés esferas de governo, com especial destaque no dmbito municipal. £, pois, alentador que tal dinamis- mo, de um lado e outro, venha acompanhado de agdes de mobilizagso da cultura de MEA no setor piblico e responda a uma demanda crescente da sociedade brasileira por maior efetividade do gasto piblico Ha, certamente, segmentos do poder pablico em que @ institucionalizacao do MBA avanga mais repidamente, como, em ambito federal, entre outros, no Ministério do Desenvolvimen- to Social e Combate a Fome (MDS), Ministério dda Educagao (MEC) e Ministério da Satide (MS). Em outras esferas governamentais, com corpos técnicos em proceso de estruturagao e agen- da de programas mais recente, os esforcos de gestdo organizacional concentram-se, como era de se esperar, na elaboracdo de diagnésti- cas, no desenho das iniciativas e/ou na imple- mentag3o das acdes previstas nos programas, sem necessariamente com a especificagao de Instrumentos de MEA Uma analise pretiminar e parcial do proceso de estruturagio das atividades de MEA pelo setor publico brasileiro parece relevar que os esforgos concentram-se nas duas pontas da cadela de agregegdo de valor & informagao na produgao e organizacao de dados mais es- pecificos para a area setorial da Politica (em ue se pode presenciar maior empenho) ena condugdo de pesquisas avaliativas de resul- tados e impactos dos programas. € ilustrativo da preocupagao com o levantamento de da- dos mais abrangentes e especificos para MEA © tedesenho dos instrumentos de acompa- nhamento da Politica Educacional pelo Insti- tuto Nacional de Estudos e Pesquisas Educa- Cionais (INEP) como nos casos do Educacenso, {que passou a ter como unidade de investiga- {80 0 aluno (ainda que a unidade de coleta seja, como antes, a escola), e da Prova Brasil, ue ampliou as possibilidades de andlise dos detetminantes do desempento escolar para além das caracteristicas do Sistema Educa- ional Estadual ~ como é pelos instrumentos do Sistema de Avaliagio da Educaco Basica (SAEB) -, abarcando a gestdo da escola € 0 contexto socioecondmico mais préximo do alunado, 0 empenho do Ministério da Saide em organizar e disponibilizar ~ por meio do Datasus ~ 0 vasto acervo de dados sobre pro- ducBo de servicos e acompanhamento de pro- gremas nas trés esferas de governo, além das estatisticas vitais (nascimentos, ébitos por causa), 6 outro caso importante a registrar na estruturacao da cadeia de produgao de in- formagdes em MEA. Iniciativas semethantespodem ser observadas no Ministério da Previ- dencia Social - como revelado pelo aplicativo Infologo da Dataprev - no Ministério da Cién- cia. Tecnologia e no Ministério da Justica, em parceria com o Forum Brasileiro de Seguranca Publica, Nao menos importante -e no pode- rie deixar de ser citado ~ 0 esforgo de longa data - desde a década de 1980 - do Minis- tério do Trabalho © Emprego de organizar os registros anvais da RAIS e mensais do Cadas- tro Geral de Empregados e Desempregados (CAGED) e dissemind-los como estatisticas do emprego formal por meio de aplicativos para rmicrocomputador e na internet? E também reveladora dos esforgos na produ- fo de dados para cadeia informacional em MBA no pafs a iniciativa do Instituto Brasilel- 10 de Geografiae Estatistica (IBGE) em apre- sentar, discutir e incorporar demandas de Mi- nistérios e outras instancias de representacao politica e académica em seus tevantamentos amostrais € pesquisas institucionais, A Pes- Quisa Nacional por Amostra de Domictios, criade em 1967, tem um historico importante de investigago de temas de interesse mais especifico do mundo académico e, sobretudo a partir de sua reformulacio nos anos 1990, dos Ministérios das pastas sociais (Ministério da Salide, Ministério do Desenvolvimento So- cial entre outros), aspecto esse a ser potencia- lizado com 0 Sistema Integrado de Pesquisas Domiciares, que comesa a se estruturat A Pesquisa de Informagées Bésicas Municipais também tem sido outro instrumento que © IBGE tem usado para atender demandas de Mi- ristérios mats novos ou que ainda nfo contam com sistematicas de atvalizagSo de seus ca- dastros e registros de programas para levantar dados acerca dos equipamentos pablicos exis- tentes, as estrutures de gestio setorial erecur- 505 humanos disponiveis nos municipios pare determinados programas (como no caso dos Ministérios da Cultura, do Esporte e do pré- prio Ministério éo Desenvolvimento Social Vale ainda citar @ Censo Demogréfico 2010. ara o qual, seguindo experiénciarealzada no censo anterior foram realzadas reunides com diferentes pablicos ~ representantes de muni- cipios,estados, Ministéros, universidades,ins- titvigbes estaduais de estatistice, movimentos socials para apresentar e discuti os quesitos, levantados no ~ comparativamente extenso ~ questionirio da amosta, 2 Com ta histeica ce preacupacso em transfoimacao de regisiosadminisatvos em estates, Sea e Se esperar que (05 dades produndos no amok das agdes de nermeclaczo de MSo de Obra e de Qualcag3oPafssiona js esivessem mals Asponiv's para uso de gestres,pesculsadarese ots attesnteressados nessa teas 3A posilidace ce inplementacéo de um nsrumentesemelhante para lvantamentos especicos a esferaestadual, & ‘uve aspect bastante interesante, na medida em que perniila investiga 0s instrmentes nomatives,recursas humanos e ‘ouvesaspetos as Plas Pibicas en que a instndiaestavel tom papel mals poeminente como na SeguargePiblca. Mele bien, Wanspetes ete Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat come Feramant para Aprioramente da Gertie de Programas Secale 3940 Na outra ponta da cadeia de producio de in- formagbes em MEA - realizacao de pesquisas especificas de avaliago de programas -, as iniciativas s80 menos generalizadas ov, pelo menos, menos divulgadas. Em que pesem as experiéncias anteriores e jé mais antigas de condugio de estudos avaliativos nos Ministé- rios da Educaggo, da Satide e do Trabatho ~ nese caso, em especial, as pesquisas de ava- liago no ambito do Planfor nos anos 1990, um salto qualitativo em MEA na esfera fede- ral foi dado com a criagdo da Secretaria de Ayaliago € Gestio da Informacao (SAGI) no MDS, com mesmo status organizacional das secretarias finalisticas desse Ministério. O nt- mero e a diversidade de enfoques de pesqui- 525 de avaliacdo organizadas pela SAG - eo esforgo em publicagao de seus instrumentos € resultados ~ constituem-se, de fato, em um marco importante na area, com reverberagzo em outras areas do Governo Federal e outros Ambitos do setor publico, seja pela importan- cia conferida & institucionalizagio da MEA, seja pela contribuigao didatica em mostrar como tais instrumentos devem ser determi- rnados em fungdo das problematicas especi- ficas e grau de maturidade da implantagao dos programas sociais, questdes discutidas, entre outros, em Garcia (2003) e Jannuzzi et al. (2009). Se as iniciativas na estruturacao de ativida- des nas duas pontas da cadeia informacional em MEA j6 se encontram em curso, como ilus- trado acima, a construg3o e o desenvolvimen- to de instrumentos par monitoramento de programas ~ na forma de indicadores, indices, paingis ou sistemas para acompanhamento de atividades, processos e resultados em pro- gramas, agbes e projetos socials ~ parecem ser atividades mais recentes. 0 Sistema de Informagdes do MEC (SIMEC) e os aplicativos para monitoramento e gestdo da informag3o desenvolvidos pela SAGI/MDS (MIS, DICL-VIP, VisiCon, Censo SUAS etc) so algumas das ex- periéncias merit6ries nesse sentido, reconhe- Cidas como iniciativas inovadoras de Gestéo Publica‘. Mas ha, certamente, muito por se fa zer a julgar pelo potencial de dados disponi- veis nos inumeros repositérios e arquivos dos sistemas de gestdo de programas publicos e ‘no Sistema Estatistico Nacional e pelas per- guntas que se requer responder para o apri- ‘moramento da acdo governamental. O presente texto tem, pois, o propésito de tra- zer alguma contribuigSo de natureza concel- tual e metodolégica para preencher essa la- cuna de conhecimento sistematizado sobre 3 estruturagao de sistemas de monitoramento, de modo a cooperar para a consolidacso da cultura de M&A entre técnicos © gestores envolvidos ciretamente com a execugao de ages e programas. Propde-se neste texto a perspectiva de "Mo- nitoramento Analitico” das ages e progra- ‘mas, realizado por meio de anélise compara~ tiva e sistémica de indicadores ao longo do tempo, pelo territério e segundo outros eixos comparativos (tipologia de unidades orga- nizecionais como municipios mais pobres © mais ricos, com maior ou menor capacidade de gestdo, com maior ou menor integragao/ articulagao entre programas socials etc). Pro- cura-se mostrar que, para além do necessério Conjunto de informagdes decisorias produ- Zidas no ambito do "Monitoremento Geren- cial" voltado ao acompanhamento de metas © prazos de agBes~, imprescindivel investirtempo e recursos para implantar no cotidiano de técnicos e gestores de programas as roti- nas de *Monitoramento Analitico”, entendido neste texto como 0 exercicio sistematico de anilise de indicadores representatives dos fluxes de desembolsos financeitos, de rea- lizagdo de atividades-meio, de entrega de produtos © de inferéncia de resultados dos programas junto a seus publicos-alvo, segun- do critérios classicos de avaliagao de Politicas Pablicas ~ como equidace, eficacia eficiéncia e efetividade De modo a preparar para a introducso do conceito e de sua operacionatizagao, apre- senta-se, nas secdes seguintes, uma breve contextualizacao histérica e subsfdios me- todoldgicos acerca da estruturacao de sis- temas de indicadores para monitoramento de programas. Indicadores no ciclo de politicas e programas A preocupagao com a construsao de indica- dores de monitoramento da ago governa- mental € to ou mais antiga que a prépria avaliag3o de programas pblicos, se forem consideradas as medidas de performance mais geral do setor piblico baseadas na en- trega de obras e produtos e na computago de indicadores de custos de servicos, a partir da execugao orcamentaria. Como registram McDavid e Hawthorn (2006) em tivo que procura oferecer uma visao integrada entre avaliagao de programas e medicao do desem- penho governamentat: While we have tended to situate the be- ginnings of performance measures in the United States, in the 1960s, with the de- velopment of performance management systems such as programmed planned ‘budgeting systems (PPBS) [..} there is good evidence that performance measu- rement and reporting was well-developed in some American local governments early in the 20th century (MCDAVID; HAWTHORN, 2006, p. 283) 0s autores citam as iniciativas de alguns governos locals nos EUA, antes da 2° Guer- ra Mundial na elaboracao de relatérios com computagio regular de medidas de eficiencie dos servigos publicos entio oferecidos, como a construgdo e manutengo das ruas ¢ rodo- vias, distribuigdo de dgua e recolhimento de Lixo. Os produtos e servigos disponibilizados pelo setor pubico municipal eram bastante simples ¢ tangiveis, assim como a contabiliza- {80 dos custos para sua produgio. Mas 6 a introducao das técnicas de programa- «<0 orgamentaria por programas no Governo Kennedy que marcaria um momento de maior aprimoramento na medig3o do desempenho ~ expresso por indicadores de eficiéncia e 4 Vide prtcaspremiadas no Concurso de Inovacdes ra Gest Piblica, promevid anusimente pea Escola Nacional de Aeminisragio Publica (ww ena govbr Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat come Feramant para Aprioramente da Gertie de Programas Secale 4142 efetividade ~ na esfera federal americana. Ao propor a estruturag3o do orgamento segun- do conjunto de atividades e programas afins — agora bem mais complexos que os ofere- cidos pelos municipios na primeira metade do século XX — e no segundo as agencias organizagbes que as executavam, esperava~ se conseguir apurar resultados € custos mais consistentes dos servicos piblicos disponi- bilizados e, portanto, medidas de eficiéncia ‘mais precisas (MCDAVID; HAWTHORN, 2006). Em que pese o fracasso na implementagao do orgamento-programa - na vinculagdo entre recursos-produtos ao nivel de programas € 0 contexto de crise fiscal do estado -, comentam os autores que a orientaco voltada & medicgo dos resultados genhou forge nos anos 1970 € na década seguinte. Os governos conservado- res desse periodo ~ em especial na Inglaterra, com Thatcher, e nos EUA, com Reagan ~ impri- mem reformas no setor piblico, que vieram a ser conhecidas como o movimento da Nova Administrago Publica, preconizando a adogo de instrumentos de controle e gestio de resul- tados do setor privado, Sem entrar na discussao acerca dos exces- 50s, limitagbes € aspectos meritérios de tal movimento ~ debate esse j empreendido no Brasil por varios autores, com muito mais competéncia, autoridade e espaco do que © disponivel para este texto -, 0 legado de preocupacao com a transparéncia e respon- sabilizagio piblica criou oportunidades para aprimoramento da gestio de programas, seja para a estruturagao de sistemas de indicado- res de monitoramento, seje para a realizacao das pesquisas de avaliagao. No Brasil contemporaneo, vencidos ~ ainda que sempre parcial e momentaneamente 0s desafios de implantar sistemas informatizados de Gestao de Programas € Projetos, Ministé- rios, Secretarias Estaduais e, com menor fre- quéncia, Prefeituras vém realizendo esfor- os para implantar aplicativos - ou novas funcionalidades em sistemas jé existentes = para integragao © organizagao de dados (DataWarenouses) que permitam aos gestores e tecnicos obter, de forma répida, informacdes sobre diferentes aspectos da execugio dos programas ¢ iniciativas sob suas responsabili- dades. Por meio de rotinas de busca e carge automstica de informagdes armazenadas em arquivos cigitais de diferentes sistemas de esto de programas, em cadastros publicos, fem pesquisas sociais e mesmo por meio de entrada manual de dados registrados em pla- nithas eletronicas e em toda gama de registros e controles administrativos, tais aplicativos ov funcionalidades permitem a construgdo de in- dicadores, tabelas, gréficos e mapas que ilus- tram, sob diferentes perspectives, os esforcos, centregas, produtos e resultados da agdo gover rnamental. em escalas territoriais e referéncias temporais de interesse do gestor ou técnico. Esses aplicativos e funcionatidades tém se constituido em alternativas inteligentes 20s 180 conhecidos “sistemas de inteligencia cor- porativa” e suas diferentes variantes (em de- nominag2o ou escopo), prédigos na promes- s2 de pronte disponibilidade de informacées para tomada de decisdo gerencial e estraté- gica, mas invariavelmente pouco efetivos no ccumprimento desses designios, pelo tempo requerido para sua especificagao, custo de de- senvolvimento e afastamento progressive dosseus potenciais usuarios. Infelizmente, 6 ainda comum argumentar-se que a resolusdo dos problemas de falta de informagao para moni- toramento das atividedes em nivel mais ge- rencial e estratégico nas grandes organizagdes (pablicas ¢ privadas) passa, necessariamente, pelo desenvolvimento de um novo sistema computacional, que integre todos os sistemas anteriormente construidos, sob nova arquite- tura de banco de dados, linguagem de enési- ma geragdo etc, Combate-se as deficiéncias e lacunas de informago com terapias cavalares de novas tecnologias, ndo necessariamente coma busca de formas alternativas para trocas mais regulares de informacio. 0 relative sucesso dessas novas ferramentas deve-se 20 fato de elas deslocarem a énfase do redesenho de fluxos de pracessos e ativi- dades da organizacao - tipico da especifica- 30 dos sistemas corporativos ou macrossis- temas ~ para a construgdo de uma plataforma de integracao de dados de diferentes granu- laridades - desagregados em niveis territo- rials € referénclas temporais diversos ~ pro- venientes das varias fontes € registros dos sistemas transacionais existentes. Por meio de uma interface amigavel ~ ¢, por vezes, It dica -,0 gestor ou técnico pode enfim acessar 05 dados produzidos nos diferentes proces- 505 € atividades da organizagao ou programa publico para responder algumas das pergun- tas cruciais sobre o desempenho destes. 0 mapeamento de processos administrativos cede lugar ao levantamento de bases de da- dos, planithas e todas as formas de registros transacionais com informacao relevante e util para retratar os fluxos de gastos, atividades desenvolvidas, produtos e servigos entregues € sua apropriacao pelo publico-alvo, ususrio ou consumidor. Todavia, mesmo esses aplicativos e funciona- lidades de integragao de dados néo escapam, em seu desenvolvimento € Implantaggo de varios problemas como a dificuldade do aces- 50 efetivo aos registros de programas e arqui- vos dos sistemas computacionais de gestao. De fato, uma das constatagdes frequentes de equipes de avaliadores contratados para analisar os diferentes aspectos operacio- nals e resultados de programas pUblicos no Brasil é a dificuldade de obtengo de dados ou registros de informagées que permitam acompanhar adequadamente como se de- senvolveram as atividades-meio e finalisticas previstas na implementacao e operacao dos programas. Em muitos casos nao se trata pro- priamente de inexisténcia de registros de ati- vidades desenvolvidas, mas de organizagao € compilag8o sistemética destas em suportes computacionals que permitam acesso com- partilhado e facilitado por diferentes usud- rin. A informagao existe de alguma forma: em papel ou, com maior frequéncia hoje em cia, ‘em planithas eletrénicas nos microcomputa- dores dos diversos técnicos encarregados de executar as atividades. Mas a sua integrag3o fem sistemas de gestdo de programas acaba sendo bastante parcial ou deficiente, pele complexidade dos processos, por fathas na especificagao das rotinas informatizadas ou Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat coms Feramant para prioramente ds Gert roramse Sale44 mesmo pela simples e humana resisténcia de disponibitizar dados que revelem aspectos que nao se quer divulgar mais amplamente, Contudo, 0 maior problema é a cultura ainda incipiente de avaliago critica e analitica das agbes executadas e previstas nos programas. Monitoramento e avaliago de programas no Brasil € um campo de desenvolvimento ainda novo no pais, diferentemente dos contextos americano europeu, em que tal cultura j8 se encontra institucionalizada ha mats de trés ‘oy quatro décadas, como discutido hé pouco. Ha certamente, em muitos contextos na Ad- ministrac3o Pdblica brasileira, 2 cultura ge- rencial de gestio - 0 monitoremento para fins. gerenciais - de acompanhar a execugdo de atividades, 2 celebragéo de convénios, @ en- trega de produtos, enfim, o cumprimento de resultados € metas, balizados pelos critérios de tempestividade e distribuicdo geogratica Mas o uso desses aplicativos e funcionali- dades de integracéo de dados para fins de monitoramento analitico dos processos ¢ atividades € ainda um desafio.€ ilustrativa e ainda atual em muitos contextos nesse senti- do a constatacao pelo Tribunal de Contas da Unio (TCU), reproduzida a seguir, acerca da avaliagdo do Programa Nacional Bibliotece na Escola (PNBE], operado pelo Fundo Nacional de Desenvolvimento Escolar (FNDE) do Minis- trio da Educagao (MEC), com 0 objetivo de distribuir acervo de livros para formagao de bibtiotecas nas escolas. © trabalho constatou que © FNDE tem mostrado grande eficécia operacional na distribuigdo dos acervos do Progra- ma para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 ¢ 36 mil em 1999, com previsao de atendi- mento de 139 mil escolas em 2002. Todavia, também se verificou que 0 PNBE nao tem atividades de monitora- mento avaliagdo bem estruturades 0 MEC nao dispde de informagées que permitam conhecer o nivel de utilizag30, dos acervos, bem como os problemas que podem estar afetando a efetividade do us0 dos livros no desenvolvimento escolar dos alunos nas escolas benefi- ciadas. Tal feto € mais preocupante jus- tamente no momento em que aumenta a escala de atendimento do Programa (TCU, 2002, p. 10). © modelo idealizado de “ciclo de vida" de politicas e programas é uma referéncia con- ceitual interessante para ilustrar como os sis temas de indicadores de monitoramento po- dem ser estruturados e como as pesquisas de avaliagdo podem ser especificadas de forma a potencializar seu emprego na gestéo dos programas, Segundo esse modelo, o processo de formulacdo de politicas publicas é apre- sentado como um ciclo de etapas sucessivas (Policy Cycle}, com mais ou menos estigios, como ilustrado no Diagrama 1°, Em que pe- sem as criticas de longa data quanto & forma simplificada com que esse diagrama apresen- 13 0 processo politico e sua propria veracida- de empirica, a separagdo em etapas se presta 205 objetivos de evidenciar, ao longo do pro- cosso, énfases diferenciadas no planejamen- to, operacao ou avaliag3o dos programas. Nesse modelo, a primeira etapa ~ Definigo da Agenda Politica (Agenda Setting) - corres onde aos miltiplos caminhos e processos que culminam com o reconhecimento de umaquestio social como problema piblico ¢ da necessidade da ago governamental para sua solugd0, isto 6, a legitimagio da questo so- cial na pauta piblica ou agenda das politicas, publicas do pais, em determinado momento. A etapa seguinte - Formulacao de Politicas Programas (Policy Formulation) ~ refere- se a0s processos € atividades relacionados & construgdo de possiveis solugdes, enca- rinhamentos e programas para lidar com 3 uestio recém-legitimada na agenda, E preciso, entdo, em sequéncia - na Toma- de de Decis8o Técnica-Politica (Decision ‘Making)-, escolher 0 rumo 2 seguir de agio efe- tiva ou nao, decidindo-se por uma ou algumas das alternativas formuladas. A quarta etapa ~ ImplementacSo de Politicas e Programas (Policy Implementation) - corresponde aos esforgos de implementac3o da aco governamental, na alocagao de recursos e desenvolvimento dos processos previstos nas alternativas e progre- ‘mas escolhidos anteriormente. Por fim, € preci 0 analisar se 05 esforcos empreendidos esto atvando no sentido esperado de solucionar 0 problems original ~ etapa de Avaliag3o das Po- liticas e Programas (Policy Evaluation). € neces rio avaliar se é preciso realizar mudangas nos programas implementados para garantir sua efetividade: descontinuéslos, se 0 problema deixou de compor a agenda; ou entéo adapté- os a uma nova realidade, reiniciando o ciclo. A avaliacdo, enquanto etapa do ciclo, re- aliza-se ap6s a implementagdo. Trata-se de um momento de natureza mais reflexi- va para continuidade ou nao do programa. Distingue-se, portanto, das atividades de monitoramento e avaliagdo, que se realizam mediante os sistemas de indicadores e as pesquisas de avaliacdo, instrumentos inves- tigativos que podem ser empregados a qual- quer momento do ciclo, como discutido mais adiante. Denominar essa etapa decisiva do ciclo como de avaliagao somativa talver aju- dasse a evitar 0 duplo sentido que 0 termo assume na area, = DIAGRAMA 1: 0 CICLO DE POLITICAS E PROGRAMAS PUBLICOS ee et 5 Como apresertado nos vires tetas reurdos ne valiosacletineaoranizaa por SraviaeFerarer (2006) em palticas publics, pubicada pela ENAP eeisponiblizads em seu sto (warn erangovbr).0 il de policas pubicaspade ser descrto emu nimera miar2u menor de etagas De mado geval dssnguem-s, pelo mencs tes macrostapas:3fomulagto (no qua, esta formagio ¢a agence] 2 implementactoe 2 avaliaczo Esa publica, oganzzca Segundo a etasas co cl, taza os cldssicos que aorofundam avastaciscssio envelvda em cade uma dla. Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 ‘Montoramente Anat come Feramant ara Aprioramente da Gertie de Programas Secale 4546 Como discutido em texto anterior’, as ati- vidades de cada etapa do ciclo apoiam-se em um conjunto especitico de indicadores. Na definiggo da agenda, os indicadores s30 recursos valiosos para dimensionar os pro- blemas sociais, servindo como instrumentos de advocacy e pressio de demandas socials nao satisfeitas. Indicadores produricos pelas instituigdes oficiais de estatisticas ~ sobre- tudo os computados a partir de censos de- mograficos e pesquisas amostrais regulares — prestam-se bem a esse papel, pela legitimi- dade que gozam perante diferentes pUblicos. No Brasil o relatério "Sintese de Indicadores Socizis’, publicado anualmente pelo IBGE, € uma referéncia importante nesse sentido, provocando grande interesse na midia quan- do de sua divulgacao’. 0 Indice de Desen- volvimento Humano (IH) computaéo para paises, municipios, mulheres e negros & outro bom exemplo de como uma medida simples pode mobilizar os vefculos de comunicagso € recolocar anualmente © debate sobre de- sigualdade social e os impactos das politicas pblicas na midia e nas esferas de governo® Na elaboracdo dos diagnésticos para for- mulagio de programas, os indicadores so Imprescingivels para qualifcar os pblicos- alvo, localizé-os e retraté-los de modo to amplo e detathado quanto possivel. € pre- cso adequar as intervengdes as caracteris- tices e necessidades dos demandantes dos programas. De modo geral na elaboracdo de diagndsticos socioeconémicos propositivos para programas piiblicas empregam-se inci- cadores de varies éreas teméticas analiticas ou de atuagéo governamental. Pare desen- volver programas no campo da educagao basica, por exemplo, é preciso conhecer nao apenas as condigdes de acesso & escola, a infraestrutura escolar, 0 desempenho dos alunos, mas também aspectos relacionados as condigdes de vida dos estudantes, como moradia, nivel de pobreza e rendimento fa- mili, acesso a servigos de saiide, escolari- dade dos pais, fatores esses que certamente podem afetar ov potencializar as agbes pro- gramaticas especificas®, Indicadores cons- truidos a partir dos censos demograficos s80 particularmente Gteis nessa fase, pela ampli- tude do escopo tematico investigado e pela possibilidade de desagregagio territorial ov por grupos sociodemogréficos especificos © Censo Demografico 2020 potenciatizaré ainda mais essas duas caracteristicas ~ es- copo e desagregabilidade -, constituindo-se em marco importante para reavaliag3o das demandas sociais da populac3o brasileira, nesse momento de empliago de estruture de protesao social no pais. Na selegio de alternativas programaticas Idealizadas para atender 8 questio pablice colocada na agenda e eleger prioridades de intervengéo, preciso dispor de indicadores que operacionalizem os critérios técnicos € politicos definidos. Indicadores sintéticos, como 0 js citado Indice de Desenvolvimen- to Humano, 0 Indice de Desenvolvimento d2 EducagSo Basica,o Indice da Pegada Humana (Footprint Index) ou as classficagdes geradas por técnicas de andlise multiritério podem ser titeis para apoiar deci cielo, como discutido em Scandar Neto et at (2006) e Jannuzzi et al. (2009)"°. es nessa fase doPara acompanhar a implementagso dos pro- sgramas e, posteriormente, para gesto, quando eles entrarem em plena operacao, s30 neces- sérios indicadores que permitam acompanhar regularmente as agées programadas, do pre- Visionamento e alocagéo do gasto 8 produ- 80 dos servigos e, idealmente, aos eventuais resultados e impactos esperados quando da ‘deatizacao dos programas. S40 0s indicadores ‘que estruturam processos formais de moni- toramento, entendido, nas palavras de Garcia (2001, p. 11), como “um proceso sistematico e continuo que, produzindo informagdes sinté- ticas e em tempo eficaz, permite répida avalia- Go situacional e a interveng0 oportuna que confirma ov corrige as aces monitoradas”. Dispostos em painéis ou em sistemas infor- ‘matizados, 0s indicadores de monitoramento devem ser atualizados com regularidade € tempestividade adequada & tomada de deci- S80, Idealmente, esses indicadores devem ser especificos e sensiveis as acdes programa- das, a fim de se tornarem, de fato, Gteis para Inferir se © programa ests sendo implantado conforme planejado ou para permitir as cor regBes de rumo (aspectos que s6 poderdo ser comprovados mais precisamente por meio de pesquisas de avaliagso espectficas, durante ou apés @ implantacso). Para isso, esses painéis ou sistemas de indica- dores de monitoramento devern se valer dos dados continuamente atualizados nos cadas- {ros € registros administrados pelos gestores e operadores envolvidos nos programas. Devers estar interligados aos sistemas informatizados de gestdo do programa, no qual so registra dos atendimentos prestados, informagdes dos agentes que 0 operam, caracteristicas dos be- neficiérios, processos intermedisrios, que pro- duzirdo os efeitos idealizados pelo programa Diferentemente do que se passe nas pesqui- sas de avaliag8o, na estruturagao de sistemas de monitoramento no se prevé levantamen- tos primarios de dados. Pode ser necessério criar rotinas de coleta de dados que operem fore dos circulos normais de produgio de ser- vigos dos programas, mas & preciso fazer es- forgos pare aproveitar as informagbes geradas {5 annuz (2005) csponve para dawnload na Revista do Servi Publica v.56, 2,em est dispenivel um apiativo(Pacin) que permite entender 6 potencial da nse Multirté soma tomada ce decsio em poitcas pions Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 ‘Montoramente Anat come Feramant para Aprioramente da Gertie de Programas Secale 4748 ‘no Smbito de operagzo cotidiana dos progra- mas. criago de mais uma ratina para registro de informagao, pelo beneficsrio do programa ou pelo agente envolvido na implementaczo, pode implicar atrasos indesejados e, pior, de- claragdes mal preenchidas que acabam no se prestando & sue finalidade original. Vele observar que, em geral, as informacdes compilades © enviadas para atualizagio dos registros de acompanhamento do Plano Pluria-~ nual, no Ministrio do Planejamento, Orgemen- to € Gestdo, so somente “a ponta do iceberg” de dados armazenados em planithas eletroni- «ase gavetas nos escritérios da administragao piblica, Aliss,€ curioso que, nas médias e altas. geténcias do setor publico ~Prefeituras, Secre- tarias de Estados ou Ministérios -, reclame-se de falta de informacéo pare gesto em meio a tanta informagao continuamente produzida nas Unidades de prestagao de servicos publicos(es- colas, postos de sade, detegacias, centros de referéncia de assisténcia social. postos de in- termediagao de mio de obra, agéncias do INS etc) Para superar esse paradoxo da “escassezna abundancia’, & preciso aprimorar os processos de gestio da informago nos escritérios em que se planejam e coordenam as politicas e progra- ‘mas publicos. Os fuxos de informacao, 05 pro- cessos de tratamento, validagao, classificagao e, naturalmente, de armazenamento precisa ser pensados de forma articulada, vatendo-se de aplicativos e ferramentas de integracao de dados (endo dos custosos — em planejamento, tempo é dinheiro - sistemas informatizedos de 48, 52 ou enésima geragBo propostos por con sultorias experientes em automacio de proces- 505 na iniciativa privada, mas pouco conhece- doras da complexicade operacional da gestéo de programas pdblicos) € possivel que algumas informagdes produ- 7idas pelas agencias estatisticas ~ no caso brasileiro, IBGE, Datasus, INER, entre outros” — possam ser dteis pare a construgio de in- dicadores de monitoramento de programas, sobretudo de natureza universal ou com pl- blico-alvo numeroso. Em geral, essas fontes prover informagdes para avaliagées de po- Liticas ou para um conjunto de politicas e ma~ croagbes governamentais ~ mais adequadas para composigao de mapas estratégicos de {a¢80 governamental -e nao para os propési- tos de monitoremento de programas espect- ficos, em funcao da escala territorial de desa~ gregacio dos dados ou do tempo que levam para serem produzidas. Esse quadro pode mudar para melhor com as transformasoes anunciadas nas pesquisas amostrais do IBGE pare 2 décade de 2010, com maior integra- «<0 conceitual, maior possibilidade de incor- poracio de temas suplementares, ampliag20 € adensamento da amostra pelo interior do pais. Nao sé se poderé dispor de um escopo mais amplo de estatisticas ¢ indicadores so- , swan de- ‘asus gout, , No portal , podem ser acessados skis de érgéossubnaciona’s de estatistice no Bras, 12 Vide, nesse senda, © que as agincias estatticas americanes procuzer regularmente, acessanéo 0 potal -nwedstats gov 0 Bureou of Labor Statics produ por eerste estimatves mensas e tara de desemorego para 372 seas mevopottanas e tats ais para os mas de 5 mi condados e50 males cidades aevicanasO Bureau of Census, pot 'su8 ver, raz analmenteestmasvas populaconas pate mais ge 20 mil ocaidacese ndiadoressociasreferdos a mais de 10 temstias~ de ocupagdo, raraca 8 educegao~ para municipios cima de 65 mil habitantes 15. Viee, esse senso, os apicatvos da SENARCIMDS , eos dadas da Prvictnsa ra ferramentanflogo em ) oe bap seo) Uae) ol Rolele CE aoa) Valea aN eT CAN ESPECIFICAG a ee ge ea See neo cT) ao eee ee ore 7) Caracteristicas de sistemas de indicadores de monitoramento de programas As caracteristicas de um sistema de monitora- mento dependem de escolhas metodolégicas nao trivia, Vaz (2009). Para o autor o sistema ters caracteristicas diferentes como apont: fem fungao de decisées quanto ao que deve ser monitorado, a0 tipo de unidade organiza- clonal acompanhada, fontes de dados usadas etc. (Quadro 1) Quaisquer que sejam as escolhas, vale ressal- tarque um bom sistema de indicadores de mo- nitoramento nao é necessariamente composto de grande quantidade de informacao, mas sim 6 um sistema em que a informagso foi selecio~ nada de diferentes fontes e esté organizada BoE Pena SES eect ice crT a SER) de forma sintetizada e mais adequada a0 uso analitico pelos diferentes gestores (Diagrama 2).€ preciso encontrar um ponto de equilibrio entre 0 "ca0s informacionat’, potencialmente gerado pela estruturacio de sistemas de mo- nitoramento construidos de baixo para cima (em que participam inicialmente técnicos gestores da base e depois de niveis taticos mais estratégicos), e a pobreza anal propostas desenvolvidas de cima para baixo Um sistema de indicadores de monitoramen. tondo é um sistema de gestao operacional do ica das programa, que prové acesso aos incontavels registros diérios e individuals de operagao de convénios, prestacao de servicos, recursos transferidos, projetos e atividades concluidas, um istema de monitoramento vale-se do(s) sistema(s) de gestdo dos programas para bus- car informacées, integré-las segundo unidades de referéncia comum (municipio, escola etc) sintetizé-las em indicadores e conferir-thesim DIAGRAMA 2: INTEGRAGAO DE INFORMAGOES, DE DIFERENTES FONTES NA ESTRUTURAGAO DE UM SISTEMA DE INDICADORES DE MONITORAMENTO reaps Ls er ‘Dados Integradas ‘orvua 4 vist casaguos te ‘ne de erm ( segurs [nati ores, ne ae ws Tague S wares) (pte Progam”) ( oven significado analtico. Ao apresentar informa: Bes sintetizadasna forma de indicadores, que podem ser analisados no tempo, por regives € publicos-alvo, ou que podem ser compa- rados com metas esperades, os sistemas de ‘monitoramento permitem ao gestor avaliar se 6s diversos processos e inimeras atividades s0b sua coordenacéo estéo se “somando" no sentido preconizado, Um sistema de monito- ramento nao é, pois, um conjunto exaustivo de medidas desarticuladas, mas uma seleco de indicadores de processos @ agdes mais importantes Um sistema que ndo prove acesso orientado as centenas de indicadores disponiveis talvez no se preste ao propésito de monitoramento — ae JC (mee Indieasores Indacores ) serecaraas deprocesss: (cats, (Shem (ainda que possa ser util como base de dados para estudos avaliativos a posteriori, Também nao se presta a0 monitoramento um sistema fem que a Informacdo no est organizade segundo o nivel de relevancia operacional- estratégica do gestor usuério. Ao gerente de pracessos operacionais basicos, deve estar dispontvel a informacdo essencial para o bom desempenho das atividades de seus coorde- nados. Ao gestor mais estratégico, devem es- tar disponiveis indicedores que the permitam acompanhar os macroprocessos segundo modelo logico do programa. Para um e para outro gestor, os indicadores devem ser os pertinentes 8 sua esfera de de- cisdo, ajustados & referéncia temporal e terri- Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat coms Feramant para prioramente ds Gert roramse Sale 51torial que hes compete e interessa, As novas ferramentas de integrasa0 de dados permi tem construir painéis de indicadores de for- ma “customizads", possibilitando, inclusive, acesso 2 Informacdo mais detalhada se assim © gestor 0 desejar. Podem-se construir pai- néis em camad “explicativas’, isto & orga- nizando indicadores segundo uma estrutura nodal, em que um primeiro conjunto reduzi- do de indicadores estratégicos seja acompa: nhado de um segundo conjunte mais amplo de indicadores mais especificos, que ajudem entender o comportamento ea evolugao dos primeiros, e assim por diante, Na realidade, trata-se de um sistema de monitoramento que reiine informagbes sintéticas — para andlise de tendéncias gerais das atividades estratégicas — € informagdes analiticas — para entendimento mais aprofundado das tendéncias observadas A proposta de acompanhamento das metas de inclusao si ial nos paises da Comunidade Europeia segue essa légica de estruturaszo, dispondo 0s indicadores em trés painéis arti- culados (ATKINSON et al, 2005). m QUADRO 2: PREMISSAS PARA CONSTRUGAO DE UM PAINEL DE INDICADO COMUNIDADE EUROPEIA Cra eon! Peete ee Pe eect) Beer tenet rea Teac PE econ erent ter uma inter- Reece) aeoRteeclis cet ee ae aaa eee oe eee Ce eed Tee ee ecco eet toned oe pee ae cones, Pee cc) u N Tool aol ee MeO Coa Stang ee eco Oe eee ee er oe eee Tee eee Ue ee ree ears Mee en Sa junto restrito de ir Pee consideradas mais importantes POU cen Pree Soa Soe eee Mem Se eee Tae Der nel er ea een na Coe) Sea Dee,Tal proposta de organizac3o vem acompanha- da de algumas premissas bésicas para escolha de indicadores que parece oportuno resgatar neste texto, pois podem ser tteis em outras aplicagbes (Quadro 2). Vale registrar que tales- colha deveria se orientar tembém pela anslise da aderéncia dos indicadores as propriedades de relevancia social, validade de constructo, confiabilidade, periodicidade, sensibilicade as mudangas, especificidades das agdes progra- madas, como discutido em Jannuzzi (2005). Se 0 programa fot especificado segundo as boas praticas e técnicas de planejamento de projetos, deve haver um deseniho légico de en- cadeamento de atividades e etapas. Tal siste- ma deve conseguir oferecer evidéncias acerca da execugio do gasto, da produgéo, eficiéncia € qualidade dos servigos, do consumo e usu- fruto por parte do piblico-alvo e, se possivel, antecipar dimensdes impactadas pelo progra- ‘ma,lsto 6, um bom sistema de monitoramento deve prover indicadores de insumo, processo, resultado e possiveis impactos do programa Exemplificando, tal sistema deve permitir mo- nitorar, simulteneamente: 0 dispéndio reali- zado por algum tipo de unidade operacional prestadora de servigos ou subprojeto; 0 uso dos recursos humanos, fnanceiros e fisicos: 3 geracio de produtos e a percepgio dos efeitos gerados pelos programas. Em Resende e Jannuzzi (2008), 6 apresen- tado 0 exemplo de Painel de Indicadores de Monitoramento do Plano de Desen- volvimento de Educagao (PDE) estrutura- do na légica insumo-processo-resultado- impacto. Na dimens8o insumo, deu-se prioridade aos indicadores voltados para o financiamento da educacdo. Para a dimen- 580 processo, foram definidos indicadores que pudessem ser produzides com certa regularidade e estivessem relacionados 20 processo de ensino-aprendizagem, como percentual de docentes com nivel supe- rior, percentual de alunos atendidos por turno integral, entre outros. Como medida de resultados, os indicadores de proficién- cia da Prova Brasil, defasagem idade-série € taxa de abandono, Como apontamentos de impactos potenciais, 0 ingresso de jo- vens no ensino superior A compilagao de indicadores © de progra- ‘mas (DiciVIP|, organizada pela Secretaria de Avaliagio e Gest3o da Informagio do Minis- tério do Desenvolvimento Social e Combate 8 Fome, é um produto util para servir como referéncia & estruturaggo de sistemas de monitoramento de programas nessa pers- pectiva processual, no apenas no ambito do Ministério, mas de outros setores da ad- ministragao publica’ 14 Noreterio texto, empregou-se o aplcative Monit clsponvel em Esse dcianirio também esthsiponivel pare download em . Agenda 2012 ol rads para responders exgtncas ca Emenca 50 Le Organic do Municipio, aprovaca pela Cirar Municipal 20 fra de 2008, Esa nici vai te certamerte,repercussbes emoutaslocaicaces dopa: Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat come Feramant ara Aprioramente da Gertie de Programas Secale56 da Prefelture de S30 Paulo que apresenta @ evolucdo das metas de gestdo, nas vérias se- creterias, por distritos e subprefeituras, com atualizacao semestral Como jé assinalado, um bom sistema de mo- nitoramento deve permitir a anslise compa- rativa dos indicadores ao longo do tempo € para distintas unidades de prestac3o dos servigos ou atendimento do programa, assim como em relagao a padrdes normativos de referéncia, A andlise da evolug3o dos indi- cadores, de seus avangos, retrocessos € per- manéncias permite identificar falhas opera- tivas do programa, ainda que, em geral, nao possibilite a explicaglo dessas. Est ai uma diferenga basica entre os sistemas de mo- nitoramento @ as pesquisas de avaliagdo: os primeiros, 20 assumir que existe uma légica de encadeamento de atividades, delineiam comportamentos esperados aos indicadores; nas pesquisas de avaliacéo, alertados pelos desvios nao esperados ns evolucao dos indi- cadores, buscam-se as explicagées valendo- se dos métodos ¢ técnicas da pesquisa so- cial (MCDAVID; HAWTHORN, 2008) No exemplo apresentado anteriormente, se ‘um gestor precisar entender por que @ taxa de abandono de alunos em cursos de quali- ficag3o em dada localidade ou em uma ins- tituigao esté aumentando, talvez ele consiga algume interpretagao em seu proprio sistema de monitoramento ~ se este for um sistema que dispée de informagdes analiticas, além de sintéticas. Pode ser que haja indicadores de contexto que mostrem forte aumento das vagas no mercado de trabalho regional (dai a evesdo). A extracao de Informagbes do sis- tema para um pacote estatistico ou aplicati- vo de mineracéo de dados pode permitir 20 gestor refinar sua hipoteses, se ele dispuser de conhecimento ou consultoria especializa- da no uso das ferramentas®. Talvez ele nao tenha qualquer pista adicional ce busque uma explicagao com o dirigente da instituigdo ou gestor responsdvel pela érea, £ 0 que Worthern et al. (2004, p. 38) clas- sificam como avaliagdo informal, que ocorre “sempre que uma pessoe opta por uma entre varias alternativas existentes, sem antes ter coletado evidéncia formal do mérito relative dessas alternativas”, Embora no sejam pau- tadas em procedimentos sisteméticos, tais avaliagdes nem sempre “ocorrem no vscuo". A oxperiéncia, o instinto, a genera lizagao e 0 raciocinio podem, todos eles, influenciar 0 resultado das avaliagdes informais, e qualquer desses fatores, ou todos eles, pode ser a base de bons julgamentos (WORTHERN et al. 2004, p. 38). Se 0 seu conjunto de indicadores de moni- toramento nao the permite chegar a explica- es satisfatorias, se suas estratégias de vi- sitago ov contato informal nao lhe agregam evidencias convincentes, ou se 0 processo de evasdo ganha dimensdes preocupantes em algumas areas e no em outras, talvez seja 0 momento de o gestor pensar em en- comendar uma pesquisa de avaliagao. Como bons termémetros, os indicadores de moni-toramento podem acusar alguma anomalia no ente analisado. A investigagso das causas da eventual “febre” vai requerer a prescricao de “exames" mais detalhados para avaliagzo do estado geral do “paciente’ A construcao de painéis de indicadores de Monitoramento Analitico de programas Como j8 definido anteriormente, entende-se “Monitoramento Analitico” como o exercicio sistematico de andlise de séries temporais de indicadores de esforgos e de processos- -chave da légica de intervencao implicita de ‘um programa ~ como indicadores de fluxos de desembolsos financeiros, de realizagso de atividades-meio, de entrega de produtos € servigos - € de indicadores que permitam inferir 05 efeitos ~ resultados e, se posst- vel, impactos ~ dos programas junto a seus piblicos-alvo, tipificados segundo diferen- tes contextos socioeconémicos de vivéncia ~ como municipios ou regides mais pobres ‘ov mais desenvolvidas, com menor ou maior oferta de infraestrutura de servigos pubicos, por exemplo - ou segundo arquétipos das estruturas organizacionais que thes atendern nos programas ~ como municipios ou regides com agentes com menor ou maior capacidade de gestio operacional do programa, ou me- nor ou maior controle social, maior ou menor integraao/articulagao entre programas so- iais, por exemple. ‘Um bom conjunto de incicadores de monitora- mento deve ser suficiente para prover indica- Bes da *situagao geral” do programa em seus componentes-chave, mas nem to amplo que ‘raga ambiguidade, redundancia e perda de objetividade no que & fundamental analisar. © painel deve conter indicadores-chave pare acompanhamento de esforgos € efeitos dos programas. € importante também disporse em tal painel de indicadores do contexte de ‘operacio do programa, que refletem os efeitos de dimensdes sociais e econdmicas externas no controléveis (pressupostos).e que podem potencializar ou dificultar a operacdo do pro- grama, Um sistema de monitoremento poderia conter,além desses, indicadores de processos e atividaces complementares e indicadores de natureza mais explicativa Procura-se mostrar que a boa gest3o de pro- gremas requer, para além do Monitoramento Estratégico — baseado em medidas de de- sempenho relacionadas ao cumprimento de ‘isso institucional - e do *Monitoremento Gerenciat" ~ voltado a0 acompanhamento de metas € prazos de agbes ~ esforcos de disserninago da cultura de *Monitoramento Analitico" no corpo de técnicos e gestores envolvidos na operago do programa. Tendo 20 Um pacote estas gatuto de ampla dfuste € 0 Eplinf,csponivel em , once se pode en onvartansém material de consulta e wlnarento. 0 Weka dspontvel om Mate ceInformagbes Saas Oats (wa catasusgoubr »cacernos de sce. INCP [om inep gow» ecudetamrail MTE (wea me govor > POET > ler Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 Montoramente Anat coms Feramant para prioramente ds Gert roramse Sale 59Painéis com graficos de indicadores como 05 ilustrados a seguir podem ser construt dos facilmente pelo aplicative Monit, dis- ponivel no sitio da Associagao Nacional das Instituigdes de Planejamento, Pesqui- sa e Estatistica”. O aplicative comecou @ ser desenvolvido em 2007 como um re- curso dialégico, com alguma flexibilidade operacional, para representacao grafica para dar operacionalidade & proposta de . Dero ire UT ol No) ok ae LCR ANALITICO TO cs Ty eee Bonne eer erie ere sante para Monitoramento Analitico? or Ce ae oe Gt era eee Ea TE eee ) Como evoluem 0s indicadore ois les parecem refletir indicadores Cee at Re eet Tey estruturacdo do Sistema de Direitos Hu: manos no Brasil De forma a facilitar seu uso e implementacao computacional, projetou-se 0 uso do aplicati: vo a partir da especificagao de uma planilha eletrOnica em que na primeira abe s20 regis- trados os pardmetros bésicos do painel a ser mostrado, seguido de outras abas com as in- dicadores de cada um dos contextos territo- esata tse) Td oath ter ferir de: Dee oe Cuenca Ponte ee cy Bat et tifique tal Ree Cad arquétipos organizacionais ov con: de ie ee eteennone pa ue Coenriais de interesse de monitoramento. © Monit dispde também de recurso para especificagso de metas para acompanhamento dos indica- dores e produgao de painéis de sinalizadores cromsticos (vermelho, amerelo, verde, azul), para apontar se as metas ou tendéncias es- 180 se comportando conforme o esperado. A esses recursos gréficos, o Monit disponibiliza ainda rotinas para consulta répida aos indica- dores, por contexto geografico espectfico, © = FIGURA MONITORAMENTO ANALITICO. rotinas para calculo de estatisticas descriti- vas basicas dos indicadores, andlise de corre lagBo e de inter e extrapolagso" Esses recursos do Monit procuram oferecer 20 ususrio ferramentas para aprofundamen- to analitico das relagdes de interdependén- cia processual entre os indicadores segundo diferentes contextos geograficos escolhidos para monitoramente, -XEMPLO DE PAINEL DE INDICADORES PARA O Entreeas 22 Vide wawanines rg pelo qua se pode também baka split para Andis Mullet (Pad) 23 Esper dota verses futures do Mant cam retinas de ane relacional de Inicadores de eafrcos versus resultados © 2 construc de inicadresagregaes,constudes a partir da combinagSo de ouvesinclcadores mals Spies, de mode ae presenta cateorasanaliicas mais snicas come percentval de escols com infaesrtiradequada unio cm pacote sausadtio de servis e programas em operagio ee Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 61 Montoramente Anat coms Feramant para prioramente ds Gert roramse Sale62 Consideracées finais A proposta de Monitoramento Analitico aqui apresentada pode viabilizar mais facilmente © tao esperado reconhecimento das ativida- des de MEA como oportunidades de apren- dizado organizacional ~ ea incorporagio dos resultados na reviso dos programas -, 8 que 65 principais envolvidos na gest3o dos pro- gramas estariam com um olhar mais analitico sobre as informagées produzidas no émbito dos programas € sobre 0 contexto socioeco- némico em que esses operam, © Monitoremento Analitico incluiu ainda a produsao de indicadores agregados ou indicadores-sintese, construidos a partir da combinacdo de outros indicadores primarios, como proporgio de moradias ou escolas com padrio adequado de infraestrutura, propor 0 de municipios com kit adequado de en- tregas de programas etc. Indicadores relacio- nais, que expressam relagées entre produtos € insurnos, resultados e efeitos, custos e efe- tividades s80 outras mecidas interessantes para ampliar 0 repertério informacional do Monitoramento Analitico, ao prover indicado- res de produtividade e eficiencia, Tal pratica reflexiva contribuiria, sem duvida, para identiicagao de falhas de operago dos programas e, caso pertinente, para o delinea- mento do objeto, foco e técnicas das pesqui- sas de avaliacdo necessérias para andlise do desenho, processes impactos dos progra- ‘mas, tornando 2 avaliagdo uma rotina mais natural e informative e menos protocolar espasmédica, como € encarada em diversos contextos (GARCIA, 2001) Afinal, monitoramento e avaliagao so pro- cessos analiticos organicamente articulados, que se complementam no tempo, com o pro- pésito de subsidiar 0 gestor publico de infor- mages mais sintéticas e tempestivas sobre 2 operagio do programa — resumidas em pai- és ou sistemas de indicadores de monitora- mento ~ e informagdes mais analiticas sobre © funcionamento desse, levantadas nas pes- quisas de avaliag30. Nao existe contraposic30 entre Monitoramento e Avaliagdo, mas com- plementaridade de esforgos na produgo de informagdes e conectividade nos resultados a que chegam* 0 monitoramento e avaliago dos progre- mas de governo slo ferramentas essen- ciais para @ boa prétca gerencial A avalia- 80 € um procedimento que deve ocorrer lem todas as etapas permitindo ao gestor federal o acompanhamento das ages € sua revisdo € redirecionamento quando necessério. Enquanto 0 monitoramento 6 uma atividade gerencial interna, que se realiza durante 0 periodo de execucio & operacio, a avaliagio pode ser realizada antes ou durante a implementagao, como 20 concluir uma etapa ou projeto como Lum todo, ou mesmo algun tempo depois, devendo se pteocupar com o impacto provocado pela intervengao publica em seus beneficirios, (TCU, 2006, p. 75) Isto €, bons instrumentos de monitoramento podem ajudar a identificar falhas de imple- mentago dos programas, além de contribuir para methor especificar pesquisas de avalia- do que esclareceram, de fato, as causas das anomalias encontradas.Referéncias bibliograficas ATKINSON, T.et al. Social indicators: the EU and Social Inclusion. Oxford: Oxford Univ. Press, 2005. BRASIL. MINISTERIO DO DESENVOLVIMENTO SOCIAL E COMBATE A FOME. Metodologias e ins- trumentos de pesquisas de avaliacao de progra- ‘mas do MDS: Bolsa Familia, Assisténcia Social, Seguranca Alimentar e Nutricional. Brasilia, DF: MDs; SAGI, 2007. BRASIL. MINISTERIO DO PLANEJAMENTO, ORCA MENTO E GESTAO. Guia metodolégico para cons- trugdo de indicadores para o PPA Brasilia, 2009. CASTRO, JA. et al. Gasto social e Politica ma- croeconémica: tajetérias e tensdes no periodo 1995-2005. Brasilia, IPEA (Texto para discussso 1. 1324). CAREY,G. W. Government. Encyclopedia Ameri- cana. Danbury: Scholastic, 2006. p. 127131. GARCIA, R. C. Subsidios para organizar avalia- bes da Ago Governamental. Textos para dis cussdo, Brasilia, n. 776: IPEA, 2001, 24 Uma analoia pose a FREY, Klaus. Politicas Publicas: um debate con- ceitual e reflexdes referentes & pratica da andli- se de politicas no Brasil. Planejamento e Politi- «as Pablicas, Brasilia: PEA, n. 21, 2002. GENERAL ACCOUNTING OFFICE. Social research and development of limited use to national po- licymakers: Report to the congress. Washing- ton: 197, GUIMARAES, JR. S; JANNUZZI, P.M. IDH. Indica- dores sintéticos e suas aplicacées em politicas publicas: uma andlise critica. Revista Brasileira Est. Urbanos e Regionais, Salvador, v. 7, . 1, p. 7389, 2005. HOWLETT, M. RAMESH, M. Studying public po- Uigy. poticy cycles and policy subsystems. Donn- Mills: Oxford University Press, 2003. JANN, W.; WEGRICH, K. Theories of the policy cycle, In; FISCHER, F. et al, Handbook of public policy analysis: theory, politics and methods. Boca Raton: CRC Press, 2007, p. 4362. JANNUZZI, P.M. Indicadores sociais no Brash: conceitos, fonte de dados e aplicacdes. Campi- nas: Alinea, 2004, taler se posse er indiasbes sobre a. doen incuba na cans, cue dspensem area cot da ingue, mancnas 9 pele Revista Brasileira de Monitaramenta e Avallacdo | Nimero 1 | Janeiro-junhe de 2011 63___ Indicadores para diagnéstico, mo- nitoramento e avaliagdo de programas sociais ro Brasil, Revista do Servigo Pablico, Brasilia, v '56,n. 2, p. 137-160, abr./un. 2005. JANNUZZI, P.M, MIRANDA, W. L. Pradin e Monit: ferramentas para tomada de decisa0 no ciclo de politicas piblicas. Boletim de Estatisticas Publi cas, Salvador , 1.4, p.6273, 2008, JANNUZZI, P. M., MIRANDAW. L, SILVA, D. S. G. da, Andlise Multicritério e Tomada de Deciséo em Politicas Publicas: Aspectos Metodolégicos, Aplicativo Operacional e Aplicacbes. Revista In- {formatica Publica, Belo Horizonte, v. 2, p. 69- 87, 2009. MCDAVID, J. HAWTHORN.L. Program Evaluation and Performance Measurement: an introduc- tion to practice. Thousand Oaks: Sage, 2006. MILLER, D.C. Handbook of research design and social measurement. Nwebury Park: Sage, 1991. NASCIMENTO, B. A reforma universitéria de +1968: origem, processo e resultados de uma politica pablica para o ensino superior. Rio de Janeiro: UFRI, 1991. Tese (Doutorado). REZENDE, L. M. e JANNUZZI, P. M, Monitora- mento e Avaliago do PDE: IDEB e painel de in- dicadores. Revista do Servico Pablico, Brasilia, v.59, n.2, p. 121-150, 2008, ROSSI, P. H. et al. Evaluation: a systematic ap- proach. Thousand Oaks: Sage, 2004. RUA, M, G. Algumas consideracées prelimina- res sobre politica e poiticas pablicas. In: RUA, Maria das Gragas e CARVALHO, M. IV. (Orgs). 0 ‘estudo da politica: tépicos selecionados. Brast lia: Paralelo 15, 1998.