Sistema de Monitoramento e Avaliacao de Programas Sociais: iacao ai revisitando mitos i e recolocando rik §=premissas para sua = maior efetividade P=} na gestao h fo} Cd Tara) fe) ra) I BKResumo ESTE TEXTO TRAZ ALGUNS ELEMENTOS CONCEITUAIS, METODOLOGICOS E POLITICO-INSTITU- CCIONAIS ACERCA DA ESTRUTURAGAO DE SISTEMAS DE MONITORAMENTO E AVALIAGAO (SMEA). ‘SEM SE PRETENDER EXAUSTIVO, O TEXTO TRAZ A DISCUSSAO QUESTOES IMPORTANTES QUE, ‘SE POR UM LADO EVIDENCIAM A RELEVANCIA DE TAIS SISTEMAS ESPECIALIZADOS, POR OUTRO RELATIVIZAM ALGUNS MITOS ARRAIGADOS NA AREA. PROCURA-SE MOSTRAR QUE BOA PARTE DO ‘SUCESSO EM GARANTIR QUE GESTORES E TECNICOS SE INTERESSEM E USEM DE FATO A INFORMAGAO E CONHECIMENTO PRODUZIDOS ACERCA DAS POLITICAS E PROGRAMAS DEPENDE DA ADEQUACAO 0 DESENHO Do SM&A Aos PROPO- SITOS E NECESSIDADES DE SEUS PO- TENCIAIS USUARIOS. A NATUREZA DAS PERGUNTAS RESPONDIDAS PELO SISTE~ MAE A ESCOLHA DOS INSTRUMENTOS DETERMINAM, DE PARTIDA, O ENVOLVI- MENTO E 0 INTERESSE DE GESTORES E TECNICOS NO USO DOS SEUS PRODUTOS. ‘ADVOGA-SE QUE ESFORCOS CONTINU [ADOS DE CAPACITAGRO BASICA ACERCA OS PROGRAMAS, DE SEUS OBJETIVOS, DE SUAS ATIVIDADES E DE SEUS PONTOS CcRITICOS SAO TAMBEM FUNDAMENTAIS NRO S6 PARA 0 SUCESSO DA OPERAGAO DAS POLITICAS E SEUS PROGRAMAS ‘COMO PARA 0 USO INSTRUMENTAL DAS INFORMAGOES E CONHECIMENTO PRO- DuziDos. PALAVRAS-CHAVE: ENT Peace eT Cure ne ao eee Abstract Ths TEXT BRINGS SOME CONCEPTUAL , METHODOLO- GICAL, POLITICAL AND INSTITUTIONAL ASPECTS OM Monironinc aNo EvaLuarion SYSTEMS ( M&AS) srRUC- TURING. WITHOUT BEING EXNAUSTIVE, THE TEXT BRINGS IMPORTANT ISSUES TO DISCUSS, SHOWING THE RELE VANCE OF SUCH SPECIALIZED SYSTEMS, AND CRITICIZING “SOME ENTRENCHED MYTHS IN THE AREA ITS SHOWN ALLY USE THE INFORMATION AND KNOWLEDGE PRODUCED DEPENDS ON THE DESIGN OF THE MADS TO ANSWER THE users. THe [NEEDS AND DEMANDS OF THEIR POTEN (QUESTIONS ANSWERED BY THE TOOLS - MONITORING IMPACT SURVEYS - DETERMINE THE INVOLVEMENT AND INTEREST OF MANAGERS AND TECHNICIANS IN THE USE (FITS PRODUCTS. IT Is ADVOCATED THAT CONTINUED FUNDAMENTAL NOT ONLY TO THE SUCCESS OF PROGRAM (OPERATIONS BUT ALSO TO IMPROVE INSTRUMENTAL USE (OF THE INFORMATION AND KNOWLEDGE PRODUCED. Cece Revista Brasuen of Mowronnuenro f Auaiucho | Nowewo 5 | Janeio-luyno oF 2013 Sistema de Montoramente e falagae de Programas Secs: revstande mites « reaecan premier pars maiorIntrodugao © desenho e a operacao de programas pi- blicos em paises com o volume de recursos, complexidade operative —federetiva e inters- setorial - da acdo governamental e profissio- nalizagdo do setor puilico, como € 0 caso do Brasil, envolvem um esforgo expressive de compilagéo, levantamento e organizag3o de dados ¢ informacao de diferentes naturezas, para propésitos diversos. Afinal, informagao abrangente, sistematizada e atualizada cons: titui insumo bisico para a formulag3o de uma estratégia de superacio ou mitigag3o de uma problemética social especifica, para 0 plane- jamento de um arranjo operativo que permita colocé-la em agio, para articular e coordenar © conjunto escothido de agentes pubiicos, de instituigdes privadas ou do terceiro setor, para monitorar o curso das atividades plane- jadas, avaliar 05 resultados € esforgos empre- encidos, enfim, para a tomada de decisio téc- nico-politica em qualquer momento do ciclo de vida ou maturago do programat Nesse contexto, de amplo escopo e coberty 1a das Politicas Socials, é fundamental que se disponha de sistemticas estruturadas na Ad- ministrago Piblica para produzir informagao € conhecimento especifico para programas — ‘endo apenas sobre programas - assim como ter estratégias adequadas de disseminar fazer chegar 0 insumo requerido ~ € custo- rmizado — ao gestor estratégico e ao operador ddo programa na ponta. Na forma de um de- partamento de estatisticas, de um Nucleo de Informacao Estratégica, um Observatério, um Instituto de Pesquisa Aplicada ou ainde uma unidade de monitoramento e avaliagao de programas governamentais, 0 setor publica federal e estadual brasileiro vem se estrutu- rando para responder as demandas de cres- cente complexidade de informagao e conhe. cimento requeridos para 2 gestao de Politicas programas socials. Em que pesem as consideragdes criticas e as lacunas apontadas em um levantamento acer ca das praticas e sistematicas de producao organizagdo de informacao na Administra 0 Publica Federal, realizado pelo Tribunal, de Contas da Unigo em 2010%, parece haver um movimento inequivoco e significative de estruturacéo de processos de compilacio levantamento de dados necessérios 8 gestio de programas nos ministérios, secretarias es- taduais e governos municipais de maior por- te populacional no pats. Talvez ainda sejam pouco disseminedas ou conhecidas tais préticas para gestéo, monito- ramento e avaliac3o empregadas por diversos Ministérios e organizacoes pUblicas. Contudo uma andlise dese processo, menos calcado na presenca ou nao de normas, regulamentos © outros institutos buracraticos j4 estabele- cidos, ¢ efetivamente apoiado em um exame mais cuidadoso das praticas internas e intrin- secas de formulacdo, gestéo e avaliagio de programas pUblicos, baseado em evidéncias concretas como a existéncia de diagnésticos setoriais, sistemas de informacio e relatérios de gestio elaborados, tal andlise revelard que existem, certamente, reflexéo critica e conhecimento especializado no processo de desenho e gestio de Politicas Pa pais, Nao poderia ser diferente, tal a comple- xidade da operagao das Politicas ¢ do niveltécnico de gestores federais no pais, como & reconhecida por diferentes instituigdes inter nacionaist E revelador nesse sentido, como jé apontado anteriormente em Jannuzzi0 esforgo no uso de dados de pesquisas do IBGE na elabore- 80 de diagnésticos de programas, na intro- pesquises por ano > 2015 wie Beasnrian oF Mowronnenro f Avaiugho | Nowéno 5 | lanewo-lvana oF 2073 Sistema de Montoramente ealaae ce Programas Secllsrevstand nagestin vorerclcindeprmisarparsuamaorwtncsge “| 718 SM&A devem produzir informacao fatica revelante e consistente, nao informacao exaustiva nem sujeita a ser apropriada como factéide Diante da complexidade operacional das Politicas € dos programas, a inovacdo e in- corporagao de mudangas no desenho © na operagso por meio dos instrumentos de mo- nitoramento e pelas pesquisas de avaliagao depende muito da utilidade percebida e das estratégias adotadas pare disseminacso das informagdes € de conhecimento para cada agente envolvido na cadeia Logica de inter- vvengao programstica, do nivel mais operacio- nal-na ponta ou ao “nivel da rua” ao gestor mais estratégico- como Ministros de pastas sociais. Além de clareze do foco avaliativo ~ € das escolhas adequadas de metodologias para responder as questées mais urgentes = para que um SMEA aporte informagso e conhecimento til pare aprimoramento de programas, & imprescindivel a participacao de técnicos e gestores na elaboragao dos ins- trumentos, Se equipes externas pocem garantir maior in- dependéncia técnica quanto 8 conduco do estudo avaliativo do programa-, se, de feto, so competentes, idéneas e comprometidas com uma visdo multicisciplinar de avaliag3o de programas puiblicos- ¢ fato que a credibi- lidade ~e apropriac3o — dos resultados junto as equipes de gestores e técnicos de progra~ mas depende do nivel de envalvimento dos mesmos no proceso avaliativo. Equipes in- ternas detém, em geral, conhecimento sobre 05 problemas e as dificuldades mais premen- tes que afetam os programas piblicos, mas precisam de apoto técnico de consultores especializados pesquisas de avaliacao para entender suas causas e estratégias de reso- lugdo. Tembém na organizagio de bases de dados extraidos de programas e no desenvol- vimento de painéis de indicadores de mont- toramento, os arranjos mistos, com equipe de tecnicos de programas € consultores exter- nos especializados, podem elaborar produtos com maior utilidade e confabilidade para os Usuarios de SMA. Com equipes mistas, ga- rante-se a sinergia entre conhecimento inter- no de gestdo e especialidade técnica trazida de fora, gerando produtos com maior poten- cialidade de uso, ndo apenas pela adequacao ‘as demandas mais relevantes como também pela legitimidade conferida pelo envolvimen- to inicial dos agentes internos ao programa Nao é possivel, por certo, terceirizar ou exter- nalizar_ complementamente 2 producdo de conhecimento, sob 0 risco de obtencdo de material muito genérico e pouco aderente 8s ecessidades mais sofisticadas de gestdo de programas no pats. Vale observar, 0 mercado profissional de avaliag3o esté muito longe de ser perfei- to no Brasil ou em diversos outros paises. A contratagdo de pesquisas de campo ou de estudos avaliativos com base em dados secundérios requer esforgos de especifica- G0 de projeto nao triviais, assim como de acompanhamento dos trabalhos desenvolvi- dos, para que os resultados entregues sejam consistentes e, de fato, dteis para a gestao. E preciso reconhecer que a expansao da de- manda de avaliades de programas sociaissua contratagdo pelo governo nao foi acom- panhada no mesmo ritmo pela qualificagso geral de empresas privadas de consultoria ‘ou mesmo grupos de pesquisa vinculados a5 universidades, Este mercado provedor de pesquisas ainda € muito heterogéneo, com forte presence de empresas de pesquisa de mercado, de opini8o publica ou ainda grupos de pesquisadores com boa formacio acadé- mica, mas pouco conhecimento da reatidade de operacao de programas publicos. Nesse quadro, é necessério, pois, acompanha- mento muito intensivo pele equipe técnica Interna que contratou @ pesquisa ou o estu- do avaliativo, seja para orientar em situagoes particulares imprevistas, seja para supervisio- nar 0 cumprimento dos requisites técnicos exigidos, como bem 0 descrevem Pinto et al!® Também fato que nem todas as empresas estiio acostumadas ou. mesmo preparadas, ‘em varios casos, a verem seus procedimentos técnicos revisados, questionados e validados por equipes internas, Lamentavelmente, nes- se contexto, equipes de SMBA acabam gas tando enorme tempo na gestdo de contratos de pesquisa endo na produgao de connect mento das mesmas ‘As modalidades de contratacao vigentes tam- bém nao permitem garantir ao gestor publico estabelecer pardmetros adequados para se- lego de instituigdes © empresas com efeti 18 Pinto etal 20:5 va experiéncia e equipes multidisciplinares, ‘sem incorrer em risco de conduzir processos de contrataggo muito extensos ou de ques- tionamentos sobre supostas restrigdes 3 competitividade. A "bacharelizagao" da ges- tao publica tem criado inseguranga jurfdica ‘crescente juntos aos gestores, com restrigoes crescentes nos mecanismos de contratag3o de abjetos complexos como estudos € pes- quisas, que permitiriam acelerar a inovagio na gestao. Pesquisas sociais, sobretudo aque- las voltadas 8 avaliagdo de programas, s30 mais complexes que os abordados em pes- quisas de mercado ou pesquisas académ! ‘as, requerendo resultados mais robustos especificos, jf que orientam decisdes criticas acerca do desenho, resultados e méritos das agbes de governo, Diferentemente de pesqui- 525 de opinigo ou de mercado, os custos de pesquisa de campo para produzir evidéncias robustas para programas podem variar mui- to em fungdo da necessidade de arrolamento prévio de domicilios ou de contratacdo de en- trevistadores mais especializados. Gredibilidade quanto aos resultados e a le- gitimidade do process avaliativo junto as equipes internas envolvidas na gestio de programas so dois valores que devem ser perseguidos conjuntamente. Certamente que, pior do que nao dispor de informacao para tomada de decisio, & pautar as esco- thas técnico-politicas com base em estudos wie Beasnrian oF Mowronnenro f Avaiugho | Nowéno 5 | lanewo-lvana oF 2073 Sistema de Montoramente ealaae ce Programas Seclalsrevstand agestin ts erecelocande premissas para sua male efetidade 193 @ conhecimento com vieses operacionals de levantamento ou escopo analitico limitado. Em algumas situagdes, talvez seje preferivel nao ter avaliagio alguma 2 dispor de uma pesqui 52 04 estudo mal formulado, mal conduziéo ou contratado de forma precipitada. Como bem ja registrou Worthern etal (2004). a producio de pesquises com resultados embiguos ou de cre- dibilidade questionavel acerca do desempenho escolar de estudantes nos EUA nos anos 1960 certamente nao contribulu para um debate pro- dutivo acerca das necessidades de reforma da politica educacional naquele pafs 8 époce. Ao contrério, atrasou a adocdo de medidas impor- ‘antes para superacio dos problemas, Pesquisas mal conduzidas ou interpretagoes descuidadas de resultados de estudos avalia: tivos levam, em ambientes de acirrada dispu- ta politica e de baina capacidade interpretati- va por parte dos interlacutores e da midia, & produgao de factoides que conspiram contra © aprimoramento da ago piiblica. Indica: dores e indices sociais so particularmente sujeitos a0 risco de embasarem factoides, pela suposta simplicidade com que dimen- sionam ou representam “constructos” sociais, complexos. Matérias que, invariavelmente, todo ano sao publicadas a partir do Indice de Desenvolvimento Humano ~ analisado em detathe em outro artigo, mais 8 frente - s30, paradigmaticas nesse sentido, a0 banalizar conceitos complexos e caros a Politica Social ~ como “Desenvovimento Humano” e “Bem: -estar social” - que o indicador sugere avaliar pelo nome que carrega, Indicadores de percepgio subjetiva - de Fe- licidade Bruta, de Satisfacdo com Servigos Pablicos, dos Principais Problemas Nacionais, de Seguranga Pessoal, de Inseguranca Ali- mentar, por exemplo - também estao sujeitos a interpretagbes falaciosas, de um lado ou de outro, para avaliacao positiva ou negativa de um aspecto particular de um programa pi- blico. Certamente, indicadores de percepgio aportam informacio relevante & sociedade e a0 gestor publico, Politicas puiblicas devem prover solugdes concretas para problemas vivenciados pela populacao. Insatisfagao ou satisfagdo com a vide ou servicos piblicos so informagées relevantes, ainda que néo as Unicas, nem as mais instrumentalizadoras, para orientar a ago publica, Indicadores de expectativas ~ de consumo, de investimento, de cenério politico - tém impactos concretos nna economia, por exemplo, Da mesma forma, acompanhar qual o principal problema apon- tado pela populacao ¢ insumo para entender problemas de comunicagao social, ou mesmo, de operacio da politica e de programas. Mas 0 fato & que a l6gica interpretativa dos indicadores subjetivos é bem mais complexa do que sugerem 0 senso comum e a aparen- te simplicidade do nome dos indicadores Como explicar que, em pesquisas de opinigo, a sensago de inseguranga pessoal em bair- ros de periferia € em geral, mais baixa que em bairros de classe média? Como explicar que, em pesquisas de satisfacio, os servigos PUblicos tendem a ser methor avaliados pela populagae de renda mais baixa, para as quais as dificuldades de acesso sao potencialmente maiores? Como explicar que mesmo familias com elevado padrao de renda revelam algum nivel de inseguranga alimentar, em pesquisas em que se aplicam os quesitos de percepgao~ objetivada - de seguranga de acesso e con- sumo de alimentos? Naturalizago dos problemas vivenciados continuamente, experiéncias de vida e pa- des diferenciados de referéncia valorativa fatores conjunturais, formas de abordagem e de formulagao das perguntas nas entrevistas so alguns dos aspectos que interfere nos resultados das pesquisas de opinido € nos quesitos de percepgao subjetiva, jS ampla- mente documentados na literatura especial zada de Pesquisa Social Como as agéncias estatisticas, os SMEA de- vem se apoiar nos principios norteadores & ‘em boas praticas na produgao dos indicado- res © pesquisas, para garantir robustez, cre- dibitidade e consisténcia metodolégica das informagdes e conhecimento aportado para as politicas e programas, Para produzir fatos, no factoides, Fatos que podem ser, em uma perspectiva pooperiana, falsedveis median- te outros quadros de referéncia conceitual e metodolégica usados. Nao factoides, que re~ sistem a qualquer argumentago mais racio- nale menos apainonada. Nao basta produzir; é preciso disseminar a informacao de forma adequada A formulagao, avaliagdo e gest8o de politicas € programas requerem, como qualquer outra atividade desempenhada em organizagoes humanas, esforgos de formago e capacita- 80 de técnicos e gestores envolvidos nos nivels decisérios mais amplos e na prestac3o de servicos na ponta, 0 fato € que parte signi- ficativa do insucesso de programas publicos ou da auséncia de impacto da ago governa- mental capteda nas pesquisas de avaliagso 6 consequéncia das dificuldades de manter programas de formago continuada das equ pes envolvidas na producio das poiiticas pa- blicas € de oferecer, no momento requerido, as capacitagies necessérias para introdugo de novos servigos € ages nos programas pi- blicos criados, Nao hé divida de que os efeitos dos progra- mas pablicos seriam certamente maiores se os agentes envolvidos em sua operagio co- nhecessem melhor seus objetivos, o desenho logico ¢ atividades relacionadas, o papel de ‘cada instituigdo e agente no processo, as ca- racteristicas do publico-alvo etc. Embora pre~ vistos no desenho légico de novos programas socials, os cursos e 0s arranjos operativos de capacitagdo. podem nao estar plenamente preparados com material didstico, documen- tos normativos, salas de aula e equipe de pro- fessores para formar o conjunto de miltiplos agentes envolvidos. Em algumas situacdes, nem mesmo 05 técnicos-alunos das capaci- tages foram contratados ou informados do processo. Hé certamente muito por ser feito na formago de recursos humanos envolvi- dos na prestacao de servicos e na gestdo de programas piiblicos, questo que transcende wave Brasnan oF Mowronnenro F Rvaiueho | Nowiwo 5 | lanewo-luana oe 2073 Sistema de Mentoramente ealaae Ge Programas Secllsrevstand agestie ts erecelocande premissas para sua male fete 21© escopo deste texto, mas que precise ser objeto de preocupacso de organismos multi- laterais com a mesma énfase que atribuem & disseminago de métados ¢ técnicas de pla nejamento e avaliaco de programas e proje tos socials. Lideranca e Comunicacao, tice e Atendimento ao Pblico so temas de capaci- ago continuada t80 ou mais importantes na formacao de técnicos e gestores que Gestio de Projetos, Elaboracio de Diagnésticos ou Métodos de Pesquisa de Avaliac3o, Estratégias de disseminag3o e capacita- 80 em contedidos em MBA sao atividades importantes para potencializar o uso bem informado dos produtos © pesquisas do SMEA, especialmente aqueles desenhados pare aportar conhecimento direcionado 8 methoria incremental de programas publi- cos. Como acorre com a Informagao em Ci- Encia, Tecnologia © Inovacéo, a Informasao em Politicas Puiblicas € complexa, reque: rendo conhecimentos nao triviais para sua compreensio. Indicadores como Taxa de Mortalidade Infantil ou Taxa de Extrema Po- breza Monetéria fazem parte do vocabulé- rio técnico da comunidade de avaliadores e pesquisadores académicos envolvidos com a avallagao de programas socials, mas nao necessariamente dos gestores e técnicos encarregados da gestio. Da mesma forma, relatérios de pesquisas de avaliagao © seus resultados também podem ser compreendi- dos de forma diferenciada entre avaliado- res e equipe técnica do programa Se 0 conhecimento produzide em MEA al- meja alcangar platelas mais abrangen preciso tomnar os produtos desenvolvidos ~ relatérios, indicadores, estudos avaliativos ~ compreensiveis @ atrativos para os dife- rentes pilblicos usuarios. Nao basta colocar 8 disposigao publica na Internet as planihas de dados e os indicadores de programas e os extensos relat6rios de pesquisas de avalia- fo realizados. Produgo de dados nio gera demanda por conhecimento. & necessério desenvolver produtos 0s diferentes publicos de técnicos e gesto res que se almeja atingir, adequando forma- ‘customizados” para to, conteddo € complexidade aos mesmos. Deve-se investir na disseminacéo dos resul- tados na forma de palestras presenciais ou gravadas em multimiia, para exibigdo em um Portal especifico, que redna todo 0 material relacionado as pesquises de avaliaggo, com recursos de consulta. Hé uma série de apli- catives que funcionam em plataformas na Internet com muitos recursos visvais, intera tividade e possibilidades de vinculos a outros documentos, Sumérios executivos de pesqui- sas de avaliagéo, fichas técnicas de poucas paginas (one page papers) com os resultados essencias, além de gréficos, mapas ¢ relaté Flos descritivos com esses elementos, podem ter repercussio ¢ atratividade maior que ta- belas, painéis de indicadores ou publicagées volumosas, com contetidos impenetraveis para aqueles sem formagao especiatizada na tematica trateda, Resultados de modelos econométricos elaborados com dados de pesquisas de avaliagdo constituem um dos materiais frequentemente mas com baixa capacidade de difusdo entre pblicos nao iniciados. Nao seria possivel tornar tais resultados mais palpaveis e con- apresentados, cretos para técnicos e gestores que querem aprender mais acerca dos programas?O esforgo de elaboragao de produtos de dis- seminaggo eletrOnica com conteddos em MBA pode ter maior repercuss0 no gestor estratégico e nos técnicos da ponta do pro- sgrama se houver, contudo, preocupagso com a formagao continuada dos mesmos, em cur- 0s presenciais oua distancia, Hé sempre uma parcela de técnicos e gestores mais interes- sados em aprofundar seus conhecimentos na area de MBA, muitas vezes ndo encontrando nas universidades e centros de pesquisa as respostas para suas demandes mais especifi- cas de conhecimento aplicado no cempo. Um programa de formacao em MEA para técnicos € gestores de programas, com 0 objetivo de desenvolver competéncias e habilidades na 4rea, para entender melhor os instrumentos de monitoramento, as pesquises de avalie- 80 © 0 uso das informagées e conhecimen- tos em suas préprias atividades, deveria ser organizado a partir dos processos bésicos do Ciclo de Politicas e Programas". Assim como cursos de Qualificagéo Profissional precisam ser adequados ao nivel de formagao ¢ expe- riéncia dos trabalhadores inscritos, 0 mes- mo se aplica no campo na disseminac3o de conteidos sobre Monitoramento e Avaliag3o. Palestras, publicagdes e cursos precisam ser customizados para os diferentes piblicos en- volvidos, buscando trazer aspectos mais re- levantes dos estudos avaliativos que possam serdo interesse desses e que estejam sob sua governabilidade. Consideracoes finais [A produgao de informacao © conhecimento sobre (e para) politicas e programas pUbli- cos vem crescendo de forma muito répida consistente nas universidades, centros de pesquisas, agéncias multilaterais © também dentro da propria Administracao Publica. Pro- _gramas no campo da EducagSo e Sadde Publi- «2, programas de trensferéncia de renda e agdes de combate & violéncia s80 alguns dos objetos de investigacgo recorrente e atual da pesquisa aplicada em potticas publicas em diversas ins- tituigdes, mobitizando muitos pesquisadores das Cigncias Socieis Aplicadas e outros profis- sionais do campo de Monitor mento e Avalia- ‘0, como tém revelado as revistas académicas ‘econgressos dedicados a0 tema. Mas, em que pese a vasta produgdo de evi- déncias empfricas e de estudos avaliativos abrangentes e rigorosos sobre essas politicas © programas, parece haver ainda a necessida- de de esforcos adicionais para que tal conhe- ‘cimento possa ser aproveitaco de modo mais efetivo e cotidiano para aprimoramento do desenho e de processos operacionais da ago publica, pelos diversos agentes responséveis pela sus execucdo. Isto 6, ainda que se tenha acumulado um rico acervo sobre Politicas pi- blicas no pals, a produgao de informagoes e conhecimento “customizados” - ou aplicados ~ para Uso mais imediato e efetivo no dese- 19. Veia ness seni o Cicla de Frmagio em Indcacores, Moritoramento © Avalago promavide pea SAGUMDS e CEGOW Res. wie Beasnrian oF Mowronnenro f Avaiugho | Nowéno 5 | lanewo-lvana oF 2073 Sistema de Montoramente ealaae ce Programas Seclalsrevstand agestie ts ereclecande premissas para sua male efetidade 2324 ‘nho, gesto e aprimoramento de Programas é& ‘um desafio ainda nao plenamente trthado. Se no primeiro caso — a produgao de informagao e conhecimento sobre politicas e programas~ pode prescindir de contatos mais diretos com técnicos e gestores envotvidos na formutago operagao dos programas, no segundo caso 2 producio para politicas e programas — re- quer identificago de demandas mais especi- ficas de questées e problemas a investigar, 0 que requer estreita colaboragio e intercim- bio entre instituicdes governamentais e cen- tros de pesquisa © argumento desenvolvido nesse texto & que a possibilidade de inovago nos programas piblicos pelo uso efetivo dos instrumentos de monitoramento e pesquisas de avaliagio parece depender menos da completude, so- fisticagdo e rigor técnico dos mesmos e mais da clareze e objetividade com que respon- dem as necessidades especificas de técni- cos e gestores nas dificuldades cotidianas para operacao do programa, Sem negar a im- portancia de dispor de pesquisas e estudos avaliativos elaborados segundo as técnicas mais adequadas e robustas, o fato € que, se a5 questées investigadas no responderem {5 demandas mais cruciais de informagao na perspectiva dos agentes envolvidos, as evi- déncias levantadas e sistematizadas nos Sis- temas de Monitoramento e Avaliagdo acabam tendo uso potencialmente menor por quem mais deveria se interessar. Em contexto de escassez de recursos huma- nos e financeiros, SMBA voltados 20 aprimo- ramento de programas deveriam estar foca dos principalmente a responder as demandas da gestdo € implementago dos programas, valendo-se da estruturagao de bases centra- lizadas de dados, extraides dos sistemas in- formatizados de gestio ou das intimeras pla~ nithas de controle de gestores, da construgio de painéis de indicadores de monitoramento de pontos criticos e processos-chave do de- senho légico dos programas e da especifica Go de pesquisas para diagnosticar 05 pro- blemas e as dificuldades de implementagao. Alem disso, em situacdes de poucos recursos e tempo exiguo, pode ser mais produtivo e Util pare as equipes envolvidas na gesto de programas disporem de estudos avaliativos realizados com dados secundarios, revisoes de estudos e publicacdes internacionais meta-avaliagdes de programas similares j4 existentes em outros paises. A informagao € 0 conhecimento produzidos esses ambientes sdo complexos € no assi- milados facilmente pelos diferentes gestores e ‘técnicos envolvidos nas politicas e programas, pelos niveis diferenciados de formagao técni- a, experiéncia profissional e conhecimento das politicas e programas. Nao basta produzir um relatério extenso de pesquisa ou cispor de um aplicativo informacional com miltiplas funcionalidades na Internet para que os envol- vidos na gestio das politicas e dos programas piblicos possam prontamente ler e aprender 05 aspectos relevantes para aprimorar sua atu- ag80. Téo importante quanto produzir infor- magio € desenvolver esforcos para que essa alcance seus pUblicos potenciais, no formato e no suporte que potencializem seu uso. Por fim @ no menos importante: por todo 0 exposto anteriormente, a efetividade de um SMBA no pode ser medida pelo niimero de sugestdes © recomendagdes aportadas naspesquisas e estudos avaliativos. Em primeiro lugar, SMBA setoriais no constituem rotinas de auditoria operacional de programas, com finalidade e mandato para impor recomen- dagbes a serem seguidas por gestores e téc- nicos de programas. Assumir tal postura em uma SMBA setorial € 0 primeiro passo para sua perde de legimitidade junto aos parceiros potenciais dentro do ministério em que cle se situa. Em segundo lugar, SM&A produzem muito mais que pesquisas e supostas reco- mendagées: produzem informagao € conhe- cimento que, desde que devidamente estru- turados e disseminados, podem e devem ser usados para interferir cotidianamente na agdo do gestor estratégico e do técnico na ponta Como contabilizar tal uso de informacao por parte do usuério, sobretudo no contexto de forte utilizacéo de aplicativos informatizados € disponibilizacao publica pela internet? Mas, fundamentalmente, a principal limitagao do uso de uma métrica “percentual de reco mendagées e sugestdes adotadas nos progra- mas” como evidenciagao da efetividade de um SMEA 6 que ela se basela em um pressu- posto de linearidade positivista do proceso de produsao de politicas publicas. Programas pUblicos nao so, como jé observado nesse texto, projetos socials, com um abjetive espe- cifico bem delimitado, cobrindo um volume restrito de beneficisrios/usuarios, operado por voluntarios ou técnicos contratados se- gundo perfis profissionais com competéncias € habilidades j8 previamente adquiridas & aderentes a0 que se espera do projeto. Con texto politico-insttucional, escala, complexi- dade e arranjos de implementagao diferen- ciam muito 0s programas pablicos, mesmo 05 criados e operados na escala municipal, de intervengdes sociais mais especifcas. Pela amplitude da cobertura, pelo contexto fede- rativo de gestae e operaglo das politicas e programas sociais, 2 introdugao de inovagBes, redesenho de processos, descontinuidade de atividades, contratagao de novos agentes e servicos - tipicas recomendacies derivadas de avaliagBes de implementagao - cumprem um calendério que deve compatibilizar a agenda de prioridades de cortec3o de pro- blemas com as janelas de oportunidades de mudangas, sem 0 isco de interrupséo das atividades pare a sociedade. Politica piblica no é campo para experiéncias voluntaristas, t3o ao gosto de certo tecnacratismo ingénuo que acometem certos circulos técnicos na 4rea, Como bem coloca Cejudo (2010.95) Sabemos ya que las politicas pblicas no ‘curren en el vacio. Distintos enfoques de anilisis explican cémo el proceso de politicas publicas esta influido por nu- meros factores que le dan forma y con- tenido. Entendemos que, lejos de ser una simple decisién racional basada en la identificacién de problemas, ta revi- si6n exhaustiva de alternativas, la deci- sién informada y la implementacién sin restricciones, cada politica pUblica ests moldeadas por la instituciones, el en- torno organizacional, el marco legal, las ‘condiciones politicas y econémicas, y los valores sociales en juego. Rewera Beasncin o€ Mowromnse 7 Avniugho | Nowino 5 | lanewo-lvana 56 2073 Sistema de Monteramente ealagae ce Programas Selalsrevstando mites erecolcandepremissas paras malrefetidade 25Como sistematizado no Quadro 2, formula dores de politicas, gerentes e técnicos de programas, nos escritérios centrais de Plane- jJamento e Gesto ou nos postos de servigos distribuidos pelas cidades, ndo necessitam de dados, pesquisas e conhecimento exaustivo sobre seus programas, mas informacao clara, relevante, consistente, organizada segundo 0s aspectos aperacionais, geogréficos € 0 nt vel decisério pertinente, na tempestividade requerida, com custos de produgdo adequa: dos, e que, sobretudo, respondam as ques: tes atinentes ao estgio em que se encontra o programa em seu ciclo de vida ™_ QUADRO 4: ALGUMAS PREMISSAS QUANTO A ESTRUTURAGAO DE SM&A + Formuladores de polticas e gestores de programas, nos escritrios de planejamento ou implementacao, nao necessitam de Informacao e Conhecimento Ex2ustive, mas de informagao relevante, consistente, compreensivels e ao tempo para sua apropriagio na decisdo para as. diferentes etapas do ciclo de um programa + InformacSo ¢ Conhecimento devem ser sistematizados em suportes adequados ~ cocumen- 10s, sinteses, portais, produtos multimdia ~ e customizados para ciferentes tipos de usuarios no governo feceral,estadual, municipal e nos equipamentos; + Informacéo deve ser disponibilizada segundo padraes aceitaveis de validade e confabili- ade, Pior que nio ter informagio, & dispar de Informagae equivacada, com pretense "sela de qualidade + Informacéo util é acuela que contribui para aprimoramento da Politica ou programa, ap0n- tando 0s problemas, 0s desafios ov os avangos. InformagSo superficial au Inconsistente criam factoides que, em nada, contriouem para methoria da agdo governamental + Nao existe conhecimento neutro ou “acima de qualquer suspeita". Dados e fatos produzidos ‘em estudos avalitivos sao falsedveis, como qualquer evidéncia + InformacSo e Conhecimento devem ser praduzidos a parti de uma perspectiva multimét ose triangulagao de sujeites. Nao hd método ou técnica "padrie-ouro” de coleta de dados ou de avaliagio de programas. Problemes e programas complexos requerem abordagens integra- das de moritoramento e avaliagéo, + Organizacio de dados, computagao ce indicadores de monitoramento, realizagao de pes: aquisas de campo, elaboragzo de estucos com dados secundérios, compilagdo de estudos em rmeta-avaliacSes sio diferentes produtas de um SMBA, respancendo a diferentes estigios de maturidade de um programa + Informacéo para 0 Ciclo de Gestdo de Politicas e Programas € complexa e requer esforgo intenso ce Capacitacio e Formagao. 0 cue evidente para um gestor na estera federal pode rio ser para um operador na ponta em um municipio; + Aapropriacso da Informagéo e Conhecimento na Politica ou no programa néo é tarefs trivial, ‘gulada por um voluntarismo tecnoctatico, mas par julz adequada de oportunidade, corweniéncla ‘epader politico nica e clentifica,Referéncias Bibliograficas BRASIL. TRIBUNAL DE CONTAS DA UNIAO. Rela- t6rio de levantamento dos sistemas de monitora- mento e avaliacdo dos érgdos da administragao direta do poder executivo. Brasilia, 2010. CEIUDO, G. Discurso y Politicas Pablicas: el en- foque constructivista. In: MERINO.M; CEJUDO.. Problemas, decisones y soluciones: enfoques de politica publica. México: FCE/CIDE, 2010, p.93. CUNILL GRAU.N; OSPINA 807715. Fortaleci- miento de los sistemas de monitoreo y evalu- acion en America Latina, Washington, Banco ‘Mundial/CLAD, 2008, GARCIA, R. C. Subsfdios para organizar avalia- bes da Aco Governamental. Textos para dis- cussio, Brasilia, n. 776: IPEA, 2001. JANNUZZLPM. Avaliagdo de programas socials ro Brasil: repensando priticas e metodologias das pesquisas avaliativas. Planejamento e Poli- ticas Pablicas, Brasilia, v36, p.251-275, 2011. JANNUZZLPM, Monitoramento analtico como fer- ramenta para aprimoramento da gestio de progra- ‘mas socials. Revista Brasileira de Monitoramento e ‘Avaliagao, Brasilia, v2, n.3, p38-66,202.b. MACKAY,K. How to build MGE Systems to support better government. Washington, Banco Mundial, 2007. MCDAVID, 1. HAWTHORN.L. Program Evaluation and Performance Measurement: An Introduc- tion to Practice. Thousand Oaks: Sage, 2006. ‘OWEN, 3.M. Program evaluation: forms and ap- roaches. New York, Guilford Press, 2007. PINTOA. et al. Pesquisas de Avaliagdo e Estu- dos Avaliativos para o Plano Brasil Sem Miséria «e Programas do MDS Balanco de 2011 a maio de 2013 e Agenda 2023 a 2014. Estudo Técnico SAGI 09. Brasilia, 2023, ROSS|,PH. et al. Evaluation: a systematic appro- ‘ach, Thousand Oaks: Sage, 2004, RUA,M.G. A avaliagdo no ciclo da gestao publica Apostila do curso de Especializagao em politi- ‘cs piblicas da Educag3o com Enfase em mo- nitoramento e Avaliagso ~ MPA. ENAP. MIMEO, 2004, WORTHERN, B.R. et al. Avaliacdo de programas: concepgaes € priticas, S30 Paulo: EdUspiEd Gente, 2004 Revers Beasncin oe Mowromnve 7 Rvnagho | Nowino 5 | lantwo-luana oF 2073 Sirama de Menkoramente lacie PretranasSechirsstandeniarermlecindepenersparasamaereticnee 2. 7