SECRETARIA DE ORAMENTO FEDERAL

Adriana Rodrigues dos Santos

MONITORAMENTO E AVALIAO DE PROGRAMAS NO SETOR PBLICO: A Experincia do PPA do Governo Federal no Perodo 20002011

Braslia 2012

Adriana Rodrigues dos Santos

MONITORAMENTO E AVALIAO DE PROGRAMAS NO SETOR PBLICO: A Experincia do PPA do Governo Federal no Perodo 20002011

Monografia/TCC apresentado(a) ao Instituto Serzedello Corra do Tribunal de Contas da Unio como parte da avaliao do Curso de Especializao em Oramento Pblico.

Orientador: Oliveira Alves Pereira Filho

Braslia 2012

Autorizao

Autorizo a divulgao do texto completo no stio dos rgos parceiros e a reproduo total ou parcial, exclusivamente, para fins acadmicos e cientficos. Assinatura: __________________________________ Data: ___/___/___

Santos, Adriana Rodrigues dos. Monitoramento e avaliao de programas no setor pblico [manuscrito] : a experincia do PPA do Governo Federal no perodo 2000-2011 / Adriana Rodrigues dos Santos. -- 2012. 69 f. Orientador: Oliveira Alves Pereira Filho. Impresso por computador. Monografia (especializao) Curso de Oramento Pblico, Cmara dos Deputados, Centro de Formao, Treinamento e Aperfeioamento (Cefor); Controladoria-Geral da Unio, Secretaria de Controle Interno (SFC); Ministrio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal (SOF); Senado Federal, Universidade do legislativo (Unilegis); Tribunal de Contas da Unio, Instituto Serzedello Corra (ISC), 2012.

1. Programa de governo, avaliao, Brasil, 2000-2011. 2. Plano plurianual (PPA), Brasil. 3. Polticas pblicas, Brasil. I. Ttulo. CDU 338.26(81)

MONITORAMENTO E AVALIAO DE PROGRAMAS NO SETOR PBLICO: A Experincia do PPA do Governo Federal no Perodo 20002011

Monografia Curso de Especializao em Oramento Pblico 2 Semestre de 2012

Adriana Rodrigues dos Santos

Banca Examinadora:

__________________________________________ Oliveira Alves Pereira Filho ___________________________________________ Andr Guimares Resende Martins do Valle

Braslia, 30 de novembro de 2012

Dedico esse trabalho a minha famlia pelo incentivo e apoio em todos os momentos.

Agradecimentos Ao meu orientador pelas contribuies e importantes apontamentos durante a realizao do trabalho. minha irm pelas sugestes

apresentadas. Mrcia Joppert, ao Carlos Pinho e aos professores James Giacomoni e Fabiano Core pela presteza na disponibilizao de parte do material utilizado. Aos colegas Haroldo Areal e Marcelo Pires pela valiosa ajuda no levantamento e tratamento das informaes quantitativas. E a todos que, de alguma forma, contriburam para a realizao deste trabalho.

Nas grandes batalhas da vida, o primeiro passo para a vitria o desejo de vencer. Mahatma Gandhi

Resumo

Nos ltimos anos, a atuao dos Estados na implementao das polticas pblicas tem sido cada vez mais complexa e relevante. As crescentes demandas por eficincia e transparncia na gesto dessas polticas tm exigido dos governos um esforo contnuo de aperfeioamento das prticas de gesto. Nesse contexto, o uso de tcnicas de monitoramento e de avaliao para aferir os resultados dos programas governamentais torna-se de fundamental importncia para se ter uma melhor compreenso do desempenho da atuao governamental no uso dos recursos pblicos. No caso brasileiro, as prticas de monitoramento e de avaliao vm adquirindo relevncia na agenda de gestores e maior ateno de pesquisadores. Entretanto, constata-se a pouca apropriao das informaes produzidas, o que impede a efetiva utilizao desses instrumentos nos processos decisrios e na gesto das polticas pblicas. Nesse sentido, o estudo tem como objetivo geral analisar aspectos que influenciaram na implementao das prticas de monitoramento e de avaliao no Governo Federal. Esta anlise tem como escopo as prticas desenvolvidas sob coordenao do Ministrio do Planejamento, Oramento e Gesto no perodo 20002011. A partir de pesquisas bibliogrfica e documental acerca do tema e da anlise dos indicadores do PPA nesse perodo, conclui-se que houve avanos no que se refere ao reconhecimento da importncia das atividades de monitoramento e de avaliao no setor pblico federal. No entanto, verifica-se ainda a existncia de restries que comprometem a qualidade das informaes produzidas, entre elas: insuficincia na gerao de informaes sobre resultados; falta de capacitao dos envolvidos nos processos de monitoramento e de avaliao; e inadequao dos indicadores para a aferio dos resultados. Dessa forma, observa-se a existncia de desafios para a consolidao de um Sistema de Monitoramento e Avaliao orientado para resultados no mbito do Governo Federal. Nesse contexto, espera-se que o trabalho contribua para futuras discusses acerca do aperfeioamento das prticas de monitoramento e de avaliao a partir do mapeamento dos principais avanos e desafios encontrados em experincias anteriores.

Palavras-chave: Monitoramento e Avaliao. Gesto das polticas pblicas. Plano Plurianual. Indicadores.

LISTA DE ILUSTRAES

Quadro 1 - Papis complementares do monitoramento e da avaliao .................................... 19 Quadro 2 - Propriedade dos indicadores................................................................................... 26 Quadro 3 - Quadro resumo dos aspectos relacionados ao monitoramento e avaliao no perodo 2000-2011 .................................................................................................................... 48

Figura 1 - Cadeia de Resultados ............................................................................................... 20 Figura 2 - Etapas da Avaliao ................................................................................................. 36 Figura 3 - Modelo integrado plano/oramento/execuo/avaliao ......................................... 39 Figura 4 - Ciclo de gesto ......................................................................................................... 43

Grfico 1 - Total de indicadores em programas Finalsticos no perodo 2000-2011 ............... 53 Grfico 2 - Percentual de indicadores finalsticos apurados no perodo 2000-2011 ................ 55 Grfico 3 - Percentual de indicadores com ndices em branco no perodo 2008-2011 ............ 57

LISTA DE TABELAS

Tabela 1 - Total de programas constantes do PPA no perodo 2000-2011 por tipo ................. 52

LISTA DE SIGLAS

BID Banco Mundial CF/88 Constituio Federal da Repblica Brasileira de 1988 CMA Comisso de Monitoramento e Avaliao CTMA Comit Tcnico de Monitoramento e Avaliao ENAP Escola Nacional de Administrao Pblica IPEA Instituto de Pesquisa Econmica Aplicada MEC Ministrio da Educao MDS Ministrio do Desenvolvimento Social e Combate Fome MF Ministrio da Fazenda MP Ministrio do Planejamento, Oramento e Gesto NGP Nova Gesto Pblica OCDE - Organizao para a Cooperao e Desenvolvimento Econmico PAC Programa de Acelerao do Crescimento PDE Plano de Desenvolvimento da Educao PPA Plano Plurianual PPI Projeto Piloto de Investimento SAE Secretaria de Assuntos Estratgicos SAGI Secretaria de Avaliao e Gesto da Informao SIGPlan Sistema de Informaes Gerenciais e de Planejamento SisPAC Sistema de Monitoramento do PAC SMA Sistema de Monitoramento e Avaliao do Governo Federal SOF Secretaria de Oramento Federal TCU Tribunal de Contas Unio UMA Unidade de Monitoramento e Avaliao UNESCO - Organizao das Naes Unidas para a Educao, a Cincia e a Cultura

SUMRIO 1 2 3 INTRODUO ................................................................................................................ 13 METODOLOGIA ............................................................................................................. 15 REFERENCIAL TERICO ............................................................................................. 16 3.1 O Monitoramento e Avaliao na Gesto por Resultados ........................................ 16

3.1.1 Conceitos e Caractersticas ...................................................................................... 17 3.1.2 Dimenses do Resultado ......................................................................................... 20 3.1.3 O Uso do Monitoramento e da Avaliao no Setor Pblico ................................... 22 3.2 4 O Papel dos Indicadores nas Atividades de Monitoramento e Avaliao ................ 24

EXPERINCIAS INTERNACIONAIS ........................................................................... 27 4.1 4.2 4.3 A Experincia da Austrlia ....................................................................................... 27 A Experincia Canadense ......................................................................................... 28 A Experincia Chilena .............................................................................................. 30

ANLISE DO MONITORAMENTO E DA AVALIAO DE PROGRAMAS DO PPA

NO PERODO 20002011 ....................................................................................................... 32 5.1 5.2 5.3 5.4 5.5 6 O Contexto Histrico: A Reforma Gerencial da Administrao Pblica ................. 32 O Monitoramento e a Avaliao no PPA 20002003 .............................................. 34 O Monitoramento e a Avaliao no PPA 20042007 .............................................. 38 O Monitoramento e a Avaliao no PPA 20082011 .............................................. 43 Desafios para um Sistema de Monitoramento e Avaliao no Setor Pblico .......... 46 QUE INFLUENCIARAM NA EFETIVA UTILIZAO DOS

ASPECTOS

INDICADORES DE PROGRAMAS NO PERODO 20002011 ........................................... 51 6.1 6.2 6.3 6.4 6.5 7 Contextualizao ...................................................................................................... 51 A Adequao dos Indicadores para Aferio dos Objetivos dos Programas ........... 52 A Apurao dos ndices dos Indicadores ................................................................. 54 A Existncia de Parmetros de Referncia ............................................................... 56 A Relao das Informaes de Resultado nos Processos de Alocao de Recursos 57

CONCLUSO .................................................................................................................. 59

REFERNCIAS ....................................................................................................................... 62

13

INTRODUO

Em um contexto de expanso da atuao do Estado, dadas as crescentes demandas por polticas pblicas, e de limitao de recursos pblicos, cresce a necessidade de maior eficincia e transparncia da atuao governamental. Como resposta, no campo da gesto organizacional, observa-se, ao longo dos ltimos anos, uma tendncia mundial modernizao nas prticas de gesto, com vistas a melhorar a qualidade dos servios disponibilizados por meio da gesto eficiente dos recursos pblicos. Nesse contexto, o desenvolvimento de mecanismos de monitoramento e de avaliao para assegurar melhores resultados na gesto pblica vem adquirindo maior relevncia tanto na agenda dos gestores como na ateno dedicada por diversos pesquisadores ao tema. No caso brasileiro, observa-se que a adoo sistemtica das atividades de monitoramento e de avaliao de programas do Governo Federal ocorreu a partir do Plano Plurianual (PPA) 20002003, que introduziu uma cultura gerencial orientada para resultados no mbito da administrao pblica. Alm das prticas de monitoramento e de avaliao, o modelo gerencial adotado previa tambm a definio de metas, a atribuio de responsveis e o uso de indicadores para a aferio dos resultados. No entanto, passados alguns anos, constatam-se ainda dificuldades na implantao de um Sistema de Monitoramento e Avaliao no mbito do Governo Federal orientado para resultados. Dessa forma, tem-se como objetivo geral da pesquisa analisar aspectos que influenciaram na implementao do modelo de monitoramento e de avaliao do Governo Federal no perodo 20002011, de modo a subsidiar futuras discusses acerca do aperfeioamento dos processos de monitoramento e de avaliao. Esse objetivo ser alcanado a partir dos seguintes objetivos especficos: (i) descrever o contexto que norteou a implementao das prticas de monitoramento e de avaliao no Brasil; (ii) identificar variveis associadas implementao das prticas de monitoramento e de avaliao no Governo Federal durante o perodo 20002011 (avanos e desafios); e (iii) identificar possveis fatores que influenciaram a utilizao dos indicadores como instrumento para aferio dos resultados no perodo 20002011. O foco do estudo ser a anlise das prticas de monitoramento e de avaliao dos programas constantes do PPA federal no perodo 20002011. Isso porque o PPA consiste no

14

instrumento de planejamento do Governo Federal. Nele esto previstos os objetivos, diretrizes e metas da administrao pblica federal, bem como as opes estratgicas que orientam a definio dos oramentos anuais e viabilizam o conjunto da atuao estatal. Sero objetos de anlise os PPAs 20002003, 20042007 e 20082011, desenvolvidos sob coordenao do Ministrio do Planejamento, Oramento e Gesto (MP). A delimitao adotada justifica-se pela importncia que tem sido dada ao tema no setor pblico; pela possibilidade de extrao de lies aps mais de uma dcada de experincia nas prticas de monitoramento e de avaliao de programas constantes dos PPAs do Governo Federal; e pelo fato de o modelo de monitoramento e de avaliao institudo no PPA do Governo Federal servir de exemplo, em muitos casos, para os demais entes da Federao. Ademais, o reconhecimento, na Mensagem Presidencial que encaminhou o Projeto de Lei do PPA 20122015 (Plano Mais Brasil) ao Congresso Nacional, da importncia e do desafio de se construir um sistema de monitoramento e de avaliao, como condio essencial para o aperfeioamento da ao governamental, reflete na prtica a relevncia e a oportunidade do tema. A prpria Mensagem ressalta a importncia de se levar em considerao as experincias de monitoramento e de avaliao acumuladas no setor pblico, em mbito nacional e internacional. Este estudo apresenta ainda consideraes acerca dos indicadores de programas constantes do PPA no perodo compreendido entre 2000 e 2011. Dessa forma, tendo como referncia o conjunto dos indicadores existentes, busca-se identificar possveis fatores que influenciaram na sua utilizao como instrumento de aferio dos resultados dos programas. O trabalho est estruturado em sete captulos. Alm desta introduo, no segundo captulo descreve-se a metodologia da pesquisa e os procedimentos utilizados para coleta de dados. No terceiro, apresentam-se o referencial terico e os principais conceitos que serviram de base para a realizao da pesquisa. Do quarto captulo, consta um breve relato das experincias internacionais em monitoramento e avaliao, em alguns pases selecionados. No quinto captulo apresenta-se, descreve-se e analisa-se a implementao das atividades de monitoramento e de avaliao nos PPAs 20002003, 20042007 e 20082011, expondo-se os avanos e os desafios identificados na pesquisa bibliogrfica realizada. No sexto, constam possveis fatores que influenciaram na utilizao dos indicadores como instrumento de aferio dos resultados no perodo 20002011. Por fim, o ltimo captulo apresenta as concluses decorrentes do trabalho.

15

METODOLOGIA

A pesquisa adotada e realizada de natureza aplicada, que se enquadra nos tipos descritiva e exploratria. Gil (2009) observa que pesquisas descritivas tm como objetivo primordial a descrio das caractersticas de determinado fenmeno, estabelecendo relaes entre suas variveis. O mesmo autor aponta ainda que pesquisas exploratrias visam proporcionar maior familiaridade com o problema, a partir do desenvolvimento de conceitos e ideias, com vistas a torn-lo mais explcito. A pesquisa apresenta tambm uma abordagem qualitativa, uma vez que se busca compreender as caractersticas situacionais do ambiente natural que no podem ser traduzidas em nmeros (SILVA; MENEZES, 2005). Quanto aos procedimentos tcnicos, foram incorporados aspectos das pesquisas bibliogrfica e documental. Dessa forma, as publicaes a respeito do tema em estudo constituem eixo central por contriburem para melhor compreenso do tema. De forma geral, tanto a pesquisa bibliogrfica como a documental serviram para subsidiar a anlise qualitativa a fim de melhor se compreender o contexto das prticas de monitoramento e de avaliao durante o perodo. Inicialmente, buscou-se, na literatura nacional e internacional, informaes sobre os sistemas de monitoramento e de avaliao no setor pblico. Posteriormente, foi realizado um levantamento dos aspectos que influenciaram as atividades de monitoramento e de avaliao no perodo, considerando-se os diversos pontos de vista de instituies e de especialistas no assunto. Destacam-se como fonte de informaes a legislao referente ao tema e os acervos documentais produzidos pelo MP, pelo Instituto de Pesquisa Econmica Aplicada (IPEA), pela Escola Nacional de Administrao Pblica (ENAP), pelo Banco Mundial (BID) e pelo Tribunal de Contas da Unio (TCU), entre outros. Adicionalmente, como forma de subsidiar a pesquisa, levantaram-se informaes relacionadas aos indicadores de programas do PPA existentes na base do mdulo de monitoramento do Sistema de Informaes Gerenciais e de Planejamento (SIGPlan). No que se refere anlise dos indicadores, a pesquisa apresentou limitaes decorrentes da dificuldade operacional de cruzamento das informaes para a realizao de anlises mais aprofundadas. O SIGPlan no disponibiliza funcionalidades que permitam a realizao de pesquisas acerca dos indicadores, nem fornece relatrios que permitam a investigao de todos os atributos. E, ainda, as informaes dos indicadores s podem ser obtidas se for acessado programa por programa.

16

REFERENCIAL TERICO

O presente captulo tem por objetivo a apresentao de aspectos importantes relacionados aos sistemas de monitoramento e de avaliao que serviro de base para anlise da pesquisa. Primeiro, discute-se o papel desses sistemas na gesto por resultados. Em seguida, so apresentados os principais conceitos e definies relacionadas ao monitoramento e avaliao. Por fim, discorre-se sobre a funo do indicador na operacionalizao desses sistemas.

3.1

O Monitoramento e Avaliao na Gesto por Resultados

Nos ltimos anos, as administraes pblicas de diversos pases vm enfrentando presses de vrios setores por maior eficincia e transparncia na gesto dos recursos pblicos, o que tem exigido dos governos um esforo contnuo de aprimoramento das prticas de gesto pblica. Como resposta a essas demandas, a partir da dcada de 90, diversos pases promoveram reformas em suas administraes, inserindo uma nova forma de gesto pblica orientada para resultados, cuja nfase est na eficincia do gasto e na qualidade das polticas pblicas. De acordo com Lpez e Moreno (2010), a reforma surge primeiramente nos pases desenvolvidos como forma de enfrentar as crises fiscais e financeiras, ocorridas nos anos anteriores, e manter o nvel de desenvolvimento j alcanado. J nos pases em desenvolvimento, o objetivo era acelerar o ritmo para alcanar maior desenvolvimento. Seguindo a mesma linha, contudo sob uma perspectiva mais gerencialista, Ormond e Lffer (1999) destacam, entre outras, as seguintes condies para as reformas gerenciais: limitaes fiscais ao crescimento do setor pblico; busca por formas efetivas de implementao de polticas pblicas; presso de grupos empresariais pelo desenvolvimento de um ambiente favorvel para investimentos; prestao eficiente de servios, mudanas culturais e tecnolgicas; e mudanas no perfil da populao. Para Osborne e Gaebler (1994), o objetivo das reformas era desenvolver a capacidade empreendedora do Estado com nfase na melhor utilizao dos recursos e na busca pela

17

melhor prestao dos servios prestados. Para isso, o Estado deveria substituir o modelo burocrtico por um modelo gerencial. Os autores defendem ainda que o Estado deve investir em medidas que possibilitem realizar mais com menos, mediante o desenvolvimento de novas tcnicas de gesto. A reforma trouxe em seu bojo a orientao para resultados com nfase numa atuao mais efetiva do Estado. Para Grau e Bozzi (2008), com a gesto orientada para resultados, h uma mudana de foco, em que os processos passam a se organizar em funo da efetividade das aes pblicas. nesse contexto que as funes de monitoramento e de avaliao ganham importncia, conforme observam as autoras. Na mesma linha, ao analisar as reformas de gesto e sua influncia na introduo dos mecanismos de monitoramento e de avaliao nos diversos pases, Kusek e Rist (2004) observam que, a partir desse ambiente de reformas, as administraes pblicas passam a reconhecer, nas funes de monitoramento e de avaliao, ferramentas importantes de apoio gesto, com vistas a aumentar a eficincia no uso dos recursos pblicos e a efetividade das polticas pblicas. Nesse sentido, Makn (2008) observa que a implementao de uma gesto orientada para resultados no setor pblico deve envolver alm do desenvolvimento de processos sistemticos de planejamento estratgico, de mudanas metodolgicas no processo de formulao dos oramentos e da otimizao dos processos administrativos a implantao de sistemas efetivos de monitoramento, controle e avaliao da gesto que permitam o acompanhamento dos resultados e processos por meio de indicadores que identifiquem os desvios e suas causas e a introduo de medidas corretivas tempestivas.

3.1.1 Conceitos e Caractersticas

De acordo com a definio da Organizao para Cooperao e Desenvolvimento Econmico (OCDE), o monitoramento um processo contnuo de coleta de informaes que utiliza de indicadores previamente definidos com a finalidade de fornecer informaes sobre o progresso e o alcance dos objetivos (OCDE, 2002). Para Garcia (2001, p. 29), o monitoramento um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite a rpida avaliao situacional e a interveno oportuna que confirma ou corrige as aes monitoradas.

18

J a avaliao definida por Weiss (1998) como a atividade em que se busca aferir as operaes ou resultados de um programa ou poltica, comparando-as a um conjunto de padres (explcitos ou implcitos) previamente definidos, com vistas a contribuir para o seu aperfeioamento. A partir desse conceito, a autora identifica cinco elementos fundamentais que caracterizam as avaliaes: o primeiro corresponde natureza de investigao; o segundo e o terceiro elementos referem-se ao foco das avaliaes, ou seja, se estas se concentram na anlise das operaes (como o programa est sendo conduzido) ou se concentram nos resultados do programa (efeitos e impactos proporcionados aos beneficirios); o quarto elemento est relacionado definio de critrios para comparao em relao aos objetivos almejados; e, finalmente, o quinto elemento refere-se ao propsito das avaliaes, isto , a sua contribuio para o aperfeioamento dos programas. Wholey et al. (2004) ressaltam ainda o carter de aprendizado das avaliaes que, segundo os autores, trata-se de uma importante estratgia para aprimorar o conhecimento sobre a forma como se estrutura o programa, assim como seus resultados prticos. Desse modo, observam-se, dos conceitos apresentados, diferenas entre essas ferramentas. Cohen e Franco (2004) destacam que, enquanto o monitoramento uma atividade interna da gerncia que se realiza durante um perodo da execuo, a avaliao pode ser realizada em qualquer momento: antes, durante ou mesmo algum tempo aps a implementao de um projeto. Seguindo a mesma concepo, Grau e Bozzi (2008) retratam a diferena entre os dois termos a partir da sua finalidade. Para estas autoras, o monitoramento consiste no acompanhamento de forma contnua de determinada interveno a partir da utilizao de indicadores de desempenho, porm no explica as razes de determinado nvel de desempenho alcanado. A avaliao, no entanto, procura obter informao qualificada dos processos, dos resultados e dos impactos para compreend-los e explic-los mediante a utilizao de ferramentas analticas. No mbito das polticas pblicas, o Ministrio do Planejamento, Oramento e Gesto (MP), ao tratar do ciclo de gesto de um programa federal, refere-se ao monitoramento como o acompanhamento contnuo da implementao de um programa, com vistas a promover o alcance dos resultados. A avaliao representa uma atividade pontual com a finalidade de subsidiar decises, apresentar recomendaes, prestar contas sociedade e extrair lies (BRASIL, 2004a). No obstante as diferenas abordadas, Kusek e Rist (2004) identificam complementaridades entre os processos de monitoramento e de avaliao. De acordo com

19

eles, a primeira sequencial, isto , um processo levanta questes ou gera informaes que sero respondidas ou iro subsidiar as anlises do outro, de forma cclica. A segunda de informao, em que os dois processos podem utilizar os mesmos dados, porm realizam anlises distintas. Por fim, a terceira de interao, em que gestores utilizam os dois processos de forma articulada a fim de direcionar suas aes. Essa viso tambm compartilhada por outros autores. Para Garcia (2001, p. 33), o monitoramento apresenta-se como condio essencial para avaliao. A ideia central que o monitoramento auxilie os processos avaliativos. Segundo o autor:
Quem no monitora os problemas que deve resolver e o resultado das aes com as quais pretende enfrent-los no sabe o que acontece por conta do seu agir e nem que mudanas provocou com a sua ao. No sabe por onde anda, no consegue avaliar a eficincia e a eficcia de suas intervenes.

Observa-se, das definies apresentadas, que as prticas de monitoramento e de avaliao, embora complementares, apresentam importantes distines. Cada uma fornece informaes teis, mas em diferentes contextos. O monitoramento fornece informao a respeito do estgio de desenvolvimento de uma poltica, um programa ou um projeto em dado momento, em relao s respectivas metas e resultados. J a avaliao evidencia o porqu das metas e dos resultados estarem ou no sendo atingidos (Kusek e Rist, 2004). O quadro a seguir apresenta de forma resumida as diferenas e as complementaridades existentes entre os dois processos:
MONITORAMENTO Evidencia os objetivos do programa AVALIAO Analisa porque os resultados pretendidos foram ou no foram alcanados

Vincula as atividades e seus recursos aos seus Avalia contribuies causais especficas de objetivos Traduz os objetivos em indicadores de atividades para resultados Examina o processo de implementao

desempenho e fixa metas Coleta dados rotineiramente acerca desses indicadores, compara os resultados com as metas Relata aos gerentes os progressos e os alerta dos problemas

Explora resultados no intencionais Proporciona lies, destaca resultados

significativos ou potenciais do programa, e oferece recomendaes para melhorias

Quadro 1 - Papis complementares do monitoramento e da avaliao Fonte: Kusek e Rist (2004). Traduo nossa.

20

3.1.2 Dimenses do Resultado

Nas aes governamentais h uma relao de causa e efeito entre cinco elementos fundamentais: insumos, processos, produtos, resultados e impactos, em que um nvel contribui para o outro. Assim, os insumos (inputs) utilizados nos processos levam entrega de produtos (outputs), que geram a realizao de resultados intermedirios (outcomes), que contribuem para a modificao de uma realidade (impacto). Esta cadeia causal ilustrada na Figura 1:

Impactos

Resultados

Produtos

Atividades

Insumos
Figura 1 - Cadeia de Resultados Fonte: Binnendijk (2000 apud KUSEK; RIST, 2004). Traduo nossa.

Segundo a OCDE (2002, p. 33), os resultados seriam encontrados nos produtos (outputs), resultados intermedirios (outcomes) e impactos. Essa Organizao define resultado como sendo o produto, efeito ou impacto (intencional ou no, positivo e/ou negativo) de uma interveno de desenvolvimento. Kusek e Rist (2004, p. 16), no entanto, divergem quanto ao elemento produto. Para eles, ao se apresentar o produto como resultado, no se responde a pergunta para qu, essencial para o conceito de resultado.
Building a school, paving a road, or training rural clinic workers does not, in our view, answer the so what question. These are outputsand now one goes on to say so what. What are the results of having this school building, this paved road, or these trained clinic workers?

21

Sob perspectiva mais ampla, a Organizao das Naes Unidas para a Educao, a Cincia e a Cultura (UNESCO, 2011, p. 23) caracteriza o resultado como a ltima etapa do processo transformador, na qual insumos (recursos humanos, institucionais e financeiros) so utilizados para realizar atividades que levam os produtos a contriburem para a mudana desejada de determinada situao. Isto quer dizer, o resultado nada mais seria do que a interao resultante desses elementos. O conceito de resultado no setor pblico apresentado, no Guia Referencial para Medio de Desempenho na Administrao Pblica do MP (BRASIL, 2009a, p. 6), da seguinte forma:
Uma boa gesto aquela que alcana resultados, independentemente de meritrios esforos e intenes. E, alcanar resultados, no setor pblico, atender s demandas, aos interesses e s expectativas dos beneficirios, sejam cidados ou organizaes, criando valor pblico.

Alm do conceito de resultado para o setor pblico, faz-se necessrio compreender suas dimenses. A literatura apresenta um nmero variado, contudo, h consenso em trs dimenses de resultado: eficincia, eficcia e efetividade. A eficincia definida por Giacomoni (2010, p.353) como [...] a relao entre duas magnitudes: a produo fsica de um produto, seja um bem ou servio, e os insumos ou recursos que sero utilizados para alcanar esse nvel de produto. Na Constituio Federal de 1988 (CF/88), a eficincia concebida como princpio norteador da atuao do Estado, conforme argumenta Meirelles (2006, p. 94):
O princpio da eficincia exige que a atividade administrativa seja exercida com presteza, perfeio e rendimento funcional. o mais moderno princpio da funo administrativa, que j no se contenta em ser desempenhada com legalidade, exigindo resultados positivos para o servio pblico e satisfatrio atendimento das necessidades da comunidade e seus membros.

Para a OCDE (2002), a eficincia mede como, economicamente, os recursos ou insumos se transformam em resultados. Nesse sentido, a contribuio da dimenso eficincia est na possibilidade de reduo dos gastos governamentais e de otimizao dos recursos disposio do Estado e da sociedade para alcance dos resultados (Abrucio, 1997). J a eficcia, de acordo com Cohen e Franco (2004), refere-se ao grau de cumprimento dos objetivos pretendidos, ou seja, em que medida as metas esto sendo alcanadas independentemente dos recursos alocados. Observa-se que essa dimenso envolve dois aspectos fundamentais: o primeiro, relacionado definio de objetivos, e o segundo, capacidade de gesto para fazer cumprir esses objetivos.

22

Por fim, a efetividade conceituada por Osborne e Gaebler (1994, p. 381-382) como o grau de alcance do resultado esperado, ou seja, corresponde transformao produzida em relao ao que foi planejado. Os autores ressaltam a importncia dessa medida na atuao do setor pblico. Segundo eles, quando medimos a eficincia, podemos saber quanto nos custa alcanar uma produo determinada; ao medir a efetividade, sabemos se nosso investimento valeu a pena. Para Cohen e Franco (2004), o conceito de efetividade pode ser visto sob duas perspectivas: em funo do impacto produzido ou em funo do grau de alcance dos objetivos almejados. J Abrucio (1997, p. 18) ressalta o aspecto qualitativo do termo que, segundo ele, [...] a efetividade no um conceito econmico como a eficincia pura mas de avaliao qualitativa dos servios pblicos. O autor considera essa dimenso essencial para a gesto de longo prazo, uma vez que as polticas pblicas cada vez mais tm seu desempenho avaliado pela qualidade dos servios prestados aos cidados. Assim, observa-se que a compreenso do conceito de resultado e suas dimenses fundamental para o monitoramento e para a avaliao. Isso porque tais dimenses orientaro a escolha dos indicadores a serem utilizados nos processos de monitoramento e de avaliao.

3.1.3 O Uso do Monitoramento e da Avaliao no Setor Pblico

No que se refere aplicao dos instrumentos de monitoramento e de avaliao no setor pblico, Kusek e Rist (2004) e Mackay (2006) destacam que h um vasto campo de aplicao. Segundo eles, o monitoramento e a avaliao podem ser usados, entre outras finalidades, para:

(i)

ajudar no gerenciamento de projetos, programas ou polticas pblicas, trazendo informaes sobre o desempenho e grau de alcance das metas almejadas;

(ii)

auxiliar na formulao do oramento, fornecendo evidncias sobre a implementao e resultados das polticas pblicas para a tomada de deciso;

(iii)

servir como fonte de conhecimento, fornecendo feedback contnuo para o processo de gesto de forma a promover a aprendizagem organizacional; e

(iv)

promover a transparncia e accountability, demonstrando os impactos e resultados das polticas pblicas, como forma de se obter o apoio poltico e popular.

23

No que tange alocao dos recursos, Schick (2008) destaca a importncia de se ter informaes sobre resultados para se desenvolver uma alocao orientada para resultados. O autor explica que isto requer a compreenso de como os recursos se transformam em resultados. E isso exige dos governos procedimentos de anlise subsidiados por processos como a avaliao, o acompanhamento do desempenho (a partir de indicadores de produtos e resultados) e outros mtodos capazes de estimar os impactos de mudanas polticas e financeiras nas polticas pblicas da sociedade. Grau e Bozzi (2008, p. 15) ressaltam, ainda, a importncia das ferramentas de monitoramento e de avaliao no apenas no ambiente de gesto da poltica pblica, mas como instrumento de controle poltico, gerencial e social. De acordo com as autoras:
A nfase nos resultados promovidos com estes sistemas uma forma de avanar na consecuo de uma maior efetividade e transparncia das aes governamentais e, tambm, uma maneira de aumentar as capacidades de incidir nos anseios coletivos, tais como o aumento da legitimidade do estado, o combate corrupo, o bom uso do errio e a criao de polticas e servios que aumentem o bem-estar social, reduzam a pobreza e combatam a desigualdade.

A literatura mostra tambm que as prticas de monitoramento e de avaliao na anlise da gesto pblica podem assumir mltiplas dimenses. A adoo de um modelo especfico, portanto, depende de uma srie de circunstncias a serem consideradas na concepo desses sistemas. Na avaliao, por exemplo, Cohen e Franco (2004, p.108) ressaltam:
Nem todas as avaliaes so iguais. Podem-se estabelecer diferenas entre elas segundo vrios critrios, tais como o tempo de sua realizao e os objetivos procurados, quem as realiza, a natureza que possuem, a escala que assume e a que alada decisria so dirigidas.

Raciocnio anlogo pode ser aplicado ao monitoramento, que, de acordo com Vaz (2009), pode ser realizado em diversos nveis, da alta direo ao operacional. Por isso, segundo o autor, na concepo de sistemas de monitoramento, devem-se considerar escolhas que vo desde a definio do objeto, do escopo e da periodicidade do monitoramento at os papis, responsabilidades e articulao do sistema com as demais estruturas de governo. No que se refere implantao de sistemas de monitoramento e de avaliao no setor pblico, Kusek e Rist (2004) ressaltam que nem todos so capazes de garantir o desenvolvimento de uma cultura orientada a resultados. Eles fazem uma distino entre sistemas de monitoramento e de avaliao tradicionais, que buscam responder perguntas acerca de insumos, atividades e produtos entregues orientao tpica da administrao

24

pblica tradicional , e sistemas baseados em resultados, concebidos para fornecer informaes sobre as consequncias das aes de governo. A diferena-chave, entre os sistemas tradicionais e os orientados a resultados, est nos elementos enfatizados no momento de realizar o monitoramento e a avaliao. Para os autores, a primeira abordagem no fornece aos formuladores de poltica e gestores uma compreenso do sucesso ou fracasso dessas polticas. J os sistemas orientados a resultados asseguram ao gestor as informaes sobre os progressos obtidos e os problemas encontrados na implementao das polticas pblicas. Outro aspecto levantado por Grau e Bozzi (2008) refere-se utilizao das informaes geradas pelos sistemas de monitoramento e de avaliao para determinar as alocaes de recursos pblicos. Ao analisar a experincia de implantao dos sistemas de monitoramento e de avaliao em pases da Amrica Latina, as autoras apontam a necessidade de aperfeioamentos. A mesma situao tambm observada por Kusek e Rist (2004). Para os autores, a necessidade de integrao entre as informaes de desempenho e o oramento reconhecida, mas tem-se mostrado em alguns pases uma atividade ainda em progresso. Com esse panorama, observa-se a utilidade do monitoramento e da avaliao no que diz respeito ao tratamento de questes relacionadas ao aprimoramento da gesto, correo de rumos na implementao das polticas pblicas. A gerao de informaes, entretanto, no condio suficiente para a eficcia de um sistema de monitoramento e de avaliao. Segundo a literatura existente, a efetividade desses sistemas est diretamente relacionada ao real uso dessas informaes. necessrio que os sistemas reflitam a preocupao com o desempenho das polticas pblicas. Do contrrio, tendem a se tornarem uma mera tarefa operacional (Kusek e Rist, 2004; Grau e Bozzi, 2008).

3.2

O Papel dos Indicadores nas Atividades de Monitoramento e Avaliao

O modelo de gesto pblica orientado a resultados exige dos governos a utilizao de processos estruturados e instrumentos adequados para aferir os resultados da ao governamental. Nesse sentido, construir um sistema de indicadores condio essencial nas atividades de monitoramento e de avaliao. A tarefa bsica de um indicador expressar, de forma simples, uma determinada situao que se deseja avaliar. De acordo com a OCDE (2002), indicadores so variveis

25

quantitativas ou qualitativas que medem o grau das mudanas ocorridas aps uma interveno e ajudam a avaliar desempenho de uma organizao. Para Ferreira et al. (2009, p. 24):
O indicador uma medida, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informaes relevantes dos elementos que compem o objeto da observao. um recurso metodolgico que informa empiricamente sobre a evoluo do aspecto observado.

Do ponto de vista das polticas pblicas, os indicadores servem como balizadores da atuao governamental. So instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno na realidade (BRASIL, 2010a, p. 21). Assim, levando-se em conta que um indicador expressa uma situao que se deseja acompanhar, a sua formulao passa pela anlise da sua contribuio para a tomada de deciso. Para Kusek e Rist (2004), a partir dos indicadores, o gestor pode descobrir se os projetos, programas ou polticas esto no caminho certo ou se necessrio promover ajustes em relao s metas planejadas. No entanto, de acordo com os autores, os indicadores so apenas relevantes quando so aferidos em relao a um determinado objetivo, ou seja, no processo de definio de indicadores deve se ter muito bem definidos os objetivos e as metas a serem alcanados. Sob esse aspecto, cabe mencionar a diferena entre os termos objetivo, meta e indicador proposta por Cohen e Franco (2004). Segundo os autores, o objetivo a situao que se pretende alcanar. A meta a quantificao do objetivo, ou seja, o estgio desejvel a ser alcanado em um determinado perodo de tempo. O indicador, por sua vez, seria a medida que permite verificar o nvel de alcance do objetivo. Com relao ao uso dos indicadores, observa-se que, durante o ciclo de gesto de um projeto, programa, poltica ou plano, as atividades de cada etapa utilizam-se de diferentes tipos de indicadores, a depender dos propsitos e critrios de anlise aplicados para sua aferio (eficincia, eficcia e efetividade). Por isso, Jannuzzi (2009, p. 121) explica que:
[...] um bom sistema de monitoramento deve prover indicadores de insumo, processo, resultado e possveis impactos do programa. Exemplificando, tal sistema deve permitir monitorar, simultaneamente, o dispndio realizado por algum tipo de unidade operacional prestadora de servios ou sub-projeto; o uso dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos efeitos gerados pelos programas.

Kusek e Rist (2004, p. 80) apontam, ainda, para a necessidade de se estabelecer linhas de base que permitam a comparao:

26

The baseline is the first measurement of an indicator. It sets the current condition against which future change can be tracked. For instance, it helps to inform decisionmakers about current circumstances before embarking on projecting targets for a given program, policy, or project. In this way, the baseline is used to learn about current or recent levels and patterns of performance. Importantly, baselines provide the evidence by which decisionmakers are able to measure subsequent policy, program, or project performance.

Ressalta-se que a construo de indicadores tarefa complexa, pois envolve muitas variveis que podem influenciar na sua elaborao. Nesse sentido, a literatura especializada apresenta algumas propriedades necessrias para a formulao de um bom indicador, entre elas:
PROPRIEDADES Validade Confiabilidade Simplicidade CARACTERSTICAS O indicador deve representar a realidade que se deseja medir e modificar. O indicador deve ter origem em fontes de informao confiveis. O indicador deve ser de fcil obteno e compreenso pelo pblico em geral e no envolver dificuldades de clculo ou uso. Sensibilidade O indicador deve a avaliao tempestiva das mudanas decorrentes das intervenes realizadas. Economicidade As informaes necessrias ao clculo do indicador devem ser coletadas e atualizadas a custo razovel. Estabilidade O indicador deve possuir variveis que permitam comparaes, para se avaliar o desempenho ao longo do tempo.
Quadro 2 - Propriedade dos indicadores Fonte: Adaptado de Indicadores de Programas: Guia Metodolgico (2010)

Nesse contexto, a qualidade dos indicadores est diretamente condicionada definio de nveis e critrios adequados desde sua formulao at a aferio. Assim, para que a informao do indicador seja efetiva do ponto vista de sua anlise fundamental que este esteja pautado em elementos tcnicos coerentes que permitam a correta aferio dos resultados.

27

EXPERINCIAS INTERNACIONAIS

A busca pela melhoria da gesto pblica e a consequente valorizao dos processos de monitoramento e de avaliao so objetos de discusso em diversos pases. Neste captulo, ser apresentada uma sntese das experincias internacionais em monitoramento e avaliao em pases apontados pela literatura internacional como referncias na aplicao desses instrumentos. Para isso, foram selecionados os seguintes pases: a Austrlia, um dos pioneiros na implantao de prticas de monitoramento e de avaliao e com forte tradio na cultura orientada para resultados no setor pblico; o Canad, que serviu de inspirao ao modelo brasileiro; e, finalmente, o Chile, referncia na Amrica Latina no que se refere s prticas de avaliao. Ressalta-se que as informaes apresentadas a seguir tiveram como base estudos e publicaes do Banco Mundial.

4.1

A Experincia da Austrlia

A Austrlia figura como um dos primeiros pases a desenvolver sistemas de monitoramento e de avaliao, ainda em 1987. De acordo com Kusek e Rist (2004), o desenvolvimento de uma cultura de monitoramento e de avaliao das aes governamentais na Austrlia foi motivado principalmente por presses internas para melhor uso dos recursos pblicos. Para Mackay (apud KUSEK; RIST, 2004), alguns aspectos favorveis permitiram a implantao do modelo de monitoramento e de avaliao para todo o governo, entre eles: apoio poltico, capacidade institucional e de gesto, profissionalismo e tica do servio pblico, sistemas oramentrio, financeiro e de contabilidade bem desenvolvidos e comprometimento com a transparncia das aes. Na experincia australiana, o Ministrio das Finanas o responsvel pela coordenao das informaes de monitoramento e de avaliao. Entre os mecanismos utilizados esto: desenvolvimento de avaliaes governamentais e avaliaes rpidas de projetos e produo de relatrios de desempenho. Essas informaes so utilizadas principalmente no que se refere s decises sobre alocaes de recursos e melhoria da eficincia operacional das organizacionais (GUBBERMAN; KNOOP, 2011).

28

Durante muitos anos, o modelo australiano foi marcado pela concentrao das funes de monitoramento e de avaliao pelo Ministrio das Finanas. Porm, a partir de 1996, observa-se uma reformulao dos processos de monitoramento e de avaliao, com a descentralizao dessas funes, que passaram a ser executadas pelos prprios ministrios, provocando menor centralizao do Ministrio das Finanas, com o objetivo de aumentar a apropriao e o compromisso das informaes.
Today, monitoring and evaluation is left up to the individual departments and agencies. The formal M&E requirements have been relaxed considerably, and departments conduct M&E based on their own priorities. At the same time, departments are still required to report performance information in budget documents, and to report evaluation findings where available. Additionally, some evaluations continue to be mandated by the cabinet. The larger governmental departments are particularly active in commissioning formal evaluations and using the findings. (MACKAY, 2002 apud KUSEK; RIST, 2004, p. 29)

Mesmo com as mudanas promovidas no modelo inicial (por meio de uma abordagem descentralizada com uma menor participao do poder central nas decises), a experincia australiana representa um bom exemplo da aplicao dessas prticas no gerenciamento dos programas de governo. O que se observa que este modelo contribuiu para as prticas de monitoramento e de avaliao desenvolvidas em outros pases, ao introduzir um modelo de abordagem global baseado na maior responsabilizao, com nfase no desenvolvimento de planos estratgicos, indicadores de desempenho e no uso dos resultados das avaliaes anuais nas revises dos programas.

4.2

A Experincia Canadense

As prticas de avaliao no Canad iniciaram h mais de 30 anos, quando, em 1977, foi lanada a primeira poltica de avaliao governamental em todo o Governo. J o movimento em direo intensificao das atividades de monitoramento teve seu marco a partir da dcada de 90, diante da introduo das prticas de gesto baseada em resultados e do reconhecimento da necessidade de se medir o desempenho (ACEVEDO et al., 2010). No modelo canadense, as informaes so utilizadas para promover melhorias na gesto dos programas, a aprendizagem e a prestao de contas. As informaes tm como

29

ponto focal os seguintes atores: a Secretaria do Conselho do Tesouro, os departamentos governamentais, o Parlamento e o Auditor-Geral. De forma resumida, esses atores tm as seguintes funes: a) a Secretaria do Conselho do Tesouro o rgo responsvel pela coordenao dos processos de monitoramento e de avaliao. No exerccio de suas atribuies, ela estabeleceu um Centro de Excelncia em Avaliao responsvel pela poltica de avaliao e superviso das prticas e produtos de avaliao; b) os departamentos so os rgos responsveis pela execuo, monitoramento e avaliao dos programas. Cabe a estes garantir a aplicao da poltica de avaliao, elaborao dos planos de avaliao e dos relatrios de desempenho; c) o Parlamento, por sua vez, tem por funo a discusso anual dos relatrios de desempenho; e d) o Auditor-Geral, que tem um papel independente, responsvel pela superviso e anlise sobre a economia, eficincia e eficcia das atividades do Governo. Este relata suas verificaes diretamente ao Parlamento. Alm desses atores, a mdia tambm tem um papel importante ao dar exposio aos resultados das aes do governo. No que se refere s avaliaes, o processo descentralizado: ministros de departamento e gerentes participam e so corresponsveis pelo processo. Cada departamento tem uma Unidade de Avaliao, rgo independente e vinculado diretamente SecretariaExecutiva.
This position ensures that the evaluation function reflects the governments policy requirements and the deputy heads priorities in the departments work. The position generally reports to the deputy head or, at least, to ensure the independence of the departmental evaluation function, has direct access to the most senior official in the department (ACEVEDO et al. 2010, p. 27).

As avaliaes so anuais e, ao final do processo avaliativo, define-se um plano para implementao das recomendaes, pactuado entre o secretrio-executivo dos departamentos, o chefe da unidade de avaliao e os gerentes de departamento responsveis por implementar os programas. No que diz respeito ao processo de monitoramento, cada departamento e seus gerentes responsveis tm a responsabilidade de monitorar a execuo de seus programas, determinar os indicadores de desempenho e elaborar um relatrio anual de desempenho. Os relatrios detalham os recursos previstos e resultados alcanados pelo programa e pelo departamento. Os resultados desses relatrios so utilizados como subsdio para definio dos recursos a serem alocados e para a reviso das prioridades no exerccio subsequente (BRASIL, 2004b). Observa-se que o Sistema de Monitoramento e Avaliao brasileiro se assemelha ao modelo canadense, sobretudo no que se refere s prticas de avaliao: a realizao de

30

avaliaes anuais, o processo descentralizado com a participao dos gerentes e o foco no aprendizado. Alm disso, segundo especialistas do Banco Mundial, a criao das Unidades de Monitoramento e Avaliao (UMA) no Brasil teve como inspirao a experincia canadense, em que cada departamento (equivalente aos ministrios brasileiros) apresenta uma unidade de avaliao responsvel pelo assessoramento dos dirigentes (MATSUDA et al.,2006).

4.3

A Experincia Chilena

O sistema de monitoramento e de avaliao no Chile surgiu inicialmente como uma necessidade no processo de formulao do oramento e em respostas s reformas no setor pblico. As primeiras iniciativas ocorreram no incio dos anos 90, sendo o modelo construdo de forma gradual. No Sistema de Monitoramento e Avaliao Chileno, so previstos seis componentes: o primeiro consiste em uma anlise de custo e benefcio ex-ante dos projetos de investimento como forma de assegurar a sua viabilidade; o segundo so os indicadores de desempenho, utilizados nas anlises para formulao do oramento; o terceiro corresponde aos relatrios de gesto global, em que cada ministrio ou agncia prepara um relatrio, anualmente, contendo as informaes sobre o seu desempenho; o quarto componente refere-se s avaliaes de programas de governo (avaliaes rpidas), que incluem uma anlise do quadro lgico do programa; o quinto componente relaciona-se s avaliaes de impacto sobre os efeitos de programa e implica em uma coleta de dados e anlise mais rigorosa dos dados; e o sexto e ltimo componente retrata as anlises de despesas abrangentes, que esto relacionadas na avaliao de toda a organizao e a partir do desenho e gesto institucional, do desempenho e uso dos recursos. As informaes geradas nesses processos so utilizadas para determinar alocaes oramentrias, proporcionar melhorias nos processos internos de gesto e auxiliar a reformulao de programas (MACKAY, 2007). A partir das avaliaes so geradas recomendaes e definidos compromissos e prazos com as instituies avaliadas. Na experincia Chilena, os seis componentes mencionados anteriormente so realizados sob a coordenao do Ministrio das Finanas, rgo responsvel pelo sistema de monitoramento e de avaliao. O processo de avaliao externo, isto , as avaliaes so independentes, executadas por especialistas, universidades ou empresas de consultorias contratadas pelo Ministrio das

31

Finanas. A seleo feita atravs de concursos pblicos. Porm, contam com a participao dos rgos responsveis pela execuo dos programas (ACEVEDO et al., 2010). Todavia, podem-se enfrentar dificuldades na adoo deste tipo de abordagem, conforme assinala Mackay (2006, p. 9):
El inconveniente de este planteamiento es que los ministerios sectoriales, que hacen poco uso de las evaluaciones encargadas por el Ministerio de Hacienda, no llegan a identificarse con sus resultados. No obstante, ello podra no representar un problema demasiado grande en Chile, donde el poderoso Ministerio de Hacienda puede utilizar los resultados de la evaluacin no slo en apoyo de ls decisiones presupuestarias, sino tambin para imponer a los ministerios sectoriales cambios en La gestin y en los programas.

Os principais envolvidos nos sistemas de monitoramento e de avaliao so o Ministrio das Finanas, responsvel pela coordenao do processo de monitoramento e de avaliao, as instituies pblicas responsveis pela execuo dos programas e o Congresso Nacional, que recebe as informaes como forma de subsidiar o processo de discusso do oramento. No que se refere transparncia das informaes, os resultados das avaliaes so de carter pblico para todos os atores polticos e sociais. No que se refere ao uso das informaes no processo oramentrio, assim como no Brasil, Guzmn (2006) aponta que ainda existem desafios quanto integrao das informaes provenientes de processos como avaliao no ciclo oramentrio. Uma das principais contribuies do modelo chileno a coexistncia de vrias linhas de avaliaes como forma de subsidiar os processos de gesto. Essa diversificao ocorreu de forma gradual e decorre da inexistncia de uma nica metodologia capaz de explicar o funcionamento e os resultados de diferentes programas pblicos. Com a aplicao de diferentes abordagens de avaliao, o Chile representa uma referncia na implementao das avaliaes no setor pblico.

32

ANLISE DO MONITORAMENTO E DA AVALIAO DE PROGRAMAS DO PPA NO PERODO 20002011

A anlise do Monitoramento e da Avaliao dos programas do PPA apresentada neste estudo ser delimitada s prticas desenvolvidas na gesto dos programas do Governo Federal, sob a coordenao do MP, e tem como base os trabalhos tcnicos elaborados por especialistas sobre o tema, bem como os documentos produzidos pelo MP e pelo TCU durante o perodo 20002011.

5.1

O Contexto Histrico: A Reforma Gerencial da Administrao Pblica

A partir da dcada de 90, vrios pases adotaram iniciativas de maior integrao entre os processos de planejamento, oramento e gesto, com a incorporao de informaes de desempenho na gesto das polticas pblicas. No Brasil, as ideias difundidas pela Nova Gesto Pblica (NGP) se materializaram com a reforma gerencial da administrao pblica de 1995. Com efeito, a reforma gerencial implementada por meio do Plano Diretor da Reforma do Aparelho do Estado tinha, entre seus principais objetivos, a redefinio do papel do Estado na conduo das polticas pblicas. Como instrumentos bsicos para a reforma, foram utilizados os Oramentos Anuais e os Planos Plurianuais (BRESSER, 2000). O Plano Diretor da Reforma do Aparelho do Estado preconizava mudanas importantes na rea de oramento, a partir da adoo de um modelo baseado na fixao de objetivos e de mecanismos de avaliao de resultados, tendo como contrapartida maior flexibilizao na execuo oramentria (BRASIL, 1995). Nessa linha, Core (2004, p.7) explica:
A importncia do processo oramentrio como implementador de reformas gerencialistas tambm se verificou em relao a outros pases. A convico de que a transformao do processo oramentrio, no sentido da evoluo de um instrumento orientado para controle dos gastos, em direo a um outro focado na produo pblica, com a busca sistemtica de resultados especficos, de fundamental importncia para o bom xito de quaisquer reformas dessa natureza.

33

Dessa forma, com a nfase nos resultados alcanados, os oramentos passariam a ter um papel estratgico na conduo das polticas pblicas, na medida em que, integrados aos planos, no teriam como base uma anlise estritamente fiscal. Nesse contexto, em 1998, o Governo Federal editou o Decreto n 2.829, de 29 de outubro de 1998, que estabeleceu normas para a elaborao e a gesto do PPA 20002003 e dos Oramentos da Unio. O esforo de modernizao oramentria contemplava dois pressupostos: a realidade problematizada e a cobrana de resultados (responsabilizao). A partir desses pressupostos, o novo sistema de planejamento e oramento deveria contemplar as seguintes caractersticas:
a) Viso estratgica, com estabelecimento de objetivos; b) Identificao dos problemas a enfrentar ou oportunidades a aproveitar, objetivando tornar realidade essa viso estratgica; c) Concepo dos programas que devero ser implementados, com vistas ao atingimento dos objetivos que implicaro na soluo dos problemas ou aproveitamento das oportunidades; d) Especificao das diferentes aes do programa, com identificao dos respectivos produtos, que daro origem, quando couber, aos projetos e atividades; e) Atribuio de indicadores aos objetivos, e aos produtos, metas (BRASIL, 1999, p. 3).

A edio do Decreto n 2.829, de 1998, introduziu tambm um novo modelo de gerenciamento. Esse modelo gerencial, adotado a partir do PPA 20002003, tinha por objetivo atribuir responsabilidades e orientar os esforos das equipes envolvidas na execuo para a obteno de resultados, como explica Garces e Silveira (2002, p. 59):
A forma encontrada para assegurar a qualidade do gerenciamento foi a de criar a figura do gerente, o monitoramento em rede, com o apoio de um sistema de informaes gerenciais, o gerenciamento intensivo dos programas estratgicos e a avaliao anual de desempenho de todos os programas e do plano.

O programa passou a ser a unidade bsica de gesto, reforando o comprometimento com a cultura gerencial e com a obteno de resultados. Desde ento, o programa enquanto instrumento de integrao entre Plano e Oramento devia resultar em produtos, com metas aferveis e correspondentes aos recursos alocados. Garcia (2000, p. 23) considera que a introduo de elementos que proporcionam o exerccio da gesto cotidiana dos programas e de suas aes, a atribuio de responsabilidades, a prtica da avaliao e a cobrana de resultados revelam um avano conceitual e metodolgico. Ademais, a partir dos aspectos apresentados, verifica-se que o ponto fundamental do modelo orientado a resultados assenta-se sobre a ideia de que os

34

processos de planejamento e oramento devem estar integrados ao processo de gesto. Garces e Valle (2006, p. 239) explicam essa relao:
[...] o Governo Federal, por meio do PPA 20002003, promoveu a integrao plano-oramento, que pela primeira vez, conclamava o gestor pblico a no se deter unicamente na melhoria de processos de produo de bens, mas sobretudo, nos resultados desse esforo. Dessa mudana decorre a formulao de um plano por resultados, um oramento por resultados e consequentemente, de uma gesto por resultados.

Todo esse processo de reforma dos oramentos e das prticas de planejamento e gesto no Brasil provocou o crescimento de demandas por informaes sobre a implementao das aes do Governo Federal. A necessidade de gerao de informaes e de sua disponibilizao tanto aos atores envolvidos no processo de gesto como sociedade resultou na adoo sistemtica das prticas de monitoramento e de avaliao no PPA 2000 2003 e na institucionalizao de um Sistema de Monitoramento e Avaliao do Governo Federal (SMA) no PPA 20042007, por meio do Decreto n 5.233, de 6 de outubro de 2004. A implementao das atividades de monitoramento e de avaliao no perodo 2000 2011, segundo pesquisa bibliogrfica realizada, ser analisada nos itens a seguir.

5.2

O Monitoramento e a Avaliao no PPA 20002003

Para Calmon e Gusso (2002), a adoo das prticas de monitoramento e de avaliao em anos anteriores ao PPA 20002003 foi prejudicada porque o ambiente poltico-econmico era desfavorvel ao seu desenvolvimento. Com o controle do processo inflacionrio e a estabilizao econmica no final da dcada de 90, a necessidade de melhorar a efetividade das aes do Estado resultou em crescente demanda por mecanismos de monitoramento e de avaliao que permitissem acompanhar e avaliar os resultados da ao governamental. A primeira referncia adoo sistemtica desses mecanismos no Brasil ocorreu com a Lei n 9.989, de 21 de julho de 2000, que instituiu o PPA para o perodo 2000 2003. O art. 6 da referida Lei determinava a realizao de avaliaes e o acompanhamento dos programas constantes do Plano e dos Oramentos da Unio. O modelo de gesto do PPA 20002003 inovou, ao introduzir na administrao pblica federal, a gesto por resultados, com a adoo de programas como unidade de gesto e a introduo de mecanismos de monitoramento e de avaliao dos programas.

35

Cada programa era estruturado para resolver um problema e continha pblico-alvo, objetivo, um conjunto de aes e indicadores para medir seus resultados. Para cada programa, era designado um gerente de programa, escolhido pelo Ministro responsvel pelo rgo setorial. A figura do gerente no era necessariamente nova, ela j tinha sido empregada no PPA 199619991 para os programas considerados estratgicos. A diferena no perodo 2000 2003 que essa adoo foi ampliada para todos os programas. Com relao ao gerente de programa, este era livremente indicado pelo Ministro, com a funo de coordenar a execuo das aes de forma a assegurar o alcance dos resultados, sem ter, necessariamente, alguma relao com a estrutura hierrquica do rgo. Se por um lado essa estratgia era positiva no sentido de escolher pessoas alinhadas com a temtica e que apresentavam o perfil adequado para o gerenciamento dos programas, por outro, poderia enfraquecer sua atuao pela ausncia de autonomia legal e administrativa para gerenciar o programa. Ao analisar o gerenciamento dos programas federais no Brasil neste perodo, Dorotinsky (2003 apud Kusek; Rist, 2004, p. 102), aponta que:
[] the program managers had no formal authority, controlled no resources, and could not actually influence the activities in ministries that participated in their programs (except in a few cases where the head of a ministry activity was also designated the program manager). Under this structure, the activity manager cannot use program performance information to manage work, and program managers have no influence over actual management. There is a mismatch between authority and responsibility that prevents accountability.

Nesse sentido, o MP, em anlise apresentada no Plano de Gesto do PPA 20042007 (BRASIL, 2004a), constatou que o sucesso no gerenciamento de alguns programas no perodo 20002003 foi mais influenciado pela capacidade pessoal dos gerentes e pelas oportunidades favorveis do que pelos mecanismos institucionais de gesto existentes. A anlise apresenta, ainda, os seguintes entraves ao gerenciamento dos programas:
1. Dificuldades na articulao entre os gerentes e a estrutura formal de cada Ministrio (especialmente na funo de ordenao de despesas); 2. Escassez dos meios (recursos humanos, logsticos, informaes, etc) frente s responsabilidades dos gerentes; 3. Pequena participao dos gerentes nos processos decisrios; 4. Pouca cooperao institucional para a superao de restries; e 5. Acesso restrito aos canais de negociao (BRASIL, 2004a, p.33).

Durante o PPA 1996-1999 foram estabelecidos 42 projetos prioritrios e para cada projeto foi designado um gerente que seria responsvel pelo acompanhamento do projeto. Conforme em: http://www.abrasil.gov.br/anexos/anexos2/index.htm

36

Ainda de acordo com a nova proposta, a previso de avaliaes tinha a finalidade de aferir os resultados alcanados em relao aos objetivos e s metas fixadas no PPA. Os resultados das avaliaes deveriam ser apresentados anualmente ao Poder Legislativo como subsdios ao processo de elaborao dos oramentos, a fim de evitar o desperdcio de recursos pblicos, nos termos do art. 5 do Decreto 2.829, de 1998. O processo de avaliao era realizado em trs etapas: a avaliao de programas, realizada pelo gerente sob forma de autoavaliao, que analisava o desempenho do programa sob sua responsabilidade; a avaliao setorial, elaborada pelo rgo setorial, que avaliava o conjunto dos programas de sua competncia e a sua contribuio para o alcance dos objetivos setoriais; e a avaliao do Plano, realizada pelo MP, que apresentava uma anlise da gesto do Plano, abrangendo sua dimenso estratgica.

Figura 2 - Etapas da Avaliao Fonte: BRASIL, 2004. Plano de Gesto.

No que se refere s avaliaes, Calmon e Gusso (2002) apontam limitaes relacionadas aplicao de um questionrio padronizado para todos os programas, falta de pessoal de pessoal qualificado para realizar as avaliaes e s dificuldades para elaborao de indicadores capazes de mensurar os resultados dos programas. Os autores ressaltam ainda a pouca utilizao pelo Congresso das informaes contidas no relatrio anual de avaliao:
Em relao utilizao dos resultados da avaliao pelo Legislativo, h indcios de que o relatrio anual de avaliao, quando entregue pelo Executivo ao Legislativo, passa a representar mera formalidade burocrtica com o objetivo de cumprir as determinaes constitucionais e legais. O contedo do relatrio no tem sido totalmente explorado ou utilizado como instrumento de feedback relevante no processo de tomada de decises e de correo de rumos por aquela instncia decisria (CALMON; GUSSO, 2002, p. 32).

37

Outra limitao est relacionada ao desenho dos programas. Garcia (2000) considera que os programas no foram desenhados para serem avaliados. Segundo o autor, a construo dos programas do PPA 20002003 e do Oramento do exerccio 2000 foi realizada a partir de um inventrio de aes e de projetos provenientes do PPA anterior, que no tinham sido criadas, necessariamente, para atender ao objetivo de um programa. Na avaliao do autor:
[...] O resultado final deixou a desejar. H grande heterogeneidade, muito reducionismo, elevada setorializao, considervel impreciso. A oramentao dos programas foi feita em bases pouco realistas, com muitas metas que no correspondem s capacidades operacionais dos rgos e s dotaes, com muitos custos apurados sem critrios mais rigorosos. Mas, levando-se em conta as condies em que foram elaborados, o pouco tempo disponvel e a ausncia de informaes seguras, os programas do PPA 2000 2003 representam um avano (GARCIA, 2000, p.37).

Especificamente com relao ao processo de autoavaliao, a crtica residia no risco parcialidade, devido dificuldade de o gerente separar a avaliao do programa da avaliao de sua atuao. Nesse sentido, Grau e Bozzi (2008) alertam que a possibilidade de autocomplacncia em processos de autoavaliaes pode comprometer a objetividade da informao. Apesar das limitaes apresentadas, o processo em geral se mostrou positivo. Calmon e Gusso (2002) consideram que, embora ainda apresentassem informaes imprecisas e abrangentes, as avaliaes representaram importante ferramenta para a reviso anual dos programas e para a elaborao do PPA 20042007. O modelo de gesto previa tambm um processo de monitoramento em rede, composto por: gerentes, responsveis pela implementao dos programas no rgo setorial; monitores de programas no MP, cuja funo era facilitar a resoluo de restries execuo dos programas; e o SIGPlan, que forneceria ao gerente informaes acerca do desempenho fsico e financeiro das aes para o controle da execuo do programa (GARCES; SILVEIRA, 2002). Alm disso, o modelo deu continuidade experincia do monitoramento intensivo, iniciada no perodo anterior (19961999), para um grupo programas e projetos estratgicos. Para esses programas, era prevista a gesto do fluxo de recursos e das restries a fim de assegurar a sua execuo (GARCES; SILVEIRA, 2002). No entanto, o MP, ao realizar um balano da implementao do PPA 20002003, identificou um conjunto de fragilidades para o monitoramento dos programas. Entre os principais obstculos, estavam a qualidade precria das informaes sobre a execuo das metas fsicas das aes dos programas e a deficiente apurao dos indicadores. Segundo dados estatsticos apresentados pelo Ministrio, apenas 35% das aes tiveram sua execuo

38

fsica registrada no SIGPlan e 39% dos programas finalsticos tiveram indicadores apurados (BRASIL, 2004c). Ao analisar o caso brasileiro no perodo 20002003, Garces (2006) menciona aspectos favorveis no modelo proposto, principalmente no que se refere introduo de um processo de avaliao focado nos resultados e a promoo da aprendizagem institucional. No entanto, o autor ressalta a existncia, ainda, de aspectos desfavorveis como: a incorporao parcial dos resultados da avaliao na reviso do Plano e no Oramento; a qualidade precria das informaes e deficincia dos indicadores; a ausncia de capacidade tcnica e a coordenao inadequada nos ministrios, sobretudo, no que se refere s informaes sobre os resultados; e a ausncia de avaliaes mais profundas que vinculassem a gesto do gasto ao ciclo oramentrio. Note-se que a previso dos instrumentos de monitoramento e de avaliao na gesto dos programas reflete a ideia de uma cultura gerencial orientada para resultados no mbito da administrao pblica federal, o que representa um avano em relao s iniciativas de gesto at ento vigentes no Brasil. Entretanto, a previso dessas medidas ainda se mostrava insuficiente para alavancar a gesto desses programas. O perodo 20002003 enfrentou dificuldades no que se refere s atividades de monitoramento e de avaliao, principalmente quanto viabilidade de acompanhamento da implementao dos programas e de aferio de seus resultados.

5.3

O Monitoramento e a Avaliao no PPA 20042007

O modelo de gesto do PPA 20042007 promoveu a institucionalizao das atividades de monitoramento e de avaliao no mbito do Governo Federal. Essa institucionalizao tinha, ainda, por objetivo reforar a integrao entre plano e oramento. Para isso, o modelo apresentava um conjunto de informaes pertinentes a resultados (objetivos, metas, indicadores e avaliaes), de atores e de arranjos para a gesto dos programas que, segundo Matsuda et al. (2006, p. 8), o habilitava a contribuir para a adoo de critrios de deciso oramentria baseados em desempenho. A Figura 3 mostra a relao entre as informaes geradas e a integrao do Plano e Oramento:

39

Figura 3 - Modelo integrado plano/oramento/execuo/avaliao Fonte: BRASIL, 2004. Plano de Gesto.

O marco inicial da institucionalizao ocorreu com a publicao do Decreto n 5.233, de 6 de outubro de 2004, que criou o Sistema de Monitoramento e Avaliao (SMA) do PPA 20042007 e definiu os responsveis pela gesto e pelo acompanhamento dos programas e aes. O SMA, sob a coordenao do MP, tinha como funo principal assegurar o fortalecimento e a disseminao das funes de monitoramento e de avaliao, visando subsidiar e qualificar o processo de tomada de deciso. O SMA era composto pela Comisso de Monitoramento e Avaliao (CMA), pela Cmara Tcnica de Monitoramento e Avaliao (CTMA) e por Unidades de Monitoramento e Avaliao (UMAs). A CMA, rgo colegiado de composio interministerial, era responsvel, entre outras atribuies, pela elaborao de propostas de normas relativas ao monitoramento e avaliao dos programas do Poder Executivo. A CTMA tinha a funo de assessorar a CMA na apreciao de matrias relacionadas a metodologias, normas e procedimentos de monitoramento e de avaliao. As UMAs, institudas em cada ministrio setorial ou secretaria especial, tinham por objetivo apoiar o rgo nas atividades de monitoramento e de avaliao (BRASIL, 2004a). Para a gesto dos programas, o modelo previa a existncia de trs atores: gerente de programa, gerente-executivo e coordenador de ao. O gerente de programa passou a ser o titular da unidade administrativa qual o programa se vinculava. O modelo previa, ainda, os seguintes arranjos para a coordenao integrada dos programas: Comit Gestor de Programa e Comit de Coordenao dos Programas. Esses colegiados deveriam ser fruns de articulao e

40

de coordenao das aes dos programas, reforando as sinergias na atuao governamental (BRASIL, 2004a). Entretanto, de acordo com a anlise realizada em 2006 por especialistas do Banco Mundial, a criao de instncias responsveis pelo monitoramento e pela avaliao dos programas e aes nos rgos setoriais ainda no havia promovido uma efetiva melhoria na gesto do PPA (MATSUDA et al., 2006, p. 9). Ademais, o Relatrio Anual de Avaliao do PPA exerccio 2006 ano base 2005 destacava que, dos trinta rgos que preencheram a avaliao, apenas quatorze informaram que possuam um Comit de Coordenao de Programas instalado e ativo (BRASIL, 2006, p. 52). Especificamente com relao ao gerente de programa, observa-se que a estratgia de vinculao do gerente estrutura administrativa era uma resposta deficincia dos mecanismos institucionais de gesto identificados no PPA anterior e tinha por objetivo conferir a este maior autonomia nas suas decises. Essa estratgia possibilitava a responsabilizao formal no que diz respeito aferio e prestao de informaes sobre resultados. No entanto, a vinculao estrutura administrativa no resultou, em alguns casos, numa melhor gesto dos programas. Isso porque os novos gerentes no necessariamente possuam os atributos gerenciais necessrios para o exerccio da funo2. Nessa linha, Matsuda et al. (2006), ao analisarem a aderncia dessa vinculao, mencionam casos em que os gerentes no evidenciavam comprometimento com a lgica de resultados prevista no PPA. No que se refere s avaliaes, foram mantidas as trs etapas do modelo anterior, complementadas pela previso de avaliaes aprofundadas em programas selecionados. Cumpre destacar que, apesar da previso de avaliaes aprofundadas, por parte do MP, os documentos analisados no fazem referncia de sua realizao no perodo 20042007. Alm disso, os Relatrios Anuais de Avaliao do perodo apontavam que ainda persistiam, em alguns programas, deficincias associadas sua concepo: inadequao do objetivo, impreciso na caracterizao e no dimensionamento do pblico-alvo, entre outros (BRASIL, 2004d; 2005; 2006). Nesse contexto, foi demandado CTMA o desenvolvimento de uma metodologia para a avaliao de programas do PPA, conforme explica Ferreira et al. (2009, p.5):
Na ocasio, foi enfatizada a necessidade de uma proposta de avaliao menos complexa e de menor custo, a qual deveria preceder a contratao de

De acordo com o Plano de Gesto do PPA 2004-2007 (BRASIL, 2004a, p.33), eram atributos inerentes funo de gerente: criatividade, empreendedorismo, liderana, capacidade de negociao e de articulao, receptividade s mudanas e habilidade na gesto de pessoas; alm de possuir o conhecimento tcnico especfico a depender de sua esfera de atuao.

41

avaliaes de maior profundidade. A metodologia, a ser aplicada a qualquer tipo de programa governamental, deveria estar focada no aperfeioamento de aspectos relacionados ao desenho e ao gerenciamento de programas, mas com potencial para, ao mesmo tempo, sistematizar a demanda por avaliaes de resultados das aes do governo.

Dessa forma, a partir de 2007, foi adotada pelo MP a proposta de construo do Modelo Lgico3 para os programas do PPA. A adoo do Modelo Lgico na anlise dos programas pode ser considerada como uma tentativa de aperfeioar o programa enquanto instrumento de organizao da atuao governamental a partir de seu desenho. Ao ser utilizado como um instrumento de avaliao da concepo do programa, o Modelo pretendia alinhar o desenho dos programas metodologia vigente. Alm disso, a construo do Modelo Lgico dos programas permitia construir uma viso articulada do conjunto de aes desenvolvidas no programa, de forma participativa, no mbito da equipe gerencial. Outro aspecto verificado em relao s avaliaes est relacionado pouca efetividade das informaes geradas nesse processo como subsdio para a alocao de recursos. Grau e Bozzi (2008, p. 113) mencionam que:
A obrigatoriedade de remeter o Relatrio Anual de Avaliao do PPA foi orientada pela inteno de que as informaes geradas pelo sistema subsidiassem para a discusso parlamentar sobre a continuidade dos programas do PPA e para a alocao dos recursos oramentrios do exerccio seguinte. Entretanto, reconhece-se que as discusses no Congresso sobre dotao oramentria ainda esto dominadas pela lgica da negociao em torno dos interesses dos distintos grupos polticos e das disputas pela incluso das emendas que beneficiem os seus redutos eleitorais, em vez de ser em funo das prioridades nacionais e da qualidade do gasto. Portanto, o sistema tende a no ter impacto nas decises sobre recursos que faz o Congresso, o que explica que as informaes sobre a execuo e a avaliao dos programas sejam pouco requeridas pelos parlamentares, exceto quando relacionadas com as emendas parlamentares.

O modelo de gesto do perodo 20042007 previa, alm do monitoramento dos programas do Plano Plurianual: (i) o monitoramento do Plano e dos desafios; (ii) o monitoramento de grupos de programas; (iii) o monitoramento de temas transversais; e (iv) o monitoramento dos Pactos de Concertao (BRASIL, 2004a). Entretanto, com exceo do monitoramento dos programas do PPA, no foram encontradas evidncias de que as outras dimenses tenham sido realizadas de forma sistemtica e peridica durante este perodo. No que se refere ao monitoramento do desempenho fsico e financeiro dos programas, alm do Decreto n 5.233, de 2004, foi publicada a Portaria MP n 198, de 18 de julho de
3

Proposta de construo de Modelo Lgico de programas, desenvolvida pelo Instituto de Pesquisa Econmica Aplicada IPEA e aplicada pela primeira vez no programa Segundo Tempo.

42

2005, que estabelecia os procedimentos e a periodicidade para registro de informaes relacionadas com o desempenho dos programas e das aes do PPA no SIGPlan. Entre os procedimentos previstos, estavam o preenchimento das informaes do desempenho fsico pelo coordenador de ao (responsvel pela execuo da ao) e sua validao trimestralmente pelo gerente de programa. Com a publicao desses normativos, verificou-se nos anos seguintes um aumento no registro das informaes no mdulo de monitoramento do SIGPlan, que atingiu o percentual de 90% ao final do PPA segundo dados do Relatrio de Prestao de Contas do Governo de 2007 (BRASIL, 2008). No entanto, isso caracteriza apenas o aspecto quantitativo, pois o mesmo relatrio ressaltava a existncia de inconsistncias na base de dados do mdulo de monitoramento, o que restringia sua atuao enquanto instrumento gerencial. Um exemplo disso foi a existncia de localizadores de aes provenientes de emendas parlamentares e crditos adicionais (extraordinrios ou especiais) sem produto e (ou) unidade de medida (BRASIL, 2007a). No que diz respeito ao monitoramento de programas estratgicos, foram definidos grupos de aes prioritrias com o objetivo de acompanhar a gesto de possveis restries sua execuo, entre as quais: as Metas Presidenciais em 2004, o Projeto Piloto de Investimentos (PPI) em 2005 e, posteriormente, o Programa de Acelerao do Crescimento (PAC) em 2007. A anlise desse monitoramento revela semelhanas com o gerenciamento intensivo proposto em PPAs anteriores, a exemplo da experincia do PPA 20002003. Entre os principais aspectos, destacam-se: a seleo de um conjunto de aes prioritrias; o controle do fluxo de recursos; a nfase na melhoria da execuo de projetos de infraestrutura; e o acompanhamento diferenciado das aes por meio de informaes gerenciais. Observa-se, no perodo 20042007, que o SIGPlan se manteve como sistema de informaes gerenciais para o acompanhamento do desempenho fsico e financeiro dos programas em nvel central. O modelo passou a prever a interface entre os sistemas setoriais de informaes gerenciais (Infrasigs) e o SIGPlan. Ressalte-se que, em 2006, apenas cinco rgos que possuam Infrasig estavam interligados ao SIGPlan: Ministrio da Agricultura, Pecuria e Abastecimento, Ministrio da Cincia e Tecnologia, Ministrio da Educao, Ministrio da Sade e Secretaria de Polticas de Promoo da Igualdade Racial (BRASIL, 2007a). Para garantir a atualidade do Plano, o PPA 20042007 introduziu revises anuais, que deveriam ser subsidiadas pelas informaes geradas nos processos de monitoramento e de avaliao, completando-se, assim, o ciclo de gesto, conforme mostra a Figura a seguir:

43

Figura 4 - Ciclo de gesto Fonte: BRASIL, 2004. Plano de Gesto.

Em que pese a etapa de reviso ser considerada necessria ao aperfeioamento do ciclo de gesto, a abrangncia das modificaes em programas e aes nas Leis de Reviso do PPA editadas no perodo, apresentava o risco de formulao de um novo PPA a cada ano. Embora no tenha sido possvel analisar a natureza das modificaes realizadas, considera-se que constantes alteraes poderiam influenciar diretamente na qualidade das atividades de monitoramento e de avaliao. No geral, as mudanas promovidas no perodo 20042007 representaram avanos na medida em que promoveram maior disseminao das prticas de monitoramento e de avaliao entre os rgos do Governo Federal. Entretanto, os Relatrios Anuais de Avaliao do PPA do perodo 2004-2007 indicavam a permanncia de problemas associados qualidade dos indicadores; integrao entre a gerncia do programa e a coordenao da ao; falta de qualificao das equipes tcnicas para a realizao de avaliaes; e falta de interao entre os rgos executores envolvidos na gesto das restries (BRASIL, 2004; 2005; 2006), tendo como consequncia a dificuldade de obteno de informaes necessrias ao monitoramento e avaliao. Dessa forma, com base nos aspectos abordados, observa-se que o SMA do PPA ainda no conseguia efetivamente subsidiar e qualificar o processo de tomada de deciso.

5.4

O Monitoramento e a Avaliao no PPA 20082011

O Sistema de Monitoramento e Avaliao (SMA) do PPA 20082011 foi institudo com a publicao do Decreto n 6.601, de 10 de outubro de 2008. Esse sistema compreendia:

44

(i)

no nvel estratgico: o Comit de Gesto do PPA, integrado por representantes do MP, da Casa Civil, do Ministrio da Fazenda (MF) e da Secretaria de Assuntos Estratgicos da Presidncia da Repblica (SAE/PR); as SecretariasExecutivas; a CMA; e as UMAs; e

(ii)

no nvel ttico-operacional: os gerentes de programa, os gerentes-executivos, os coordenadores de ao e os coordenadores executivos de ao.

Observa-se que o SMA institudo para o PPA 20082011 apresentou poucas modificaes em relao estrutura prevista no PPA anterior. Entre as alteraes mais importantes, destacam-se a previso de um Comit de Gesto do PPA que teria a competncia de realizar o monitoramento estratgico do PPA e adotar medidas para o fortalecimento da gesto por resultados e a determinao de competncias aos SecretriosExecutivos dos rgos setoriais no que se refere s atividades de monitoramento e de avaliao. No entanto, persistiam dificuldades no que diz respeito ao funcionamento dos arranjos existentes. Por exemplo, o Comit de Gesto do PPA, embora previsto no Decreto n 6.601, de 2008, foi institudo apenas em 2010, pela Portaria MP n 92, de 3 de maro de 2010. Ademais, nesse mesmo ano, tcnicos do TCU identificaram deficincias no que se refere atuao das UMAs, que segundo eles: [...] no dispunham de estrutura organizacional e de pessoas exclusivamente dedicadas ao cumprimento dessas atribuies (BRASIL, 2011b, p.21). Com relao s avaliaes, o MP descentralizou parte do processo para os ministrios responsveis pelos programas. Dessa forma, os Secretrios-Executivos passaram a supervisionar a elaborao do Relatrio Anual de Avaliao do Ministrio, contendo a avaliao setorial e a avaliao dos programas sob sua responsabilidade. Ao final do processo, eram previstas a consolidao das informaes e a publicao no stio do respectivo rgo (BRASIL, 2009b). Ao MP, coube as responsabilidades de coordenar o processo, mediante a disponibilizao de metodologia, de orientaes e de um roteiro simplificado no SIGPlan com questes voltadas para resultados, e de elaborar a avaliao do Plano. No entanto, a permanncia de um questionrio padronizado como principal instrumento na conduo das avaliaes anuais de programas desconsiderava a complexidade dos diversos programas, bem como as especificidades dos diversos setores que fazem parte do processo (social, infraestrutura, econmico, entre outros). Ademais, para tcnicos do TCU, a padronizao do

45

questionrio produz um resultado muito mais prximo de um monitoramento do que propriamente de uma avaliao (BRASIL, 2011b, p.28). Ainda no que se refere s avaliaes, de acordo com o Acrdo n 102/2009TCU Plenrio, de 4 de fevereiro de 2009 (BRASIL, 2009c), a aplicao do Modelo Lgico se mostrou uma experincia positiva para a anlise do desenho dos programas. Contudo, o Acrdo ressaltava a necessidade de que a metodologia aplicada fosse complementada por maiores orientaes e diretrizes para a elaborao dos indicadores. No perodo 2008-2011, o monitoramento dos programas do PPA utilizava-se das informaes produzidas pelos seguintes mbitos: SIGPlan, Sistema de Monitoramento do PAC (SisPAC) e sistemas setoriais de informaes gerenciais (Infrasigs). Nesse aspecto, cabe ressaltar a complexidade no acompanhamento e na comparao das informaes devido aos diferentes nveis de detalhamento empregados nas diferentes fontes de informao. Por exemplo, um empreendimento do PAC poderia ser tanto parte de uma ao do PPA (caso, por exemplo, da ao de Estudos e Projetos de Infraestrutura de Transportes) como um conjunto de aes do PPA (como era o caso da Ferrovia Norte-Sul). Com relao aos programas prioritrios, o modelo de gesto do perodo 2008-2011 apresentava trs agendas prioritrias: PAC, Agenda Social e Plano de Desenvolvimento da Educao (PDE). O gerenciamento proposto previa o acompanhamento diferenciado de um conjunto de aes semelhante aos PPAs anteriores. Nesse perodo, merecem destaque as iniciativas de monitoramento e de avaliao realizadas nos rgos setoriais. Diante das dificuldades na consolidao de um sistema de monitoramento e de avaliao para todo o Governo Federal, os rgos passaram a desenvolver sistemas prprios. Como exemplo, cita-se o Ministrio da Educao (MEC) e Ministrio do Desenvolvimento Social (MDS), sendo este ltimo o nico que dispe de poltica de monitoramento e de avaliao formal segundo relatrio do TCU (BRASIL, 2011b). No perodo 2008-2011, foi excludo do texto da Lei do PPA o dispositivo que previa revises anuais do Plano. Essa medida foi adotada sob a justificativa de aumentar a estabilidade do Plano, evitando as sucessivas alteraes em toda a programao anualmente. Ressalte-se que a nica reviso do Plano, promovida em 2010 pela Lei n 12.352, de 28 de dezembro de 2010, teve como foco a incorporao dos empreendimentos que iriam compor a segunda fase do PAC. Verifica-se, assim, a ausncia de revises no perodo para atender a

46

recomendaes resultantes das avaliaes nos casos em que os ajustes dependessem de formalizao em lei4. De forma anloga aos PPAs anteriores, observa-se a permanncia de deficincias no processo de implementao do modelo previsto que dificultaram a efetiva consolidao do SMA. Entre as limitaes constatadas no perodo, destacam-se: a permanncia de problemas no que se refere qualidade dos indicadores, dificuldades na efetiva consolidao dos arranjos previstos para o monitoramento e avaliao, a baixa interao dos rgos executores envolvidos; a insuficincia do sistema na gerao de informaes sobre resultados; e a deficincia na capacitao dos envolvidos nos processo de monitoramento e de avaliao.

5.5 Desafios para um Sistema de Monitoramento e Avaliao no Setor Pblico

A anlise da implementao das prticas de monitoramento e de avaliao no mbito do Governo Federal no perodo 20002011 permite verificar a existncia de avanos no que se refere ao incio de uma cultura voltada para o monitoramento e a avaliao da atuao governamental, conforme apresentado nas pesquisas bibliogrfica e documental realizadas. Entretanto, tambm foram identificadas, durante o perodo, deficincias na implementao dessas prticas que reduziram a possibilidade de gerao de informaes de qualidade e inviabilizaram a implantao de um sistema de monitoramento e de avaliao efetivo. A seguir apresentado um quadro resumo das principais inovaes e dificuldades encontradas na consolidao das atividades de monitoramento e de avaliao no perodo 20002011:

Segundo o artigo 15 da Lei do PPA 2008-2011, a incluso, alterao (excluso de aes oramentrias, modificao da denominao, objetivo ou pblico-alvo do programa), excluso de programas seria realizada meio de projeto de lei de reviso anual ou especfico de alterao da Lei do PPA.

47

PPA 20002003 Inovaes: - Adoo das prticas de monitoramento e de avaliao; - Programa como unidade bsica de gesto e mdulo integrador entre Planejamento e Oramento (definio de objetivos, pblicoalvo, indicadores, produtos e metas aos programas); e - Previso de responsveis pela execuo dos programas do PPA (gerente de programa). Modelo de Gesto para os Programas

PPA 20042007 Inovaes: - Institucionalizao do Sistema de Monitoramento e Avaliao (SMA); - Criao da CMA, do CTMA e das UMAs; - Gerente de programa como titular da unidade administrativa responsvel pelo programa; - Criao das figuras: gerenteexecutivo (assessor do gerente) e coordenadores de ao (responsveis pelas aes); - Novos arranjos para a gesto dos programas: Comit Gestor de Programas e Comit de Coordenao de Programas; e - Introduo de revises do Plano para ajustes decorrentes dos resultados das avaliaes. Dificuldades encontradas: - Deficincias na concepo dos programas (inadequao dos objetivos, impreciso na caracterizao e dimensionamento do pblicoalvo, programas abrangentes); - As instncias criadas no resultaram em melhora efetiva na gesto do PPA (predomnio de uma viso setorial); - Problemas na integrao entre gerncia do programa e coordenao da ao; e - Risco de formulao de um novo PPA a cada ano devido s constantes revises do Plano. Inovaes: - Publicao de normativos contendo a definio de procedimentos e periodicidade para registro de informaes relacionadas apurao dos indicadores no SIGPlan.

PPA 20082011 Inovaes: - Criao do Comit de Gesto do PPA; e - Excluso da obrigatoriedade de revises anuais do Plano no texto da Lei.

Dificuldades encontradas: - Existncia de programas no alinhados com a nova metodologia; Heterogeneidade na programao; - Ausncia de vnculo do gerente com a estrutura organizacional (pouca autonomia legal e administrativa); - Participao reduzida dos gerentes nos processos decisrios; e - Dificuldades na gesto de programas multissetoriais; - Elevada setorializao.

Dificuldades encontradas: - UMAs no apresentavam estrutura organizacional e pessoas exclusivamente dedicadas ao exerccio das funes; e - Continuidade das limitaes identificadas nos perodos anteriores no que se refere gesto dos programas (heterogeneidade da programao, participao reduzida dos gerentes nos processos decisrios, problemas na integrao entre gerncia programa e coordenao da ao etc.). Inovaes: Publicaes: Guia Metodolgico de Indicadores do PPA e do Guia Referencial para Medio de Desempenho.

Indicadores

Inovaes: - Construo de indicadores para programas Finalsticos e de Servio ao Estado como condio para a gesto por resultados; e - Definio dos atributos que devem ser apresentados nos indicadores de programas. Dificuldades encontradas: - Dificuldade de elaborao de indicadores para mensurar os resultados dos programas; e - Baixo percentual de apurao dos indicadores.

Dificuldades encontradas: Dificuldades encontradas: - Problemas na qualidade dos - Necessidade de capacitao indicadores; e para formulao de indicadores; e - Dificuldade de produo de - Continuidade das limitaes informaes tempestivas e identificadas nos perodos confiveis sobre a evoluo dos anteriores. indicadores de programa. (continua)

48

(continuao) PPA 20002003 Inovaes: Processo de avaliao sistemtico no Governo Federal em trs etapas: Programas, Setorial e Plano; e - Avaliao dos resultados para subsidiar a gesto dos programas, com nfase na aprendizagem institucional (autoavaliao). Dificuldades encontradas: - Falta de capacitao para a realizao das avaliaes; - Risco de ausncia de neutralidade nas avaliaes de programa; e - Pouca efetividade do relatrio de avaliao no processo de alocao do gasto. Inovaes: - Monitoramento em rede: gerente de programa, monitor do MP e SIGPlan para acompanhamento da execuo fsica e financeira; e - Monitoramento intensivo de programas e projetos estratgicos. PPA 20042007 Inovaes: Previso de avaliaes aprofundadas em programas selecionados; e - Construo do Modelo Lgico em programas do PPA; - Processo de reviso subsidiado pelas avaliaes. PPA 20082011 Inovaes: - Iniciativas de avaliao nos Ministrios (ex. MDS); e - Descentralizao de parte do processo de avaliao do Plano para os Ministrios.

Prticas de Avaliao

Dificuldades encontradas: - Inexistncia de evidncias da realizao de avaliaes aprofundadas em programas selecionados; e - Continuidade das limitaes identificadas no perodo anterior.

Dificuldades encontradas: - Ausncia de revises para a realizao de ajustes legais identificados nas avaliaes; e - Continuidade das limitaes identificadas nos perodos anteriores.

Dificuldades encontradas: Dificuldades encontradas: - Ausncia de evidncias de que - Dificuldades na interface entre as novas dimenses do os sistemas de monitoramento; e monitoramento tenham sido - Continuidade das limitaes realizadas de forma sistemtica e identificadas nos perodos peridica; anteriores. - Dificuldade de produo de informaes tempestivas e confiveis sobre a execuo fsica; e - Continuidade das limitaes identificadas no perodo anterior. Quadro 3 - Quadro resumo dos aspectos relacionados ao monitoramento e avaliao no perodo 2000-2011 Fonte: a autora

Prticas de Monitoramento

Inovaes: Novas dimenses para monitoramento: monitoramento de grupos de programas, temas transversais e de pactos de concertao; - Monitoramento intensivo de grupos selecionados de aes: Metas Presidenciais, PAC, Agenda Social; - Publicao de normativos contendo a definio de procedimentos e periodicidade para registro de informaes relacionadas ao desempenho dos programas e das aes do PPA no SIGPlan; e - Previso de interface entre os sistemas setoriais de informaes gerenciais e o SIGPlan.

Inovaes: - Iniciativas de monitoramento nos Ministrios (MEC, MDS); e - Monitoramento dos programas subsidiado por mais de um sistema: SigPlan, SisPAC e Infrasigs.

Dificuldades encontradas: - Dificuldades na gesto de restries; Qualidade precria das informaes; - Baixo percentual de registro da execuo fsica; e - Coordenao inadequada nos Ministrios para a obteno de informaes, sobretudo em relao aos resultados.

49

A partir das dificuldades encontradas na implementao dessas prticas na experincia do PPA, no perodo 20002011, possvel identificar um conjunto de desafios para que os esforos de monitoramento e de avaliao possam alcanar seu principal objetivo: a gerao de informaes confiveis para o processo de tomada de deciso tanto na gesto quanto na alocao dos recursos disponveis. Nesse sentido, constituem-se desafios para a construo de sistemas de monitoramento e de avaliao no setor pblico: demanda e uso das informaes um dos principais aspectos apresentados no referencial terico que a efetividade dos instrumentos de monitoramento e de avaliao est diretamente relacionada ao real uso das informaes. Dessa forma, a consolidao de um sistema de monitoramento e de avaliao requer apoio poltico e compromisso dos governos quanto ao uso das informaes disponibilizadas por aqueles instrumentos; identificao de responsveis a experincia mostra a necessidade de

responsabilizao pelo alcance dos resultados e pela coordenao dos registros existentes acerca do desempenho do programa. Isso porque a gesto orientada para resultados pressupe o gerenciamento e a prestao de informaes sobre a atuao governamental. Observa-se tambm que a responsabilizao deve vir acompanhada de maior autonomia no que se refere ao gerenciamento dos recursos; mapeamento dos arranjos institucionais envolvidos na implementao do programa a complexidade dos programas de governo, a descentralizao de sua execuo, a dimenso territorial do pas e a pluralidade de atores envolvidos em sua implementao exigem que o monitoramento e a avaliao dos programas levem em considerao a influncia dos arranjos institucionais existentes para a obteno de informaes mais aderentes realidade dos programas; seletividade no monitoramento e na avaliao observa-se que todos os PPAs fizeram recortes na programao para o acompanhamento diferenciado de um grupo de programas. A seletividade nas prticas de monitoramento e de avaliao positiva diante da impossibilidade de um sistema central de monitoramento e de avaliao acompanhar de forma aprofundada toda a programao. Dessa forma, considera-se que a definio de um grupo prioritrio permite a produo de informaes qualificadas sobre as diferentes etapas dos processos de gesto de cada programa; existncia de um rgo coordenador o sucesso de um Sistema de Monitoramento e Avaliao depende de uma coordenao forte que, entre outras atribuies: fomente a

50

publicidade dos resultados; incentive o desenvolvimento de prticas de monitoramento e de avaliao nos rgos setoriais; desenvolva mecanismos de incentivos participao da sociedade e do Poder Legislativo no acompanhamento e na avaliao das polticas pblicas; promova a constante capacitao dos envolvidos nos processos de monitoramento e de avaliao; e atue para que as informaes sejam efetivamente incorporadas aos processos decisrios a partir do envolvimento das instncias decisrias na anlise dos resultados; adoo de processos sistemticos de monitoramento e de avaliao a adoo de processos sistemticos no deve ser associada padronizao excessiva dos procedimentos, mas existncia de regularidade na obteno da informao, aliada coleta de um conjunto mnimo de informaes que permita a comparabilidade ao longo do tempo; construo de indicadores de resultados mensurveis e coerentes a experincia passada demonstrou que um dos problemas para a aferio dos indicadores de resultados estava na impreciso dos objetivos dos programas. Dessa forma, para que se possa ter indicadores consistentes, faz-se necessria a definio clara dos objetivos a serem alcanados pela atuao governamental; e coexistncia e interoperabilidade entre os sistemas de informao no mbito do setor pblico outro aspecto importante na construo de um Sistema de Monitoramento e Avaliao o reconhecimento dos limites de sistemas centrais voltados para todo o governo (simplificao e generalizao). Por esse motivo, considera-se recomendvel estimular o uso de sistemas gerenciais nos vrios nveis responsveis pela execuo dos programas de governo. Especificamente em relao ao PPA 20122015, verifica-se que o MP promoveu mudanas na dimenso ttica do Plano a partir da aproximao dos programas com os temas de poltica pblica. Na dimenso operacional, a Portaria SOF n 103, de 19 de outubro de 2012, estabeleceu o sistema de acompanhamento da execuo oramentria. Nesse sentido, alm dos desafios mencionados anteriormente, verifica-se a necessidade do alinhamento das informaes disponibilizadas nas duas dimenses, visto que a materializao da poltica pblica acontece, em grande parte, com a implementao das aes constantes do Oramento.

51

ASPECTOS QUE INFLUENCIARAM NA EFETIVA UTILIZAO DOS INDICADORES DE PROGRAMAS NO PERODO 20002011

6.1 Contextualizao

A gesto de programas orientada para a obteno de resultados no setor pblico demanda a utilizao de instrumentos adequados para se aferir os resultados da atuao governamental. Do ponto de vista do gerenciamento dos programas do PPA, o indicador um importante instrumento para a aferio dos resultados dos programas. A partir do PPA 20002003, o uso de indicadores foi incorporado na gesto dos programas de governo. A proposta que os indicadores sirvam como balizadores da atuao do programa a partir da aferio sistemtica de ndices que permitam mensurar o nvel de alcance dos objetivos pretendidos. Nesse sentido, para que se possa medir os resultados promovidos com a implementao de um determinado programa, o indicador deve possuir um conjunto de atributos que, de acordo com os manuais de elaborao dos programas do Governo Federal, vigentes no perodo 20002011, seriam:

(i) (ii)

Denominao: forma pela qual o indicador ser apresentado sociedade; Frmula de Clculo: demonstra, de forma sucinta e por meio de expresses matemticas, o algoritmo que permite calcular o valor do indicador;

(iii)

Unidade de Medida: padro escolhido para mensurao da relao adotada como indicador;

(iv) (v)

Periodicidade: frequncia com a qual o indicador apurado; ndice de referncia: situao mais recente do problema e sua respectiva data de apurao;

(vi)

ndices esperados ao longo do PPA: situao que se deseja atingir com a execuo do programa, expresso pelo indicador, ao longo de cada ano do perodo de vigncia do PPA; e

(vii)

Fonte: rgo responsvel pelo registro ou produo das informaes necessrias para a apurao do indicador e divulgao peridica dos ndices (BRASIL, 2007d).

52

No entanto, de acordo com a bibliografia pesquisada, a utilizao dos indicadores de programas do PPA na anlise das polticas pblicas e na alocao dos recursos pblicos ainda incipiente. No perodo 20002011, identificam-se como principais limitaes na utilizao dos indicadores como instrumento de gesto dos programas: inadequao dos indicadores para mensurar os resultados dos programas; dificuldades na apurao dos indicadores; dificuldades de produo de informaes tempestivas e confiveis sobre a evoluo dos indicadores de programa; necessidade de capacitao para formulao de indicadores; e ausncia de relao das informaes de resultado nos processos de alocao dos recursos. Diante dos aspectos mencionados e dos reiterados apontamentos encontrados na pesquisada bibliogrfica acerca de deficincias nos indicadores de programas do PPA federal, a anlise a seguir apresenta possveis fatores que influenciaram na sua utilizao como instrumento de aferio dos resultados dos programas no perodo 20002011 no SIGPlan.

6.2 A Adequao dos Indicadores para Aferio dos Objetivos dos Programas

Durante o perodo 20002011, a tipologia dos programas sofreu alteraes de acordo com a metodologia de elaborao do PPA vigente na poca. Assim, nos PPAs 20002003 e 20042007, os programas eram classificados em: Finalsticos, Servio ao Estado, Gesto de Polticas Pblicas e Apoio Administrativo. No PPA 20082011, houve mudanas na metodologia, reduzindo a classificao dos programas a dois tipos: Finalsticos e Apoio s Polticas Pblicas e reas Especiais. As tabelas a seguir apresentam o total de programas existentes no perodo 20002011:
Programas Finalsticos Servio ao Estado 2000 337 14 2001 2002 339 329 14 12 2003 332 12 2004 313 19 2005 317 17 2006 292 15 2007 287 16 2008 224(1) .. .. .. 91 91 2009 215 .. .. .. 90 305 2010 215 .. .. .. 90 305 2011 215 .. .. .. 90 305

Gesto das Polticas Pblicas 35 36 36 35 50 46 44 43 Apoio Administrativo 3 3 3 3 2 2 2 2 Apoio s Polticas Pblicas e .. .. .. .. .. .. .. .. reas Especiais TOTAL 389 392 380 382 384 382 353 348 Tabela 1 - Total de programas constantes do PPA no perodo 2000-2011 por tipo Fonte: SIGPlan Nota: Sinais convencionais utilizados: .. No se aplica dado numrico. (1) Em 2008, nove programas permaneceram na base de dados em virtude da extraodinrios do exerccio anterior.

reabertura de crditos

53

importante observar que a obrigatoriedade da existncia de indicadores tambm mudou durante esse perodo. Nos PPAs 20002003 e 20042007, os indicadores deveriam estar presentes nos programas Finalsticos e de Servio ao Estado. Nos demais tipos de programas, o uso de indicadores era opcional, por se entender que estes no geravam bens ou servios diretos para a Sociedade ou o Estado. No que se refere ao PPA 2008 2011, a obrigatoriedade ficou reduzida aos programas Finalsticos. Para todos os casos, admitia-se a existncia de mais de um indicador por programa quando necessrio para avaliar sua efetividade. De acordo com o Grfico 1, observa-se um nmero expressivo de indicadores nos programas Finalsticos:

772 624 557 628 628 604

787

781 719 714 688 712

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

Grfico 1 - Total de indicadores em programas Finalsticos no perodo 2000-2011 Fonte: Elaborado com base nas informaes extradas dos relatrios do Ministrio do Planejamento, Oramento e Gesto Relatrio de Atividades (BRASIL, 2010b) e Relatrios de Avaliao do PPA.

No entanto, segundo os Acrdos n 102/2009 (BRASIL, 2009c) e n 117/2011-TCUPlenrio, de 26 de janeiro de 2011 (BRASIL, 2011c), os indicadores ainda necessitavam de aperfeioamentos para que fossem aferveis e coerentes com os objetivos dos programas. Vrios so os aspectos que contribuem para isso. Um deles pode estar no fato de os programas resultarem inicialmente de um inventrio de aes e projetos, conforme mencionado por Garcia (2000), no sendo desenhados, portanto, para serem acompanhados de forma gerencial. Outro possvel fator refere-se natureza dos problemas constantes na agenda governamental. Para Garcia (2000), prevalecem os problemas complexos que envolvem

54

mltiplas dimenses, o que ele denomina de problemas quase-estruturados. Tal fato torna mais complexo o desenho dos programas de governo e, por consequncia, a aferio de seus resultados. Nos dois casos, diante da dificuldade de se estabelecer correlao entre o objetivo do programa e os seus resultados, os indicadores provavelmente captam apenas parte do que est sendo realizado no mbito do programa. Numa perspectiva operacional, a adequao dos indicadores pode ser afetada pela ausncia de informaes tempestivas. Nesse sentido, a escassez de registros administrativos nos rgos setoriais se apresenta como uma possvel causa. Segundo Jannuzzi (2009, p.106):
No to comum encontrar, nos gabinetes e escritrios de gestores e tcnicos do setor pblico, especialmente em nvel estadual e dos grandes municpios, sistemas de monitoramento que permitam acompanhar, por meio de um conjunto consistente e atualizado de indicadores, a ao governamental, da alocao do gasto pblico ao impacto junto aos pblicos beneficirios.

Ademais, a inadequao dos indicadores um problema que passa pela necessidade de pessoal qualificado para a elaborao de indicadores coerentes e mensurveis. Alguns esforos foram promovidos no sentido de disseminar orientaes para a utilizao e para a construo de indicadores de desempenho e de resultados, como, por exemplo, a elaborao em 2009, pelo MP, dos documentos: Guia Metodolgico de Indicadores do PPA e Guia Referencial para Medio do Desempenho. No entanto, verifica-se que tais medidas ainda no se mostraram suficientes. Em 2011, o Acrdo n 117/2011 do TCU recomendou ao MP, com base no 3 do art. 1 do Decreto n 6.601, de 2008, que provesse os meios necessrios para capacitao de servidores envolvidos com a elaborao de programas e indicadores em todas as reas temticas do PPA 20082011 at o ltimo dia do plano (BRASIL, 2011, p.01).

6.3 A Apurao dos ndices dos Indicadores

A apurao dos indicadores de suma importncia para a prpria transparncia das aes de governo por evidenciar os resultados obtidos e reforar o comprometimento com a gesto orientada para resultados. Dessa forma, conforme verificado no referencial terico, o indicador deve ser apurado com regularidade e tempestividade para que possa contribuir para a gesto dos programas.

55

No perodo 20002011, o registro da apurao de indicadores era realizado de duas formas: por meio registro das informaes no mdulo de monitoramento ou durante o processo de avaliao. Nesse perodo, houve uma considervel evoluo na apurao dos indicadores. Dados extrados da base do SIGPlan revelam que apenas 34% dos indicadores tiveram seus ndices apurados no ano de 2000. Em 2008, porm, a apurao atingiu o seu maior percentual, alcanando 72,5%.

Grfico 2 - Percentual de indicadores finalsticos apurados no perodo 2000-2011 Fonte: Elaborado com base nas informaes extradas dos relatrios do Ministrio do Planejamento, Oramento e Gesto Relatrio de Atividades (BRASIL, 2010b) e Relatrios de Avaliao do PPA.

No que se refere apurao, o Grfico 2 demonstra que o perodo entre 2004 e 2008 apresentou maior crescimento na apurao dos indicadores (de 41,6% para 72,5%). Esse perodo coincide com a institucionalizao do Sistema de Monitoramento e Avaliao (SMA) do PPA 2004-2007, em que foram adotados procedimentos, definidos prazos e identificados responsveis pelo registro das informaes. Dessa forma, pode-se inferir que a previso normativa de tais medidas contribuiu para um maior nmero de registros dos ndices apurados. H que se ressaltar, porm, que o maior percentual de apurao no implica, necessariamente, na obteno de informaes de qualidade para o processo decisrio. Uma anlise qualitativa dos indicadores demandaria estudos especficos por programa. Entretanto, de acordo com a bibliografia pesquisada, o percentual de ndices no apurados ainda era considerado uma deficincia. O Relatrio Anual de Avaliao do PPA exerccio 2007 Ano Base 2006, por exemplo, registra que dentre as causas para a no apurao do ndice em 2006 so citados fatores como a inexistncia peridica de dados que

56

compem a frmula de clculo do indicador e a inadequao do indicador na medio do alcance do objetivo do programa (BRASIL, 2007b, p.31). Outro aspecto que influencia na obteno das informaes para a apurao est relacionado existncia de uma pluralidade de organizaes no processo de implementao das aes, resultantes dos processos de desconcentrao, descentralizao e delegao dos servios pblicos. Nesse sentido, merece destaque a observao de Vaitsman et al. (2006), que, ao relatar a experincia do MDS, parecem retratar a realidade de grande parte dos programas de governo, principalmente os executados de forma descentralizada:
A construo de indicadores de monitoramento e avaliao sobre as polticas e programas de desenvolvimento social feita a partir da coleta de dados primrios sobre os programas, nas vrias esferas em que atua a poltica: rgos municipais, estaduais e federais provedores de servios governamentais e no-governamentais, instncias de controle social, etc. O fato de os dados primrios serem alimentados por fontes to diversas e sobre as quais a SAGI, ou mesmo o MDS, muitas vezes no tem governabilidade alguma, consiste em um dos ns crticos da produo de indicadores confiveis, uma das condies para que o monitoramento e a avaliao sejam feitos de forma efetiva. (VAITSMAN, 2006, p. 30)

De modo geral, observa-se que as equipes tcnicas encontram obstculos para a obteno das informaes sobre o programa devido a dificuldades de coordenao e de integrao das diversas fontes, o que compromete a atualizao dos indicadores e, por consequncia, sua capacidade em gerar informaes tempestivas sobre os resultados do programa.

6.4 A Existncia de Parmetros de Referncia

Os ndices de referncia e do final do Plano retratam a situao inicial a ser modificada com a atuao governamental e a situao final que se pretende alcanar com a execuo do programa, respectivamente. O Grfico 3 apresenta o percentual de indicadores que no possuam tais ndices no perodo 20082011:

57

Grfico 3 - Percentual de indicadores com ndices em branco no perodo 2008-2011 Fonte: Elaborado com base nas informaes extradas dos Relatrios de Avaliao do PPA - perodo 20082011.

Observa-se um nmero expressivo de indicadores sem ndices de referncia e do final do Plano. Considerando-se que, ao longo do perodo 20002011, no houve alteraes na metodologia, no que se refere aos indicadores, o percentual de ndices em branco no ltimo PPA analisado merece ateno. Isso porque os ndices de referncia e do final do PPA so parmetros para o planejamento, o monitoramento e a avaliao dos programas de governo. A ausncia desses ndices impede o estabelecimento de parmetros de comparao, a aferio do nvel de desempenho do programa ao longo do tempo e, como consequncia, a verificao do grau de alcance dos objetivos do programa. No Grfico 3, chama a ateno o elevado percentual de indicadores sem ndices ao final do PPA. Tal fato pode ser considerado como uma evidncia de fragilidade no planejamento da atuao governamental, uma vez que no h clareza dos resultados que se pretende alcanar ao final do Plano.

6.5 A Relao das Informaes de Resultado nos Processos de Alocao de Recursos

Em um contexto em que recursos so limitados, as presses para melhor uso dos recursos so crescentes. Informaes sobre resultados so essenciais para melhor tomada de deciso, no apenas no nvel gerencial, mas no que se refere definio dos recursos a serem alocados nas polticas pblicas. No entanto, integrar informaes de resultados deciso sobre a alocao de recursos uma tarefa complexa, sobretudo, na realidade brasileira, em

58

que esto envolvidas no processo oramentrio diversas variveis, tais como: despesas obrigatrias, vinculao de despesas, descentralizao de recursos, contingenciamentos oramentrios entre outras. Ao realizar um estudo de caso, em trs rgos do Governo Federal, a respeito da apurao dos indicadores dos programas do PPA e sua influncia no processo oramentrio no PPA 20042007, Cavalcante (2007, p. 143) observa que:
Quanto relao entre indicadores e processo de alocao de recursos, notase que no h causalidade entre as variveis. De modo geral, o desempenho dos programas, mensurado pelos indicadores, no impacta, pelo menos em termos quantitativos, as dotaes de recursos ou as suas execues oramentrias dos programas.

Em relao a esse aspecto, Guzmn (2006), ao retratar a experincia chilena, ressalta que essa correlao nem sempre acontece de forma direta. Segundo a autora, as decises no processo oramentrio envolvem variveis de natureza tcnica e polticas que, muitas vezes, excedem s informaes de desempenho. Apesar dos possveis obstculos, considera-se necessrio o aprimoramento dos mecanismos de aferio dos resultados da ao governamental para maior utilizao dessas informaes nos processos de tomada de deciso sobre alocao de recursos. Isso porque, conforme apresentado no referencial terico, h consenso nos ganhos que as informaes sobre resultados podem proporcionar, no apenas no gerenciamento interno dos programas, mas na consolidao de um oramento efetivamente orientado para resultados. Assim, observa-se que, aps uma dcada da implementao dos sistemas de monitoramento e de avaliao no Governo Federal e da utilizao dos indicadores na aferio do desempenho dos programas, estabelecer indicadores consistentes, confiveis, estveis e tempestivos ainda representa um desafio para os programas de governo. No que se refere anlise realizada, ressalta-se, tambm, a dificuldade operacional de cruzamento das informaes relacionadas a indicadores para a realizao de anlises mais aprofundadas. O sistema de informao gerencial do rgo central no disponibiliza funcionalidades que permitam a realizao de pesquisas acerca dos indicadores, nem fornece relatrios que permitam a investigao de todos os atributos. No sistema, as informaes dos indicadores s podem ser obtidas se for acessado programa por programa.

59

CONCLUSO

Nos ltimos anos observa-se uma maior discusso sobre a importncia do uso de sistemas de monitoramento e de avaliao como forma de viabilizar o acompanhamento sistemtico do desempenho das polticas pblicas e de tornar mais eficiente a aplicao dos recursos pblicos. Assim, as prticas de monitoramento e de avaliao surgem como instrumentos-chave na gesto por resultados, na medida em que fornecem aos governos e sociedade elementos para identificar os resultados e as restries encontradas durante a implementao das polticas pblicas. H um vasto campo de aplicao dessas prticas no setor pblico. As informaes disponibilizadas podem auxiliar: no gerenciamento de polticas, programas e projetos, fornecendo aos gestores informaes para o aperfeioamento da ao governamental; na formulao do oramento, com vistas melhor aplicao dos recursos; na aprendizagem organizacional, por meio da identificao de limitaes e oportunidades; e na transparncia e controle das aes governamentais, demonstrando sociedade os resultados das polticas pblicas. Cumpre ressaltar, ainda, que a nfase em um ou mais dos aspectos mencionados pode variar de acordo com o objetivo pretendido, os estgios de desenvolvimento e as necessidades de cada pas, conforme apresentado no captulo referente s experincias internacionais. No entanto, h consenso de que a essncia desses sistemas fornecer informaes gerenciais em tempo oportuno, de forma a contribuir para a tomada de deciso. Do contrrio, tornam-se apenas instrumentos burocrticos que no agregam qualidade para a poltica pblica. No caso brasileiro, a adoo das prticas de monitoramento e de avaliao resultou da redefinio da atuao do Estado com nfase na obteno de resultados. Como importante marco para a adoo dessas prticas no mbito federal, merece destaque o modelo de gesto do PPA 20002003. Esse modelo introduziu importantes mudanas na gesto pblica, tais como: a adoo de programas como unidade de gesto, a definio de um gerente responsvel pela sua execuo e a previso de mecanismos de monitoramento e de avaliao dos resultados alcanados. A anlise do perodo 20002011, realizada a partir de pesquisas bibliogrfica e documental, evidenciou avanos no que se refere implementao dessas prticas no mbito do Governo Federal, como, por exemplo: a institucionalizao do Sistema de Monitoramento e Avaliao (SMA) do PPA; as iniciativas bem-sucedidas de monitoramento e de avaliao

60

em alguns rgos setoriais; a responsabilizao dos atores envolvidos nos processos de execuo; e o reconhecimento da importncia dessas prticas no ciclo de gesto das polticas pblicas. Tais iniciativas possibilitaram um acesso maior s informaes dos programas e das aes implementadas pelo Governo Federal. Entretanto, verifica-se a existncia de restries que comprometem a qualidade e a utilizao das informaes produzidas na gesto dos programas do PPA. Entre as limitaes constatadas na pesquisa, destacam-se: a baixa apropriao de informaes de resultados nos processos de deciso, sobretudo no que se refere a alocao dos recursos pblicos; a falta de capacitao dos envolvidos nos processo de monitoramento e de avaliao; a baixa autonomia dos envolvidos no processo de gesto dos programas; e a insuficincia de informaes sobre resultados apresentados pelos processos de monitoramento e de avaliao. Na maior parte dos casos, considera-se que essas limitaes resultam das estratgias adotadas para implementao do modelo. Outro aspecto da pesquisa refere-se ao uso dos indicadores na gesto dos programas do PPA. A anlise dos indicadores, a partir dos documentos produzidos pelo MP e pelo TCU, bem como de informaes constantes do SIGPlan no perodo 20002011, mostra um crescimento de sua apurao nos ltimos anos. Porm, foram encontrados na pesquisa bibliogrfica reiterados apontamentos acerca de deficincias dos indicadores na aferio de resultados e de sua pouca utilizao nos processos decisrios. Dessa forma, buscou-se identificar possveis fatores que influenciaram na utilizao dos indicadores como instrumentos de aferio dos resultados dos programas. A anlise do perodo 20002011 permite concluir que houve maior disseminao das prticas de monitoramento e de avaliao no mbito do Governo Federal. Todavia, isto no ocorreu de forma homognea, permanecem ainda desafios a serem superados para sua efetiva orientao para resultados, tais como: a gerao tempestiva de informaes; o mapeamento de arranjos institucionais envolvidos na implementao do programa; a seletividade no monitoramento e na avaliao; a coordenao efetiva dos processos de monitoramento e de avaliao no mbito do rgo central; a adoo de processos sistemticos de monitoramento e de avaliao; a construo de indicadores de resultado, mensurveis e coerentes com o objetivo do programa; o incentivo ao desenvolvimento das prticas de monitoramento e de avaliao nos rgos setoriais; e a apropriao das informaes sobre resultados na alocao dos recursos pblicos e na gesto das polticas pblicas. Considera-se que esses desafios continuam presentes na gesto do novo PPA 2012 2015. Isso porque se observa que as principais limitaes nas atividades de monitoramento e

61

de avaliao, no perodo 20002011, estavam relacionadas deficincia na implementao dos mecanismos previstos. Por fim, ressalta-se que o estudo no teve a pretenso de desenvolver um modelo ideal de sistema de monitoramento e de avaliao para o Governo Federal. O trabalho realizado limitou-se a apresentar, de forma consolidada, um conjunto de avanos e dificuldades encontrados no perodo 20002011, bem como os desafios para a consolidao de um Sistema de Monitoramento e Avaliao orientado para resultados no mbito do Governo Federal.

62

REFERNCIAS

ABRUCIO, Fernando Luiz. O impacto do modelo gerencial na administrao pblica: um breve estudo sobre a experincia internacional recente. Cadernos ENAP. n. 10: Braslia, 1997, p. 52. Disponvel em: <http://www.enap.gov.br/index.php?option=content&task=view&id=258>. Acesso em: 10 dez. 2011.

ACEVEDO, et al. (Editors). Challenges in monitoring and evaluation: an opportunity to institucionalize M&E systems. World Bank. Washington. DC. Junho. 2010. p. 25-33. Disponvel em: <http://siteresources.worldbank.org/INTLACREGTOPPOVANA/Resources/8404421255045653465/Challenges_in_M&E_Book.pdf>. Acesso em: 12 nov. 2011.

BRASIL, Presidncia da Repblica. Plano Diretor da Reforma do Aparelho do Estado. Braslia. 1995. Disponvel em: <http://www.bresserpereira.org.br/Documents/MARE/PlanoDiretor/planodiretor.pdf>. Acesso em: 10 nov. 2011.

______, Decreto n 2.829 de 29 de outubro de 1998. Estabelece normas para a elaborao e execuo do Plano Plurianual e dos Oramentos da Unio, e d outras providncias. Disponvel em: <http://www.planalto.gov.br/ccivil_03/decreto/D2829.htm>. Acesso em: 20 dez. 2011.

______, Lei n 9.989 de 21 de julho de 2000. Dispe sobre o Plano Plurianual para o perodo 2000/2003. Disponvel em: <http://www.planalto.gov.br/ccivil_03/leis/L9989.htm>. Acesso em: 15 jan. 2012.

______, Decreto n 5.233 de 06 de outubro de 2004. Estabelece normas para a gesto do Plano Plurianual 2004-2007 e de seus programas e d outras providncias. Disponvel em: <http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/decreto/d5233.htm>. Acesso em: 10 jun. 2012.

______, Portaria n 198 de 18 de julho de 2005. Estabelece os procedimentos e a periodicidade para registro das informaes com o desempenho das aes do PPA, no Sistema de Informaes Gerenciais e de Planejamento - SIGPlan. Disponvel em: <http://www.sigplan.gov.br/download/ppa2004-2007/portariamp198-sigplan.pdf>. Acesso em: 11 jun. 2012.

63

______, Lei n 11.653 de 07 de abril de 2008. Dispe sobre o Plano Plurianual para o perodo 2008/2011. Disponvel em: <http://www.planalto.gov.br/ccivil_03/_ato20072010/2008/Lei/L11653.htm>. Acesso em: 10 jun. 2012.

______, Decreto n 6.601 de 10 de outubro de 2008. Dispe sobre a gesto do Plano Plurianual 2008-2011 e de seus programas. Disponvel em: <https://www.planalto.gov.br/ccivil_03/_ato2007-2010/2008/decreto/d6601.htm>. Acesso em: 11 jul. 2012.

______, Lei n 12.352 de 28 de Dezembro de 2010. Altera o Anexo I da Lei n 11.653, de 7 de abril de 2008, que dispe sobre o Plano Plurianual para o perodo 2008-2011. Disponvel em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Lei/L12352.htm>. Acesso em: 11 jul. 2012.

______, Portaria SOF n 103 de 19 de Outubro de 2012. Estabelece o acompanhamento da execuo oramentria das aes constantes na programao das Leis Oramentrias Anuais LOAs Disponvel em: <http://www.orcamentofederal.gov.br/bib/legislacao/portarias/Ptr_sof_103_de_191012.pdf>. Acesso em: 22 Out. 2012.

______, Ministrio do Planejamento, Oramento e Gesto, Secretaria de Oramento Federal. Manual Tcnico de Oramento MTO-02. Braslia, 1999. 186p. Disponvel em: <http://www.orcamentofederal.gov.br/informacoesorcamentarias/manualtecnico/MTO_2000. pdf>. Acesso em: 10 jan. 2012.

______, ______, Secretaria de Gesto. Guia Referencial para Medio de Desempenho na Administrao Pblica. Braslia, 2009a. Disponvel em: <http://www.gespublica.gov.br/ferramentas/pasta.20100524.1806203210/guia_indicadores_ju n2010.pdf>. Acesso em: 25 nov. 2011.

______, ______, Coordenao Geral de Planejamento, Oramento e Finanas. Relatrio de Atividades: 2009. Braslia: 2010b. Disponvel em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/publicacao/relatorio/100609_P UB_rel_relatividade2009.pdf> Acesso em: 20 set. 2012

______, ______, Secretaria de Planejamento e Investimentos Estratgicos. Plano de Gesto do PPA 2004-2007. Braslia, 2004a. Disponvel em:<http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/plano_plurianual/mode lo_gestao/081009_PPA_MG_planoGes.pdf>. Acesso em: 20 jun. 2012.
______, ______, ______. Seminrio de Avaliao: Experincias Internacionais Canad,

Estados Unidos e Reino Unido. Braslia, 2004b. Mimeografado.

64

______, ______, ______. Plano Plurianual 2000-2003 Anlise dos Quatros Anos de Implementao. Braslia, dez. 2004c. Mimeografado. ______, ______, ______. Relatrio Anual de Avaliao Exerccio 2004 Ano Base 2003. Braslia, 2004d. Disponvel em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/plano_plurianual/avaliacao _PPA/relatorio_2004/04_PPA_Aval_avaliacao.pdf>. Acesso em: 10 ago. 2012. ______, ______, ______. Relatrio Anual de Avaliao Exerccio 2005 Ano Base 2004. Braslia, 2005. Disponvel em: <http://www.planejamento.gov.br/link_secretaria.asp?cod=258&cat=155&sec=10&sub=545> . Acesso em: 10 ago. 2012. ______, ______, ______. Relatrio Anual de Avaliao Exerccio de 2006 Ano Base 2005. Braslia, 2006. Disponvel em: <http://www.planejamento.gov.br/link_secretaria.asp?cod=259&cat=155&sec=10&sub=545> . Acesso em: 12 ago. 2012.

______, ______, ______. Monitoramento em Nmeros do Plano Plurianual 2004-2007: Exerccio 2007 Ano Base 2006. Braslia, 2007a. Disponvel em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/plano_plurianual/monitora mento/06_PPA_Monit_numeros.pdf >.Acesso em: 12 ago. 2012. ______, ______, ______. Relatrio Anual de Avaliao Exerccio 2007 Ano Base 2006. Braslia, 2007b. Disponvel em: <http://www.planejamento.gov.br/link_secretaria.asp?cod=257&cat=155&sec=10&sub=545> Acesso em: 12 ago. 2012.

______, ______, ______. Manual de Elaborao: Plano Plurianual 2008/2011. Braslia, 2007c.

______, ______, Secretaria de Planejamento e Investimentos Estratgicos. Manual de Avaliao do PPA 2008-2011 Exerccio 2008 - Ano base 2008. Braslia, 2009b. < http://www.sigplan.gov.br/download/manuais/ManualdeAvalia%C3%A7%C3%A3o_final_an obase2008.pdf> Acesso em 30 nov. 2011.

______, ______, ______. Indicadores de programas: guia metodolgico. Braslia, 2010a. Disponvel em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/100324_indica dores_programas-guia_metodologico.pdf>. Acesso em: 30 ago. 2011.

65

______, ______, ______. Plano plurianual 2012-2015: Mensagem Presidencial. Braslia, 2011a. Disponvel em: <http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/PPA/2012/mensagem_pres idencial_ppa.pdf> Acesso em: 15 jun. 2012.

______, Tribunal de Contas da Unio. Relatrio e parecer prvio sobre as contas do governo da repblica Exerccio 2007. Braslia, 2008. Disponvel em: <http://www.cgu.gov.br/Publicacoes/PrestacaoContasPresidente/RelatorioPareceresTCU/RPP 2007.pdf> Acesso em: 10 ago. 2012.

______, ______. Processo n TC 029.094/2008-0. Assunto: Acompanhamento. Papel da Secretaria de Planejamento e Investimentos Estratgicos do Ministrio do Planejamento na Elaborao do Plano Plurianual. Anlise Quantitativa e Qualitativa dos Atributos e Indicadores dos Programas do PPA. Recomendaes. Acrdo n 102/2009 TCU Plenrio, de 4 de fevereiro de 2009. Relator: Ministro Augusto Nardes. Braslia, 2009c. Disponvel em: <http://www.camara.gov.br/Internet/comissao/index/mista/orca/tcu/..%5Ctcu%5CPDFs%5C Acordao1022009-TCU-Plen%C3%A1rio.pdf>. Acesso em: 20 jun. 2011.

______, ______. Relatrio de Levantamento dos Sistemas de Monitoramento e Avaliao dos rgos da Administrao Direta do Poder Executivo. Braslia, 2011b. Disponvel em: <http://portal2.tcu.gov.br/portal/page/portal/TCU/comunidades/programas_governo/areas_atu acao/administracao_publica/Relat%C3%B3rio%20Levantamento%20Sistemas%20de%20Mo nitoramento%20e%20Aval.pdf>. Acesso em: 20 abr. 2012.

______, Tribunal de Contas da Unio. Processo n TC 014.899/2009-2. Assunto: Relatrio de Auditoria Operacional. Sistema de Planejamento e Oramento e Federal. Recomendaes. Acrdo n 117/2011 TCU Plenrio de 26 de janeiro de 2011. Relator: Ministro Raimundo Carreiro. Braslia, 2011c. Disponvel em: <http://www.camara.gov.br/internet/Comissao/index/mista/orca/tcu/..%5Ctcu%5CPDFs%5C Acordao1172011-TCU-Plen%C3%A1rio.pdf >. Acesso em: 15 set. 2012.

BRESSER-PEREIRA, Luiz Carlos. A reforma gerencial do Estado de 1995. Revista de Administrao Pblica, Rio de Janeiro, v. 34, n. 4, p. 55-72, jul/ago. 2000. Disponvel em: <http://bresserpereira.org.br/papers/2000/81RefGerenc1995-INA.pdf>. Acesso em: 30 jun. 2011.

CALMON, Ktya Maria Nasiaseni; GUSSO, Divonzir Arthur. A Experincia de Avaliao do Plano Plurianual (PPA) do Governo Federal do Brasil. Braslia : Ipea, 2002. Disponvel em: <http://www.ipea.gov.br/pub/ppp/ppp_25.html>. Acesso em: 31 jan. 2012.

66

CAVALCANTE, Pedro Luiz. O Plano Plurianual: resultados da mais recente reforma do Planejamento e Oramento no Brasil. Braslia, 2007. Revista do Servio Pblico. Vol. 58, n 2; p. 129-150. Abr/Jun 2007.

COHEN, E.; FRANCO, R., 2004. Avaliao de projetos sociais. Petrpolis, RJ: Vozes, 6 ed.

CORE, Fabiano. Reformas oramentrias no Brasil: uma trajetria de tradio e formalismo na alocao dos recursos pblicos. Trabalho apresentado ao IX Congreso Internacional Del CLAD sobre la Reforma del Estado y de la Administracin Pblica, 2-5 nov, Madrid, 2004. Disponvel em: http://pt.scribd.com/doc/52025210/Reformas-orcamentarias-no-Brasil Acesso em: 30 jun. 2011.

FERREIRA, Helder; CASSIOLATO, Martha; GONZALEZ, Roberto. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelo lgico do programa segundo tempo. Texto para discusso n. 1369. Rio de Janeiro: IPEA. 2009. Disponvel em: <http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_1369.pdf>. Acesso em: 25 jun. 2012.

GARCES, Ariel; SILVEIRA, Jos Paulo. Gesto pblica orientada para resultados no Brasil. Revista do Servio Pblico, v. 53, n. 4, out./dez. 2002.

______, Ariel; VALLE, Beatrice. A Retomada do Planejamento Governamental. In: Planejamento e oramento governamental. Organizadores: James Giacomoni e Jos Luiz Pagnussat Braslia: ENAP, 2006. v. 2. Disponvel em: <http://www.enap.gov.br/index.php?option=com_docman&task=doc_view&gid=2928>. Acesso em: 22 mai. 2011.

GARCES, Ariel. El plano plurianual y el M&E en Brasil. In: MAY, Ernesto (Editores). Hacia la institucionalizacin de los sistemas de monitoreo y evaluacin en Amrica Latina y el Caribe: actas de una conferencia del banco mundial. Banco Mundial. Washington. DC. 2006. p. 67-68. Disponvel em: <http://www.worldbank.org/oed/ecd/docs/proceedings_la_sp.pdf>. Acesso em: 14 mai. 2012.

GARCIA, Ronaldo. A Reorganizao do Processo de Planejamento do Governo Federal: o PPA 2000-2003. IPEA. Texto para Discusso n 726. Braslia, maio de 2000.

______, Ronaldo. Subsdios para Organizar Avaliaes da Ao Governamental. IPEA. Texto para Discusso n 776. Braslia, janeiro de 2001.

GIACOMONI, James. Oramento Pblico. 15a edio. So Paulo: Atlas, 2010. p. 353.

67

GIL, Antnio Carlos. Mtodos e tcnicas de pesquisa social. 6 ed. So Paulo. Atlas. 2009.

GRAU, Nuria C.; BOZZI, Sonia O. Fortalecimento de los Sistemas de Monitoreo y Evaluacin (M&E) em Amrica Latina: Informe Comparativo de 12 pases. Traduo de Ernesto Montes-Bradley y Estayes. Natal, RNA: SEARH/RN, 2008 146p. Traduo de: Fortalecimento de los sistemas de monitoreo y evaluacin (M&E) en la America Latina: informe comparativo de 12 pases Venezuela: CLAD, 2008.

GUBBERMAN, Gustavo; KNOOP, Glauco. Monitorar a prtica para aprimorar o que se aprende: examinando sistemas internacionais de M&A como benchmarking para a experincia brasileira. Revista Brasileira de Monitoramento e Avaliao. n 2, julhodezembro. 2011.

GUZMN, Marcela. A experincia chilena. In: MAY, Ernesto (Editores). Hacia la institucionalizacin de los sistemas de monitoreo y evaluacin en Amrica Latina y el Caribe: actas de una conferencia del banco mundial. Banco Mundial. Washington. DC. 2006. p. 67-68. Disponvel em: <http://www.worldbank.org/oed/ecd/docs/proceedings_la_sp.pdf>. Acesso em: 14 mai. 2012.

JANNUZZI, Paulo. A Estruturao de sistemas de monitoramento e especificao de pesquisas de avaliao, os problemas dos programas pblicos no Brasil. In: Reflexes para Ibero-Amrica. Caderno EIAPP-ENAP, 2009. p. 101-138. 2009.

KUSEK, Jody Zall; RIST, Ray C. Ten Steps to a Results-Based Monitoring and Evaluation System. Washington: The World Bank, 2004.

LPEZ, G. Roberto; MORENO, G. Maurcio. La Gestin para Resultados en El Desarrollo: avances y desafios em Amrica y El Caribe. Banco Interamericano de Desarollo, 2010. Disponvel em: http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=35532834. Acesso em: 10 out. 2011.

MACKAY, Keith. Institucionalizacin de los sistemas de seguimiento y evaluacin para mejorar la gestin del sector pblico. IEG. Banco Mundial. Washington, D.C. 2006. Disponvel em: http://lnweb90.worldbank.org/oed/oeddoclib.nsf/DocUNIDViewForJavaSearch/7BDD0F48F 3C6A0C18525710E006B676B/$file/monitoring_evaluation_psm_spanish.pdf. Acesso em: 23 set. 2011.

68

______, Keith. How to Build M&E Systems to Support Better Government. IEG. The World Bank. Washington, D.C. 2007 <http://www.worldbank.org/ieg/ecd/docs/How_to_build_ME_gov.pdf>. Acesso em: 05 de mar. 2012

MAKN, Marcos Pedro. La gestin por resultados, es sinnimo de presupuesto por resultados? Revista Internacional de Oramento Pblico, ano 36, edio n. 66, Mar/Abr. 2008. Disponvel em: http://www.asip.org.ar/sites/default/files/66-revista-internacional-depresupuesto-publico-asip_0.pdf. Acesso em 15 mar. 2012.

MATSUDA, Yasuhiko; SHEPHERD, Geoffrey; WENCESLAU, Juliana. Gesto e avaliao no contexto do Plano Plurianual (PPA): institucionalizao sem impacto? Banco Mundial, 2006.

MEIRELLES, Hely Lopes. Direito Administrativo Brasileiro. 27 Edio. So Paulo: Editora Malheiros, 2006. p. 94

OCDE. Glossary of Key Terms in Evaluation and Results-Based Management. Paris, 2002. Disponvel em: http://www.oecd.org/document/8/0,3746,en_2649_34435_45600899_1_1_1_1,00.html. Acesso em: 02 mai. 2012

ORMOND, Derry; LOFFR, Elke. A nova gerncia pblica. Revista do Servio Pblico, v.50, n. 2, p. 66-96. 1999.

OSBORNE, David; GAEBLER, Ted. Reinventando o Governo: Como o esprito empreendedor est transformando o setor pblico. Braslia. Co-Edio Ed. MH. Comunicao/Escola Nacional de Administrao Pblica ENAP, 1994.

SILVA, Edna Lcia da; MENEZES, Estera Muszkat. Metodologia da pesquisa e elaborao de dissertao. 4. ed. rev. atual. Florianpolis: UFSC, 2005.

UNESCO. Abordagem de programa, gesto e monitoramento por resultados (RBM) aplicada pela UNESCO: princpios norteadores. Traduo e adaptao do documento publicado originalmente pelo Departamento de Planejamento Estratgico (DPS). Representao da UNESCO no Brasil, Braslia, Junho, 2011. Disponvel em: <http://unesdoc.unesco.org/images/0017/001775/177568por.pdf> Acesso em: 24 Abr. 2012.

VAITSMAN, Jeni; RODRIGUES, Roberto; PAES-SOUSA, Rmulo. O Sistema de Avaliao e Monitoramento das Polticas e Programas: a experincia do Ministrio do Desenvolvimento Social e Combate Fome do Brasil. UNESCO. 2006.

69

VAZ, Carlos. O monitoramento do planejamento governamental em ambientes complexos. In: Reflexes para Ibero-Amrica. Caderno EIAPP-ENAP, 2009. p. 37-44.

WEISS, Carol H. Evaluation. 2. Ed. Upper Saddle River: Prentice-Hall, Inc., 1998. p. 5-6.

WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. (2004). Handbook of Practical Program Evaluation. 2 nd ed. San Francisco, CA: Jossey-Bass. p. 1-5

SCHICK, Allen. Getting Performance Budgeting to Perform. 2008. 23p. Disponvel em: <http://siteresources.worldbank.org/INTMEXICO/Resources/AllenSchickFinal.pdf>. Acesso em 16 dez. 2011.