Avaliao Qualificada de Resultados: A Presena dos Conceitos de Efetividade, Eficcia

e Eficincia na Gesto do Plano Plurianual 2004/2007

Autoria: Rubem Pinto de Melo, Jos Moreira da Silva Neto

RESUMO

As reformas gerenciais da administrao pblica tm sido empreendidas no sentido de

assegurar mecanismos que possibilitem maior efetividade, eficcia e eficincia na gesto dos
recursos pblicos. Nesse sentido, o sistema integrado de planejamento e oramento introduziu
na administrao pblica brasileira, a partir do PPA 2000/2003 Programa Avana Brasil, um
ciclo de gesto que integra as atividades de planejamento, monitoramento, avaliao e reviso
dos programas e do Plano Plurianual. O objetivo deste artigo foi verificar se na etapa de
avaliao, inserida no ciclo de gesto da administrao pblica, o desempenho dos programas
e do plano plurianual medido segundo os critrios declarados na etapa de planejamento de
forma a qualificar os resultados da ao governamental. Para esse fim, foi empreendida uma
pesquisa documental, utilizando a tcnica da Anlise de Contedo para a identificao no
Relatrio Anual de Avaliao do PPA 2004/2007 exerccio 2007, ano base 2006, da
presena e da intensidade de elementos reveladores dos conceitos de efetividade, eficcia e
eficincia na gesto dos programas e do Plano Plurianual. Foi identificada uma presena
apenas latente dos critrios procurados no Relatrio Anual de Avaliao do PPA 2004/2007.
Embora tenha sido detectada alguma preocupao dos gerentes de programa com questes
vinculadas a esses conceitos, no se pode afirmar que os programas sejam avaliados no
sentido de se medir seu desempenho de acordo com os critrios definidos no Decreto n.
5.233/2004. A inobservncia desses critrios em todo o ciclo da gesto gera uma assimetria
entre o planejamento e a execuo dos programas governamentais, inviabilizando uma
avaliao mais qualificada dos resultados.

Introduo

Ao mesmo tempo em que a burocracia estatal apontada como entrave ao

desenvolvimento do pas os cidados tendem a exigir cada vez mais do Estado. Em virtude
disso, o principal propsito das reformas gerenciais tem sido o de assegurar mecanismos
necessrios ao aumento da eficincia, da eficcia e da efetividade da administrao pblica.
(BRESSER-PEREIRA, 1993; OSBORNE E GAEBLER, 1994; MATIAS-PEREIRA, 2002;
MOORE, 2002). Seria possvel, no entanto, identificar objetivamente o alcance desses
propsitos nos resultados dos programas governamentais?

No Brasil, o processo integrado de planejamento e oramento pblicos configura-se

como um desses mecanismos e tem o Plano Plurianual (PPA), que organiza a atuao do
governo em programas, como seu principal instrumento.

De acordo com Nader (2005), foi a partir do PPA 2000-2003, denominado Programa
Avana Brasil, que se introduziu na administrao pblica brasileira, de maneira
institucionalizada, um ciclo de gesto composto pelas atividades de planejamento,
monitoramento, avaliao e reviso dos programas e do plano plurianual com o propsito de
orientar o gasto pblico por resultados para a sociedade. Ainda se procurou desenvolver uma
cultura de controles gerenciais e de avaliao em trs dimenses da ao governamental: a
efetividade, a eficcia e a eficincia.

Desde ento, a presena desses conceitos nos planos plurianuais seguintes foi
constante. O Decreto n. 5.233, de 06 de outubro de 2004, que estabeleceu normas para a
gesto do Plano Plurianual 2004/2007, declarou expressamente a efetividade, a eficcia e a
eficincia como critrios orientadores da gesto do Plano. (BRASIL, 2004a).

Essa orientao reforada no texto da lei n. 11.653, de 7 de abril de 2008, que

dispe sobre o Plano Plurianual para o perodo 2008/2011, quando afirma em seu Art. 7 que:
A gesto do Plano Plurianual observar os princpios de eficincia, eficcia e efetividade e
compreender a implementao, monitoramento, avaliao e reviso de programas.
(BRASIL, 2008).

Se esses critrios orientadores esto evidenciados na fase de planejamento o mesmo

no acontece nas demais etapas do ciclo de gesto. Uma leitura preliminar dos Relatrios
Anuais de Avaliao do Plano Plurianual 2004/2007, que visa a subsidiar a aferio da
capacidade do Governo Federal na implementao de seus programas, revela que, para os
gerentes, entre as principais restries que dificultam ou impedem a execuo dos programas
esto os contingenciamentos oramentrios, a inadequao dos indicadores e a carncia de
recursos humanos, materiais e de infra-estrutura. (BRASIL, 2007). No entanto, em nenhuma
parte do texto, esses dados so analisados de forma a inferir o grau de eficincia, eficcia e
efetividade dos programas.

Com base nisso, a premissa fundamental deste estudo que aqueles princpios,
declarados vivamente na etapa de planejamento, so praticamente ignorados nos relatrios de
avaliao do Plano Plurianual, impossibilitando a conexo dos resultados observados aos
objetivos estratgicos pretendidos na fase de planejamento.

Assim, tendo em vista essas lacunas observadas no processo de avaliao dos

programas pblicos, a pesquisa foi conduzida no sentido de responder seguinte pergunta: A
avaliao do Plano Plurianual mede o desempenho dos programas observando os conceitos
de eficincia, eficcia e efetividade, definidos previamente como critrios orientadores da
gesto do Plano?

No intuito de responder a essa questo, o objetivo principal deste estudo foi: verificar
se na etapa de avaliao, inserida no ciclo de gesto da administrao pblica, o
desempenho dos programas e do plano plurianual medido segundo os conceitos de
eficincia, eficcia e efetividade, no sentido de orientar o gasto pblico por resultados para a
sociedade.

Para tal fim foi definido como objetivo especfico da pesquisa identificar, no
Relatrio Anual de Avaliao do PPA 2004/2007 exerccio 2007, ano base 2006, elementos
reveladores dos conceitos de efetividade, eficcia e eficincia na gesto dos programas e do
Plano Plurianual.

A fundamentao terica deste estudo foi construda com a compreenso do sistema

integrado de planejamento e oramento pblico da Unio, bem como da literatura sobre
avaliao de programas pblicos e os conceitos de efetividade, eficcia e eficincia.

A tcnica de pesquisa adotada foi a Anlise de Contedo AC, tendo como objeto o
Relatrio Anual de Avaliao do PPA 2004/2007 exerccio 2007, ano base 2006.

O sistema integrado de planejamento e oramento pblicos

2
 No setor pblico o instrumento mais importante aplicado na busca por eficincia,
eficcia e efetividade o processo integrado de planejamento e oramento, composto pelo
Plano Plurianual (PPA), pela Lei de Diretrizes Oramentrias (LDO) e pela Lei Oramentria
Anual (LOA).

Para Giacomoni (2007) a integrao entre plano plurianual e oramento anual

explicitada por meio do papel cumprido pela Lei de Diretrizes Oramentrias que, alm da
funo de orientar a elaborao dos oramentos anuais, destaca do Plano Plurianual as
prioridades e as metas a serem executadas no oramento anual.

Segundo Nader (2005) o novo modelo de gesto das aes governamentais do

Governo Federal, introduzido pelo PPA 2000/2003, foi baseado na integrao dos
instrumentos de planejamento, oramento e gesto. Nesse novo modelo de planejamento e
oramentao, o programa passou a ser o elemento de ligao entre o futuro desejado e
programado e as decises de curto prazo da programao oramentria e financeira.

Os programas so desdobramentos das funes bsicas do governo e representam os

meios e instrumentos de ao e geralmente traduzem os produtos finais da ao
governamental. Devem, portanto, expressar o resultado desejado sobre o pblico-alvo, manter
alinhamento estratgico com os macro-objetivos do governo, ser passvel de mensurao por
um indicador que exiba os resultados alcanados e ser compatvel com os recursos
disponveis. (BRASIL, 1999; CRUZ, 2006).

O ciclo de gesto do Plano Plurianual, exemplificado na Figura 1, composto por

trs processos fundamentais: (1) o monitoramento da execuo; (2) a avaliao e; (3) a
reviso dos programas, Figura 8. (BRASIL, 2004c).

O monitoramento consiste no acompanhamento contnuo da execuo fsico-

financeira das aes e dos programas do PPA, o que permite anlises para a identificao e
superao das restries.

Realimentao
Reviso

Viso/Objetivo
Identificao de
Objeto de Mensurao Critrios
Problemas

Plano Objetivos e Indicadores Efetividade

Programas, Aes Produtos e Metas Eficcia

Oramento

Produtos e Custos Eficincia

Execuo Avaliao

Figura 1 Modelo Integrado Plano / Oramento / Execuo / Avaliao.

Fonte: Plano de Gesto do PPA 2004/2007 (MINISTRIO DO PLANEJAMENTO, 2004c)

J a avaliao dos resultados da implementao do Plano e seus programas

realizada ao final de cada exerccio e compreende as atividades de aferio e anlise dos
resultados dos programas, luz da orientao estratgica do governo.

3
 O ciclo de gesto completado com a reviso dos programas, introduzindo as
recomendaes e corrigindo as falhas da programao identificadas nos processos de
monitoramento e avaliao, com o sentido de aprimorar continuamente a ao do governo.

Verifica-se que no ciclo de gesto do plano, no que se refere avaliao, a orientao

pelos critrios de efetividade, eficcia e eficincia ressaltada. Como o escopo desta pesquisa
se restringe avaliao de programas, torna-se necessrio dialogar com a literatura sobre este
tema.

Avaliao de programas e os conceitos de efetividade, eficcia e eficincia

A busca de instrumentos que possibilitem a maximizao dos resultados sociais dos

programas governamentais vem sendo objeto de interesse de muitos pesquisadores. Trata-se
de saber o que medir, como medir, como definir indicadores de desempenho e resultado.
(CAVALCANTI e OTERO, 1997; ARAGO, 1997; MODESTO, 2000; COSTA e
CASTANHAR, 2003; MODELL, 2004; FARIA, 2005; GIACOMONI, 2007).

Nesse sentido, para Costa e Castanhar (2003), a avaliao sistemtica, contnua e

eficaz dos programas sociais pode ser um instrumento fundamental para se alcanar melhores
resultados e proporcionar uma melhor utilizao e controle dos recursos neles aplicados.
Tambm fornece aos formuladores de polticas sociais e aos gestores de programas dados
importantes para o desenho de polticas mais consistentes e para a gesto pblica mais eficaz.

Nesse contexto, Cavalcanti e Otero (1997) afirmam que se deve inserir, com muita
nfase, a abordagem de avaliao de programas orientada para resultados como componente
fundamental de aferio da efetividade das aes do governo. Ressaltam tambm a
importncia do desenvolvimento de sistemas de mensurao de insumos, carga de trabalho,
produtos, resultados, eficincia e produtividade, satisfao do beneficirio e do empregado,
qualidade do servio e rapidez de sua prestao. J Modell (2004), tem dvidas se essas
medidas seriam bem adaptadas ao setor pblico.

Para Giacomoni (2007), o tipo de avaliao deve mudar de acordo com os diferentes
nveis organizacionais. Para ele, nos nveis superiores de governo as decises so marcadas
fortemente pela filosofia poltica predominante. Nesse nvel os indicadores so em nmero
reduzido e prevalecem aqueles ligados aos resultados econmicos. No plano intermedirio a
mensurao feita com base no resultado dos programas. Os indicadores so as metas ou
produtos estabelecidos na elaborao do oramento. A avaliao dever observar se aquelas
metas ou produtos foram ou no alcanados. Esta uma medida da eficcia da instituio. Por
fim, nos nveis executivos, a mensurao se d no mbito de Atividades e Projetos cujos
resultados, na maioria das vezes so produtos intermedirios que concorrem para as metas
dos Programas. Esta seria uma medio da eficincia da instituio.

Com alguma variao, a literatura converge para trs conceitos bsicos orientadores
dos processos de avaliao de polticas pblicas. So eles: (1) a eficincia; (2) a eficcia e; (3)
a efetividade. Esses conceitos foram adotados como critrios de orientao estratgica da
gesto do Plano Plurianual a partir do PPA 2000/2003. (BRASIL, 2004b; 2008).

O Decreto n. 5.233 de 06 de outubro de 2004 (BRASIL, 2004a) traz, em seu anexo,

a definio desses conceitos. Assim, de acordo com o Decreto, efetividade :

4
 A medida do grau de atingimento dos objetivos que orientaram a constituio de um
determinado programa expressa pela sua contribuio variao alcanada dos
indicadores estabelecidos pelo Plano Plurianual.

A Eficcia definida como:

A medida do grau de atingimento das metas fixadas para um determinado projeto,
atividade ou programa em relao ao previsto.

Por sua vez, a Eficincia aparece como:

A medida da relao entre os recursos efetivamente utilizados para a realizao de
uma meta para um projeto, atividade ou programa frente a padres estabelecidos.

Embora haja pouca divergncia acerca da definio desses conceitos, a leitura de

alguns autores facilita ainda mais sua compreenso. Para Arago (1997), [...] efetividade
refere-se relao, ao longo do tempo, entre os resultados alcanados e os objetivos
pretendidos, sendo, muitas vezes, descrita como uma dimenso qualitativa do resultado (o
valor social do produto).

Giacomoni (2007) e Arago (1997) ligam a efetividade performance externa da

organizao e relacionada ao grau com que os objetivos e as finalidades do governo so
alcanados, medindo seu progresso.

Por outro lado, comum a confuso entre os conceitos de efetividade e eficcia.

Uma forma de reduzir as dvidas verificar se o indicador aponta para impactos ou efeitos
dos resultados do programa sobre a populao ou pblico-alvo. (COSTA e CASTANHAR,
2003). Para esses autores a avaliao da efetividade busca identificar os efeitos do programa
sobre uma populao-alvo, recorrendo a mecanismos que permitam identificar relaes
causais entre as aes do programa e o resultado final obtido.

A eficcia, por sua vez, busca medir o grau de xito do programa em relao ao
alcance de metas previamente estabelecidas, considerando que as metas do programa referem-
se aos produtos mais imediatos, ou concretos, que dele decorrem. (COSTA e CASTANHAR,
2003).

Dos trs conceitos, a eficincia est entre os mais debatidos em virtude de sua
insero no artigo 37 da Constituio Federal por intermdio da Emenda Constitucional n.
19, (BRASIL, 2001), como notado por Modesto (2000). Do ponto de vista da avaliao de
programas este conceito est vinculado aos processos internos. Para Costa e Castanhar (2003),
a avaliao da eficincia, ou de processos, deve investigar de forma sistemtica o
desenvolvimento dos programas, a fim de medir sua cobertura, o grau com que est
alcanando a populao beneficiria e, principalmente, acompanhar seus processos internos.

Os conceitos apresentados neste tpico guiaram a construo do instrumento de

pesquisa e a anlise dos dados que sero apresentados nos tpicos seguintes.

Anlise de Contedo

Para identificar se a gesto do Plano Plurianual segue a orientao dos critrios de

efetividade, eficcia e eficincia, a estratgia adotada na pesquisa foi evidenciar a presena ou
ausncia desses critrios, de forma manifesta ou latente, nos relatrios anuais de avaliao do
PPA 2004/2007, mais especificamente no relatrio divulgado no exerccio 2007 referente ao
ano base 2006.

5
 A Anlise de Contedo AC considerada a tcnica mais indicada para desenvolver
uma anlise deste tipo. Ela constitui-se em um conjunto de instrumentos metodolgicos que
se aplicam a discursos diversos. (RICHARDSON, 1999). Sua definio mais freqente :

Um conjunto de tcnicas de anlise das comunicaes visando obter, por

procedimentos sistemticos e objectivos de descrio do contedo das mensagens,
indicadores (quantitativos ou no) que permitam a inferncia de conhecimentos
relativos s condies de produo/recepo (variveis inferidas) destas mensagens.
(BARDIN, 2006, p. 37).

Desta forma, a anlise de contedo foi conduzida seguindo a tcnica de anlise

temtica ou categorial que segundo Bardin (2006) consiste em recortes do texto em unidades
(categorias) e reagrupamentos analgicos. A preparao do material consistiu na elaborao
da grade de anlise apresentada na Figura 2.

Base Terica Categorias Subcategorias Palavras-chave

(variveis de
inferncia)
Verbo Nome Complemento
Decreto n. EFETIVIDADE Impacto dos Gerar Efetividade Sociedade
5.233/2004 resultados alcanados Produzir Qualidade Populao-
ou pretendidos pelo Proporcionar de vida alvo
(COSTA & programa sobre a Atingir Impacto Pblico-alvo
CASTANHAR, populao-alvo Obter Efeitos Social
2003) Grau de atingimento Estimular Benefcios Econmico
dos objetivos Objetivos
pretendidos pelo
programa
Decreto n. EFICCIA Grau de xito do Alcanar Resultados Aes
5.233/2004 programa com relao Atingir
ao atingimento das Buscar Metas Atividades
(COSTA & metas estabelecidas Implementar
CASTANHAR, Resultados obtidos Projetos
2003) com os projetos e as
atividades
componentes do
programa
Decreto n. EFICINCIA Adequao dos Possuir Recursos
5.233/2004 recursos financeiros e Faltar humanos
a qualidade da Necessitar
(COSTA & execuo Programar Infra-
CASTANHAR, oramentria. estrutura
2003) Adequao e
disponibilidade de Oramento
recursos materiais,
humanos e de infra- Materiais
estrutura para a
implementao do Desempenho
Programa.
Relacionamentos Qualidade
interinstitucionais;
capacidade de
comunicao e
interao com a
sociedade.
Figura 2 Grade para Anlise de Contedo
Fonte: Elaborado pelo Autor

6
 A categorizao desenvolvida na referida grade de anlise ocorreu no sentido de
evidenciar no texto do relatrio os critrios de efetividade, eficcia e eficincia.
Primeiramente, limitou-se a interpretao de cada um dos conceitos a um referencial terico
especfico. Assim, a definio dos critrios baseou-se fundamentalmente no Decreto n. 5.233,
de 06 de outubro de 2004, (BRASIL, 2004a), e em Costa e Castanhar (2003). As categorias
foram detalhadas em subcategorias para ajudar no processo de contextualizao das unidades
de registro. Foi tambm formulado um ndice que reuniu conceitos-chave que pudessem
auxiliar na identificao dos temas dentro do relatrio.

Foi submetida analise de contedo, conduzida pela Grade de Anlise da Figura 2,

uma amostra significativa de 165 programas, de um universo de 285 programas finalsticos
avaliados no Relatrio Anual de Avaliao do PPA 2004/2007 Ano base 2007, exerccio
2006. Foi observado um intervalo de confiana de 95% e erro amostral de 5%. A seleo da
amostra foi feita atravs da tcnica de amostragem aleatria simples sem reposio.

Em seguida, procurou-se no texto do relatrio os conceitos de efetividade, eficcia e

eficincia, ainda que no expressos literalmente. Nesse caso a medida mais adequada para a
enumerao foi a presena (ou ausncia) do critrio, e a sua intensidade (presena de
indicadores). Para a enumerao, foram utilizadas trs medidas: (1) critrio no identificado
na avaliao; (2) critrio identificado na avaliao; e (3) critrio identificado e medido com
indicadores.

Apresentao e anlise dos resultados

Ao longo do relatrio de avaliao do Plano foram encontradas poucas referncias

diretas aos critrios de efetividade, eficcia e eficincia. Nem mesmo como uma citao
formal ao artigo do Decreto n. 5.233/2004 (BRASIL, 2004a).

A primeira anlise efetuada foi quanto freqncia dos termos efetividade, eficcia e
eficincia ao longo do relatrio. O objetivo desta busca foi inferir se os gerentes, e o prprio
Ministrio do Planejamento levaram esses conceitos em conta quando da avaliao.

Em todo o relatrio, em um total de 1.558 pginas, foram encontradas apenas cinco

referncias explcitas aos trs conceitos em um mesmo pargrafo.

Houve programa, por exemplo, que destacou a necessidade de elaborao de

indicadores:

Dentre os aspectos do Programa que necessitam ser aprimorados, destaca-se a

introduo de indicadores de eficincia, eficcia e efetividade. Neste aspecto, est
em fase de construo um painel de indicadores elaborado a partir de ampla
discusso com todos os atores envolvidos. (Programa Recursos do Mar).

Em seguida buscou-se qualquer combinao dos trs termos em um mesmo

pargrafo. O resultado da pesquisa trouxe quatro ocorrncias para eficcia e eficincia em um
mesmo pargrafo e uma ocorrncia para a combinao de efetividade e eficcia:

Neste sentido, tambm foram iniciados os estudos para a definio dos custos de
referncia s atividades descentralizadas pela ANEEL e dos indicadores de
desempenho, com vistas a fortalecer a parceria com as agncias estaduais, com
nfase na eficcia e eficincia dos resultados. (Programa Qualidade do Servio de
Energia Eltrica).

7
 Partiu-se ento procura de referncias aos critrios mesmo que de forma isolada.
Em todo o relatrio foram encontradas 46 referncias palavra efetividade, 32 referncias
palavra eficcia e 92 referncias palavra eficincia.

Essa anlise preliminar revelou que a freqncia dos critrios, citados literalmente no
texto do relatrio, foi insignificante. Mesmo isoladamente a freqncia dos termos no pode
ser considerada significativa, haja vista o nmero reduzido de referncias. Isso pode indicar a
ausncia de alinhamento, pelo menos no resultado visvel da avaliao, entre a execuo dos
programas com os princpios orientadores do modelo de gesto do PPA. Isso ficou ainda mais
evidente quando se procurou referncias diretas ao Decreto n. 5.233/2004 no relatrio em
anlise. Foram identificadas apenas cinco referncias, sendo que duas so notas de rodap.

Em virtude da carncia de citaes literais dos conceitos de efetividade, eficcia e

eficincia, foi aplicada a Grade de Anlise da Figura 2, a fim de identificar no mais a
freqncia de citao daqueles conceitos, mas a sua presena, mesmo de forma latente, nas
avaliaes dos programas,. Assim, buscou-se identificar algum elemento critrio, subcritrio
ou palavras-chave que pudessem revelar a presena do tema procurado.

Presena do critrio da efetividade na avaliao do PPA 2004/2007

A teoria de base utilizada para a anlise temtica em relao efetividade foi, em

primeiro lugar, o conceito expresso no Decreto n. 5.233/2004 (BRASIL, 2004a).

De forma subsidiria, com o objetivo de deixar mais clara a compreenso do termo, a

pesquisa tambm foi orientada pelos conceitos utilizados por Costa e Castanhar (2003).
Para eles a investigao da efetividade de um programa decorre de mecanismos que
permitam estabelecer relaes causais entre as aes do programa e o resultado final
obtido. A efetividade a avaliao do impacto dos resultados do programa sobre a
populao-alvo.

Com base nesses conceitos e as categorias de anlise expostas na Figura 2, a pesquisa

chegou aos seguintes resultados quanto identificao do critrio da efetividade no
Relatrio de Avaliao do PPA 2004/2007:

39%
37%

24%

Critrio no Critrio identificado Critrio medido com

identificado indicadores

Figura 3 Critrio Efetividade na Avaliao dos Programas do PPA 2004/2007 exerccio 2006
Fonte: Elaborado pelo Autor

8
 Nota-se que a maior parte dos programas, 61% revelaram a presena de algum
elemento ligado ao conceito de efetividade, sendo que 24% deles foram mensurados com
algum indicador. Enquanto isso, em 39% dos programas o conceito no foi identificado nem
superficialmente. Foram considerados como indicadores de efetividade aqueles voltados para
a medio do cumprimento do objetivo do programa e no das metas que concorrem para o
objetivo do programa.

Em 25% dos programas, embora no tenha sido identificada uma medida clara de
efetividade, essa ainda pde ser percebida em pargrafos com menes diretas ao tema, ou
sobre a populao-alvo, ou sobre o cumprimento dos objetivos do programa. Por exemplo:
A gerncia do Programa deve incentivar a criao de mecanismos de avaliao do
pblico beneficirio com vistas melhoria da efetividade das aes. (Programa
desenvolvimento do cooperativismo e do associativismo rural)

Mesmo que o termo efetividade no estivesse expresso literalmente no texto, foi

considerada a presena desse tema em avaliaes que demonstrassem alguma preocupao
com o impacto das aes no cumprimento do objeto do programa.
As aes deste Programa devero contribuir - e esto sendo priorizadas - para a
gerao de emprego e renda, com resultados e impacto de curto prazo na qualidade
de vida da populao do semi-rido. (Programa Desenvolvimento Integrado e
Sustentvel do Semi-rido Conviver).

Ainda que a anlise no tenha tido o objetivo de investigar a qualidade da avaliao,

mas apenas a presena dos critrios, deve-se ressaltar que a presena em mais da metade dos
programas de alguma preocupao com os impactos, ou efeitos, do programa sobre a
populao-alvo, embora algumas vezes superficial, um fator, de certa forma, positivo e pode
indicar uma tendncia. No entanto, no escopo da pesquisa, o resultado da anlise vem
confirmar uma dissociao entre o discurso do modelo de gesto e a prtica revelada nos
relatrios anuais.

Presena do critrio da eficcia na avaliao do PPA 2004/2007

A fim de ampliar a compreenso do conceito de eficcia, Costa e Castanhar (2003)

lembram que a avaliao da eficcia busca medir o grau de xito conseguido em um programa
com relao ao alcance de metas previamente estabelecidas considerando, neste caso, que as
metas do programa so os objetivos mais concretos, ou imediatos, dele decorrentes. Pessoas
atendidas em centros de sade ou o nmero de leitos hospitalares seriam exemplos.

Com base nestes conceitos e as categorias de anlise expostas na Figura 2, a pesquisa

chegou aos resultados apresentados na Figura 4.

O resultado mais visvel que em praticamente todos os programas foi observada a

presena do tema eficcia. Porm, em apenas metade dos programas foi identificado algum
indicador. Isto apesar da orientao da gesto do Plano Plurianual para resultados. Mesmo
assim, com a obrigatoriedade de utilizao de indicadores, (BRASIL, 2004b), percebe-se que
a maior parte deles ficou concentrada nesta perspectiva da eficcia. At pela definio do
conceito de eficcia, natural que esse critrio tenha uma presena considervel, haja vista
que praticamente todos os programas possuem algum tipo de meta ou aes concretas. At
mesmo por isso, o nmero de programas com indicadores de eficcia deveria ser maior.

9
 50%
48%

2%

Critrio no Critrio identificado Critrio medido com

identificado indicadores

Figura 4 Critrio Eficcia na Avaliao dos Programas do PPA 2004/2007 exerccio 2006
Fonte: Elaborado pelo Autor
Alguns programas chegaram a citar literalmente o termo eficcia:
Sob o aspecto de eficcia, a gesto do Programa teve ndice de 89,41% na
execuo das metas fsicas. O mtodo utilizado considera as metas fsicas
planejadas frente s executadas, no entanto, expurgando da anlise as aes que
tiveram problemas de definio de metas e que extrapolaram em mais de duas
vezes o previsto da LOA 2006. (Programa Brasil no Esporte de Alto Rendimento).

Em alguns programas ficou evidente a preocupao com o cumprimento das metas:

A maioria das metas previstas foi cumprida, exceto em funo de atrasos na
produo dos suplementos (sulfato ferroso), o que afetou a distribuio dos
produtos no Programa Nacional de Suplementao de Ferro. (Programa
Alimentao Saudvel).

Muitos programas trouxeram referncias ao cumprimento das metas, porm, com um

foco mais em questes de execuo oramentria, o que acaba levando a avaliao para a
fronteira do conceito de eficincia.

Presena do critrio da Eficincia na avaliao do PPA 2004/2007

Costa e Castanhar (2003) ampliam a compreenso do termo ao afirmar que a

avaliao da eficincia de um programa deve investigar o desenvolvimento do programa de
forma a medir a cobertura do programa, estabelecer em que grau est alcanando a populao-
alvo e, principalmente, acompanhar seus processos internos.

Nesse sentido, optou-se por utilizar como subcategorias, ou variveis de inferncia,

na anlise de contedo, trs vetores para identificar o critrio de eficincia: (1) a adequao
dos recursos financeiros e a qualidade da execuo oramentria; (2) a adequao e
disponibilidade de recursos materiais, humanos e de infra-estrutura para a implementao do
Programa e; (3) relacionamentos interinstitucionais; capacidade de comunicao e interao
com a sociedade.

Desta forma, em praticamente todos os programas, 96%, foram identificados fatores

reveladores de alguma preocupao com a eficincia, conforme representado na Figura 5.

10
 94%

5%
1%

Critrio no Critrio identificado Critrio medido com

identificado indicadores

Figura 5 Critrio Eficincia na Avaliao dos Programas do PPA 2004/2007 exerccio 2006
Fonte: Elaborado pelo Autor
No entanto, s foi identificada a presena de indicadores em 1% dos programas.
Deve-se ressaltar que no foram considerados como indicadores de eficincia os
demonstrativos contbeis de execuo oramentria e financeira, j que se pretendia inferir a
percepo dos gerentes sobre a eficincia no gerenciamento do programa. Assim, quanto
questo oramentria, o que se buscou foi perceber a avaliao dos gerentes quanto sua
adequao e qualidade para o atingimento dos objetivos do programa.

Nesse sentido, foi possvel extrair do relatrio avaliaes do tipo:

O contingenciamento oramentrio e o fluxo irregular de recursos financeiros
foram as restries que interferiram no desempenho das aes de maior impacto do
programa. (Programa Desenvolvimento das culturas de Cereais, Razes e Outras
Espcies Vegetais).

Em 86% dos programas h algum tipo de comentrio sobre a disponibilidade de

recursos - materiais, humanos e de infra-estrutura, para a execuo do programa. Quanto a
esses recursos, foram encontradas avaliaes do tipo:
Tanto a equipe gerencial quanto as equipes executoras carecem de recursos
humanos, vez que o MAPA no apresenta quantitativo de pessoal suficiente para o
exerccio de suas atribuies, seja na sede, seja nas unidades descentralizadas.
(Programa Qualidade de Insumos e Servios Agropecurios).

Os recursos materiais so insuficientes nas equipes executoras. H deficincias na

rede de laboratrios oficiais, que no atendem adequadamente aos diversos setores.
Tambm o quantitativo de recursos humanos no acompanha o aumento de aes e
programas e h precariedade dos sistemas de informao. (Programa
Desenvolvimento das Culturas de Cereais, Razes e Outras Espcies Vegetais)

Neste critrio tambm se identificou a preocupao dos gerentes com os

relacionamentos interinstitucionais e com a sociedade na gesto dos programas:
A PNAS institui a rede de proteo social na qual, com um papel de grande
relevncia, figura o controle social. O monitoramento e controle social do PETI so
realizados atravs dos conselhos (de assistncia social, dos direitos da criana e do
adolescente e tutelar) e comisses (estaduais e municipais de erradicao do

11
 trabalho infantil) paritrias entre sociedade civil e poder pblico local ou estadual.
(Programa Erradicao do Trabalho Infantil).

A anlise da presena do critrio da eficincia na avaliao dos programas do PPA

2004/2007 revelou o grande peso desse tema, at mesmo porque muito mais visvel para os
gerentes e faz parte do seu dia-a-dia, diferente da efetividade e da eficcia que geralmente so
avaliadas ao final de um perodo. Observou-se tambm que o contingenciamento
oramentrio e a rapidez na liberao dos recursos tm grande influncia na eficincia da
gesto do programa. No entanto, so aes que independem do gerente do programa.

Ressalta-se, neste critrio, que a despeito do grande nmero de reclamaes dos

gerentes insignificante a presena de indicadores. Assim, na avaliao, so recorrentes
queixas sobre a falta de servidores, materiais e infra-estrutura, mas praticamente inexistente
a quantificao dessa necessidade.

Os dados analisados so apresentados de forma consolidada na Figura 6. Se for

levada em considerao apenas a presena dos conceitos no Relatrio Anual de Avaliao,
sobressaem os critrios e eficcia, 98%, e eficincia, 95%, enquanto que a efetividade
reconhecida em 61% dos programas.

39% 37% 24%

EFETIVIDADE

2% 48% 50%
EFICCIA

5% 94% 1%
EFICINCIA

0% 20% 40% 60% 80% 100%

Critrio no identificado Critrio identificado Critrio medido com indicadores

Figura 6 Presena dos Critrios da efetividade, eficcia, eficincia e aprendizado contnuo na

Avaliao dos Programas do PPA 2004/2007 exerccio 2006
Fonte: Elaborado pelo Autor
Ocorre, no entanto, que a anlise pela simples presena do tema no revela a
importncia dada varivel. Quando levada em conta a intensidade do tema, medida no
caso pela presena de indicadores, o cenrio alterado e se mostra bastante irregular.

Verificou-se dessa forma um total de 75% de programas com algum tipo de

indicador, o que chega a ser apenas razovel. Porm, quando esses indicadores so
categorizados nos temas propostos, revela-se um acentuado desequilbrio. Metade destes
indicadores foi classificada no critrio da eficcia, enquanto que 24% esto voltados para
medidas de efetividade. Apenas 1% dos programas apresenta alguma medida de eficincia.

12
 Pode-se inferir desta anlise que os gerentes de programa no conseguem, devido ao
instrumento de avaliao utilizado ou mesmo por desinformao, transformar suas
dificuldades e necessidades em medidas objetivas que possam inclusive auxiliar na tomada de
deciso em instncias superiores.

A fim de ilustrar de maneira mais clara o achado desta pesquisa, a Figura 7 foi
construda com base na Moda, medida estatstica que considera o valor mais repetido em cada
categoria.

Critrio medido com

indicadores

Critrio identificado

Critrio no identificado
Efetividade Eficcia Eficincia

Figura 7 Anlise pela moda - Critrios mais freqentes na Avaliao dos Programas do PPA
2004/2007 exerccio 2006
Fonte: Elaborado pelo Autor
Observando deste ngulo, fica visvel a prevalncia dos critrios de eficcia e de
eficincia na avaliao dos programas pblicos, sendo que a maior parte dos indicadores
encontrados refere-se eficcia dos programas. Em relao eficincia, grande nmero de
programas no possui indicadores, apesar de o conceito poder ser identificado na sua
avaliao. Por outro lado, quando o conceito analisado a efetividade, ele mal pode ser
identificado na avaliao dos programas.

Deve-se salientar que no foi levado em conta a qualidade da avaliao dos

programas, o que pode ser objeto de pesquisas futuras. No entanto, pode-se inferir dos dados
mostrados na Figura 7 que os resultados dos programas podem estar sendo prejudicados
devido desateno em dois pontos fundamentais. Primeiro, os efeitos e impactos dos
resultados dos programas para a populao-alvo, representados pelos critrios de efetividade.
Em segundo, a gesto dos processos internos que deve dar suporte ao desenvolvimento dos
programas e aos resultados almejados.

Do ponto de vista, dos objetivos desta pesquisa confirma-se a hiptese de que o atual
sistema de avaliao do Plano Plurianual do Governo Federal no demonstra objetivamente
que a orientao da gesto dos programas pelos critrios de eficincia, eficcia e efetividade
observada em todo o processo de gesto do PPA.

CONCLUSES

Partindo da premissa de que a gesto do Plano Plurianual no segue adequadamente

a orientao dos critrios de efetividade, eficcia e eficincia, conforme preceitua o Decreto
n. 5.233 de 06 de outubro de 2004, a proposta inicial deste estudo foi verificar se na
avaliao do Plano Plurianual o desempenho dos programas mensurado observando-se os

13
conceitos de eficincia, eficcia e efetividade, definidos previamente como critrios
orientadores da gesto do Plano.

A freqncia insignificante com que esses termos aparecem no texto do Relatrio

Anual de Avaliao do PPA 2004/2007 exerccio 2007, ano base 2006 pode demonstrar que
tais conceitos, to caros, ao sistema integrado de planejamento e oramento, ainda no foram
internalizados na prtica da gesto dos programas, evidenciando uma assimetria entre o
discurso e os resultados obtidos na gesto do PPA.

Apenas com uma interpretao mais ampla dos conceitos, foram encontradas no
relatrio referncias superficiais aos critrios de efetividade, eficcia e eficincia. No entanto,
com exceo do critrio da eficcia, a maioria dos programas no apresentou nenhum tipo de
medida ou indicador.

O principal achado desta pesquisa foi a identificao de uma dissociao entre o

discurso e a prtica no que se refere orientao, pelos critrios de efetividade, eficcia e
eficincia, da gesto do Plano Plurianual. A presena latente dos critrios de efetividade,
eficcia e eficincia verificada no Relatrio Anual de Avaliao do PPA 2004/2007, embora
tenha demonstrado alguma preocupao dos gerentes de programa com questes vinculadas a
esses conceitos, no permite concluir que os programas sejam avaliados no sentido de se
medir seu desempenho de acordo com os critrios definidos no Decreto n. 5.233/2004, at
mesmo porque inexistem referncias ao mesmo em todo o Relatrio Anual de Avaliao do
PPA 2004/2007 exerccio 2007, ano base 2006.

H que se mencionar, no entanto, os aspectos limitadores da pesquisa. Embora se

tenha buscado no incorrer em subjetividades, tentando manter sempre o mximo grau de
objetividade, a caracterstica deste estudo, baseado em pesquisa documental e anlise de
contedo, ainda que cercado de rigor metodolgico, pode de alguma forma envolver o
julgamento do pesquisador.

Desta forma, a partir dos resultados alcanados, no se pode inferir se a inteno do

gerente de programa ao redigir seu relatrio de avaliao foi a mesma identificada, pelo
pesquisador, na sua comunicao. Tambm, no seguro afirmar que um indicador
classificado pelo pesquisador como de efetividade, por exemplo, tenha sido registrado pelo
gerente com essa mesma inteno.

No mesmo sentido, no se pode afirmar que a ausncia de referncias a algum

critrio seja resultado do desinteresse, desconhecimento ou impossibilidade instrumental do
gerente para se manifestar.

Em virtude disso pesquisas futuras podem validar ou refutar os resultados aqui

apresentados atravs de um estudo que busque revelar o grau de assimilao dos critrios de
efetividade, eficcia e eficincia por parte dos gerentes de programa e sua relao com os
resultados alcanados na gesto do PPA.

REFERNCIAS BIBLIOGRFICAS
ARAGO, Ceclia Vescovi de. Burocracia, eficincia e modelos de gesto pblica: um
ensaio. Revista do Servio Pblico, Rio de Janeiro, ano 48, n. 3, p. 105-132, set-dez 1997.

14
BARDIN, Laurence. Anlise de Contedo. Lisboa : Edies 70, 2006.

BRASIL. MINISTRIO DO ORAMENTO E GESTO. Portaria n. 42, de 14 de abril de

1999. Braslia, 1999.

BRASIL. Constituio (1988). Constituio da Repblica Federativa do Brasil: Texto

constitucional promulgado em 5 de outubro de 1988, com as alteraes adotadas pelas
emendas Constitucionais n.s 1/92 31/2000 e pelas Emendas Constitucionais de Reviso n.s
1 a 6/94. Braslia : Senado Federal, 2001.

BRASIL. Decreto n. 5.233 de 6 de outubro de 2004 - Estabelece normas para a gesto do

Plano Plurianual 2004-2007 e de seus Programas e d outras providncias. Braslia, 2004a

BRASIL. Lei n. 10.933, de 11 de agosto de 2004. Dispe sobre o Plano Plurianual para o
perodo 2004/2007. Braslia, 2004b.

BRASIL, MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Plano de

Gesto do PPA. Braslia, 2004c.

BRASIL, MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Plano

Plurianual 2004-2007: relatrio anual de avaliao - exerccio 2007 - ano base 2006. Braslia:
SPI, 2007

BRASIL. Lei n. 11.653, de 07 de abril de 2008. Dispe sobre o Plano Plurianual para o
perodo 2008/20011. Braslia, 2008.

BRESSER-PEREIRA, Luiz Carlos. Administrao pblica gerencial: estratgia e estrutura

para um novo Estado. Texto para Discusso n. 9. Braslia : MARE/ENAP, 1996.

CAVALCANTI, Bianor Scelza, OTERO, Roberto Bevilacqua. Novos padres gerenciais no

setor pblico: medidas do governo americano orientadas para o desempenho e resultados.
Texto para Discusso n. 16. Braslia : MARE/ENAP, 1997.

COSTA, Frederico Lustosa da, CASTANHAR, Jos Cezar. Avaliao de programas pblicos:
desafios conceituais e metodolgicos. RAP Revista de Administrao Pblica, Rio de
Janeiro, v. 37, n. 5, p. 969-992, set./out. 2003.

CRUZ, Flvio. Et al. Comentrios Lei n. 4.320. 4. ed. - So Paulo : Atlas, 2006.

FARIA, Carlos Aurlio Pimenta de. A poltica da avaliao de polticas pblicas. RBCS Vol.
20 n. 59, p. 97-169, out./2005.

GIACOMONI, James. Oramento pblico. 14 ed., So Paulo : Atlas, 2007.

MATIAS-PEREIRA, Jos. Reforma do Estado e transparncia: estratgias de controle da

corrupo no Brasil. In: VII Congreso Internacional del CLAD sobre la Reforma del Estado y
de la Administracin Pblica, Lisboa, Portugal, 8-11 Oct. 2002. Disponvel em:
<http://unpan1.un.org/intradoc/groups/public/documents/CLAD/clad0044105.pdf> Acesso
em: 25 de maio de 2007.

MODEL, Sven. Performance measurement myths in the public sector: a research note.
Financial Accountability &Management, 20(1), February 2004, p. 39-55.

15
MODESTO, Paulo. Notas para um debate sobre o Princpio da Eficincia. Revista do Servio
Pblico, Braslia, Ano 51, n. 2, abril/junho, 2000, p. 107-119.

MOORE, Mark H. Criando valor pblico: gesto estratgica no governo. Rio de Janeiro :
Uniletras ; Braslia : ENAP, 2002.

NADER, Rosa Maria. A avaliao como ferramenta para uma gesto pblica orientada para
resultados. O caso do Governo Federal Brasileiro. In: X CONGRESO INTERNACIONAL
DEL CLAD, 2005. Disponvel em <http://www.clad.org.ve>. Acesso em 12 de abril de 2007.

OSBORNE, David, GAEBLER, Ted. Reinventando o governo: como o esprito

empreendedor est transformando o setor pblico. Braslia : MH Comunicao, 1994.

RICHARDSON, Roberto Jarry. Pesquisa Social: mtodos e tcnicas. So Paulo : Atlas, 1999.

16