222 802 1 PB

RSP
Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005 137

Paulo de Martino Jannuzzi
Indicadores para
diagnstico, monitoramento
e avaliao de programas
sociais no Brasil
*
Introduo
O interesse pela temtica dos indicadores sociais e sua aplicao nas ativi-
dades ligadas ao planejamento governamental e ao ciclo de formulao e avali-
ao de polticas pblicas vm crescendo no Pas, nas diferentes esferas de
governo e nos diversos fruns de discusso dessas questes. Tal fato deve-se,
em primeiro lugar, certamente, s mudanas institucionais por que a adminis-
trao pblica tem passado no Pas, em especial com a consolidao da siste-
mtica do planejamento plurianual, com o aprimoramento dos controles admi-
nistrativos dos ministrios, com a mudana da nfase da auditoria dos Tribunais
de Contas da avaliao da conformidade legal para a avaliao do desempenho
dos programas, com a reforma gerencial da gesto pblica em meados dos anos
1990 (GARCIA, 2001. COSTA; CASTANHAR, 2003). Esse interesse crescente pelo
uso de indicadores na administrao pblica tambm est relacionado ao apri-
moramento do controle social do Estado brasileiro nos ltimos 20 anos. A mdia,
Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil
Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005
RSP
138
os sindicatos e a sociedade civil passaram
a ter maior poder de fiscalizao do gasto
pblico e a exigir o uso mais eficiente, eficaz
e efetivo dele, demandando a reorgani-
zao das atividades de planejamento em
bases mais tcnicas.
Tambm tem contribudo para a
disseminao do uso dos indicadores o
acesso crescentemente facilitado s infor-
maes mais estruturadas de natureza
administrativa e estatstica que as novas
tecnologias de informao e comunicao
vi abi l i zam. Dados cadastrai s antes
esquecidos em armrios e fi chrios
passam a transitar pela Internet, trans-
formando-se em informao estruturada
para anlise e tomada de deciso. Dados
estatsticos antes inacessveis em enormes
arquivos digitais passam a ser customi-
zados na forma de tabelas, mapas e
modelos quantitativos construdos por
usurios no especializados. Sem dvida,
a Internet, os CD-ROMs inteli gentes, os
arquivos de microdados potencializaram
muito a disseminao da informao
administrativa compilada por rgos
pblicos e a informao estatstica produ-
zida pelas agncias especializadas.
com o objetivo de apresentar como
essas informaes estruturadas podem ser
empregadas nas diferentes etapas do ciclo
de formulao e avaliao de programas
pblicos que se apresenta este texto. Para
isso, inicialmente, apresentam-se, nas duas
primeiras sees, os aspectos conceituais
bsicos acerca dos indicadores sociais, as
suas propriedades e as formas de classi-
fic-los. Depois, discute-se uma proposta
de estruturao de um sistema de indica-
dores para subsidiar o processo de for-
mulao e avaliao de polticas e progra-
mas pblicos no Pas.
Indicadores nas polticas pbli-
cas: conceito e suas propriedades
No campo aplicado das polticas
pblicas, os indicadores sociais so medidas
usadas para permitir a operacionalizao de
um conceito abstrato ou de uma demanda
de interesse programtico. Os indicadores
apontam, indicam, aproximam, traduzem
em termos operacionais as dimenses
sociais de interesse definidas a partir de
escolhas tericas ou polticas realizadas ante-
riormente. Prestam-se a subsidiar as ativi-
dades de planejamento pblico e a
formulao de polticas sociais nas diferentes
esferas de governo, possibilitam o monito-
ramento das condies de vida e bem-estar
da populao por parte do poder pblico
e da sociedade civil e permitem o aprofun-
damento da investigao acadmica sobre
a mudana social e sobre os determinantes
dos diferentes fenmenos sociais (MILES,
1985. NAES UNIDAS, 1988). Taxas de anal-
fabetismo, rendimento mdio do trabalho,
taxas de mortalidade infantil, taxas de
desemprego, ndice de Gini e proporo
de crianas matriculadas em escolas so,
nesse sentido, indicadores sociais, ao tradu-
zirem em cifras tangveis e operacionais
vrias das dimenses relevantes, especficas
e dinmicas da realidade social.
O processo de construo de um
indicador social, ou melhor, de um sistema
de indicadores sociais, para uso no ciclo
de polticas pblicas inicia-se a partir da
explicitao da demanda de interesse
programtico, tais como a proposio de
um programa para ampliao do aten-
dimento sade, a reduo do dficit
habitacional, o aprimoramento do desem-
penho escolar e a melhoria das condies
de vida de uma comunidade. A partir da
definio desse objeti vo programtico,
busca-se, ento, delinear as dimenses, os
RSP
componentes ou as aes operacionais
vinculadas. Para o acompanhamento dessas
aes em termos da eficincia no uso dos
recursos, da eficcia no cumprimento de
metas e da efetividade dos seus desdobra-
mentos sociais mais abrangentes e perenes,
buscam-se dados administrativos (gerados
no mbito dos programas ou em outros
cadastros oficiais) e estatsticas pblicas
(produzidas pelo IBGE e outras institui-
es), que, reorganizados na forma de
taxas, propores, ndices ou mesmo em
valores absolutos, transformam-se em
indicadores sociais (Figura 1). Os indica-
dores guardam, pois, relao direta com
o objetivo programtico original, na forma
operacionalizada pelas aes e viabilizada
pelos dados administrativos e pelas estats-
ticas pblicas disponveis.
A escolha de indicadores sociais para
uso no processo de formulao e avaliao
de polticas pblicas deve ser pautada pela
aderncia deles a um conjunto de proprie-
dades desejveis e pela lgica estruturante
da aplicao, que definir a tipologia de
indicadores mais adequada (JANNUZZI,
2001). No Quadro 1, esto relacionadas
12 propriedades cuja avaliao de aderncia
(+) e de no aderncia ou indiferena
deveria determinar o uso, ou no, do indi-
cador para os propsitos almejados.
A relevncia para a agenda poltico-so-
cial a primeira e uma das propriedades
fundamentais de que devem gozar os indi-
cadores escolhidos em um sistema de
formulao e avaliao de programas
sociais especficos. Indicadores como a taxa
de mortalidade infantil, a proporo de
crianas com baixo peso ao nascer e a pro-
poro de domiclios com saneamento ade-
quado so, por exemplo, relevantes e perti-
nentes para acompanhamento de
programas no campo da sade pblica no
Brasil, na medida em que podem responder
demanda de monitoramento da agenda
governamental das prioridades definidas na
rea nas ltimas dcadas. Indicadores de
pobreza (no sentido de carncia de
rendimentos), por outro lado, s vieram a
ser regularmente produzidos quando
programas e aes focalizados em grupos
mais vulnerveis entraram na agenda da
poltica social, a partir dos anos 1980.
Validade outro critrio fundamental
na escolha de indicadores, pois desejvel
que se disponha de medidas to prxi-
mas quanto possvel do conceito abstrato
ou da demanda poltica que lhes deram
origem. Em um programa de combate
fome, por exemplo, indicadores antro-
pomtricos ou do padro de consumo
familiar de alimentos certamente gozam de
Figura 1: Construo de sistema de indicadores para ciclo de polticas pblicas
RSP
140
maior validade que uma medida baseada
na renda disponvel, como a proporo
de indigentes. Afinal, ndice de massa
corprea, baixo peso ao nascer ou quan-
tidade de alimentos efetivamente consu-
midos esto mais diretamente relacionados
nutrio adequada e desnutrio que
disponibilidade de rendimentos. Por outro
lado, operacionalmente mais complexo
e custoso levantar informaes para o
clculo desses indicadores de maior
validade, comprometendo o uso deles para
fins de monitoramento peridico do grau
de fome na comunidade (da o uso de
indicadores de rendimento como medidas
de acompanhamento).
Confiabilidade da medida outra
propriedade importante para legitimar o
uso do indicador. Na avaliao do nvel
de violncia em uma comunidade, por
exemplo, indicadores baseados nos regis-
tros de ocorrncias policiais ou mesmo de
mortalidade por causas violentas tendem
a ser menos confiveis e menos vlidos
que aqueles passveis de serem obtidos a
partir de pesquisas de vitimizao, em que
se questionam os indivduos acerca de
agravos sofridos em seu meio em deter-
minado perodo. Naturalmente, mesmo
nessas pesquisas, as pessoas podem-se
sentir constrangidas a revelar situaes de
violncia pessoal sofrida, por exemplo, no
contexto domstico, no assdio sexual ou
na discriminao por raa e/ou cor.
Sempre que possvel, deve-se procurar
empregar indicadores de boa cobertura
territorial ou populacional, que sejam
representativos da realidade emprica em
anlise. Essa uma das caractersticas
interessantes dos indicadores sociais produ-
zidos a partir dos censos demogrficos, o
que os tornam to importantes para o
planejamento pblico no Pas. Mas mesmo
indicadores de cobertura parcial podem
ser teis. Os indicadores de mercado de
trabalho construdos a partir das bases de
dados administrativos do Ministrio do
Trabalho, por exemplo, no retratam a
Quadro 1: Avaliao da aderncia dos indicadores s propriedades desejveis
RSP
dinmica conjuntural do mercado de tra-
balho brasileiro, j que se referem apenas
ao mercado de trabalho formal. Ainda
assim, esses indicadores aportam conheci-
mento relevante acerca da dinmica
conjuntural da economia e do emprego,
em especial em mbito municipal.
Sensibilidade e especificidade so
propriedades que tambm devem ser
avaliadas quando da escolha de indicadores
para a elaborao de um sistema de moni-
toramento e avaliao de programas
pblicos. Afinal, importante dispor de
medidas sensveis e especficas s aes
previstas nos programas, que possibilitem
avaliar rapidamente os efeitos (ou no-
efeitos) de determinada interveno. Taxa
de evaso ou freqncia escolar, por
exemplo, so medidas sensveis e com certa
especificidade para monitoramento de
programas de transferncia de renda, na
medida em que se espera verificar, em curto
prazo, nas comunidades atendidas por tais
programas, maior engajamento das
crianas na escola, como resultado direto
de controles compulsrios previstos ou
mesmo como conseqncia indireta da
mudana de comportamento ou da
necessidade familiar.
A boa prtica da pesquisa social reco-
menda que os procedimentos de cons-
truo dos indicadores sejam claros e
transparentes, que as decises metodo-
lgicas sejam justificadas, que as escolhas
subjetivas invariavelmente freqentes
sejam explicitadas de forma objetiva.
Transparncia metodolgica certamente
um atributo fundamental para que o indi-
cador goze de legitimidade nos meios
tcnicos e cientficos, ingrediente indispen-
svel para sua legitimidade poltica e social.
Comunicabilidade outra propriedade
importante, com a finalidade de garantir a
transparncia das decises tcnicas tomadas
pelos administradores pblicos e a com-
preenso delas por parte da populao, dos
jornalistas, dos representantes comunitrios
e dos demais agentes pblicos. Na discus-
so de planos de governo, oramento
participativo, projetos urbanos, os tcnicos
de planejamento deveriam valer-se, tanto
quanto possvel, de alguns indicadores
sociais mais facilmente compreendidos,
como a taxa de mortalidade infantil e a
renda familiar, ou que o uso sistemtico j
os consolidou, como o ndice de preos e
a taxa de desemprego. Nessas situaes, o
emprego de indicadores muito complexos
pode ser visto como abuso tecnocrtico
dos formuladores de programas, primeiro
passo para o potencial fracasso na sua
implementao.
A periodicidade com que o indicador
pode ser atualizado e a factibilidade de sua
obteno a custos mdicos so outros
Indicadores sociais
permitem a operaciona-
lizao de um conceito
abstrato ou de uma
demanda de interesse
programtico. Eles
apontam, indicam,
aproximam, traduzem
em termos operacionais
as dimenses sociais de
interesse definidas a partir
de escolhas tericas ou
polticas realizadas
anteriormente
RSP
142
aspectos cruciais na construo e seleo
de indicadores sociais para acompanha-
mento de qualquer programa pblico. Para
que se possa acompanhar a mudana social,
avaliar o efeito de programas sociais
implementados, corrigir eventuais distor-
es de implementao, necessrio que
se disponha de indicadores levantados
com certa regularidade. Essa uma das
grandes limitaes do sistema estatstico
brasileiro e, a bem da verdade, de muitos
pases. Para algumas temticas da poltica
social trabalho, por exemplo , possvel
dispor-se de boas estatsticas e indicadores
de forma peridica (mensal), para alguns
domnios territoriais (principais regies
metropolitanas). Para outras temticas, em
escala estadual, possvel atualizar indica-
dores em bases anuais, por meio da Pesquisa
Nacional por Amostra de Domiclios
(PNAD). Nos municpios, em geral, pela
falta de recursos, organizao e compro-
misso com a manuteno peridica dos
cadastros (de contribuintes, de imveis, de
favelas, etc.), s se dispe de informaes
mais abrangentes a cada dez anos, por
ocasio dos censos demogrficos
1
.
Tambm preciso que os indicadores
se refiram, tanto quanto possvel, aos
grupos sociais de interesse ou populao-
alvo dos programas, isto , deve ser pos-
svel construir indicadores sociais referentes
a espaos geogrficos reduzidos, grupos
sociodemogrficos (crianas, idosos,
homens, mulheres, brancos, negros, etc.),
ou grupos vulnerveis especficos (famlias
pobres, desempregados, analfabetos, etc.).
O Censo Demogrfico 2000 reflete, nesse
sentido, o esforo governamental em
atender novas demandas informacionais
para formulao e avaliao de polticas
pblicas, em especial as polticas compen-
satrias e as voltadas discriminao
positiva. Pela primeira vez, em censos brasi-
leiros, investigou-se a freqncia creche,
educao infantil, questo fundamental
na agenda de discusso da poltica educa-
cional nos municpios brasileiros. A carac-
terizao do tipo e grau de deficincia fsica
outro aspecto que mereceu especial
ateno no levantamento, como resultado
da presso de grupos organizados interes-
sados em implementar, de fato, os direitos
assegurados na Constituio. Tentou-se,
tambm, na fase de pr-teste do censo, apri-
morar o levantamento da ascendncia
tnica da populao, de forma a fornecer
subsdios mais precisos a polticas de dis-
criminao positiva, de acesso compensa-
trio a bens e servios pblicos (educao
superior, por exemplo) de grupos histori-
camente desprivilegiados (negros, por
exemplo). O acesso a programas de renda
mnima, como o Bolsa Escola, e outras
transferncias governamentais tambm
foram objeto de maior detalhamento no
censo.
A comparabilidade do indicador ao
longo do tempo uma caracterstica
desejvel, de modo a permitir a inferncia
de tendncias e a avaliar efeitos de eventuais
programas sociais implementados. O ideal
que as cifras passadas sejam compatveis
do ponto de vista conceitual e com confia-
bilidade similar das medidas mais
recentes, o que nem sempre possvel.
Afinal, tambm desejvel que a coleta dos
dados melhore ao longo do tempo, seja
pela resoluo dos problemas de cober-
tura espacial e organizao da logstica de
campo, como pelas mudanas conceituais
que ajudem a precisar melhor o fenmeno
social em questo.
Em uma perspectiva aplicada, dadas
as caractersticas do sistema de produo
de estatsticas pblicas no Brasil, muito
raro dispor-se de indicadores sociais que
gozem plenamente de todas essas
RSP
propriedades. Na prtica, nem sempre o
indicador de maior validade o mais
confivel; nem sempre o mais confivel
o mais sensvel; nem sempre o mais sens-
vel o mais especfico; enfim, nem sem-
pre o indicador que rene todas essas qua-
lidades passvel de ser obtido na escala
territorial e na periodicidade requerida. O
importante que a escolha dos indicado-
res seja fundamentada na avaliao crtica
das propriedades anteriormente discutidas
e no simplesmente na tradio de uso
deles. H esforo significativo de diversas
instituies de disponibilizar novos conte-
dos e informaes a partir de seus cadas-
tros, as quais podem ser usadas para a cons-
truo de novos indicadores sociais.
Taxonomia dos indicadores
para fins de aplicao nas polticas
pblicas
Alm da observncia s propriedades,
a escolha de indicadores para uso no ciclo
de formulao e avaliao de programas
tambm deveria pautar-se pela natureza ou
pelo tipo dos indicadores requeridos.
H vrios sistemas classificatrios para
os indicadores sociais (CARLEY, 1985). A
classificao mais comum a diviso dos
indicadores segundo a rea temtica da
realidade social a que se referem. H, assim,
os indicadores de sade (leitos por mil
habitantes, percentual de crianas nascidas
com baixo peso, por exemplo), os indica-
dores educacionais (taxa de analfabetismo,
escolaridade mdia da populao de 15
anos ou mais, etc.), os indicadores de
mercado de trabalho (taxa de desempre-
go, rendimento mdio real do trabalho,
etc.), os indicadores demogrficos (espe-
rana de vida, etc.), os indicadores habita-
cionais (posse de bens durveis, densidade
de moradores por domiclio, etc.), os
indicadores de segurana pblica e justia
(mortes por homicdios, roubos mo
armada por cem mil habitantes, etc.), os
indicadores de infra-estrutura urbana (taxa
de cobertura da rede de abastecimento de
gua, percentual de domiclios com esgota-
mento sanitrio ligado rede pblica, etc.),
os indicadores de renda e desigualdade
(proporo de pobres, ndice de Gini, etc.).
Outra classificao usual corresponde
diviso dos indicadores entre objetivos e
subjetivos. Os indicadores objetivos refe-
rem-se a ocorrncias concretas ou a entes
empricos da realidade social, construdos
a partir das estatsticas pblicas disponveis,
como o percentual de domiclios com
acesso rede de gua, a taxa de desem-
prego, a taxa de evaso escolar ou o risco
de acidentes de trabalho. Os indicadores
subjetivos, por outro lado, correspondem
a medidas construdas a partir da avaliao
dos indivduos ou especialistas com relao
a diferentes aspectos da realidade, levan-
tados em pesquisas de opinio pblica ou
grupos de discusso, como a avaliao da
qualidade de vida, o nvel de confiana nas
instituies, a percepo da corrupo, a
performance dos governantes. Ainda que
se refiram a dimenses sociais semelhantes,
indicadores objetivos e subjetivos podem
apontar tendncias diferentes. Famlias de
baixa renda, quando instadas a avaliar suas
condies de vida, podem emitir juzos
paradoxalmente mais positivos que uma
anlise baseada em parmetros normativos
e com indicadores objetivos de rendimen-
tos e de infra-estrutura domiciliar. Assim,
a opinio da populao atendida por um
programa certamente importante, dese-
jvel e complementar em qualquer siste-
mtica de monitoramento e avaliao,
trazendo subsdios para a correo e
melhoria do processo de implementao
dos programas e tambm indcios da
RSP
144
efetividade social desses programas, espe-
cialmente aqueles difceis de serem
mensurados em uma escala quantitativa.
Uma outra lgica de classificao, inte-
ressante de se usar na anlise de polticas
pblicas, a diferenciao dos indicadores
entre indicador-insumo, indicador-proces-
so, indicador-resultado e indicador-impacto
(OMS, 1996. COHEN; FRANCO, 2000). Os
indicadores-insumo correspondem s
medidas associadas disponibilidade de
recursos humanos, financeiros ou de
equipamentos alocados para um processo
ou programa que afeta uma das dimenses
da realidade social. So tipicamente
indicadores de alocao de recursos para
polticas sociais o nmero de leitos hospi-
talares por mil habitantes, o nmero de
professores por quantidade de estudantes
ou ainda o gasto monetrio per capita nas
diversas reas de poltica social. Os indica-
dores-resultado so aqueles mais propria-
mente vinculados aos objetivos finais dos
programas pblicos, que permitem avaliar
a eficcia do cumprimento das metas
especificadas, como, por exemplo, a taxa
de mortalidade infantil, cuja diminuio
espera-se verificar com a implementao
de um programa de sade materno-
infantil. Os indicadores-impacto referem-
se aos efeitos e desdobramentos mais
gerais, antecipados ou no, positivos ou
no, que decorrem da implantao dos
programas, como, no exemplo anterior, a
reduo da incidncia de doenas na
infncia ou a melhoria do desempenho
escolar futura, efeitos decorrentes de
atendimento adequado da gestante e da
criana recm-nascida em passado recente.
Os indicadores-processo ou fluxo so
indicadores intermedirios, que traduzem,
em medidas quantitativas, o esforo
operacional de alocao de recursos
humanos, fsicos ou financeiros (indica-
dores-insumo) para a obteno de
melhorias efetivas de bem-estar (indicado-
res-resultado e indicadores-impacto),
como nmero de consultas peditricas por
ms, merendas escolares distribudas diaria-
mente por aluno ou ainda homens-hora
dedicados a um programa social.
A distino entre essas dimenses
operacionais insumo, processo, resultado,
impacto pode no ser muito clara em
algumas situaes, especialmente quando
os programas so muito especficos ou no
caso contrrio, quando os objetivos dos
programas so muito gerais. Mas sempre
possvel identificar indicadores mais
vinculados aos esforos de polticas e
programas e aqueles referentes aos efeitos
(ou no-efeitos) desses programas.
Na Figura 2, so apresentados alguns
indicadores de acompanhamento de um
suposto programa de transferncia de renda,
cuja finalidade seja a de reduzir a parcela de
famlias em condio de indigncia, isto ,
de famlias com recursos monetrios insu-
ficientes para a compra de uma cesta de
produtos para a alimentao de seus mem-
bros: como indicador-insumo, o volume de
recursos do programa, com percentual do
oramento ou em bases per capita; como
indicadores-processo, os percentuais de
famlias cadastradas pelas prefeituras e
daquelas efetivamente atendidas, que podem
fornecer elementos para a avaliao da
eficincia do programa; como indicador-
resultado, a proporo de famlias em situa-
o de indigncia, ou com rendimentos
abaixo de determinado valor, medida que
deveria refletir o grau de eficcia com que
o programa atendeu ao objetivo esperado;
como indicadores-impacto, a taxa de
evaso escolar e a desnutrio infantil, efeitos
potenciais do programa implementado que
permitem dimensionar a sua efetividade
social.
RSP
Os indicadores podem tambm ser
classificados como simples ou complexos,
ou, na terminologia que se tem empregado
mais recentemente, como analticos ou
sintticos. O que os diferencia , como as
denominaes sugerem, o compromisso
com a expresso mais analtica ou de sntese
do indicador. Taxa de evaso escolar, taxa
de mortalidade infantil, taxa de desem-
prego so medidas comumente empre-
gadas para anlise de questes sociais
especficas no campo da educao, da
sade e do mercado de trabalho. Medidas
como ndice de Preos ao Consumidor
ou ndice de Desenvolvimento Humano
(IDH), por outro lado, procuram sintetizar
vrias dimenses empricas da realidade
econmica e/ou social em uma nica
medida. No primeiro caso, o ndice de
preos corresponde a uma mdia ponde-
rada de variaes relativas de preos de
diferentes tipos de produto (alimentao,
educao, transporte, etc.). No segundo
caso, o IDH corresponde a uma mdia de
medidas derivadas originalmente de indi-
cadores (simples ou analticos) de escolari-
zao, alfabetizao, renda mdia e
esperana de vida.
H uma idia subjacente a essa diferen-
ciao entre indicadores analticos e
sintticos, de que estes ltimos, ao contem-
plarem no seu cmputo um conjunto mais
amplo de medidas acerca da realidade social
de uma localidade, tenderiam a refletir o
comportamento mdio ou situao
tpica dessa localidade em termos do
desenvolvimento humano, qualidade de
vida, vulnerabilidade social ou outro con-
ceito operacional que lhes deu origem.
Como mostrado no Quadro 2, tem havido
muitas propostas de indicadores sintticos
no Brasil, com maior ou menor grau de
sofisticao metodolgica, elaborados por
pesquisadores de universidades, rgos
pblicos e centros de pesquisa, motiva-
das, por um lado, pela necessidade de
atender s demandas de informao para
Insumo Processo Resultado Impacto
Gasto pblico em
programas de
transferncia de
renda
% de famlias
cadastradas
% de famlias
atendidas
Proporo de
indigentes
Taxa de evaso
escolar
Reduo da
desnutrio
infantil
Figura 2: Indicadores de acompanhamento de programas de transferncia de renda
Na prtica, nem
sempre o indicador de
maior validade o mais
confivel; nem sempre o
mais confivel o mais
sensvel; nem sempre o
mais sensvel o mais
especfico; enfim, nem
sempre o indicador que
rene todas essas quali-
dades passvel de ser
obtido na escala
territorial e na periodici-
dade requerida
RSP
146
formulao de polticas e tomada de
decises nas esferas pblicas e, por outro,
pelo sucesso do IDH e seu impacto,
nestes ltimos 15 anos, na disseminao
da cultura de uso de indicadores nos
crculos polticos.
Contudo, a aplicabilidade dos indi-
cadores sintticos como instrumentos de
avaliao da efetividade social das polticas
pblicas ou como instrumentos de alocao
prioritria do gasto social est sujeita a fortes
questionamentos (RYTEN, 2000). Ao partir
da premissa de que possvel apreender o
social por meio da combinao de
mltiplas medies dele, no se sabe ao
fim e ao cabo quais as mudanas espec-
ficas ocorridas e qual a contribuio ou o
efeito dos programas pblicos especficos
sobre sua transformao. Alm disso, h
questionamento acerca do grau de proxi-
midade entre a medida e o conceito origi-
nal e da usual subsuno do ltimo pela
primeira, em que o indicador adquire o status
de conceito, como no caso da proporo
de famlias com renda abaixo de determi-
nado valor, que passou a designar a popu-
lao indigente, que passa fome, etc. (ROCHA,
2002). H questionamentos acerca do grau
de arbitrariedade com que se definem os
pesos com os quais os indicadores devem
ser ponderados no cmputo da medida
final. H ainda crticas com relao s
distores na seleo de pblicos-alvo a que
o uso desses indicadores sintticos podem
levar, sobretudo em casos de programas
setoriais (GUIMARES; JANNUZZI, 2004).
Por mais consistentes que sejam essas
crticas, preciso reconhecer que os indica-
dores sintticos acabaram por se legitimar
em diversos aspectos. A legitimidade social
Instituio promotora
Fundao Joo Pinheiro/MG
Fundao CIDE/RJ
Fundao SEADE/SP
Fundao Economia e
Estatstica/RS
Superintendncia de Estudos
Econmicos e Sociais da Bahia
(SEI/BA)
Prefeitura Municipal de Belo
Horizonte/PUC Minas/MG
INEP/Cedeplar/NEPO
ndice proposto
IDH-M: ndice de Desenvolvimento Humano Municipal
ICV: ndice de Condies de Vida Municipal
IQM: ndice de Qualidade Municipal - verde
IQM: ndice de Qualidade Municipal - carncias
IQM: ndice de Qualidade Municipal - necessidades
habitacionais
IQM: ndice de Qualidade Municipal - sustentabilidade fiscal
IPRS: ndice Paulista de Responsabilidade Social
IVJ: ndice de Vulnerabilidade Juvenil
IPVS: ndice Paulista de Vulnerabilidade Social
ISMA: ndice Social Municipal Ampliado
IDS: ndice de Desenvolvimento Social
IDE: ndice de Desenvolvimento Econmico
IQVU: ndice de Qualidade de Vida Urbana
IVS: ndice de Vulnerabilidade Social
IMDE: Indicador Municipal de Desenvolvimento
Educacional
Quadro 2: Alguns dos indicadores sintticos propostos no Brasil
RSP
dessas propostas de indicadores tem-se
demonstrado pela visibilidade e freqncia
que os indicadores sintticos tm conferido
s questes sociais na mdia pelo formato
apropriado para a sntese jornalstica e
instrumentalizao poltica do movimento
social e das ONGs no monitoramento dos
programas sociais. O fato de que alguns
desses indicadores foram criados sob enco-
menda e mesmo com a participao
de gestores pblicos e legisladores
certamente lhes confere legitimidade poltica.
O fato de que os ndices acabam aparen-
temente funcionando bem, apontando o
que se espera que apontassem as iniqi-
dades, os bolses de pobreza, etc. ,
garante-lhes tambm legitimidade tcnica.
Tambm desfrutam de legitimidade cien-
tfica, j que vrios desses projetos tm
obtido financiamento de agncias nacionais
e internacionais de fomento pesquisa. Por
fim, a legitimidade institucional dessas
propostas sustenta-se no fato de terem
servido de instrumento de garantia do
espao institucional das instituies de
estatstica e planejamento em um quadro de
forte contingenciamento e de corte de ver-
bas no setor pblico, nos ltimos 15 anos.
Alm disso, como se discute mais frente,
indicadores sintticos podem ser teis como
instrumentos de tomada de deciso no ciclo
de programas sociais.
Assim, alm de avaliar a aderncia de
cada indicador s propriedades relacionadas
anteriormente, tambm pode ser til fazer
uma reflexo sobre a natureza de cada um
(Quadro 3), a fim de entender o seu papel
informativo em um sistema de indicadores
para formulao e avaliao de programas
sociais, como se dir na seo seguinte.
Indicadores no ciclo de formula-
o e avaliao de programas sociais
Apresentado o marco conceitual acerca
dos indicadores sociais, passa-se agora
discusso a respeito do uso deles no ciclo
de formulao e avaliao de polticas p-
blicas ou programas sociais (Figura 3).
Cada etapa do ciclo envolve o uso de um
conjunto de indicadores de diferentes
naturezas e propriedades, em funo das
Quadro 3: Identificao da natureza dos indicadores
RSP
148
necessidades intrnsecas das atividades a
envolvidas (Quadro 4).
Assim, na etapa de elaborao do
diagnstico para a poltica ou programa
social, so necessrios indicadores de boa
confiabilidade, validade e desagregabi-
lidade, cobrindo as diversas temticas da
realidade social. Afinal, preciso ter um
retrato to amplo e detalhado quanto
possvel acerca da situao social vivenciada
pela populao para orientar, posterior-
mente, as questes prioritrias a atender,
os formatos dos programas a imple-
mentar, as estratgias e aes a desenvol-
ver. Trata-se de caracterizar o marco zero,
a partir do qual se poder avaliar se o
programa est provocando as mudanas
sociais desejveis. Os indicadores usados
Quadro 4: Indicadores requeridos em cada etapa do ciclo de programas sociais
Figura 3: Representao clssica do ciclo de formulao e avaliao de programas sociais
RSP
nessa etapa so construdos, em geral, a
partir do censo demogrfico ou de
pesquisas amostrais multitemticas (como
as PNADs), quando os dados do censo j
estiverem distantes do momento de
elaborao do diagnstico.
Como observado anteriormente, o
Censo 2000 constitui-se em fonte muito
rica de indicadores de diagnstico pelo
escopo temtico, pela desagregabilidade
territorial e populacional e pela compa-
rabilidade inter-regional. Foram levantados,
na amostra do censo, mais de 70 quesitos
de informao, cobrindo caractersticas
domiciliares, infra-estrutura urbana, carac-
tersticas demogrficas e educacionais dos
indivduos, insero da mo-de-obra, ren-
dimentos, acesso a alguns programas
pblicos, etc. Os indicadores dessas dimen-
ses analticas podem ser computados para
diversos grupos sociodemogrficos (por
sexo, raa/cor, estratos de renda, etc.) e
escalas territoriais que chegam ao nvel de
agregaes de bairros de municpios (reas
de ponderao, mais propriamente) e at
mesmo ao nvel de setor censitrio
(conjunto de cerca de 200 a 300 domiclios
na zona urbana, para os quesitos levantados
no questionrio bsico, aplicados em todos
os domiclios do Pas). Por meio de um
software de fcil manipulao Estatcart
pode-se extrair estatsticas e cartogramas
da quase totalidade dos municpios de
mdio porte no Pas, em nvel de setor
censitrio ou reas de ponderao, como
ilustrado na Figura 4.
Essa possibilidade de dispor de infor-
mao estatstica por setor censitrio (ou
rea de ponderao) no parece ter sido
explorada em toda a sua potencialidade
por parte de formuladores e gestores de
programas sociais, seja no mbito federal,
estadual ou municipal. Quando se trata de
fazer diagnsticos sociais mais detalhados
territorialmente, empregam-se, em geral,
indicadores mdios computados para os
municpios, escondendo-se os bolses de
iniqidades presentes dentro de cada um dos
municpios brasileiros. Os indicadores
mdios de rendimentos ou de infra-estru-
tura urbana do Municpio de So Paulo so,
por exemplo, bem melhores que a mdia
geral dos municpios brasileiros. Contudo,
se os indicadores forem computados em
nvel de setores censitrios, poder-se- cons-
tatar no territrio paulistano a diversidade
de situaes de condies de vida encon-
trada pelo territrio nacional, ou seja, pos-
svel encontrar bolses de pobreza na
capital paulistana com caractersticas de
alguns municpios do Nordeste
2
.
Um dos recursos que tm auxiliado
na elaborao e apresentao de diagns-
ticos sociais a proposio de tipologias,
agrupamentos ou arqutipos sociais,
usados para classificar unidades territoriais
segundo um conjunto especfico de indica-
dores sociais e, portanto, apontando os
dficits de servios pblicos, de programas
especficos, etc. O ndice Paulista de
Resposabilidade Social um exemplo
nesse sentido, ao classificar os municpios
paulistas em cinco grupos, de acordo com
os nveis observados de indicadores de
sade, escolaridade e porte econmico
municipal (SEADE, 2002).
Alm dos indicadores multitemticos
para retratar as condies de vida, refe-
rentes sade, habitao, ao mercado de
trabalho, etc., tambm devem fazer parte
do diagnstico os indicadores demogr-
ficos, em especial, aqueles que permitem
apresentar as tendncias de crescimento
populacional passado e as projees
demogrficas futuras (que dimensionam os
pblicos-alvo dos diversos programas em
termos de idade e sexo no futuro). As
mudanas demogrficas foram bastante
RSP
150
intensas pelo Pas nos ltimos 30 anos, com
impacto significativo e regionalmente dife-
renciado sobre a demanda de vagas esco-
lares, postos de trabalho, etc. (MARTINE;
CARVALHO; RIAS, 1994).
Na segunda etapa do ciclo de formu-
lao e seleo de programas, requer-se um
conjunto mais reduzido de indicadores, sele-
cionados a partir dos objetivos norteadores
dos programas definidos como prioritrios
pela agenda poltico-social vigente. J se
conhecem, em tese, por meio do diagns-
tico, os bolses de pobreza, as reas com
maior dficit de servios urbanos, com
maior parcela de crianas fora da escola,
com maior nmero de responsveis sujei-
tos ao desemprego. Nessa etapa, requer-se
definir, a partir da orientao poltico-go-
vernamental, a natureza dos programas, as
questes sociais prioritrias a enfrentar, os
pblicos-alvo a atender.
nessa fase que os indicadores
sintticos j mencionados podem ter
maior aplicao, na medida em que
oferecem ao gestor uma medida-sntese
das condies de vida, da vulnerabilidade,
Chefes sem rendimento ou at 1 s.m. Chefes sem instruo ou at 1 ano de estudo
Pessoas de 7 a 14 anos analfabetas Domiclios urbanos sem acesso rede de gua
Figura 4: Cartogramas com indicadores sociais referidos em nvel de setor censitrio
Campinas/SP - 2000
RSP
do desenvolvimento social de municpios,
estados ou de outra unidade territorial em
que h implementao de programas. O
IDH-municipal foi, por exemplo, o indi-
cador empregado pelo Programa Comu-
nidade Solidria para selecionar os muni-
cpios para suas aes, o que certamente
representou um avano em termos de
critrio tcnico-poltico de priorizao.
Contudo, a escolha desse indicador
acabou por excluir do programa todas
as ci dades mdi as e popul osas do
Sudeste, j que suas medidas sociais
mdias calculadas para a totalidade do
municpio eram sempre mais altas que
as dos municpios do Norte e Nordeste.
Se fosse usado um indicador calculado
para domnios submunicipais (setor
censitrio, bairros, reas de ponderao,
etc.), os municpios do Sudeste certamente
teriam bolses que se enquadrariam
entre os pblicos-alvo prioritrios do
programa.
Esse exemplo deixa claro a impor-
tncia do diagnstico microespacializado
comentado anteriormente, em especial o
realizado em nvel de setor censitrio.
possvel, dessa forma, no s garantir
maior preciso e eficincia na alocao dos
programas que devem ser focalizados,
como tambm acompanhar, posterior-
mente, os seus efeitos. Alm disso, o uso
do setor censitrio (ou rea de ponderao)
garante, em alguma medida, a compati-
bilizao dos quantitativos populacionais
de cada pequena rea, amenizando os
efeitos potencialmente destoantes da
tomada de deciso baseada em indicadores
expressos em termos relativos. Dois muni-
cpios podem ter, por exemplo, percentual
similar de famlias indigentes, mas totais
absolutos de indigentes muito distintos.
Municpios populosos podem apresentar
cifras relativamente mais baixas de
indigentes, mas ainda assim podem reunir
totais absolutos bastante significativos. Em
qual municpio devem-se priorizar as aes
de programas de transferncia de renda:
naquele em que a intensidade de indign-
cia elevada ou naquele em que o quanti-
tativo de indigentes maior? Quando se
tm indicadores calculados para reas com
totais populacionais mais compatveis, os
rankings de priorizao baseados em indi-
cadores relativos ou absolutos diferem
pouco
3
.
Idealmente, a tomada de deciso com
relao aos pblicos-alvo a serem prio-
rizados deve-se pautar em um indicador
mais especfico e vlido para o programa
em questo, mais relacionado aos seus
objetivos, como a taxa de mortalidade
infantil em programas de sade materno-
infantil, o dficit de peso ou altura em
programas de combate fome ou a
proporo de domiclios com baixa renda
em programas de transferncia de renda.
Se vrios indicadores devem ser usados e
os critrios de elegibilidade referem-se a
variveis existentes no censo demogrfico,
possvel fazer processamentos espec-
ficos, de forma relativamente rpida, por
meio de um pacote estatstico (com os
microdados do censo em 16 CD-ROMs)
ou mesmo por meio de uma ferramenta
disponibilizada pela Internet (Banco
Multidimensional de Estatsticas) no stio
do IBGE. Um desses indicadores
construdos pelo cruzamento de variveis
do Censo 2000 o trazido na ltima tabela
da publicao Indicadores municipais do IBGE
(2002). Trata-se de um indicador combi-
nado construdo a partir do cruzamento
simultneo dos diversos critrios , repre-
sentando a proporo dos domiclios
particulares permanentes que no tm
escoadouros ligados rede geral ou fossa
sptica, no so servidos de gua por rede
RSP
152
geral, no tm coleta regular de lixo, seus
responsveis (chefes) tm menos de quatro
anos de estudo e rendimento mdio men-
sal at dois salrios mnimos. Esse indi-
cador batizado informalmente de Indi-
cador de Dficit Social pode ser calculado
tambm por reas de ponderao do censo
e tem-se mostrado com grande poder de
discriminao e validade em representar
situaes de carncias de servios pblicos
bsicos pelo territrio nacional.
Em alguns casos de programas inter-
setoriais que envolvem esforos de equipes
de diferentes reas e o alcance de vrios
objetivos, pode ser interessante tomar a
deciso acerca das reas prioritrias de
implantao dos programas a partir da
combinao de vrios critrios (indicadores).
Nesse caso, pode-se empregar a anlise
multicritrio, tcnica estruturada para toma-
da de decises em que interagem vrios
agentes, cada um com seus critrios e juzos
de valor acerca do que mais importante
considerar na deciso final (ENSSLIN, 2001).
A vantagem do uso dessa tcnica em rela-
o a outras, como o emprego de indica-
dores sintticos, que ela permite que a
deciso seja pautada com base nos critrios
(indicadores) considerados relevantes para
o programa em questo pelos agentes
decisores e que a importncia dos critrios
seja definida por eles, em um processo de
interatividade com outros atores tcnico-
polticos. Alguns algoritmos que implemen-
tam a tcnica produzem solues hierar-
quizadas como um indicador sinttico
e robustas, no dependentes da escala de me-
dida ou disperso das variveis (Figura 5).
Na etapa de implementao e exe-
cuo dos programas, so necessrios
indicadores de monitoramento, que devem
primar pela sensibilidade, especificidade e,
sobretudo, pela periodicidade com que
esto disponveis. Esse um grande
problema, como j se observou anterior-
mente, em especial se se necessita de indica-
dores em escala municipal. As informaes
produzidas pelas agncias estatsticas no
so, em geral, especficas para os prop-
sitos de monitoramento de programas, seja
na escala territorial desejada, seja na regula-
ridade necessria.
Contudo, procurando atender
demanda por informaes municipais mais
Figura 5: Anlise multicritrio para tomada de deciso com base em indicadores sociais
RSP
peridicas, o IBGE tem realizado, de
forma mais regular, a Pesquisa Nacional
de Assistncia Mdico-Sanitria (AMS), a
Pesquisa de Informaes Bsicas Munici-
pais (MUNIC) e a Pesquisa Nacional de
Saneamento Bsico (PNSB). A AMS
corresponde a um censo de estabeleci-
mentos de sade no Pas, identificando
volume e qualificao de pessoal, equipa-
mentos e outros recursos disponibilizados
para atendimento mdico-sanitrio da
populao. Com isso, pode-se ter uma
idia mais clara e precisa do nvel e da
diversidade da oferta de servios de sade
pelo Pas, por meio da construo de
indicadores de esforos de polticas na rea
de sade. A MUNIC contempla, anual-
mente, o levantamento de conjunto amplo
de informaes nas prefeituras dos mais
de 5 mil municpios brasileiros. Nessa
pesquisa, levantam-se dados sobre a estru-
tura administrativa, o nvel de participao
e formas de controle social (existncia de
conselhos municipais), a existncia de
legislao e instrumentos de planejamento
municipal (como a institucionalizao do
plano de governo, do plano plurianual de
investimentos, do plano diretor e da lei de
parcelamento do solo), a disponibilidade
de recursos para promoo da justia e
segurana (existncia de delegacia da
mulher, juizados de pequenas causas, etc.),
alm da existncia de equipamentos espe-
cficos de comrcio, servios da indstria
cultural e de lazer, como bibliotecas
pblicas, livrarias, jornais locais e ginsios
de esporte. Essa pesquisa permite, pois,
construir indicadores que permitem retratar
o grau de participao e controle popular
da ao pblica e caracterizar o estgio de
desenvolvimento institucional das ativi-
dades de planejamento e gesto municipal
pelo Pas. A PNSB veio complementar
esse quadro informacional sobre os
municpios brasileiros com a coleta de
dados sobre abastecimento de gua,
esgotamento sanitrio, limpeza urbana e
sistema de drenagem urbana. Pode-se, as-
sim, dispor de outros indicadores mais in-
formativos sobre a estrutura e qualidade
dos servios de infra-estrutura urbana, que
no se limitam a apontar o grau de cober-
tura populacional atendida. Com os dados
levantados nessa pesquisa, possvel cons-
truir indicadores do volume de gua
ofertada per capita, do tipo de tratamento
e do volume da gua distribuda popu-
lao, do volume e destino do esgoto e
lixo coletado, entre outros aspectos.
H tambm esforos louvveis de vrias
instituies pblicas, alm do IBGE, em
disponibilizar informaes de seus cadastros
e registros de forma mais peridica, fato
que se deve no s necessidade de
monitoramentos da ao governamental,
Dois municpios podem
ter percentual similar de
famlias indigentes, mas
totais absolutos de indigen-
tes muito distintos. Em qual
municpio devem-se priori-
zar as aes de programas
de transferncia de renda:
naquele em que a intensi-
dade de indigncia elevada
ou naquele em que o
quantitativo de indigentes
maior?
RSP
154
mas tambm s facilidades que as novas
tecnologias de informao e comunicao
tm proporcionado. Os rgos estaduais de
estatstica, os Ministrios da Sade, da Edu-
cao, do Trabalho, do Desenvolvimento
Social, da Previdncia Social, das Cidades e a
Secretaria do Tesouro Nacional disponi-
bilizam pela Internet informaes bastante
especficas em escopo temtico e escala
territorial a partir de seus registros e sistemas
de controle internos, que podem ser teis para
a construo de indicadores de monitora-
mento de programas (Quadro 5).
A lgica do acompanhamento de
programas requer a estruturao de um
sistema de indicadores que, alm de espec-
ficos, sensveis e peridicos, permitam
monitorar a implementao processual do
programa na lgica insumo-processo-
resultado-impacto, isto , so necessrios
indicadores que permitam monitorar o
dispndio realizado por algum tipo de uni-
dade operacional prestadora de servios ou
subprojeto; o uso operacional dos recursos
humanos, financeiros e fsicos; a gerao de
produtos e a percepo dos efeitos sociais
Quadro 5: Algumas das fontes oficiais para atualizao peridica de indicadores
RSP
mais amplos dos programas. Assim, a
distino entre a terceira e a quarta etapas
do ciclo de programas pode ser menos evi-
dente que nas demais, sobretudo em pro-
gramas de longa durao, isto , monito-
ramento e avaliao de programas so
termos cunhados para designar procedi-
mentos de acompanhamento de progra-
mas, focados na anlise da sua eficincia,
eficcia e efetividade (COHEN; FRANCO, 2000).
Monitoramento e avaliao so processos
analticos organicamente articulados, suce-
dendo-se no tempo, com o propsito de
subsidiar o gestor pblico com informa-
es acerca do ritmo e da forma de
implementao dos programas (indicado-
res de monitoramento) e dos resultados e
efeitos almejados (indicadores de avaliao).
Como atividade de monitoramento ou
de avaliao, importante analisar os indi-
cadores de resultados a partir dos
indicadores de esforos e recursos alocados,
o que permite o dimensionamento da efi-
cincia dos programas. O emprego da An-
lise Envoltria de Dados (DEA) pode
representar grande avano metodolgico
nesse sentido (LINS; MEZA, 2000). A DEA
uma tcnica derivada dos mtodos de
pesquisa operacional que visa identificao
das unidades de operao mais eficientes,
tendo em vista como os recursos (retratados
por vrios indicadores de insumo) so utili-
zados para gerar os resultados finais (me-
didos por diversos indicadores-resultados),
considerando as condies estruturais de
operao dos programas. Determinados
programas implementados em regies mais
pobres, podero no ter resultados to
promissores como em outras mais desen-
volvidas. Assim, preciso avaliar a eficin-
cia dos programas em funo no apenas
em relao ao resultado obtido e quanti-
dade de recursos alocados, mas conside-
rando as dificuldades ou potencialidades
existentes na regio em que os programas
esto funcionando. O que torna essa tcnica
particularmente interessante de ser aplicada
que se podem considerar os recursos e
resultados como vetores de indicadores em
suas escalas originais e no como variveis
representando valores monetrios de custos
e benefcios.
Como ilustra a Figura 6, um progra-
ma de sade deve ser avaliado em relao
aos diversos resultados que produz em
termos de reduo das taxas de mortali-
dade e morbidade, a partir dos recursos
alocados (mdicos por mil habitantes) e
servios de sade prestados (consultas
atendidas), considerando as condies
estruturais de vida existentes em cada local
de sua implementao (indicadores de
renda e infra-estrutura de saneamento). Pela
tcnica possvel identificar as boas pr-
ticas ou benchmarks reais, isto , unidades
de implementao do programa em que
os resultados so, de fato, compatveis com
o nvel de esforo empreendido e de
recursos gastos.
Os indicadores de desembolso de
recursos e produtos colocados dispo-
sio da populao construdos a partir
de registros prprios da sistemtica de
controle e gerenciamento dos programas
podem permitir uma avaliao indireta
da eficcia dos programas no alcance das
metas estabelecidas, quando as estatsticas
pblicas ou os dados administrativos de
ministrios e secretarias estaduais no forem
mais especficos e peridicos na escala
territorial desejada. Na falta de pesquisas
amostrais regulares que contemplem
temticas relati vas, por exemplo, ao
consumo de produtos culturais e aos
hbitos de lazer ainda no incorporadas
na agenda poltico-social nacional de forma
imperativa , a eficcia de programas na
rea, como os de fomento leitura, ter
RSP
156
mbito dele possam ser imediatamente
impactantes sobre a sociedade. Programas
de transferncia de renda ou de distribuio
de leite ou cestas bsicas em periferias de
grandes cidades do Sudeste proporcionam
impactos sociais comparativamente menos
intensos e rpidos que programas de inves-
timento em saneamento bsico, por exem-
plo, no que diz respeito s condies de
mortalidade infantil. Contudo, ao longo do
tempo, a transferncia de renda ou a
distribuio de produtos estar contri-
buindo para a melhoria da nutrio de
crianas, garantindo ganhos adicionais contra
a mortalidade infantil, assim como, mais a
mdio prazo, para a melhoria do seu
desempenho escolar. Esse exemplo revela,
pois, a dificuldade de se atriburem os
efeitos de programas especficos sobre as
mudanas estruturais das condies sociais,
dificuldade que, paradoxalmente, cresce
medida que tais transformaes e os im-
pactos tendem a se tornar mais evidentes.
A dificuldade ainda maior quando se
observam problemas de descontinuidades
e de implementao nos programas
pblicos.
de ser inferida a partir dos produtos
previstos na aes desencadeadas, como
o volume de livros distribudos s escolas
e bibliotecas. Nesse caso, indicadores de
resultados mais vlidos para avaliar a
eficincia do programa, como nmero
mdio de livros lidos no ltimo ano, por
exemplo, so apenas ocasionalmente
levantados pelo IBGE ou pela Cmara
Brasileira do Livro.
Outra demanda no ciclo de programas,
em particular na etapa de avaliao, a iden-
tificao dos seus impactos. Para tanto,
devem-se empregar indicadores de diferen-
tes naturezas e propriedades, de forma a
conseguir garantir tanto quanto possvel a
vinculao das aes do programa com as
mudanas percebidas, ou no, nas condi-
es de vida da populao, tarefa sempre
difcil de ser realizada (ROCHE, 2002). Em
primeiro lugar, a menos que a realidade
social vivenciada antes do incio do
programa (marco zero) fosse muito trgica,
ou que o programa tenha recebido recursos
muito expressivos para serem gastos em
curto espao de tempo, no se pode esperar
que os produtos e resultados gerados no
Figura 6: Aplicao da Anlise Envoltria de Dados na avaliao de programas em sade
RSP
De modo a perceber mais claramente
os impactos dos programas, deve-se buscar
medidas e indicadores mais especficos e sen-
sveis aos efeitos por eles gerados. Uma das
formas de se operacionalizar isso avaliando
efeitos sobre grupos especficos da popu-
lao, seja em termos de renda, idade, raa,
sexo ou localizao espacial. Se os programas
tm pblicos-alvo preferenciais, localizados
em determinadas regies ou estratos de renda,
deve-se no s buscar indicadores de impacto
que privilegiem a sua avaliao do conjunto
da populao, que pode estar, inclusive, sob
o risco de efeitos estruturais mais gerais (que
podem no afetar o pblico-alvo na mesma
intensidade), mas tambm desenvolver
estratgias metodolgicas avaliativas de
natureza qualitativa, com pesquisas de opinio
ou grupos de discusso, incorporando indi-
cadores subjetivos na avaliao. Nesse senti-
do, os impactos podem ser avaliados em uma
perspectiva mais restrita ou mais ampla, con-
siderando o tamanho da populao afetada,
o espao de tempo considerado para a
referncia dos indicadores e a natureza mais
objetiva ou subjetiva dos impactos percebidos
pela populao.
Consideraes finais
Uma das grandes dificuldades atuais
no acompanhamento de programas
pblicos dispor de informaes peri-
dicas e especficas acerca do processo de
sua implementao e do alcance dos
resultados e do impacto social que tais
programas esto tendo nos segmentos
sociodemogrficos ou nas comunidades
focalizadas por eles. Seja da perspectiva da
avaliao formativa, isto , aquela com os
propsitos de acompanhar e monitorar a
implementao de programas, a fim de
verificar se os rumos traados esto sendo
seguidos e permitir intervenes corretivas,
seja da perspectiva da avaliao somativa,
isto , aquela mais ao final do processo de
implementao, com propsitos mais
amplos e meritrios (CANO, 2002), o gestor
de programas sociais defronta-se com a
dificuldade de obter dados vlidos, espe-
cficos e regulares para seus propsitos.
Se fato que as informaes produ-
zidas pelas agncias estatsticas so, em boa
medida, pouco especficas para os prop-
sitos de monitoramento de programas, no
provendo informao na escala territorial
desejada ou na regularidade necessria,
tambm verdade que elas podem-se
prestar elaborao de diagnsticos bas-
tante detalhados em escopo e escala, como
no caso das informaes provenientes dos
censos demogrficos. As informaes
produzidas no mbito dos processos
administrativos dos ministrios e das
secretarias estaduais e municipais podem
tambm suprir boa parte da demanda de
dados para a construo de indicadores
peridicos de monitoramento, requerendo,
contudo, algum retrabalho de custo-
mizao em funo das necessidades de
delimitao territorial dos programas, desde
que exista um cdigo de localizao da
escola, do posto de sade, da delegacia, etc.
De qualquer forma, as estatsticas e os
dados do IBGE e de outros rgos pblicos
dificilmente atendero todas as necessida-
des informacionais requeridas para o
monitoramento e a avaliao de programas
pblicos mais especficos. Assim, necess-
rio, quando da formulao desses progra-
mas, prever a organizao de procedimen-
tos de coleta e tratamento de informaes
especficas e confiveis em todas as fases
do ciclo de implementao, que possam
permitir a construo dos indicadores de
monitoramento desejados.
(Ar tigo recebido em maio de 2005. Verso
definitiva em junho de 2005)
RSP
158
Notas
*
Texto submetido editoria da Revista do Servio Pblico em que se procura compilar e
reorganizar idias expostas em trs oportunidades anteriores (Jannuzzi , 2001, 2002. Guimares;
Jannuzzi, 2004), a partir das experincias de capacitao de tcnicos de ONGs e gestores do setor
pblico nos cursos de extenso de Indicadores Sociais e Polticas Pblicas, desenvolvidos no
mbito do convnio ENCE/IBGE e Fundao FORD, e nos cur sos de for mao da Escola Nacio-
nal de Administrao Pblica ao longo de 2003 e 2004.
1
Dada a inexistncia e desorganizao dos cadastros nos municpios brasileiros, os censos
demogrficos acabam levantando um conjunto muito amplo de informaes, o que o torna ainda
mais custoso e complexo.
2
De fato, o que o ndice Paulista de Vulnerabilidade Social calculado por setor censitrio
permite constatar (vide em: www.seade.gov.br).
3
Vale obser var, contudo, que os setores censitrios apr esentam variabilidade significativa em
termos de quantitativos populacionais pelos municpios brasileiros.
Referncias bibliogrficas
CANO, I. Avaliao de pr ogramas sociais . Rio de Janeiro: FGV, 2002.
CARLEY, Michael. Indicadores sociais: teoria e prtica. Rio de Janeiro: Zahar, 1985.
COSTA, F.L.; CASTANHAR, J. C. Avaliao de programas pblicos: desafios conceituais e
metodolgicos. Revista Brasileira de Administrao Pblica, Rio de Janeiro, v. 37, n.5, p.:969-
992, 2003.
COHEN, E.; FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 2000.
ENSSLIN, Leonardo et al. Apoio deciso: metodologias para estruturao de problemas e
avaliao multicritrio de alternativas. Florianpolis, SC: Insular, 2001. v. 1. 296 p.
GARCIA, R.C. Subsdios para organizar avaliaes da ao governamental. Planejamento e
Polticas Pblicas, Braslia, v. 23, n. 7, p. 70, 2001.
GUIMARES, J. R. S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes em
polticas pblicas: uma anlise crtica. In: ENCONTRO NACIONALDE ESTUDOS POPULACIONAIS,
14. Anais... Caxambu, 2004.
IBGE. Indicador es sociais municipais. Rio de Janeiro: 2002.
JANNUZZI , P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Cam-
pinas: Alnea, 2001.
___________ . Consideraes sobre o uso, mau uso e abuso dos indicadores sociais
na formulao e avaliao de polticas pblicas municipais. Revista de Administrao Pblica,
Rio de Janeiro, v. 36, n. 1, p. 51-72, jan./fev. 2002.
LINS, M.E; MEZA, L. A. Anlise envoltria de dados e perspectivas de integrao no ambiente de
apoio deciso. Rio de Janeiro: COPPE/UFRJ, 2000.
RSP
MARTINE, G.; CARVALHO, J. A. M.; RIAS, A. R. Mudanas recentes no padro demogrfico
brasileiro e implicaes para a agenda social . Braslia, IPEA, 1994. (Texto para Discusso n.
345)
MILES, I. Social indicators for human development. New York: St. Martins Press, 1985.
NAES UNIDAS. Handbook of social indicators. Nova York: 1988.
OMS. Catalogue of health indicators. Genebra: 1996.
ROCHA, S. Pobreza: do que se trata afinal. Rio de Janeiro: FGV, 2003.
ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. So Paulo: Cortez, 2002.
RYTEN, J. Should there be a human development index? Statistique, Dveloppement et Droits
de lHomme Seminar, Montreaux, Setembre, 2000.
SEADE. Monitorao de prioridades de desenvolvimento com equidade social. In:
KEINERT, Tnia; KARRUZ, Ana Paula (Orgs.). Qualidade de vida: observatrios, experincias
e metodologias. So Paulo: Annablume; Fapesp, 2002.
RSP
160
Resumo - Resumen - Abstract
Paulo de Mar tino Jannuzzi
O objetivo do texto discutir as potencialidades e limitaes do uso das informaes estatsticas
produzidas pelo IBGE e os registros administrativos de rgos pblicos para a construo de
indicadores para diagnstico, monitoramento e avaliao de programas sociais no Br asil. Inicia-se
com uma apresentao sobre os aspectos conceituais bsicos acerca dos indicadores sociais, suas
propriedades e formas de classificao. Depois, discute-se uma proposta de estruturao de um
sistema de indicadores para subsidiar o processo de formulao e avaliao de polticas e programas
pblicos no Pas. Conclui-se o texto advogando-se a necessidade de estruturar sistemas de indicado-
res que se apiem na busca de informaes j existentes em fontes secundrias e na produo de
dados no mbito dos prprios programas.
Palavras-chave: indicadores, monitoramento, polticas sociais
Los indicadores para formulacin y evaluacin de programas sociales en Brasil
El artculo discute las potencialidades y las limitaciones del uso de la informacin estadstica
producida por el IBGE y los registros administrativos de las agencias pblicas para la construccin de
los indicadores para la diagnosis, seguimiento y evaluacin de programas sociales en Brasil. Comienza
presentando la base conceptual referente a los indicadores sociales, sus caractersticas y los sistemas de
clasificacin. Despus, presenta un marco del sistema de indicadores para subsidiar el proceso de
formulacin y evaluacin de programas pblicos. El artculo concluye proponiendo la necesidad de
construir sistemas de indicadores basados en fuentes secundarias de datos y tambin en los datos
primarios recogidos en las etapas de los programas.
Palabras clave: indicadores, monitoreo, polticas sociales
Indicators for social policy making and evaluation in Brazil
The paper discusses the potentialities and limitations of the use of statistical information
produced by the IBGE and the administrative registers of public agencies for the construction of
indicators to be used in the diagnosis, monitoring and evaluation of social programs in Brazil. It
begins by presenting the conceptual basis for understanding the social indicators, their properties
and classification systems. It then outlines a framework of a system of indicators to support the
process of formulation and evaluation of public programs. The paper concludes by advocating the
need to structure systems of indicators based on secondary sources of data and also on primary data
collected in the scope of the programs.
Key words: indicators, monitoring, social policies
Assessor da Diretoria Executiva do SEADE, professor da ENCE/IBGE, pesquisador CNPq no
projeto de pesquisa Infor mao estatstica no ciclo de f ormulao, monitoramento e avaliao de
polticas pblicas no Brasil, com recursos do CNPq (Proc. 307101/2004-5). Contato:
pjannuzzi@ibge.gov.br

222 802 1 PB

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

222 802 1 PB

Enviado por

Direitos autorais:

Formatos disponíveis

RSP

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005 137

Você também pode gostar