4054 JANUZZI P Construcao Indicadores Sociais

RSP
Paulo de Martino Jannuzzi
Indicadores para
diagnstico, monitoramento
e avaliao de programas
sociais no Brasil*
Introduo
O interesse pela temtica dos indicadores sociais e sua aplicao nas atividades ligadas ao planejamento governamental e ao ciclo de formulao e avaliao de polticas pblicas vm crescendo no Pas, nas diferentes esferas de
governo e nos diversos fruns de discusso dessas questes. Tal fato deve-se,
em primeiro lugar, certamente, s mudanas institucionais por que a administrao pblica tem passado no Pas, em especial com a consolidao da sistemtica do planejamento plurianual, com o aprimoramento dos controles administrativos dos ministrios, com a mudana da nfase da auditoria dos Tribunais
de Contas da avaliao da conformidade legal para a avaliao do desempenho
dos programas, com a reforma gerencial da gesto pblica em meados dos anos
1990 (G ARCIA, 2001. COSTA ; CASTANHAR , 2003). Esse interesse crescente pelo
uso de indicadores na administrao pblica tambm est relacionado ao aprimoramento do controle social do Estado brasileiro nos ltimos 20 anos. A mdia,
Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005
137
RSP
Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil
os sindicatos e a sociedade civil passaram

a ter maior poder de fiscalizao do gasto
pblico e a exigir o uso mais eficiente, eficaz
e efetivo dele, demandando a reorganizao das atividades de planejamento em
bases mais tcnicas.
Tambm tem contribudo para a
disseminao do uso dos indicadores o
acesso crescentemente facilitado s informaes mais estruturadas de natureza
administrativa e estatstica que as novas
tecnologias de informao e comunicao
viabilizam. Dados cadastrais antes
esquecidos em armrios e fichrios
passam a transitar pela Internet, transformando-se em informao estruturada
para anlise e tomada de deciso. Dados
estatsticos antes inacessveis em enormes
arquivos digitais passam a ser customizados na forma de tabelas, mapas e
modelos quantitativos construdos por
usurios no especializados. Sem dvida,
a Internet, os CD-ROMs inteligentes, os
arquivos de microdados potencializaram
muito a disseminao da informao
administrativa compilada por rgos
pblicos e a informao estatstica produzida pelas agncias especializadas.
com o objetivo de apresentar como
essas informaes estruturadas podem ser
empregadas nas diferentes etapas do ciclo
de formulao e avaliao de programas
pblicos que se apresenta este texto. Para
isso, inicialmente, apresentam-se, nas duas
primeiras sees, os aspectos conceituais
bsicos acerca dos indicadores sociais, as
suas propriedades e as formas de classific-los. Depois, discute-se uma proposta
de estruturao de um sistema de indicadores para subsidiar o processo de formulao e avaliao de polticas e programas pblicos no Pas.
138
Indicadores nas polticas pblicas: conceito e suas propriedades

No campo aplicado das polticas
pblicas, os indicadores sociais so medidas
usadas para permitir a operacionalizao de
um conceito abstrato ou de uma demanda
de interesse programtico. Os indicadores
apontam, indicam, aproximam, traduzem
em termos operacionais as dimenses
sociais de interesse definidas a partir de
escolhas tericas ou polticas realizadas anteriormente. Prestam-se a subsidiar as atividades de planejamento pblico e a
formulao de polticas sociais nas diferentes
esferas de governo, possibilitam o monitoramento das condies de vida e bem-estar
da populao por parte do poder pblico
e da sociedade civil e permitem o aprofundamento da investigao acadmica sobre
a mudana social e sobre os determinantes
dos diferentes fenmenos sociais (MILES,
1985. NAES UNIDAS, 1988). Taxas de analfabetismo, rendimento mdio do trabalho,
taxas de mortalidade infantil, taxas de
desemprego, ndice de Gini e proporo
de crianas matriculadas em escolas so,
nesse sentido, indicadores sociais, ao traduzirem em cifras tangveis e operacionais
vrias das dimenses relevantes, especficas
e dinmicas da realidade social.
O processo de construo de um
indicador social, ou melhor, de um sistema
de indicadores sociais, para uso no ciclo
de polticas pblicas inicia-se a partir da
explicitao da demanda de interesse
programtico, tais como a proposio de
um programa para ampliao do atendimento sade, a reduo do dficit
habitacional, o aprimoramento do desempenho escolar e a melhoria das condies
de vida de uma comunidade. A partir da
definio desse objetivo programtico,
busca-se, ento, delinear as dimenses, os
componentes ou as aes operacionais

vinculadas. Para o acompanhamento dessas
aes em termos da eficincia no uso dos
recursos, da eficcia no cumprimento de
metas e da efetividade dos seus desdobramentos sociais mais abrangentes e perenes,
buscam-se dados administrativos (gerados
no mbito dos programas ou em outros
cadastros oficiais) e estatsticas pblicas
(produzidas pelo IBGE e outras instituies), que, reorganizados na forma de
taxas, propores, ndices ou mesmo em
valores absolutos, transformam-se em
indicadores sociais (Figura 1). Os indicadores guardam, pois, relao direta com
o objetivo programtico original, na forma
operacionalizada pelas aes e viabilizada
pelos dados administrativos e pelas estatsticas pblicas disponveis.
RSP
A relevncia para a agenda poltico-social a primeira e uma das propriedades

fundamentais de que devem gozar os indicadores escolhidos em um sistema de
formulao e avaliao de programas
sociais especficos. Indicadores como a taxa
de mortalidade infantil, a proporo de
crianas com baixo peso ao nascer e a proporo de domiclios com saneamento adequado so, por exemplo, relevantes e pertinentes para acompanhamento de
programas no campo da sade pblica no
Brasil, na medida em que podem responder
demanda de monitoramento da agenda
governamental das prioridades definidas na
rea nas ltimas dcadas. Indicadores de
pobreza (no sentido de carncia de
rendimentos), por outro lado, s vieram a
ser regularmente produzidos quando
Figura 1: Construo de sistema de indicadores para ciclo de polticas pblicas
A escolha de indicadores sociais para

uso no processo de formulao e avaliao
de polticas pblicas deve ser pautada pela
aderncia deles a um conjunto de propriedades desejveis e pela lgica estruturante
da aplicao, que definir a tipologia de
indicadores mais adequada (JANNUZZI,
2001). No Quadro 1, esto relacionadas
12 propriedades cuja avaliao de aderncia
(+) e de no aderncia ou indiferena
deveria determinar o uso, ou no, do indicador para os propsitos almejados.
programas e aes focalizados em grupos

mais vulnerveis entraram na agenda da
poltica social, a partir dos anos 1980.
Validade outro critrio fundamental
na escolha de indicadores, pois desejvel
que se disponha de medidas to prximas quanto possvel do conceito abstrato
ou da demanda poltica que lhes deram
origem. Em um programa de combate
fome, por exemplo, indicadores antropomtricos ou do padro de consumo
familiar de alimentos certamente gozam de
139
RSP
maior validade que uma medida baseada

na renda disponvel, como a proporo
de indigentes. Afinal, ndice de massa
corprea, baixo peso ao nascer ou quantidade de alimentos efetivamente consumidos esto mais diretamente relacionados
nutrio adequada e desnutrio que
disponibilidade de rendimentos. Por outro
lado, operacionalmente mais complexo
e custoso levantar informaes para o
que aqueles passveis de serem obtidos a

partir de pesquisas de vitimizao, em que
se questionam os indivduos acerca de
agravos sofridos em seu meio em determinado perodo. Naturalmente, mesmo
nessas pesquisas, as pessoas podem-se
sentir constrangidas a revelar situaes de
violncia pessoal sofrida, por exemplo, no
contexto domstico, no assdio sexual ou
na discriminao por raa e/ou cor.
Quadro 1: Avaliao da aderncia dos indicadores s propriedades desejveis
clculo desses indicadores de maior

validade, comprometendo o uso deles para
fins de monitoramento peridico do grau
de fome na comunidade (da o uso de
indicadores de rendimento como medidas
de acompanhamento).
Confiabilidade da medida outra
propriedade importante para legitimar o
uso do indicador. Na avaliao do nvel
de violncia em uma comunidade, por
exemplo, indicadores baseados nos registros de ocorrncias policiais ou mesmo de
mortalidade por causas violentas tendem
a ser menos confiveis e menos vlidos
140
Sempre que possvel, deve-se procurar

empregar indicadores de boa cobertura
territorial ou populacional, que sejam
representativos da realidade emprica em
anlise. Essa uma das caractersticas
interessantes dos indicadores sociais produzidos a partir dos censos demogrficos, o
que os tornam to importantes para o
planejamento pblico no Pas. Mas mesmo
indicadores de cobertura parcial podem
ser teis. Os indicadores de mercado de
trabalho construdos a partir das bases de
dados administrativos do Ministrio do
Trabalho, por exemplo, no retratam a
dinmica conjuntural do mercado de trabalho brasileiro, j que se referem apenas

ao mercado de trabalho formal. Ainda
assim, esses indicadores aportam conhecimento relevante acerca da dinmica
conjuntural da economia e do emprego,
em especial em mbito municipal.
Sensibilidade e especificidade so
propriedades que tambm devem ser
avaliadas quando da escolha de indicadores
para a elaborao de um sistema de monitoramento e avaliao de programas
pblicos. Afinal, importante dispor de
medidas sensveis e especficas s aes
previstas nos programas, que possibilitem
avaliar rapidamente os efeitos (ou noefeitos) de determinada interveno. Taxa
de evaso ou freqncia escolar, por
exemplo, so medidas sensveis e com certa
especificidade para monitoramento de
programas de transferncia de renda, na
medida em que se espera verificar, em curto
prazo, nas comunidades atendidas por tais
programas, maior engajamento das
crianas na escola, como resultado direto
de controles compulsrios previstos ou
mesmo como conseqncia indireta da
mudana de comportamento ou da
necessidade familiar.
A boa prtica da pesquisa social recomenda que os procedimentos de construo dos indicadores sejam claros e
transparentes, que as decises metodolgicas sejam justificadas, que as escolhas
subjetivas invariavelmente freqentes
sejam explicitadas de forma objetiva.
Transparncia metodolgica certamente
um atributo fundamental para que o indicador goze de legitimidade nos meios
tcnicos e cientficos, ingrediente indispensvel para sua legitimidade poltica e social.
Comunicabilidade outra propriedade
importante, com a finalidade de garantir a
transparncia das decises tcnicas tomadas
RSP
pelos administradores pblicos e a compreenso delas por parte da populao, dos

jornalistas, dos representantes comunitrios
e dos demais agentes pblicos. Na discusso de planos de governo, oramento
participativo, projetos urbanos, os tcnicos
de planejamento deveriam valer-se, tanto
quanto possvel, de alguns indicadores
sociais mais facilmente compreendidos,
como a taxa de mortalidade infantil e a
renda familiar, ou que o uso sistemtico j
Indicadores sociais
permitem a operacionalizao de um conceito
abstrato ou de uma
demanda de interesse
programtico. Eles
apontam, indicam,
aproximam, traduzem
em termos operacionais
as dimenses sociais de
interesse definidas a partir
de escolhas tericas ou
polticas realizadas
anteriormente
os consolidou, como o ndice de preos e
a taxa de desemprego. Nessas situaes, o
emprego de indicadores muito complexos
pode ser visto como abuso tecnocrtico
dos formuladores de programas, primeiro
passo para o potencial fracasso na sua
implementao.
A periodicidade com que o indicador
pode ser atualizado e a factibilidade de sua
obteno a custos mdicos so outros
141
RSP
aspectos cruciais na construo e seleo

de indicadores sociais para acompanhamento de qualquer programa pblico. Para
que se possa acompanhar a mudana social,
avaliar o efeito de programas sociais
implementados, corrigir eventuais distores de implementao, necessrio que
se disponha de indicadores levantados
com certa regularidade. Essa uma das
grandes limitaes do sistema estatstico
brasileiro e, a bem da verdade, de muitos
pases. Para algumas temticas da poltica
social trabalho, por exemplo , possvel
dispor-se de boas estatsticas e indicadores
de forma peridica (mensal), para alguns
domnios territoriais (principais regies
metropolitanas). Para outras temticas, em
escala estadual, possvel atualizar indicadores em bases anuais, por meio da Pesquisa
Nacional por Amostra de Domiclios
(PNAD). Nos municpios, em geral, pela
falta de recursos, organizao e compromisso com a manuteno peridica dos
cadastros (de contribuintes, de imveis, de
favelas, etc.), s se dispe de informaes
mais abrangentes a cada dez anos, por
ocasio dos censos demogrficos1.
Tambm preciso que os indicadores
se refiram, tanto quanto possvel, aos
grupos sociais de interesse ou populaoalvo dos programas, isto , deve ser possvel construir indicadores sociais referentes
a espaos geogrficos reduzidos, grupos
sociodemogrficos (crianas, idosos,
homens, mulheres, brancos, negros, etc.),
ou grupos vulnerveis especficos (famlias
pobres, desempregados, analfabetos, etc.).
O Censo Demogrfico 2000 reflete, nesse
sentido, o esforo governamental em
atender novas demandas informacionais
para formulao e avaliao de polticas
pblicas, em especial as polticas compensatrias e as voltadas discriminao
positiva. Pela primeira vez, em censos brasi-
142
leiros, investigou-se a freqncia creche,

educao infantil, questo fundamental
na agenda de discusso da poltica educacional nos municpios brasileiros. A caracterizao do tipo e grau de deficincia fsica
outro aspecto que mereceu especial
ateno no levantamento, como resultado
da presso de grupos organizados interessados em implementar, de fato, os direitos
assegurados na Constituio. Tentou-se,
tambm, na fase de pr-teste do censo, aprimorar o levantamento da ascendncia
tnica da populao, de forma a fornecer
subsdios mais precisos a polticas de discriminao positiva, de acesso compensatrio a bens e servios pblicos (educao
superior, por exemplo) de grupos historicamente desprivilegiados (negros, por
exemplo). O acesso a programas de renda
mnima, como o Bolsa Escola, e outras
transferncias governamentais tambm
foram objeto de maior detalhamento no
censo.
A comparabilidade do indicador ao
longo do tempo uma caracterstica
desejvel, de modo a permitir a inferncia
de tendncias e a avaliar efeitos de eventuais
programas sociais implementados. O ideal
que as cifras passadas sejam compatveis
do ponto de vista conceitual e com confiabilidade similar das medidas mais
recentes, o que nem sempre possvel.
Afinal, tambm desejvel que a coleta dos
dados melhore ao longo do tempo, seja
pela resoluo dos problemas de cobertura espacial e organizao da logstica de
campo, como pelas mudanas conceituais
que ajudem a precisar melhor o fenmeno
social em questo.
Em uma perspectiva aplicada, dadas
as caractersticas do sistema de produo
de estatsticas pblicas no Brasil, muito
raro dispor-se de indicadores sociais que
gozem plenamente de todas essas
propriedades. Na prtica, nem sempre o

indicador de maior validade o mais
confivel; nem sempre o mais confivel
o mais sensvel; nem sempre o mais sensvel o mais especfico; enfim, nem sempre o indicador que rene todas essas qualidades passvel de ser obtido na escala
territorial e na periodicidade requerida. O
importante que a escolha dos indicadores seja fundamentada na avaliao crtica
das propriedades anteriormente discutidas
e no simplesmente na tradio de uso
deles. H esforo significativo de diversas
instituies de disponibilizar novos contedos e informaes a partir de seus cadastros, as quais podem ser usadas para a construo de novos indicadores sociais.
Taxonomia dos indicadores

para fins de aplicao nas polticas
pblicas
Alm da observncia s propriedades,
a escolha de indicadores para uso no ciclo
de formulao e avaliao de programas
tambm deveria pautar-se pela natureza ou
pelo tipo dos indicadores requeridos.
H vrios sistemas classificatrios para
os indicadores sociais (CARLEY, 1985). A
classificao mais comum a diviso dos
indicadores segundo a rea temtica da
realidade social a que se referem. H, assim,
os indicadores de sade (leitos por mil
habitantes, percentual de crianas nascidas
com baixo peso, por exemplo), os indicadores educacionais (taxa de analfabetismo,
escolaridade mdia da populao de 15
anos ou mais, etc.), os indicadores de
mercado de trabalho (taxa de desemprego, rendimento mdio real do trabalho,
etc.), os indicadores demogrficos (esperana de vida, etc.), os indicadores habitacionais (posse de bens durveis, densidade
de moradores por domiclio, etc.), os
RSP
indicadores de segurana pblica e justia

(mortes por homicdios, roubos mo
armada por cem mil habitantes, etc.), os
indicadores de infra-estrutura urbana (taxa
de cobertura da rede de abastecimento de
gua, percentual de domiclios com esgotamento sanitrio ligado rede pblica, etc.),
os indicadores de renda e desigualdade
(proporo de pobres, ndice de Gini, etc.).
Outra classificao usual corresponde
diviso dos indicadores entre objetivos e
subjetivos. Os indicadores objetivos referem-se a ocorrncias concretas ou a entes
empricos da realidade social, construdos
a partir das estatsticas pblicas disponveis,
como o percentual de domiclios com
acesso rede de gua, a taxa de desemprego, a taxa de evaso escolar ou o risco
de acidentes de trabalho. Os indicadores
subjetivos, por outro lado, correspondem
a medidas construdas a partir da avaliao
dos indivduos ou especialistas com relao
a diferentes aspectos da realidade, levantados em pesquisas de opinio pblica ou
grupos de discusso, como a avaliao da
qualidade de vida, o nvel de confiana nas
instituies, a percepo da corrupo, a
performance dos governantes. Ainda que
se refiram a dimenses sociais semelhantes,
indicadores objetivos e subjetivos podem
apontar tendncias diferentes. Famlias de
baixa renda, quando instadas a avaliar suas
condies de vida, podem emitir juzos
paradoxalmente mais positivos que uma
anlise baseada em parmetros normativos
e com indicadores objetivos de rendimentos e de infra-estrutura domiciliar. Assim,
a opinio da populao atendida por um
programa certamente importante, desejvel e complementar em qualquer sistemtica de monitoramento e avaliao,
trazendo subsdios para a correo e
melhoria do processo de implementao
dos programas e tambm indcios da
143
RSP
efetividade social desses programas, especialmente aqueles difceis de serem

mensurados em uma escala quantitativa.
Uma outra lgica de classificao, interessante de se usar na anlise de polticas
pblicas, a diferenciao dos indicadores
entre indicador-insumo, indicador-processo, indicador-resultado e indicador-impacto
(OMS, 1996. COHEN; FRANCO, 2000). Os
indicadores-insumo correspondem s
medidas associadas disponibilidade de
recursos humanos, financeiros ou de
equipamentos alocados para um processo
ou programa que afeta uma das dimenses
da realidade social. So tipicamente
indicadores de alocao de recursos para
polticas sociais o nmero de leitos hospitalares por mil habitantes, o nmero de
professores por quantidade de estudantes
ou ainda o gasto monetrio per capita nas
diversas reas de poltica social. Os indicadores-resultado so aqueles mais propriamente vinculados aos objetivos finais dos
programas pblicos, que permitem avaliar
a eficcia do cumprimento das metas
especificadas, como, por exemplo, a taxa
de mortalidade infantil, cuja diminuio
espera-se verificar com a implementao
de um programa de sade maternoinfantil. Os indicadores-impacto referemse aos efeitos e desdobramentos mais
gerais, antecipados ou no, positivos ou
no, que decorrem da implantao dos
programas, como, no exemplo anterior, a
reduo da incidncia de doenas na
infncia ou a melhoria do desempenho
escolar futura, efeitos decorrentes de
atendimento adequado da gestante e da
criana recm-nascida em passado recente.
Os indicadores-processo ou fluxo so
indicadores intermedirios, que traduzem,
em medidas quantitativas, o esforo
operacional de alocao de recursos
humanos, fsicos ou financeiros (indica-
144
dores-insumo) para a obteno de

melhorias efetivas de bem-estar (indicadores-resultado e indicadores-impacto),
como nmero de consultas peditricas por
ms, merendas escolares distribudas diariamente por aluno ou ainda homens-hora
dedicados a um programa social.
A distino entre essas dimenses
operacionais insumo, processo, resultado,
impacto pode no ser muito clara em
algumas situaes, especialmente quando
os programas so muito especficos ou no
caso contrrio, quando os objetivos dos
programas so muito gerais. Mas sempre
possvel identificar indicadores mais
vinculados aos esforos de polticas e
programas e aqueles referentes aos efeitos
(ou no-efeitos) desses programas.
Na Figura 2, so apresentados alguns
indicadores de acompanhamento de um
suposto programa de transferncia de renda,
cuja finalidade seja a de reduzir a parcela de
famlias em condio de indigncia, isto ,
de famlias com recursos monetrios insuficientes para a compra de uma cesta de
produtos para a alimentao de seus membros: como indicador-insumo, o volume de
recursos do programa, com percentual do
oramento ou em bases per capita; como
indicadores-processo, os percentuais de
famlias cadastradas pelas prefeituras e
daquelas efetivamente atendidas, que podem
fornecer elementos para a avaliao da
eficincia do programa; como indicadorresultado, a proporo de famlias em situao de indigncia, ou com rendimentos
abaixo de determinado valor, medida que
deveria refletir o grau de eficcia com que
o programa atendeu ao objetivo esperado;
como indicadores-impacto, a taxa de
evaso escolar e a desnutrio infantil, efeitos
potenciais do programa implementado que
permitem dimensionar a sua efetividade
social.
RSP
Insumo
Processo
Gasto pblico em
programas de
transferncia de
renda
% de famlias
cadastradas
% de famlias
atendidas
Resultado
Proporo de
indigentes
Impacto
Taxa de evaso
escolar
Reduo da
desnutrio
infantil
Figura 2: Indicadores de acompanhamento de programas de transferncia de renda
Os indicadores podem tambm ser

classificados como simples ou complexos,
ou, na terminologia que se tem empregado
mais recentemente, como analticos ou
sintticos. O que os diferencia , como as
denominaes sugerem, o compromisso
com a expresso mais analtica ou de sntese
do indicador. Taxa de evaso escolar, taxa
de mortalidade infantil, taxa de desemprego so medidas comumente empregadas para anlise de questes sociais
especficas no campo da educao, da
sade e do mercado de trabalho. Medidas
como ndice de Preos ao Consumidor
ou ndice de Desenvolvimento Humano
(IDH), por outro lado, procuram sintetizar
vrias dimenses empricas da realidade
econmica e/ou social em uma nica
medida. No primeiro caso, o ndice de
preos corresponde a uma mdia ponderada de variaes relativas de preos de
diferentes tipos de produto (alimentao,
educao, transporte, etc.). No segundo
caso, o IDH corresponde a uma mdia de
medidas derivadas originalmente de indicadores (simples ou analticos) de escolarizao, alfabetizao, renda mdia e
esperana de vida.
H uma idia subjacente a essa diferenciao entre indicadores analticos e
sintticos, de que estes ltimos, ao contemplarem no seu cmputo um conjunto mais
amplo de medidas acerca da realidade social
de uma localidade, tenderiam a refletir o
comportamento mdio ou situao
tpica dessa localidade em termos do

desenvolvimento humano, qualidade de
Na prtica, nem
sempre o indicador de
maior validade o mais
confivel; nem sempre o
mais confivel o mais
sensvel; nem sempre o
mais sensvel o mais
especfico; enfim, nem
sempre o indicador que
rene todas essas qualidades passvel de ser
obtido na escala
territorial e na periodicidade requerida
vida, vulnerabilidade social ou outro conceito operacional que lhes deu origem.
Como mostrado no Quadro 2, tem havido
muitas propostas de indicadores sintticos
no Brasil, com maior ou menor grau de
sofisticao metodolgica, elaborados por
pesquisadores de universidades, rgos
pblicos e centros de pesquisa, motivadas, por um lado, pela necessidade de
atender s demandas de informao para
145
RSP
formulao de polticas e tomada de

decises nas esferas pblicas e, por outro,
pelo sucesso do IDH e seu impacto,
nestes ltimos 15 anos, na disseminao
da cultura de uso de indicadores nos
crculos polticos.
midade entre a medida e o conceito original e da usual subsuno do ltimo pela

primeira, em que o indicador adquire o status
de conceito, como no caso da proporo
de famlias com renda abaixo de determinado valor, que passou a designar a popu-
Quadro 2: Alguns dos indicadores sintticos propostos no Brasil

Instituio promotora
ndice proposto
Fundao Joo Pinheiro/MG
IDH-M: ndice de Desenvolvimento Humano Municipal

ICV: ndice de Condies de Vida Municipal
IQM: ndice de Qualidade Municipal - verde
IQM: ndice de Qualidade Municipal - carncias
IQM: ndice de Qualidade Municipal - necessidades
habitacionais
IQM: ndice de Qualidade Municipal - sustentabilidade fiscal
IPRS: ndice Paulista de Responsabilidade Social
IVJ: ndice de Vulnerabilidade Juvenil
IPVS: ndice Paulista de Vulnerabilidade Social
ISMA: ndice Social Municipal Ampliado
Fundao CIDE/RJ
Fundao SEADE/SP
Fundao Economia e
Estatstica/RS
Superintendncia de Estudos
Econmicos e Sociais da Bahia
(SEI/BA)
Prefeitura Municipal de Belo
Horizonte/PUC Minas/MG
INEP/Cedeplar/NEPO
IDS: ndice de Desenvolvimento Social

IDE: ndice de Desenvolvimento Econmico
IQVU: ndice de Qualidade de Vida Urbana
IVS: ndice de Vulnerabilidade Social
IMDE: Indicador Municipal de Desenvolvimento
Educacional
Contudo, a aplicabilidade dos indicadores sintticos como instrumentos de

avaliao da efetividade social das polticas
pblicas ou como instrumentos de alocao
prioritria do gasto social est sujeita a fortes
questionamentos (RYTEN , 2000). Ao partir
da premissa de que possvel apreender o
social por meio da combinao de
mltiplas medies dele, no se sabe ao
fim e ao cabo quais as mudanas especficas ocorridas e qual a contribuio ou o
efeito dos programas pblicos especficos
sobre sua transformao. Alm disso, h
questionamento acerca do grau de proxi-
146
lao indigente, que passa fome, etc. (ROCHA,

2002). H questionamentos acerca do grau
de arbitrariedade com que se definem os
pesos com os quais os indicadores devem
ser ponderados no cmputo da medida
final. H ainda crticas com relao s
distores na seleo de pblicos-alvo a que
o uso desses indicadores sintticos podem
levar, sobretudo em casos de programas
setoriais (GUIMARES; JANNUZZI, 2004).
Por mais consistentes que sejam essas
crticas, preciso reconhecer que os indicadores sintticos acabaram por se legitimar
em diversos aspectos. A legitimidade social
dessas propostas de indicadores tem-se

demonstrado pela visibilidade e freqncia
que os indicadores sintticos tm conferido
s questes sociais na mdia pelo formato
apropriado para a sntese jornalstica e
instrumentalizao poltica do movimento
social e das ONGs no monitoramento dos
programas sociais. O fato de que alguns
desses indicadores foram criados sob encomenda e mesmo com a participao
de gestores pblicos e legisladores
RSP
forte contingenciamento e de corte de verbas no setor pblico, nos ltimos 15 anos.

Alm disso, como se discute mais frente,
indicadores sintticos podem ser teis como
instrumentos de tomada de deciso no ciclo
de programas sociais.
Assim, alm de avaliar a aderncia de
cada indicador s propriedades relacionadas
anteriormente, tambm pode ser til fazer
uma reflexo sobre a natureza de cada um
(Quadro 3), a fim de entender o seu papel
Quadro 3: Identificao da natureza dos indicadores
certamente lhes confere legitimidade poltica.

O fato de que os ndices acabam aparentemente funcionando bem, apontando o
que se espera que apontassem as iniqidades, os bolses de pobreza, etc. ,
garante-lhes tambm legitimidade tcnica.
Tambm desfrutam de legitimidade cientfica, j que vrios desses projetos tm
obtido financiamento de agncias nacionais
e internacionais de fomento pesquisa. Por
fim, a legitimidade institucional dessas
propostas sustenta-se no fato de terem
servido de instrumento de garantia do
espao institucional das instituies de
estatstica e planejamento em um quadro de
informativo em um sistema de indicadores

para formulao e avaliao de programas
sociais, como se dir na seo seguinte.
Indicadores no ciclo de formulao e avaliao de programas sociais

Apresentado o marco conceitual acerca
dos indicadores sociais, passa-se agora
discusso a respeito do uso deles no ciclo
de formulao e avaliao de polticas pblicas ou programas sociais (Figura 3).
Cada etapa do ciclo envolve o uso de um
conjunto de indicadores de diferentes
naturezas e propriedades, em funo das
147
RSP
Figura 3: Representao clssica do ciclo de formulao e avaliao de programas sociais
necessidades intrnsecas das atividades a

envolvidas (Quadro 4).
Assim, na etapa de elaborao do
diagnstico para a poltica ou programa
social, so necessrios indicadores de boa
confiabilidade, validade e desagregabilidade, cobrindo as diversas temticas da
realidade social. Afinal, preciso ter um
retrato to amplo e detalhado quanto
possvel acerca da situao social vivenciada

pela populao para orientar, posteriormente, as questes prioritrias a atender,
os formatos dos programas a implementar, as estratgias e aes a desenvolver. Trata-se de caracterizar o marco zero,
a partir do qual se poder avaliar se o
programa est provocando as mudanas
sociais desejveis. Os indicadores usados
Quadro 4: Indicadores requeridos em cada etapa do ciclo de programas sociais
148
nessa etapa so construdos, em geral, a

partir do censo demogrfico ou de
pesquisas amostrais multitemticas (como
as PNADs), quando os dados do censo j
estiverem distantes do momento de
elaborao do diagnstico.
Como observado anteriormente, o
Censo 2000 constitui-se em fonte muito
rica de indicadores de diagnstico pelo
escopo temtico, pela desagregabilidade
territorial e populacional e pela comparabilidade inter-regional. Foram levantados,
na amostra do censo, mais de 70 quesitos
de informao, cobrindo caractersticas
domiciliares, infra-estrutura urbana, caractersticas demogrficas e educacionais dos
indivduos, insero da mo-de-obra, rendimentos, acesso a alguns programas
pblicos, etc. Os indicadores dessas dimenses analticas podem ser computados para
diversos grupos sociodemogrficos (por
sexo, raa/cor, estratos de renda, etc.) e
escalas territoriais que chegam ao nvel de
agregaes de bairros de municpios (reas
de ponderao, mais propriamente) e at
mesmo ao nvel de setor censitrio
(conjunto de cerca de 200 a 300 domiclios
na zona urbana, para os quesitos levantados
no questionrio bsico, aplicados em todos
os domiclios do Pas). Por meio de um
software de fcil manipulao Estatcart
pode-se extrair estatsticas e cartogramas
da quase totalidade dos municpios de
mdio porte no Pas, em nvel de setor
censitrio ou reas de ponderao, como
ilustrado na Figura 4.
Essa possibilidade de dispor de informao estatstica por setor censitrio (ou
rea de ponderao) no parece ter sido
explorada em toda a sua potencialidade
por parte de formuladores e gestores de
programas sociais, seja no mbito federal,
estadual ou municipal. Quando se trata de
fazer diagnsticos sociais mais detalhados
RSP
territorialmente, empregam-se, em geral,

indicadores mdios computados para os
municpios, escondendo-se os bolses de
iniqidades presentes dentro de cada um dos
municpios brasileiros. Os indicadores
mdios de rendimentos ou de infra-estrutura urbana do Municpio de So Paulo so,
por exemplo, bem melhores que a mdia
geral dos municpios brasileiros. Contudo,
se os indicadores forem computados em
nvel de setores censitrios, poder-se- constatar no territrio paulistano a diversidade
de situaes de condies de vida encontrada pelo territrio nacional, ou seja, possvel encontrar bolses de pobreza na
capital paulistana com caractersticas de
alguns municpios do Nordeste2.
Um dos recursos que tm auxiliado
na elaborao e apresentao de diagnsticos sociais a proposio de tipologias,
agrupamentos ou arqutipos sociais,
usados para classificar unidades territoriais
segundo um conjunto especfico de indicadores sociais e, portanto, apontando os
dficits de servios pblicos, de programas
especficos, etc. O ndice Paulista de
Resposabilidade Social um exemplo
nesse sentido, ao classificar os municpios
paulistas em cinco grupos, de acordo com
os nveis observados de indicadores de
sade, escolaridade e porte econmico
municipal (SEADE, 2002).
Alm dos indicadores multitemticos
para retratar as condies de vida, referentes sade, habitao, ao mercado de
trabalho, etc., tambm devem fazer parte
do diagnstico os indicadores demogrficos, em especial, aqueles que permitem
apresentar as tendncias de crescimento
populacional passado e as projees
demogrficas futuras (que dimensionam os
pblicos-alvo dos diversos programas em
termos de idade e sexo no futuro). As
mudanas demogrficas foram bastante
149
RSP
Chefes sem rendimento ou at 1 s.m.
Chefes sem instruo ou at 1 ano de estudo
Pessoas de 7 a 14 anos analfabetas
Domiclios urbanos sem acesso rede de gua
Figura 4: Cartogramas com indicadores sociais referidos em nvel de setor censitrio

Campinas/SP - 2000
intensas pelo Pas nos ltimos 30 anos, com

impacto significativo e regionalmente diferenciado sobre a demanda de vagas escolares, postos de trabalho, etc. (MARTINE;
CARVALHO; RIAS, 1994).
Na segunda etapa do ciclo de formulao e seleo de programas, requer-se um
conjunto mais reduzido de indicadores, selecionados a partir dos objetivos norteadores
dos programas definidos como prioritrios
pela agenda poltico-social vigente. J se
conhecem, em tese, por meio do diagnstico, os bolses de pobreza, as reas com
150
maior dficit de servios urbanos, com

maior parcela de crianas fora da escola,
com maior nmero de responsveis sujeitos ao desemprego. Nessa etapa, requer-se
definir, a partir da orientao poltico-governamental, a natureza dos programas, as
questes sociais prioritrias a enfrentar, os
pblicos-alvo a atender.
nessa fase que os indicadores
sintticos j mencionados podem ter
maior aplicao, na medida em que
oferecem ao gestor uma medida-sntese
das condies de vida, da vulnerabilidade,
do desenvolvimento social de municpios,

estados ou de outra unidade territorial em
que h implementao de programas. O
IDH-municipal foi, por exemplo, o indicador empregado pelo Programa Comunidade Solidria para selecionar os municpios para suas aes, o que certamente
representou um avano em termos de
critrio tcnico-poltico de priorizao.
Contudo, a escolha desse indicador
acabou por excluir do programa todas
as cidades mdias e populosas do
Sudeste, j que suas medidas sociais
mdias calculadas para a totalidade do
municpio eram sempre mais altas que
as dos municpios do Norte e Nordeste.
Se fosse usado um indicador calculado
para domnios submunicipais (setor
censitrio, bairros, reas de ponderao,
etc.), os municpios do Sudeste certamente
teriam bolses que se enquadrariam
entre os pblicos-alvo prioritrios do
programa.
Esse exemplo deixa claro a importncia do diagnstico microespacializado
comentado anteriormente, em especial o
realizado em nvel de setor censitrio.
possvel, dessa forma, no s garantir
maior preciso e eficincia na alocao dos
programas que devem ser focalizados,
como tambm acompanhar, posteriormente, os seus efeitos. Alm disso, o uso
do setor censitrio (ou rea de ponderao)
garante, em alguma medida, a compatibilizao dos quantitativos populacionais
de cada pequena rea, amenizando os
efeitos potencialmente destoantes da
tomada de deciso baseada em indicadores
expressos em termos relativos. Dois municpios podem ter, por exemplo, percentual
similar de famlias indigentes, mas totais
absolutos de indigentes muito distintos.
Municpios populosos podem apresentar
cifras relativamente mais baixas de
RSP
indigentes, mas ainda assim podem reunir

totais absolutos bastante significativos. Em
qual municpio devem-se priorizar as aes
de programas de transferncia de renda:
naquele em que a intensidade de indigncia elevada ou naquele em que o quantitativo de indigentes maior? Quando se
tm indicadores calculados para reas com
totais populacionais mais compatveis, os
rankings de priorizao baseados em indicadores relativos ou absolutos diferem
pouco 3.
Idealmente, a tomada de deciso com
relao aos pblicos-alvo a serem priorizados deve-se pautar em um indicador
mais especfico e vlido para o programa
em questo, mais relacionado aos seus
objetivos, como a taxa de mortalidade
infantil em programas de sade maternoinfantil, o dficit de peso ou altura em
programas de combate fome ou a
proporo de domiclios com baixa renda
em programas de transferncia de renda.
Se vrios indicadores devem ser usados e
os critrios de elegibilidade referem-se a
variveis existentes no censo demogrfico,
possvel fazer processamentos especficos, de forma relativamente rpida, por
meio de um pacote estatstico (com os
microdados do censo em 16 CD-ROMs)
ou mesmo por meio de uma ferramenta
disponibilizada pela Internet (Banco
Multidimensional de Estatsticas) no stio
do IBGE. Um desses indicadores
construdos pelo cruzamento de variveis
do Censo 2000 o trazido na ltima tabela
da publicao Indicadores municipais do IBGE
(2002). Trata-se de um indicador combinado construdo a partir do cruzamento
simultneo dos diversos critrios , representando a proporo dos domiclios
particulares permanentes que no tm
escoadouros ligados rede geral ou fossa
sptica, no so servidos de gua por rede
151
RSP
geral, no tm coleta regular de lixo, seus

responsveis (chefes) tm menos de quatro
anos de estudo e rendimento mdio mensal at dois salrios mnimos. Esse indicador batizado informalmente de Indicador de Dficit Social pode ser calculado
tambm por reas de ponderao do censo
e tem-se mostrado com grande poder de
discriminao e validade em representar
situaes de carncias de servios pblicos
bsicos pelo territrio nacional.
deciso seja pautada com base nos critrios

(indicadores) considerados relevantes para
o programa em questo pelos agentes
decisores e que a importncia dos critrios
seja definida por eles, em um processo de
interatividade com outros atores tcnicopolticos. Alguns algoritmos que implementam a tcnica produzem solues hierarquizadas como um indicador sinttico
e robustas, no dependentes da escala de medida ou disperso das variveis (Figura 5).
Figura 5: Anlise multicritrio para tomada de deciso com base em indicadores sociais
Em alguns casos de programas intersetoriais que envolvem esforos de equipes

de diferentes reas e o alcance de vrios
objetivos, pode ser interessante tomar a
deciso acerca das reas prioritrias de
implantao dos programas a partir da
combinao de vrios critrios (indicadores).
Nesse caso, pode-se empregar a anlise
multicritrio, tcnica estruturada para tomada de decises em que interagem vrios
agentes, cada um com seus critrios e juzos
de valor acerca do que mais importante
considerar na deciso final (ENSSLIN, 2001).
A vantagem do uso dessa tcnica em relao a outras, como o emprego de indicadores sintticos, que ela permite que a
152
Na etapa de implementao e execuo dos programas, so necessrios

indicadores de monitoramento, que devem
primar pela sensibilidade, especificidade e,
sobretudo, pela periodicidade com que
esto disponveis. Esse um grande
problema, como j se observou anteriormente, em especial se se necessita de indicadores em escala municipal. As informaes
produzidas pelas agncias estatsticas no
so, em geral, especficas para os propsitos de monitoramento de programas, seja
na escala territorial desejada, seja na regularidade necessria.
Contudo, procurando atender
demanda por informaes municipais mais
peridicas, o IBGE tem realizado, de

forma mais regular, a Pesquisa Nacional
de Assistncia Mdico-Sanitria (AMS), a
Pesquisa de Informaes Bsicas Municipais (MUNIC) e a Pesquisa Nacional de
Saneamento Bsico (PNSB). A AMS
corresponde a um censo de estabelecimentos de sade no Pas, identificando
volume e qualificao de pessoal, equipamentos e outros recursos disponibilizados
para atendimento mdico-sanitrio da
populao. Com isso, pode-se ter uma
idia mais clara e precisa do nvel e da
diversidade da oferta de servios de sade
pelo Pas, por meio da construo de
indicadores de esforos de polticas na rea
de sade. A MUNIC contempla, anualmente, o levantamento de conjunto amplo
de informaes nas prefeituras dos mais
de 5 mil municpios brasileiros. Nessa
pesquisa, levantam-se dados sobre a estrutura administrativa, o nvel de participao
e formas de controle social (existncia de
conselhos municipais), a existncia de
legislao e instrumentos de planejamento
municipal (como a institucionalizao do
plano de governo, do plano plurianual de
investimentos, do plano diretor e da lei de
parcelamento do solo), a disponibilidade
de recursos para promoo da justia e
segurana (existncia de delegacia da
mulher, juizados de pequenas causas, etc.),
alm da existncia de equipamentos especficos de comrcio, servios da indstria
cultural e de lazer, como bibliotecas
pblicas, livrarias, jornais locais e ginsios
de esporte. Essa pesquisa permite, pois,
construir indicadores que permitem retratar
o grau de participao e controle popular
da ao pblica e caracterizar o estgio de
desenvolvimento institucional das atividades de planejamento e gesto municipal
pelo Pas. A PNSB veio complementar
esse quadro informacional sobre os
RSP
municpios brasileiros com a coleta de

dados sobre abastecimento de gua,
esgotamento sanitrio, limpeza urbana e
sistema de drenagem urbana. Pode-se, assim, dispor de outros indicadores mais informativos sobre a estrutura e qualidade
dos servios de infra-estrutura urbana, que
no se limitam a apontar o grau de cobertura populacional atendida. Com os dados
levantados nessa pesquisa, possvel construir indicadores do volume de gua
Dois municpios podem

ter percentual similar de
famlias indigentes, mas
totais absolutos de indigentes muito distintos. Em qual
municpio devem-se priorizar as aes de programas
de transferncia de renda:
naquele em que a intensidade de indigncia elevada
ou naquele em que o
quantitativo de indigentes
maior?
ofertada per capita, do tipo de tratamento

e do volume da gua distribuda populao, do volume e destino do esgoto e
lixo coletado, entre outros aspectos.
H tambm esforos louvveis de vrias
instituies pblicas, alm do IBGE, em
disponibilizar informaes de seus cadastros
e registros de forma mais peridica, fato
que se deve no s necessidade de
monitoramentos da ao governamental,
153
RSP
mas tambm s facilidades que as novas

tecnologias de informao e comunicao
tm proporcionado. Os rgos estaduais de
estatstica, os Ministrios da Sade, da Educao, do Trabalho, do Desenvolvimento
Social, da Previdncia Social, das Cidades e a
Secretaria do Tesouro Nacional disponibilizam pela Internet informaes bastante
especficas em escopo temtico e escala
territorial a partir de seus registros e sistemas
de controle internos, que podem ser teis para
a construo de indicadores de monitoramento de programas (Quadro 5).
A lgica do acompanhamento de
programas requer a estruturao de um
sistema de indicadores que, alm de especficos, sensveis e peridicos, permitam
monitorar a implementao processual do
programa na lgica insumo-processoresultado-impacto, isto , so necessrios
indicadores que permitam monitorar o
dispndio realizado por algum tipo de unidade operacional prestadora de servios ou
subprojeto; o uso operacional dos recursos
humanos, financeiros e fsicos; a gerao de
produtos e a percepo dos efeitos sociais
Quadro 5: Algumas das fontes oficiais para atualizao peridica de indicadores
154
mais amplos dos programas. Assim, a

distino entre a terceira e a quarta etapas
do ciclo de programas pode ser menos evidente que nas demais, sobretudo em programas de longa durao, isto , monitoramento e avaliao de programas so
termos cunhados para designar procedimentos de acompanhamento de programas, focados na anlise da sua eficincia,
eficcia e efetividade (COHEN; FRANCO, 2000).
Monitoramento e avaliao so processos
analticos organicamente articulados, sucedendo-se no tempo, com o propsito de
subsidiar o gestor pblico com informaes acerca do ritmo e da forma de
implementao dos programas (indicadores de monitoramento) e dos resultados e
efeitos almejados (indicadores de avaliao).
Como atividade de monitoramento ou
de avaliao, importante analisar os indicadores de resultados a partir dos
indicadores de esforos e recursos alocados,
o que permite o dimensionamento da eficincia dos programas. O emprego da Anlise Envoltria de Dados (DEA) pode
representar grande avano metodolgico
nesse sentido (LINS; MEZA, 2000). A DEA
uma tcnica derivada dos mtodos de
pesquisa operacional que visa identificao
das unidades de operao mais eficientes,
tendo em vista como os recursos (retratados
por vrios indicadores de insumo) so utilizados para gerar os resultados finais (medidos por diversos indicadores-resultados),
considerando as condies estruturais de
operao dos programas. Determinados
programas implementados em regies mais
pobres, podero no ter resultados to
promissores como em outras mais desenvolvidas. Assim, preciso avaliar a eficincia dos programas em funo no apenas
em relao ao resultado obtido e quantidade de recursos alocados, mas considerando as dificuldades ou potencialidades
RSP
existentes na regio em que os programas

esto funcionando. O que torna essa tcnica
particularmente interessante de ser aplicada
que se podem considerar os recursos e
resultados como vetores de indicadores em
suas escalas originais e no como variveis
representando valores monetrios de custos
e benefcios.
Como ilustra a Figura 6, um programa de sade deve ser avaliado em relao
aos diversos resultados que produz em
termos de reduo das taxas de mortalidade e morbidade, a partir dos recursos
alocados (mdicos por mil habitantes) e
servios de sade prestados (consultas
atendidas), considerando as condies
estruturais de vida existentes em cada local
de sua implementao (indicadores de
renda e infra-estrutura de saneamento). Pela
tcnica possvel identificar as boas prticas ou benchmarks reais, isto , unidades
de implementao do programa em que
os resultados so, de fato, compatveis com
o nvel de esforo empreendido e de
recursos gastos.
Os indicadores de desembolso de
recursos e produtos colocados disposio da populao construdos a partir
de registros prprios da sistemtica de
controle e gerenciamento dos programas
podem permitir uma avaliao indireta
da eficcia dos programas no alcance das
metas estabelecidas, quando as estatsticas
pblicas ou os dados administrativos de
ministrios e secretarias estaduais no forem
mais especficos e peridicos na escala
territorial desejada. Na falta de pesquisas
amostrais regulares que contemplem
temticas relativas, por exemplo, ao
consumo de produtos culturais e aos
hbitos de lazer ainda no incorporadas
na agenda poltico-social nacional de forma
imperativa , a eficcia de programas na
rea, como os de fomento leitura, ter
155
RSP
Figura 6: Aplicao da Anlise Envoltria de Dados na avaliao de programas em sade
de ser inferida a partir dos produtos

previstos na aes desencadeadas, como
o volume de livros distribudos s escolas
e bibliotecas. Nesse caso, indicadores de
resultados mais vlidos para avaliar a
eficincia do programa, como nmero
mdio de livros lidos no ltimo ano, por
exemplo, so apenas ocasionalmente
levantados pelo IBGE ou pela Cmara
Brasileira do Livro.
Outra demanda no ciclo de programas,
em particular na etapa de avaliao, a identificao dos seus impactos. Para tanto,
devem-se empregar indicadores de diferentes naturezas e propriedades, de forma a
conseguir garantir tanto quanto possvel a
vinculao das aes do programa com as
mudanas percebidas, ou no, nas condies de vida da populao, tarefa sempre
difcil de ser realizada (ROCHE, 2002). Em
primeiro lugar, a menos que a realidade
social vivenciada antes do incio do
programa (marco zero) fosse muito trgica,
ou que o programa tenha recebido recursos
muito expressivos para serem gastos em
curto espao de tempo, no se pode esperar
que os produtos e resultados gerados no
156
mbito dele possam ser imediatamente

impactantes sobre a sociedade. Programas
de transferncia de renda ou de distribuio
de leite ou cestas bsicas em periferias de
grandes cidades do Sudeste proporcionam
impactos sociais comparativamente menos
intensos e rpidos que programas de investimento em saneamento bsico, por exemplo, no que diz respeito s condies de
mortalidade infantil. Contudo, ao longo do
tempo, a transferncia de renda ou a
distribuio de produtos estar contribuindo para a melhoria da nutrio de
crianas, garantindo ganhos adicionais contra
a mortalidade infantil, assim como, mais a
mdio prazo, para a melhoria do seu
desempenho escolar. Esse exemplo revela,
pois, a dificuldade de se atriburem os
efeitos de programas especficos sobre as
mudanas estruturais das condies sociais,
dificuldade que, paradoxalmente, cresce
medida que tais transformaes e os impactos tendem a se tornar mais evidentes.
A dificuldade ainda maior quando se
observam problemas de descontinuidades
e de implementao nos programas
pblicos.
De modo a perceber mais claramente

os impactos dos programas, deve-se buscar
medidas e indicadores mais especficos e sensveis aos efeitos por eles gerados. Uma das
formas de se operacionalizar isso avaliando
efeitos sobre grupos especficos da populao, seja em termos de renda, idade, raa,
sexo ou localizao espacial. Se os programas
tm pblicos-alvo preferenciais, localizados
em determinadas regies ou estratos de renda,
deve-se no s buscar indicadores de impacto
que privilegiem a sua avaliao do conjunto
da populao, que pode estar, inclusive, sob
o risco de efeitos estruturais mais gerais (que
podem no afetar o pblico-alvo na mesma
intensidade), mas tambm desenvolver
estratgias metodolgicas avaliativas de
natureza qualitativa, com pesquisas de opinio
ou grupos de discusso, incorporando indicadores subjetivos na avaliao. Nesse sentido, os impactos podem ser avaliados em uma
perspectiva mais restrita ou mais ampla, considerando o tamanho da populao afetada,
o espao de tempo considerado para a
referncia dos indicadores e a natureza mais
objetiva ou subjetiva dos impactos percebidos
pela populao.
Consideraes finais
Uma das grandes dificuldades atuais
no acompanhamento de programas
pblicos dispor de informaes peridicas e especficas acerca do processo de
sua implementao e do alcance dos
resultados e do impacto social que tais
programas esto tendo nos segmentos
sociodemogrficos ou nas comunidades
focalizadas por eles. Seja da perspectiva da
avaliao formativa, isto , aquela com os
propsitos de acompanhar e monitorar a
implementao de programas, a fim de
verificar se os rumos traados esto sendo
seguidos e permitir intervenes corretivas,
RSP
seja da perspectiva da avaliao somativa,

isto , aquela mais ao final do processo de
implementao, com propsitos mais
amplos e meritrios (CANO, 2002), o gestor
de programas sociais defronta-se com a
dificuldade de obter dados vlidos, especficos e regulares para seus propsitos.
Se fato que as informaes produzidas pelas agncias estatsticas so, em boa
medida, pouco especficas para os propsitos de monitoramento de programas, no
provendo informao na escala territorial
desejada ou na regularidade necessria,
tambm verdade que elas podem-se
prestar elaborao de diagnsticos bastante detalhados em escopo e escala, como
no caso das informaes provenientes dos
censos demogrficos. As informaes
produzidas no mbito dos processos
administrativos dos ministrios e das
secretarias estaduais e municipais podem
tambm suprir boa parte da demanda de
dados para a construo de indicadores
peridicos de monitoramento, requerendo,
contudo, algum retrabalho de customizao em funo das necessidades de
delimitao territorial dos programas, desde
que exista um cdigo de localizao da
escola, do posto de sade, da delegacia, etc.
De qualquer forma, as estatsticas e os
dados do IBGE e de outros rgos pblicos
dificilmente atendero todas as necessidades informacionais requeridas para o
monitoramento e a avaliao de programas
pblicos mais especficos. Assim, necessrio, quando da formulao desses programas, prever a organizao de procedimentos de coleta e tratamento de informaes
especficas e confiveis em todas as fases
do ciclo de implementao, que possam
permitir a construo dos indicadores de
monitoramento desejados.
(Ar tigo recebido em maio de 2005. Verso
definitiva em junho de 2005)
157
RSP
Notas
*
Texto submetido editoria da Revista do Servio Pblico em que se procura compilar e
reorganizar idias expostas em trs oportunidades anteriores (Jannuzzi , 2001, 2002. Guimares;
Jannuzzi, 2004), a partir das experincias de capacitao de tcnicos de ONGs e gestores do setor
pblico nos cursos de extenso de Indicadores Sociais e Polticas Pblicas, desenvolvidos no
mbito do convnio ENCE/IBGE e Fundao FORD, e nos cur sos de formao da Escola Nacional de Administrao Pblica ao longo de 2003 e 2004.
1
Dada a inexistncia e desorganizao dos cadastros nos municpios brasileiros, os censos
demogrficos acabam levantando um conjunto muito amplo de informaes, o que o torna ainda
mais custoso e complexo.
2
De fato, o que o ndice Paulista de Vulnerabilidade Social calculado por setor censitrio
permite constatar (vide em: www.seade.gov.br).
3
Vale obser var, contudo, que os setores censitrios apr esentam variabilidade significativa em
termos de quantitativos populacionais pelos municpios brasileiros.
Referncias bibliogrficas
CANO, I. Avaliao de programas sociais. Rio de Janeiro: FGV, 2002.
CARLEY, Michael. Indicadores sociais: teoria e prtica. Rio de Janeiro: Zahar, 1985.
COSTA, F.L.; C ASTANHAR, J. C. Avaliao de programas pblicos: desafios conceituais e
metodolgicos. Revista Brasileira de Administrao Pblica, Rio de Janeiro, v. 37, n.5, p.:969992, 2003.
COHEN, E.; FRANCO, R. Avaliao de projetos sociais. Petrpolis: Vozes, 2000.
ENSSLIN, Leonardo et al. Apoio deciso: metodologias para estruturao de problemas e
avaliao multicritrio de alternativas. Florianpolis, SC: Insular, 2001. v. 1. 296 p.
GARCIA, R.C. Subsdios para organizar avaliaes da ao governamental. Planejamento e
Polticas Pblicas, Braslia, v. 23, n. 7, p. 70, 2001.
GUIMARES, J. R. S.; J ANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes em
polticas pblicas: uma anlise crtica. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS,
14. Anais... Caxambu, 2004.
IBGE. Indicadores sociais municipais. Rio de Janeiro: 2002.
JANNUZZI , P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Campinas: Alnea, 2001.
___________ . Consideraes sobre o uso, mau uso e abuso dos indicadores sociais
na formulao e avaliao de polticas pblicas municipais. Revista de Administrao Pblica,
Rio de Janeiro, v. 36, n. 1, p. 51-72, jan./fev. 2002.
LINS, M.E; MEZA, L. A. Anlise envoltria de dados e perspectivas de integrao no ambiente de
apoio deciso. Rio de Janeiro: COPPE/UFRJ, 2000.
158
RSP
MARTINE, G.; CARVALHO, J. A. M.; RIAS, A. R. Mudanas recentes no padro demogrfico

brasileiro e implicaes para a agenda social. Braslia, IPEA, 1994. (Texto para Discusso n.
345)
MILES, I. Social indicators for human development. New York: St. Martins Press, 1985.
NAES UNIDAS. Handbook of social indicators. Nova York: 1988.
OMS. Catalogue of health indicators. Genebra: 1996.
ROCHA, S. Pobreza: do que se trata afinal. Rio de Janeiro: FGV, 2003.
ROCHE, C. Avaliao de impacto dos trabalhos de ONGs. So Paulo: Cortez, 2002.
RYTEN, J. Should there be a human development index? Statistique, Dveloppement et Droits
de lHomme Seminar, Montreaux, Setembre, 2000.
SEADE. Monitorao de prioridades de desenvolvimento com equidade social. In:
KEINERT, Tnia; KARRUZ, Ana Paula (Orgs.). Qualidade de vida: observatrios, experincias
e metodologias. So Paulo: Annablume; Fapesp, 2002.
159
RSP
Resumo - Resumen - Abstract

O objetivo do texto discutir as potencialidades e limitaes do uso das informaes estatsticas
produzidas pelo IBGE e os registros administrativos de rgos pblicos para a construo de
indicadores para dia gnstico, monitoramento e avaliao de programas sociais no Br asil. Inicia-se
com uma apresentao sobre os aspectos conceituais bsicos acerca dos indicadores sociais, suas
propriedades e formas de c lassificao. Depois, discute-se uma proposta de estruturao de um
sistema de indicadores para subsidiar o processo de formulao e avaliao de polticas e programas
pblicos no Pas. Conclui-se o texto advogando-se a necessidade de estruturar sistemas de indicadores que se apiem na busca de informaes j existentes em fontes secundrias e na produo de
dados no mbito dos prprios programas.
Palavras-chave: indicadores, monitoramento, polticas sociais
Los indicadores para formulacin y evaluacin de programas sociales en Brasil
El artculo discute las potencialidades y las limitaciones del uso de la informacin estadstica
producida por el IBGE y los registros administrativos de las agencias pblicas para la construccin de
los indicadores para la diagnosis, seguimiento y evaluacin de programas sociales en Brasil. Comienza
presentando la base conceptual referente a los indicadores sociales, sus caractersticas y los sistemas de
clasificacin. Despus, presenta un marco del sistema de indicadores para subsidiar el proceso de
formulacin y evaluacin de programas pblicos. El artculo concluye proponiendo la necesidad de
construir sistemas de indicadores basados en fuentes secundarias de datos y tambin en los datos
primarios recogidos en las etapas de los programas.
Palabras clave: indicadores, monitoreo, polticas sociales
Indicators for social policy making and evaluation in Brazil
Paulo de Mar tino Jannuzzi
The paper discusses the potentialities and limitations of the use of statistical information
produced by the IBGE and the administrative registers of public agencies for the construction of
indicators to be used in the diagnosis, monitoring and evaluation of social programs in Brazil. It
begins by presenting the conceptual basis for understanding the social indicators, their properties
and classification systems. It then outlines a framework of a system of indicators to support the
process of formulation and evaluation of public programs. The paper concludes by advocating the
need to structure systems of indicators based on secondary sources of data and also on primary data
collected in the scope of the programs.
Key words: indicators, monitoring, social policies

Assessor da Diretoria Executiva do SEADE, professor da ENCE/IBGE, pesquisador CNPq no
projeto de pesquisa Infor mao estatstica no ciclo de f ormulao, monitoramento e avaliao de
polticas pblicas no Brasil, com recursos do CNPq (Proc. 307101/2004-5). Contato:
pjannuzzi@ibge.gov.br
160

4054 JANUZZI P Construcao Indicadores Sociais

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

4054 JANUZZI P Construcao Indicadores Sociais

Enviado por

Direitos autorais:

Formatos disponíveis

RSP

Paulo de Martino Jannuzzi

Paulo de Martino Jannuzzi

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

os sindicatos e a sociedade civil passaram

Indicadores nas polticas pblicas: conceito e suas propriedades

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

componentes ou as aes operacionais

A relevncia para a agenda poltico-social a primeira e uma das propriedades

Figura 1: Construo de sistema de indicadores para ciclo de polticas pblicas

A escolha de indicadores sociais para

programas e aes focalizados em grupos

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

maior validade que uma medida baseada

que aqueles passveis de serem obtidos a

Quadro 1: Avaliao da aderncia dos indicadores s propriedades desejveis

clculo desses indicadores de maior

Sempre que possvel, deve-se procurar

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

dinmica conjuntural do mercado de trabalho brasileiro, j que se referem apenas

pelos administradores pblicos e a compreenso delas por parte da populao, dos

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

aspectos cruciais na construo e seleo

leiros, investigou-se a freqncia creche,

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

propriedades. Na prtica, nem sempre o

Taxonomia dos indicadores

indicadores de segurana pblica e justia

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

efetividade social desses programas, especialmente aqueles difceis de serem

dores-insumo) para a obteno de

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

Figura 2: Indicadores de acompanhamento de programas de transferncia de renda

Os indicadores podem tambm ser

tpica dessa localidade em termos do

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

formulao de polticas e tomada de

midade entre a medida e o conceito original e da usual subsuno do ltimo pela

Quadro 2: Alguns dos indicadores sintticos propostos no Brasil

Fundao Joo Pinheiro/MG

IDH-M: ndice de Desenvolvimento Humano Municipal

IDS: ndice de Desenvolvimento Social

Contudo, a aplicabilidade dos indicadores sintticos como instrumentos de

lao indigente, que passa fome, etc. (ROCHA,

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Paulo de Martino Jannuzzi

dessas propostas de indicadores tem-se

forte contingenciamento e de corte de verbas no setor pblico, nos ltimos 15 anos.

Quadro 3: Identificao da natureza dos indicadores

certamente lhes confere legitimidade poltica.

informativo em um sistema de indicadores

Indicadores no ciclo de formulao e avaliao de programas sociais

Revista do Servio Pblico Braslia 56 (2): 137-160 Abr/Jun 2005

Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil

Figura 3: Representao clssica do ciclo de formulao e avaliao de programas sociais

necessidades intrnsecas das atividades a