INDICADORES PARA DIAGNSTICO, MONITORAMENTO E AVALIAO DE PROJETOS, PROGRAMAS E POLTICAS SOCIAIS

1. OBJETIVOS, METAS E INDICADORES As estatsticas pblicas apresentam muitas vezes o dado social na forma bruta, parcialmente preparada para uso na interpretao emprica da realidade. Constituem essas estatsticas os censos demogrficos, pesquisas amostrais e registros administrativos. Tais estatsticas so utilizadas para construo de indicadores1 sociais, os quais permitem contextualizar e comparar a realidade social. Os indicadores sociais possuem um contedo informacional (um valor contextual baseado em uma teoria social ou finalidade programtica) que os difere das estatsticas pblicas. Segundo Cohen & Franco (2011):
Uma instncia central do processo de avaliao consiste em determinar o grau em que foram alcanadas as finalidades do projeto. Isto requer dimensionar o objetivo geral em subconjuntos de objetivos especficos, os quais por sua vez tero metas, cuja obteno ser medida atravs de indicadores. As variaes nos valores que so verificados nas unidades de anlise permitem quantificar este processo. Na avaliao, o indicador a unidade que permite medir o alcance de um objetivo especfico.

Paulo Jannuzzi (2005) afirma que,

O interesse pela temtica dos indicadores sociais e sua aplicao nas atividades ligadas ao planejamento governamental e ao ciclo de formulao e avaliao de polticas pblicas vm crescendo no Pas, nas diferentes esferas de governo e nos diversos fruns de discusso dessas questes. Tal fato deve-se, em primeiro lugar, certamente, s mudanas institucionais por que a administrao pblica tem passado no Pas (...) Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimenses sociais de interesse definidas a partir de escolhas tericas ou polticas realizadas anteriormente. Prestam-se a subsidiar as atividades de planejamento pblico e a formulao de polticas sociais nas diferentes esferas de governo, possibilitam o monitoramento das condies de vida e bem-estar da populao por parte do poder pblico e da sociedade civil e permitem o aprofundamento da investigao acadmica sobre a mudana social e sobre os determinantes dos diferentes fenmenos sociais.

Na avaliao de projetos sociais muito importante determinar o grau que as finalidades foram alcanadas. preciso determinar: 1) Objetivo geral. 2) Subconjuntos de objetivos especficos.
1

Termo originrio do latim indicare, que significa descobrir, apontar, estimar.

3) Subconjuntos de dimensionalizao operacional dos objetivos especficos (metas). 4) Subconjuntos de indicadores.

Construo de sistema de indicadores para ciclo de polticas pblicas

Como vimos anteriormente, na avaliao precisamos encontrar referentes empricos ou indicadores para as dimenses propostas. Tais dimenses foram definidas teoricamente e constituem o objeto da pesquisa. Assim, o indicador a unidade que permite medir o alcance de um objetivo especfico e suas respectivas metas permitindo realizar inferncias vlidas, desde que consigam medir o conceito abstrato em anlise. Cabe ressaltar que, a avaliao aproveita os progressos da metodologia de pesquisa que desenvolveu procedimentos e tcnicas que permitem transformar conceitos abstratos em variveis mensurveis. Este processo pode ser visualizado no Grfico tal.

Principais aspectos dos indicadores sociais:

 Unidade que permite medir o alcance de um objetivo especfico e o progresso em direo a uma determinada meta. Resume informaes e permite transformar conceitos abstratos em VARIVEIS mensurveis. Uma varivel uma representao operacional de um atributo (qualidade, caracterstica, propriedade) de um sistema. A mais importante caracterstica de um indicador sua relevncia para o processo de tomada de decises. Eles simplificam as informaes sobre os fenmenos complexos tentando melhorar com isso o processo de comunicao, pois so pedaos de informao que apontam para as caractersticas do sistema, realando o que est acontecendo. Podem ser quantitativos e qualitativos (que podem ser transformados em quantitativos) e, serem considerados isoladamente ou combinados entre si. Modelo da realidade, mas no pode ser considerada a prpria realidade, entretanto devem ser analiticamente legtimos e mensurveis. As principais funes dos indicadores sociais: Avaliao de condies e tendncias; Comparao entre lugares e situaes; Avaliao de condies e tendncias em relao s metas e aos objetivos; Promover informaes; Antecipar futuras condies e tendncias

2. A TRANSFORMAO DE CONCEITOS EM VARIVEIS Abaixo se apresenta a sequncia que permite a transformao dos conceitos em variveis. 1 ) Representao literria do conceito; 2) Especificao do conceito, que implica em sua diviso nas dimenses que o integram. a) Dimenses podem ser deduzidas analiticamente, com a desagregao exaustiva (cobrem todo conceito) e excludente (dimenses no se sobrepem) do conceito. b) Dimenses podem ser elaboradas empiricamente, a partir da estrutura de suas interrelaes. 3) Assim, escolhe-se indicadores para medir cada dimenso. Vrios indicadores visam garantir que conceito seja medido e diminuir efeito negativo de mau indicador.

4) Formao de ndices, coeficientes, taxas, indicadores ordinais e cardinais para sintetizar dados anteriores.

Exemplo dos passos supracitados: 1.Representao literria do conceito Desenvolvimento Sustentvel aquele que ocorre quando o crescimento econmico acompanhado de bem-estar social e preservao da natureza. o que atende s necessidades das geraes presentes sem comprometer a possibilidade das geraes futuras atenderem suas prprias necessidades. 2. Especificao do conceito diviso nas dimenses que o integram Dimenso econmica, dimenso social, dimenso ambiental, dimenso poltica e dimenso cultural e tica 3. Escolha de indicadores que permite medir cada uma das dimenses (utilizar uma quantidade elevada de indicadores); Indicadores econmicos: pobreza, nvel de renda, nvel de emprego, tx. de desemprego,etc. Indicadores Sociais: educao, sade, violncia, habitao, etc.

Indicadores ambientais: reciclagem, pr-ciclagem, desmatamento, depleo, etc. Indicadores polticos: despesa, quantidade e qualidade de programas, projetos e aes referentes s outras dimenses Indicadores culturais: grau de tradio, quantidade de pacotes culturais, despesa com cultura, participao das atividades culturais em relao ao total de atividades, fabricao artesanato, etc. 4. Formao de ndices, coeficientes e taxas: Estas medidas so utilizadas para sintetizar os dados resultantes das etapas anteriores. Deve-se decidir que dados das dimenses parciais entraro no ndice geral. Atribuir valores numricos, ponderao, combinaes. Os ndices, coeficientes e taxas podem servir a um conjunto de aplicaes consoante aos objetivos em causa. Dessas aplicaes podem destacar-se as seguintes: Atribuio de recursos suporte de decises, ajudando os gestores na atribuio de fundos, alocao de recursos naturais e determinao de prioridades; Classificao de locais comparao de condies em diferentes locais ou reas geogrficas; Cumprimento de normas legais aplicao a reas especficas para clarificar e sintetizar a informao sobre o nvel de cumprimento das normas ou critrios legais; Anlise de tendncias aplicao a sries de dados para detectar tendncias no tempo e no espao; Investigao cientfica aplicaes em desenvolvimentos cientficos servindo nomeadamente de alerta para a necessidade de investigao cientfica mais aprofundada. Informao ao pblico informao ao pblico sobre os processos de desenvolvimento. Os NDICES correspondem a nmeros que indicam a caracterstica pontual, estanque, de um determinado momento (por exemplo: ndice de poluio, ndice de criminalidade, etc.)

NDICES = RAZO ENTRE 2 GRANDEZAS TAIS QUE UMA NO INCLUI A OUTRA: Quociente intelectual (QI) = idade mental/idade cronolgica Densidade demogrfica = populao/superfcie Renda per capita = renda/populao IDH = (ndice de renda + ndice de sade + ndice de educao)/3 ndice de sade = (E 25)/ 60 nmero mdio de anos que vive um indivduo em uma localidade ndice de educao = (2TA + TM)/3 sendo TA = % de pessoas com mais de 15 anos alfabetizada e TM = % de pessoas entre 7 e 24 anos matriculadas

COEFICIENTES: SO RAZES ENTRE O NMERO DE OCORRNCIAS E O NMERO TOTAL Coeficiente de natalidade = n de nascimentos/populao total Coeficiente de mortalidade= N de bitos/ populao total Coeficiente de evaso escolar = n de alunos evadidos/ n inicial de matrculas Coeficiente de aproveitamento escolar = n de alunos aprovados/n de matriculados

AS TAXAS: AS TAXAS SO OS COEFICIENTES MULTIPLICADOS POR UMA POTNCIA DE 10 (10, 100, 1.000 ETC.) PARA TORNAR O RESULTADO MAIS INTELIGVEL

Taxa de mortalidade= coeficiente de mortalidade x 1.000 Taxa de natalidade = coeficiente de natalidade X 1.000 Taxa de evaso escolar = coeficiente de evaso escolar x 100

 Taxa de mortalidade infantil= (nmero de bitos ano/crianas nascidas no perodo) x 1.000 *Passos 4 e 5 do exemplo supracitado

de crianas de at 1

Indicador-base de sustentabilidade = (nmero de equipamentos urbanos do bairro/populao total do bairro) X 1.000 1. INDICADORES SIMPLES E INDICADORES COMPOSTOS Os indicadores tambm podem ser classificados em simples e compostos. Este tipo de classificao est relacionado complexidade metodolgica (quantidade de informao) na construo do indicador. Os indicadores simples so construdos a partir de uma estatstica social especfica, referente a uma determinada dimenso social. Os indicadores compostos (indicadores sintticos ou ndices sociais) so elaborados pela aglutinao de dois ou mais indicadores simples, referentes a uma mesma ou diferentes dimenses da realidade social. Como exemplo de indicador composto tem-se o ndice de Desenvolvimento Humano (IDH) construdo a partir de informaes sobre sade, educao e renda.

4. IMDICADORES SIMPLES E PONDERADOS Nos indicadores simples no somatrio cada dimenso tem mesmo peso. Nos indicadores ponderados cada dimenso possui peso diferente, dependendo de consideraes tericas ou de anlises empricas.

5. INDICADORES INDIRETOS NA AVALIAO EX-POST

Para esclarecer o significado conceitual e as implicaes da metodologia desenvolvida previamente, apresentado um exemplo2 baseado na Avaliao do Programa de Promoo Social Nutricional (PPSN). Populao-alvo3: crianas em idade escolar que freqentam a escola pblica (onde se fornece complementao alimentar) e que pertencem a famlias em situao de pobreza crtica. Objetivos procurados: nutricionais, educacionais e promocionais. Objetivo nutricional: melhorar nutrio das crianas. Linha de base: informao de antes constitui um corte no tempo que permite verificar valores das variveis e indicadores que vo ser utilizados. Linha final: informao obtida dois anos mais tarde (o perodo foi determinado com base na sensibilidade dos indicadores do impacto nutricional). Objetivo educacional: relao existente entre estado nutricional e rendimento acadmico. Pressuposto que diminuir desnutrio aumentar desempenho escolar, alm de diminuir taxas de absentesmo e repetncia. Objetivo promocional: hiptese que refeitrios escolares estimulam participao comunitria, alm da eficincia no funcionamento dos refeitrios com projetos. O objetivo promocional geral (OG) consiste em promover desenvolvimento comunitrio, em virtude da existncia de refeitrio escolar. Este objetivo dividido em dois objetivos especficos: O1: aumentar participao dos membros das cooperativas dos pais. O2: estimular participao dos pais na programao e execuo das atividades do refeitrio para aumentar sua eficincia. A hiptese assumida que participao dos pais contribui para utilizao mais eficiente dos insumos e gera economia de gastos com pessoal. H ainda a possibilidade de retroalimentao, j que alocao de recursos no refeitrio pode ser melhorada com participao comunitria.

Exemplo retirado na ntegra de Cohen & Franco (1993).

Pode ser aplicado modelo quase-experimental, formando grupo com projeto (alunos de escolas com refeitrio) e sem projeto (alunos de escolas sem refeitrio) com caractersticas familiares similares. possvel medio antes, j que todo ano so incorporados alunos do primeiro ano escolar.

Metas Objetivo O1(aumentar participao) pode ser desagregado em duas metas: Meta 1: estimular desenvolvimento de atividades da cooperativa para aumentar doaes de alimentos. Meta 2: estabelecer contatos com organizaes locais e regionais vinculadas com meta 1.

Neste caso, as metas so avaliadas depois de um ano de execuo do programa. Indicadores De posse das metas, devemos estimar indicadores que permitem medir o grau de alcance destas metas. Ao analisar o ocorrido na comunidade, nos mbitos aos quais as metas se referem, selecionamos indicadores. Para a meta 1: estimular desenvolvimento de atividades da cooperativa para aumentar doaes de alimentos. Escalas preciso ento determinar as escalas que daro significado aos indicadores. ento determinada faixa de variao da informao entre mximo e mnimo. H duas alternativas: 1) avaliao de um projeto no contexto do programa do qual faz parte; 2) avaliao de projeto isolado. Projeto no contexto do programa Avaliao de um projeto no contexto do programa do qual faz parte. determinada distribuio do indicador, medidas de tendncia central e disperso, pontos de inflexo, etc. Compara-se comunidade e refeitrio com outras unidades de anlise similares. Projeto isolado Avaliao de projeto isolado poderia ser feita em um local especfico com nica unidade de anlise. Por exemplo, avaliao em uma comunidade com nico refeitrio. Para diminuir aleatoriedade na confeco da escala e aumentar validade comparativa, preciso consultar gestores do programa, informantes das Indicador 1: quantidade de atividades realizadas com objetivo de conseguir donativos de alimentos. Indicador 2: quantidade de doaes conseguidas.

escolas, cooperativa dos pais e comunidade. Pode-se construir escalas ordinais4, com base na distribuio de freqncias dos indicadores de todos os lugares em que programa implementado.

Exemplo com nmeros hipotticos Meta 1: obter doaes de alimentos para refeitrio. Indicador ordinal 1: esforo realizado pela cooperativa quantidade de atividades realizadas para conseguir doaes de alimentos: Alto 4 12 ou mais atividades Superior mdia 3 9 a 11 atividades Mdia 2 5 a 8 atividades Inferior mdia 1 1 a 4 atividades No houve atividades 0 0 atividades

Indicador 2: resultados deste esforo quantidade de doaes obtidas (em quilos) e apresenta complexidade para sua medio. influenciado por: 1) Tamanho da comunidade. 2) Quantidade de alunos que comparecem escola e ao refeitrio.3) Tipo e qualidade dos alimentos doados. 4) Grau de concentrao ou disperso das doaes. Ateno: A quantidade de doao pode ser enganosa ao comparar escolas e refeitrios com diferente clientela. No adequado comparar 100 quilos de carnes vermelhas com 100 quilos de macarro, por exemplo. No significa o mesmo existir apenas um doador (fbrica que deduz impostos ao doar) ou um conjunto de doadores (distribudos em distintos nveis). Assim deve-se eliminar o problema do tamanho da comunidade e da quantidade de alunos com medida per capita: quilocalorias/ano por aluno que freqenta o refeitrio. Esta medida tambm elimina problema do tipo e qualidade dos alimentos porque reflete o valor calrico. Com estas modificaes teremos:

Alta
4

Distribuio da varivel quilocalorias/ano por aluno 3 X1quilocaloria/ano beneficirio

por

aluno

Mensurao que procura ordenar seus casos em termos do grau em que possuem determinada caracterstica, ou seja, ordena em posto havendo hierarquia ou ordem (relao de < ou >). O nvel ordinal proporciona informao sobre a ordenao de categorias, mas no indica a magnitude de diferena entre os nmeros. Ex. de mensurao no nvel ordinal: muito favorvel, favorvel, pouco favorvel, neutra, pouco favorvel, desfavorvel, muito desfavorvel. (Levin & Fox, 2004).

Mdia Baixa

2 1

X2quilocaloria/ano beneficirio X3quilocaloria/ano beneficirio

por por

aluno aluno

Alta Mdia Baixa

Disperso dos doadores Engloba 10% ou mais da comunidade 5 a 9,9% da comunidade 1 a 4,9% da comunidade

Assim temos,

GRAU DE ALCANCE DAS METAS Com base nos indicadores, construdo ndice sinttico que mostra medida em que metas foram alcanadas.

Obteno dos objetivos Se a deciso fundamental do avaliador atribuir o peso relativo a cada uma das metas temos: Se todas as metas tiverem mesmo peso para verificao do objetivo, podemos calcular mdia simples: O 1= M1+ M2+ M3= (0,80 + 0,55 + 0,35) / 3 = 0,57 Objetivo O1 foi alcanado em 57%. Se meta 1 tem dobro de importncia que metas 2 e 3: O 1= 2*M1+ M2+ M3= [(2*0,80) + 0,55 + 0,35] / 4 = 0,625 Objetivo O1 foi alcanado em 62,5%. O Alcance dos objetivos uma varivel compreendida entre 0 e 1 (0% e 100%).

6. TIPOLOGIAS DE INDICADORES SOCIAIS

Critrios de classificao de indicadores sociais

A classificao mais comum dos indicadores segundo a rea temtica da realidade social a que se referem: 1. Indicadores de sade 2. Indicadores educacionais 3. Indicadores de mercado de trabalho 4. Indicadores demogrficos 5. Indicadores habitacionais 6. Indicadores de segurana pblica e justia 7. Indicadores de infra-estrutura urbana 8. Indicadores de renda e desigualdade Forma mais agregada de classificao - utilizada na denominao dos Sistemas de Indicadores Sociais: 1. Indicadores socioeconmicos 2. Indicadores de condies de vida 3. Indicadores de qualidade de vida 4. Indicadores de desenvolvimento humano 5. Indicadores ambientais Exerccio proposto: 1. Escolher trs classificaes de indicadores e apresentar suas principais medidas. 2. Criar quatro indicadores (tema livre): um coeficiente, uma taxa, um ndice e um indicador ordinal.