Você está na página 1de 62

Monitoramento de Indicadores e Avaliação de Impacto Social

TRADUZIR SONHOS, MENSURAR FRUTOS E ETERNIZAR IMPACTOS...

Carol Zanoti

Teóloga e Filósofa

Especializada em arquitetura e desenvolvimento institucional

diretora da DHZiper – Comunicações e Consultorias no Terceiro Setor

http://dhziper.webnode.com.br

dhziper@live.com – (11) 97501.6858 2


Os setores da sociedade

Primeiro Setor: o Estado


Ente com personalidade jurídica de direito público
Funções públicas essenciais
Segundo Setor: o mercado
Pessoas físicas ou jurídicas de direito privado
Produção e comercialização de bens e serviços
A meta é o lucro (vantagens particulares)
Terceiro Setor: atividades de interesse público ou coletivo
Organizações de direito privado, não estatais
Não visam lucro financeiro – sem fins lucrativos ou econômicos
Aplicam integralmente os recursos nas finalidades estatutárias
3
O projeto

Segundo definição da ONU:

“Um projeto é um empreendimento

planejado que consiste num conjunto

de atividades interrelacionadas e

coordenadas, com o fim de alcançar

objetivos específicos dentro dos

limites de tempo e de orçamento

dados.” 4
O PROGRAMA

É uma ação que não possui um


tempo definido a princípio.

Pode ter um certo caráter


permanente (embora não deva ser
eterno).

Pode abranger um certo número


de projetos.

5
A causa

O motivo da existência do cenário

Aquilo que faz com que a ação exista

Situação que produz um efeito

http://www.youtube.com/watch?v=lhTsGPp2lZ0 6
O ser humano é um ser-no-mundo

7
8
fotógrafo sul-africano Kevin Carter. A foto foi feita em 1993 no Sudão, e
retrata uma garota faminta se rastejando para tentar chegar em um
campo de alimentação da ONU, distante 1km dali. Atrás da criança, um
urubu pressente a morte e aguarda seu futuro alimento. Kevin contou
que ficou cerca de 20 minutos esperando o urubu ir embora. Como isto
não aconteceu ele fez a foto, espantou o urubu e saiu correndo dali.
Publicada pelo jornal New York Times, ganhou o famoso Prêmio Pulitzer
em 1994. Acho que todos sabem o que aconteceu um ano depois. Kevin
entrou em profunda depressão por não ter feito nada pela menina e se
matou. Um trecho de sua carta de suicídio: “…Eu estou sendo perseguido
pela viva memória de matanças, cadáveres, cólera e dor… pela criança
faminta ou ferida… pelos homens loucos com o dedo no gatilho, muitas
vezes policial, assassinos…”. Outra frase dele: “Um homem ajustando
suas lentes para tirar o melhor enquadramento de sofrimento dela talvez
também seja um predador, outro urubu na cena.” Kevin tem outras fotos
igualmente trágicas, inclusive com pessoas em chamas.
9
O desafio

O contexto político, social, cultural, ambiental...

A legislação e políticas públicas...

10
CICLO DE VIDA DO PROJETO
Desafio

VER JULGAR

AGIR
11
Noções históricas da avaliação
12
Noções históricas da avaliação
As abordagens iniciais à avaliação de programas/projetos
datam da década de 1950 feitas pelas agências de
desenvolvimento, entre elas:

•EIA – Environment Impact Assessment (ambiental)

•SAI – Social Impact Assessment (social)

•CBA – Cost-Benefit Analysis (custo-benefício)

•SCBA – Social Cost-Benefit Analysis (custo-benefício social)

13
Avaliação antes de 1980...
Até então as análises estavam restritas as avaliações anos
após o encerramento de um projeto/programa.

National Geographic, Steve McCurry. Hizo la foto de la niña de la izquierda en Afganistán en 1985. Sharbat Gula tenía 12 años, y volvió
a posar para el fotógrafo 17 años después. 14
1988 – Marco Lógico
PLANEJAMENTO de um programa/projeto orientado por OBJETIVOS
introduz as noções do marco lógico.

MARCO LÓGICO
CRIADO NO ÂMBITO DA USAID
(A Agência dos Estados Unidos para o Desenvolvimento Internacional (USAID) é uma agência
independente do governo federal dos Estados Unidos responsável pela implementação de programas de
assistência econômica e humanitária em todo o mundo.)

Metodologia adotada pelo Banco Interamericano de Desenvolvimento


para:
planejamento, elaboração, monitoramento e avaliação de
programas/projetos
15
Novas abordagens da avaliação

MARCO LÓGICO

•Caráter de 1980 •Envolvimento de todos os públicos


supervisão
•Diagnóstico inicial
•Planejamento e monitoramento no
•Análise somente
processo
após o término
•Resultados quantitativos e qualitativos
•Impacto diante da causa

16
Avaliar é...
Sistematizar informações Determinar e aplicar
relevantes sobre: parâmetros, tais como:

Causa Programas Valores Efetividade


Públicos Instituição Qualidade Importância das
Projetos Rede social. Utilidade ações.

Garantir o uso dos resultados para:


Geração de recomendações Mobilização de recursos (investimento
Aperfeiçoamento das ações social).
Qualificação da prestação de contas
Multiplicação de ações criativas e
eficazes

17
Princípios da avaliação
Alguns exemplos de atributos para construção dos princípios
avaliativos:

• Utilidade

• Viabilidade

• Propriedade

• Precisão

18
Tipos de avaliação - etapas

MARCO ZERO FORMATIVA SOMATIVA

DIAGNÓSTICO: AVALIAÇÃO
AVALIAÇÃO DE
Antes da instalação AVALIAÇÃO DE RESULTADOS:
IMPACTO:
de um determinado DE PROCESSO: Informações de
Informações baseadas
programa, orienta o Informações de um determinado
num ou mais resultados
planejamento das um determinado programa após o
de médio ou longo
ações, programa durante término. (Mérito e
prazo, definidos como
estabelecendo os seu processo de relevância com
consequências dos
objetivos e metas implementação. critérios pré-
resultados imediatos.
desejados. determinados).

19
20
21
Matriz do MARCO LÓGICO

22
Matriz do MARCO LÓGICO

23
Matriz do MARCO LÓGICO
Meios de
Objetivos Indicadores verificação Supostos

Fim

Propósito

Componentes

Atividades

24
1ª Coluna - OBJETIVOS
Coluna do Resumo Narrativo do Projeto

Objetivos
Responde às interrogações:

– Qual é a finalidade do projeto?  Fim

– Para que se faz o projeto?  Propósito

Compo-
– O que se vai fazer?  nentes

Ativi-
– Como se fará?  dades

25
OBJETIVO - Fim
Qual é a finalidade do projeto?
Indica como o projeto ou o programa contribuirá
a solucionar um problema de desenvolvimento.
Contribuir para a redução em 50% do
índice de vulnerabilidade familiar na
Fim região da baixada santista.

Propósito

Componentes

Atividades
26
OBJETIVO - Propósito
Por que se leva a cabo o projeto?
Descreve o impacto direto ou resultado direto
Fim obtido da utilização dos Componentes.

Propósito Formação sobre geração de renda e


empreendedorismo na região.

Componentes

Atividades

27
OBJETIVO - Componentes

Que deve produzir o projeto?


Fim São os bens e serviços que deve
produzir o executor do projeto.

Propósito 1. Pesquisas sobre empregabilidade.


2. Oficinas de formação.
3. Eventos de articulação com as
empresas.
Componentes 4. ...
...

Atividades

28
OBJETIVO - Atividades
Como se produzirão os Componentes?
Atividades principais que implicam uso de recursos, que o
Fim executor deve levar a cabo para produzir cada Componente.
Colocam-se, para cada Componente, em ordem cronológico.

Propósito

1.1. Coleta de dados da rede de


Componentes empregabilidade
1.2. Envio dos dados da rede ao nível central
1.3. Registo a nível central dos dados da rede
1.4. Validação dos dados e elaboração de
Atividades informação da rede
.......
7.1. Elaboração dos prognósticos de
empregabilidade
7.2. Avaliação dos prognósticos
empregabilidade 29
INDICADORES
 Proporcionam a base para supervisionar e
avaliar o projeto.

 Definem metas que nos permitem conhecer Indicadores


em que medida se cumprem os objetivos

 Estabelecem uma relação entre duas ou mais Fim


variáveis. Propósito

 Podem cobrir aspectos qualitativos ou Compo-


nentes
quantitativos. Ativi-
dades
 Fornecem informação quantitativa.

 Devem ser discutidos com os envolvidos

30
O que é um indicador?

É um parâmetro

que medirá a

diferença entre a

situação que se

espera atingir e a

situação atual.
31
Características de bons indicadores

 Objetivo
 Mensurável objetivamente
 Relevante
 Específico

 Prático e econômico
 Associado a um prazo

32
Indicadores
Medem contribuição ao logro do fim a
médio ou longo prazo (impactos).. Diminuição percentual da taxa de doenças dos
450 habitantes de Povo Esperanza ao cabo de
três anos.
Medem
resultados ao
terminar a Fim Percentagem da população que aprova teste de
conhecimentos sobre higiene ao termo do projeto.
execução do Número de consultas atendidas por mês.
projeto Consultas por especialista por mês.
Percentagem de consultas não derivadas.
Propósito

Medem
eficácia, Percentagem da população objetivo capacitada ao termo
Compo- do projeto
eficiência e Número de capacitados por facilitador por ano.
nentes
qualidade no Nível de satisfação dos capacitados.
logro dos
componentes. Ativi-
dades Custo por curso.
Custo por metro quadrado construído
Custo do equipamento.
Medem o custo das atividades.

33
Meios de verificação
São as fontes de informação que se podem utilizar para verificar o
logro dos objetivos (cálculo dos indicadores).
Podem incluir : Meios de
verificação
– Estatísticas
– Material publicado
– Inspeção visual
Fim

– Pesquisas Propósito

– Informes de auditoria Compo-


nentes
– Registros contábeis Ativi-
dades

34
SUPOSTOS
Como podemos manejar os riscos?

 Cada suposto corresponde a um risco que


enfrenta o projeto e que está além do controle
direto da gerência do projeto.

 O suposto se expressa como uma condição que


Supostos
tem que se dar para que se cumpra a relação de
causalidade na hierarquia de objetivos.
Fim
 Só se consideram os riscos que tenham uma
Propósito
probabilidade razoável de ocorrência.
Compo-
nentes
Ativi-
dades

35
Possíveis fontes de riscos externos
 Mudanças institucionais
 Crise econômica
 Instabilidade política
 Instabilidade social
 Problemas com o orçamento
 Eventos da natureza
 Provedores desconhecidos
 Conflitos internacionais
 Novos métodos, equipes ou tecnologias
36
Diagrama para a análise de Supostos
É externo ao Sim
projeto ?

Sim
Não É importante?

Pouco
Não incluir provável Probabilidade de ocorrência?
Provável

Muito
provável SUPOSTO

Redesenhar Sim Se pode redesenhar o Não Suposto


projeto? fatal

37
Representam condições necessárias para o logro dos objetivos.

Fim Supostos

Propósito Supostos

Componentes Supostos

Atividades Supostos

38
39
Construção de metodologia de coleta

Alguns métodos de coleta:

• Dados coletados de pessoas identificadas como


fontes de informação:
• Questionários
• Entrevistas
• Grupo foco
• Testes
• Simulações/debates
• Exemplo de trabalho realizado (redações,
desenhos)
40
Construção de metodologia de coleta

Alguns métodos de coleta:

2. Dados coletados por meio de observação


independente:

• Relatórios narrativo-descritivo
• Roteiros de observação

41
Construção de metodologia de coleta

Alguns métodos de coleta:

3. Dados coletados por meio de aparatos


tecnológicos:

• Gravações de áudio
• Gravações de vídeo
• Séries de fotografias
• Outros aparelhos (medidor de pressão arterial,
medidor de qualidade do ar, radar para medir
velocidade de automóveis, etc.)

42
Construção de metodologia de coleta

Alguns métodos de coleta:

4. Dados coletados a partir de informações já


existentes:

• Revisão de documentos públicos (relatórios


governamentais, bancos de dados,
publicações)
• Revisão de documentos institucionais (projeto
original, relatórios anuais, fichas individuais, atas
de reuniões, publicações)

43
Construção de metodologia de coleta

Estabelecer uma amostra e como calculá-la:

• Fazer uma lista de todos os envolvidos

• Realizar escolha aleatória (para não ficar “viciada”)

• O tamanho da amostra é calculado pelos seguintes fatores:


a) tamanho da população;
b) Precisão que se deseja ter na hora de extrapolar os resultados encontrados na amostra
para o restante da população;
c) Quantidade de recursos que se pode investir.

44
Recorte de TABELA PARA DETERMINAR O TAMANHO DE UMA AMOSTRA
Adaptado de R. V. Krejce e D. W. Morgan. Determining Sample Size do Research Actives. s/e. Educational and Psychologial
Measurement, 30, p. 608, 1970.

45
Exercitando:
Método para criação de indicadores

46
Índice de Desenvolvimento da Família (IDF)...
O IDF é uma adaptação da
Pesquisa Nacional por Amostra de
Domicílio - PNAD (pesquisa feita
pelo IBGE (Instituto Brasileiro de
Geografia e Estatística).

É um índice que ilustra o grau de


desenvolvimento da família.

47
Construindo o
Índice de Desenvolvimento da Família (IDF)...
Levantamento de Dados (6):

Ausência de vulnerabilidade

Acesso ao conhecimento

Acesso ao trabalho

Disponibilidade de recursos

Desenvolvimento infantil

Condições habitacionais

48
Dimensões do IDF:

Desenvolvimento
Ausência de Infantil
Vulnerabilidade

Disponibilidade
Trabalho
de Recursos
Conhecimento
Condições
Habitacionais

49
1. Ausência de Vulnerabilidade

50
1.1.Indicadores de Ausência de Vulnerabilidade

51
2. Indicadores de acesso ao conhecimento

52
3. Indicadores de acesso ao trabalho

53
4. Indicadores de disponibilidade de recursos

54
5. Indicadores de desenvolvimento infantil

55
6. Indicadores de condições habitacionais

56
Exemplo...
V1 Não 0
Fecundidade

V2 Sim 1

V3 Não 0
Atenção e
Cuidado
Crianças, V4 Não 0
Adolescentes e
Jovens V5 Não 0

Ausência de Atenção e
V6 Sim 1
Vulnerabilidade cuidados Idosos

V7 Não 0
Dependência
Econômica V8 Não 0

V9 Não 0
Presença da
Mãe
V10 Sim 1

57
Exemplo...

58
MORANGOS À BEIRA DO ABISMO
Um homem ia feliz pela floresta quando, de repente, ouviu um urro terrível. Era
um leão. Ele teve muito medo e começou a correr. O medo era muito, a floresta
era fechada. Ele não viu por onde ia e caiu num precipício. No desespero
agarrou-se a uma raiz de árvore, que saía da terra. Ali ficou, dependurado
sobre o abismo. De repente olhou para a sua frente: na parede do precipício
crescia um pezinho de morangos. Havia nele um moranguinho, gordo e
vermelho, bem ao alcance da sua mão. Fascinado por aquele convite, para
aquele momento, ele colheu carinhosamente o moranguinho, esquecido de tudo
o mais. E o comeu. Estava delicioso! Sorriu, então, de que na vida houvesse
morangos à beira do abismo...
(Rubem Alves)
59
Glossário
Avaliação Formal Direcionada às questões essenciais da ação, influenciam decisões
estratégicas do presente e do futuro da organização. Gera informações.

Avaliação Informal Percepções individuais (altamente subjetivas) de examinar, julgar e


tomar decisões, ou seja, avaliar.

Banco de Dados Coleção organizada e inter-relacionada de dados persistentes (campos


e registros).

Coleta de Dados Conjunto de operações para recolher elementos ou bases para a


formação de um juízo.

Componente Elemento que entra na composição de uma dimensão.

Dados Elementos ou bases para a formação de um juízo.

Dimensão O número mínimo de elementos (componentes) variáveis necessárias


para à descrição analítica de um conjunto.

60
Glossário
Levantamento Conjunto de operações para determinar as características de um
fenômeno de massa.

Índice Símbolo numérico ou literal que se associa a outro para caracterizar um


novo símbolo.

Informação Coleção de fatos ou de outros dados organizados a fim de de objetivar


um processamento.

Monitoramento Acompanhar e avaliar dados fornecidos tecnicamente remetendo-se


aos objetivos e metas estabelecidos previamente.

Observações Elementos de acompanhamento da evolução, do comportamento ou


do funcionamento de determinadas ações ou efeitos.

Pesquisa Gera conhecimento, testa teorias, estabelece “verdades” e/ou


generalizações no tempo e espaço.

Vetores Elementos de um indicador que determinam um sistema de informações


de um componente.
61
Indicação de sites interessantes:
 www.rits.org.br www.ibase.org.br
 www.institutoterceirosetor.org.br www.ibravo.org.br
 www.academiasocial.org.br www.portaldovoluntario.org.br
 www.risolidaria.org.br www.aprendiz.org.br
www.setor3.com.br
 www.terceirosetor.org.br
www.probono.org.br
 www.filantropia.org
www.consorciodh.org.br
 www.abong.org.br
www.conectas.org
 www.gife.org.br
www.polis.org.br
 www.ethos.org.br www.fomezero.org.br
 www.akatu.org.br www.cidadania.terra.com.br
 www.fgvsp.br www.fundacaoseade.com.br
 www.forumsocialmundial.org.br www.care.org.br

62

Você também pode gostar