Avaliação de

Impacto Social
7 de Outubro de 2021
 Como começar um estudo?
Teoria de Mudança
OFICINA 2 Pesquisa Qualitativa
Definição de Variáveis
 Primeiros passos
para um estudo SROI
PRIMEIROS PASSOS

• Análise de documentação

• Definição de escopo

• Visita ao projeto

• Elaboração do mapa de stakeholders

• Entrevista com stakeholders

Análise de Documentação

• Planejamento histórico do projeto

• Equipe / Organograma

• Cronograma de atividades anuais

• Orçamento histórico e atual

• Registros de monitoramento

• Avaliações anteriores

• Pesquisas / Depoimentos

• Fotos
Definição do Escopo

Delimitar os componentes do projeto que estarão dentro do

escopo avaliativo:
• Atividades
• Localidades
• Diferentes públicos

Definição do período de tempo que será avaliado:

• Todo o período histórico desde que o Projeto foi criado?
• Último ano?
• Últimos 3 anos?
Mapa de Stakeholders

• Listar todos os possíveis

... stakeholders
Beneficiários
... ...
diretos
• Refletir sobre a relevância
dos efeitos sobre esses
Possíveis stakeholders
... Projeto ...
beneficiários
indiretos • Definir quais stakeholders
impactados serão incluídos
...
no escopo da avaliação
...
Gestores,
parceiros e
...
viabilizadores • Justificar a inclusão/exclusão
de cada um deles
Visita Técnica

CONFIANÇA
Visita Técnica

• Esclarecer o objetivo da visita e deixar claro que avaliação é diferente de

“julgamento” ou auditoria.

• Respeitar os referenciais e a cultura local.

• Planejar a lista de entrevistados (sempre buscar perfis variados e pessoas com

pontos de vista diferentes).

• Ter flexibilidade para adaptar o planejamento durante a visita.

• Sempre que possível, ver as atividades acontecendo junto aos beneficiários.

Entrevista com Stakeholders

Permite validar ou complementar o

mapa de stakeholders.

Ajuda a levantar informações

importantes sobre o projeto
(sobretudo coisas que não são
escritas nos documentos “oficiais”).

Fornece elementos para um primeiro

desenho da Teoria de Mudança.
Roteiro de Entrevista

Aquecimento
• Definição sobre o que é o Programa e seus objetivos
• Atividades desenvolvidas
• Público-alvo, Equipe, Parceiros e outros envolvidos
• Mudanças percebidas em cada público
• Contrafactual, Atribuição e Período de Benefício
• Principais forças do Programa
• Desafios e limitações do Programa
• Sugestões de melhoria para o Programa

Encerramento
Teoria de Mudança
Workshop de Teoria de Mudança

OBJETIVOS:
• Devolutiva sobre as entrevistas.
• Validar o entendimento sobre o projeto.
• Corrigir qualquer possível viés nas informações capturadas.
• Complementar a compreensão do avaliador com informações relevantes por parte da
organização.
• Refinar a definição do escopo da avaliação.
• Validar o mapa de stakeholders do projeto.
• Refletir sobre a estratégia do projeto e sistematizar sua Teoria de Mudança.
Diferentes Focos de Avaliação
 Diferentes Focos de Avaliação

Recursos Atividades Produtos Resultados Impacto

Recursos Tarefas/ esforço Produtos ou Alcance e amplitude Mudanças e

humanos, para transformar serviços gerados/ das ações / transformações sociais
financeiros e insumos em entregues cumprimento das provocadas pela
materiais produtos ou serviços metas do projeto intervenção

Avaliação de Processo Avaliação de Resultados Avaliação de Impacto

Executamos as atividades de forma eficiente As atividades realizadas alcançaram o Houve transformação social,
e de acordo com o escopo e ritmo efeito esperado e a amplitude e alcance econômica ou ambiental
planejados? pretendidos? provocada pelos resultados
alcançados?

Frequência de mensuração: Frequência de mensuração: Frequência de mensuração:

 Cadeia de Causalidade

EXEMPLO

Redução da
Maior desigualdade
independência, social
Aumento da autonomia e
empregabilidade e segurança
das oportunidades financeira para os
Maior índice de de alcançar jovens
Melhora nas notas aprovação no posições com
Aplicação de
dos alunos após a vestibular maiores salários
iniciativas que, por
Diagnóstico de hipótese, podem execução das
problemas que melhorar o iniciativas
levam a um baixo desempenho
desempenho escolar dos alunos.
escolar em escolas
públicas de ensino
médio.
Teoria de Mudança

Objetivo estratégico que Objetivo

define o propósito da
P intervenção. Estratégico
L
A A
N V
E Condições necessárias para A
J o atingimento do objetivo Eixo de Eixo de L
A de longo prazo. Tratam-se I
M dos impactos que se espera mudança mudança A
E que a iniciativa gere. Ç
N Ã
T O
O Atividades ou intervenções
que foram definidas como Atividade ou Atividade ou Atividade ou
abordagem estratégica
para alcançar os impactos Intervenção Intervenção Intervenção
esperados.
 Exemplo 1
longo prazo
Objetivo de

Jovens capazes de superar sua situação de vulnerabilidade social e provocar

intervenções positivas na sociedade por meio da arte e da cultura.
Impactos que

Desenvolvimento de visão
contribuem

Formação artística Desenvolvimento da

objetivo
para o

crítica sobre a sociedade e

consistente e amplo sensibilidade, criatividade
o papel social do artista e
repertório cultural e autonomia artística
do palhaço
atingir condições
Atividades para

Envolvimento e
necessárias

Aulas, exercícios, Contato e reflexão

Experimentação conscientização de
treinos e reflexões sobre atividades
cênica em espaços familiares antes e
durante a culturais e artísticas
diversos da cidade
durante o processo
formação
de formação
 Exemplo 2
Objetivo
de longo
prazo

Formar cidadãos críticos que contribuam para a construção de

uma sociedade mais justa, fraterna e igualitária.
Impactos que

Desenvolvimento do
contribuem

Maior protagonismo
objetivo

Humanização das relações potencial para a conquista

para o

na construção da sua
com o outro de suas escolhas
trajetória de vida
profissionais
para atingir

necessárias
Atividades

condições

Aulas de ensino
Atividades Estágio técnico
médio regular e Eventos
extracurriculares obrigatório
ensino técnico
Exemplo 2
Intervalo
15 min
Pesquisa Qualitativa
EXPLORATÓRIA

FOCO NOS IMPACTOS E EM

COMO ELES SE MANIFESTAM

POSSIBILIDADE DE EXPLORAR ASPECTOS

ADICIONAIS RELEVANTES PARA A AVALIAÇÃO
Pesquisa Qualitativa
3 Tipos Principais:
Entrevistas em profundidade
Grupos focais
Questionários com perguntas
abertas (anônimo ou não).
Cuidados:
• Definição dos públicos e segmentações
• Amostra: até atingir “saturação”
• Convite
• Espaço
• Nº de participantes
• Material de apoio
• Roteiro
• Habilidade de facilitação
Exemplo de Roteiro

Aquecimento (15 min)

Apresentações e explicação sobre o objetivo do encontro

Levantamento de Impactos (50 min)

Exercício com imagens para explorar a percepção do programa e
dos impactos causados por ele

Atribuição (30 min)

Levantamento de outras iniciativas que contribuíram para as mudanças relatadas
e do % de impacto que pode ser atribuído ao programa

Período de Benefício (10 min)

Exercício em grupo para explorar a percepção sobre prazo de duração e intensidade
dos impactos relatados

Encerramento (15 min)

Agradecimento, pontos de melhoria e espaço para compartilhamentos espontâneos
Exemplo de Exercício para explorar Impactos
“Foi como um salto no
desconhecido. Um garoto que não
sabia nada e agora ensina o pai.
Aquele cara que não sabia o
porquê das coisas, hoje tem
domínio técnico.”
“Pensava que era um desperdício
dois anos de dedicação apenas
para ter um diploma. Mas passei a
ver valor no conhecimento e ter
clareza do futuro.”
“O Programa me mostrou que eu poderia ser
mais amigo, compreensivo, pois antes era muito
arrogante e agressivo. O Programa me
humanizou, melhorou o meu relacionamento em
casa e no trabalho. Hoje me considero mais
centrado e organizado, consigo focar e priorizar
atividades, antes eu começava atividades e não
terminava.”
“Pensei que eu iria perder contato com a minha
família no tempo que estivesse me dedicando aos
estudos, mas hoje vejo que o tempo passa rápido
e devo aproveitá-lo. Hoje vejo que desenvolvi o
raciocínio rápido, que sou capaz de aprender
mais rápido. Antes eu achava que não daria
conta. O Programa me mostrou que posso fazer
muito.”
 Exemplo de Exercício para explorar Atribuição

Levantamento de outros
PROGRAMA X
fatores externos que
contribuíram para os
impactos

Impactos
levantados
Contribuição relativa
durante o grupo
atribuída pelo
focal e
participantes ao
“nomeados” pelos
Programa e aos fatores
próprios
externos para cada um
participantes
dos eixos de impacto
(“eixos de
impacto”)
Período de Benefício

Objetivo: explorar a percepção dos participantes a

respeito do tempo de permanência do impacto.

• Quando questionadas sobre o tempo de duração de mudanças

positivas geradas por um projeto em suas vidas, as pessoas
tendem a responder que elas permanecerão pelo resto de
suas vidas, sobretudo se a participação no projeto é recente.

• Para trazer a percepção de que as mudanças experimentadas

podem diminuir com o tempo, pode-se dar alguns exemplos.

• É recomendável que as percepções sejam colocadas

espontaneamente pelos participantes (sem estímulos a
alternativas de respostas pré-definidas).
Encerramento

Agradecimento
Espaço para colocações +
espontâneas Contato
Sistematização das informações
levantadas e definição das
variáveis
Exemplo de Sistematização

ALUNOS PROFESSORES

Maior protagonismo Desenvolvimento do

Humanização das
na construção da potencial para a Desenvolvimento de habilidades
relações com o
sua trajetória de conquista de suas profissionais
outro
vida escolhas profissionais

RESULTADO DOS GRUPOS FOCAIS:

1. Desenvolvimento de uma postura mais sociável, fazendo com que passem a sentir maior facilidade
em fazer amigos e construam relações mais sólidas, duradouras e com maior nível de confiança.
2. Desenvolvimento de uma postura mais empática e solidária, com um olhar atento para as
necessidades dos outros e disposição para ajudar sempre que possível.
3. Aumento do respeito e da valorização da diversidade.
4. Aumento da consciência sobre os problemas sociais do país e maior disposição para buscar
oportunidades de contribuir para transformações positivas.
Exemplo de Sistematização

CRIANÇAS E JOVENS

Desenvolvimento de habilidades
Exercício do protagonismo Desenvolvimento de habilidades
Formação musical socioemocionais e
infanto-juvenil socioemocionais
comportamentais

RESULTADO DOS GRUPOS FOCAIS:

1. Passei a entender melhor meus sentimentos, desejos, talentos e limitações.

2. Desenvolvi relações de maior confiança e amizades mais sólidas.
3. Passei a me expor mais e a ter mais facilidade para me aproximar das pessoas.
4. Passei a acreditar mais em mim e me sinto mais confiante.
5. Passei a ter maior concentração e foco.
6. Aumentei meu senso de responsabilidade e comprometimento com aquilo que faço.
7. Passei a ser mais persistente e a lidar melhor com os desafios e dificuldades.
Estudo de Caso
Perguntas
 Obrigad@!
Raquel Altemani
raltemani@idis.org.br

idis.org.br