A Avaliação de Programas e Projetos Sociais de ONGs No Brasil

A Avaliao de Programas e Projetos
Sociais de ONGs no Brasil

Relatrio de Pesquisa
Esta pesquisa foi desenvolvida no mbito do Projeto Avaliao, uma

parceria entre Instituto Fonte e Fundao Ita Social orientada para
o fortalecimento da avaliao de programas e projetos sociais no
Brasil.
O Instituto Paulo Montenegro e o IBOPE Inteligncia apoiaram a

realizao deste estudo.
ndice
1.
Objetivos da pesquisa ................................................ Slide 04
2.
Consideraes metodolgicas ...................................... Slide 06
3.
Perfil das ONGs ......................................................... Slide 13
4.
Desafios institucionais das ONGs .................................. Slide 21
5.
Concepo das ONGs sobre a Avaliao......................... Slide 25
6.
Posturas com relao avaliao ................................. Slide 31
7.
Papel do avaliador ..................................................... Slide 36
8.
rtica de avaliao ..................................................... Slide 44
9.
Desafios e tendncias para a avaliao no Brasil ............. Slide 63
10. Anexos ..................................................................... Slide 68
1. Objetivos da pesquisa
Objetivos
Mapear quanto e como as ONGs* brasileiras realizam avaliao de

seus projetos e programas sociais
Conhecer motivaes, desafios e tendncias da avaliao de projetos e

programas sociais no Brasil.
* Nesta pesquisa o ONG se refere s organizaes da sociedade civil, sem fins lucrativos, que atuam com
projetos sociais.
2. Consideraes Metodolgicas
Metodologia
Pesquisa Quantitativa por amostragem

Metodologia
Coleta de dados via web, atravs de aplicao de questionrio

estruturado de auto-preenchimento on-line;
Pblico alvo
rea
Realizao
do campo
Organizaes privadas sem fins lucrativos com atuao no Brasil
Abrangncia nacional
Julho a Setembro de 2009
Amostra
Seleo da
Amostra
A amostra foi selecionada considerando-se as variveis abaixo:

Regio
Nmero de colaboradores regulares
Natureza jurdica (Fundao/Instituto, Organizao Social, Oscip
ou Outras formas.
Total de
entrevistas
363 entrevistas realizadas, com a seguinte distribuio:
PORTE
CENTRO
OESTE
NORDESTE
NORTE
SUDESTE
SUL
TOTAL
GERAL
1A9
27
70
18
123
10 A 49
27
116
26
181
50 A 99
17
29
MAIOR
100
20
30
TOTAL
GERAL
12
66
223
53
363
Amostra
Representividade
da Amostra
Considerando-se a inexistncia de um cadastro unificado de ONGs no

pas, o planejamento do estudo partiu de um levantamento prvio sobre o perfil
desejado da amostra, com base na FASFIL* 2005 e na RAIS.
Em um segundo momento, houve um grande esforo para obteno e
sistematizao de diversos cadastros de organizaes da sociedade civil,
concomitante a uma etapa de cadastramento de organizaes para a pesquisa
(mailing de pessoas jurdicas sem fins lucrativos).
Esses cuidados e esforos esto refletidos no perfil da amostra obtida, que cobriu
adequadamente todos os segmentos previamente considerados como fundamentais
(porte, regio e natureza jurdica), com um nmero de respostas por segmento que
permitiu uma ponderao pequena, apenas de ajuste, para os resultados.
*Pesquisa sobre Fundaes e Associaes Privadas Sem Fins Lucrativos no Brasil, desenvolvida a partir da
parceria entre IBGE, IPEA, ABONG e GIFE.
Amostra
Representividade
da Amostra
Regio
Norte
Nordeste
Sudeste
Sul
Centro-Oeste
Total
Universo
2.519
9.708
36.805
14.602
5.641
69.275
%
4%
14%
53%
21%
8%
100%
Entrev. Realizadas
9
66
223
53
12
363
%
2%
18%
61%
15%
3%
100%
Universo
5.506
7.822
75.089
88.417
%
6%
9%
85%
100%
Entrev. Realizadas
17
68
278
363
%
5%
19%
77%
100%
Universo
48.978
14.628
5.669
69.275
%
71%
21%
8%
100%
Entrev. Realizadas
123
181
59
363
%
34%
50%
16%
100%
Fonte: Fasfil 2005
Natureza Jurdica
Fundaes Privadas
Org. Social + Oscip
Outras Formas de Associaes
Total
Fonte: RAIS 2005
Porte
1a9
10 a 49
50e+
Total
Fonte: Fasfil 2005
10
Ponderao
Ponderao
Os resultados foram ponderados, considerando-se porte e regio da

instituio respondente, tendo como base os dados da Fasfil 2005.
Porte
11
Regio
Fator
1a9
Norte
1,8000000
10e+
Norte
1,0000000
1a9
Nordeste
1,3333333
10 a 49
Nordeste
0,4074074
50e+
Nordeste
0,3333333
1a9
Sudeste
1,9142857
10 a 49
Sudeste
0,3620690
50e+
Sudeste
0,4594595
1a9
Sul
3,0555556
10 a 49
Sul
0,6153846
50e+
Sul
0,6666667
1a9
Centro-Oeste
7,3333333
10 a 49
Centro-Oeste
0,6250000
50e+
Centro-Oeste
2,0000000
Bases dos resultados
No questionrio os participantes da pesquisa eram convidados responder

um primeiro bloco de perguntas gerais sobre avaliao, o que consolida
uma base chamada amostra, formada por 363 organizaes.
O questionrio apresentava um segundo bloco de perguntas para todas as

organizaes que afirmaram ter realizado pelo menos uma avaliao nos
ltimos cinco anos. Neste bloco as informaes deveriam fazer referncias
especficas a at dois projetos que foram avaliados no perodo. Esta base
consolidada denominada projetos realizados e formada por 574
projetos.
12
3. Perfil das ONGS
13
Perfil da Amostra
(%)
Natureza Jurdica
Associao sem fins lucrativos
74
OSCIP
21
14
Fundao ou Instituto Empresarial

Outros
Base: Amostra (363)
14
Natureza Jurdica: Qual a natureza jurdica da sua organizao?
Perfil da Amostra
(%)
Regio
Centro Oeste
8%
Norte
4%
Nordeste
14%
Sul
21%
Base: Amostra (363)
15
Em qual UF ela est sediada?
Sudeste
53%
Perfil da Amostra
(%)
Porte em nmero de colaboradores
de 50 at 99
4%
100 ou mais
5%
de 20 at 49
11%
de 10 at 19
17%
Base: Amostra (363)
16
Porte em nmero de colaboradores
At 9
63%
Perfil da Amostra
(%)
Tempo de atuao
(amostra do estudo)
Antes de 1980
1981-1990
1991-2000
2001-2008
Tempo de atuao
(FASFIL 2005)
13,1
15
19
40
41,5
36
26,3
17
Base: Amostra (363)

Tempo de atuao: Desde que ano sua organizao desenvolve seus projetos e
aes sociais?
*At 2005
Perfil da Amostra
(%)
Tipo de atuao em projetos
Somente
financiadora
2%
Financiadora
e executora
40%
Somente
executora
58%
Base: Amostra (363)
18
21. De que forma a sua organizao atua com projetos sociais? (RESPOSTA NICA)
Projetos Avaliados
19
As organizaes que consideraram j ter avaliado algum de seus projetos

(91% da amostra) foram solicitadas a escolher at 2 projetos avaliados e
responder esse bloco sobre os mesmos.
Assim, a base de anlise nesse bloco passa a ser o total de projetos

avaliados escolhidos pelas organizaes da amostra.
Foram 574 projetos em 363 organizaes.
Caractersticas dos projetos

avaliados
(%)
rea de atuao
Abrangncia territorial
29
Educao
25
Assistncia Social
16
Cultura e Arte
10
Meio Ambiente
Sade
Esporte e recreao
Servios legais / defesa de

direitos civis
Desenvolvimento e moradia
Local
Regional
22
Estadual
16
Nacional
Internacional
Base: Fez avaliao (574 BASE PROJETOS AVALIADOS)
20
52
P6bTOT. Qual foi a rea de atuao do projeto avaliado? / P6d._1 Qual a

abrangncia territorial do projeto?
4. Desafios Institucionais das ONGs
21
Desafios Institucionais
(%)
85,4%
Captao de recursos
37,7%
Estrutura fsica
Comunicao
35,2%
Relaes com governo
33,6%
Mobilizao comunitria
33,3%
30,3%
Planejamento estratgico
Avaliao de projetos
28,1%
Formao da equipe
27,6%
Participao em redes
23,7%
20,4%
Atuao do conselho
19,1%
Anlise de contexto scio-econmico e poltico
18,2%
Transio de lideranas
16,7%
Planejamento de atividades/ projetos

Anlise da legislao da rea de atuao
14,4%
Relaes internas
13,8%
Anlise de contexto ambiental

Outros
9,5%
5,8%
Base: Amostra (363)
22
22. Quais os principais desafios que a organizao enfrenta atualmente? (aceita

mais de uma resposta).
Situao e desafios institucionais

Anlise Fatorial & Cluster *
Recursos e
infra-estrutura
Planejamento
e avaliao
Mobilizao
poltica
Anlise de
cenrio
Gesto
interna
30%
20%
20%
16%
13%
Captao de
recursos
Infra-estrutura
fsica
Formao
equipe
Planejamento
estratgico
Planejamento de
atividades do
projeto
Avaliao
Comunicao
Relaes
comunitrias
Formao da equipe
Participao em
redes
Relaes com o
governo
* Ver Anexos
Base: Amostra (363)
23
22. Quais os principais desafios que a organizao enfrenta atualmente? (aceita mais de
uma resposta).
Anlise do
contexto ambiental
Anlise da
legislao
Participao em
redes
Atuao do
conselho
Transio de
lideranas
Relaes
internas
Situao e desafios institucionais
As organizaes mais antigas declaram ter desafios mais fortes relacionados

gesto interna (conselho, transio de liderana e relaes internas)
As organizaes fundadas na dcada de 90 descrevem como seus principais desafios
a mobilizao comunitria e relaes com o governo, assim como planejamento e
avaliao.
As organizaes fundadas mais recentemente declaram ter desafios mais fortes
relacionados aos recursos e infra-estrutura, e com menor intensidade enfrentam a
gesto interna, anlise de contexto e a participao em redes. Estas so tambm so
as de menor porte em nmero de colaboradores.
No h diferenas significativas nos desafios institucionais enfrentados por
Financiadoras e Executoras e apenas Executoras.
24
5. Concepes das ONGs sobre Avaliao

de Programas e Projetos
25
Importncia da Avaliao
Maior entre ongs do NE e N/CO (97%)
Importncia...
80
10
(%)
Menor OSCIP (70%)

Menor Somente Financiadora (70%)
Nota
1
3 1
1 1
Nota
Mdia
Mdia
9,49
9,49
Escala 1 a10
1 = Pouco importante
10 = Muito Importante
Pretendem realizar avaliaes no futuro?

4
Sim
96
Base: Amostra (363)

P2. Para sua organizao, voc diria que a avaliao de projetos e aes algo:
26
P20. Pensando em todas as suas experincias com avaliaes de projetos, voc tem a
inteno de realizar avaliaes em projetos futuros?
No
O que pensam sobre avaliao?
Avaliao como processo que:
> freqncia
apia a gesto, a tomada de deciso

ajuda a corrigir rumos, identificar erros e acertos
verifica realizao de objetivos
identifica resultados no pblico do projeto
gera credibilidade ao projeto
um processo difcil
< freqncia
Base: Amostra (363)
27
P1. Para comear, gostaramos de conhecer a viso da sua organizao sobre a

avaliao de seus projetos e aes. O que vocs pensam sobre esse tema da
Avaliao? Quando se fala em Avaliao que opinies e idias surgem na sua
organizao?
Atributos positivos sobre avaliao

(%)
Mdia
uma parte essencial dos processos de
planejamento estratgico
79
Ajuda a melhorar a qualidade dos servios

prestados pelo projeto
77
Os resultados da avaliao devem ser

utilizados para tomar decises sobre a
organizao ou o programa
75
Ajuda a fazer escolhas estratgicas sobre o

futuro da organizao
74
Faz parte integralmente de nossas prticas

de gesto
feita p/ que as organiz. e projetos se

promovam positivamente frente a
financiadores, comunidade e outros
interessados no projeto
28
36
Os resultados da avaliao so utilizados

para atrair financiadores e recursos
Escala 1 a10
1 = Discorda Totalmente
10 = Concorda Totalmente
37
10
8
8
14
9 2111
9,50
9 3 211
9,49
12
8 32
9,48
15
43
8,39
13 23
7,98
6,95
33 8 3
7,14
Nota
Base: Amostra (363)

P3) Gostaramos de saber o que voc pensa sobre avaliao. Apresentamos a seguir uma srie de
frases para que voc aponte o quanto concorda ou discorda com cada uma delas
14
12 1 4 3
10 3
15
5 3 9 114
7 1
25
30
9,45
55
Financiadores se interessam muito por

avaliao
9 2231
16
3
13
No sabe
Nota
Atributos negativos sobre avaliao

(%)
Mdia
6
Programas so avaliados porque financiadores
requisitam
10 3 11
No existe conhecimento ou competncia para

se realizar avaliaes de projetos com qualidade
8 2 7 52 8
So uma formalidade, e no conseguem refletir

os resultados do trabalho realizado por uma
organizao
O tempo e o dinheiro dedicados para a avaliao

desviam o projeto de seu objetivo central
Escala 1 a10
29
19
6 44
5 4
4 1 6 2 6 2 3 10
Avaliar programas serve apenas para responder

a um requisito que os financiadores colocam
A quantia de tempo e dinheiro gasta em

avaliao no compensa
8 4
31112 11 2 9
24
59
52
12
4,86
3,56
2,60
2,48
11 5 22 6 2 6
62
2,35
1 4 314 3 8
10
59
2,25
10
Nota
Base: Amostra (363)

P3) Gostaramos de saber o que voc pensa sobre avaliao. Apresentamos a seguir uma srie de
frases para que voc aponte o quanto concorda ou discorda com cada uma delas
No sabe
Nota
Aprendizado
A importncia da avaliao est consolidada.

A necessidade de advogar pela relevncia da avaliao de
projetos sociais entre as ONGs que atuam no Brasil
pequena ou inexistente.
30
6. Posturas em relao Avaliao
31
Posturas em relao avaliao

Modelo terico
Avaliao como
ferramenta
estratgica
Avaliao como
ferramenta de
promoo dos
projetos
Avaliao como
desperdcio de
recursos
ajuda afazer escolhas

estratgicas.
apenas uma exigncia

dos financiadores
no vale a pena o
investimento
ajuda no planejamento
estratgico
fazemos porque
financiadores solicitam
simblico
ajuda a melhorar os
servios prestados
fazemos para melhorar

nossa imagem e conseguir
financiadores
orienta decises
programticas
integra as prticas de
gesto
no temos
conhecimento suficiente
desvia o projeto de sua
principal razo de ser
ajuda a nos promover

frente a financiadores e a
comunidade
* Modelo apresentado por: Carman, Joanne G. & Fredericks, Kimberly A. (2008). Nonprofits
and evaluation: Empirical evidence from the field. New Directions For Evaluation. P 5171.
32

Anlise Fatorial & Cluster
(%)
40
33
35
30
26
23
25
18
20
15
10
5
0
Avaliao como desperdcio Avaliao como obrigao Avaliao como ferramenta Avaliao como ferramenta
de tempo/recurso
formal e burocrtica
de promoo dos projetos
estratgica
No existe conhecimento
ou competncias para
realizar avaliaes de
qualidade.
A quantia de tempo e
dinheiro investidos no
compensam.
Os recursos investidos
desviam o projeto de seu
foco principal.
33
Base: Amostra (363)
uma obrigao
imposta pelos
financiadores
uma formalidade
No consegue
refletir os resultados
do trabalho realizado
por uma organizao
Resultados
utilizados para atrair
financiadores e
recursos.
feita para que as
organizaes e
projetos se
promovam
positivamente
Ajuda a melhorar a
qualidade dos servios
Os resultados devem ser
utilizados para tomar
decises
Ajuda a fazer escolhas
estratgicas
parte essencial dos
processos de planejamento
estratgico

(%)
40
33
35
30
25
26
23
18
20
15
10
5
0
Avaliao como desperdcio Avaliao como obrigao Avaliao como ferramenta Avaliao como ferramenta
de tempo/recurso
formal e burocrtica
de promoo dos projetos
estratgica
+ OSCIP
+ Fundao/
Instituto
Empresarial
E
+ OSCIP
34
Base: Amostra (363)
+
Norte/CentroOeste
+ Associao sem fins

lucrativos
E
+ com mais de 100
colaboradores
Aprendizado
Apesar de no ser necessrio mais advogar pela importncia da avaliao,

parece ser importante observar para quais finalidades ela tem sido utilizada.
A avaliao como ferramenta de promoo dos projetos legtima e

importante, mas esse uso no corresponde a todo o benefcio que pode
oferecer para o desenvolvimento dos projetos.
35
7. Papel do avaliador
36
E qual o papel do avaliador?

(%)
70
Gerar espaos de reflexo e aprendizagem sobre o projeto

Garantir que os resultados da avaliao sejam
comunicados para todos os envolvidos no projeto
64
Construir instrumentos para levantar informaes sobre o

projeto
62
Fazer recomendaes para o projeto
55
Envolver o mximo de pessoas na discusso sobre a

avaliao
53
Descrever como determinados elementos do projeto

causam/ geram seus resultados
53
10
Ter profundo conhecimento sobre o tema do projeto
52
24
Emitir julgamento sobre o projeto
10
19
14
5 6
12
7 3 11 1211 8,46
6 4
5
15
P04) A seguir temos uma srie de frases sobre o papel do(a) avaliador(a) e gostaramos que voc
apontasse o quanto concorda ou discorda com cada uma delas
13 113 8,28
7 4 11 2211 8,38
Nota
8 3 6 1112 8,66
5 5
17
6 3 6 111 8,88
15
14
Base: Amostra (363)
37
11 22 11 21 8,82
2
13
14
35
Conhecer profundamente mtodos cientficos de pesquisa
Escala 1 a10
10
45
Dar respostas sobre os resultados atribudos ao projeto
Mdia
1
12 3 4 1 9,17
17
343
4
12 112 3 8,00
3 32 7,68
6,06
19
2
Nota
Posturas do avaliador
Modelo terico de referncia
As Quatro Geraes de Avaliao. Guba e Lincoln, 1985 *
1 gerao Medio
Desenvolver e
aplicar
instrumentos de
mensurao
2 Gerao
descrio
(ou dos objetivos)
Descrever
relaes entre
pontos fortes e
fracos de
programas - em
relao a
determinados
objetivos.
3 gerao
Julgamento
Atribuir um
valor, julgar
programas.
4 gerao
Construtivista e
responsiva
Facilitar o
dilogo e
negociaes entre
interessados.
* Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills,

CA: Sage.
38
Habilidades do avaliador
Educador
Gera espaos de reflexo e
aprendizagem
Garante a comunicao dos
resultados
Juiz Especialista
Tcnico-cientista
Conhece profundamente a rea

do projeto
Sabe metodologia
Emite pareceres e
recomendaes
39
* Adaptao realizada a partir da proposta de Lincoln, Y. S., &

Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.
Sabe construir
instrumentos
Papel do Avaliador
Foco no resultado
Foco no processo
57%
43%
Tem profundo conhecimento sobre o

tema do projeto
Envolve as pessoas na discusso da avaliao

Constri instrumentos para levantar informaes
Emite julgamentos sobre o projeto.

Garante a comunicao dos resultados.
Descreve como determinados elementos do
Conhece mtodo cientfico.
projeto causam geram seus resultados.
D respostas
Gera espaos de reflexo e aprendizagem
Base: Amostra (363)
40
4. A seguir temos uma srie de frases sobre o papel do (a) avaliador (a) e gostaramos que voc apontasse o
quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 at 10, onde 1 significa
que voc Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Voc pode
tambm utilizar qualquer nmero entre 1 e 10 para expressar a sua opinio.
Papel do Avaliador
Foco no resultado
Foco no processo
57%
43%
+ com mais de 100

colaboradores
+ com at 9
colaboradores
Base: Amostra (363)
41
4. A seguir temos uma srie de frases sobre o papel do (a) avaliador (a) e gostaramos que voc apontasse o
quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 at 10, onde 1 significa
que voc Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Voc pode
tambm utilizar qualquer nmero entre 1 e 10 para expressar a sua opinio.
Aprendizado
Os dados mostram que as ONGs enxergam o papel do avaliador (ou da

equipe de avaliao) como multifuncional, no restrito a uma tarefa nica.
Tampouco espera-se que o avaliador tenha apenas uma habilidade
especfica.
E em ambas as imagens de avaliador est presente o componente tcnicometodolgico.
Educador
Juiz
Especialista
42
Tcnicocientista
Reflexes
Teoricamente o potencial benefcio da avaliao depende principalmente: (i) do
foco de atuao do avaliador (seja avaliador interno ou externo) e (ii) do
envolvimento da equipe do projeto no processo de avaliao em si
Ao assumir um processo de avaliao, o avaliador focado no resultado prioriza a
entrega de um produto no final. A incorporao dos resultados seria de
responsabilidade da equipe do projeto. Se a equipe no se apropriar desses
resultados, o produto poder servir apenas para promoo dos projetos.
Avaliao no apenas pesquisa, os resultados devem ser apreendidos pelas
pessoas, para serem incorporados nos projetos.
Nesse sentido, o avaliador focado no processo potencializa o uso da avaliao,
ao compartilhar saberes e atuar colaborativamente na gesto da avaliao. Com
isso, o avaliador responsabiliza e d autonomia equipe envolvida no projeto.
Dessa forma, a equipe incorpora, durante o processo de avaliao, os prprios
resultados e tem mais facilidade de implementar as potenciais mudanas.
Finalmente, quando o foco no processo e a equipe se envolve, a avaliao gera
todos os seus potenciais benefcios.
A pesquisa confirma esse entendimento terico, pois organizaes que buscam
um avaliador com foco no processo tendem a enxergar na avaliao o seu
potencial estratgico, enquanto as organizaes que buscam um avaliador com
foco nos resultados tendem a se aproximar mais da percepo de avaliao como
promoo dos projetos ou como uma atividade burocrtica-formal.
43
8. Prtica de avaliao:
Principais caractersticas metodolgicas de avaliaes realizadas por ONGs
Quem decide sobre a avaliao e como se do as relaes de poder
Principais desafios e dificuldades que as ONGs encontram na avaliao
44
Realizao de avaliaes
Razes para no realizar
Realiza avaliao?
(%)
No tnhamos equipe
75
Falta de conhecimento sobre avaliao

Sim
9
91
68
No tnhamos recursos financeiros
63
Falta de tempo para dedicar avaliao
34
No
Somos uma equipe/ no h necessidade
23
No encontramos um avaliador para o

trabalho
17
No acredita na utilidade de uma avaliao

+ entre ongs do NE e N/CO
+ Porte 100 ou mais colaboradores
+ Somente financiadora
Resistncia da equipe
No desenvolvemos projetos prprios
Confiam nas organizaes que realizam o
projeto
7
6
Ind.
Ind. Mult
Mult
3,12
3,12
Base: Amostra (363)

Base: No realizou
nenhuma avaliao (33)
45
P6. - Em relao aos ltimos 5 anos, voc considera que a sua organizao fez avaliao de seus
programas ou projetos? P6a. Por quais motivos sua organizao no realizou nenhuma avaliao dos
projetos nos ltimos 5 anos?
Conhecimento sobre avaliaes

realizadas por outras ONGs
+ Somente financiadora
Sim
42
+ desafio institucional de
planejamento e avaliao
58
No
+ Fundao/Instituto Empresarial
Base: Amostra (363)
46
P18. Sua organizao conhece avaliaes de projetos de outras organizaes?
Formao em avaliao
Sim
45
55
No
Base: Amostra (363)
47
P19. Voc ou algum outro colaborador regular da organizao tem ou fez algum tipo de
formao para avaliao de projetos?
Aprendizado
Considerando que um grande nmero de organizaes j realiza avaliao de seus

projetos, o desafio para o desenvolvimento do campo est na forma como estas
avaliaes tem sido conduzidas e a utilidade que tem representado para os
interessados (stakeholders) no processo.
Com relao ao conhecimento de avaliaes realizadas por outras organizaes,

parece residir nesta questo um potencial de aprendizagem sobre avaliao que
pode ser fortalecido.
48
Atividades realizadas
(%)
Mdia
Prestao de contas para os financiadores
84
7 4 32
4,70
Acompanhamento do oramento do projeto
84
10 212
4,73
13 3 3
4,72
9 52
4,49
68
20
9 12
4,51
67
22
8 2
4,52
9 22
4,47
81
Acompanhamento das atividades realizadas no projeto

Produo de relatrios sobre o projeto para
financiadores de parceiros
Verificao se os objetivos do projeto esto sendo
alcanados
75
Debates com a equipe sobre o andamento do projeto

Levantamento dos resultados do projeto
65
Publicao dos resultados do projeto
41
Auditoria financeira
39
Visitas dos financiadores e/ ou parceiros ao projeto
33
Sempre (5)
s vezes (3)
Nunca (1)
Base: Amostra (363)
49
P5) Com que frequncia sua organizao realiza as seguintes atividades:
22
25
17
26
15
11
15
26
13
18
13 1
Quase sempre (4)

Raramente (2)
3,81
3,43
3,76
Tipos de atividades
Atividades de
acompanhamento
interno
Atividades de
prestao de contas
a financiadores
Atividades de
prestao de contas
ao pblico amplo
+
frequente
50
frequente
Desenho da avaliao
(%)
Coleta de dados
Sobre o pblic o benefic iado ao final do
c ic lo do projeto
70
Sobre o pblic o benefic iado durante a

realiza o do projeto
70
Sobre o pblic o benefic iado no inc io do

projeto
64
Sobre um pblic o no benefic iado ao final

do c ic lo do projeto, para c ompara o
13
Sobre um pblic o no benefic iado no inc io

do projeto, para c ompara o
13
Sobre um pblic o no benefic iado durante

a realiza o do projeto para c ompara o
11
Base: Fez avaliao (574)
51
P11. De maneira geral, qual das alternativas abaixo caracterizou a coleta de dados das avaliaes destes
projetos?
nd.
nd. Mult.
Mult.
2,40
2,40
Aprendizado
A anlise fatorial sobre as prticas de coleta de dados para as avaliaes realizadas

aponta:
A grande maioria das organizaes opta por desenhos que realizam a coleta de
informaes sobre o grupo beneficiado ANTES, DURANTE e DEPOIS de sua
participao no projeto.
H um grupo especfico que faz o levantamento de informaes sobre grupos

controle (no beneficiados).
52
Durao das avaliaes
Durao (avaliao)
%
29
15
6
24
6
20
Mdia
Mdia
10
10 meses
meses
Meses
At 3
4a6
7 a 11
12
Mais de 12
No soube estimar
53
de uma avaliao para cada um dos projetos? // P8. Qual foi a durao aproximada (em meses) da avaliao?
Origem da demanda
(%)
Necessidade das avaliaes
A prpria
organizao
54
35
Ambos
rgo
financiador
+ financiadoras e executoras
+ Executoras

P7. Agora vamos pensar sobre como surgiu a necessidade das avaliaes em cada um destes projetos.Quem solicitou ou sugeriu a realizao
54
Financiamento das avaliaes

(%)
Utilizamos os recursos internos

da organizao
43
O recurso para avaliao estava

includo no oramento do projeto
34
No houve custos para as

atividades de avaliao
22
Recebemos doaes especficas

para a avaliao
Recursos Municipais e Federais

P9. De onde veio, na sua maioria, o financiamento para a avaliao?
55
+ Executoras
Equipe de avaliao
(%)
Quem realizou a avaliao

Avaliador da
equipe do
projeto
Avaliador
externo
Avaliador da
equipe da
organizao
financiadora
85
22
Avaliador
independente
19
Universidade/
Instituto de
pesquisa
ligado
42
24
ONG
17
Empresa
17
Base: Fez avaliao com avaliador externo (130)

P10. Quem realizou a avaliao dos projetos? Voce pode selecionar mais de um tipo de
avaliador, caso tenha ocorrido para algum dos projetos
P10a. De que tipo?
56
Participao da organizao nas

decises sobre a avaliao
(%)
Anlise dos resultados
da avaliao
77
Deciso
encaminhamentos/aes
aps resultados
75
+ avaliao como
ferramenta
estratgica
71
Coleta de dados
Deciso sobre o foco de

avaliao
68
Deciso sobre a
metodologia a ser
utilizada
Deciso sobre a escolha
da equipe de avaliao
Especialmente
financiadoras e
executoras
63
Especialmente
financiadoras
e executoras
+ avaliao
como autopromoao
53
nd.
nd. Mult.
Mult.
4,09
4,09
P12. Agora pensando no processo de avaliao desses projetos como um todo, em quais
momentos sua organizao participou ativamente?
57
Utilidade da avaliao
Ajudou a fazer mudanas no projeto
80
Ajudou a estabelecer objetivos e metas para o

projeto
74
Para desenvolver novos projetos
69
Orientou decises sobre a equipe
69
Apoiou o planejamento estratgico do projeto

ou organizao
69
59
Para tomar decises financeiras
57
Para reportar aos financiadores

Para reportar ao conselho gestor da
organizao
Ajudou na comunicao e marketing do projeto
e/ ou organizao
54
48
Ajudou a conseguir novos financiadores
39
Ajudou a influenciar alguma deciso relacionada

a uma poltica pblica
10
+ avaliao como promoo
+executoras

P14. Qual ou quais dessas alternativas refletem o uso que foi feito dos resultados da avaliao em cada um dos projetos?
58
+ executoras
37
Ajudou a deciso de descontinuar o projeto

No usamos os resultados das avaliaes
+ avaliao como ferramenta

estratgica
nd.
nd. Mult.
Mult.
6,68
6,68
Comunicao dos resultados

Comunicao dos resultados
Sim
7
93
No
(%)
Pblicos
PARA FINANCIADORES DO PROJETO/
DA ORGANIZAO
74
Para equipe diretamente envolvida no

projeto
73
Para pessoal interno diretamente

envolvido na avaliao
70
Para todo o pessoal da organizao e do

projeto
69
Para o pblico-alvo/ comunidade-alvo

do projeto
56
Para parceiros externos
52
Para governos/ prefeituras/

administrao pblica
P13. Os resultados das avaliaes foram comunicados
para algum?
P13a. Quem?
Para outras organizaes/ em eventos/

fruns
Para a sociedade em geral/ publicaes/
imprensa
48
33
30
Mdia
Mdia
5,06
5,06
Base: Os resultados foram comunicados (532)
59
Desafios enfrentados na avaliao

(%)
48
Construir indicadores
40
Envolver os pblicos do projeto na avaliao
36
Desenvolver instrumentos
33
Coletar informaes
Captar recursos para a avaliao
27
24
Encontrar profissional qualificado
23
Tomar decises orientado pela avaliao

13
Comunicar os resultados

P16. Quais foram as principais dificuldades encontradas nessas
avaliaes?
60
+ avaliao como ferramenta

estratgica
31
Analisar os resultados
Nenhuma
+ avaliador com foco

em resultados
Tcnico
Gesto
Competio com outras atividades

(%)
Baixa competio
Alta competio
12
12
05 (5)
21
04 (4)
21
03 (3)
Mdia
Mdia
2,48
2,48
34
02 (2)
Nota
01 (1)
Nota
Escala 1 a 5
5= Competiu muito com outras atividades do projeto
1 = No competiu em nada com outras atividades do projeto

P15. Pense no envolvimento da organizao no processo de avaliao dos projetos. O quanto este envolvimento na
avaliao competiu com outras atividades do prprio projeto? Escolha uma nota de 1 a 5 de acordo com a escala descrita
61
Avaliao da experincia
(%)
+ executoras
78
05 (5)
04 (4)
14
03 (3)
02 (2)
Nota
01 (1)
Nota
Escala 1 a 5
1 = Totalmente negativa
5 = Totalmente positiva

P17. Pensando agora na experincia da avaliao de um modo geral, para a organizao, o quanto
foi positiva ou negativa em cada projeto? Escolha uma nota de 1 a 5 de acordo com a escala
descrita.
62
Mdia
Mdia
4,69
4,69
9. Desafios e tendncias para a avaliao

no Brasil
63
Desafios da avaliao no Brasil
64
Construo de indicadores para programas e projetos;
Desenvolvimentos de modelos e prticas de avaliao participativa;
Fortalecer o sentido e a utilidade da avaliao para organizaes que as realizam;
Formar ONGs em avaliao para fortalecer suas prticas de avaliao interna;
Formar profissionais para atuar como avaliadores;
Financiar avaliaes.
Tendncias da avaliao
Interesse por modelos participativos;
Desenvolvimento de novas abordagens para a avaliao;
Crescimento na demanda por avaliaes no Brasil;
Possibilidade de fortalecimento financeiro e tcnico da rea;
Motivao para atuar com avaliaes orientadas para a aprendizagem;
Estmulo atuao de avaliadores facilitadores;
Espao crescente para a atuao de avaliadores externos;
Aprofundamento do debate tcnico ao redor da avaliao;
Espao para a produo de pesquisas em avaliao, o que depender centralmente

da atitude das universidades.
65
A Avaliao de Projetos e Programas Sociais de ONGs no Brasil
Instituto Fonte
para o Desenvolvimento Social
Fundao Ita Social

Ana Beatriz Patrcio
Rogrio Renato Silva
Diretor Executivo
Superintendente
Isabel Cristina Santana
Daniel Brando
Martina Rillo Otero
Gerente
Coordenadores do Projeto
Fernanda Fragoso Zanelli
Assistente de coordenao
Ibope Inteligncia
Instituto Paulo Montenegro
Silvia Cervellini
Diretora de Atendimento e Planejamento
Ana Lucia DImprio Lima
Katya Mora
Atendimento e Planejamento
66
Diretora Executiva
Projeto Avaliao
avaliacao@fonte.org.br
67
10. Anexos
Analise fatorial
Analise de cluster
Amostra da pesquisa e perfil das associadas ABONG
68
Anlise fatorial
O que anlise fatorial?
Muitas vezes temos um nmero muito grande de atributos/frases nas perguntas, o que
dificulta a anlise e at a identificao do que realmente importante.
Freqentemente, estes atributos/frases ainda se sobrepem e apresentam significados
muito similares para o entrevistado.
A proposta da anlise fatorial reduzir o nmero de atributos/frases ao agrupar todos
aqueles que possuem significado parecido.
Como fazemos anlise fatorial?

Inicialmente fazemos a correlao* de todos atributos entre si, para identificar quais
esto mais relacionados diretamente.
Depois checamos vrias possibilidades de agrupamento: agrupar atributos em 2, 3, 4,
5, 6, 7... grupos.
Para cada possibilidade de nmero de grupos formada uma composio / um
agrupamento diferente de atributos.
Avaliamos analiticamente qual das possibilidades geradas faz mais sentido, melhor
representa o que conhecemos do objeto de estudo e o que os outros dados indicam.
69
*anlise que compara o padro de resposta de duas informaes para checar se esta
relao existe ou no
Anlise de Cluster
Em um segundo momento, a partir dos fatores encontrados classificamos as organizaes

da amostra, com uma Anlise de Clusters.
Essa classificao posiciona a organizao entre os fatores, verificando de qual deles ela
mais se aproxima, comparativamente mdia da amostra.
O fato de uma organizao ser classificada em um Cluster no significa que sua percepo
seja totalmente pautada por ele, mas sim que sua percepo est mais nessa direo do
que a mdia da amostra.
70
Amostra pesquisa x perfil ABONG

Tempo de atuao - Associadas ABONG
15,9
At 1980
1981 - 1990
45,1
35,6
1991 - 2000
depois de
2000
1,5
* Retirado de ONGs no Brasil - Perfil das associadas Abong - 2005 (www.abong.org.br)
71
Amostra pesquisa x perfil ABONG

Regio de localizao da Sede - ABONG
Centro-Oeste
6,9%
Norte
6,4%
Sul
8,4%
Nordeste
39,6%
Sudeste
38,6%
* Retirado de ONGs no Brasil - Perfil das associadas Abong - 2005 (www.abong.org.br)
72

A Avaliação de Programas e Projetos Sociais de ONGs No Brasil

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

A Avaliação de Programas e Projetos Sociais de ONGs No Brasil

Enviado por

Direitos autorais:

Formatos disponíveis

A Avaliao de Programas e Projetos

Sociais de ONGs no Brasil

Esta pesquisa foi desenvolvida no mbito do Projeto Avaliao, uma

O Instituto Paulo Montenegro e o IBOPE Inteligncia apoiaram a

Objetivos da pesquisa ................................................ Slide 04

Consideraes metodolgicas ...................................... Slide 06

Perfil das ONGs ......................................................... Slide 13

Desafios institucionais das ONGs .................................. Slide 21

Concepo das ONGs sobre a Avaliao......................... Slide 25

Posturas com relao avaliao ................................. Slide 31

Papel do avaliador ..................................................... Slide 36

rtica de avaliao ..................................................... Slide 44

Desafios e tendncias para a avaliao no Brasil ............. Slide 63

10. Anexos ..................................................................... Slide 68

Mapear quanto e como as ONGs* brasileiras realizam avaliao de

Conhecer motivaes, desafios e tendncias da avaliao de projetos e

Pesquisa Quantitativa por amostragem

Coleta de dados via web, atravs de aplicao de questionrio

Organizaes privadas sem fins lucrativos com atuao no Brasil

Julho a Setembro de 2009

A amostra foi selecionada considerando-se as variveis abaixo:

363 entrevistas realizadas, com a seguinte distribuio:

Considerando-se a inexistncia de um cadastro unificado de ONGs no

Fonte: Fasfil 2005

Os resultados foram ponderados, considerando-se porte e regio da

Bases dos resultados

No questionrio os participantes da pesquisa eram convidados responder

O questionrio apresentava um segundo bloco de perguntas para todas as

3. Perfil das ONGS

Associao sem fins lucrativos

Fundao ou Instituto Empresarial

Base: Amostra (363)

Natureza Jurdica: Qual a natureza jurdica da sua organizao?

Base: Amostra (363)

Em qual UF ela est sediada?

Porte em nmero de colaboradores

Base: Amostra (363)

Porte em nmero de colaboradores

Base: Amostra (363)

Tipo de atuao em projetos

As organizaes que consideraram j ter avaliado algum de seus projetos

Assim, a base de anlise nesse bloco passa a ser o total de projetos

Foram 574 projetos em 363 organizaes.

Caractersticas dos projetos

Servios legais / defesa de

Base: Fez avaliao (574 BASE PROJETOS AVALIADOS)

P6bTOT. Qual foi a rea de atuao do projeto avaliado? / P6d._1 Qual a

4. Desafios Institucionais das ONGs

Relaes com governo

Anlise de contexto scio-econmico e poltico

Planejamento de atividades/ projetos

Anlise de contexto ambiental

Base: Amostra (363)

22. Quais os principais desafios que a organizao enfrenta atualmente? (aceita

Situao e desafios institucionais

Base: Amostra (363)

Situao e desafios institucionais

As organizaes mais antigas declaram ter desafios mais fortes relacionados

5. Concepes das ONGs sobre Avaliao

Menor OSCIP (70%)

Pretendem realizar avaliaes no futuro?

Base: Amostra (363)

O que pensam sobre avaliao?

Avaliao como processo que: