A Avaliao de Programas e Projetos

Sociais de ONGs no Brasil

Relatrio de Pesquisa
2
Esta pesquisa foi desenvolvida no mbito do Projeto Avaliao, uma
parceria entre Instituto Fonte e Fundao Ita Social orientada para
o fortalecimento da avaliao de programas e projetos sociais no
Brasil.
O Instituto Paulo Montenegro e o IBOPE Inteligncia apoiaram a
realizao deste estudo.
3
ndice
1. Objetivos da pesquisa ................................................ Slide 04
2. Consideraes metodolgicas ...................................... Slide 06
3. Perfil das ONGs ......................................................... Slide 13
4. Desafios institucionais das ONGs .................................. Slide 21
5. Concepo das ONGs sobre a Avaliao......................... Slide 25
6. Posturas com relao avaliao ................................. Slide 31
7. Papel do avaliador ..................................................... Slide 36
8. rtica de avaliao ..................................................... Slide 44
9. Desafios e tendncias para a avaliao no Brasil ............. Slide 63
10. Anexos ..................................................................... Slide 68
4
1. Objetivos da pesquisa
5
Objetivos
Mapear quanto e como as ONGs* brasileiras realizam avaliao de
seus projetos e programas sociais
Conhecer motivaes, desafios e tendncias da avaliao de projetos e
programas sociais no Brasil.
* Nesta pesquisa o ONG se refere s organizaes da sociedade civil, sem fins lucrativos, que atuam com
projetos sociais.
6
2. Consideraes Metodolgicas
7
Metodologia
Pesquisa Quantitativa por amostragem
Coleta de dados via web, atravs de aplicao de questionrio
estruturado de auto-preenchimento on-line;
Organizaes privadas sem fins lucrativos com atuao no Brasil
Julho a Setembro de 2009
Abrangncia nacional
Metodologia
Pblico alvo
rea
Realizao
do campo
8
Amostra
A amostra foi selecionada considerando-se as variveis abaixo:
Regio
Nmero de colaboradores regulares
Natureza jurdica (Fundao/Instituto, Organizao Social, Oscip
ou Outras formas.
363 entrevistas realizadas, com a seguinte distribuio:
363 53 223 9 66 12
TOTAL
GERAL
30 5 20 - 4 1
MAIOR
100
29 4 17 - 8 - 50 A 99
181 26 116 4 27 8 10 A 49
123 18 70 5 27 3 1 A 9
TOTAL
GERAL
SUL SUDESTE NORTE NORDESTE
CENTRO
OESTE
PORTE
Seleo da
Amostra
Total de
entrevistas
9
Amostra
Considerando-se a inexistncia de um cadastro unificado de ONGs no
pas, o planejamento do estudo partiu de um levantamento prvio sobre o perfil
desejado da amostra, com base na FASFIL* 2005 e na RAIS.
Em um segundo momento, houve um grande esforo para obteno e
sistematizao de diversos cadastros de organizaes da sociedade civil,
concomitante a uma etapa de cadastramento de organizaes para a pesquisa
(mailing de pessoas jurdicas sem fins lucrativos).
Esses cuidados e esforos esto refletidos no perfil da amostra obtida, que cobriu
adequadamente todos os segmentos previamente considerados como fundamentais
(porte, regio e natureza jurdica), com um nmero de respostas por segmento que
permitiu uma ponderao pequena, apenas de ajuste, para os resultados.
Representividade
da Amostra
*Pesquisa sobre Fundaes e Associaes Privadas Sem Fins Lucrativos no Brasil, desenvolvida a partir da
parceria entre IBGE, IPEA, ABONG e GIFE.
10
Amostra
Regio Universo % Entrev. Realizadas %
Norte 2.519 4% 9 2%
Nordeste 9.708 14% 66 18%
Sudeste 36.805 53% 223 61%
Sul 14.602 21% 53 15%
Centro-Oeste 5.641 8% 12 3%
Total 69.275 100% 363 100%
Fonte: Fasfil 2005
Natureza Jurdica Universo % Entrev. Realizadas %
Fundaes Privadas 5.506 6% 17 5%
Org. Social + Oscip 7.822 9% 68 19%
Outras Formas de Associaes 75.089 85% 278 77%
Total 88.417 100% 363 100%
Fonte: RAIS 2005
Representividade
da Amostra
Porte Universo % Entrev. Realizadas %
1 a 9 48.978 71% 123 34%
10 a 49 14.628 21% 181 50%
50e+ 5.669 8% 59 16%
Total 69.275 100% 363 100%
Fonte: Fasfil 2005
11
Ponderao
Os resultados foram ponderados, considerando-se porte e regio da
instituio respondente, tendo como base os dados da Fasfil 2005.
2,0000000 Centro-Oeste 50e+
0,6250000 Centro-Oeste 10 a 49
7,3333333 Centro-Oeste 1 a 9
0,6666667 Sul 50e+
0,6153846 Sul 10 a 49
3,0555556 Sul 1 a 9
0,4594595 Sudeste 50e+
0,3620690 Sudeste 10 a 49
1,9142857 Sudeste 1 a 9
0,3333333 Nordeste 50e+
0,4074074 Nordeste 10 a 49
1,3333333 Nordeste 1 a 9
1,0000000 Norte 10e+
1,8000000 Norte 1 a 9
Fator Regio Porte
Ponderao
12
Bases dos resultados
No questionrio os participantes da pesquisa eram convidados responder
um primeiro bloco de perguntas gerais sobre avaliao, o que consolida
uma base chamada amostra, formada por 363 organizaes.
O questionrio apresentava um segundo bloco de perguntas para todas as
organizaes que afirmaram ter realizado pelo menos uma avaliao nos
ltimos cinco anos. Neste bloco as informaes deveriam fazer referncias
especficas a at dois projetos que foram avaliados no perodo. Esta base
consolidada denominada projetos realizados e formada por 574
projetos.
13
3. Perfil das ONGS
14
Perfil da Amostra
Natureza Jurdica: Qual a natureza jurdica da sua organizao?
(%)
4
1
21
74
Associao sem fins lucrativos
OSCIP
Fundao ou Instituto Empresarial
Outros
Base: Amostra (363)
Natureza Jurdica
15
Sul
21%
Nordeste
14%
Norte
4%
Centro Oeste
8%
Sudeste
53%
(%)
Base: Amostra (363)
Regio
Em qual UF ela est sediada?
Perfil da Amostra
16
(%)
At 9
63%
de 10 at 19
17%
de 20 at 49
11%
de 50 at 99
4%
100 ou mais
5%
Base: Amostra (363)
Porte em nmero de colaboradores
Porte em nmero de colaboradores
Perfil da Amostra
17
Tempo de atuao
(amostra do estudo)
Tempo de atuao: Desde que ano sua organizao desenvolve seus projetos e
aes sociais?
(%)
9
15
40
36
Antes de 1980
1981-1990
1991-2000
2001-2008
Base: Amostra (363)
13,1
19
41,5
26,3
*At 2005
Tempo de atuao
(FASFIL 2005)
Perfil da Amostra
18
Financiadora
e executora
40%
Somente
financiadora
2%
Somente
executora
58%
(%)
Tipo de atuao em projetos
Base: Amostra (363)
21. De que forma a sua organizao atua com projetos sociais? (RESPOSTA NICA)
Perfil da Amostra
19
As organizaes que consideraram j ter avaliado algum de seus projetos
(91% da amostra) foram solicitadas a escolher at 2 projetos avaliados e
responder esse bloco sobre os mesmos.
Assim, a base de anlise nesse bloco passa a ser o total de projetos
avaliados escolhidos pelas organizaes da amostra.
Foram 574 projetos em 363 organizaes.
Projetos Avaliados
20
Caractersticas dos projetos
avaliados
P6bTOT. Qual foi a rea de atuao do projeto avaliado? / P6d._1 Qual a
abrangncia territorial do projeto?
Base: Fez avaliao (574 BASE PROJETOS AVALIADOS)
(%)
29
25
16
10
5
5
4
6
Educao
Assistncia Social
Cultura e Arte
Meio Ambiente
Sade
Esporte e recreao
Servios legais / defesa de
direitos civis
Desenvolvimento e moradia
52
22
16
9
2
Local
Regional
Estadual
Nacional
Internacional
rea de atuao Abrangncia territorial
21
4. Desafios Institucionais das ONGs
22
Desafios Institucionais
5,8%
9,5%
13,8%
14,4%
16,7%
18,2%
19,1%
20,4%
23,7%
27,6%
28,1%
30,3%
33,3%
33,6%
35,2%
37,7%
85,4%
Outros
Anlise de contexto ambiental
Relaes internas
Anlise da legislao da rea de atuao
Planejamento de atividades/ projetos
Transio de lideranas
Anlise de contexto scio-econmico e poltico
Atuao do conselho
Participao em redes
Formao da equipe
Avaliao de projetos
Planejamento estratgico
Mobilizao comunitria
Relaes com governo
Comunicao
Estrutura fsica
Captao de recursos
(%)
22. Quais os principais desafios que a organizao enfrenta atualmente? (aceita
mais de uma resposta).
Base: Amostra (363)
23
Situao e desafios institucionais
Planejamento
e avaliao
20%
Recursos e
infra-estrutura
30%
Anlise de
cenrio
16%
Mobilizao
poltica
20%
Captao de
recursos
Infra-estrutura
fsica
Formao
equipe
Planejamento
estratgico
Planejamento de
atividades do
projeto
Avaliao
Comunicao
Anlise do
contexto ambiental
Anlise da
legislao
Participao em
redes
Relaes
comunitrias
Formao da equipe
Participao em
redes
Relaes com o
governo
Gesto
interna
13%
Atuao do
conselho
Transio de
lideranas
Relaes
internas
22. Quais os principais desafios que a organizao enfrenta atualmente? (aceita mais de
uma resposta).
Base: Amostra (363)
Anlise Fatorial & Cluster *
* Ver Anexos
24
Situao e desafios institucionais
As organizaes mais antigas declaram ter desafios mais fortes relacionados
gesto interna (conselho, transio de liderana e relaes internas)
As organizaes fundadas na dcada de 90 descrevem como seus principais desafios
a mobilizao comunitria e relaes com o governo, assim como planejamento e
avaliao.
As organizaes fundadas mais recentemente declaram ter desafios mais fortes
relacionados aos recursos e infra-estrutura, e com menor intensidade enfrentam a
gesto interna, anlise de contexto e a participao em redes. Estas so tambm so
as de menor porte em nmero de colaboradores.
No h diferenas significativas nos desafios institucionais enfrentados por
Financiadoras e Executoras e apenas Executoras.
25
5. Concepes das ONGs sobre Avaliao
de Programas e Projetos
26
Importncia da Avaliao
(%)
P2. Para sua organizao, voc diria que a avaliao de projetos e aes algo:
Base: Amostra (363)


Nota Nota
80 5 8 3 1
1
1
1
10 9 8 7 6 5 4 3 2 1
Escala 1 a10
1 = Pouco importante
10 = Muito Importante
Mdia
9,49
Mdia
9,49
P20. Pensando em todas as suas experincias com avaliaes de projetos, voc tem a
inteno de realizar avaliaes em projetos futuros?
Importncia...
Pretendem realizar avaliaes no futuro?
4
96
Sim
No
Maior entre ongs do NE e N/CO (97%)
Menor OSCIP (70%)
Menor Somente Financiadora (70%)
27
P1. Para comear, gostaramos de conhecer a viso da sua organizao sobre a
avaliao de seus projetos e aes. O que vocs pensam sobre esse tema da
Avaliao? Quando se fala em Avaliao que opinies e idias surgem na sua
organizao?
Base: Amostra (363)
Avaliao como processo que:
apia a gesto, a tomada de deciso
ajuda a corrigir rumos, identificar erros e acertos
verifica realizao de objetivos
identifica resultados no pblico do projeto
gera credibilidade ao projeto
um processo difcil
> freqncia
< freqncia
O que pensam sobre avaliao?
28
79
77
75
74
55
37
36
30
6
9
8
12
7
7
7
8
9
9
9
8
14
25
15
15
2
2
3
3
5
7
4
10
2
1
2
3
1
3
3
3
1
1
2
9
14
12
16
1
1
1
3
1
1
3
4
3
3
1
4
2
13
8
1
3
2
3
10 9 8 7 6 5 4 3 2 1 No sabe
Mdia
Os resultados da avaliao so utilizados
para atrair financiadores e recursos
feita p/ que as organiz. e projetos se
promovam positivamente frente a
financiadores, comunidade e outros
interessados no projeto
Financiadores se interessam muito por
avaliao
Faz parte integralmente de nossas prticas
de gesto
Ajuda a fazer escolhas estratgicas sobre o
futuro da organizao
Os resultados da avaliao devem ser
utilizados para tomar decises sobre a
organizao ou o programa
Ajuda a melhorar a qualidade dos servios
prestados pelo projeto
uma parte essencial dos processos de
planejamento estratgico
7,14
6,95
7,98
8,39
9,48
9,49
9,50
9,45
P3) Gostaramos de saber o que voc pensa sobre avaliao. Apresentamos a seguir uma srie de
frases para que voc aponte o quanto concorda ou discorda com cada uma delas
Escala 1 a10
1 = Discorda Totalmente
10 = Concorda Totalmente
Base: Amostra (363)

Nota

Nota
Atributos positivos sobre avaliao
(%)
29
10
8
4
3
1
1
3
2
1
1
1
11
7
6
1
5
4
8
5
2
1
2
3
4
2
2
2
1
19
8
6
11
6
4
5
2
2
2
3
4
3
9
6
8
5
9
10
12
7
10
24
44
59
52
62
59
3
6
6
4
5
5
6
6
10 9 8 7 6 5 4 3 2 1 No sabe
2,25
2,35
2,48
2,60
3,56
4,86
Mdia
O tempo e o dinheiro dedicados para a avaliao
desviam o projeto de seu objetivo central
A quantia de tempo e dinheiro gasta em
avaliao no compensa
Avaliar programas serve apenas para responder
a um requisito que os financiadores colocam
So uma formalidade, e no conseguem refletir
os resultados do trabalho realizado por uma
organizao
No existe conhecimento ou competncia para
se realizar avaliaes de projetos com qualidade
Programas so avaliados porque financiadores
requisitam

Nota

Nota
Atributos negativos sobre avaliao
P3) Gostaramos de saber o que voc pensa sobre avaliao. Apresentamos a seguir uma srie de
frases para que voc aponte o quanto concorda ou discorda com cada uma delas
Escala 1 a10
1 = Discorda Totalmente
10 = Concorda Totalmente
Base: Amostra (363)
(%)
30
Aprendizado
A importncia da avaliao est consolidada.
A necessidade de advogar pela relevncia da avaliao de
projetos sociais entre as ONGs que atuam no Brasil
pequena ou inexistente.
31
6. Posturas em relao Avaliao
32
Posturas em relao avaliao
* Modelo apresentado por: Carman, Joanne G. & Fredericks, Kimberly A. (2008). Nonprofits
and evaluation: Empirical evidence from the field. New Directions For Evaluation. P 51-
71.
Avaliao como
ferramenta
estratgica
Avaliao como
ferramenta de
promoo dos
projetos
Avaliao como
desperdcio de
recursos
ajuda afazer escolhas
estratgicas.
ajuda no planejamento
estratgico
ajuda a melhorar os
servios prestados
orienta decises
programticas
integra as prticas de
gesto
no vale a pena o
investimento
simblico
no temos
conhecimento suficiente
desvia o projeto de sua
principal razo de ser
apenas uma exigncia
dos financiadores
fazemos porque
financiadores solicitam
fazemos para melhorar
nossa imagem e conseguir
financiadores
ajuda a nos promover
frente a financiadores e a
comunidade
Modelo terico
33
Base: Amostra (363)
23
18
33
26
0
5
10
15
20
25
30
35
40
Avaliao como desperdcio
de tempo/recurso
Avaliao como obrigao
formal e burocrtica
Avaliao como ferramenta
de promoo dos projetos
Avaliao como ferramenta
estratgica
No existe conhecimento
ou competncias para
realizar avaliaes de
qualidade.
A quantia de tempo e
dinheiro investidos no
compensam.
Os recursos investidos
desviam o projeto de seu
foco principal.
uma obrigao
imposta pelos
financiadores
uma formalidade
No consegue
refletir os resultados
do trabalho realizado
por uma organizao
feita para que as
organizaes e
projetos se
promovam
positivamente
Resultados
utilizados para atrair
financiadores e
recursos.
Ajuda a melhorar a
qualidade dos servios
Os resultados devem ser
utilizados para tomar
decises
Ajuda a fazer escolhas
estratgicas
parte essencial dos
processos de planejamento
estratgico

-
(%)
Posturas em relao avaliao
Anlise Fatorial & Cluster
34
Base: Amostra (363)
23
18
33
26
0
5
10
15
20
25
30
35
40
Avaliao como desperdcio
de tempo/recurso
Avaliao como obrigao
formal e burocrtica
Avaliao como ferramenta
de promoo dos projetos
Avaliao como ferramenta
estratgica

-
(%)
Posturas em relao avaliao
Anlise Fatorial & Cluster
+ OSCIP + Fundao/
Instituto
Empresarial
E
+ OSCIP
+
Norte/Centro-
Oeste
+ Associao sem fins
lucrativos
E
+ com mais de 100
colaboradores
35
Aprendizado
Apesar de no ser necessrio mais advogar pela importncia da avaliao,
parece ser importante observar para quais finalidades ela tem sido utilizada.
A avaliao como ferramenta de promoo dos projetos legtima e
importante, mas esse uso no corresponde a todo o benefcio que pode
oferecer para o desenvolvimento dos projetos.
36
7. Papel do avaliador
37
E qual o papel do avaliador?
P04) A seguir temos uma srie de frases sobre o papel do(a) avaliador(a) e gostaramos que voc
apontasse o quanto concorda ou discorda com cada uma delas
70
64
62
55
53
53
52
45
35
24
7
7
7
10
5
10
7
8
8
6
12
11
13
15
14
12
14
17
19
14
3
2
6
8
5
7
7
6
9
5
2
3
3
5
3
4
4
5
6
4
11
6
6
13
11
11
12
17
15
2
1
1
1
1
2
1
3
3
1
1
2
2
1
3
4
1
1
1
1
2
3
1
1
1
2
3
1
1
3
2
19
2
1
10 9 8 7 6 5 4 3 2 1
Mdia
Escala 1 a10
1 = Discorda Totalmente
10 = Concorda Totalmente
Emitir julgamento sobre o projeto
Conhecer profundamente mtodos cientficos de pesquisa
Dar respostas sobre os resultados atribudos ao projeto
Ter profundo conhecimento sobre o tema do projeto
Descrever como determinados elementos do projeto
causam/ geram seus resultados
Envolver o mximo de pessoas na discusso sobre a
avaliao
Fazer recomendaes para o projeto
Construir instrumentos para levantar informaes sobre o
projeto
Garantir que os resultados da avaliao sejam
comunicados para todos os envolvidos no projeto
Gerar espaos de reflexo e aprendizagem sobre o projeto
(%)
6,06
7,68
8,00
8,38
8,46
8,28
8,66
8,88
8,82
9,17
Base: Amostra (363)

Nota

Nota
38
As Quatro Geraes de Avaliao. Guba e Lincoln, 1985 *
4 gerao
Construtivista e
responsiva
3 gerao
Julgamento
2 Gerao
descrio
(ou dos objetivos)
1 gerao -
Medio
Posturas do avaliador
Facilitar o
dilogo e
negociaes entre
interessados.
Atribuir um
valor, julgar
programas.
Descrever
relaes entre
pontos fortes e
fracos de
programas - em
relao a
determinados
objetivos.
Desenvolver e
aplicar
instrumentos de
mensurao
* Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills,
CA: Sage.
Modelo terico de referncia
39
Habilidades do avaliador
Tcnico-cientista
Sabe metodologia
Sabe construir
instrumentos
Juiz Especialista
Conhece profundamente a rea
do projeto
Emite pareceres e
recomendaes
Educador
Gera espaos de reflexo e
aprendizagem
Garante a comunicao dos
resultados
* Adaptao realizada a partir da proposta de Lincoln, Y. S., &
Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.
40
Base: Amostra (363)
Foco no processo
43%
Foco no resultado
57%
Tem profundo conhecimento sobre o
tema do projeto
Emite julgamentos sobre o projeto.
Garante a comunicao dos resultados.
Conhece mtodo cientfico.
D respostas
Envolve as pessoas na discusso da avaliao
Constri instrumentos para levantar informaes
Descreve como determinados elementos do
projeto causam geram seus resultados.
Gera espaos de reflexo e aprendizagem
Papel do Avaliador
Anlise Fatorial & Cluster
4. A seguir temos uma srie de frases sobre o papel do (a) avaliador (a) e gostaramos que voc apontasse o
quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 at 10, onde 1 significa
que voc Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Voc pode
tambm utilizar qualquer nmero entre 1 e 10 para expressar a sua opinio.
41
Base: Amostra (363)
Foco no processo
43%
Foco no resultado
57%
Papel do Avaliador
Anlise Fatorial & Cluster
4. A seguir temos uma srie de frases sobre o papel do (a) avaliador (a) e gostaramos que voc apontasse o
quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 at 10, onde 1 significa
que voc Discorda totalmente da frase e 10 significa que Concorda totalmente com a frase. Voc pode
tambm utilizar qualquer nmero entre 1 e 10 para expressar a sua opinio.
+ com mais de 100
colaboradores
+ com at 9
colaboradores
42
Aprendizado
Os dados mostram que as ONGs enxergam o papel do avaliador (ou da
equipe de avaliao) como multifuncional, no restrito a uma tarefa nica.
Tampouco espera-se que o avaliador tenha apenas uma habilidade
especfica.
E em ambas as imagens de avaliador est presente o componente tcnico-
metodolgico.
Tcnico-
cientista
Juiz
Especialista
Educador
43
Teoricamente o potencial benefcio da avaliao depende principalmente: (i) do
foco de atuao do avaliador (seja avaliador interno ou externo) e (ii) do
envolvimento da equipe do projeto no processo de avaliao em si
Ao assumir um processo de avaliao, o avaliador focado no resultado prioriza a
entrega de um produto no final. A incorporao dos resultados seria de
responsabilidade da equipe do projeto. Se a equipe no se apropriar desses
resultados, o produto poder servir apenas para promoo dos projetos.
Avaliao no apenas pesquisa, os resultados devem ser apreendidos pelas
pessoas, para serem incorporados nos projetos.
Nesse sentido, o avaliador focado no processo potencializa o uso da avaliao,
ao compartilhar saberes e atuar colaborativamente na gesto da avaliao. Com
isso, o avaliador responsabiliza e d autonomia equipe envolvida no projeto.
Dessa forma, a equipe incorpora, durante o processo de avaliao, os prprios
resultados e tem mais facilidade de implementar as potenciais mudanas.
Finalmente, quando o foco no processo e a equipe se envolve, a avaliao gera
todos os seus potenciais benefcios.
A pesquisa confirma esse entendimento terico, pois organizaes que buscam
um avaliador com foco no processo tendem a enxergar na avaliao o seu
potencial estratgico, enquanto as organizaes que buscam um avaliador com
foco nos resultados tendem a se aproximar mais da percepo de avaliao como
promoo dos projetos ou como uma atividade burocrtica-formal.
Reflexes
44
8. Prtica de avaliao:
Principais caractersticas metodolgicas de avaliaes realizadas por ONGs
Quem decide sobre a avaliao e como se do as relaes de poder
Principais desafios e dificuldades que as ONGs encontram na avaliao
45
Realizao de avaliaes
P6. - Em relao aos ltimos 5 anos, voc considera que a sua organizao fez avaliao de seus
programas ou projetos? P6a. Por quais motivos sua organizao no realizou nenhuma avaliao dos
projetos nos ltimos 5 anos?
9
91
Base: No realizou
nenhuma avaliao (33)
75
68
63
34
17
8
7
6
2
23
Confiam nas organizaes que realizam o
projeto
No desenvolvemos projetos prprios
Resistncia da equipe
No acredita na utilidade de uma avaliao
No encontramos um avaliador para o
trabalho
Somos uma equipe/ no h necessidade
Falta de tempo para dedicar avaliao
No tnhamos recursos financeiros
Falta de conhecimento sobre avaliao
No tnhamos equipe
Ind. Mult
3,12
Ind. Mult
3,12
(%)
Sim
No
+ entre ongs do NE e N/CO
+ Porte 100 ou mais colaboradores
+ Somente financiadora
Realiza avaliao?
Base: Amostra (363)
Razes para no realizar
46
42
58
Conhecimento sobre avaliaes
realizadas por outras ONGs
Base: Amostra (363)
P18. Sua organizao conhece avaliaes de projetos de outras organizaes?
Sim
No
+ Fundao/Instituto Empresarial
+ Porte 100 ou mais colaboradores
+ Somente financiadora
+ desafio institucional de
planejamento e avaliao
47
Formao em avaliao
45
55
Base: Amostra (363)
P19. Voc ou algum outro colaborador regular da organizao tem ou fez algum tipo de
formao para avaliao de projetos?
Sim
No
+ Porte 100 ou mais colaboradores
48
Aprendizado
Considerando que um grande nmero de organizaes j realiza avaliao de seus
projetos, o desafio para o desenvolvimento do campo est na forma como estas
avaliaes tem sido conduzidas e a utilidade que tem representado para os
interessados (stakeholders) no processo.
Com relao ao conhecimento de avaliaes realizadas por outras organizaes,
parece residir nesta questo um potencial de aprendizagem sobre avaliao que
pode ser fortalecido.
49
Atividades realizadas
P5) Com que frequncia sua organizao realiza as seguintes atividades:
Base: Amostra (363)
84
84
81
75
68
67
65
41
39
33
7
10
13
9
20
22
22
25
17
26
4
2
3
9
9
8
9
15
11
26
3
1
3
5
1
2
13
15
13
2
2
2
2
2
2
6
18
1
Sempre (5) Quase sempre (4)
s vezes (3) Raramente (2)
Nunca (1)
3,76
3,43
3,81
4,47
4,52
4,51
4,49
4,72
4,73
4,70
Mdia
Visitas dos financiadores e/ ou parceiros ao projeto
Auditoria financeira
Publicao dos resultados do projeto
Levantamento dos resultados do projeto
Debates com a equipe sobre o andamento do projeto
Verificao se os objetivos do projeto esto sendo
alcanados
Produo de relatrios sobre o projeto para
financiadores de parceiros
Acompanhamento das atividades realizadas no projeto
Acompanhamento do oramento do projeto
Prestao de contas para os financiadores
(%)
50
Tipos de atividades
Atividades de
acompanhamento
interno
Atividades de
prestao de contas
a financiadores
Atividades de
prestao de contas
ao pblico amplo
+
frequente
-
frequente
51
Desenho da avaliao
P11. De maneira geral, qual das alternativas abaixo caracterizou a coleta de dados das avaliaes destes
projetos?
(%)
70
70
64
13
11
13
Sobre o pblico beneficiado ao final do
ciclo do projeto
Sobre o pblico beneficiado durante a
realizao do projeto
Sobre o pblico beneficiado no incio do
projeto
Sobre um pblico no beneficiado ao final
do ciclo do projeto, para comparao
Sobre um pblico no beneficiado no incio
do projeto, para comparao
Sobre um pblico no beneficiado durante
a realizao do projeto para comparao
Base: Fez avaliao (574)
nd. Mult.
2,40
nd. Mult.
2,40
Coleta de dados
52
Aprendizado
A anlise fatorial sobre as prticas de coleta de dados para as avaliaes realizadas
aponta:
A grande maioria das organizaes opta por desenhos que realizam a coleta de
informaes sobre o grupo beneficiado ANTES, DURANTE e DEPOIS de sua
participao no projeto.
H um grupo especfico que faz o levantamento de informaes sobre grupos
controle (no beneficiados).
53
Durao das avaliaes
de uma avaliao para cada um dos projetos? // P8. Qual foi a durao aproximada (em meses) da avaliao?
Base: Fez avaliao (574)
Mdia
10 meses
Mdia
10 meses
Durao (avaliao)
% Meses
29 At 3
15 4 a 6
6 7 a 11
24 12
6 Mais de 12
20 No soube estimar
54
Origem da demanda
P7. Agora vamos pensar sobre como surgiu a necessidade das avaliaes em cada um destes projetos.Quem solicitou ou sugeriu a realizao
54
35
9
A prpria
organizao
Ambos
rgo
financiador
Base: Fez avaliao (574)
(%)
+ financiadoras e executoras
+ Executoras
Necessidade das avaliaes
55
Financiamento das avaliaes
P9. De onde veio, na sua maioria, o financiamento para a avaliao?
43
34
22
5
1
Utilizamos os recursos internos
da organizao
O recurso para avaliao estava
includo no oramento do projeto
No houve custos para as
atividades de avaliao
Recebemos doaes especficas
para a avaliao
Recursos Municipais e Federais
Base: Fez avaliao (574)
(%)
+ financiadoras e executoras
+ Executoras
56
Equipe de avaliao
P10. Quem realizou a avaliao dos projetos? Voce pode selecionar mais de um tipo de
avaliador, caso tenha ocorrido para algum dos projetos
P10a. De que tipo?
85
22
19
Avaliador da
equipe do
projeto
Avaliador
externo
Avaliador da
equipe da
organizao
financiadora
Base: Fez avaliao (574)
42
24
17
17
Avaliador
independente
Universidade/
Instituto de
pesquisa
ligado
ONG
Empresa
Base: Fez avaliao com avaliador externo (130)
(%)
Quem realizou a avaliao
57
Participao da organizao nas
decises sobre a avaliao
P12. Agora pensando no processo de avaliao desses projetos como um todo, em quais
momentos sua organizao participou ativamente?
(%)
77
75
71
68
53
63
Anlise dos resultados
da avaliao
Deciso
encaminhamentos/aes
aps resultados
Coleta de dados
Deciso sobre o foco de
avaliao
Deciso sobre a
metodologia a ser
utilizada
Deciso sobre a escolha
da equipe de avaliao
Base: Fez avaliao (574)
nd. Mult.
4,09
nd. Mult.
4,09
Especialmente
financiadoras e
executoras
Especialmente
financiadoras
e executoras
+ avaliao como
ferramenta
estratgica
+ avaliao
como auto-
promoao
58
80
74
69
69
59
57
54
48
39
37
10
2
69
Ajudou a fazer mudanas no projeto
Ajudou a estabelecer objetivos e metas para o
projeto
Para desenvolver novos projetos
Orientou decises sobre a equipe
Apoiou o planejamento estratgico do projeto
ou organizao
Para tomar decises financeiras
Para reportar aos financiadores
Para reportar ao conselho gestor da
organizao
Ajudou na comunicao e marketing do projeto
e/ ou organizao
Ajudou a conseguir novos financiadores
Ajudou a influenciar alguma deciso relacionada
a uma poltica pblica
Ajudou a deciso de descontinuar o projeto
No usamos os resultados das avaliaes
Utilidade da avaliao
P14. Qual ou quais dessas alternativas refletem o uso que foi feito dos resultados da avaliao em cada um dos projetos?
Base: Fez avaliao (574)
nd. Mult.
6,68
nd. Mult.
6,68
+ executoras
+ financiadoras e executoras
+ financiadoras e executoras
+executoras
+ avaliao como ferramenta
estratgica
+ avaliao como promoo
+ avaliao como promoo
59
Comunicao dos resultados
P13. Os resultados das avaliaes foram comunicados
para algum?
P13a. Quem?
(%)
Base: Fez avaliao (574)
7
93
Base: Os resultados foram comunicados (532)
74
73
70
69
52
48
33
30
56
Para a sociedade em geral/ publicaes/
imprensa
Para outras organizaes/ em eventos/
fruns
Para governos/ prefeituras/
administrao pblica
Para parceiros externos
Para o pblico-alvo/ comunidade-alvo
do projeto
Para todo o pessoal da organizao e do
projeto
Para pessoal interno diretamente
envolvido na avaliao
Para equipe diretamente envolvida no
projeto
PARA FINANCIADORES DO PROJETO/
DA ORGANIZAO
Sim
No
Comunicao dos resultados
Mdia
5,06
Mdia
5,06
Pblicos
60
Desafios enfrentados na avaliao
P16. Quais foram as principais dificuldades encontradas nessas
avaliaes?
(%)
Base: Fez avaliao (574)
48
40
36
33
27
24
23
13
2
31
Construir indicadores
Envolver os pblicos do projeto na avaliao
Desenvolver instrumentos
Coletar informaes
Analisar os resultados
Captar recursos para a avaliao
Encontrar profissional qualificado
Tomar decises orientado pela avaliao
Comunicar os resultados
Nenhuma
Tcnico
Gesto
+ avaliador com foco
em resultados
+ avaliao como ferramenta
estratgica
+ avaliao como promoo
+ avaliao como ferramenta
estratgica
+ avaliao como promoo
+ avaliao como ferramenta
estratgica
+ avaliao como promoo
61
Competio com outras atividades
(%)
P15. Pense no envolvimento da organizao no processo de avaliao dos projetos. O quanto este envolvimento na
avaliao competiu com outras atividades do prprio projeto? Escolha uma nota de 1 a 5 de acordo com a escala descrita

Nota Nota
Mdia
2,48
Mdia
2,48
Base: Fez avaliao (574)
Escala 1 a 5
5= Competiu muito com outras atividades do projeto
1 = No competiu em nada com outras atividades do projeto
12 12 21 21
34
05 (5) 04 (4) 03 (3) 02 (2) 01 (1)
Alta competio
Baixa competio
62
Avaliao da experincia
(%)
P17. Pensando agora na experincia da avaliao de um modo geral, para a organizao, o quanto
foi positiva ou negativa em cada projeto? Escolha uma nota de 1 a 5 de acordo com a escala
descrita.


Nota Nota
78 14 8
05 (5) 04 (4) 03 (3) 02 (2) 01 (1)
Mdia
4,69
Mdia
4,69
Base: Fez avaliao (574)
Escala 1 a 5
1 = Totalmente negativa
5 = Totalmente positiva
+ executoras + financiadoras e executoras
63
9. Desafios e tendncias para a avaliao
no Brasil
64
Desafios da avaliao no Brasil
Construo de indicadores para programas e projetos;
Desenvolvimentos de modelos e prticas de avaliao participativa;
Fortalecer o sentido e a utilidade da avaliao para organizaes que as realizam;
Formar ONGs em avaliao para fortalecer suas prticas de avaliao interna;
Formar profissionais para atuar como avaliadores;
Financiar avaliaes.
65
Tendncias da avaliao
Interesse por modelos participativos;
Desenvolvimento de novas abordagens para a avaliao;
Crescimento na demanda por avaliaes no Brasil;
Possibilidade de fortalecimento financeiro e tcnico da rea;
Motivao para atuar com avaliaes orientadas para a aprendizagem;
Estmulo atuao de avaliadores facilitadores;
Espao crescente para a atuao de avaliadores externos;
Aprofundamento do debate tcnico ao redor da avaliao;
Espao para a produo de pesquisas em avaliao, o que depender centralmente
da atitude das universidades.
66
Instituto Fonte
para o Desenvolvimento Social
Rogrio Renato Silva
Diretor Executivo
Daniel Brando
Martina Rillo Otero
Coordenadores do Projeto
Ibope Inteligncia
Silvia Cervellini
Diretora de Atendimento e Planejamento
Katya Mora
Atendimento e Planejamento
Fundao Ita Social
Ana Beatriz Patrcio
Superintendente
Isabel Cristina Santana
Gerente
Fernanda Fragoso Zanelli
Assistente de coordenao
Instituto Paulo Montenegro
Ana Lucia DImprio Lima
Diretora Executiva
A Avaliao de Projetos e Programas Sociais de ONGs no Brasil
67
Projeto Avaliao
avaliacao@fonte.org.br
68
10. Anexos
Analise fatorial
Analise de cluster
Amostra da pesquisa e perfil das associadas ABONG
69
Anlise fatorial
O que anlise fatorial?
Muitas vezes temos um nmero muito grande de atributos/frases nas perguntas, o que
dificulta a anlise e at a identificao do que realmente importante.
Freqentemente, estes atributos/frases ainda se sobrepem e apresentam significados
muito similares para o entrevistado.
A proposta da anlise fatorial reduzir o nmero de atributos/frases ao agrupar todos
aqueles que possuem significado parecido.
Como fazemos anlise fatorial?
Inicialmente fazemos a correlao* de todos atributos entre si, para identificar quais
esto mais relacionados diretamente.
Depois checamos vrias possibilidades de agrupamento: agrupar atributos em 2, 3, 4,
5, 6, 7... grupos.
Para cada possibilidade de nmero de grupos formada uma composio / um
agrupamento diferente de atributos.
Avaliamos analiticamente qual das possibilidades geradas faz mais sentido, melhor
representa o que conhecemos do objeto de estudo e o que os outros dados indicam.
*anlise que compara o padro de resposta de duas informaes para checar se esta
relao existe ou no
70
Em um segundo momento, a partir dos fatores encontrados classificamos as organizaes
da amostra, com uma Anlise de Clusters.
Essa classificao posiciona a organizao entre os fatores, verificando de qual deles ela
mais se aproxima, comparativamente mdia da amostra.
O fato de uma organizao ser classificada em um Cluster no significa que sua percepo
seja totalmente pautada por ele, mas sim que sua percepo est mais nessa direo do
que a mdia da amostra.
Anlise de Cluster
71
Tempo de atuao - Associadas ABONG
15,9
35,6
1,5
45,1
At 1980
1981 - 1990
1991 - 2000
depois de
2000
Amostra pesquisa x perfil ABONG
* Retirado de ONGs no Brasil - Perfil das associadas Abong - 2005 (www.abong.org.br)
72
Amostra pesquisa x perfil ABONG
* Retirado de ONGs no Brasil - Perfil das associadas Abong - 2005 (www.abong.org.br)
Regio de localizao da Sede - ABONG
Sudeste
38,6%
Norte
6,4%
Sul
8,4%
Nordeste
39,6%
Centro-Oeste
6,9%