DIRETRIZES PARA AVALIAO DE PROJETOS E

PROGRAMAS DE INVESTIMENTO SOCIAL PRIVADO

Estudo da aplicabilidade dos Standards de Avaliao de Programas definidos
pelo The Joint Committee of Standards for Educational Evaluation em programas
e projetos de investimento social privado.

Eduardo Marino

Dissertao apresentada ao Programa de

Ps-Graduao em Administrao de
Empresas da Faculdade de Economia,
Administrao
e
Contabilidade
da
Universidade de So Paulo para obteno do
ttulo de Mestre em Administrao.

Orientadora: Profa. Dra. Rosa Maria Fischer

So Paulo
2003

Dedico aos meus pais

pelo empenho e
exemplo na educao dos
seus oito filhos.

ii

AGRADECIMENTOS

Uma das necessidades mais fortes sentidas ao trmino da jornada de produo

desta dissertao a de agradecer a todos os que de alguma forma contriburam com
este trabalho. Inicio agradecendo Rosana, minha esposa, e a meus filhos Ian,
Thomas e ngelo pela aceitao de minha ausncia. Rosana agradeo as palavras
de incentivo, as sucessivas leituras, crticas e contribuies.
Professora Rosa Maria Fischer, minha orientadora, agradeo pela confiana
depositada na conduo de um estudo sobre um tema ainda pouco difundido no
Brasil nas Escolas de Administrao, pela orientao sobre os melhores caminhos a
percorrer e pela disponibilizao de apoio logstico do CEATS.
Quero fazer um agradecimento nominal aos entrevistados que
disponibilizaram tempo e compartilharam seus conhecimentos em vrios momentos
das pesquisa. Avaliadores: Dra. Ana Maria Saul, Dra. Maria do Carmo Brant, Dra.
Marialva Tavares, Dr. Oswaldo Tanaka, Dra. Thereza Penna Firme. Gerentes:
Andria Buoro, Beatriz Cardoso, Celso Santiago, Diomar Silveira e Ins Kisil
Miskalo. O agradecimento extensivo s organizaes que gentilmente cederam suas
experincias em avaliao: Fundao Abrinq, Fundao Telefnica, Fundao Vale
do Rio Doce, Instituto Ayrton Senna e Raytheon Corporation.
Muitas das condies para a viabilizao deste trabalho foram proporcionadas
por Vitae Apoio Cultura, Educao e Promoo Social. Agradeo Sra. Regina
Weinberg e ao Dr. Getlio Carvalho pelo apoio e flexibilidade no uso do tempo, que
tornaram possvel conciliar minhas atribuies profissionais com as demandas de
estudo e pesquisa.
Agradeo ao Marcelo Nagamatsu Tsutsui e Andria Santos pelos trabalhos de
transcrio das entrevistas. Contei nesta dissertao com anlise atenta e precisa nos
trabalhos de reviso de Lia Trzmielina, a quem sou muito grato.
Fao agora meno da minha gratido aos amigos com os quais vivenciei
experincias de trabalho e de estudo e que agregam as dimenses do entusiasmo e
ideais no campo da avaliao e do desenvolvimento de pessoas e organizaes:
Antonio Luis, Daniel Brando, Flora Lovato, Marina Magalhes, Margareth
Goldemberg, Thomaz Chianca e Rogrio Silva.
Algumas instituies e pessoas foram cruciais para o despertar do meu
interesse pelo tema da avaliao e pela possibilidade de vislumbrar um trabalho
acadmico neste campo. Quero agradecer Fundao W. K. Kellogg, e aos Drs.
Marcos Kisil e Francisco Tancredi que, em 1995, tornaram vivel minha participao
no Kellogg Latin America Evaluation Seminar promovido pela Western Michigan
University.

iii

SUMRIO

1 INTRODUO AO ESTUDO...............................................................................9
1.1 JUSTIFICATIVA......................................................................................9
1.2 OBJETIVOS............................................................................................17
1.3 PROBLEMA DE PESQUISA................................................................18
1.4 DEFINIES DOS PRINCIPAIS CONCEITOS
UTILIZADOS NA DISSERTAO.....................................................21
2 CONSTRUO DO REFERENCIAL TERICO............................................23
2.1 INVESTIMENTO SOCIAL CORPORATIVO...................................23
2.1.1 Da filantropia tradicional para aes empresariais:
a emergncia do investimento social corporativo...............23
2.1.2 A ao social das empresas no Brasil - a face
filantrpica.............................................................................28
2.1.3 O investimento social corporativo no Brasil
As parcerias e aes integradas............................................32
2.2 EVOLUO DA AVALIAO...........................................................35
2.2.1 A primeira gerao: Medio...............................................36
2.2.2 A segunda gerao: Descrio..............................................38
2.2.3 A terceira gerao: Julgamento...........................................40
2.2.4 Problemas observados nas trs primeiras geraes...........42
2.3 MODELOS DE AVALIAO CONTEMPORNEOS.....................44
2.3.1 Modelos versus Abordagens versus Tipos de avaliao.....44
2.3.2 Classificaes e agrupamentos das abordagens de
avaliao.................................................................................45
2.3.3 Abordagens de avaliao para o sculo XXI.......................50
2.3.4 Abordagens de avaliao da agenda social e
advocacy para o sculo XXI..................................................55
3 BASE TERICA UTILIZADA............................................................................63
3.1 OS STANDARDS ENQUANTO PARADIGMA...................................63
3.2 APRESENTAO DOS 30 STANDARDS DE
AVALIAO DE PROGRAMAS.........................................................67
3.2.1 Standards de Utilidade...........................................................67
3.2.2 Standards de Viabilidade.......................................................71
3.2.3 Standards de Propriedade......................................................72
iv

3.2.4 Standards de Preciso............................................................74

3.3 PESQUISAS SOBRE A APLICABILIDADE
INTERNACIONAL DOS STANDARDS.............................................77
4 MODELAGEM DA PESQUISA..........................................................................79
4.1 MTODO ADOTADO...........................................................................79
4.2 SELEO DOS CASOS........................................................................82
4.3 DETALHAMENTO DA PRIMEIRA ETAPA DA PESQUISA.........83
4.3.1 Anlise e interpretao dos dados da primeira etapa........86
4.4 DETALHAMENTO DA SEGUNDA ETAPA DA PESQUISA..........88
4.4.1 Anlise e interpretao dos dados da segunda etapa.........89
5 ANLISE E DISCUSSO....................................................................................90
5.1 ANLISE DESCRITIVA.......................................................................90
5.1.1 Caractersticas das instituies............................................90
5.1.2 Caractersticas dos programas e das
avaliaes realizadas.............................................................91
5.1.3 Perfil dos Entrevistados......................................................103
5.2 ANLISE DE RESULTADOS - PRIMEIRA ETAPA DA
PESQUISA - META-AVALIAO...................................................105
5.2.1 Desempenho geral dos casos em relao aos Standards...106
5.2.2 Anlise de performance dos casos segundo
proposta de Stufflebeam .....................................................113
5.2.3 Standards crticos.................................................................117
5.3 SEGUNDA ETAPA DA PESQUISA - POSICIONAMENTO EM
RELAO AOS STANDARDS...........................................................119
5.3.1 Uso e utilidade dos Standards..............................................120
5.3.2 Posicionamento dos entrevistados em relao
aos Standards........................................................................122
5.3.3 Anlise cruzada de casos e recomendaes quanto
aos Standards com menor grau de concordncia..............125
6 CONCLUSES E RECOMENDAES..........................................................146
6.1 LIMITAES DA PESQUISA...........................................................152
7 ANEXOS...............................................................................................................154
ANEXO A - INSTRUMENTO PARA META-AVALIAO..............154
ANEXO B MEMRIA DE CLCULO DA ANLISE DO
CONJUNTO DE CASOS PELA PROPOSTA
DE STUFFLEBEAM...........................................................165
ANEXO C - ROTEIRO DE ENTREVISTAS GERENTES...............167
ANEXO D - ROTEIRO DE ENTREVISTAS AVALIADORES.......176
ANEXO E - QUESTIONRIOS DE CONCORDNCIA....................187
8 REFERNCIAS BIBLIOGRFICAS...............................................................193

LISTA DE FIGURAS

Figura 1

Distribuio das seis abordagens avaliativas de acordo

com as dimenses Utilitria intuitivas/ pluralsticas...................49

Figura 2

Classificao das melhores abordagens da avaliao segundo anlise

baseada nos Standards de Avaliao de Programas.......................54

Figura 3

Mtodo de estudo de casos mltiplos adaptado..............................81

Figura 4

Desempenho individual dos casos segundo

anlise de Stufflebeam....................................................................116

vi

LISTA DE TABELAS

Tabela 1

Descrio resumida de 22 abordagens de avaliao

divididas nas 4 categorias.................................................................51

Tabela 2

Principais usos para a palavra Standards.......................................65

Tabela 3

Exemplo de um Standard e seus checkpoints especficos................84

Tabela 4

Resumo das caractersticas das organizaes participantes da

pesquisa..............................................................................................90

Tabela 5

Desempenho geral dos casos nos Standards..................................112

Tabela 6

Performance do conjunto de casos nos Standards........................114

Tabela 7

Standards Crticos............................................................................118

Tabela 8

Percentuais de concordncia com relao aos Standards............123

Tabela 9

Grau de concordncia/ discordncia dos Standards.....................124

Tabela 10

Resumo das anlises e recomendaes...........................................145

vii

RESUMO

Esta dissertao busca contribuir com a crescente demanda por parmetros

para o planejamento e a implementao de avaliao de projetos e programas sociais
operados por organizaes do terceiro setor com recursos advindos de doadores do
setor privado no Brasil. Em muitos pases, avaliadores tm-se organizado em
associaes profissionais, buscando fomentar pesquisas, discusses sobre best
practices e definio de cdigos de tica. Nos Estados Unidos, representantes da
American Evaluation Association e de outras associaes locais desenvolveram um
conjunto de 30 Standards baseados em prticas generalizadamente aceitas para
orientar o planejamento e para avaliar a qualidade de avaliaes realizadas.
Procurou-se verificar junto a um grupo de avaliadores e gerentes a aplicabilidade
desses Standards no Brasil. Foram conduzidos cinco estudos de caso, considerandose como casos processos de avaliao realizados por avaliadores externos. A maior
parte dos 30 Standards foram aceitos como aplicveis tal qual foram originalmente
propostos. Alguns deles receberam sugestes de modificao em seus textos para
melhor adequao ao contexto brasileiro. O estudo revelou que h no pas um
ambiente propcio sua utilizao. Revelou tambm que o atributo de maior
fragilidade dos casos estudados o da Utilidade. A pesquisa aponta desafios e
questes, como a participao de interessados e a necessidade de distino entre as
prticas de pesquisa e avaliao, para tornar mais efetivas as avaliaes realizadas
nas organizaes.

Palavras-chave: avaliao, projetos, programas, terceiro setor, Standards.

viii

ABSTRACT

This essay aims at contributing to the increasing demand for standards to guide the
planning and implementation of evaluation of social projects and programs carried
out by third sector organizations with resources provided by private sector donors in
Brazil. In many countries, evaluators are getting organized into professional
associations, aiming at fostering research, debates on best practices and definition of
professional responsibility codes. In the United States of America, representatives of
the American Evaluation Association and of other local societies developed a group
of 30 standards based on generally accepted practices to orient planning and
evaluation of the quality of the evaluations carried out. This study tried to verify with
a group of evaluators and managers the applicability of these standards in Brazil.
Five case studies were conducted, considering cases evaluation processes led by
external evaluators. Most of the 30 standards were accepted as originally proposed.
Some changes were suggested to some of them in order to better adapt them to the
Brazilian reality. The study showed a favorable environment for the utilization of the
standards in the Country and, according to its results, Utility is the most fragile
attribute of the studied cases. The research points out challenges and questions, such
as the participation of the involved people and the necessity of distinguishing
research and evaluation practices, in order to increase the effectiveness of the
evaluations developed by the organizations.

Key-words: Standards, evaluation, projects, programs, third sector.

ix

1 INTRODUO AO ESTUDO

1.1 JUSTIFICATIVA

A terminologia terceiro setor surgiu no incio da dcada de 70, a partir de

uma discusso entre pesquisadores da Administrao Pblica norte-americana sobre
as polarizaes entre o pblico e o privado. Etzione (1973) apud Ruckle (1993), em
artigo da Public Administration Review, fez meno a um movimento que vinha
ocorrendo de forma silenciosa e que no se situava na polarizao entre Estado e
mercado, que na poca ocupavam o foco central dos debates. Esse novo ator situavase entre os dois plos e, na verdade, representava um terceiro setor que talvez viesse
a ser a mais importante alternativa para as dcadas seguintes, no tomando o lugar de
qualquer um dos outros dois, mas aproximando e balanceando os papis de ambos.
No Brasil, a aceitao deste grupo de organizaes como um setor, bem
como o interesse acadmico por sua caracterizao e funcionamento, s ocorreram
em meados dos anos 90 (Falconer, 1999).
Em 1992, Salamon & Anheier definiram as organizaes que compem o
terceiro setor de acordo com seis caractersticas: 1. As organizaes so formalmente
constitudas; 2. Esto localizadas fora do aparato formal do Estado; 3. No

distribuem lucros entre seus scios; 4. So autogovernadas; 5. Possuem em seu

quadro um corpo de voluntrios; e, 6. Sua Atuao voltada para o benefcio pblico.
Esta pesquisa revelou dados surpreendentes. O nmero de organizaes do
terceiro setor nos Estados Unidos era prximo de um milho e essas organizaes
geravam cerca de 7,5 milhes empregos. Dados de 1997 do Foundation Center
apontavam a existncia de 1,2 milhes de Organizaes Sem Fins Lucrativos, sendo
que 40 mil destas eram Fundaes e o setor arregimentava o trabalho de 11% da
populao economicamente ativa.
Em outra pesquisa de Salamon & Anheier (1994), realizada para procurar
conhecer as dimenses das organizaes sem fins lucrativos em outros 12 pases,
entre eles o Brasil, constatou-se um papel significativo do setor na gerao de
empregos. Nos pases considerados desenvolvidos, o nmero de pessoas empregadas
pelas organizaes do terceiro setor, em 1990, era: na Inglaterra 950 mil, na Frana
800 mil, na Alemanha um milho e no Japo 1,4 milho. Verificou-se que pases
como Frana, Alemanha e Inglaterra, que possuem um sistema de bem-estar social
mais fortemente patrocinado pelo governo do que os Estados Unidos, tambm
possuem um setor filantrpico. O que significa dizer que o fato da filantropia ser bem
desenvolvida nos Estados Unidos, ou em outros pases, no est relacionado somente
a uma falta de investimento do governo no bem-estar social. Existe uma mobilizao
por parte da sociedade civil que independe da ao governamental nas questes
relacionadas a sade, educao, cultura e assistncia social.
Infelizmente, na pesquisa, no foi possvel levantar nmeros sobre empregos
no Brasil. Entretanto, em pesquisa posterior, Landim (1998) concluiu que havia cerca
de 220 mil organizaes sem fins lucrativos no Brasil, que empregavam cerca de 2%
da populao ativa do pas.

10

Interagem com o terceiro setor instituies privadas e pblicas, sendo que as

organizaes do setor que oferecem servios nas reas de educao, cultura,
assistncia social e sade so definidas por Fernandes (1994) como organizaes
privadas com finalidade pblica. Os recursos que viabilizam a operao dessas
organizaes so provenientes de diferentes fontes (indivduos, empresas, fundaes,
governo, agncias de cooperao internacional e outros), sendo que, embora haja
estudos que procurem determinar a dimenso e o escopo das aes dessas
organizaes, pouco se sabe sobre o impacto dessas aes. Um estudo realizado por
Riddell et al. (1997) apud Roche (2000), aps anlise de 240 relatrios de projetos
desenvolvidos em 29 pases, com complementao da pesquisa por meio de 13
estudos de caso, constatou que era difcil avaliar com preciso o verdadeiro impacto
do trabalho de organizaes no governamentais ONGs, e que havia pouco
consenso sobre quais ferramentas e mtodos eram os mais apropriados para realizar
essa verificao.
O texto abaixo, veiculado pela imprensa americana, refora os achados
acima:
Alm de relatos informais ou de estudos acadmicos minuciosos
ocorridos vrios anos aps o fato, muitas organizaes no
governamentais no tinham a menor idia dos efeitos que os
programas desenvolvidos por elas estavam tendo nas pessoas e nas
comunidades servidas por elas. 1
A situao citada, que dizia respeito ao cenrio vivido por ONGs americanas h
poucos anos atrs pode, com segurana, ser extrapolada para a realidade do terceiro setor
brasileiro nos dias atuais. So poucas as organizaes do terceiro setor, tanto as
financiadoras de projetos quanto as que desenvolvem atividades diretas na comunidade,

Traduo de parte de artigo de J. EVANS publicado no jornal The Washington Post de 31 de Janeiro de 1997, p.
11. apud Empowerment Evaluation and Foundations : A Matter of Perspectives.

11

que possuem mecanismos sistemticos que permitem a produo e a divulgao de

informaes relevantes e confiveis sobre os resultados alcanados em seus programas,
projetos e demais atividades.
Este fato torna-se particularmente preocupante quando se considera o grande
volume de recursos investidos por empresas, agncias internacionais e indivduos,
bem como o crescente espao que o terceiro setor ocupa na mdia em geral. Em um
futuro no muito distante, os profissionais da mdia no mais se contentaro em
registrar e divulgar projetos bem intencionados que paream produzir efeitos
positivos na reduo dos problemas sociais que procuram solucionar. Nem tampouco
os membros dos conselhos das ONGs, ou das empresas que investem em programas
de atuao social ficaro satisfeitos com opinies baseadas, quase exclusivamente,
em aferies subjetivas como forma de prestao de contas do resultado produzido
com o investimento realizado.
A necessidade de adoo de prticas sistemticas de avaliao de projetos e
programas sociais j vem sendo apontada, h algum tempo, por aqueles que investem
nas organizaes do terceiro setor. Em estudo realizado em 1996 com 183 empresas
(que apiam aes sociais) de um ranking de 1000 companhias nos EUA (Fortune
1000 companies), 36% mencionaram a adoo de prticas de avaliao como de alta
prioridade, 36% como de moderada prioridade e 25% como de baixa prioridade.
Nenhuma delas, contudo, afirmou realizar sistematicamente avaliao de seus
programas sociais. Em 1998, a mesma pergunta foi feita para o total dos 35 membros
associados naquele poca do GIFE Grupo de Institutos, Fundaes e Empresas
localizado em So Paulo, que congrega hoje 63 instituies que fazem investimento
em projetos e programas sociais. Quarenta por cento dos respondentes elegeram a
adoo de prticas de avaliao como de alta prioridade. Apenas um dos

12

respondentes afirmou realizar avaliaes sistemticas de seus programas (Marino,

1998).
Pesquisa realizada pelo IPEA Instituto de Pesquisas Econmicas Aplicadas
para verificar a atuao social das empresas brasileiras constatou que, na regio
sudeste, 300 mil empresas aplicaram cerca de R$ 3,5 bilhes em aes sociais no ano
de 1998. Apenas 12% declararam fazer algum tipo de avaliao documentada sobre o
investimento. Desse universo, em 60% dos casos a avaliao foi realizada pela
prpria empresa e em 40% pela instituio beneficiada. No houve portanto, naquele
ano, avaliaes externas por instituies ou consultores especializados (IPEA, 2000).
Em pesquisa sobre o perfil de atuao de 48 respondentes do Censo GIFE, foi
constatado que 91,7 % deles realizam avaliaes ao final de projetos. O estudo no
permite aferir, no entanto, o tipo de metodologia empregada nessas avaliaes e o
grau de preciso que elas obtm (GIFE, 2001).
Nos Estados Unidos, na dcada de 70, foram fundadas a American
Evaluations Research e a The Evaluation Network, que em 1986 fundiram-se para a
criao da American Evaluation Association. Esta instituio, que atualmente
congrega por volta de 1400 membros, participou da formulao dos Standards for
Evaluations of Educational Programs, Projects and Materials (Standards), a partir
de um comit formado em 1981 por membros que naquele perodo pertenciam s
duas instituies. O processo de criao dos Standards levou cinco anos e em 1986
foi publicada a primeira edio que, posteriormente, em 1994, foi revisada e
ampliada, visando a contemplar outros campos alm do educacional.
Em muitos pases, nos ltimos cinco anos, percebe-se um forte movimento de
estruturao do campo da avaliao. Pases como a Nigria, frica do Sul, Qunia,
Japo, Rssia, Sri Lanka, Coria, Israel e Itlia, entre outros, organizaram, neste

13

perodo, associaes, sociedades e redes que congregam os profissionais da rea de

avaliao, juntando-se assim ao grupo de naes que j h alguns anos vem
estruturando os procedimentos avaliativos, tais como a Austrlia, Nova Zelndia,
Canad, EUA, Inglaterra e Frana. Em pases latino-americanos tem-se notcia de
esforos desta natureza na Costa Rica, onde se estabeleceu uma associao nacional
de avaliao2. No perodo em que os pases supracitados reuniram-se em mesaredonda, no havia registros de nenhum movimento dessa natureza no Brasil.
Recentemente foi iniciado no Brasil um movimento para a constituio da
Rede Brasileira de Avaliao RBA. A RBA formada por profissionais e
instituies que atuam no campo da avaliao ou tem interesse no desenvolvimento
de conhecimentos e prticas neste campo de conhecimentos. Possui grupos em
quatro estados (Bahia, Recife, Rio de Janeiro e So Paulo) e no Distrito Federal. Os
grupos foram constitudos por profissionais provenientes de organizaes do terceiro
setor e do setor pblico, como: UNICEF, UNESCO, Care Brasil, Fundao Abrinq,
Universidade de So Paulo, Universidade Federal do Rio de Janeiro e Ministrio do
Planejamento. Em recente exerccio de planejamento estratgico, representantes dos
cinco grupos definiram como misso da RBA: Desenvolver e fortalecer cultura e
prticas de avaliao de interesse pblico no Brasil, por meio da articulao entre
pessoas e organizaes, da gesto do conhecimento, do aprimoramento profissional e
da defesa da avaliao como ao poltica transformadora." 3
O quadro de emergncia e consolidao do terceiro setor como um importante
agente do desenvolvimento social no Brasil, aliado necessidade de gerao de
conhecimento para fortalecer a ao das empresas e das organizaes da sociedade

Mesa-redonda American Evaluation Association Conference, 2000.

Resultado do Primeiro Seminrio de Planejamento Estratgico da Rede Brasileira de Avaliao, ocorrido em
So Paulo, em 15 e 16 de julho de 2003.

14

civil, justifica pesquisas nas vrias reas de conhecimento abrangidas pela atuao
desse setor. O estudo da temtica da avaliao faz-se urgente, no entanto, por tratar
de questes como a tica, tomada de deciso e aprendizagem. A tica est
relacionada com a necessidade de prestar contas do uso dos recursos privados para
fins pblicos. A tomada de deciso diz respeito necessidade do setor superar a fase
da ao com base em informaes subjetivas ou com base em opinies, e passar a
considerar em suas decises informaes obtidas por meio de metodologias
apropriadas. A idia da aprendizagem pela prtica da avaliao recente e est
relacionada possibilidade dos indivduos aprenderem sobre os processos que
envolvem seu trabalho, suas relaes com outros membros da organizao, e sobre si
prprio e sua relao com a cultura da organizao. (Preskill & Torres, 2000).
A inquietao e a movimentao de profissionais interessados no
desenvolvimento do conhecimento sobre avaliao de programas tambm um fator
que justifica o esforo da presente pesquisa, de trazer para o Brasil o debate sobre
princpios e diretrizes que orientam as melhores prticas avaliativas nos Estados
Unidos e que j foram discutidos em pases da Europa e sia.
Na primeira parte desta monografia so apresentadas uma introduo com
informaes contextuais e argumentaes que justificam o estudo realizado. So
tambm delineados os objetivos, o problema de pesquisa e as principais definies
dos conceitos utilizados.
Na segunda parte, buscou-se identificar as caractersticas do investimento
social privado no Brasil, relacionando alguns aspectos contextuais com proposies
de estgios de desenvolvimento das prticas de investimento social de empresas. Em
seguida, apresentado um histrico do desempenho da metodologia da avaliao de
programas e projetos sociais, a anlise de 22 modelos de avaliao e, em detalhes,

15

quatro modelos contemporneos de avaliao voltados ao campo social. Os ltimos

dois tpicos da segunda parte fornecem a base de compreenso e fundamentao do
embasamento terico que utilizado na terceira parte. Nela destacada a idia dos
Standards, os quais se constituem no paradigma da avaliao de programas e
projetos vigente nos Estados Unidos. So apresentados tambm estudos sobre a
aplicabilidade dos Standards em outros pases.
Na parte quatro discorre-se sobre a metodologia utilizada para se verificar a
aplicabilidade dos Standards no Brasil e, na quinta parte so apresentadas as anlises
dos dados, as discusses e recomendaes.
Na ltima parte do documento so apresentadas as concluses e limitaes
deste estudo.

16

1.2 OBJETIVOS
O principal objetivo da pesquisa verificar, junto a um grupo de profissionais
e pesquisadores que realizam avaliao de programas no Brasil, a aplicabilidade dos
Standards definidos pelo The Joint Committee of Standards for Educational
Evaluation, levando-se em considerao o estado da arte da avaliao de projetos e
programas sociais das empresas que fazem investimento social privado no Brasil. O
estudo procurou verificar, tambm, se a adoo destes Standards pode vir a atuar
como impulsionadora de boas prticas de avaliao de programas no Brasil.
A pesquisa foi operacionalizada atravs de delineamento e anlise das
prticas atualmente adotadas pelas organizaes que se utilizam de metodologias
mais sofisticadas de avaliao, a partir dos parmetros sugeridos pelos Standards.
Essa opo metodolgica permitiu levar a cabo um outro objetivo da pesquisa que
a definio de eventuais usos dos Standards pelas empresas e organizaes
brasileiras que realizam investimento social privado.
Finalmente pretende-se, a partir do estudo, disponibilizar uma reflexo sobre
parmetros e procedimentos para profissionais e pesquisadores interessados no
estudo da utilidade, viabilidade, propriedade e preciso de avaliaes.

17

1.3 PROBLEMA DE PESQUISA

O fenmeno da emergncia do terceiro setor como segmento co-responsvel

pelo desenvolvimento social e as decorrentes alianas intersetoriais entre empresas,
organizaes da sociedade civil e organizaes governamentais, tem gerado novos
desafios em termos de competncias pessoais e organizacionais para esses trs
atores. As empresas que empreendem aes de investimento social deparam-se com
a necessidade de mensurar resultados e gerar informaes em campos no to
precisos quanto o financeiro ou o contbil. As organizaes da sociedade civil so
pressionadas a provar a efetividade de suas aes. Neste contexto, pesquisadores,
consultores e gestores das organizaes que investem recursos e operam projetos e
programas buscam modelos e parmetros para proceder sua avaliao.
Existe no pas algum conhecimento acadmico acumulado sobre avaliao de
polticas pblicas nas reas de educao e sade que recente, j que esta prtica foi
retomada no pas na dcada de 80, durante o processo de redemocratizao. Os
modelos de avaliao em larga escala de polticas pblicas nem sempre so
adequados a avaliaes de projetos e programas do terceiro setor. As dimenses e
interesses do setor com projetos e programas so distintos. Os projetos e programas
so de menor dimenso, e visam sobretudo a gerao de modelos de interveno para
serem adotados como polticas pblicas. H, portanto, a necessidade de avaliaes
que cumpram o papel de accountability (confiabilidade da relao fiduciria) mas,
sobretudo, que indiquem a possibilidade de disseminao de iniciativas bem
sucedidas.

18

Essas consideraes preliminares sustentam a formulao do problema de

pesquisa delineado na seguinte indagao:
Os Standards de Avaliao de Programas definidos pelo The Joint
Committee of Standards for Educational Evaluation podem servir de parmetros
orientadores avaliao de programas e projetos apoiados por organizaes
brasileiras que realizam investimento social privado?
Alm disso, pretendeu-se elaborar possveis adaptaes oriundas da resposta
a esta questo atravs da proposio de um rol de Standards que atendam as
especificidades de instituies semelhantes s que foram objeto deste estudo.
As questes abaixo foram propostas como perguntas-diretrizes para a
pesquisa:
1. Em que medida as avaliaes externas de programas e projetos de
organizaes do terceiro setor obedecem aos Standards?
2. Como os pesquisadores e consultores se posicionam em relao aos
Standards?
3. Quais dos Standards so condizentes e aplicveis, considerando-se o
atual estado da arte da avaliao de programas e projetos sociais
desenvolvidos por organizaes que fazem investimento social
privado no Brasil?
4. Quais Standards podem ser aceitos, quais devem ser rejeitados e quais
podem ser propostos pelo grupo de participantes da pesquisa?
A pesquisa possui carter exploratrio, descritivo e qualitativo por
atender a duas intenes: 1) Conhecer em maior profundidade as prticas de
avaliao de projetos e programas em um setor especfico, e 2) apresentar e discutir

19

caractersticas especficas de processos avaliativos de um conjunto de programas.

Essas intenes enquadram-se na caracterizao de pesquisa exploratria proposta
por Selltiz et al. (1985). A caracterstica qualitativa do estudo refere-se escolha do
mtodo de estudo de casos mltiplos. A necessidade de compreender com maior
profundidade a relao formal estabelecida entre avaliadores externos e clientes e as
escolhas metodolgicas feitas para a implementao de avaliaes externas
orientaram, por sua vez, a escolha dessa metodologia.

20

1.4 DEFINIES DOS PRINCIPAIS CONCEITOS UTILIZADOS NA

DISSERTAO
Para melhor delimitao da abrangncia deste estudo, so apresentadas
abaixo as definies dos principais conceitos nele utilizados. As quatro primeiras,
sugeridas pelo comit formulador dos Standards, so teis para a compreenso da
amplitude desses termos quando utilizados neste documento. A quinta definio
esclarece o conceito de investimento social privado, entendida como o mais
adequado para caracterizar a natureza das aes sociais estudadas.

Avaliao: identificao, esclarecimento e aplicao de critrios, passveis de

serem defendidos publicamente, para determinar o valor (mrito e relevncia),
qualidade, utilidade, efetividade ou importncia de determinado objeto programa,
projeto, material educacional e outros avaliado em relao aos critrios
estabelecidos.4

Programas: atividades educacionais que so oferecidas em bases contnuas.

Exemplos de atividades contempladas em programas: estmulo leitura em escolas,
de treinamento em empresas ou em setores militares, programas educacionais de
sade ou programas educacionais contnuos.5

De acordo com The Program Evaluation Standards (The Joint Committee of Standards for Educational
Evaluation, 1994).
5
Idem

21

Projetos: atividades educacionais que so oferecidas por um perodo

determinado de tempo. Exemplos de atividades: workshop de curta durao de
carter instrucional, projetos piloto de desenvolvimento social ou projeto de
desenvolvimento de metodologias para gerenciamento de pessoas. Projetos que so
institucionalizados tornam-se programas.6

Standards para Avaliao: princpio mutuamente acordado por pessoas

engajadas em uma prtica profissional, que, se for satisfeito, poder assegurar a
qualidade ou credibilidade da prtica profissional da avaliao. Optou-se pela no
traduo deste termo pelo fato de no ter sido encontrada uma palavra em Portugus
capaz de transmitir o significado deste termo tal qual ele proposto pelo Comit
formulador. As palavras critrios, padres, parmetros ou princpios comumente
utilizadas para a traduo do termo, no se mostram adequadas conforme pode ser
melhor observado na parte deste estudo onde se discute a base terica utilizada. 7

Investimento Social Privado: uso planejado, monitorado e voluntrio de

recursos privados provenientes de pessoas fsicas ou jurdicas em projetos de
interesse pblico. Incluem-se neste universo as aes sociais protagonizadas por
empresas, fundaes ou institutos de origem empresarial ou institudas por famlias
ou indivduos.8

De acordo com The Program Evaluation Standards (The Joint Committee of Standards for Educational
Evaluation, 1994).
7
Idem.
8
GIFE, 2002

22

2 CONSTRUO DO REFERENCIAL TERICO

2.1 INVESTIMENTO SOCIAL CORPORATIVO

2.1.1 Da filantropia tradicional para aes sociais empresariais: a
emergncia do investimento social corporativo

O esforo para aclarar e delinear o papel das empresas no atual contexto

globalizado foi iniciado na dcada de 80 e vem-se consolidando. J amplamente
aceita a idia de que faz-se necessria a atuao social das empresas para que no
longo prazo os consumidores de baixa renda ampliem seu poder de compra. O Estado
mnimo, a forte ao da sociedade civil e a conscincia do consumidor impelem as
empresas a uma definio mais acurada de seu papel no desenvolvimento social.
Um indicador destas mudanas na forma das empresas realizarem suas
funes sociais o surgimento de entidades como o BSR Business for Social
Responsibility, criado em 1993 nos Estados Unidos, que congrega atualmente
empresas norte-americanas e transnacionais que movimentam cerca de 3 trilhes de
dlares. O BSR posiciona-se como uma organizao global que apia empresas
associadas para serem bem sucedidas nas suas prticas de respeito a valores ticos, a

23

pessoas, comunidades e meio ambiente. Possui parceiros no Reino Unido, Japo,

Israel e Brasil, que atuam buscando propsitos semelhantes.9
Da mesma forma que seu parceiro e inspirador BSR, foi criado no Brasil, em
1998, o Instituto Ethos de Responsabilidade Social buscando influenciar e oferecer
ferramentas de gesto que visam melhoria da qualidade das relaes da empresa
com seus colaboradores, clientes e fornecedores, com a comunidade e com o poder
pblico. O conjunto de 765 empresas filiadas ao Instituto Ethos emprega cerca de 1
milho de pessoas e soma 28% do PIB brasileiro.10
O nmero de empresas associadas s diferentes instituies que se ocupam da
discusso e disseminao dos conceitos e das prticas da responsabilidade social
significativo; entretanto, isso no assegura uma clareza conceitual sobre o termo em
si e as vrias dimenses compreendidas nesta idia. As terminologias responsabilidade
social, cidadania corporativa e investimento social corporativo muitas vezes so
utilizadas como sinnimo ou como termos complementares, como se observa na
colocao de Falconer (1999, p.16):
Cidadania Empresarial um termo que tem sido utilizado para
descrever o papel de responsabilidade social e ambiental das
empresas. No se trata exclusivamente de filantropia, no sentido da
caridade desinteressada, mas de investimento estratgico: um
comportamento de aparncia altrusta, como a doao a uma
organizao sem fins lucrativos, que atende a interesses (mesmo que
indiretos) da empresa, como a contribuio formao de uma
imagem institucional positiva ou o fortalecimento de mercados
consumidores futuros
As dimenses tratadas pelas organizaes que defendem e disseminam a idia
da responsabilidade social incluem aspectos que vo alm do investimento em

Fonte: Business for Social Responsibility. Disponvel em < www.bsr.org >. Acesso em 05 de maio de 2003.
Fonte : Instituto Ethos. So Paulo. Disponvel em < www.ethos.org.br >. Acesso em 05 de maio de 2003.

10

24

projetos ou programas ambientais e sociais, abrangendo questes relacionadas

gesto da empresa como, por exemplo, a preocupao com valores ticos e com a
relao com clientes e fornecedores. A terminologia investimento social
corporativo apresenta-se como mais apropriada para delinear os investimentos que
empresas realizam em projetos e programas sociais externos, de implementao
prpria ou em parceria com organizaes da sociedade civil. Apesar da preciso
desta terminologia, no que se refere delimitao da ao social das empresas, as
prticas neste campo ainda encontravam-se em fase de estruturao no final da
dcada de 90, conforme destacou Weeden (1998, p.1):
Todo ano empresas desembolsam bilhes de dlares em algo
definido como relaes externas, e elas fazem isto sem investir os
mesmos esforos que fazem quando utilizam-se de parmetros
gerenciais para acompanhar seus negcios. Stakeholders
encontram-se muito confusos sobre o real valor da miscelnea da
funo soft da empresa nas atividades de relaes com a
comunidade, responsabilidade social ou filantropia corporativa.
O autor observou que no final da dcada de 90 houve queda no investimento
em aes sociais pelas empresas norte-americanas em funo dos processos de
reestruturao organizacional pelos quais elas passavam. Neste perodo de intensa
reviso nos processos, reduo de custos e enxugamento de pessoal, as empresas
voltaram-se para si prprias, preocupando-se menos com suas relaes externas,
resgatando sua funo primordial de maximizar seus lucros. O contexto de
otimizao de recursos levou reviso dos propsitos e estratgias da ento chamada
filantropia corporativa. A falta de clareza sobre os reais resultados obtidos pelas
prticas filantrpicas, aliada ao ambiente de escassez de recursos, contribuiu para a
emergncia da idia de que o investimento social faria sentido naquele contexto se
ajudasse os negcios a serem melhor sucedidos.

25

Fischer (2002) chamou ateno para a necessidade de distinguir as aes

sociais orientadas apenas por motivaes mercadolgicas das aes que de fato
exprimem uma preocupao com o desenvolvimento social. A autora prope dois
tipos de ao social das empresas para identificar as diferentes formas de atuao
social: 1) A empresa considera as aes de investimento social como um
empreendimento capaz de gerar resultados para a comunidade ou para determinada
populao-alvo; e, 2) A empresa realiza as aes sociais na tica negocial, orientada
para obter retorno de imagem na marca e no desempenho de determinado produto.
Austin (2001) tambm vai alm da idia de que o investimento social
corporativo deve estar preponderantemente relacionado ao sucesso nos negcios. O
autor sugere trs estgios na relao de colaborao entre as empresas e as
organizaes sem fins lucrativos. No primeiro estgio, definido como filantrpico, a
relao unidirecional, referindo-se s prticas filantrpicas corporativas
tradicionais. Doa-se sem se preocupar com retorno para a empresa ou mesmo sem a
preocupao em acompanhar os resultados da ao social em si. O segundo estgio
o transacional, quando estabelecida uma relao de troca na qual so explcitas as
expectativas de resultados para ambos os lados. Inclui-se nesse estgio de relao o
marketing de causa e o patrocnio a projetos sociais que geram visibilidade para a
empresa doadora. No terceiro estgio, denominado integrativo, h um encontro entre
as misses da empresa e das outras organizaes envolvidas na parceria, gerando
aes de interesse mtuo, afetando simultaneamente as concepes e prticas dos
envolvidos. Para o autor, a atuao social da empresa em cada um desses estgios
est fortemente determinada pelos padres da cultura organizacional. Em cada
estgio do continuum da colaborao h um acrscimo de complexidade nos sistemas
de gerenciamento dessas relaes.

26

As idias de Austin alinham-se a uma perspectiva ampla da proposta de

cidadania corporativa proposta por Logan, Roy & Regelbrugge (1997), que une os
interesses de negcios da empresa com a perspectiva de promoo do bem comum
no longo prazo. O modelo prope quatro nveis de interesse da empresa: 1) Interesses
comerciais; 2) Benefcios imediatos a partir do investimento social para melhorar a
imagem; 3) Interesses comerciais expandidos; e, 4) Promoo do bem comum.
As diferentes vises sobre a atuao social das empresas sugerem que o
investimento social corporativo paute-se pela busca de uma sociedade mais justa,
atendendo aos interesses de diferentes parceiros que interagem em projetos e
programas destinados s mais diversas necessidades sociais e ambientais. O sucesso
dessas iniciativas estar vinculado utilizao de metodologias de planejamento,
monitoramento e avaliao adequadas ao tipo de ao desenvolvida e ao grau de
complexidade do contexto e das articulaes necessrias para atingir os propsitos
desejados.

27

2.1.2 A ao social das empresas no Brasil a face filantrpica

O IPEA realizou entre 1999 e 2002 uma pesquisa nacional visando a

conhecer diferentes aspectos da ao social das empresas brasileiras. A pesquisa
informou que 462 mil empresas, ou seja, 59% das 782 mil empresas do Pas
declararam realizar, voluntariamente, aes sociais para a comunidade. O volume de
recursos aplicados no perodo de um ano foi de R$ 4,7 bilhes, equivalentes a 0,4%
do PIB do pas no ano de 2000. O estudo verificou que 39% das empresas
declararam que pretendia ampliar os investimentos em aes sociais nos prximos
anos.
A pesquisa do IPEA adotou como conceito para definir ao social
empresarial o seguinte:
Qualquer atividade que as empresas realizam para atender s
comunidades, nas reas de assistncia social, alimentao, sade,
educao, meio ambiente e desenvolvimento comunitrio, dentre
outras. Essas atividades abrangem desde pequenas doaes eventuais
a pessoas ou instituies at grandes projetos mais estruturados,
podendo, inclusive, estender-se aos empregados da empresa e a seus
familiares. 11
As informaes sobre a regio sudeste, que concentra mais da metade do
setor produtivo do Pas, possibilitam diagnosticar o estgio de estruturao da ao
social das empresas. A pesquisa revelou as seguintes informaes sobre essa regio:

11

Peliano, 2000a, p.6

28

O montante investido pelas 300 mil empresas no perodo de 1 ano foi de R$

3,5 bilhes;

95 mil empresas apoiaram aes exclusivamente para a comunidade;

78 mil desenvolvem aes somente para seus funcionrios12;

Cerca de 200 mil empresas desenvolveram aes mistas, contemplando a

comunidade e os funcionrios;

61% das microempresas (de 1 a 10 empregados) da regio sudeste fizeram

algum tipo de contribuio;

90% das empresas com mais de 500 empregados declararam ter apoiado

aes para a comunidade;

57% apoiaram aes assistenciais e 40% atenderam as comunidades por meio

de ajuda alimentar;

14% apoiaram aes educacionais, sendo que 43% das grandes empresas

investiram nessa rea enquanto apenas 9% das pequenas estiveram envolvidas com
este tipo de investimento;

Em 86% das pequenas empresas, os donos declararam-se responsveis pela

ao social. Nas grandes empresas, 72% das aes sociais so conduzidas pelos
diretores;

81% dos empresrios atendem as comunidades por motivos humanitrios;

2% das empresas declararam comunicar sua atuao social.

Estes nmeros revelam a atuao significativa das empresas para alm da

funo de gerar empregos e lucros. A preocupao com os funcionrios e com a

12

Excluiu-se nas aes aos funcionrios os benefcios obrigatrios por lei como: contribuio ao Sistema S
(SEBRAE, SESI, SESC,SENAI, SENAC E SENAR), normas trabalhistas (periculosidade, vale-transporte, salrio
famlia, etc.).

29

comunidade no est restrita apenas s grandes empresas; mais de 150 mil pequenas
empresas realizaram aes sociais no ano em que foi realizada a pesquisa. As
empresas com mais de 500 funcionrios ocupam um papel de destaque no campo
social, j que a grande maioria (90%) das organizaes deste porte fez algum tipo de
investimento e quase metade delas investem em aes educacionais (43%).
Os aspectos relacionados motivao e ao modus operandi das atividades
sociais levantados na pesquisa sugerem um estgio ainda pouco estruturado em
termos de profissionalizao da gesto tcnica e administrativa dessa atuao
empresarial. Na maioria das pequenas (86%) e grandes empresas (72%) constatou-se
que as decises e a conduo das aes so realizadas por proprietrios e dirigentes e
no por profissionais especializados nessas atividades.
anlise dessas informaes, somam-se as seguintes constataes: a maior
motivao

humanitria

(81%),

apenas

12%

realizam

algum

tipo

de

acompanhamento e ainda h pouca preocupao em se comunicar resultados (2%

comunicam). Desta forma, pode-se depreender que, alm do baixo nvel de
profissionalizao, no h necessariamente um interesse ligado ao negcio quando a
empresa opta por realizar alguma ao social, como expressam os pesquisadores do IPEA:
A reduzida participao das empresas em atividades de educao,
alfabetizao e qualificao profissional, associada prioridade
conferida s reas de assistncia e alimentao, parecem indicar que
a atuao do setor privado em atividades comunitrias no obedece a
uma lgica de interesse estritamente mercantil, mas sim ao
atendimento difuso das principais carncias sociais que afetam os
pobres brasileiros. Ou seja, o movimento em prol dos mais
necessitados muito mais de cunho assistencial do que um
investimento na melhoria da qualidade de uma mo-de-obra
potencial.13

13

Peliano, 2000b, p.16

30

A anlise acima sugere que a relao de colaborao entre as empresas e as

organizaes sociais da regio mais desenvolvida do Brasil encontram-se ainda em
grande medida no estgio que Austin define como filantrpico. Essas aes so
baseadas na relao doador/donatrio, limitam-se ao atendimento de um pedido de
uma instituio social ou de indivduos e o acompanhamento no uso dos recursos
praticamente inexistente, o que sugere pouca clareza sobre o resultado para ambas as
partes. As instituies recebem recursos para manuteno de seus servios ou para
pequenas melhorias em suas instalaes fsicas, enquanto que as empresas no
recebem benefcios, alm da satisfao de seus proprietrios ou diretores, por
apoiarem uma boa obra social.
H, entretanto, no universo das grandes empresas, aquelas que atuam de
forma profissionalizada, bastante orientadas para resultados sociais aliados aos do
negcio. Essas empresas vm desenvolvendo desde a dcada de 80 um percurso de
construo de prticas de uma ao social sistemtica e profissionalizada, orientadas
para a busca de resultados sociais e empresariais. O estudo do IPEA identificou
aes sociais melhor estruturadas em empresas com mais de 500 funcionrios, sendo
que algumas delas criam institutos e fundaes especificamente para tratarem dessas
aes.

31

2.1.3 O investimento social corporativo no Brasil As parcerias e aes

integradas

A idia de investimento social corporativo como prtica sistemtica e

estruturada foi introduzida no Brasil pela ao de empresas transnacionais (na
maioria norte-americanas) que trouxeram de seus pases as prticas das boas relaes
com a comunidade. No princpio da dcada de 80 iniciou-se um movimento liderado
pela Cmara Americana de Comrcio-AMCHAM, visando disseminao das
prticas de investimento de empresas em programas e projetos sociais e ambientais.
A AMCHAM instituiu em 1982 o Prmio ECO, com o objetivo de premiar aes
exemplares e projetos de atendimento a necessidades de carter pblico patrocinados
ou implementados por empresas. Desde sua criao, o Prmio j contou com a
participao de 1285 empresas, premiou 111 delas e a soma dos investimentos
realizados nos projetos inscritos somam valores na ordem de US$ 2,6 bilhes.14 As
aes da AMCHAM foram potencializadas no final da dcada de 80 com a criao
do GIFE Grupo de Institutos, Fundaes e Empresas, a partir de um comit
formado ao final de um seminrio organizado pela AMCHAM. Faziam parte deste
comit empresas como IBM, American Express, Bradesco e Dow Qumica.
Somaram-se a essas empresas gestores da Fundao W. K. Kellogg, Instituto C&A e
Vitae - Apoio Cultura, Educao e Promoo Social, instituies com larga
experincia no apoio a projetos nas reas de educao, cultura e desenvolvimento

14
Cmara Americana de Comrcio. So Paulo. Disponvel em < www.amacham.org.br >. Acesso em 12 de maio
de 2003.

32

social e. Aps visitar centros de estudos e associaes de fundaes e empresas nos

Estados Unidos e realizar uma srie de discusses sobre as prticas de investimento
social privado no Brasil, o grupo constituiu-se formalmente como uma associao. O
GIFE tem como misso: Aperfeioar e difundir conceitos e prticas do uso de
recursos privados para fins pblicos.15
O GIFE faz uma distino entre investimento social corporativo e
investimento social privado, por contemplar entre seus associados fundaes e
institutos criados por famlias. Define investimento social privado como uso
planejado, monitorado e voluntrio de recursos privados provenientes de pessoas
fsicas e jurdicas em projetos de interesse pblico. Incluem-se no universo do
investimento social privado as aes sociais protagonizadas por empresas, fundaes
e institutos de origem empresarial ou institudos por famlias ou indivduos.16
Em pesquisa realizada no ano de 2000 junto aos ento 48 associados,
constatou-se um investimento de R$ 437,09 milhes. As informaes sobre as
prticas gerenciais revelam um elevado nvel de institucionalizao: 58,3 % das
entidades associadas esto estruturados como fundaes de direito privado:

31,3% esto estruturadas como associaes sem fins lucrativos;

73% fazem planejamento estratgico;

87,5% fazem monitoramento de projetos;

91,7% fazem avaliao de resultados de projetos;

Educao o principal foco de investimento (85,4%) dos associados do

GIFE, seguido da rea de sade (43,7%), e cidadania (41,7%), que envolve questes
15
16

Fonte: Investimento Social Privado no Brasil Perfil dos Associados do GIFE. So Paulo, 2001.
GIFE, 2001, p.11

33

relacionadas aos direitos das crianas e dos adolescentes, desigualdade e excluso

social desse pblico. O interesse preponderante do investimento em educao revelase superior ao do grupo pesquisado pelo IPEA (14%), talvez porque estas entidades
de origem empresarial comunguem uma viso de que alto o impacto que projetos
nesta rea podem trazer para o pblico beneficiado e para aqueles que praticam as
aes sociais de forma planejada e estruturada.
possvel depreender, a partir das informaes citadas, que o conjunto de
organizaes ligadas ao GIFE possui um elevado grau de profissionalizao. A
observao da preocupao com o planejamento estratgico e com o monitoramento
e avaliao de projetos sugere maior probabilidade de aes colaborativas voltadas a
atender interesses mtuos nas relaes de parceria.

34

2.2 EVOLUO DA AVALIAO

Embora nos ltimos 30 anos a temtica da avaliao tenha despertado grande

interesse em parte de pesquisadores norte-americanos, este campo ainda era
considerado por este mesmo grupo como uma rea em fase de maturao.
A avaliao como um campo de estudo estabelecido est agora
vivenciando a fase final da adolescncia. A fase de rpido
crescimento da infncia deu-se no final da dcada de 60 e incio da
dcada de 70. A partir de meados da dcada de 70 este campo de
estudo tornou-se mais seguro de si prprio, introspectivo, marcando a
sua fase de pr-adolescncia. Atualmente, nos anos 80, a avaliao
est vivendo a transio de final da adolescncia para a fase
adulta.17
A declarao acima aceita parcialmente pelos autores que a citam, que
propem que ao rtulo adulto seja acrescido jovem, sendo ento mais aceitvel o
estgio de jovem adulto. Para o alcance da maturidade plena haveria ainda uma
boa distncia a ser percorrida, j que apesar do rpido crescimento observado como
campo profissional em maturao, h ainda que se discutir se a avaliao uma
disciplina ou uma transdisciplina, como prope Scriven (1991).
Guba & Lincoln (1989) descreveram o processo de amadurecimento da
avaliao, definindo os diferentes sentidos e usos atribudos a esta metodologia,
relacionados ao contexto histrico e pressupostos filosficos utilizados por tericos,
pesquisadores e praticantes ao longo dos anos. Os autores propem trs geraes de
desenvolvimento, apresentadas a seguir.

17

Conner, Altman & Jackson, 1984, p.13 apud Worthen & Sanders, 1988

35

2.2.1 A primeira gerao: Medio

A primeira gerao caracterizada como o perodo em que houve grande

esforo para o desenvolvimento de testes utilizados no ambiente escolar e que foram
posteriormente utilizados para fins militares e empresariais.
Os autores descrevem o desenvolvimento de testes na Frana onde, no incio
do sculo XX, o psiclogo Alfred Binet tentou utilizar tcnicas psicomtricas para
identificar crianas com retardamento mental que, segundo seus professores,
precisavam ser excludas das salas de aula, j que atrapalhavam o rendimento das
crianas normais. Binet avanou em seus estudos e desenvolveu um teste que
determinava a idade mental de crianas. Em 1916, Louis Terman revisou o teste de
Binet, transformado-o no teste de QI, que passou a ser largamente utilizado no
sistema de ensino dos Estados Unidos. Neste perodo, foi implementada a primeira
Agncia de Pesquisa na cidade de Nova York, com o objetivo de realizar pesquisas
no sistema escolar local, utilizando as novas tcnicas de medio.
Os testes de QI foram posteriormente utilizados na seleo do pessoal do
Exrcito durante a Primeira Guerra Mundial, por meio de um instrumento
desenvolvido pela Associao Americana de Psicologia (APA). A utilizao dos
testes de QI, neste perodo, coincide com a ascenso das cincias sociais e com o
desabrochar da administrao cientfica, conforme os comentrios de Guba &
Lincoln (1989, p.5,6):

36

Um segundo fator contextual a estimular o processo de testagem era

a emergncia do movimento da administrao cientfica no mundo
dos negcios e na indstria. Se o ser humano o elemento mais
importante na produo de bens e servios, a funo do gerente
tornar seu trabalho o mais efetivo e eficiente possvel.
Estes autores identificam o papel do avaliador neste perodo como
essencialmente tcnico, cabendo a ele conhecer a variedade de instrumentos
disponveis, a fim de avaliar a varivel escolhida para a medio.
Worthen & Sanders (1987) tambm reconhecem o perodo entre 1900 e 1930
como o perodo do movimento dos testes. Os autores descrevem o mesmo percurso
proposto por Guba & Lincoln, no qual a avaliao realizada por meio de testes
aplicados em crianas no sistema escolar. Posteriormente outros testes so utilizados
na seleo de soldados para a Primeira Guerra. Os autores sinalizam a mudana de
paradigma no final dos anos 30, com a adoo por algumas escolas de currculos
progressistas baseados nos escritos de John Dewey18.

18

Filsofo da Educao das dcadas de 30 a 50, precursor da aprendizagem com base na experincia
(experiential learning).

37

2.2.2 A segunda gerao: Descrio

De acordo com Guba & Lincoln, a segunda gerao da avaliao surgiu da

necessidade de superar a principal deficincia das avaliaes de primeira gerao,
que tinha como objeto de avaliao apenas os indivduos.
Aps a Primeira Guerra, as escolas secundrias americanas comearam a
receber alunos que reingressavam no sistema escolar aps o perodo da guerra, sendo
que muitos deles no haviam sequer complementado o perodo elementar antes dela.
O sistema vigente exigia a aprovao por meio de um teste padronizado para atender
um currculo unificado denominado Carnegie. O teste era aplicado aos alunos que j
estavam no sistema escolar. O rigor do teste, aliado ao longo perodo fora do sistema
escolar, dificultava o acesso aos ex-soldados.
Com a inteno de questionar a validade desta posio, Ralph W. Tyler, da
Universidade de Ohio, liderou a partir de 1933 um estudo de oito anos com a
utilizao de currculos mais flexveis, sem necessariamente atender aos padres
requeridos pelo Carnegie. Tyler e um grupo de especialistas desenvolveram testes
que mediriam a aprendizagem dos alunos, de acordo com o que os seus professores
tinham inteno que aprendessem. Os resultados de aprendizagem foram chamados
de objetivos. Nascia neste momento a avaliao de programas.
Enquanto as escolas secundrias que participavam do estudo
planejavam seus currculos, Tyler coletou informaes sobre a
extenso da realizao, por parte dos alunos do estudo, de seus
objetivos definidos. Esta informao, juntamente com a anlise dos

38

pontos fortes e fracos que se tornaram, dessa forma, aparentes, foi

utilizada para guiar ajustes finos e revises.19
A chamada segunda gerao da avaliao caracterizada pela descrio de
padres e pontos fracos e fortes em relao a certos objetivos declarados. O papel do
avaliador era o de descrever determinado processo. A partir desse momento, a
medio no era mais reconhecida como avaliao e sim, como uma das ferramentas
a serem utilizadas para este fim, conforme relato do prprio Tyler em uma entrevista
concedida a Nowakowski em 1981 (p. 8):
O simples desempenho de alunos em testes representa aquilo que os
alunos lembram dos seus livros texto e no necessariamente o
resultado do que lhe foi ensinado. Devido ao termo Teste estar
relacionado a uma coletnea de itens memorizados, eu sugeri o termo
avaliao para investigar o que de fato os alunos haviam
aprendido.

19

Guba & Lincoln, 1989, p. 9

39

2.2.3 A terceira gerao: Julgamento

A abordagem descritiva mostrou-se deficiente na resoluo de determinados

problemas do sistema educacional americano, bem como em outras reas. Iniciava-se
o perodo da explorao espacial e a competio entre americanos e russos
pressionava o desenvolvimento em vrias reas de conhecimento. Pelo fato de a
abordagem descritiva estar fortemente ligada necessidade da existncia de
objetivos previamente formulados, muitos dos profissionais envolvidos com projetos
espaciais no se sentiam confortveis em se comprometerem com objetivos antes de
terem boa noo dos resultados para os quais as aes desenvolvidas apontavam.
Alm disso, entendiam que objetivos pr-estabelecidos tolhiam a criatividade.
Segundo Guba & Lincoln, o modelo desenvolvido por Tyler negligenciou o
que Stake chamou de a outra natureza ou a outra face da avaliao: o
julgamento. De acordo com os autores, O apelo para incluir o elemento julgamento
no ato da avaliao marca a emergncia da terceira gerao da avaliao, uma
gerao na qual a avaliao foi caracterizada pelos seus esforos visando chegar a
um julgamento, a um veredicto, e na qual o avaliador assumiu o papel de juiz,
mantendo as j estabelecidas funes tcnica e descritiva tambm. (Guba &
Lincoln, 1989, p.30)
Uma srie de modelos foi criada a partir de 1967, contemplando a perspectiva
do julgamento. Os modelos mais conhecidos so: 1. O CIPP avaliao de
Contexto, Insumos, Processo e Produto, que forneciam bases para guiar o
desenvolvimento e implementao com xito de um programa, e tambm para relatar

40

com credibilidade sua execuo e resultados (Stufflebeam et al., 2000), e 2. O Goal

Free Evaluation Model, orientado para avaliar efeitos resultantes de programas
independentemente dos objetivos propostos (Scriven, 1996).
Scriven procurou combater a idia da avaliao enquanto monitoramento
de cumprimento ou no de objetivos com a proposio do Goal Free Evaluation
Model. O autor sugeriu com o modelo que a avaliao deveria cumprir a funo de
verificao do que realmente foi realizado em termos de benefcios para o pblicoalvo do programa, ao invs de avaliar os objetivos que sugeririam o que o programa
se propunha a fazer pela populao. O mrito do programa seria estabelecido pela
relao entre seus efeitos e as necessidades do pblico-alvo. Para o autor, no h
total incompatibilidade entre os modelos orientados por objetivos e goal free; o que
possibilitaria a utilizao das duas abordagens para avaliar determinado programa
seria a conduo das duas avaliaes por avaliadores distintos (Scriven, 1996).

41

2.2.4 Problemas observados nas trs primeiras geraes

Guba & Lincoln (1989) apontam trs deficincias nas trs primeiras geraes:
a tendncia ao gerencialismo20, a dificuldade em acomodar o pluralismo de
valores; e, o compromisso excessivo com o paradigma cientfico de investigao.
Essas trs deficincias so detalhadas a seguir:

1) A tendncia ao gerencialismo: So denominados gerentes todos os

indivduos que encomendam ou financiam as avaliaes. Esses clientes ou
patrocinadores definem junto aos avaliadores contratados seus interesses de acordo
com seus parmetros e limites que, via de regra, o isentam de prestar contas quanto
aos achados produzidos ou no pela avaliao, pelo fato desta responsabilidade ser
estritamente do avaliador. Um outro aspecto importante que, cabendo nica e
exclusivamente ao gerente a definio sobre as questes a serem perseguidas pela
avaliao, os parmetros com os quais as informaes sero julgadas e a forma como
os resultados sero disseminados menospreza os outros interessados (stakeholders)
envolvidos nos programas. Esses indivduos talvez tenham outras questes a serem
investigadas, bem como outros parmetros de anlise a sugerir.

2) A dificuldade de acomodar o pluralismo de valores: O senso comum

sugere muitas vezes que as sociedades compartilham valores. A crena dos
americanos de que o pas transformou-se em um grande caldeiro de culturas e de
20

Gerencialismo (de Managerialism) - Termo no encontrado nos dicionrios consultados. Expresso

aparentemente proposta pelo autor para atribuir sentido ao gerenciamento tendencioso e ticamente questionvel.

42

que todos os imigrantes percebem-se como participantes de um s pas e, portanto,

possuem a mesma identidade cultural, no vlida. A discusso sobre o julgamento
em processos avaliativos surgiu no momento em que se questionava fortemente nos
Estados Unidos as questes raciais e de gnero. Naquele momento, os avaliadores
comearam a questionar quem faria o julgamento e com que objetivos.
Mas foi fcil fazer vista grossa ao fato de que at o desenvolvimento de um
instrumento objetivo envolve julgamento de valores, ou de que o
delineamento dos objetivos implica num acordo de valores, enquanto a
questo da diferena de valores no foi levantada. Uma vez levantada, no
podia ser colocada de volta em sua caixinha. A questo sobre os valores de
quem iria predominar numa avaliao, ou, como alternativa, como que
diferenas de valores poderiam ser negociadas, aparecem agora como o
problema maior a ser enfrentado.21
3) O compromisso excessivo com o paradigma cientfico de investigao:
Durante a vigncia das trs primeiras geraes da avaliao, pesquisadores e
praticantes utilizavam premissas do mtodo cientfico no design de avaliaes,
levando o processo avaliativo a uma rigidez excessiva, fazendo com que variveis
contextuais fossem deixadas de lado, em funo da busca do controle de fenmenos
em desenhos experimentais, ou por meio de manipulao estatstica.

21

Guba & Lincoln, 1989, p. 17

43

2.3 MODELOS DE AVALIAO CONTEMPORNEOS

2.3.1 Modelos versus Abordagens versus Tipos de avaliao

Os diferentes agrupamentos, classificaes ou categorizaes de avaliaes

congregam diferentes abordagens, tipos ou modelos de avaliao. Tem havido ao
longo dos anos uma preocupao de vrios autores que se ocupam dessa tarefa de
discutir e prover distines das formas e mtodos avaliativos, e tambm de
determinar o que so modelos, abordagens e tipos de avaliao. Stufflebeam (2001)
entende que o termo approach (abordagem) em lugar de modelo mais apropriado
para cobrir a diversidade de alternativas de avaliaes existentes. Segundo o autor, o
termo modelo tido como muito restritivo para denominar a abrangncia de suas
propostas avaliativas. Em relao diferenciao entre modelo e tipo, Patton (1982)
comenta que difcil fazer uma diferenciao entre modelos ou tipos. A distino
no absoluta... diferentes rtulos e palavras significam diferentes coisas para
diferentes avaliadores. Dada a complexidade e diversidade desta rea de
conhecimento, parece ser mais sensato adotar a terminologia abordagens pois se
refere a diferentes formas de avaliao praticadas.

44

2.3.2 Classificaes e agrupamentos das abordagens de avaliao

O estudo do histrico da avaliao, assim como de outras reas das cincias

sociais, nos permite verificar o surgimento de novas abordagens, modelos e
estratgias para compreender, intervir e mensurar mudanas na sociedade. Neste
campo, na medida em que os diferentes autores foram ampliando e aprofundando seu
estudo e o do papel do avaliador, surgiram novas concepes, mtodos e
procedimentos para praticar a avaliao de programas. Cabe neste Captulo fazer
meno contribuio de Kuhn sobre o estudo da evoluo da cincia, traando-se
um paralelo entre sua viso dos motivos pelo qual a cincia evolui com a razo pela
qual as abordagens de avaliao foram surgindo e se modificando ao longo do
tempo. Segundo este autor, o que diferenciou as vrias escolas cientficas no foi o
insucesso de determinados mtodos, mas o que ele chamou de incomensurabilidade
de suas maneiras de ver o mundo e de nele praticar cincia22. Portanto, para alm de
um mero processo cumulativo de conhecimento, as novas abordagens de avaliao
foram surgindo para atender as demandas mais complexas da sociedade.
Vrios autores propuseram agrupamentos de abordagens de avaliao
utilizando diferentes critrios para este fim. A Academia Nacional de Cincias dos
Estados Unidos apud Patton (1982) sugere seis categorias de avaliao, segundo
critrios de propsito dos estudos avaliativos: 1. Avaliao de necessidades, 2.
Pesquisa bsica, 3. Teste em pequena escala, 4. Avaliao de campo, 5. Anlise de
polticas, 6. Accountability fiscal, 7. Accountability de cobertura, 8. Avaliao de
22

Kuhn, 2000, p. 23

45

impacto, e 9. Anlises econmicas. O autor tambm cita a classificao proposta pelo

Comit de Standards da Sociedade de Pesquisa dos Estados Unidos, definidos a
partir do critrio tipos de atividades que se pretende avaliar23:

1. Anlise de incio (pr-instalao, contexto, anlise de viabilidade): Essa

avaliao ocorre antes do incio do programa e proporciona informaes para
orientar seu planejamento e implementao.
2. Anlise de avaliabilidade: Visa a avaliar a possibilidade de se utilizar as
diferentes abordagens e mtodos de avaliao quando se define o design de
determinado processo avaliativo.
3. Avaliao formativa (de desenvolvimento, de processo): Visa a prover
avaliao para a melhoria ou modificao do programa quando este est
sendo implementado.
4. Avaliao de impacto (somativa, resultado, efetividade): Visa a determinar os
resultados e efeitos do programa com o propsito principal de orientar
decises relacionadas continuao, expanso e reduo de atividades e de
financiamento.
5. Monitoramento de programa: Patton (1982) utiliza a definio literal proposta
pela ERS para esta categoria esta a menos conhecida mas, a mais
utilizada.... Esta atividade envolve uma variedade de procedimentos que vo
desde a verificao continua da realizao de atividades at a entrega de
servios previstos.

23

ERS Evaluation Research Society, 1980, p. 45 apud Patton, 1982

46

6. Avaliao de avaliao (avaliao secundria, meta-avaliao): Esta categoria

inclui crticas de profissionais para relatrios de avaliaes, re-anlise de
informaes e revises externas de avaliaes internas.

House (1980, 1983) apud Worthen, Sanders & Fitzpatrick (1997) props, a
partir do estudo de correntes filosficas do conhecimento, duas categorias de
abordagens de avaliaes: com base no objetivismo ou positivismo e com base no
subjetivismo. As abordagens com base no objetivismo so aquelas cientificamente
objetivistas, nas quais o avaliador deve adotar procedimentos na avaliao que
gerem achados que possam ser encontrados por outro avaliador com preparo tcnico
similar que utilize os mesmos procedimentos. As abordagens ancoradas no
subjetivismo sugerem um processo avaliativo que ocorre segundo as percepes do
avaliador, estruturado na sua formao e qualificao. Neste caso, uma avaliao
jamais poder ser reproduzida por outro avaliador e gerar os mesmos resultados.
House sugere, a partir dessas duas categorias, uma outra distino pautada na
determinao de juzo de valor quando se avalia determinado programa. O autor
denominou de avaliaes utilitrias aquelas que visam ao impacto de um programa
em sua amplitude, ou seja, a abrangncia dos resultados de um programa na sua
populao-alvo; segundo suas prprias palavras, o utilitarismo refere-se idia de
maximizar a felicidade na sociedade (apud Worthen, Sanders & Fitzpatrick, 1997,
p. 66). Nas avaliaes utilitrias o avaliador o responsvel pelo julgamento de
mrito do programa.
Outra denominao sugerida para um outro conjunto de abordagens foi
avaliaes intuitivas e pluralistas. Para essas, o juzo dos resultados de um
programa est baseado no impacto gerado em cada indivduo beneficirio. Esta

47

abordagem pressupe que um programa oferece diferentes benefcios para atender a

diferentes necessidades individuais; portanto, para se verificar a extenso dos
resultados, faz-se necessrio o julgamento individual sobre os benefcios a ele
oportunizados.
Worthen, Sanders & Fitzpatrick (1997) propuseram, com base na
classificao proposta por House e outros autores que j envidaram esforos em
propor categorizaes de abordagens, um conjunto de seis categorias que congregam
um conjunto de abordagens entendidas pelos autores como as mais usuais:

1. Abordagens orientadas pelos objetivos: esto focadas em objetivos prdeterminados e mensuram a extenso na qual eles foram alcanados.
2. Abordagens orientadas para administrao: a principal preocupao
identificar informaes para a tomada de decises administrativas.
3. Abordagens orientadas para consumidores: a questo central o
desenvolvimento de informaes avaliativas sobre produtos (definio ampla)
para uso de consumidores, em comparao a outros produtos ou servios
competidores.
4. Abordagens orientadas pelo expertise: dependente de julgamento da
qualidade de um objeto avaliado por um especialista.
5. Abordagens orientadas por opinies contrrias: so construdas com base em
opinies contrrias de diferentes avaliadores (pr e contra) sobre o foco
central do objeto avaliado.
6. Abordagem orientada pelos participantes: os participantes (stakeholders) so
os principais atores a determinar os valores, critrio, necessidades e anlise de
dados.

48

As seis categorias seguem uma lgica baseada nas distines propostas por
entre as abordagens utilitrias e intuitivas e pluralsticas, conforme a figura 1:

Figura 1 Distribuio das seis abordagens avaliativas de acordo com as dimenses Utilitria
intuitivas/ pluralsticas
Avaliaes
intuitivas e
pluralsticas

Avaliaes
Utilitrias

Orientada pelos objetivos

Orientada para
o consumidor

Orientada para
o expertise

Orientada para administrao

Fonte: Worthen, Sanders & Fitzpatrick, 1997, p.79

49

Orientada por
opinies contrrias

Orientadas pelos
participantes

2.3.3 Abordagens de avaliao para o sculo XXI

Stufflebeam (2001a) realizou um extenso estudo analtico de 22 abordagens

de avaliao com base nos 30 Standards de Avaliao de Programas elaborados pelo
Joint Committee (1994), que sero melhor definidos na parte 3 deste estudo. As
abordagens cobrem uma abrangente gama de programas. Alguns exemplos dos
Programas so: programas cclicos ou em bases contnuas referentes a currculo
escolar, selos alimentao, habitao; programas anuais de vacinao; projetos com
perodo de durao determinado; performance de pessoas em empresas ou de
sistemas de servio estatal nas mais diversificadas reas.
O autor aponta importantes estudos analticos de abordagens avaliativas
(Stake, 1974; Hasting, 1976; Guba, 1990; Scriven, 1991, 1994; e Madaus, Scriven &
Stufflebeam, 1983, 2000), que foram fonte de consulta para organizar a anlise das
22 abordagens. As abordagens foram divididas em quatro categorias. A primeira
formada por duas abordagens geradoras de informaes ou achados incompletos
essa categoria denominada Pseudo-avaliaes. As outras trs categorias so as
seguintes: Orientadas por questes e/ou mtodos (13 abordagens); Melhoria ou
Accountability (trs abordagens) e Agenda social/advocacy24 (quatro abordagens).
Na tabela 1 apresentado um resumo das 22 abordagens.

24

O termo tem o significado de defesa de causas.

50

Tabela 1 - Descrio resumida de 22 abordagens de avaliao divididas nas 4 categorias

1. Pseudo-avaliaes
1.1.Estudos Inspirados
em Relaes Pblicas
1.2. Estudos
Politicamente
Controlados

Esta abordagem inicia-se com a inteno de utilizar os dados para

convencer o pblico (eleitores, legisladores, clientes, etc) de que
determinado programa eficaz.
O acesso aos achados da avaliao so controlados por motivos polticos.
Pode ser lcito ou ilcito. Ser ilcito quando o avaliador ou o cliente: a)
retiver informaes da avaliao de indivduos que possuem direito de
acesso aos achados avaliativos; b) recusar-se a cumprir acordos prvios de
apresentar os resultados da avaliao; c) enviesar os resultados da
avaliao ao revelar apenas parte dos achados.

2. Avaliaes orientadas por questes e/ou mtodos (Quase-estudos avaliativos)

2.1 Estudos baseados
O objetivo desta abordagem verificar se os objetivos de determinado
em objetivos
programa foram atingidos. Os objetivos operacionais so especificados e
informaes so levantadas para verificao da medida de sucesso no
cumprimento desses objetivos.
2.2. Estudos de
Limita-se a responder questes sobre resultados relacionados a
Accountability
investimentos efetuados. Legisladores, administradores pblicos e privados
e conselheiros formulam questes avaliativas relacionadas ao uso
responsvel de recursos no cumprimento de atividades previstas e na
conquista dos objetivos previstos.
2.3. Administrao de
Aplicao de testes (via de regra em estudantes) com o objetivo de
testes (objetivos)
verificar, atravs do nvel de acerto em questes de mltipla escolha, a
qualidade de projetos especficos, programas ou mesmo de professores
individualmente. Infere-se que os resultados positivos ou negativos so
reflexos diretos da qualidade dos projetos ou dos professores.
2.4. Estudos de
Estudo baseado em aplicaes sistemticas de testes que propiciam anlise
estimativa de
hierarquizada de efeitos de programas e polticas. A nfase desta
agregao de valor
abordagem a verificao da adio de valor na performance de estudantes
(resultados)
de diferentes regies, distritos, tamanho de escolas, perfil de docentes, etc.
2.5. Testes de
Estudos desenvolvidos nos anos 90 buscaram suprir as limitaes dos
performance
testes de mltipla escolha orientados apenas para contedos. Os testes de
performance visam a mensurar as habilidades (escrita, fala, interpretao,
anlise, trabalho em equipe e soluo de problemas).
2.6. Estudos
Utilizam-se experimentos controlados para determinar contrastes entre
experimentais
grupos em relao a determinados resultados de intervenes. So tambm
chamados de estudos quase-experimentais por responder apenas a questes
especficas de intervenes de programas, devido s exigncias
metodolgicas para viabilizar o uso do mtodo.
2.7 Sistemas de
Sistemas que suprem administradores de informaes para apoiar a
informaes
conduo e a comunicao sobre o andamento de programas.
administrativas
2.8. Anlise de custoEstudos de custo-benefcio so desenvolvidos atravs da aplicao de
benefcio
diversos procedimentos quantitativos, para compreender o custo total do
programa e verificar se os investimentos realizados geraram retornos em
objetivos alcanados e benefcios sociais.

51

2. Avaliaes orientadas por questes e/ou mtodos (Quase-estudos avaliativos)

2.9. Audincia para
Terminologia oriunda da rea jurdica, trata do uso da tcnica role-playing,
esclarecimento
na qual avaliadores desempenham o papel de promotores e advogados
defendendo aspectos pr e contra, baseados em evidncias coletadas por
ambos. O jri pode ser formado por representantes do programa e outros
interessados.
2.10. Estudo de caso
Avaliaes baseadas em estudos de caso tratam de descrio em
profundidade, anlise e sntese de um programa em particular ou de
determinado objeto.
2.11. Anlise crtica
Nasceu inspirada na arte de fazer crtica literria. Assume que
por especialistas
determinados experts em determinadas reas so capazes de realizar
anlise em profundidade que no podem ser feitas por outros especialistas.
2.12 Avaliao
So avaliaes que se utilizam de uma base terica sobre como o programa
baseada em teoria
deve funcionar ou se baseiam em teorias de programas similares. A teoria
orienta o avaliador na construo de perguntas e indicadores, assumindo
que essa base terica suficientemente consistente para estabelecer
relaes entre ela e o que de fato ocorreu no programa.
2.13 Estudos MixedEsta abordagem surgiu a partir da discusso sobre o uso de mtodos
Methods
quantitativos e qualitativos. Apesar de todas as abordagens supracitadas se
utilizarem dos dois mtodos, os estudos mixed-methods justifica-se como
uma abordagem parte porque o centro das suas preocupaes discutir as
vantagens e desvantagens dos diferentes mtodos bem como as possveis
combinaes entre eles.
3. Abordagens orientadas para a melhoria e accountability de programas
(abordagens avaliativas)
3.1 Estudos orientados Esta abordagem enfatiza que a avaliao de um programa deve ser
para accountability e
utilizada de forma proativa e retroativa para ajudar a melhorar o programa
decises
e julgar o mrito e a relevncia do mesmo. O que distingue este mtodo do
estudo de sistemas de informao administrativa o julgamento de
mrito e relevncia. Nesta abordagem prev o envolvimento de
interessados na definio do foco da avaliao, para que sejam geradas
informaes teis tomada de deciso.
3.2. Estudos
Esta abordagem considera o bem estar do pblico-alvo (consumidor) de
orientados para
um programa como justificativa principal de sua implementao. Espera-se
consumidores
nesta modalidade de avaliao a determinao de mrito e relevncia do
programa em relao aos benefcios gerados aos consumidores (estudantes,
professores, pais, etc.).
3.3. Abordagem de
Nesta abordagem, instituies, programas e indivduos so alvo de estudos
Acreditao ou
para verificar se eles se enquadram em determinados requerimentos com
Certificao
vistas a assumir determinadas funes na sociedade. A acreditao ou
certificao so estruturadas por padres e critrios que acreditam ou
certificam aqueles que desejam exercer funo especfica.

52

4. Abordagens voltadas agenda social e advocacy

4.1. Estudos centrados Esta abordagem provm da chamada Escola relativista da avaliao. O
no cliente (avaliao
avaliador atua com e para os diferentes clientes ou interessados no
responsiva)
programa (Exemplo: administradores, educadores, legisladores,
conselheiros). Diferentes e, s vezes, conflitantes valores dos interessados
so considerados para julgar o programa. A diferena entre esta abordagem
e a voltada para os consumidores est no papel do avaliador que nesse
modelo assume o papel de julgar o mrito e relevncia do programa, no
considerando os valores dos consumidores.
4.2. Avaliao
Esta abordagem rejeita a existncia de uma realidade completa e absoluta
construtivista
como um objeto a ser avaliado. Este tipo de estudo pressupe que
indeterminado e mutvel o conhecimento ganho a partir da construo de e
interao entre indivduos. Cabe ao avaliador assumir um consistente papel
indagativo junto aos diferentes interessados, ajudando-os a se apropriarem
do processo avaliativo, por meio de definio de perguntas, variveis,
estabelecimento de comunicao constante e anlise e interpretao
conjunta das informaes.
4.3. Avaliao
Esta abordagem bastante recente e est estruturada em trs dimenses: 1)
democrtica e
participao democrtica; 2) dilogo para credenciar interessados; e, 3)
deliberativa
deliberao para se chegar ao julgamento de mrito e relevncia de
determinado programa.
4.4. Avaliao focada
Esta abordagem explicitamente orientada para assegurar que uma
no uso
avaliao resulte em impacto no objeto da avaliao. A construo do
estudo feita a partir de escolhas pr-determinadas do grupo que far uso
dos resultados da avaliao, a partir das suas intenes de uso desses
resultados.
Fonte: Autor

As 22 abordagens foram avaliadas utilizando-se como critrio de julgamentos

os 30 Standards de Avaliao de Programas elaborados pelo Joint Committee (1994).
A escala de julgamento utilizada foi a seguinte: Pobre, Ruim, Bom, Muito Bom e
Excelente. Para a anlise das diferentes abordagens foi desenvolvido um instrumento
de Checklist contendo 10 itens de verificao para cada um dos 30 Standards. O
autor concluiu que 9 das 22 abordagens puderam ser considerados as melhores e as
mais promissoras para serem utilizadas e melhoradas nos tempos atuais, segundo o
parmetro de julgamento adotado. Na figura 2, so apontadas as nove melhores
abordagens.

53

Figura 2 - Classificao das melhores abordagens da avaliao segundo anlise baseada nos Standards de Avaliao de Programas
Pontuao
Pobre

Ruim

Bom

Muito

Excelente

Utilidade

Viabilidade

Propriedade

Preciso

total

Bom
Melhoria/Accountability
Deciso/Accountability

92 (MB)

90 (MB)

92 (MB)

88 (MB)

98 (E)

Orientao para o Consumidor

81 (MB)

81 (MB)

75 (MB)

91 (MB)

81 (MB)

Acreditao

60 (B)

71 (MB)

58 (B)

59 (B)

50 (B)

Focada no uso

87 (MB)

96 (E)

92 (MB)

81 (MB)

79 (MB)

Centrada no cliente

87 (MB)

93 (E)

92 (MB)

75 (MB)

88 (MB)

Democrtica e deliberativa

83 (MB)

96 (E)

92 (MB)

75 (MB)

69 (MB)

Construtivista

80 (MB)

83 (MB)

67 (B)

88 (MB)

83 (MB)

Estudo de caso

80 (MB)

68 (MB)

83 (MB)

78 (MB)

92 (MB)

Agregao de valor

72 (MB)

71 (MB)

92 (MB)

69 (MB)

56 (B)

Agenda Social/Advocacy

Questes/Mtodos

Fonte: Evaluation Models Stufflebeam, L., D., 2001

54

2.3.4 Abordagens de avaliao da agenda social e advocacy para o sculo XXI

Entendendo o trabalho de Stufflebeam como uma contribuio quanto

adequao e ao apontamento de tendncias de abordagens de avaliao para os
prximos anos, a seguir sero apresentadas as quatro abordagens indicadas como
melhores para o campo da agenda social e advocacy.

A. Avaliao com foco na utilizao (Utilization Focused-Evaluation)

Patton foi quem cunhou a abordagem da avaliao com foco no uso. A

incluso de expectativas de interessados no design de avaliaes visando utilizao
dos seus achados, bem como a atribuio de julgamento de valor de determinado
programa aos usurios intencionais dos achados da avaliao, so as caractersticas
centrais deste tipo de abordagem.
Utilization focused-evaluation inicia-se com a premissa de que avaliaes
devem ser julgadas pela sua verdadeira utilidade; para tanto, os avaliadores
devem facilitar o planejamento e a implementao da avaliao com
cuidadosa considerao... no em abstraes mas sim levando-se em
considerao as expectativas de pessoas reais no mundo real ...
conseqentemente, o foco da Utilization focused-evaluation na inteno de
uso revelada pelos usurios intencionais."25
Nesta abordagem, o avaliador deve facilitar o julgamento e o processo
decisrio dos principais interessados na avaliao. No cabe ao avaliador agir a
distncia e proferir seu prprio julgamento como um juiz independente. Patton parte
25

Patton, 1996, p.20

55

da premissa de que no h avaliaes livres de valores. Portanto, os valores daqueles

interessados no uso dos achados das avaliaes devem determinar o rol de critrios
de julgamento a serem utilizados para avaliar determinado programa.
Para Patton, a avaliao muito importante para ficar sob responsabilidade
apenas do avaliador. Para o autor, o papel do avaliador atuar como um facilitador e
negociador, apresentando opes aos

usurios intencionais para a escolha de

caminhos metodolgicos para a avaliao. O autor recomenda que, quaisquer que

sejam, as opes apresentadas devem atender aos Standards

de avaliao de

Programas.

B. Avaliao centrada no consumidor

Stake (1967,1975,1999) apud Stufflebeam (2001a) foi o pioneiro no

desenvolvimento e aplicao das abordagens centradas no cliente, a partir de sua
compreenso de que os modelos cientficos de pesquisa social no se aplicam
diretamente aos propsitos de uma avaliao. A abordagem centrada no cliente ou
responsiva inspirada na pesquisa-ao. A avaliao segundo esta abordagem um
processo no qual diferentes interessados no programa (financiador, equipe gerencial,
pblico beneficirio) interagem assumindo papis de sujeitos da avaliao, obtendo
maior compreenso sobre o programa, tomando melhores decises e proporcionando
com isto melhorias nas suas aes e no programa como um todo.
As condies bsicas para a utilizao desta abordagem so o preparo do
avaliador para atuar de maneira responsiva (orientado exclusivamente para as
necessidades do cliente) e a abertura por parte do cliente para aceitar um plano de
avaliao aberto, flexvel e inclusivo quanto participao de interessados. A

56

abordagem utiliza-se, na grande maioria de situaes, de mtodos qualitativos de

coleta de informaes. O objetivo central desta abordagem no levantar respostas
definitivas para perguntas relacionadas ao mrito e relevncia de determinado
programa. Busca-se levantar em profundidade as necessidades e as expectativas dos
diferentes interessados quanto ao programa e envolv-los em todo o processo de
anlise e interpretao dos achados da avaliao.

C. Avaliao democrtica e deliberativa

House & Howe (2000) foram os proponentes da abordagem da avaliao

democrtica e deliberativa. Essa abordagem segue a tendncia contempornea de
avaliaes que contemplam ampla participao dos interessados nas diferentes etapas
do processo avaliativo. As premissas fundamentais que justificam a proposio desta
abordagem so: 1) avaliaes no podem ser puras ou isoladas do contexto
sociopoltico no qual elas ocorrem; e, 2) avaliaes sempre ocorrem em sistemas
sociais onde existem estruturas de poder.
A avaliao democrtica e deliberativa coloca em questo escolhas iniciais
feitas pelo avaliador quanto definio de foco. No processo de definio do foco,
antecipam-se questes como: Quem so os interessados nos resultados da avaliao?
Quais so as necessidades e questes desses interessados? Quais sero os critrios de
julgamento a serem utilizados?
Essas questes suscitam uma importante indagao no campo das relaes de
poder: Uma avaliao a ser desenvolvida em um ambiente democrtico deve atender
aos interesses exclusivos daqueles que possuem maior poder financeiro
(contratante)?

57

Para os autores, a avaliao em uma sociedade democrtica deve seguir

princpios de debate e buscar formas democrticas e deliberativas de julgamento. Os
autores apontam trs requerimentos para a avaliao democrtica e deliberativa:
incluso, dilogo e deliberao. O requerimento de incluso refere-se considerao
de interesses relevantes ao design da avaliao. Esses interesses no so apenas os
daqueles que possuem mais poder. A incluso deve ser compreendida segundo um
princpio fundamental da democracia que o da eqidade, ou seja, os interesses
relevantes no so definidos a partir do status social dos diferentes interessados e,
sim, pela busca de um equilbrio entre os diferentes grupos envolvidos no programa.
O requerimento do dilogo trata da importncia do avaliador envidar esforos para
buscar uma profunda compreenso da posio, viso e interesses dos diferentes
indivduos ou grupos interessados na avaliao. Quanto deliberao, o
entendimento desse requerimento pelos autores de que deliberar um processo
cognitivo, baseado em razes, evidncias e princpios de argumentos vlidos, que
representam um importante subconjunto de cnones para a avaliao.26
Para os proponentes desta abordagem, o profissional que opta por ela no
um facilitador inocente, um filsofo ou um espectador curioso. O avaliador um
profissional consciente que adota uma conduta de reunir cuidadosamente os
princpios de incluso, dilogo e deliberao.
Os autores propem dez perguntas que indicam aspectos a serem observados
na adoo desta conduta de avaliao:

26

House & Howe, 2000, p. 8

58

1. Quais interesses esto representados na avaliao? Os interesses e vises de

todos os usurios que possuem envolvimento significativo no programa
devem ser considerados.
2. Os principais interessados esto representados? Os diferentes interessados
devem estar presentes ou representados no processo avaliativo.
3. H algum interessado excludo da avaliao? Cabe ao avaliador assegurar a
incluso de grupos de menor poder (pobres, negros e outras minorias).
4. H srios problemas de desbalano de poder? Muitas avaliaes so
controladas por interesses exclusivos de grupos com muito poder (Exemplo:
clientes contratantes da avaliao).
5. Existem procedimentos para controlar o desbalano de poder? Cabe ao
avaliador criar condies para a coleta de informaes, envolvendo neste
processo o dilogo e a deliberao.
6. Como as pessoas participam da avaliao? Apesar do alto custo e do
consumo de tempo para envolver diferentes participantes, uma sria e
representativa participao de diferentes interessados no processo avaliativo
pode contribuir em muito para a efetiva participao de diferentes indivduos
e grupos.
7. Quo autntica a participao das pessoas? Simples respostas a
questionrios quantitativos no podem ser consideradas como autntica
participao de interessados na avaliao. preciso que o avaliador utilize
mtodos e instrumentos capazes de captar as reais percepes, opinies e
sentimentos dos respondentes ou entrevistados.
8. Quo envolvidas esto as pessoas? necessrio estabelecer critrios para um
envolvimento adequado dos interessados. preciso evitar situaes extremas

59

como o envolvimento deles na anlise estatstica de dados, assim como devese evitar envolvimento superficial dos interessados em momentos crticos
como anlise de dados.
9. Existe deliberao reflexiva? A fase final de um processo avaliativo via de
regra marcada por intensa presso de tempo para entrega do relatrio final.
A pressa coloca em risco todo o esforo realizado na conduo da avaliao,
j que se perde a oportunidade de contemplar no relatrio final as reflexes
de todos os interessados envolvidos nas fases anteriores.
10. A deliberao considerada e utilizada em alguma extenso? Considera-se
que quanto mais extensa for a deliberao, melhor ser a qualidade dos
achados. A prtica da deliberao pode ajudar a sanar um problema muito
comum nas avaliaes que a no coincidncia das concluses com os dados
encontrados.

D. Avaliao construtivista ou naturalstica

Guba & Lincoln (1989) so os autores que moldaram a abordagem

construtivista ou naturalstica da avaliao. Essa abordagem caracterizada por ser
uma avaliao construtivista responsiva. O termo construtivista foi sugerido para
desvincular este modelo do paradigma cientfico; o parmetro investigativo sob o
qual a proposta se embasa o interpretativo e hermenutico. Quanto ao emprego do
termo responsiva, os autores sugerem que o modelo deve ser flexvel no sentido de
acomodar diferentes parmetros de julgamento e atender a diferentes expectativas,
seguindo a proposta de Stake (1975) da avaliao responsiva. A abordagem

60

naturalstica utiliza os referenciais da abordagem responsiva para definir o foco da

avaliao e o modo construtivista para implement-la.
Os procedimentos da abordagem responsiva para definir o foco de avaliao
compreendem o levantamento de reivindicaes, preocupaes e questes sobre o
objeto da avaliao identificadas pelos principais interessados, que so
compreendidos como pessoas ou grupos que sero afetados em alguma medida pela
avaliao. Uma reivindicao entendida pelos autores como qualquer afirmao
favorvel de qualquer interessado sobre o objeto da avaliao (Exemplo: a
afirmao de que um certo modo de ensinar a ler vai resultar em um ano de ganho
nos resultados em testes padronizados de leitura); a preocupao entendida como
qualquer afirmao dos interessados que seja desfavorvel ao objeto da avaliao
(Exemplo: o ensino do uso do computador reduz a habilidade das crianas de fazer
contas a mo); e uma questo uma expresso de desconforto com assuntos
polmicos como, por exemplo, a incluso do ensino religioso como obrigatrio no
ensino fundamental. Cabe ao avaliador criar condies para que os interessados
expressem suas reivindicaes, preocupaes e questes e inclu-las na definio do
foco da avaliao.
Guba & Lincoln (1981) apud Guba & Lincoln (1989) definem trs categorias
de interessados:

1. Os agentes: responsveis pela concepo e implementao do objeto da

avaliao, incluindo-se neste grupo os patrocinadores, consultores, equipe
tcnica, e equipe operacional;
2. Os beneficiados: beneficirios diretos ou grupo-alvo, que so pessoas para
as quais o objeto da avaliao foi desenvolvido, e beneficirios indiretos, que

61

so pessoas que recebem benefcios por manterem algum tipo de contato ou

relao com os beneficirios diretos. Alm desses dois grupos, existem
pessoas que se beneficiam com as possibilidades de servios geradas pelo
programa ou objeto (Exemplo: editores, empreiteiros, etc.);
3. As vtimas: pessoas afetadas por motivos de falha do objeto ou por mudanas
advindas do prprio resultado da avaliao (Exemplo: jovens normais
excludos de programas para superdotados, crianas que perdem vagas em
escolas em funo de incluso de cotas de minorias).

A dimenso construtivista desta abordagem est nas construes geradas

pelos diferentes interessados a partir de suas reivindicaes, preocupaes ou
questes. Cabe ao avaliador que optar por essa abordagem conduzir um processo de
confronto das diferentes construes, processo este compreendido pelos autores
como dialtico hermenutico. medida em que as construes so confrontadas e
compreendidas, algumas dessas reivindicaes, preocupaes ou questes podem ser
solucionadas ou modificadas, exigindo a busca de novas informaes. A partir das
novas informaes, novas construes so criadas e isto torna as informaes mais
sofisticadas. Embora procure-se um consenso, isto raramente ou nunca possvel.
Para Guba & Lincoln, a iterao e reiterao da avaliao construtivista faz com que
ela nunca se complete plenamente. O final da avaliao se d por motivo de
suspenso por questes de viabilidade ou por deciso dos envolvidos.

62

3 BASE TERICA UTILIZADA

3.1 OS STANDARDS ENQUANTO PARADIGMA

Os Standards so fruto de intensos debates de representantes da comunidade

cientfica norte-americana e surgiram da necessidade dos profissionais atuantes no
campo da avaliao definirem parmetros orientadores, tanto para a conduta de
avaliadores como para a orientao de procedimentos metodolgicos. Em 1974 foi
formado um comit misto indicado pela American Educational Research
Association, pela American Psychological Association e pelo National Council on
Measurement in Education, com a misso de revisar a edio de 1966 dos Standards
for Educational and Psychological Tests and Manuals publicados pela American
Psychological Association. Aps muitos debates, o grupo chegou a uma
recomendao para a criao de uma sesso especfica para os Standards tests. Aps
a experincia, em 1975, as trs organizaes aceitaram a sugesto de desenvolver um
rol de Standards teis no s para testes, mas para avaliao de programas
educacionais em geral. Um outro comit foi formado e, em 1981, chegou ao produto
denominado: Standards para a Avaliao de Programas, Projetos e Materiais
Educativos.

63

Em 1989, em funo do grande interesse pela avaliao em outros campos,

um grupo mais amplo das mesmas instituies responsveis pela criao e edio dos
Standards para avaliao de programas educacionais formou o The Joint Committee
on Standards for Educational Evaluation e preparou uma nova edio dos Standards
para avaliao de programas, aplicvel para as reas de educao, sade, militar,
corporativa, governamental e servio social. Para se chegar a um produto aceito em
todo o pas americano, foram envolvidas 15 entidades associativas de diversas reas
e quatro anos de trabalho foram consumidos.
O comit chegou a um rol de 30 Standards que esto subdivididos sob quatro
atributos bsicos: utilidade, viabilidade, propriedade (propriety27) e preciso. Os
Standards so considerados como uma base filosfica que reflete as melhores
prticas avaliativas para o perodo em que foram escritos. Para o comit, deve haver
um esforo para que os diferentes Standards para a avaliao sejam testados e
analisados sobre sua aplicabilidade em diferentes realidades. O comit aponta como
possvel utilidade uma orientao para o planejamento e realizao de metaavaliao. H uma expectativa da aplicao desses Standards em outros pases, com
registro da discusso sobre sua aplicabilidade na Alemanha, Coria e Sua (Russon,
2000).
O percurso percorrido para a definio dos 30 Standards utilizados como
objeto central do presente estudo remete a compreend-los como um paradigma.
Kuhn (2000, p. 218) conceitua paradigma como constelao de crenas, valores,
tcnicas,...partilhadas de uma comunidade determinada.

27

De acordo com o dicionrio Michaelis, traduz-se o termo propriety como: adequao, retido, justeza, decoro,
decncia, boas maneiras. Segundo o dicionrio Houaiss o termo propriedade refere-se ao que prprio ou direito
legal de possuir algo. O sentido atribudo a propriedade neste estudo est relacionado conduta apropriada ou
adequada do avaliador no respeito aos diretos humanos, leis e normas vigentes no contexto em que se realiza uma
avaliao.

64

Segundo Morin apud Moraes (1997), um paradigma possui uma natureza

lgica entre um conjunto de conceitos mestres. A reunio de prticas
generalizadamente aceitas pela comunidade de pesquisadores e avaliadores
fundamenta-se no avano histrico da avaliao enquanto rea de conhecimento e em
acordos entre a comunidade sobre diferentes abordagens em uso.
O entendimento do sentido atribudo palavra Standards pelo The Joint
Committee difere em algumas das aplicaes usualmente dadas ao termo. Singer
(1996) reuniu quatro usos mais comumente dados a essa palavra:

Tabela 2 Principais usos para a palavra Standards

Uso

Exemplo

Qualidade

Mnimo nvel ou base. Exemplo:Tocar uma

sonata corretamente, ou a execuo soberba de
uma sonata.

Padronizao/ norma

Produto ou servio idntico em forma a outro.

Freqentemente utilizado no mbito industrial
com a idia de padronizao e intercmbio de
produtos. Norma para comparao.

Ideal

Meta a ser cumprida em determinado perodo.

Posteriormente se torna uma norma a ser
superada.

Critrio

Especificao ou aplicao

Fonte: Singer D. B., 1996, p.208

O Joint Committee define os Standards como princpio mutuamente

acordado por pessoas engajadas em uma prtica profissional, que, se for satisfeito,
poder assegurar a qualidade ou credibilidade da prtica profissional da avaliao.
(1994, p. 2)

65

Quanto sua aplicao, o Joint Committee (1994, p. 8, 10) sugere o seguinte:

...os Standards so princpios orientadores e no uma prescrio
mecnica. Eles contm orientaes para evitar eventuais erros e se
fundamentam em prticas generalizadamente aceitas, alm de propor
diretrizes que refletem as best-practices em avaliao de programas
atualmente.
...os Standards devem ser utilizados como orientao para avaliar
planos e relatrios... devem ser utilizados como meio para troca de
informao sobre a qualidade da avaliao entre o cliente, os
avaliadores e os vrios stakeholders envolvidos...
Os formuladores dos Standards atribuem ao termo o sentido de qualidade,
somado a um sentido de ideal ou diretriz a ser perseguida. H tambm na expresso
princpio a idia de doutrina fundamental28. A idia dos Standards enquanto
normas ou padro est descartada j que no houve inteno por parte dos seus
formuladores de definir um rol de padres a serem seguidos ou reproduzidos. O
entendimento do termo enquanto critrio tambm est descartado, j que eles no
representam especificaes e sim diretrizes.

28

Dicionrio Eletrnico Michaelis. Universo On Line. So Paulo. Produzido por Amigo Mouse LTDA.

66

3.2 APRESENTAO DOS 30 STANDARDS DE AVALIAO DE

PROGRAMAS 29

3.2.1 Standards de Utilidade

Os Standards relacionados utilidade tm o objetivo de assegurar que uma

avaliao estar a servio das necessidades de informao dos seus usurios
intencionais. O atributo utilidade de uma avaliao foi proposto, segundo Patton
(1996), como resultado de reflexes sobre as crticas s prticas adotadas das dcadas
60 e 70. A maturidade dos participantes do Joint Committee quanto a questes como
o avaliador como nico a emitir juzo de valor, o atendimento de necessidades
especficas dos contratantes da avaliao e a necessidade de um distanciamento da
avaliao do paradigma cientfico, contribuiu para a proposio do atributo
utilidade. Patton cita uma fala de Stufflebeam (1980) em uma entrevista sobre a
lgica utilizada para definir a ordem em que so apresentados os Standards na
publicao editada em 1981:
Os Standards que sero publicados determinam que as avaliaes
devem atender a quatro requisitos. So eles: utilidade, viabilidade,
propriedade e preciso. Penso que foi interessante a deciso do Joint
Committee sobre essa ordem em particular. O raciocnio utilizado foi
o de que uma avaliao no deve ser realizada se no houver um
estudo prospectivo sobre o seu uso por diferentes audincias.
Segundo, ela no dever ser realizada se no for vivel em termos
prticos, polticos e econmicos. Terceiro, o Joint Committee entende
que a avaliao no deve ser realizada se no for possvel demonstrar
que ela foi conduzida de maneira tica e honesta. Finalmente, uma
29

Traduo para o Portugus de Chianca com adequaes. Fonte capa e contracapa da publicao; The Program
Evaluation Standards, 2nd Edition.

67

vez considerados a utilidade, viabilidade e propriedade, pode-se

tratar de aspectos relacionados aos procedimentos tcnicos utilizados
na avaliao30.
A utilidade como primeira instncia de orientao para uma avaliao busca
a atender os requisitos das abordagens: Utilization Focused Evaluation, Centrada no
Consumidor, Democrtica/Deliberativa, e Construtivista. Essas abordagens possuem
um elemento comum que a participao dos interessados desde a fase de
planejamento da avaliao. O atributo utilidade presta-se tambm para delinear a
distino entre avaliao e pesquisa. Cronbach e Suppes (1969) apud Worthen e
Sanders (1987) fazem a seguinte diferenciao: pesquisa busca concluses enquanto
avaliao leva a decises. Segundo os autores, o avaliador busca informaes teis
aos processos decisrios de gerentes e administradores, governantes e outros. O
pesquisador realiza uma investigao para chegar a concluses, a partir de palpites
ou hipteses por ele formulados. O objetivo entender determinado fenmeno;
portanto, as informaes encontradas so um meio para este fim.
Worthen e Sanders consideram que pesquisa e avaliao tm em comum a
necessidade do uso de tcnicas e mtodos empricos de investigao. Os autores
afirmam, no entanto, que os objetivos da avaliao e da pesquisa so muitas vezes
confundidos. Os critrios para julgar a qualidade de uma pesquisa podem ser teis
para desfazer eventuais dvidas entre as duas atividades.

A validade interna e

externa de uma pesquisa so critrios determinantes quanto sua preciso e

generalizao. Para a avaliao, no se entende a generalizao como um critrio
prioritrio; os Standards de preciso visam a assegurar informaes confiveis para a
tomada de deciso e no necessariamente para garantir a generalizao de achados.
Os sete Standards de Utilidade so os seguintes:
30

Apud Patton, 1997, p. 16

68

1) Identificao dos interessados: Pessoas envolvidas ou afetadas pela

avaliao devem ser identificadas, de forma que suas necessidades possam ser
atendidas.

2) Credibilidade do avaliador: As pessoas que conduzem a avaliao devem

ser confiveis e competentes, a fim de que os resultados da avaliao obtenham grau
elevado de credibilidade e aceitao.

3) Escopo e seleo de informaes: Informaes coletadas devem ser

selecionadas de forma ampla para que possam abordar perguntas pertinentes sobre o
programa e trazer respostas a necessidades e interesses dos clientes e de outros
interessados pela avaliao.

4) Identificao de valores: As perspectivas, os procedimentos e as

justificativas usados para interpretar os resultados da avaliao devem ser
cuidadosamente descritos, de forma que as bases para julgamentos de valores fiquem
bem claras.

5) Clareza dos relatrios: Relatrios de avaliao devem descrever

claramente o programa avaliado, incluindo seu contexto e os propsitos,
procedimentos e concluses da avaliao, de forma a prover informaes essenciais
que sejam facilmente entendidas.

69

6) Entrega a tempo e disseminao de relatrios: Achados significativos e

relatrios de avaliao devem ser disseminados junto aos usurios intencionais da
avaliao, para serem utilizados no momento adequado.

7) Impacto da avaliao: Avaliaes devem ser planejadas, conduzidas e

divulgadas de forma a estimular seu acompanhamento por parte dos principais
interessados, aumentando assim as possibilidades de uso da avaliao.

70

3.2.2 Standards de Viabilidade

Os Standards de Viabilidade objetivam assegurar que uma avaliao ser

realista, prudente, diplomtica e simples. So trs estes Standards:

1) Procedimentos prticos: Os procedimentos da avaliao devem ser

prticos a fim de evitar ao mximo perturbaes no momento em que as informaes
necessrias esto sendo coletadas.

2) Viabilidade poltica: A avaliao deve ser planejada e conduzida tendo-se

clareza antecipada dos diferentes posicionamentos dos vrios grupos de interesse.
Deve assim conseguir a cooperao de todos e tentar evitar, ou criar mecanismos
para contra-atacar, possveis esforos, de qualquer destes grupos, para dificultar a
operacionalizao, ou confundir, ou usar de forma inadequada os resultados da
avaliao.

3) Custo-efetividade: A avaliao deve ser eficiente e produzir informaes

de valor significativo, de forma que os recursos utilizados possam ser justificados.

71

3.2.3 Standards de Propriedade

Estes Standards visam a assegurar que uma avaliao ser conduzida dentro
de normas legais e ticas, respeitando o bem-estar das pessoas envolvidas na
avaliao e daquelas que venham a ser afetadas por seus resultados. Os oito
Standards de Propriedade so os seguintes:

1) Orientao para o servio: avaliaes devem ser desenhadas de forma a

ajudar as organizaes a atender e responder de forma eficaz s necessidades de
todas as pessoas e instituies servidas ou afetadas de alguma maneira por seus
programas.

2) Acordos formais: acordos firmados sobre o qu, como, quem e

quando fazer as atividades pertinentes avaliao devem estar registrados num
documento, de modo que as partes envolvidas sintam-se na obrigao de honrar os
compromissos assumidos ou renegoci-los formalmente se for necessrio.

3) Direitos dos indivduos: avaliaes devem ser planejadas e levadas a cabo

considerando sempre o respeito e o zelo pelos direitos individuais das pessoas nelas
envolvidas ou afetadas por seus resultados.

4) Relaes humanas: os avaliadores, no momento de se relacionar com as

outras pessoas envolvidas na avaliao, devem respeitar a dignidade e o valor dessas

72

pessoas, para que elas no se sintam em nenhum momento ameaadas ou

prejudicadas.

5) Avaliao completa e justa: as avaliaes devem ser completas e justas

no momento de examinar e registrar os principais pontos positivos e limitaes do
programa avaliado, possibilitando a valorizao dos aspectos de sucesso do programa
e a correo das falhas existentes.

6) Divulgao dos resultados: os responsveis pela avaliao devem

assegurar que todas as pessoas e instituies afetadas pelo processo avaliativo, e
aquelas com direito legal, tenham acesso aos resultados da avaliao em sua
totalidade, assim como a possveis limitaes relevantes do processo.

7) Conflito de interesses: qualquer conflito de interesses durante o

desenvolvimento do processo avaliativo deve ser tratado de forma aberta e honesta
entre as partes envolvidas, de forma a no compromet-lo ou a seus resultados.

8) Responsabilidade fiscal: a alocao e o desembolso dos recursos

destinados avaliao devem ser realizados de forma adequada, prudente e
eticamente responsvel pelo avaliador, para que se possa prestar contas dos gastos de
maneira transparente.

73

3.2.4 Standards de Preciso

Os Standards de Preciso visam a assegurar que uma avaliao ir revelar e

produzir informaes tecnicamente adequadas sobre os aspectos que determinam
mrito e relevncia do programa avaliado. Estes Standards so doze:

1) Documentao do programa: o programa avaliado deve ser descrito e

documentado de forma clara e precisa, para que possa ser facilmente identificado.

2) Anlise do contexto: o contexto no qual o programa est inserido deve ser

descrito com o detalhamento necessrio para que suas possveis influncias no
programa possam ser identificadas.

3) Descrio de propsitos e procedimentos: os propsitos e procedimentos

da avaliao devem ser descritos de maneira clara e monitorados para que sejam
facilmente identificados e examinados.

4) Fontes de informao defensveis: as fontes de informao usadas na

avaliao devem ser descritas em detalhes, de forma a permitir a anlise da
adequao da informao coletada.

74

5) Informaes vlidas: os procedimentos para a coleta de informaes

devem ser escolhidos ou desenvolvidos e depois aplicados de forma a assegurar que
a interpretao de resultados seja vlida e til.

6) Informaes confiveis: os procedimentos para coleta de informaes

devem ser escolhidos ou desenvolvidos e depois aplicados de forma a assegurar que
a informao obtida seja suficientemente confivel.

7) Informao sistemtica: a informao coletada, processada e escrita em

relatrios deve ser sistematicamente revisada e qualquer erro encontrado deve ser
corrigido.

8) Anlise de informaes quantitativas: informaes quantitativas devem

ser apropriada e sistematicamente analisadas de forma a possibilitar responder
efetivamente s perguntas avaliativas formuladas.

9) Anlise de informaes qualitativas: informaes qualitativas devem ser

apropriada e sistematicamente analisadas de forma a possibilitar responder
efetivamente s perguntas avaliativas formuladas.

10) Concluses justificveis: as concluses de uma avaliao devem ser

explicitamente justificadas para que possam ser analisadas pelos principais
interessados/afetados pela avaliao e/ou pelo programa.

75

11) Imparcialidade de relatrios: os procedimentos para elaborao de

relatrios devero incluir mtodos que previnam possveis distores causadas por
sentimentos/opinies/vieses pessoais, a fim de que os relatrios reflitam de forma
justa os resultados da avaliao.

12) Meta-avaliao: o processo de desenvolvimento, bem como o possvel

impacto da avaliao para o programa, devem ser avaliados utilizando os Standards
descritos aqui, ou outros, a fim de garantir que o processo transcorra de forma
adequada e que, ao final, os principais interessados/afetados pela avaliao possam
visualizar com clareza os pontos positivos e as limitaes da avaliao.

76

3.3 PESQUISAS SOBRE A APLICABILIDADE INTERNACIONAL

DOS STANDARDS

Alguns estudos foram realizados sobre a aplicabilidade internacional dos

Standards.
Widmer (1995) realizou 15 meta-avaliaes na Sua, a fim de verificar a
relao entre os Standards e a prtica da avaliao no pas. O autor concluiu que os
Standards so perfeitamente aplicveis realidade daquele pas e que o seu uso foi
muito positivo para a anlise das prticas avaliativas.
Jang (2000) realizou pesquisa quantitativa descritiva visando a verificar a
aplicabilidade dos Standards na Coria do Sul. O autor verificou uma maior
aplicabilidade dos Standards relacionados a Viabilidade e Preciso. Foi observado
um choque de valores em relao a alguns dos Standards de Utilidade e Propriedade
(orientao para o servio, identificao de interessados, conflitos de interesse e
disseminao dos achados).
Taut (2001) realizou estudo baseado em literatura cross-cultural psicolgica e
antropolgica para identificar os valores que orientam cada um dos trinta Standards.
Segundo o autor, a origem norte-americana confere aos Standards caractersticas que
podem limitar sua transferncia para outros pases. Foram utilizadas as seguintes
dimenses culturais na anlise: individualismo vs. coletivismo, conservadorismo vs.
autonomia, hierarquia vs. igualitarismo, domnio vs. harmonia, comunicao direta
vs. comunicao indireta, rejeio incerteza, alto contexto vs. baixo contexto, e
senioridade. O autor concluiu que os Standards de Utilidade e Propriedade tm

77

aplicabilidade limitada em outras culturas. Alguns dos motivos desta dificuldade

decorrem do fato de que em muitos pases da sia, como ndia e Coria, valores
como o conservadorismo e a hierarquia sobrepujam os valores norte-americanos da
autonomia e do igualitarismo. O autor recomenda aos avaliadores que, trabalhando
fora dos Estados Unidos, levem em considerao as dimenses culturais e sociais
locais, numa anlise sistemtica e crtica de cada um dos Standards.

78

4 MODELAGEM DA PESQUISA

4.1 MTODO ADOTADO

Adotou-se como modelo orientador da pesquisa a metodologia de estudo de

casos mltiplos proposta por Yin (2001). Esta escolha deu-se pela necessidade de um
estudo em profundidade da adoo de determinados procedimento sugeridos pelos
Standards. Alm da viso de que o estudo de caso seja til para realizar pesquisas de
tipo exploratrio, neste estudo o mtodo de caso foi empregado para realizar uma
pesquisa descritiva. Segundo Yin, o estudo de caso tem sido muitas vezes
interpretado de maneira equivocada por aqueles que propem que diferentes
estratgias de pesquisa sejam dispostas de maneira hierrquica e que, nesta
perspectiva, o estudo de caso seja indicado apenas pesquisas exploratrias. Segundo
Schramm (1971) apud Yin (2001, p. 31), a essncia de um estudo de caso tentar
esclarecer uma deciso ou um conjunto de decises, incluindo o motivo pelo qual as
decises foram tomadas, como foram implementadas e quais resultados foram
alcanados. Yin sugere uma compreenso pluralstica quanto s possveis
estratgias para o emprego do estudo de caso e prope trs modalidades possveis:
estudos de casos exploratrios, descritivos e explanatrios.

79

Gil (2002) aponta trs objees para o uso do estudo de caso nico nas cincias
sociais. A primeira delas diz respeito ausncia de rigor metodolgico quando
comparado com modelos experimentais ou com levantamentos; esta fragilidade se
traduz em vis que pode comprometer o resultado das pesquisas. A segunda objeo
refere-se dificuldade de generalizao, j que impossvel propor generalizaes a
partir do estudo de um ou de poucos casos. A terceira objeo diz respeito ao longo
perodo de tempo demandado para este tipo de pesquisa que, segundo o autor, gera
resultados pouco consistentes em funo das mudanas rpidas no meio social.
Na presente pesquisa, pretendeu-se contornar as objees com a adoo dos
seguintes procedimentos: 1. Quanto possibilidade de vis, pretendeu-se minimizar
sua ocorrncia fazendo-se uso de instrumento quantitativo combinado com roteiros
qualitativos para coleta de informaes; 2. Quanto dificuldade de generalizao,
utilizou-se o estudo de um conjunto restrito de casos em funo da dificuldade de
identificar um nmero significativo de avaliaes no setor pesquisado. Como j foi
citado (IPEA, 2000 e GIFE, 2000), raras so as organizaes que realizam avaliaes
sistemticas; e, 3. Quanto ao fator tempo, procurou-se selecionar casos cuja natureza
e acesso permitissem que os procedimentos de coleta, anlise e interpretao fossem
realizados de forma relativamente gil.
O mtodo de casos mltiplos proposto por Yin foi adaptado em alguns
aspectos a fim de servir como base lgica para o estudo. O principal aspecto
modificado diz respeito etapa inicial, que prev o desenvolvimento de uma teoria
ou padro a ser pesquisado nos casos (figura 3). Foram escolhidos para ocupar esse
papel os Standards de Avaliao de Programas, que no constituem uma teoria, mas o
paradigma vigente de avaliao de programas nos Estados Unidos. Segundo Campbell
(1975) apud Yin (2001), a adequao a determinado padro pode ser entendida como o

80

meio pelo qual vrias partes da mesma informao do mesmo caso podem ser
relacionadas mesma proposio terica; enquanto paradigma, os Standards sugerem
padres passveis de comparao que se originaram de vrias teorias e prticas em uso.

Figura 3 Mtodo de estudo de casos mltiplos adaptado

DEFINIO E PLANEJAMENTO

PREPARAO, COLETA
E ANLISE

ANLISE E
CONCLUSO

Conduo de Estudo
de Caso N 1

Anlise Individual
dos Casos

Etapa I
Meta-avaliao
Etapa I I
Entrevistas
Aceitao dos
Standards

Seleo de casos
Anlise cruzada
dos Casos
Escolha do referencial
terico: Standards do The
Joint Committee of
Standards for Educational
Evaluation

Conduo de Estudo
de Caso N 2

Definio de
tcnicas e
instrumentos de
coleta de dados

Adoo ou
modificao dos
parmetros

Determinao de
implicaes polticas

Proposio de uso
dos Standards
Conduo de Estudos
de Caso
remanescentes (3,4 e 5)

Fonte: COSMOS Corporation apud Yin (2001), pg. 73

As justificativas quanto definio amostral, dados e procedimentos de

anlise nas etapas da pesquisa so descritas a seguir. O trabalho de campo
compreendeu dois momentos de coleta de dados (Etapas I e II). Portanto, alm de
uma coleta proposta pelo mtodo original, foi realizada uma segunda, que precedeu a
anlise cruzada dos dados.
81

4.2 SELEO DOS CASOS

Sendo esta uma pesquisa exploratria que no busca a incidncia ou a

predominncia de fenmenos, no recomendvel o uso de procedimentos
probabilsticos de definio amostral. Foram selecionadas cinco organizaes que
fazem investimento social privado e que se utilizam da avaliao de programas e
projetos como componentes de seu sistema de gesto. Definiu-se como casos, para
o contexto desta pesquisa, processos de avaliao externa de programas operados ou
apoiados pelas organizaes que fizeram parte da amostra. Foram selecionados casos
que atendessem aos seguintes critrios: 1. A avaliao ocorreu nos ltimos trs anos;
2. O gerente que contratou a avaliao vivenciou o processo desde a contratao at a
sua finalizao; e, 3. Existe documentao necessria para coleta de dados (contrato
da avaliao e relatrio da avaliao). Alm desses critrios, foi sugerido
instituio que contratou mais de uma avaliao que indicasse para ser caso da
pesquisa aquela que considerava ser a melhor delas realizada at aquele momento.
As organizaes gestoras dos casos de avaliao selecionados foram:

Fundao ABRINQ

Fundao Telefnica

Fundao Vale do Rio Doce

Instituto Ayrton Senna

Raytheon Corporation

82

4.3 DETALHAMENTO DA PRIMEIRA ETAPA DA PESQUISA

A pesquisa foi realizada em duas etapas visando, a permitir levantar, em um

primeiro momento, uma anlise dos procedimentos adotados desde a elaborao da
proposta de avaliao pelos avaliadores at a entrega de relatrios. Somente a partir
dessa anlise que foi possvel estruturar um quadro que configurasse o uso dos
Standards enquanto critrios de julgamento das prticas adotadas para que se
pudesse, ento, passar a buscar respostas para a questo central da pesquisa.
Para a primeira etapa, que buscou respostas para a pergunta Em que medida
as avaliaes externas de programas e projetos de organizaes do terceiro setor
obedecem aos Standards?, foram realizadas anlises de documentos e aplicados
instrumentos de Checklist para estruturao e anlise dos casos individualmente.
Para estudar as prticas avaliativas dos casos com os Standards fez-se uso da
meta-avaliao. Esta tcnica foi proposta por Scriven (1969) apud Stufflebeam
(1974) e refere-se avaliao de avaliaes. A tcnica foi concebida para avaliar
eventuais problemas como vieses, questes administrativas e erros tcnicos. Segundo
Worthen, Sanders & Fitzpatrick (1997, p. 440), durante a dcada de 60, avaliadores
comearam a discutir a necessidade de meta-avaliaes formais para garantir as
distines entre as avaliaes bem feitas das mal feitas. A partir desse perodo, vrios
avaliadores comearam a publicar suas propostas de critrios para meta-avaliao
(Stake, 1969; Stufflebeam et al., 1971; Stufflebeam, 1974; Scriven, 1974; Rossi,
1982). Os esforos para elaborao de critrios para avaliar avaliaes convergiram
para a elaborao dos Standards de Avaliao de Programas.

83

Stufflebeam (2000) desenvolveu um instrumento denominado Program

Evaluation - Meta Evaluation Checklist, com base nos Standards de Avaliao de
Programas. O instrumento indicado para meta-avaliaes e foi adaptado para o
presente estudo, visando aplicao para a avaliao dos casos selecionados.
composto pelos 30 Standards j apresentados. Para cada um deles so propostos seis
itens (checkpoints) a serem verificados (ver tabela 3), o que significa 180 itens a
serem verificados em cada caso. A adaptao feita no instrumento foi a incluso de
uma escala intermediria quanto ao cumprimento dos checkpoints. O instrumento
previa apenas duas escalas (cumpriu e no cumpriu). Na realizao do pr-teste,
percebeu-se que a escala proposta era muito rgida, incluindo-se na verso utilizada
neste estudo uma opo intermediria (cumpriu parcialmente).

Tabela 3 - Exemplo de um Standard e seus checkpoints especficos:*

U1 Identificao dos interessados

Foram definidos com o cliente os interessados mais importantes
O avaliador engajou lderes para identificar outros interessados
Os interessados ajudaram a identificar outros interessados
Foram consultados interessados para a identificao de suas necessidades de
informao
Foram propostas estratgias para envolvimento dos interessados durante a avaliao no
contrato
O avaliador manteve o processo de avaliao aberto para a incluso de novos
interessados
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =
* O instrumento completo encontra-se no Anexo A.
Fonte: Autor

O instrumento foi aplicado em duas etapas. Na primeira foi feita anlise de

documentos (proposta de consultoria, contrato, relatrios parciais e relatrio final)
para a aplicao de Checklist. Para alguns Standards no havia informao suficiente

84

nos documentos analisados para se proceder verificao. Para se obter essas

informaes, foi solicitado aos gerentes das organizaes envolvidas na pesquisa e
avaliadores o preenchimento de partes do instrumento sobre informaes no
encontradas nos documentos analisados.

85

4.3.1 Anlise e interpretao dos dados da primeira etapa

Apesar do instrumento de Checklist possibilitar um cmputo estatstico do

conjunto de casos quanto freqncia e prevalncia de situaes de no
cumprimento, cumprimento parcial ou cumprimento dos checkpoints pelo grupo de
casos estudados, as anlises numricas realizadas procuram obedecer a critrios
qualitativos quanto replicao de situaes de no cumprimento ou de
cumprimento parcial dos Standards.
Para Yin (2001), a aplicao da lgica estatstica no se aplica nos estudos de
caso por trs motivos: 1) Os estudos de caso no so indicados para avaliar a
incidncia de fenmenos apenas; 2) Um estudo de caso deve tratar do fenmeno e do
contexto onde ele se insere; e, 3) Cada estudo de caso consiste em um estudo
completo, no qual buscam-se provas convergentes a respostas de fatos que orientam
concluses de casos individuais. Em um conjunto de casos, as concluses individuais
necessitam de replicao nos outros casos para serem consideradas consistentes.
A anlise matemtica dos Checklist objetivou buscar em cada caso estudado,
situaes de convergncia com relao ao cumprimento dos checkpoints e de
divergncia quanto a situaes de no cumprimento ou cumprimento parcial dos
Standards. A anlise cruzada dos casos possibilitou a identificao de replicao das
trs possveis situaes.
Os instrumentos foram analisados individualmente, utilizando-se o critrio de
soma dos checkpoints cumpridos ou cumpridos parcialmente, possibilitando uma
pontuao de 0 (no cumprimento dos checkpoints) a 6 (cumprimento total dos

86

checkpoints) em cada um dos Standards. Aps a anlise individual, foi realizada

anlise do conjunto das meta-avaliaes, utilizando-se as mdias de pontuao dos
casos nos Standards. As mdias encontradas foram convertidas em percentuais, para
orientar decises analticas para a segunda etapa da pesquisa.
O produto gerado pela anlise desta primeira etapa foi uma relao de 17
Standards definidos como crticos por no terem sido cumpridos totalmente por pelo
menos trs dos cinco casos.
Alm da anlise em percentuais, efetuou-se uma anlise de desempenho do
conjunto de casos segundo a escala proposta por Stufflebeam (2000). A escala varia
de Pobre, Ruim, Bom, Muito Bom e Excelente. O que determina o desempenho nesta
proposta o maior nmero de checkpoints cumpridos.

87

4.4 DETALHAMENTO DA SEGUNDA ETAPA DA PESQUISA

Na segunda etapa da pesquisa foram realizadas entrevistas individuais e

aplicao de questionrios a cinco gerentes e cinco avaliadores visando a aprofundar
o estudo dos casos individualmente e estabelecer uma discusso sobre a adequao
dos critrios das bases de julgamento utilizadas (os Standards). Foram formulados
roteiros de entrevista estruturados a partir do produto gerado na primeira etapa da
pesquisa.
Os roteiros para gerentes e avaliadores diferiram em alguns aspectos. Parte do
roteiro dos gerentes cumpriu o papel de assegurar a validade interna da pesquisa.
Foram solicitadas informaes sobre fatos e procedimentos referentes aos itens
abordados pelo instrumento de Checklist, com o intuito de confirmar a anlise de
documentos. Segundo Patton (2002), este procedimento chamado de triangulao
de fontes de informao. Para os avaliadores, respeitando o status de especialistas,
solicitou-se comentrios sobre o no cumprimento dos checkpoints dos Standards
crticos pelos casos. Na parte comum do roteiro, os entrevistados foram convidados a
opinar sobre sua concordncia ou discordncia quanto aplicabilidade dos
Standards. Com isto, o processo de entrevista assegurou uma discusso prvia sobre
o uso dos parmetros propostos com base nas prticas dos entrevistados.

88

4.4.1 Anlise e interpretao dos dados da segunda etapa

Em um primeiro momento, foi realizada a anlise de percentuais no que se

refere concordncia quanto aos Standards propostos. A partir disso, selecionou-se o
grupo que obteve menor concordncia para anlise dos dados qualitativos levantados
nas entrevistas. Aps a organizao das transcries, utilizou-se a tcnica de anlise
de contedo, com o objetivo de identificar temas e tendncias sobre as questes
discutidas nas entrevistas. O mtodo de anlise utilizado foi o indutivo. Segundo
Patton (2002), a anlise indutiva envolve a descoberta de termos, temas e categorias
em um conjunto de dados. O resultado da anlise serviu de base para a elaborao de
concluses e recomendaes.

89

5 ANLISE E DISCUSSO

5.1 ANLISE DESCRITIVA

5.1.1 Caractersticas das instituies

Na tabela 4 so apresentadas as caractersticas gerais da organizaes

participantes da pesquisa.
Tabela 4 Resumo das caractersticas das organizaes participantes da pesquisa
Nome

reas de atuao

Fundao ABRINQ para

os Direitos das Crianas

Cultura
Educao
Famlia e comunidade
Sade e nutrio
Trabalho infantil
Educao
Sade
Desenvolvimento social
Ensino fundamental (da 1 8 srie)

Fundao Telefnica
Fundao Vale do Rio
Doce
Instituto Ayrton Senna

Rhaytheon Corporation31

Sobrevivncia - nutrio e sade

Desenvolvimento - educao, esporte,
arte e profissionalizao
Integridade fsica, moral e psquica
Educao
Meio ambiente

Tempo de atuao na
rea social no Brasil
13 anos

4 anos
35 anos
7 anos

5 anos

Fonte: Autor

31
O investimento social da Rhaythen Corporation vem ocorrendo no mbito da implantao do SIVAN Sistema
de Vigilncia da Amaznia. A Empresa realiza essa ao por meio de seu Departamento de Relaes com a
Comunidade.

90

5.1.2 Caractersticas dos programas e das avaliaes realizadas

Caso 1 - Programa Acelera Gois PAG (Instituto Ayrton Senna)

O programa

O PAG foi implementado em 1999 pelo Instituto Ayrton Senna, com apoio
financeiro da empresa TCO Celular, em parceria com a Secretaria Estadual de
Educao de Gois, em Escolas Pblicas de 193 Municpios, com o propsito de
contribuir para a diminuio da defasagem idade/srie, por meio do apoio a 9324
alunos multirrepetentes na superao de suas experincias escolares negativas. A
principal estratgia utilizada pelo Programa o treinamento de professores em duas
metodologias, uma voltada para corrigir a distoro idade/srie e outra destinada
alfabetizao. O Programa preconiza a relao personalizada do professor com o
aluno e o envolvimento da famlia no processo de acelerao de aprendizagem, para
que as crianas beneficiadas se recuperem.32

32

Fonte: folder institucional.

91

Caractersticas da avaliao realizada

A avaliao realizada foi externa e teve a inteno de verificar o impacto do

Programa, buscando respostas s seguintes perguntas:

1. Qual o impacto do PAG sobre o desempenho dos alunos no ano de 2001?

2. Os alunos do PAG apresentam desempenho semelhante ao dos alunos da 4
srie do ensino fundamental dos cursos regulares da rede oficial, tendo como
base de comparao a escala SAEB33/99?
3. O desempenho dos alunos do PAG de 2001 foi semelhante ao desempenho
dos alunos de 1999 e 2000?
4. A avaliao interna feita pelos professores do PAG correspondeu ao seu
desempenho na avaliao externa?
5. Quais as caractersticas dos alunos que se submeteram ao Programa em 2001
e como elas interferem no processo de aprendizagem?

O estudo avaliativo realizado foi quantitativo, tendo sido aplicado no incio e

no final do perodo de vigncia do PAG uma prova em uma amostra de 1396
educandos entre 9 e 19 anos de idade. Os resultados das provas so comparados entre
si e com outros parmetros de avaliao do desempenho dos alunos.34

33
34

Sistema Nacional de Avaliao da Educao Bsica

Fonte: Relatrio final da avaliao.

92

Caso 2 Programa Crer Para Ver PCPV (Fundao ABRINQ para os

Direitos das Crianas)

O Programa

O PCPV foi criado em 1995 a partir de uma parceria entre a Fundao Abrinq
e a empresa Natura Cosmticos, com o propsito de apoiar projetos de Organizaes
No Governamentais voltados melhoria da qualidade da escola pblica. A
Fundao Abrinq desempenha o papel de operadora do Programa e a Natura
Cosmticos a financiadora. Um Comit Diretor formado por representantes das
duas organizaes parceiras define as polticas de investimento. A aprovao dos
projetos apoiados pelo PCPV realizada sob orientao de um Comit Tcnico
composto por especialistas em educao, que faz a seleo dos projetos. Entre 1996 e
2001, 127 projetos foram apoiados em todo o Brasil. Os principais temas propostos
pelos projetos so: qualificao de professores; valorizao da diversidade cultural;
formulao e implantao de projetos poltico-pedaggicos; participao da
comunidade na escola; protagonismo de crianas e adolescentes e construo de
prticas educativas inovadoras.35

Caractersticas da Avaliao realizada

A avaliao foi realizada no ano de 2000, por avaliadores externos, com

propsito de verificar a efetividade social do PCPV.

35

Fonte: Caderno Crer Para Ver (2002). Vol. 6 Fundao Abrinq pg. 2.

93

Objetivos especficos da avaliao:

1. Discutir e definir um referencial sobre a qualidade da educao;
2. Mapear projetos, de acordo com aspectos bsicos do referencial;
3. Analisar os resultados do mapeamento, segundo critrios do Programa;
4. Analisar os relatrios do Programa, verificando se os mesmos apresentam
indicaes que possam dizer a favor da efetividade dos mesmos;
5. Construir um referencial para a avaliao do Programa;
6. Analisar relatrios de acompanhamento dos projetos, segundo os critrios
selecionados;
7. Realizar visitas de campo visando anlise de uma amostra de 12 projetos
apoiados pelo Crer para Ver, em diferentes regies do Pas;
8. Elaborar snteses avaliativas resultantes das anlises sobre as diversas
evidncias.

Para levar a cabo os objetivos propostos, optou-se por uma avaliao

qualitativa, por essa abordagem mostrar-se mais sensvel s diferenas entre os
projetos, aos acontecimentos imprevistos e s mudanas de percurso. Procurou-se
avaliar os processos e os produtos de cada um dos projetos, buscando informaes
junto aos seguintes atores envolvidos no Programa: Comit Tcnico, Gerentes do
Programa e Coordenadores e Educadores dos projetos apoiados.36

36

Fonte: Contrato de Prestao de servios assinado entre a Fundao Abrinq e os responsveis pela avaliao
(2000).

94

Caso 3 - Rede SACI Solidariedade, Apoio, Comunicao e Informao RS

(Fundao Telefnica)

O Programa

A Rede Saci um projeto que vem sendo implementado pela Coordenadoria

Executiva de Cooperao Universitria e de Atividades Especiais da Universidade de
So Paulo, em parceria com a Rede Nacional de Ensino e Pesquisa, o Ncleo de
Computao Eletrnica da Universidade Federal do Rio de Janeiro e o Instituto
Amankay de estudos e pesquisas. Alm desses parceiros, que respondem pela
operacionalizao do projeto, a Fundao Telefnica e Vitae Apoio Cultura,
Educao e Promoo Social patrocinam a iniciativa. A RS tem como misso:
incentivar o protagonismo e incluso da pessoa portadora de deficincia, atravs do
estmulo criao de condies de acessibilidade, do compartilhamento de
informaes sobre deficincia e da disponibilizao de ferramentas em meio digital.
A RS oferece cursos de alfabetizao digital, acesso gratuito Internet, e realiza
testes de programas e equipamentos para pessoas portadoras de deficincia (PPDs)
em 5 Centros de Informao e Convivncia (CIC); oferece vrios produtos e servios
em um Website (software adaptados, notcias, base de dados, oportunidades de
trabalho, fruns, etc.) para quase 2700 usurios (PPDs, familiares, profissionais da
rea, professores do ensino mdio e fundamental e outros).37

37

Proposta de avaliao externa da Rede SACI Solidariedade, Apoio, Comunicao e Informao. Dezembro
de 2001.

95

Caractersticas da avaliao realizada

A avaliao da RS foi realizada em 2001 por avaliadores externos com o

objetivo de verificar os principais pontos fortes e as fragilidades nas atividades
desenvolvidas, e de identificar tecnologias passveis de serem transferidas para outras
iniciativas de incluso de PPDs na sociedade. As seguintes perguntas foram
formuladas para orientar o estudo:

1. Em que medida os cursos oferecidos pela Rede esto sendo capazes de

desenvolver as habilidades necessrias para a incluso de sua clientela na
sociedade?
2. Qual o nvel de satisfao da clientela com os cursos oferecidos e qual a
possibilidade de replicar os cursos oferecidos pelo CIC?
3. Qual o nvel de utilizao, efetividade e satisfao das Pessoas Portadoras de
Deficincia (PPDs) que acessam o site da Rede SACI?

No estudo avaliativo foram utilizados mtodos quantitativos e qualitativos.

Foi desenvolvido um design que previu diferentes grupos amostrais pertencentes aos
distintos pblicos. As formas de coleta de informaes adotadas foram: questionrios
via Web, questionrios via e-mail, grupos focais, observao participante, entrevistas
presenciais, entrevistas por telefone e coleta de documentos impressos e eletrnicos.

96

Caso 4 Programa Escola que Vale PEV (Fundao Vale do Rio Doce)

O Programa

O PEV foi criado em 1999, a partir de uma parceria entre a Fundao Vale do
Rio Doce - FVRD e a organizao no governamental Centro de Estudos e
Documentao para Ao Comunitria CEDAC. A FVRD responsvel pela
atuao social da Companhia Vale do Rio Doce CVRD, a financiadora e gestora do
PEV. O CEDAC, que possui larga experincia na concepo e implantao de
programas sociais e educacionais, responsvel pela coordenao geral do PEV. As
duas instituies selecionaram seis municpios onde a CVRD atua (Marab e
Paraupebas, PA; So Lus e Aailndia, MA; Joo Leiva, ES; e, Catas Altas, MG) e
realizaram um diagnstico da situao das escolas pblicas envolvendo diferentes
atores da comunidade escolar. A partir do diagnstico definiu-se o seguinte propsito
para o PEV: provocar uma transformao substancial da prtica do professor e,
conseqentemente, da escola, permitindo a professores e alunos estabelecerem uma
nova relao com o conhecimento... trazer aos professores e alunos a possibilidade
de eleger contedos em sentido real e sugerir trabalhos que tenham significado para
quem os realiza e para a comunidade de dentro e de fora da escola38. A principal
estratgia utilizada para levar a cabo o propsito do Programa foi a capacitao dos
professores de 25 escolas pblicas nos seis municpios na implantao de projetos
educativos. O CEDAC ofereceu 13 alternativas temticas de projetos para a escolha
pelos professores e posterior implantao nas escolas.
38

Fonte: Documento de logstica. Janeiro de 2000. p. 31 apud Relatrio final da avaliao. p. 6.

97

Caractersticas da avaliao realizada

A avaliao realizada, denominada por seus responsveis como pesquisa

avaliativa, foi externa, processual e teve como principal propsito apreender os
processos de implementao do Programa, assim como os fatores e relaes
facilitadoras ou complicadoras na obteno dos resultados pretendidos, considerando
que tais resultados no se esgotam na capacitao do professor e nem em 6 meses de
interveno39. Os seguintes eixos estruturantes compuseram o design do estudo
realizado:

Os alunos: ganhos no desempenho escolar, em sociabilidade e

participao na vida pblica/comunitria;

O professor: ganhos de competncia e de prtica democrtica;

impactos na vida pessoal/profissional e na vida pblica/comunitria;

A escola: qualidade do vnculo escola/comunidade e ganhos de

competncia e insero na comunidade;

As famlias: envolvimento e impactos na ampliao de seu universo

informacional/cultural e na participao pr-ativa no mbito da escola;

A comunidade: grau de envolvimento e impactos no fortalecimento

de vnculos e de identidade de seus habitantes.

A rede local de parcerias: seu desempenho referido aos processos de

mobilizao e irradiao na melhoria da qualidade do ensino municipal.

39

Fonte: Pesquisa Avaliativa Programa Escola que Vale, So Paulo, 2000

98

A pesquisa avaliativa teve carter quantitativo e qualitativo. Foram coletadas,

em uma primeira etapa, informaes relativas ao contexto socioeducacional dos seis
municpios, atravs do levantamento de alguns indicadores relacionados aos
interesses de atuao do PEV. Na segunda etapa do estudo, avaliou-se a percepo
dos professores quanto aos diferentes Projetos de Trabalho desenvolvidos, em
relao aos eixos estruturantes propostos. A terceira e ltima etapa envolveu a
aplicao de uma Ficha de Atitudes e Habilidades dos alunos, preenchidas pelos
professores.40

40

Fonte: Pesquisa Avaliativa Programa Escola que Vale. (Relatrio Parcial), 2000.

99

Caso 5 Programa de Educao na Amaznia PEA

(Raytheon Corporation)

O Programa

O PEA foi criado em 1998 pelo Departamento de Relaes com a

Comunidade da Raytheon Corporation, vinculado implantao do Projeto SIVAN
Sistema de Vigilncia da Amaznia. Um diagnstico realizado por uma consultoria
especializada sugeriu as seguintes orientaes para o desenho do PEA: 1. centrar as
aes do Programa em formao continuada de professores do ensino fundamental
de escolas pblicas; 2. incluir as Universidades Federais nos projetos; 3. contratar um
gerente para monitorar a implementao dos projetos; 4. localizar os projetos nos trs
grandes centros urbanos da Amaznia, ou seja, as cidades de Belm, Manaus e Porto
Velho, que so os centros regionais do SIVAM. Em 1999 foram constitudas trs
equipes das Universidades Federais das cidades envolvidas, que desenvolveram
projetos visando a atender demandas especficas dos sistemas educacionais pblicos
dos trs municpios, atendendo a quatro eixos comuns: 1) prioridade para as
primeiras quatro sries do Ensino Fundamental das escolas pblicas; 2) capacitao
dos professores em servio; 3) aes complementares que proporcionem um
envolvimento das comunidades em torno das escolas participantes; e, 4) produo de
resultados mensurveis. Os projetos envolveram a participao de 492 profissionais,
entre coordenadores, docentes das universidades, diretores e professores de escolas
pblicas.

100

Caractersticas da avaliao realizada

A avaliao foi externa, de processo e teve como propsito: detectar pontos fortes e
frgeis, bem como oportunidades e riscos de cada Projeto, a exemplo do formato
SWOT

Strengths,

Weaknesses,

Oportunities,

Threats...

para

consolidar

entendimentos, apoiar necessrias atuaes e ampliar comprometimento e

aperfeioamento de indivduos, grupos, projetos, programas, instituies e sistemas,
enquanto permite a formulao de juzos e recomendaes, que geram aes,
polticas e conhecimentos.41 Foram formuladas trs perguntas para orientar o estudo
avaliativo:

1. At que ponto o Programa de Educao na Amaznia, atravs de seus

Projetos, evidencia resultados significativos e justificveis?

2. O Programa de Educao na Amaznia, atravs de seus Projetos, vem

desenvolvendo um processo efetivo para o alcance de seus propsitos?

3. At que ponto o Programa de Educao na Amaznia, atravs de seus

Projetos, evidencia capacidade de auto-sustentao e continuidade?

41

Fonte: Relatrio final da avaliao do Programa Educao na Amaznia, 2002,p. 6.

101

A abordagem metodolgica adotada foi baseada no modelo construtivista e

responsivo proposto por Guba & Lincoln. Houve intenso envolvimento dos
interessados desde a definio das perguntas avaliativas e indicadores, at a fase de
discusso dos resultados preliminares da avaliao. Alm do desenvolvimento de
estreito relacionamento com os interessados, foram coletadas informaes
quantitativas e qualitativas com os diferentes atores do PEA, atravs de grupos
focais, entrevistas individuais, Checklists, conversas informais, observao
participante e consulta a documentos.42

42

Fonte: Relatrio final da avaliao do Programa Educao na Amaznia, 2002,p. 6.

102

5.1.3 Perfil dos Entrevistados

A. Perfil dos gerentes

Foram entrevistados cinco gerentes, responsveis pelos programas que

passaram pela avaliao, acompanhando de perto todas as etapas do processo. Quatro
gerentes entrevistados esto entre 35 e 50 anos de idade, um outro est acima de 50
anos de idade. Os cinco possuem terceiro grau, sendo que um deles possui o grau de
mestre e outro o de doutor. Todos tm formao na rea de cincias humanas. Os
cinco gerentes esto h mais de trs anos gerenciando os programas e acompanharam
todo o processo de avaliao realizado. Trs gerentes esto h pelo menos trs anos
na instituio, e dois h mais de seis anos. Todos possuem experincia prvia com
trabalho na rea social. As caractersticas de formao, experincia profissional e
tempo frente dos programas denotam um alto grau de profissionalizao e de
conhecimento sobre estes programas e sobre as avaliaes alvo desta pesquisa.

103

B. Perfil dos Avaliadores

Os cinco avaliadores entrevistados, responsveis pela coordenao das

avaliaes realizadas, esto acima dos 50 anos de idade. Quatro so doutores e um
livre-docente. Quatro possuem graduao na rea de cincias humanas e um na rea
de cincias biolgicas. Todos exercem atividades de docncia e pesquisa. Quatro
atuam h mais de 20 anos nessas atividades e um deles entre 10 e 15 anos. A
experincia, especificamente na rea de avaliao, tambm extensa. Trs atuam
nesta rea h mais de 20 anos e dois entre 10 e 15 anos. Os entrevistados possuem
portanto, extensa e respeitvel experincia em docncia, pesquisa e avaliao. Nas
entrevistas foi possvel constatar que as atividades de avaliao de programas e
polticas sociais governamentais ocuparam preponderantemente a pauta de trabalho
desses pesquisadores. Conforme sua experincia, a demanda por avaliao de
projetos e programas do terceiro setor vem crescendo nos ltimos cinco anos.

104

5.2 ANLISE DE RESULTADOS - PRIMEIRA ETAPA DA PESQUISA

- META-AVALIAO

A seguir so apresentadas as anlises de desempenho do conjunto de casos

em relao aos 180 checkpoints verificados nos casos individualmente. Os resultados
desta meta-avaliao so demonstrados em termos percentuais de cumprimento dos
itens e em relao aos critrios originalmente propostos por Stufflebeam (2000) no
instrumento de Checklist. As anlises permitem responder seguinte questo:

Questo 1 - Em que medida as avaliaes externas de programas e projetos

de investimento social privado obedecem aos Standards?

Na tabela 5 apresentado o desempenho dos cinco casos estudados em

relao aos 30 Standards em termos percentuais. Apesar da representao numrica,
no se pretendeu com os nmeros realizar uma anlise de freqncia de fenmenos, e
sim, a partir das informaes quantitativas, identificar convergncias de atendimento
aos padres propostos pelos Standards.
Alm da representao em percentuais, na figura 4 e na tabela 6 so
apresentados os desempenhos mdio e individual dos casos, seguindo a proposta
original do instrumento utilizado. Na tabela 7 est representada a identificao de
Standards Crticos, definidos a partir de uma das anlises do Checklist,
observando-se a incidncia no grupo de situaes de no cumprimento e/ou
cumprimento parcial dos checkpoints por trs ou mais casos.

105

5.2.1 Desempenho geral dos casos em relao aos Standards

O conjunto dos Standards de Utilidade - U foi cumprido em menor medida

(76%), seguido do de Preciso - PC (77%), Viabilidade - V (81%) e Propriedade PR (81%). Apesar dos elevados percentuais, ao aplicar os critrios de anlise de
Stufflebeam, utilizando a mdia de pontuao do conjunto de casos em cada um dos
Standards, observou-se um desempenho Bom em cada um dos grupos (tabela 6).
Esse desempenho esteve muito prximo de um patamar maior Muito Bom nos
Standards de Utilidade, Viabilidade e Preciso.
Vale ressaltar que a anlise realizada nesta etapa destina-se a fornecer
elementos para a segunda etapa da pesquisa. Conforme acordado com as instituies
envolvidas com os casos estudados, no houve nesta etapa o intuito de emisso de
juzo de valor sobre as avaliaes realizadas. O principal objetivo foi estabelecer um
quadro de situao dos processos avaliativos alvo da pesquisa em relao aos
Standards.

A. Desempenho dos casos em relao aos Standards de Utilidade (U)

Em trs dos sete Standards de Utilidade (U1 - Identificao de interessados:

50%; U6 - Entrega a tempo e disseminao de relatrios: 55%; e, U7 - Impacto da
avaliao: 67%), os casos apresentaram desempenho visivelmente inferior aos outros
quatro. O baixo desempenho no U1 - Identificao de interessados, refere-se a uma
caracterstica de quatro dos cinco casos na identificao e atendimento de

106

necessidades, apenas de interessados ligados organizao financiadora da avaliao

e/ou do grupo gestor do Programa. A diretriz proposta pelo U1 Pessoas envolvidas
ou afetadas pela avaliao devem ser identificadas, de forma que suas necessidades
possam ser atendidas, no se restringindo, portanto, aos interesses apenas dos que
contratam a avaliao. O U1 estende a outros usurios do Programa, que so em
alguma medida afetados pela avaliao, a possibilidade de ter suas questes
respondidas por ela. Em apenas um dos casos observou-se o engajamento de outros
interessados alm dos patrocinadores e gestores do Programa.
Com relao ao U6 - Entrega a tempo e disseminao de relatrios, dois
aspectos contriburam para o baixo desempenho. Apenas um dos casos cumpriu os
prazos previstos para a entrega dos relatrios. Nenhum dos casos cumpriu totalmente
um checkpoint que diz respeito ao desenvolvimento de releases para divulgao na
mdia. O primeiro aspecto o mais crtico com relao ao cumprimento do U6, j
que o cumprimento dos prazos na produo de relatrios est relacionado ao
fornecimento de informaes para a tomada de decises, como observa-se no
enunciado do U6: relatrios parciais com informaes relevantes devem ser
produzidos e disseminados durante o processo avaliativo para que decises
importantes possam ser tomadas em tempo oportuno. A morosidade no preparo de
relatrios e na disseminao das informaes compromete um atributo essencial de
uma avaliao que a gerao de informaes teis tomada de decises.
O baixo desempenho no U7 Impacto da avaliao, deveu-se ao no
cumprimento total dos checkpoints pelo conjunto de casos em trs itens. O primeiro
item est relacionado ao fornecimento de follow-up, suporte e apoio para a
interpretao dos achados da avaliao. Dois casos cumpriram totalmente esse item,
um no cumpriu e dois outros cumpriram parcialmente. O segundo item est

107

relacionado clareza com a qual o avaliador comunicou as possibilidades de

incorporao dos achados no trabalho dos beneficirios da avaliao. Um dos casos
cumpriu plenamente esse item, um no cumpriu e trs cumpriram parcialmente. O
terceiro checkpoint diz respeito a reunies de feedback para discusses mais
aprofundadas, para ir alm da interpretao e discutir a implementao das
recomendaes geradas pela avaliao.

B. Desempenho dos casos em relao aos Standards de Viabilidade (V)

O Standard de menor desempenho foi o V3 Custo efetividade (73%). Um

dos casos cumpriu todos os checkpoints. Nos outros quatro casos, quatro foram os
checkpoints nos quais observou-se menor desempenho. O primeiro deles est
relacionado produo, pela avaliao, de informaes novas, teis tomada de
decises. Um caso cumpriu totalmente o item e trs parcialmente. Nos trs outros
checkpoints, repetiu-se o cumprimento observado no anterior (um caso cumpriu
totalmente e trs parcialmente). Os trs checkpoints referem-se a: 1) Fomento pelo
avaliador a melhorias do Programa; 2) Produo de informaes sobre o
accountability (uso responsvel de recursos e prestao de contas s autoridades
superiores ligadas ao programa. Exemplo: Financiadores e Conselho Diretor); e, 3)
Gerao de novos insights sobre o programa.
O V3, cuja diretriz a avaliao deve ser eficiente e produzir informaes
relevantes de modo a justificar os custos, diz respeito qualidade das informaes
geradas pelo processo avaliativo. Enquanto os dois checkpoints dos Standards (U6 Entrega a tempo e disseminao de relatrios e U7 - impacto da avaliao), dizem
respeito a procedimentos para assegurar o uso da informao, a dimenso do

108

custo/efetividade sugere a dimenso da relao esforo (tempo e recursos) com a

dimenso qualidade do produto (informaes novas, teis e geradoras de
aprendizagens). A fragilidade nesses quesitos pode estar relacionada ao
entendimento que se estabelece entre avaliador e cliente quando se define o objeto, o
foco e os usos que se pretendem fazer das informaes geradas pela avaliao.

C. Desempenho dos casos em relao aos Standards de Propriedade (PR)

O PR2 Termos contratuais previstos, foi o de menor desempenho pelo

conjunto de casos (67%). Dois foram os checkpoints nos quais os casos apresentaram
um maior nmero de no cumprimento ou cumprimento parcial. Definio do
formato de relatrios foi cumprido totalmente por apenas um dos casos,
parcialmente por um outro e trs deles no cumpriram esse item. Definio de
estratgias de disseminao foi cumprido parcialmente por um caso e no cumprido
pelos outros quatro casos. Essas constataes revelam pouca preocupao por parte
dos avaliadores e tambm a no observao por parte dos gerentes da necessidade de
se definir estratgias de comunicao a priori.
O desempenho dos casos com relao ao PR5 Levantamento completo e
justo (73%) foi afetado pelo no cumprimento pela maioria deles dos checkpoints
relacionados ao no reconhecimento no relatrio final, por parte dos avaliadores, das
limitaes na anlise de alguns aspectos e do processo avaliativo. Em dois dos cinco
relatrios foram expressas informaes sobre as limitaes dos estudos avaliativos
efetuados. Com relao s limitaes nas anlises, apenas um caso cumpriu
parcialmente o item. Na anlise dos Standards de Preciso a discusso desses itens
ser retomada.

109

Nos trs outros Standards de menor percentual (PR6 - 83%, PR7 - 78% e
PR8 - 68%), apenas um checkpoint em cada um deles influenciou um percentual
mais baixo no cumprimento dos Standards. Com relao ao PR6 Divulgao dos
achados, observou-se que os cinco casos cumpriram parcialmente o item relacionado
ao empenho do avaliador para que os relatrios chegassem a diferentes audincias. O
compartilhamento restrito de informaes est estreitamente relacionado ao
envolvimento de poucos interessados desde o incio do processo avaliativo. O item
de menor cumprimento, o PR7 Conflitos de interesse, est tambm relacionado ao
encaminhamento de relatrios, mas, para uma audincia especfica, ou seja, o diretor
presidente da organizao. Em dois dos cinco casos houve por iniciativa do avaliador
o envio de relatrio diretamente para o diretor presidente da organizao contratante.
O checkpoint relacionado incluso de um informe sobre o uso dos recursos
destinados avaliao pelos avaliadores foi o item que mais influenciou o baixo
percentual relativo ao cumprimento do PR8 Responsabilidade fiscal. Em nenhum
dos cinco casos observou-se a incluso de informes dessa natureza.

D. Desempenho dos casos em relao aos Standards de Preciso (PC)

Dentre os 12 Standards de Preciso, os casos apresentaram desempenho

crtico no PC12 Meta-avaliao. Nenhum dos cinco casos cumpriu nenhum dos
seis checkpoints propostos. Apenas um deles menciona a importncia da metaavaliao durante o processo avaliativo, mas no foi feita uma proposta formal que
atendesse aos checkpoints propostos.
O desempenho dos casos no PC6 Informaes confiveis (72%) e no PC9
Anlise de informaes qualitativas (70%) foi prejudicado devido ocorrncia de

110

dois checkpoints crticos em cada Standard, sendo que os dois esto relacionados
comunicao de limitaes metodolgicas do processo avaliativo. No primeiro caso
(PC6), o checkpoint relaciona-se necessidade do avaliador de comunicar as
limitaes sobre as fontes de informao e anlise de inferncia e, no segundo (PC9),
de informar fatores que influenciaram as caractersticas de anlise. Essas fragilidades
reforam o baixo desempenho dos checkpoints do PR5 Levantamento completo e
justo, especialmente naquele relacionado comunicao nos relatrios sobre as
limitaes dos estudos avaliativos.

111

Tabela 5 Desempenho geral dos casos nos Standards

STANDARDS
STANDARDS DE UTILIDADE
U1 Identificao dos interessados
U2 Credibilidade do avaliador
U3 Escopo e seleo das informaes
U4 Identificao de valores
U5 Clareza dos relatrios
U6 Entrega a tempo e disseminao de relatrios
U7 Impacto da avaliao
STANDARDS DE VIABILIDADE
V1 Procedimentos prticos
V2 Viabilidade poltica
V3 Custo-efetividade
STANDARDS DE PROPRIEDADE
PR1 Orientao para o servio
PR2 Acordos formais
PR3 Direitos dos indivduos
PR4 Relaes humanas
PR5 Avaliao completa e justa
PR6 Divulgao dos resultados
PR7 Conflito de interesses
PR8 Responsabilidade fiscal
STANDARDS DE PRECISO
PC1 Documentao do Programa
PC2 Anlise de contexto
PC3 Descrio de propsitos e procedimentos
PC4 Fontes de informaes defensveis
PC5 Informaes vlidas
PC6 Informaes confiveis
PC7 Informao sistemtica
PC8 Anlise de informaes quantitativas
PC9 Anlise de informaes qualitativas
PC10 Concluses justificveis
PC11 Imparcialidade de relatrios
PC12 Meta-avaliao

Totais *

% **

159

76%

15

50%

28,5

95%

28,5

95%

26,5

88%

24

80%

16,5

55%

20,0

67%

73

81%

26,5

88%

24,5

82%

22,0

73%

195,5

82%

27

96%

20

67%

29,5

98%

28,0

93%

22,0

73%

25,0

83%

23,5

78%

20,5

68%

278

77%

25,0

83%

27,0

90%

25,0

83%

26,0

87%

28,0

93%

21,5

72%

28,5

95%

23,0

77%

21,0

70%

27,0

90%

26,0

87%

0,0

0%

* Soma total dos checkpoints totalmente cumpridos e cumpridos parcialmente pelos cinco casos.
** Percentual de checkpoints cumpridos somados aos cumpridos parcialmente pelos cinco casos
Fonte: Autor

112

5.2.2 Anlise de performance dos casos segundo proposta de Stufflebeam

A anlise proposta por Stufflebeam (2000) refere-se a casos individuais.

Prev a compilao e soma do nmero de checkpoints cumpridos em cada Standard
que resulta em um produto A. Esse produto alocado em intervalos e
multiplicado por fatores propostos pelo autor (at 6 X 4; entre 5 e 5,9 X 3; entre 4 e
4,9 X 2 e entre 2 e 3,9 X 1), e os produtos dessas multiplicaes so somados,
resultando em uma pontuao que se enquadra em um dos intervalos que
correspondem aos conceitos: excelente, muito bom, bom, ruim e pobre (ver memria
de clculo no anexo B). Para a anlise do grupo, foi considerada a mesma lgica
proposta, utilizando-se as mdias do cumprimento dos checkpoints em cada um dos
Standards. As mdias foram multiplicadas por fatores propostos no modelo. Esses
intervalos vem a corresponder a um percentual que, por sua vez, corresponde a um
conceito (tabela 6).
Os casos foram analisados individualmente utilizando-se os mesmos
parmetros supracitados. Como no objetivo deste trabalho tecer consideraes
sobre o desempenho comparado nos casos, eles esto classificados em ordem
decrescente de desempenho segundo os critrios propostos, sem sua identificao
(figura 4).

113

Tabela 6 Performance do conjunto de casos nos Standards

Utilidade

Pontuao
17

26 28

(93%)

Excelente

19 25

(68%)

Muito bom

14 18

(50%)

Bom

7 13

(25%)

Ruim

05

(0%)

Pobre

Viabilidade

Pontuao
7

11 12

(93%)

Excelente

8 10

(68%)

Muito bom

67

(50%)

Bom

35

(25%)

Ruim

02

(0%)

Pobre

Propriedade

Pontuao
18

30 32

(93%)

Excelente

22 29

(68%)

Muito bom

16 21

(50%)

Bom

8 15

(25%)

Ruim

07

(0%)

Pobre

Preciso

Pontuao
31

45 48

(93%)

Excelente

33 44

(68%)

Muito bom

24 32

(50%)

Bom

12 23

(25%)

Ruim

0 11

(0%)

Pobre

Fonte: Autor

114

 possvel observar que em trs dos quatro conjuntos de Standards os casos

estiveram muito prximos de uma performance muito boa. Nos de Viabilidade o
valor mximo para ser considerado Bom era 7, igual ao valor atingido. Para os
Standards de Utilidade e Preciso seriam necessrios mais trs pontos para a
conquista pelo conjunto de casos do conceito Muito Bom.
Com relao ao desempenho individual, um dos casos destacou-se em trs
conjuntos de Standards (Utilidade, Viabilidade e Propriedade), ficando os de
Preciso apenas um ponto atrs do melhores desempenhos neste quesito.

115

Figura 4 - Desempenho individual dos casos segundo anlise de Stufflebeam

Pobre

Ruim

Bom

Muito

Excelente

Pontuao

Bom

Caso A
Utilidade

23

Viabilidade

11

Propriedade

23

Preciso

37

Caso B
Utilidade

16

Viabilidade

Propriedade

22

Preciso

37

Caso C
Utilidade

15

Viabilidade

Propriedade

18

Preciso

38

Caso D
Utilidade

15

Viabilidade

Propriedade

23

Preciso

25

Caso E
Utilidade

16

Viabilidade

Propriedade

17

Preciso

33

Fonte: Autor

116

5.2.3 Standards crticos

Visando a preparar uma sntese do resultado da meta-avaliao para ser

utilizada na segunda parte da pesquisa, foram identificadas situaes de convergncia
quanto ao no atendimento pelos casos dos checkpoints (total ou parcial)
relacionados aos 30 Standards. A anlise de convergncia originou uma
categorizao denominada Standards Crticos (apresentados na tabela 7) para
identificar as situaes onde ocorreram trs ou mais dessas situaes.
Os 17 Standards Crticos foram utilizados para a formulao de roteiros de
entrevistas, com perguntas abertas e fechadas, estruturados para gerentes e
avaliadores (Anexos C e D), e cumpriram trs propsitos: 1) Levantar informaes
complementares sobre os Standards Crticos para possibilitar maior entendimento
dos fenmenos relacionados aos aspectos por eles abordados; 2) Possibilitar aos
entrevistados um maior entendimento sobre os Standards e sua aplicao,
habilitando-os para emisso de juzo de valor sobre a aplicabilidade desses padres
na realidade brasileira; e, 3) Verificar o grau de concordncia com o proposto pelos
Standards, bem como sugestes para sua adequao realidade brasileira.

117

Tabela 7 - Standards Crticos

Standards crticos*

Checkpoints
NC/CP

STANDARDS DE UTILIDADE
U1 Identificao dos interessados

U5 Clareza dos relatrios

U6 Entrega a tempo e disseminao de relatrios

U7 Impacto da avaliao

STANDARDS DE VIABILIDADE
V2 Viabilidade poltica

V3 Custo-efetividade

STANDARDS DE PROPRIEDADE
PR2 Acordos formais

PR5 Avaliao completa e justa

PR6 Divulgao dos resultados

PR7 Conflito de interesses

PR8 Responsabilidade fiscal

STANDARDS DE PRECISO
PC2 Anlise do contexto

PC4 Fontes de informaes defensveis

PC6 Informaes vlidas

PC9 Anlise de informaes qualitativas

PC11 Imparcialidade de relatrios

PC12 Meta-avaliao

* trs ou mais situaes de no cumprimento (NC) ou cumprimento parcial (CP) dos checkpoints
pelos 5 casos
Fonte: Autor

118

5.3 SEGUNDA ETAPA DA PESQUISA - POSICIONAMENTO EM

RELAO AOS STANDARDS

Nesta etapa so respondidas as questes cruciais da pesquisa. Os dados

analisados referem-se a duas rodadas de coleta: 1) entrevistas realizadas com os
cinco gerentes e cinco avaliadores, e 2) preenchimento de questionrios
complementares pelos mesmos entrevistados. Buscou-se aprofundar e confirmar
informaes geradas a partir da meta-avaliao, discutir o desempenho dos casos nos
Standards e levantar junto aos entrevistados seu posicionamento quanto
aplicabilidade desses Standards na realidade brasileira. Foi realizada a anlise
qualitativa dos dados gerados pelo conjunto de entrevistas, procedendo-se, enquanto
etapa da pesquisa, ao que Yin (2001) denomina de anlise cruzada dos casos.

Questo 2 - Como os gerentes e avaliadores se posicionam em relao aos

Standards?

Questo 3 - Quais dos Standards so condizentes e aplicveis, considerandose o atual estado da arte da avaliao de programas e projetos sociais desenvolvidos
por organizaes que fazem investimento social privado?

119

5.3.1 Uso e utilidade dos Standards

Na primeira parte da entrevista com os gerentes e avaliadores, procurou-se

identificar o grau de familiaridade com os Standards. Apenas um dos entrevistados
informou conhec-los e t-los utilizado na avaliao realizada. O avaliador de um
outro caso informou conhec-los mas no fez uso dos mesmos no caso em estudo.
Aps uma breve apresentao do processo de construo dos Standards e dos
propsitos de sua aplicao, solicitou-se a opinio dos entrevistados sobre a
necessidade de se discutir e desenvolver um conjunto de Standards aplicveis
realidade brasileira. Os respondentes foram unnimes no reconhecimento dessa
necessidade e da sua importncia e tambm foram apontadas algumas preocupaes
e condies para que um conjunto de Standards seja realmente til:

...acredito que uma linha de trabalho, ou alguma coisa que paute o trabalho
seja realmente interessante sim. Gerente 1
...a gente no tem um padro para todos e isso seria bastante til. Gerente 2

...interessante eu acho que seria. S que difcil chegar numa coisa boa...
que no fique assim muito burocrtica, e que no perca a dimenso de cada caso e
de cada contexto que est sendo trabalhado. Gerente 3
...uma primeira contribuio seria na prpria intencionalidade da criao
dos Standards, que de orientar os gerentes na escolha, na proposta de avaliao.
Acho que isso muito bom, penso tambm que do ponto de vista dos avaliadores
interessante, desde que isso no se configure (em) amarras. Avaliador 1

120

...eu acho que eles tm que ser flexibilizados... esta proposta tem
ingenuamente uma viso positivista. Avaliador 2
As preocupaes foram expressas mesmo com apresentao das
recomendaes feitas pelo The Joint Committee of Standards for Educational
Evaluation:
Os Standards so princpios orientadores e no regras mecnicas.
Eles contm orientaes para evitar eventuais erros e se
fundamentam em prticas generalizadamente aceitas, alm de propor
diretrizes que refletem as best-practices em avaliao de programas
atualmente43
As anlises feitas pelos entrevistados sobre os Standards individuais luz de
sua prtica e do contexto em que ocorreram as avaliaes apontaram que, apesar de
que a proposio de uso dos Standards pelos seus criadores no seja rgida, a
formulao de alguns deles sugere certa rigidez. Isto afeta sua aplicabilidade
realidade brasileira.

43

The Program Evaluation Standards, p.8

121

5.3.2 Posicionamento dos entrevistados em relao aos Standards

Os dez entrevistados posicionaram-se com um alto grau de concordncia em

relao aplicabilidade da maioria dos 30 Standards, como se verifica na tabela 9.
Trs Standards obtiveram 100% do grau mximo de concordncia, 11 obtiveram
90%, cinco obtiveram 80% e seis obtiveram 70%. Em termos numricos, esses dados
demonstram que 21 dos 30 Standards receberam de pelo menos sete dos dez
entrevistados um posicionamento de total concordncia sobre sua aplicabilidade no
contexto brasileiro.
Esse referencial numrico til para a definio de um critrio analtico sobre
o tpico central da questo trs da pesquisa. Os cinco Standards que apresentaram
menor grau de concordncia (60% e 50%) e um outro que, apesar de estar entre o
grupo de concordncia igual ou superior a 70% recebeu opinies de discordncia
sobre sua aplicabilidade, sero alvo de discusso mais aprofundada com base nas
anlises de possibilidades de aplicao, crticas e sugestes de adaptaes para uma
melhor adequao nossa realidade. (Ver tabela 8.)

122

Tabela 8 Percentuais de concordncia com relao aos Standards

Concordncia
Total

Discordncia
Muito

Pouco

Pouco

Muito

Total

100

40%

30%

20%

10%

11

90%

30%

20%

10%

80%

20%

10%

70%

13

10%

60%

50%

n = nmero de Standards
Fonte: Autor

Na tabela 9 so apresentados os 30 Standards em ordem decrescente de

concordncia quanto sua aplicabilidade. Dentre os 14 que obtiveram maior
aceitao (grau de concordncia muito, 100% - n = 3 e 90% - n = 11) encontram-se
apenas quatro do conjunto definido como crtico na primeira etapa. Trs dos sete
Standards de utilidade (U1, U4 e U6) tiveram menor aceitao (entre 50% e 60%), e
dois de propriedade, apesar de bom grau de concordncia mxima (90% e 70%),
receberam posicionamento de discordncia por parte de um pequeno percentual de
entrevistados (10% e 20%). Dois Standards de preciso (PC4 e PC12) foram alvo de
menor concordncia (60%), sendo que o PC12, identificado como o mais crtico na
etapa anterior, recebeu percentuais de menor concordncia e de discordncia em
maior medida que os outros 29 Standards.

123

Tabela 9 Grau de concordncia/ discordncia dos Standards

Standards

Grau de concordncia

Grau de discordncia

total

pouco

muito

pouco

U2 Credibilidade do avaliador

100%

U3 Escopo e seleo de informaes

100%

PR3 Direitos dos indivduos

100%

*U5 Clareza dos relatrios

90%

10%

*V3 Custo-efetividade

90%

10%

PR4 Relaes humanas

90%

10%

PC1 Documentao do Programa

90%

10%

PC3 Descrio de propsitos e procedimentos

90%

10%

PC5 Informaes vlidas

90%

10%

PC7 Informao sistemtica

90%

10%

PC8 Anlise de informaes quantitativas

90%

10%

PC10 Concluses justificveis

90%

10%

*PC9 Anlise de informaes qualitativas

90%

*PR8 Responsabilidade fiscal

90%

PR1 Orientao para o servio

80%

20%

*PR2 Acordos formais

80%

20%

*PC4 Fontes de informao defensveis

80%

20%

*PC2 Anlise do contexto

80%

20%

*PR5 Avaliao completa e justa

80%

10%

10%

*PR7 Conflito de interesses

80%

10%

10%

*PC6 Informaes confiveis

70%

30%

*PC11 Imparcialidade de relatrios

70%

30%

V1 Procedimentos prticos

70%

20%

10%

*U7 Impacto da avaliao

70%

10%

20%

*PR6 Divulgao dos resultados

70%

*V2 Viabilidade poltica

60%

20%

U4 Identificao de valores

60%

20%

*PC12 Meta-avaliao

60%

10%

20%

*U1 Identificao dos interessados

50%

40%

10%

*U6 Entrega a tempo e disseminao de relatrios

50%

10%

30%

* Standards crticos
Fonte: Autor

124

muito

10%
10%

10%

20%

20%
10%

10%
10%
10%

total

5.3.3 Anlise cruzada de casos e recomendaes quanto aos Standards

com menor grau de concordncia

A. Standards de Utilidade

U1 - Identificao dos interessados: Pessoas envolvidas ou afetadas pela

avaliao devem ser identificadas, de forma que suas necessidades possam ser
atendidas.

A diretriz proposta por este Standard que o avaliador deve envidar esforos
para envolver o maior nmero de interessados, que so de alguma forma afetados e
so potenciais usurios dos achados da avaliao, desde a sua fase de planejamento.
Pressupe-se desta forma aumentar a chance da avaliao produzir informaes teis
para um maior nmero de usurios do Programa (conselhos diretores, gerentes
patrocinadores, legisladores, educadores, etc.).

Prticas constatadas
Em

quatro

dos

cinco

casos

estudados

as

avaliaes

atenderam

especificamente aos interesses dos contratantes. Os avaliadores identificaram esses

interesses e formularam as perguntas, objetivos ou eixos estruturantes da avaliao.
Apenas em um dos casos, os avaliadores ouviram os contratantes da avaliao e
propuseram o encaminhamento de um conjunto de perguntas pr-formuladas para

125

serem discutidas e negociadas, segundo as necessidades de coordenadores e

educadores que operavam diferentes ncleos do Programa.
Apesar de, na maioria dos casos, a relao estar restrita ao avaliador e
contratante, observou-se o uso de estratgias consistentes de envolvimento de
instncias importantes na tomada de deciso bem como o uso das informaes por
dois casos, conforme observa-se no depoimento abaixo:

...minha experincia tem mostrado que, apesar de... sempre trabalhar com a
preocupao da avaliao externa, ... o uso do resultado do produto das avaliaes
est diretamente relacionado ao quanto eu fui capaz, desde o princpio, de envolver
os interessados. Avaliador
Perguntados sobre as eventuais vantagens que o envolvimento de outros
interessados traria, constatou-se posies convergentes e divergentes sobre vantagens
deste procedimento. Parte dos gerentes (n = 4) entendeu que seria interessante o
envolvimento de outros interessados. As vantagens desse envolvimento estariam
relacionadas a um enriquecimento da proposta da avaliao pela incluso da
perspectiva daqueles que esto diretamente envolvidos na ao. Somente um dos
gerentes entrevistados divergiu dessa possibilidade, chamando a ateno para a
dificuldade de conciliao de interesses, j que para o financiador o importante a
imagem, enquanto que para a equipe tcnica o resultado na aprendizagem o que
importa. O mesmo gerente chamou ateno para a dificuldade de envolver diferentes
interessados de programas amplos que se desenvolvem em diferentes regies do pas.
Dois avaliadores apresentaram distintas vises sobre a incluso dos
interessados:

126

...contrariamente s clssicas avaliaes externas onde os avaliadores em

geral fazem o plano, o relatrio e entregam... eu aposto e procuro conduzir a minha
ao nesta direo (envolvendo interessados). Eu costumo dizer que eu no tenho
medo absolutamente de qualquer contaminao pelo fato desse envolvimento com os
demandantes, ... porque isso tecnicamente se controla ... Avaliador 1
...eu acho que na minha experincia de avaliao participativa a
participao no pode ser um fim em si mesma; ela um instrumento que me ajuda
a aprofundar o conhecimento das minhas hipteses; ento, eu sou um avaliador que
rodeado por hipteses. Se alguns interessados, mesmo importantes, no sejam
pessoas que possam usar ou aprofundar meu conhecimento das hipteses, eu no os
envolveria diretamente na avaliao, porque eu quero diferenciar o que
interessado para o uso da avaliao, do interessado para a implementao do
projeto. Avaliador 2
O Avaliador 1 no v restries na incluso de interessados. Ele no entende
que haja riscos de contaminao pela participao dos interessados no processo
avaliativo. O Avaliador 2 sugere um critrio de incluso de interessados na
avaliao, sugerindo o envolvimento daqueles que faro uso da avaliao.
Considerando-se a percepo dos gerentes e avaliadores, nota-se que o
questionamento com relao aplicabilidade dos Standards est relacionado ao
desafio de se conciliar interesses e definir critrios para a participao de
interessados desde o incio do processo de planejamento da avaliao. Patton (1996)
define como personal factor a relao uso dos achados da avaliao/envolvimento de
interessados. Para o autor, o impacto de uma avaliao est diretamente relacionado
presena e participao de pessoas que esto estreitamente envolvidas e
interessadas em seus resultados. A ausncia dessas pessoas desde a concepo da
avaliao reduz as chances do uso das informaes geradas por ela na tomada de
deciso. O autor chama de usurios intencionais todos os interessados que buscam
informaes para fazer seus julgamentos sobre o Programa. Incluem-se entre esses

127

usurios tomadores de deciso (financiadores, definidores de polticas pblicas,

gerentes de programas), participantes operacionais de programas e usurios.
O padro observado de envolvimento de interessados em quatro dos casos,
centrado na relao entre avaliador e cliente, e o direcionamento do foco da
avaliao apenas para o interesse do cliente, representa o risco do gerencialismo
apontado por Guba & Lincoln. A avaliao realizada apenas com base nos
parmetros estabelecidos por gerentes ou por outros representantes da organizao
patrocinadora pouco inclusiva, por atender a interesses unilaterais de uma relao
dita entre parceiros. O eventual interesse em apenas comunicar as aes sociais
positivas de uma organizao pode levar o contratante de uma avaliao a um
estabelecimento de acordos eticamente questionveis. Esses interesses remetem a
modelos definidos por Stufflebeam (2001) como pseudo-avaliativos.
A proposta de Stake do envolvimento dos interessados

de maneira

responsiva na avaliao, ou seja, o avaliador atuando orientado nica e

exclusivamente pelas demandas desses atores, somadas abordagem inclusiva,
proposta por House & Howe; e ainda, o modelo de incluso e negociao proposto
por Guba & Lincoln, apontam para aspectos ausentes em quatro dos casos. Percebeuse que, embora os avaliadores valorizem o maior envolvimento dos interessados, no
houve por parte dos contratantes a percepo, valorizao e conseqente solicitao
para a incluso no processo avaliativo de outros interesses que no os seus prprios.

Recomendao
Apesar de no haver concordncia total quanto aplicabilidade do U1 no
contexto brasileiro, h riscos quanto no adoo de prticas inclusivas, conforme
indicam as argumentaes dos autores supracitados. Portanto, recomenda-se a

128

manuteno deste Standard tal qual ele foi proposto. O envolvimento de um maior
nmero de interessados desde a fase do planejamento das avaliaes deve ser algo a
ser perseguido pelos avaliadores brasileiros. Os limites do envolvimento, entretanto,
devem ser alvo de discusses mais aprofundadas, j que avaliaes que envolvem um
grande nmero de interessados podem consumir muito tempo e recursos no processo
de consulta e consenso sobre os interesses a serem atendidos.

U4 - Identificao de valores: As perspectivas, os procedimentos e as

justificativas usados para interpretar os resultados da avaliao devem ser
cuidadosamente descritos, de forma que as bases para julgamentos de valores
fiquem bem claras.

O Standard U4 trata da raiz do termo avaliao, que diz respeito

determinao da valia ou do valor de algo. Em um contexto de envolvimento de
mltiplos interessados, necessrio determinar e justificar a priori os procedimentos
escolhidos, bem como as bases de julgamento a serem utilizadas para evitar ms
interpretaes e questionamentos dos achados do processo avaliativo. Por exemplo, a
escolha dos objetivos como base de julgamento ou a opo por uma abordagem
quase-experimental devem ser detalhadamente descritas e justificadas.

Prticas Constatadas
Nenhum dos casos deixou de cumprir em alguma medida este Standard.
Somente em um deles o procedimento foi descrito de maneira superficial. Devido ao
bom desempenho dos casos na primeira etapa da pesquisa (Checklist) este Standard
no foi alvo de aprofundamento na segunda etapa. Um bom exemplo da preocupao

129

na definio das bases de julgamento aquele no qual o Programa buscava apoiar

projetos de melhoria da qualidade da educao. Houve um grande empenho do
avaliador em definir parmetros de julgamento dos resultados dos projetos com base
no entendimento dos membros do Comit Tcnico que fazia a seleo dos projetos.
Esse esforo ocorreu como parte do planejamento da avaliao. Foram definidas oito
dimenses para servirem de base de julgamento para o impacto dos projetos na
qualidade da educao.
Um outro caso partiu de um grupo de perguntas estabelecidas conjuntamente
com o demandante da avaliao, para levantar indicadores de campo por meio de
entrevistas individuais e grupos-focais. A anlise de dados orientou no s a
definio de indicadores como tambm a reviso de perguntas orientadoras da
avaliao. Neste caso, adotou-se declaradamente a abordagem de Guba & Lincoln.
Apenas um dos respondentes que expressou a concordncia parcial justificou
sua posio, questionando a viabilidade de se estabelecerem critrios a priori em
todas as situaes. Segundo o entrevistado, o avaliador necessita, em algumas
situaes, verificar hipteses, por no dispor de informaes suficientes para definir
critrios. A preocupao expressa pelo entrevistado pode ser vlida quando se possui
pouca documentao ou em situaes em que houve substituio de informanteschave sobre determinado programa. Do contrrio, a existncia de fontes de
informaes suficiente para o avaliador formular bases de julgamento a priori.
A proposio de hipteses um procedimento tpico de pesquisa e volta-se
conceituao e ao entendimento de fenmenos, enquanto que a avaliao presta-se a
julgar o mrito e a relevncia de determinado objeto, buscando descrever os motivos
pelos quais este objeto obteve ou no sucesso. Worthen, Sanders & Fitzpatrick

130

(1987, p. 30) expressam de forma bastante clara a distino entre pesquisa e

avaliao:
A avaliao procura analisar a utilidade social diretamente. A
pesquisa pode evidenciar indiretamente a utilidade social, na medida
em que a verificabilidade emprica do fenmeno geral e a
consistncia lgica podero eventualmente ser socialmente teis.
Julgar o valor questo sine qua non da avaliao. Para
discriminar um avaliador de um pesquisador pode-se perguntar se a
investigao conduzida seria considerada um fracasso caso no
produzisse nenhum dado sobre a utilidade do objeto estudado. Um
pesquisador, respondendo estritamente como pesquisador, ir
provavelmente responder que no.
Recomendao
A partir da verificao das prticas e da concordncia total de 60% dos
entrevistados, aliadas fragilidade da argumentao de concordncia, razovel a
aceitao do Standard U4 como aplicvel sem alteraes, considerando-se as
limitaes desse estudo.

U6 Entrega a tempo e disseminao de relatrios: Achados significativos e

relatrios de avaliao devem ser disseminados junto aos usurios intencionais da
avaliao, para serem utilizados no momento adequado.

O U6 trata de diferentes aspectos referentes aos relatrios e disseminao. O

mais importante deles o fornecimento de informaes de qualidade em tempo para
que os usurios intencionais faam o melhor uso delas. Outro aspecto abordado diz
respeito necessidade do avaliador desenvolver, em conjunto com o cliente, formas
de comunicao adequadas aos diferentes pblicos. Como complemento a esse

131

Standard, o PR 2 Acordos formais, sugere que o avaliador defina no contrato os

formatos de relatrios, as audincias e os prazos.

Prticas Constatadas
Quatro dos cinco casos apresentaram problemas com prazos. Em apenas um
desses quatro, tanto o gerente quanto o avaliador informaram que o atraso foi
negociado. Ocorreu que, desde o incio do processo, tentou-se estabelecer um prazo
invivel para a dimenso do trabalho contratado. Nos outros trs casos nos quais o
problema ocorreu, os gerentes informaram alguns incmodos com os atrasos:

...no caso de algumas avaliaes que precisam de correo, de redao ...

voc estar revisando ... compromete inclusive at o prprio processo de avaliao,
porque na realidade a deciso no sendo tomada naquele momento, voc acaba
protelando por meses, e no caso de ano letivo, s vezes at perde uma
oportunidade... l na ponta. Gerente 1
...quando o relatrio j chega est em cima da hora do pessoal fazer o
planejamento do prximo ano, fica pouco tempo para poder digerir o relatrio, e a
gente ter um tempo para poder falar: ento, olha, vamos nos assegurar que as
recomendaes dos avaliadores esto realmente incorporadas no plano de ao.
Gerente 2
...voc tem um financiador, que est esperando uma resposta e voc...
chegar afobado com a resposta uma coisa, agora voc chegar sossegado,
tranqilo, com tudo revisto, outra coisa. Gerente 3
Alm dos prazos, outros dois aspectos foram identificados como frgeis. O
primeiro diz respeito aos diferentes formatos de relatrios, e o segundo
disseminao a diferentes pblicos. O tpico da disseminao ser tratado com maior
profundidade na anlise e discusso do PR6 Divulgao dos resultados. Com
relao a formatos, nos cinco casos foram constatados procedimentos similares,

132

foram produzidos relatrios parciais e finais, um sumrio executivo e foram feitas

reunies de apresentao para os contratantes das avaliaes. A fragilidade no
aspecto formato de relatrios constatada na primeira etapa da pesquisa refere-se ao
no preparo de releases pelos avaliadores, para a divulgao dos achados.
Com relao ao posicionamento dos entrevistados no que se refere
concordncia com a proposta do Standard, o aspecto prazo foi o ponto mais
criticado, principalmente pelos avaliadores:

... complicado, porque no acho que o relatrio est feito para tomar
deciso. No concordo... quer dizer, no que eu no concorde, que eu acho que
no possa ser uma regra geral. Avaliador 1
... produzimos relatrios parciais com informaes relevantes nos tempos
oportunos. Eu quero dizer que, para mim, tempo oportuno aquele que eu me
comprometi a fazer, isto , eu cumpri adequadamente nos tempos negociados dentro
do projeto. Avaliador 2
...este imediatismo... em educao nada to imediato que porque eu deixei
de informar a pessoa vai deixar de tomar a deciso ..., nem no Estados Unidos,
quando eles fazem estas avaliaes grandes, eles informam tambm de to
imediato. Avaliador 3
Trs dos entrevistados questionam a validade do relatrio como instrumento
de tomada de deciso. Um deles traz a perspectiva dos relatrios parciais e dos
prazos negociados.
Um dos gerentes aponta para questes estruturais que impossibilitam o
cumprimento de prazos no s da avaliao como dos prprios projetos, tanto por
operadores, quanto por financiadores:

... idealmente pode ser importante, mas para o concreto, eu vejo que a gente
tem atraso em todos os projetos... talvez seja a cultura, as dificuldades de estruturas,

133

as dificuldades organizacionais, enfim, a gente, financiador e ONG, ... sempre

trabalha no limite das coisas. Gerente
Um dos riscos apontados pelos formuladores dos Standards a produo e
disseminao de informaes incompletas e imprecisas para a tomada de decises.
Portanto, um relatrio parcial e final, mais do que um mero instrumento burocrtico,
deve assegurar a qualidade da informao disponibilizada.

Recomendao
As observaes dos entrevistados sugerem dois aspectos que podem ser
combinados: o primeiro a necessidade de levar em considerao os traos culturais
e o estgio de profissionalizao das organizaes, que determinam certa dificuldade
no cumprimento de prazos pr-estipulados; o segundo a necessidade de um
constante dilogo visando a possibilitar a gerao de informaes teis em prazos
negociados. O constante dilogo para definir o melhor prazo para a disseminao de
informaes, sem colocar em risco seu uso em processos decisrios, bem como a
qualidade e confiabilidade das informaes disseminadas, representa um caminho
para o atendimento das duas necessidades expressas.
Portanto, a considerao de aspectos culturais e a necessidade de definio de
prazos negociados podem ser inclusos no enunciado do U6 para sua melhor
adequao realidade brasileira.

Sugesto de texto
U6 Entrega a tempo e disseminao de relatrios: O fornecimento de
relatrios intermedirios e finais a serem disseminados junto aos usurios

134

intencionais deve obedecer a prazos negociados, levando-se em considerao os

limites de tempo para a utilizao das informaes a serem disponibilizadas.

B. Standards de Propriedade

PR6 - Divulgao dos resultados: os responsveis pela avaliao devem

assegurar que todas as pessoas e instituies afetadas pelo processo avaliativo, e
aquelas com direito legal, tenham acesso aos resultados da avaliao em sua
totalidade, assim como a possveis limitaes relevantes do processo.

O Standard PR6 trata da divulgao dos achados e da sua total

disponibilizao para todos os que foram, em alguma medida, afetados pela
avaliao. A nica exceo da no disponibilizao completa das informaes se faz
quando as informaes podem colocar em risco a integridade moral ou o direito de
livre expresso dos indivduos. Esse Standard fundamenta-se na premissa de que
pessoas ou grupos afetados pela avaliao que no tm contato com os achados da
avaliao, no podem melhorar sua atuao, bem como no podem contestar bases
de julgamentos que porventura os tenham prejudicado. Neste caso, esses interessados
passam a ser vtimas de processos avaliativos mal conduzidos. Assim, o PR6 prev
que todo avaliador deve estar pronto para disponibilizar toda a informao utilizada e
gerada pelo processo avaliativo para anlises por agentes externos.

135

Prticas constatadas
Os cinco casos cumpriram parcialmente a proposta do PR6. Em trs deles os
critrios e estratgias de divulgao foram definidos exclusivamente pelas
instituies contratantes da avaliao. Mesmo em um dos casos cuja definio das
estratgias de uso dos achados foi realizada em conjunto com os avaliadores, a
divulgao dos resultados esteve restrita aos tomadores de deciso e operadores do
Programa. Em trs outros casos, parte das informaes foi utilizada para processos
internos de tomada de deciso e posteriormente foram preparadas para a
comunicao externa. Em um deles as informaes foram divulgadas e discutidas de
forma ampla entre os diferentes interessados.
Houve discordncia por parte de alguns dos gerentes entrevistados quanto ao
pblico que deve ter acesso informao completa:

... eles podem at ter uma viso, vamos dizer, distorcida, porque eles no
esto inseridos naquele todo, naquela parte. Ento, por isso que no interessante
dar o relatrio inteiro para aquelas pessoas. Deve-se mostrar os positivos e os
negativos para todo mundo, mas de forma que seja entendido e de utilidade para
todo o grupo. Gerente 1
... eu acho complicado... nesse sentido de que voc vai... o cara recebe o
documento, ele vai olhar. s vezes no est nem preocupado, vai entender mal,
porque ele no tem uma capacidade de leitura... Ele tem que ser reescrito para cada
pblico, para que tenha sentido. Mas no esconder informao..... quem se
interessar, ou quem se sentiu incomodado pelas perguntas que foram feitas, acho
que tem direito. Gerente 2
A preocupao est centrada na capacidade de interpretao da informao.
As falas expressam preocupao com possveis ms interpretaes dos achados. No
h, aparentemente, uma preocupao em ocultar ou negar o acesso a informaes
para os interessados que vierem a solicit-las.

136

Dois dos avaliadores entrevistados expressaram preocupao com o

entendimento de que o avaliador o nico responsvel por levar a cabo o proposto
pelo PR6. Comentaram que j vivenciaram vrios processos em que a deciso final
da divulgao do contratante, independentemente da sua recomendao de
disponibilizar a informao completa para os diferentes interessados no Programa.
Os formuladores dos Standards alertam sobre o risco de se divulgar
informaes tomando-se por base convenincias institucionais ou interesses
econmicos. Esse tipo de conduta tem implicaes ticas e legais. Aqui novamente
possvel incorrer no uso das pseudo-avaliaes, desenvolvidas com interesses apenas
de comunicar aspectos positivos do programa, encobrindo-se eventuais fragilidades.
So indicados erros que devem ser evitados pelos avaliadores para evitar situaes de
no cumprimento das premissas ticas expressas pelo PR6. Esses alertas corroboram
com as preocupaes expressas pelos avaliadores quanto dificuldade de definir
juntamente com o cliente o contedo a ser divulgado. Um dos erros delegar ao
cliente decises de censura e edio de informaes, mudando o sentido expresso dos
relatrios preparados pelos avaliadores; outro, no estar envolvido no processo de
preparao de releases para a mdia.

Recomendaes
Os questionamentos expressos pelos entrevistados no invalidam a
aplicabilidade da diretriz expressa pelo PR6. Parte dos interessados revelam
preocupao com a forma de se comunicar e outro grupo centra suas preocupaes
na co-responsabilidade entre avaliador e contratante quanto ao compromisso de
divulgar ou disponibilizar as informaes, como proposto nos Standards. Neste caso,

137

cabe uma sugesto de redao para o Standard em questo, incluindo o compromisso

e a co-responsabilidade na divulgao dos achados.

Sugesto de texto
PR6 - Divulgao de resultados: o contratante e o avaliador devem ser coresponsveis pela divulgao dos resultados e assegurar que todas as pessoas e
instituies afetadas pelo processo avaliativo, e aquelas com direito legal, tenham
acesso aos resultados da avaliao em sua totalidade, assim como s possveis
limitaes relevantes do processo.

C. Standards de Viabilidade

V2 - Viabilidade poltica: A avaliao deve ser planejada e conduzida tendose clareza antecipada dos diferentes posicionamentos dos vrios grupos de interesse.
Deve assim conseguir a cooperao de todos e tentar evitar, ou criar mecanismos
para contra-atacar, possveis esforos, de qualquer destes grupos, para dificultar a
operacionalizao, ou confundir, ou usar de forma inadequada os resultados da
avaliao.

O Standard V2 expressa as preocupaes e cuidados com a dimenso poltica

intrnseca em um processo avaliativo. Os interesses de grupos que buscam
influenciar polticas ou direcionar recursos para suas aes trazem srias implicaes
e presses sobre os diferentes envolvidos nas avaliaes. O V2 sugere que o

138

avaliador esteja vigilante para que uma avaliao no sofra manipulaes e no

venha a perder credibilidade.

Prticas constatadas
Apenas em um dos casos houve procedimentos prvios relacionados a
cuidados com a preveno a eventuais conflitos de interesse ou outras iniciativas que
pudessem colocar em risco o processo avaliativo:
Em outro caso, houve um processo de discusso prvia que cumpriu em boa
medida a diretriz proposta pelo V2 antes da contratao dos avaliadores. Segundo o
entrevistado, os avaliadores contratados deram continuidade ao processo:

... houve um processo que se iniciou entre financiador e financiado, um

longo processo de definio para chegar em que tipo de avaliao a gente gostaria,
a que tipo de avaliao que seria til para ambos os lados, e que tipo de avaliador
a gente estaria selecionando. A, quando ns selecionamos os avaliadores, houve
uma preocupao explcita, depois que os avaliadores foram selecionados, de estar
clareando quais eram os interesse explcitos de cada um, das organizaes
financiadoras e dos financiados. Avaliador
Um outro entrevistado apresentou uma situao conflituosa, mas que no foi
discutida ou minimizada pelo processo avaliativo:

... o nico pontinho que a gente tem permanentemente que obviamente um

financiador do mundo privado, ele no s... ele est a com um interesse de
imagem que ele quer que volte para ele, uma imagem positiva. E isso s vezes se
sobrepe ou acelera, querem que acelerem alguma coisa que mais lenta se voc vir
sob o ponto de vista social. Mas isso tambm uma tenso... Gerente
Dois avaliadores expressaram posicionamentos crticos com relao ao
proposto pelo V2:

139

Deve ter clareza. Eu acho que eu concordo um pouco com isso... no incio...
eu acho isso muito difcil, acho at que uma recomendao, porque na verdade da
minha experincia, s nesse caso, voc vai tendo clareza poltica no decorrer da
avaliao... na minha histria de avaliadora acho que isso aqui no d para fazer,
mesmo, no prtico, no vivel. Avaliador 1
A minha experincia diz que essa clareza voc no consegue de cara, uma
coisa a ser construda. Ento eu acho que muito positivista ... Eu acho que s vezes
esses Standards tem uma viso muito linear do que evoluo. Voc no controla
todas as variveis de um projeto com atores sociais fortes. Voc s consegue
controlar com atores sociais fracos. Para isso voc no precisa fazer grandes
avaliaes. Eu acho que avaliaes... tm que trazer um pouco mais de aceitao da
contradio entre os interesses... Avaliador 2
As crticas dos avaliadores referem-se ao carter de predio do enunciado do
Standard, para conflitos que emergem e so perceptveis durante o processo
avaliativo. O estudo mais aprofundado da proposta do V2 confirma em parte o
carter positivista interpretado pelos entrevistados. H uma orientao para que o
avaliador ausculte o maior nmero de interessados na fase de planejamento da
avaliao para a identificao de conflitos. Prope-se, tambm, que se explicite, no
contrato, clusulas sobre o interesse pblico da avaliao, definindo-se critrios para
a edio e a publicao de informaes por ela geradas. Entretanto, no so
explicitados como diretrizes os procedimentos para minimizar situaes conflituosas
que possam emergir durante o processo avaliativo. A nica orientao neste sentido
que, no caso de emergirem situaes polticas que coloquem em risco a avaliao,
deve-se suspender o processo.

Recomendao
Para melhor adequao deste Standard, recomenda-se alterar o sentido da
expresso deve-se ter clareza e incluir a dimenso de lidar com contradies.

140

Alguns elementos do sentido literal do texto original tambm podem ser utilizados,
buscando-se um sentido em contedo e lingstica mais apropriados.

Sugesto de texto
V2 - Viabilidade poltica: O planejamento da avaliao deve prever aes
para lidar com as diferentes posies dos diferentes grupos de interesse que possam
emergir durante o processo avaliativo. As aes devem estar voltadas para a
obteno da cooperao dos diferentes grupos e, tambm, para salvaguardar a
avaliao de eventuais tentativas de determinados grupos de enviesar ou fazer uso
inadequado de resultados.

D. Standards de Preciso

PC12 - Meta-avaliao: o processo de desenvolvimento, bem como o possvel

impacto da avaliao para o programa, devem ser avaliados utilizando os Standards
descritos aqui, ou outros, a fim de garantir que o processo transcorra de forma
adequada e que, ao final, os principais interessados/afetados pela avaliao possam
visualizar com clareza os pontos positivos e as limitaes da avaliao.

A proposta do PC12 fundamenta-se na premissa de que a avaliao de

programas um importante recurso para prover informaes para a tomada de
deciso sobre a eventual continuidade, modificao e suspenso de determinado
projeto, servio ou sistema. esperado que as informaes fornecidas sejam
confiveis para orientar as decises e para que no se chegue a concluses

141

equivocadas, incorrendo-se no risco de cometer-se injustias com o programa, seus

condutores e beneficirios. Recomenda-se o procedimento da meta-avaliao
formativa e somativa por avaliadores externos, para evitar erros durante o processo
avaliativo e para, ao final do programa, poder-se aferir o mrito e a relevncia da
avaliao realizada.

Prticas constatadas
Apenas em um dos casos verificou-se a incluso da inteno de metaavaliaes formativas e somativas com base nos Standards. Nos relatrios analisados
na primeira fase da pesquisa no foram encontradas evidncias de que os
procedimentos propostos tenham sido implementados. Em entrevista realizada na
segunda etapa da pesquisa, o gerente informou que estava em curso uma discusso
sobre a realizao da meta-avaliao. Embora em nenhum dos outros casos tenha
ficado evidente a inteno de se fazer meta-avaliao de maneira formal, dois dos
entrevistados mencionaram cuidados que so tomados para assegurar a qualidade das
informaes geradas, independentemente da utilizao de procedimentos e
parmetros formais:

... tenho a impresso que isso no uma regra explcita, mas ela implcita
no fazer da avaliao dos brasileiros tambm, porque na hora que voc pega o
relatrio avaliativo e entrega finalmente, existe no mnimo uma, duas ou trs
oficinas com os principais interlocutores onde voc discute com base no relatrio de
avaliao, portanto, com base no todo, como foi o processo de avaliao e a que
resultados chegamos; e obviamente a tem espao tranqilo para ser avaliado o
prprio relatrio avaliativo. Avaliador 1
... entendo que a meta-avaliao ainda uma sofisticao para a maioria
dos empreendimentos da avaliao. Entretanto, possvel e necessria de ser
realizada... Por outro lado, poder-se-ia dizer que ela at exista na atuao dos
programas aqui includos, mas feita informalmente, sem a sistemtica relao com

142

os Standards de meta-avaliao. Valeria a pena observar essas manifestaes.

Avaliador 2
Houve convergncia na viso dos gerentes quanto importncia do PC12 na
realidade brasileira. Um deles, apesar de julgar a prtica da meta-avaliao
importante, divergiu quanto sua aplicabilidade, devido ao investimento de recursos
extras nesta atividade. Dois avaliadores concordaram totalmente sobre a necessidade
e aplicabilidade dos PC12. Trs outros discordaram, alegando inadequao por
questes culturais e de custos. Um deles faz uma anlise das questes que
determinam os traos culturais no receptivos a esse tipo de prtica:

Eu acho que a gente no vai chegar a isso, eu acho que isso invivel,
especialmente considerando que a cultura de avaliao no Brasil uma cultura
recente, ela vem muito associada questo neoliberal, que implica em entender o
estado avaliador. Por isso ... precisa avaliar, precisa avaliador externo, o terceiro
setor precisa de avaliao externa para poder ter financiamento, para poder ter
prmios, etc. As polticas pblicas pem essas exigncias, inclusive nos
financiamentos dos programas. No ministrio uma exigncia, se no tiver
avaliao no tem financiamento, ento isso o que? um Estado avaliador
fazendo isto. Mas isso tudo muito recente, muito recente, uma cultura que est
entrando por conta de uma ideologia. Avaliador
A ausncia da prtica de meta-avaliao nos casos relatados, aliada aos
aspectos culturais e de custo expressos pelos avaliadores, sugere a no adequao
dessa prtica como um Standard por questes de viabilidade. Faz-se necessrio,
entretanto, assegurar a credibilidade dos processos avaliativos e dos prprios
avaliadores. Na viso de Stufflebeam (2001b), a meta-avaliao uma obrigao
profissional dos avaliadores, j que existem avaliaes boas, ruins e medianas. Para o
autor, muitos avaliadores podem incorrer em erros como a proposio de critrios de
julgamento inadequados, erros metodolgicos, custos excessivos, abuso de
autoridade, enviesamento de achados e outros. H, portanto, uma preocupao com

143

procedimentos e condutas do avaliador remetendo idia de um cdigo de tica

profissional. No Brasil, no h um grau de maturidade nas prticas avaliativas que
fomente procedimentos tcnicos e ticos recomendveis para atuao dos
avaliadores. Desta forma, o profissional que realiza avaliaes ainda no
reconhecido como avaliador; normalmente esses profissionais so consultores ou
pesquisadores.

Recomendao
Dadas as condies culturais e de maturidade do setor, o Standard de metaavaliao tal qual foi proposto deve ser considerado como uma diretriz a ser
perseguida pelo setor de investimento social privado, como estratgia de
comprovao da qualidade e de credibilidade das avaliaes realizadas. Deve-se
tambm buscar instrumentos e estratgias que tornem o procedimento menos
oneroso.

144

Tabela 10 - Resumo das anlises e recomendaes

STANDARDS

Prticas

Concor-

Recomen-

Checklist

dncia

dao

(% C + CP)

STANDARDS DE UTILIDADE

76%

*U1 Identificao dos interessados

50%

50%

Manter

U2 Credibilidade do avaliador

95%

100%

Manter

U3 Escopo e seleo deinformaes

95%

100%

Manter

U4 Identificao de valores

88%

60%

Manter

*U5 Clareza dos relatrios

80%

90%

Manter

*U6 Entrega a tempo e disseminao de relatrios

55%

50%

Alterar

*U7 Impacto da avaliao

67%

70%

Manter

STANDARDS DE VIABILIDADE

82%

V1 Procedimentos prticos

88%

70%

Manter

*V2 Viabilidade poltica

82%

60%

Alterar

*V3 Custo-efetividade

73%

90%

Manter

STANDARDS DE PROPRIEDADE

81%

PR1 Orientao para o servio

96%

80%

Manter

*PR2 Acordos formais

67%

80%

Manter

PR3 Direitos dos indivduos

98%

100%

Manter

PR4 Relaes humanas

93%

90%

Manter

*PR5 Avaliao completa e justa

73%

70%

Manter

*PR6 Divulgao dos resultados

83%

70%

Alterar

*PR7 Conflito de interesses

78%

80%

Manter

*PR8 Responsabilidade fiscal

68%

90%

Manter

STANDARDS DE PRECISO

77%

PC1 Documentao do Programa

83%

90%

Manter

*PC2 Anlise do contexto

90%

80%

Manter

PC3 Descrio de propsitos e procedimentos

83%

90%

Manter

*PC4 Fontes de informaes defensveis

87%

60%

Manter

PC5 Informaes vlidas

93%

90%

Manter

*PC6 Informaes confiveis

72%

70%

Manter

PC7 Informao sistemtica

95%

90%

Manter

PC8 Anlise de informaes quantitativas

77%

90%

Manter

*PC9 Anlise de informaes qualitativas

70%

90%

Manter

PC10 Concluses justificveis

90%

90%

Manter

*PC11 Imparcialidade de relatrios

87%

70%

Manter

0%

60%

Manter

*PC12 Meta-avaliao

* Standards crticos trs situaes de no cumprimento (NC) ou cumprimento parcial (CP) dos checkpoints
pelos casos.
Fonte: Autor

145

6 CONCLUSES E RECOMENDAES

Este estudo inicia-se com descries contextuais da abrangncia da ao

social do terceiro setor no Brasil e em outros pases, sobre a dimenso da
contribuio do setor privado a essas iniciativas e faz referncia ausncia de
sistemticas de avaliao de programas. Paralelamente a esse contexto, so
apresentadas informaes sobre as organizaes de profissionais que se dedicam a
fomentar pesquisas, definir princpios e disseminar conceitos e best practices em
avaliao de programas e projetos ao redor do mundo. A American Evaluation
Association foi criada em meados da dcada de 80 como resultado da maturidade da
avaliao enquanto rea de conhecimento. Na dcada de 90, o agrupamento de
profissionais em torno de uma agenda para incentivar e aprimorar as prticas
avaliativas nos seus pases expandiu-se para a Europa, sia e Amrica Latina. No
Brasil, o processo de democratizao, a reviso do papel do Estado e a emergncia
do terceiro setor criaram um ambiente favorvel para a introduo de prticas e
discusso de modelos de avaliao que podem ser empregados para avaliar a
implementao de polticas pblicas e as aes criadas por investimentos sociais
privados.
Segundo Falconer (1999), as fundaes e os institutos empresariais no so
reconhecidos pela literatura internacional como organizaes do terceiro setor, pela

146

sua vinculao aos interesses de seus mantenedores. Neste estudo, entretanto, no se

buscou refinar este aspecto, mas enfocar avaliao de projetos e programas sob a tica do
investidor ou patrocinador das aes sociais de benefcio pblico. As aes sociais alvo
das avaliaes nos cinco casos estudados so intersetoriais, resultantes de parcerias entre as
empresas ou suas fundaes, organizaes da sociedade civil e instituies pblicas.
O estgio de desenvolvimento ou maturidade da grande maioria das empresas
que investem em aes sociais, no que se refere s relaes de parceria, ainda
filantrpico, segundo o continuum proposto por Austin. H, entretanto, um pequeno
grupo de empresas, institutos e fundaes que, alm de estabelecer relaes
integradas com seus beneficirios, utilizam-se de estruturas, organizaes e sistemas
de gesto sofisticados e organizam-se em grupos associativos para troca de
experincias, aprimoramento de prticas e disseminao de suas aes. Neste
segundo grupo foi possvel identificar os cinco casos tratados nesta dissertao.
A discusso dos Standards, considerando o atual cenrio do investimento
social privado no Brasil, foi bastante apropriada na viso dos entrevistados. Houve
tanto da parte dos gerentes quanto dos avaliadores muito boa receptividade sobre a
idia de se discutir e delinear princpios, critrios e diretrizes para orientao do
design de avaliao de programas e tambm para avaliar as prticas avaliativas
vigentes. A idia de utilizao de Standards para avaliao de projetos e programas
na realidade brasileira foi aceita, adotando-se a compreenso dada a eles como
princpios orientadores. No recomendada pelos formuladores e nem foi aceita
pelos entrevistados a idia de padres ou normas de certificao.
O percurso do estudo do desenvolvimento de modelos e abordagens de
avaliao remete claramente a prticas preocupadas em lidar com a complexidade e a
pluralidade das sociedades democrticas contemporneas. A demanda pela incluso

147

de interessados proposta pelas abordagens (responsiva de Stake, construtivista de

Guba & Lincoln, democrtica e deliberativa de House e Howe, e focada na utilizao
de Patton) no ideolgica e sim tcnica. A necessidade de contemplar e acomodar
valores de diferentes atores envolvidos nas interaes intersetorias premente numa
sociedade democrtica. A idia dessa interao entre diferentes grupos e atores
atende afirmao de Habermas44 de que os homens no podem se comunicar de
maneira autntica em um contexto social repressivo. Segundo o autor, para que isto
ocorra, todos os interessados em participar do discurso devem ter condies iguais de
fazer e refutar afirmaes, interpretaes e recomendaes. O avaliador como um nico
juiz e o atendimento a necessidades de um nico ator social criam uma situao de
desequilbrio de poder que, por sua vez, pode gerar informaes de utilidade limitada
para outros atores e de difcil defesa, dependendo dos critrios de julgamento escolhidos.
Fica destacada a compreenso da avaliao como prtica distinta da pesquisa
acadmica, ainda que ambas empreguem mtodos e tcnicas semelhantes. A
avaliao no se presta a satisfazer a curiosidade do pesquisador. Ela deve estar
orientada para a soluo de problemas dos diferentes envolvidos em projetos e
programas, reiterando a necessidade de intensa participao dos interessados pela
avaliao desde o incio do processo avaliativo, para que eles possam fazer uso dos
achados e levar a cabo as mudanas recomendadas. Nestes aspectos, a avaliao est
mais prxima da pesquisa-ao. De acordo com Thiollent (2002), este tipo de
pesquisa pode ser considerado como um procedimento de base emprica realizado de
maneira associada a uma ao ou problema de modo cooperativo entre o pesquisador
e os envolvidos na situao.

44

Habermas, J. Vorbereitende Bemerkungenzu einer Theorie der kommunikativen Kompeteenz. Apud Freitag, B.
& Rounet, 2001.

148

O estudo dos cinco casos sob a tica dos Standards na primeira etapa da
pesquisa forneceu um interessante recorte fotogrfico do estado da arte da avaliao
de programas do grupo de organizaes que faz uso de sistemticas mais sofisticadas
para avaliar as aes que patrocinam e operam. Ficou patente um alinhamento em
boa medida das avaliaes estudadas em relao aos Standards, considerando a
escala proposta por Stufflebeam. Nenhum dos cinco casos apresentou desempenho
abaixo de bom. Quatro dos cinco casos obtiveram pontuao correspondente a
Muito Bom nos Standards de preciso. Embora este no tenha sido o objetivo
central do estudo, este resultado da pesquisa demonstra o alto grau de qualificao
dos profissionais que conduziram as avaliaes estudadas.
As maiores fragilidades constatadas no desempenho dos casos nos Standards
deu-se em trs deles (PC12, U1 e U6). O primeiro refere-se s prticas de metaavaliao: essa prtica pode ainda ser considerada uma sofisticao para o estgio de
maturidade da avaliao de projetos e programas sociais no pas. O segundo deles
refere-se identificao de interessados: o estudo possibilitou a percepo de que
havia um desconhecimento, por parte principalmente dos gerentes, quanto s
necessidades e vantagens do envolvimento de interessados desde a fase de
planejamento de uma avaliao. O terceiro refere-se aos prazos para a disseminao
de informaes: possvel concluir que esta seja uma questo crtica e que demande
um constante dilogo para se chegar a prazos negociados, e para o preparo e
disponibilizao de informaes de qualidade a tempo para assegurar a tomada de
decises.
Em relao ao objetivo principal deste estudo, possvel concluir que 27
Standards so aplicveis tal qual eles foram propostos nos Estados Unidos. Trs

149

deles tiveram o texto modificado para melhor se adequarem ao contexto brasileiro.

Obviamente, pela extenso da pesquisa, no possvel concluir que os 30 Standards
estejam validados para nossa realidade. O que o estudo possibilita inferir que existe
um ambiente favorvel adoo deles para impulsionar a reflexo sobre as prticas
de avaliao de programas no segmento do investimento social privado no pas.
O contexto sociopoltico e econmico vigente parece oferecer condies
favorveis para a adoo de princpios e critrios construdos sobre uma base de
valores sociais como a autonomia e o igualitarismo, que vigoram na sociedade norteamericana. Diferente da realidade de alguns pases da sia, onde vigoram os valores
do conservadorismo e da hierarquia, no Brasil dos ltimos anos houve grandes
avanos na construo de uma sociedade democrtica e igualitria.
Uma vez aceitos os Standards como critrios teis para o julgamento de boas
prticas avaliativas dado o elevado grau de concordncia por parte dos
entrevistados com relao a essa afirmao , possvel identificar aspectos frgeis
do conjunto de casos que podem ser objeto de reflexes mais aprofundadas em
futuras pesquisas. A dimenso da utilidade pouco conhecida e discutida por
pesquisadores e gestores exige maior reflexo sobre vrios aspectos. Estas
constataes do origem a questes como: At que ponto as competncias
acadmicas de pesquisa so suficientes para a realizao de avaliaes? Quais os
limites e critrios para definir a extenso de participao de interessados para
assegurar a utilidade dos resultados da avaliao para um maior nmero de usurios?
A no existncia (no universo pesquisado) da prtica da meta-avaliao outro
aspecto sobre o qual as seguintes questes podem ser lanadas: At que ponto
existem de fato prticas implcitas de meta-avaliao? Como ocorrem essas prticas?
Quo efetivas elas so?

150

Finalmente, a aplicao de mtodos e tcnicas de avaliao tem sido discutida

nos Estados Unidos como uma rea profissional especializada. O perfil de
competncias exigidas e a responsabilidade que os avaliadores assumem quando
esto frente de processos avaliativos so grandes, o que se observa no conjunto de
Standards estudados, muito amplos e complexos. A American Evaluation
Association desenvolveu recentemente um rol de princpios para orientar a conduta
tica do avaliador. No Brasil, o surgimento de fruns de discusso, como a Rede
Brasileira de Avaliao, representa um caminho para internalizar e ampliar o debate
sobre o tema. Alm dessa rede, as universidades brasileiras congregam hoje
pesquisadores que realizam avaliaes e podem contribuir com reflexes a questes
como: Onde se situa a avaliao enquanto campo de conhecimento? Ela uma
disciplina, uma transdisciplina? Qual seria o perfil de competncias de um avaliador?
E, qual seria o perfil do docente para orientar a modelagem de programas de
formao de avaliadores?

151

6.1 LIMITAES DA PESQUISA

Esta pesquisa possui limitaes inerentes aos estudos preliminares de carter

descritivo e qualitativo. Alm das questes subjetivas sempre presentes nas pesquisas
das cincias sociais, as seguintes limitaes deste estudo em particular podem ser
elencadas:

O restrito conhecimento acumulado no Brasil sobre o tema abordado

impossibilitou a elaborao de hipteses a priori para pesquisa. Os estudos no campo

da gesto de programas e projetos apoiados pelo investimento social privado e
operados por organizaes do terceiro setor so recentes, particularmente no Brasil.
A restrio de conhecimento nesta rea demandou um desenho exploratrio de
pesquisa.

A escolha da amostra foi intencional e no probabilstica, realizada segundo

critrios definidos pelo pesquisador. Embora esta condio no pudesse ser superada
pelas restries bvias de trabalho de campo, ela implicou em que os resultados deste
estudo tenham baixa possibilidade de generalizao.

Os procedimentos metodolgicos adotados visaram a assegurar a validade

interna da pesquisa. Lanou-se mo de instrumentos quantitativos (Checklist), foram

realizados pr-testes e utilizou-se a triangulao, que se deu no levantamento de
informaes comprobatrias da anlise de documentos nas entrevistas da segunda

152

etapa da pesquisa. Alm disso, buscou-se um nmero expressivo de casos para

possibilitar um maior espectro de anlise. Os atributos de validade interna da
pesquisa no so suficientes, entretanto, para superar as limitaes de subjetividade
dos estudos qualitativos e tambm no garantem a sua validade externa.

O escopo da pesquisa foi amplo, na medida em que o estudo abarcou quatro

atributos (Utilidade, Viabilidade, Propriedade e Preciso) distribudos em 30

Standards. Esta opo implicou em uma ampla e diversificada gama de dimenses e
temas, que impediu maior profundidade nas discusses sobre questes que
emergiram a partir da anlise dos dados coletados. Essa limitao, porm, inerente
ao carter exploratrio da pesquisa. Pesquisas dessa natureza no buscam respostas
para hipteses e, sim, apontam para questes que possam ser teis para a formulao
de problemas mais especficos para futuras pesquisas. Algumas dessas questes esto
expressas nas concluses do presente estudo.

153

7 ANEXOS

ANEXO A - INSTRUMENTO PARA META-AVALIAO

45

Nome da organizao:
Responsvel pela avaliao:
Projeto/programa avaliado:
Perodo de realizao da avaliao:
Documentos disponibilizados para a meta-avaliao:
Nome dos entrevistados:

STANDARDS DE UTILIDADE
U1 Identificao dos interessados
Foram definidos com o cliente os interessados mais importantes
O avaliador engajou lderes para identificar outros interessados
Os interessados ajudaram a identificar outros interessados
Foram consultados interessados para a identificao de suas necessidades de informao
Foram propostas estratgias para envolvimento dos interessados durante a avaliao no
contrato
O avaliador manteve o processo de avaliao aberto para a incluso de novos interessados
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =
45

Adaptado de Program Evaluation Metaevaluation Checklist (Based on The Program Evaluation Standards).
Daniel L. STUFFLEBEAM, 2000.

154

U2 Credibilidade do avaliador
Houve contratao de avaliador competente e confivel na opinio do contratante
Os interessados demonstraram confiana no avaliador
Foi contratado avaliador com capacidade de enderear as questes colocadas pelos
interessados
Foi contratado avaliador com competncia para lidar com questes relacionadas a gnero,
condies socioeconmicas, linguagem e diferenas culturais
O avaliador ajudou os interessados a entenderem o processo da avaliao
Foram atendidas apropriadamente as crticas e sugestes dos interessados
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

U3 Escopo e seleo de informaes

O avaliador atendeu as solicitaes prioritrias do cliente
O avaliador demonstrou flexibilidade para incluir novas perguntas
O avaliador entrevistou interessados para determinar suas diferentes perspectivas e
necessidades
O avaliador ajudou na seleo de perguntas capazes de determinar o mrito do programa
O avaliador ajudou na seleo de perguntas capazes de determinar as fragilidades do
programa
O avaliador facilitou o processo de definio de perguntas prioritrias atuando como
negociador na incluso de perguntas dos interessados
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

U4 Identificao de valores
O avaliador considerou todas as fontes relevantes de valores para interpretar os achados da
avaliao (necessidades sociais e dos clientes, legislao pertinente, misso institucional e
objetivos do programa)
O avaliador determinou as partes apropriadas para realizar as interpretaes valorais
(julgamento) durante o processo avaliativo
O avaliador apresentou fontes e formas claras e defensveis para o julgamento de valores
O avaliador distinguiu apropriadamente o peso e a profundidade dos diferentes valores
envolvidos
O avaliador levou em considerao os valores dos interessados
O avaliador ofereceu formas de interpretaes alternativas com base em valores
conflitantes porm confiveis
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

155

0 no cumpriu o item

U5 Clareza dos relatrios

O avaliador apresentou um ou mais relatrios contendo sumrio, relatrio principal,
relatrio tcnico e apresentao oral
O relatrio elaborado estava claro, direto, com linguagem compreensvel aos interessados
O relatrio esteve focado nas questes endereadas no contrato
Os achados foram apresentados de forma simples e direta
Foram empregadas diferentes mdias para informar diferentes audincias
Foram apresentados exemplos para facilitar a compreenso das audincias
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

U6 Entrega a tempo e disseminao de relatrios

O avaliador procurou, em conjunto com o cliente, identificar, acessar e informar todos os
usurios intencionais sobre os achados da avaliao
Foram realizadas trocas (discusses) em tempo adequado com a equipe da instituio
durante o processo avaliativo
Foram realizadas trocas com interessados apropriados (Exemplo: o conselho da
instituio, o pblico-alvo do programa e outros interessados)
O relatrio final foi entregue no prazo previsto
O avaliador desenvolveu releases para divulgao dos achados na mdia
Foram utilizadas mdias apropriadas para alcanar e informar diferentes audincias
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

U7 Impacto da avaliao
O avaliador envolveu os interessados em todo o processo avaliativo apresentando
relatrios escritos e (ou) fazendo comunicaes verbais
O avaliador criou sistemtica para prover follow-up e suporte para interpretao e
aplicao dos achados
O avaliador encorajou os interessados a utilizarem os achados da avaliao, fazendo
prognsticos e apontando potenciais usos para os achados
O avaliador demonstrou de forma clara como os achados da avaliao poderiam ser
incorporados no trabalho da equipe
O avaliador suplementou relatrios escritos com constantes comunicaes verbais
O avaliador conduziu reunies de feedback para ir alm e viabilizar a aplicao dos
achados
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

156

0 no cumpriu o item

STANDARDS DE VIABILIDADE
V1 Procedimentos prticos
O avaliador minimizou fragmentao e excesso de dados
Avaliador sugeriu equipe competente e a treinou para o trabalho
Foram escolhidos procedimentos que a equipe tinha competncia para aplicar
Foi proposto um cronograma realista para a realizao do trabalho
O avaliador envolveu pessoal da equipe do programa para participar da conduo da
avaliao
A avaliao ocorreu sem causar interferncias nas atividades de rotina
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

V2 Viabilidade poltica
O avaliador antecipou-se s diferenas de posies de diferentes grupos
O avaliador preveniu-se contra situaes de presso ou aes deliberadas para impedir a
realizao da avaliao
A avaliador fomentou a cooperao entre os envolvidos
O avaliador reportou divergncias de pontos de vista
Quando possvel, o avaliador fez uso das diversas foras polticas para atingir os objetivos
da avaliao
Rechaou qualquer tentativa de corrupo avaliao
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

V3 Custo-efetividade
O processo avaliativo foi eficiente (cumprimento de prazo, maximizao de recursos,
trabalho dentro do oramento)
Foi feito uso de recursos do prprio programa durante a avaliao
O processo avaliativo produziu informaes novas, teis tomada de deciso
O processo avaliativo fomentou melhorias no programa
O processo avaliativo produziu informaes sobre o accountability (uso responsvel de
recursos e prestao de contas s autoridades superiores ligadas ao programa. Exemplo:
financiadores e Conselho Diretor)
O processo avaliativo propiciou a gerao de novos insights sobre o programa
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

157

0 no cumpriu o item

STANDARDS DE PROPRIEDADE
PR1 Orientao para o servio
Avaliou os resultados do programa quanto s necessidades do pblico-alvo e de outros
usurios
O avaliador assegurou que todos os potenciais usurios de direito do programa fossem
contemplados no processo avaliativo
Promoveu servio de excelncia
Identificou aspectos positivos sobre os quais o programa foi estruturado
Identificou aspectos negativos para que fossem corrigidos
Apontou com clareza prticas pouco recomendadas ao bom andamento do programa
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PR2 Acordos formais

Proposta da avaliao e perguntas a serem respondidas pelo processo
Definio das audincias da avaliao
Definio de formato dos relatrios
Estratgias de disseminao dos achados
Procedimentos da avaliao, cronograma de atividades
Recursos a serem utilizados no processo avaliativo
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PR3 Direitos dos indivduos

O avaliador conduziu o processo avaliativo respeitando os direitos civis
O avaliador compreendeu os valores dos diferentes participantes
O avaliador respeitou a diversidade
O avaliador seguiu protocolo pr-estabelecido
O avaliador garantiu confidencialidade e anonimato durante o processo avaliativo
O avaliador minimizou conseqncias prejudiciais da avaliao
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

158

0 no cumpriu o item

PR4 Relaes humanas

O avaliador reportou-se a todos os interessados de maneira profissional
O avaliador honrou o direito de privacidade dos participantes da avaliao
O avaliador honrou os compromissos relativos a prazos
O avaliador foi sensvel s diferenas culturais e de valores dos diferentes interessados
envolvidos no processo avaliativo
O avaliador foi imparcial ao enderear diferentes interessados
O avaliador no ignorou ou encobriu eventuais incompetncias ou atitudes no ticas,
fraudes ou abusos realizados pela equipe do programa
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PR5 Avaliao completa e justa

Foram levantados e reportados aspectos fortes e fracos do programa
Foram reportadas anlises de resultados esperados e no esperados do programa
Foi apontado como os pontos fortes do programa podem auxiliar na minimizao das
fragilidades identificadas na avaliao
O avaliador submeteu um relatrio preliminar a anlise e crticas
O avaliador reconheceu as limitaes do relatrio final
O avaliador apresentou no relatrio as limitaes do processo avaliativo para o julgamento
de determinados aspectos do programa
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PR6 Divulgao dos resultados

O avaliador identificou claramente as audincias de direito
O avaliador reportou pontos relevantes daqueles que suportam e daqueles que criticam o
programa
O avaliador elaborou relatrio balanceado quanto a concluses e recomendaes
O avaliador reportou todos os achados por escrito, exceto em circunstncias em que o
registro por escrito no indicado
A elaborao do relatrio foi orientada estritamente pelos princpios de abertura e
comunicao aberta e direta
O avaliador assegurou que os relatrios chegassem a diferentes audincias
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

159

0 no cumpriu o item

PR7 Conflito de interesses

O avaliador identificou potenciais conflitos de interesse logo no incio da discusso sobre
o processo avaliativo
O avaliador envolveu vrios avaliadores no processo
O avaliador mantm as informaes levantadas arquivadas para eventuais anlises por
auditores externos
Se houve viabilidade, o avaliador estabeleceu contrato com o financiador ao invs do
beneficirio
Se houve viabilidade, o avaliador sugeriu que os relatrios de avaliaes internas fossem
apresentadas diretamente ao diretor presidente
O avaliador envolveu pessoas importantes ao processo avaliativo (Exemplo: membros da
equipe do programa) mas que poderiam representar riscos quanto a conflitos de interesse,
tomando os devidos cuidados para que esses conflitos no ocorressem
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PR8 Responsabilidade fiscal

O avaliador especificou todos os itens de despesa com antecedncia
O avaliador props oramento flexvel para permitir realocaes apropriadas para melhor
realizao da avaliao
O avaliador forneceu relatrio detalhado sobre a alocao de todas as despesas realizadas
O avaliador forneceu relatrio detalhado sobre a alocao de tempo utilizado pela equipe
de avaliao
O avaliador foi criterioso no uso dos recursos realizando apenas gastos necessrios ao
processo avaliativo
Foi includo no relatrio final um informe resumido sobre as despesas realizadas
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

160

0 no cumpriu o item

STANDARDS DE PRECISO
PC1 Documentao do programa
O avaliador coletou e sistematizou descries sobre intenes do programa de diferentes
fontes escritas
Foram mantidos registros de vrias fontes sobre como o programa opera
Foram coletadas e sistematizadas descries sobre intenes do programa de diferentes
interessados
Foram analisadas intenes e percepes e foi feita descrio como de fato o programa
funcionou
Foi solicitada ao cliente e interessados anlise das concluses sobre como o programa de
fato funcionou segundo a avaliao
Foi produzido relatrio tcnico (ou captulo) sobre a operacionalizao do programa
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC2 Anlise do contexto

Foram descritas as dimenses social, econmica e poltica de onde ocorreu o programa
Foram registradas circunstncias no usuais ocorridas no programa
Foram reportadas influncias contextuais que aparentemente influenciaram o programa,
que possam ser de interesse daqueles que querem adot-lo em outro contexto
Foram estimados efeitos do contexto nos resultados do programa
Foram identificados e descritos quaisquer competidores (projeto, programa) que
ocorreram no mesmo perodo e ambiente do programa
Foi descrito como as pessoas afetadas direta ou indiretamente pela existncia do programa
perceberam a importncia e a qualidade do mesmo
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC3 Descrio de propsitos e procedimentos

Houve monitoramento e descrio das mudanas na proposta original ocorridas ao longo
do tempo
Os procedimentos sofreram modificaes ao longo do processo como decorrncia das
mudanas de propsitos ocorridos
Foram registrados os passos sobre como a avaliao foi de fato implementada
Foram levantados pontos de convergncia e divergncia entre os diferentes interessados
(incluindo o cliente) sobre os propsitos da avaliao
Quando o avaliador realizou a interpretao dos dados, levou em considerao a extenso
pela qual os procedimentos previstos foram efetivamente executados
Quando vivel, o avaliador envolveu outro avaliador para monitorar e avaliar os
propsitos e procedimentos da avaliao
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

161

0 no cumpriu o item

PC4 Fontes de informaes defensveis

O avaliador coletou informaes prvias pertinentes ao processo avaliativo
O avaliador obteve informaes de diferentes fontes e mtodos de coleta de informao
O avaliador registrou e incluiu no relatrio as diferentes fontes de informao
O avaliador documentou e justificou todas as escolhas feitas em termos de fontes de
informao, mtodos de coleta e amostra
O avaliador incluiu no apndice do relatrio todos os instrumentos utilizados
O avaliador registrou e reportou ocorrncias que possam ter sido geradoras de vieses
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC5 Informaes vlidas

O avaliador manteve o foco nas questes-chave definidas
O avaliador analisou e reportou qual tipo de informao foi obtido a partir dos
procedimentos utilizados
Foi documentado como cada procedimento de coleta de informaes quantitativas foi
escalonado, sistematizado e analisado
Foram reportadas e justificadas inferncias realizadas individualmente ou em combinao
Foi analisado e reportado o nvel de compreenso obtido como resultado da utilizao dos
procedimentos adotados e sua relao com as informaes necessrias para responder as
perguntas orientadoras da avaliao
Foram estabelecidas categorias de significado para temas regulares e recorrentes oriundos
da coleta de dados qualitativos
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC6 Informaes confiveis

O avaliador identificou e justificou os tipos e a extenso de confiabilidade pretendidos
O avaliador utilizou procedimentos de confiabilidade que no passado demonstraram ser
aceitveis por seus usurios
O avaliador reportou fatores que o influenciaram (caractersticas de anlise, condies em
que foi feita a coleta de dados e vieses dos avaliadores)
O avaliador checou e reportou a consistncia de escalas, classificaes e cdigos
utilizados
O avaliador treinou a equipe, verificou as escalas utilizadas e as anlises visando a
produzir resultados consistentes
Foram realizados pr-testes em novos instrumentos adotados durante o processo avaliativo
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

162

0 no cumpriu o item

PC7 Informao sistemtica

Estabeleceram-se protocolos para controle de qualidade das informaes geradas pela
avaliao
Foi verificada a entrada (tabulao) de dados
Foram revisadas e verificadas as tabelas de dados gerados por computador ou por outros
meios
O avaliador sistematizou e controlou o armazenamento (a organizao) das informaes
coletadas
O avaliador realizou controle rigoroso do acesso informao apenas por aquelas pessoas
previstas no relatrio
Os provedores de informaes tiveram oportunidade de checar as informaes dadas por
eles
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC8 Anlise de informaes quantitativas

O avaliador iniciou a anlise por estudos exploratrios para verificar se os dados estavam
corretos e para ampliar sua compreenso sobre o conjunto de dados coletados
O avaliador reportou as limitaes para cada procedimento analtico incluindo os
insucessos de confirmao de hipteses
O avaliador empregou mltiplos procedimentos analticos para checar a consistncia e a
possibilidade de replicabilidade dos achados
O avaliador examinou variabilidade e tendncias centrais
O avaliador examinou excees e eventuais correes necessrias
O avaliador identificou e analisou interaes estatsticas
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC9 Anlise de informaes qualitativas

Foram definidas as limitaes das informaes utilizadas
Foram definidas categorias analticas e escolhidos procedimentos de anlise e mtodos de
sumarizao apropriados para responder as perguntas avaliativas
Foi feita classificao das informaes obtidas com base nas categorias de anlise
adotadas
Foi verificada a preciso dos achados atravs da obteno de evidncias confirmatrias de
mltiplas fontes, incluindo os interessados
Foram classificadas as informaes obtidas de acordo com categorias de validade e
confiabilidade
O avaliador reportou limitaes sobre as fontes de informaes, anlise e inferncias
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

163

0 no cumpriu o item

PC10 Concluses justificveis

As concluses estiveram limitadas aos perodos de tempo, contextos, propostas, questes e
atividades do programa
Foram reportadas concluses plausveis que explicam porque outras concluses rivais
foram rejeitadas
Foram citadas informaes que suportam as concluses
Foram identificados e reportados os efeitos advindos das aes dos programa
Foram adotados procedimentos para evitar ms interpretaes
Quando vivel e apropriado, obteve e encaminhou resultados j identificados durante a
reviso dos relatrio final
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC11 Imparcialidade de relatrios

O avaliador engajou o cliente para determinar os passos para assegurar comunicao
imparcial
O avaliador salvaguardou o relatrio quanto a distores inadvertidas ou deliberadas
Foram divulgadas todas as perspectivas de todos os interessados inclusive daqueles que
manifestaram vises opostas ao programa
O avaliador obteve avaliadores externos para anlise dos relatrios
Foram descritos os passos para controlar os vieses
O avaliador participou de apresentaes pblicas para assegurar que no ocorressem
distores dos achados por parte de outros interessados
1 cumpriu o item

0,5 cumpriu parcialmente

0 no cumpriu o item

Total =

PC12 Meta-avaliao
Foram previstos recursos suficientes para a conduo de meta-avaliaes internas bem
como de uma meta-avaliao externa
O avaliador definiu previamente Standards a serem utilizados em meta-avaliao a ser
conduzida por avaliador externo
Foram sistematizadas e armazenadas informaes necessrias ao processo de metaavaliao para atender os Standards de anlise predefinidos
Foi realizada a contratao de uma meta-avaliao
O meta-avaliador avaliou instrumentos, coleta de dados, processamento, anlise e
relatrios
Foram obtidas e reportadas as meta-avaliaes formativa e somativa para as audincias de
direito
1 cumpriu o item

0,5 cumpriu parcialmente

Total =

164

0 no cumpriu o item

ANEXO B - MEMRIA DE CLCULO DA ANLISE DO

CONJUNTO DE CASOS PELA PROPOSTA DE STUFFLEBEAM

Utilidade (Checkpoints Cumpridos)

Mdia at 6

x4

Mdia at entre 5 e 5,9

x3

Mdia entre 4 e 4,9

x2

Mdia ente 2 e 3,9

x1

Total
26 28 (93%)

Excelente

19 25 (68%)

Muito bom

14 18 (50%)

Bom

7 13 (25%)

Ruim

05

Pobre

(0%)

17

Viabilidade (Checkpoints Cumpridos)

Mdia at 6

x4

Mdia at entre 5 e 5,9

x3

Mdia entre 4 e 4,9

x2

Mdia ente 2 e 3,9

x1

Total
11 12 (93%)

Excelente

8 10 (68%)

Muito bom

6 7 (50%)

Bom

3 5 (25%)

Ruim

02

Pobre

(0%)

165

Propriedade (Checkpoints Cumpridos)

Mdia at 6

x4

Mdia at entre 5 e 5,9

x3

Mdia entre 4 e 4,9

x2

Mdia ente 2 e 3,9

x1

Total
30 32 (93%)

Excelente

22 29 (68%)

Muito bom

16 21 (50%)

Bom

8 15 (25%)

Ruim

07

Pobre

(0%)

18

Preciso (Checkpoints Cumpridos)

Mdia at 6

x4

Mdia at entre 5 e 5,9

x3

27

Mdia entre 4 e 4,9

x2

Mdia ente 2 e 3,9

x1

Total
45 48 (93%)

Excelente

33 44 (68%)

Muito bom

24 32 (50%)

Bom

12 23 (25%)

Ruim

0 11

Pobre

(0%)

166

31

ANEXO C - ROTEIRO DE ENTREVISTAS - GERENTES

Entrevistado : ____________________________________ Data: __/__/__ Cd. _________

Introduo

Agradecimento pelo apoio ao trabalho.

Apresentao dos objetivos da pesquisa.

Descrio das estratgias da pesquisa: 1) 5 casos, 2) Checklist, 3) entrevista em

profundidade com gerentes e pesquisadores, 4) grupo-foco externo.

Roteiro de Perguntas:
1. Voc j conhecia os Standards para Avaliao de Programas antes da pesquisa?01
Sim S

No S

Em caso positivo, foi feito uso dos Standards para a avaliao estudada nesta pesquisa?
02
Sim S

No S

Em caso positivo, que tipo de uso foi feito?

Apresentao dos Standards:

Foram criados entre 1989 e 1994 por 15 entidades: AEA, American Educational
Research Association, pela American Psychological Association e pelo National Council
on Measurement in Education.

Os Standards so princpios orientadores e no uma prescrio rgida. Eles

contm orientaes para evitar eventuais erros e fundamentam-se em prticas
generalizadamente aceitas, alm de propor diretrizes que refletem as best-practices em
avaliao de programas atualmente.

Os Standards devem ser utilizados como orientao para avaliar planos e

relatrios... devem ser utilizados como meio para troca de informao sobre a
qualidade da avaliao entre o cliente, os avaliadores e os vrios stakeholders
envolvidos...

167

2. Reao imediata. Voc acha que estes 30 Standards podem ser teis para o
aprimoramento da prtica da avaliao de programas de investimento social
privado? Em caso positivo, em que?
Apresentao do resultado do Checklist Quadro com os Standards Crticos.

I - U1- Identificao dos interessados: Pessoas envolvidas ou afetadas pela avaliao

devem ser identificadas, de forma que suas necessidades possam ser atendidas.
Definio de interessados: Interessados: todos aqueles que tem algum tipo de interesse
ou expectativa no projeto. Eles tambm podem ser reconhecidos como clientes
internos ou externos, audincias, parceiros e outros.
3. Como foi a discusso sobre o envolvimento de interessados na fase de planejamento
da avaliao?
4. O avaliador mencionou a importncia disso? 03
Sim S

No S

5. Descreva como este aspecto foi tratado pelo avaliador.

6. Voc acha importante o envolvimento de outros interessados visando ao
atendimento de seus interesses? Dar exemplos: (Caso a caso.) 04
Sim S

No S

7. Cite um exemplo de interessados de seu Programa que no estiveram envolvidos na

avaliao.
8. Voc acha que teria sido importante o seu envolvimento? 05
Sim S
9.

No S

Por que?

10. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente

168

Justifique em caso de discordncia.

II - U5) Clareza dos relatrios: Relatrios de avaliao devem descrever claramente o

programa avaliado, incluindo seu contexto e os propsitos, procedimentos e concluses
da avaliao, de forma a prover informaes essenciais que sejam facilmente
entendidas.
11. Houve algum acordo prvio sobre quantidade e formato dos relatrios?06
Sim S

No S

Se Sim, quais foram?

12. Foi discutida a necessidade de desenvolver diferentes formatos para atender a

diferentes pblicos?07
Sim S

No S

Se Sim, quais foram as sugestes e para que finalidade?

13. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

III- U6) Entrega a tempo e disseminao de relatrios: Achados significativos e

relatrios de avaliao devem ser disseminados junto aos usurios intencionais da
avaliao, para serem utilizados no momento adequado.
14. Como foram compartilhadas as informaes referentes aos resultados parciais da
avaliao durante o processo avaliativo? Com quem foram compartilhadas?
15. Como foi a relao do avaliador no que se refere aos prazos? Houve atraso?08
Sim S

No S

Se Sim, os atrasos deveram-se a que?

169

16. As informaes geradas pela avaliao foram disponibilizadas a tempo para

alimentar processos decisrios?09
Sim S

No S

Os eventuais atrasos trouxeram algum tipo de incmodo/prejuzo? Quais?

17. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

IV - U7- Impacto da avaliao: Avaliaes devem ser planejadas, conduzidas e

divulgadas de forma a estimular seu acompanhamento por parte dos principais
interessados, aumentando assim as possibilidades de uso da avaliao.
18. O avaliador criou, desde o incio da avaliao, estratgias para que os resultados da
avaliao fossem utilizados pelos diferentes interessados do programa?10
Sim S

No S

Se Sim, quais foram as estratgias?

19. Quais foram os procedimentos de comunicao utilizados durante o processo
avaliativo? Para quem?
20. Em que medida os usurios da avaliao ficaram satisfeitos com o impacto gerado
pela avaliao? A avaliao foi til?
21. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

170

V - V2 - Viabilidade poltica: A avaliao deve ser planejada e conduzida tendo-se

clareza antecipada dos diferentes posicionamentos dos vrios grupos de interesse. Deve
assim conseguir a cooperao de todos e tentar evitar, ou criar mecanismos para
contra-atacar, possveis esforos de qualquer destes grupos para dificultar a
operacionalizao, ou confundir, ou usar de forma inadequada os resultados da
avaliao.
22. Durante a fase de desenvolvimento da proposta avaliativa discutiu-se questes
relacionadas a eventuais conflitos de interesse ou outras eventuais iniciativas que
pudessem representar uma ameaa ao processo avaliativo ?11
Sim S

No S

Se Sim, quais foram as questes levantadas?

23. Como foram tratas as eventuais aes de foras polticas que interagiram durante o
processo avaliativo?
24. As medidas adotadas para minimizar eventuais conflitos foram eficazes? 12
Sim S

No S

Se No, na sua opinio, por quais motivos?

25. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VI - V3) Custo-efetividade: A avaliao deve ser eficiente e produzir informaes de

valor significativo, de forma que os recursos utilizados possam ser justificados.
26. Como foi a relao do avaliador no que se refere aos recursos utilizados no processo
avaliativo? Foram explicitados os provveis benefcios com a avaliao? Houve
preocupao em se maximizar os recursos despendidos?
27. As informaes geradas como resultado do processo avaliativo justificaram os
investimentos realizados em termos de relevncia e utilidade (novas, geradoras de
insights)?

171

28. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VII - PR5- Avaliao completa e justa: as avaliaes devem ser completas e justas no
momento de examinar e registrar os principais pontos positivos e limitaes do
programa sendo avaliado, possibilitando a valorizao dos aspectos de sucesso do
programa e correo das falhas existentes.
29. A avaliao realizada pode ser considerada completa e justa? Abordou tanto pontos
fortes quanto fracos do Programa ? 13
Sim S

No S

Se No, quais aspectos deixaram de ser abordados e por que motivo (na sua
opinio)?
30. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VIII- PR6- Divulgao dos resultados: os responsveis pela avaliao devem assegurar
que todas as pessoas e instituies afetadas pelo processo avaliativo, e aquelas com
direito legal, tenham acesso aos resultados da avaliao em sua totalidade, assim como
a possveis limitaes relevantes do processo.
31. Quais interessados tiveram acesso aos resultados da avaliao?
32. Quem decidiu sobre o pblico a ser informado?
33. Quais foram os critrios utilizados para definir esse pblico?

172

34. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VIII PR8) Responsabilidade fiscal: a alocao e o desembolso dos recursos

destinados avaliao devem ser realizados de forma adequada, prudente e eticamente
responsvel pelo avaliador, para que se possa prestar contas dos gastos de maneira
transparente.
35. Como foi a relao entre cliente e avaliador no que se refere ao uso dos recursos?
Quais foram os procedimentos adotados?
36. Voc ficou satisfeito com os procedimentos relacionados prestao de contas? 14
Sim S

No S

Se No, quais foram os pontos crticos relacionados a esses aspectos?

37. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

IX - PC2) Anlise do contexto: o contexto no qual o programa est inserido deve ser
descrito com o detalhamento necessrio para que suas possveis influncias no
programa possam ser identificadas.
38. Como foram tratadas as eventuais influncias contextuais sobre os resultados do
programa?
39. Foi proposto um mapeamento a priori de algum outro programa ou projeto que
pudesse concorrer com as aes do programa?15
Sim S

No S

173

40. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

X - PC4) Fontes de informao defensveis: as fontes de informao usadas na

avaliao devem estar descritas em detalhes, de forma a permitir a anlise da
adequao da informao coletada. 16
41. Houve discusses sobre eventuais vieses gerados pelas diferentes fontes de
informao utilizadas na avaliao?
Sim S

No S

Se Sim, quais foram as discusses e os procedimentos para minimizar ou informar

sobre esses vieses?
42. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

XI - PC9) Anlise de informaes qualitativas: informaes qualitativas devem ser

apropriada e sistematicamente analisadas de forma a possibilitar responder
efetivamente s perguntas avaliativas formuladas.
43. Como foram tratadas as eventuais limitaes das informaes geradas pelo processo
avaliativo no que diz respeito a limitaes relacionadas aos instrumentos utilizados e
anlises realizadas?
44. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente

174

Justifique em caso de discordncia.

XII - PC12) Meta-avaliao: o processo de desenvolvimento, bem como o possvel

impacto da avaliao para o programa, devem ser avaliados utilizando os Standards
descritos aqui, ou outros, a fim de garantir que o processo transcorra de forma
adequada e que, ao final, os principais interessados/afetados pela avaliao possam
visualizar com clareza os pontos positivos e as limitaes da avaliao.
45. Na sua opinio, quais os motivos da no adoo de procedimentos de metaavaliao?
46. Voc acha que este Standard pode ser considerado como um parmetro (dentre
outros) justo de julgamento de uma avaliao de programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

175

ANEXO D - ROTEIRO DE ENTREVISTAS - AVALIADORES

Entrevistado : ____________________________________ Data: __/__/__ Cd. _________

Introduo

Agradecimento pelo apoio a trabalho.

Apresentao dos Objetivos da pesquisa.

Descrio das estratgias da pesquisa: 1) 5 casos, 2) Checklist, 3) entrevista em

profundidade com gerentes e pesquisadores, 4) grupo-foco externo.

Roteiro de Perguntas:
1. Voc j conhecia os Standards para Avaliao de Programas antes da pesquisa?01
Sim S

No S

Em caso positivo, foi feito uso dos Standards para a avaliao estudada nesta
pesquisa? 02
Sim S

No S

Em caso positivo, que tipo de uso foi feito?

Apresentao dos Standards :
Foram criados entre 1989 e 1994 por 15 entidades: AEA, American Educational
Research Association, pela American Psychological Association e pelo National Council
on Measurement in Education.

Os Standards so princpios orientadores e no uma prescrio rgida. Eles

contm orientaes para evitar eventuais erros e fundamentam-se em prticas
generalizadamente aceitas, alm de propor diretrizes que refletem as best-practices em
avaliao de programas atualmente.

Os Standards devem ser utilizados como orientao para avaliar planos e

relatrios... devem ser utilizados como meio para troca de informao sobre a
qualidade da avaliao entre o cliente, os avaliadores e os vrios stakeholders
envolvidos...

176

2. Reao imediata. Voc acha que estes 30 Standards podem ser teis para o
aprimoramento da prtica da avaliao de programas de investimento social
privado? Em caso positivo, em que?
3. Apresentao do resultado do Checklist: A anlise demonstra maiores pontuaes
nos seguintes Standards:.......
e menores nos seguintes: ......

I - U1) Identificao dos interessados: Pessoas envolvidas ou afetadas pela avaliao

devem ser identificadas, de forma que suas necessidades possam ser atendidas.
Definio de interessados: Interessados: todos aqueles que tm algum tipo de interesse
ou expectativa no projeto. Eles tambm podem ser reconhecidos como clientes
internos ou externos, audincias, parceiros e outros.
Resultado do Checklist com relao a este Standard
U1 identificao dos interessados
O avaliador engajou lderes para identificar outros
interessados
Os interessados ajudaram a identificar outros interessados
Foram propostas estratgias para envolvimento dos
interessados durante a avaliao no contrato

NC
3

CP
1

5
2

4. Com base na experincia do caso em estudo, comente sobre como foi tratado o
envolvimento de interessados. Estimulou-se o envolvimento de outros interessados?
Como a gerncia recebeu a idia de envolvimento de outros interessados?
5. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
6. Tomando como base sua experincia na avaliao objeto deste estudo, bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

177

II - U5) Clareza dos relatrios: Relatrios de avaliao devem descrever claramente o

programa avaliado, incluindo seu contexto e os propsitos, procedimentos e concluses
da avaliao, de forma a prover informaes essenciais que sejam facilmente
entendidas.
Resultado do Checklist com relao a este Standard
U5 Clareza dos relatrios
NC
Foram empregadas diferentes mdias para informar diferentes 1
audincias

CP
2

Foram apresentados exemplos para facilitar a compreenso das 2

audincias

7. Com base na experincia do caso em estudo, comente sobre como foram

estruturados os relatrios quanto a formatos para comunicao dos resultados da
avaliao?
8. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
9. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

III - U6) Entrega a tempo e disseminao de relatrios: Achados significativos e

relatrios de avaliao devem ser disseminados junto aos usurios intencionais da
avaliao, para serem utilizados no momento adequado.
Resultado do Checklist com relao a este Standard
U6 Entrega a tempo e disseminao de relatrios
NC
O avaliador procurou, em conjunto com o cliente, identificar, 1
acessar e informar todos os usurios intencionais sobre os
achados da avaliao
O relatrio final foi entregue no prazo previsto
2

CP
2

O avaliador desenvolveu releases para divulgao dos achados 4

na mdia

178

10. Com base na experincia do caso em estudo, comente sobre como foram os fluxos
de informaes parciais sobre os achados da avaliao durante o processo avaliativo.
11. Comente sobre as eventuais dificuldades com prazos. A que se deveram?
Acarretaram incmodos/prejuzos?
12. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
13. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

IV - U7) Impacto da avaliao: Avaliaes devem ser planejadas, conduzidas e

divulgadas de forma a estimular seu acompanhamento por parte dos principais
interessados, aumentando assim as possibilidades de uso da avaliao.
Resultado do Checklist com relao a este Standard
U7 Impacto da avaliao
NC
O avaliador criou sistemtica para prover follow-up e suporte para 1
interpretao e aplicao dos achados

CP
2

O avaliador demonstrou de forma clara como os achados da 1

avaliao poderiam ser incorporados no trabalho da equipe

O avaliador suplementou relatrios escritos com constantes 1

comunicaes verbais

O avaliador conduziu reunies de feedback para ir alm e viabilizar 1

a aplicao dos achados

14. Com base na experincia do caso em estudo, comente sobre as estratgias utilizadas
para estimular o uso dos achados da avaliao pelos diferentes interessados.
15. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?

179

16. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

V - V2) Viabilidade poltica: A avaliao deve ser planejada e conduzida tendo-se

clareza antecipada dos diferentes posicionamentos dos vrios grupos de interesse. Deve
assim conseguir a cooperao de todos e tentar evitar, ou criar mecanismos para
contra-atacar, possveis esforos de qualquer destes grupos, para dificultar a
operacionalizao, ou confundir, ou usar de forma inadequada os resultados da
avaliao.
Resultado do Checklist com relao a este Standard
V2 Viabilidade poltica
NC
O avaliador antecipou-se s diferenas de posies de diferentes 0
grupos
O avaliador reportou divergncias de pontos de vista
0

CP
3
3

17. Com base na experincia do caso em estudo, comente sobre como foram tratadas as
questes relacionadas a eventuais conflitos de interesse ou outras eventuais
iniciativas que pudessem representar uma ameaa ao processo avaliativo.
18. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
19. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

180

VI - V3) Custo-efetividade: A avaliao deve ser eficiente e produzir informaes de

valor significativo, de forma que os recursos utilizados possam ser justificados.
Resultado do Checklist com relao a este Standard
V3 Custo-efetividade
NC
O processo avaliativo produziu informaes novas, teis tomada 0
de deciso

CP
3

O processo avaliativo fomentou melhorias no programa

0
O processo avaliativo produziu informaes sobre o accountability 0
(uso responsvel de recursos e prestao de contas s autoridades
superiores ligadas ao programa. Exemplo: financiadores e
Conselho Diretor)
O processo avaliativo propiciou a gerao de novos insights sobre 1
o programa

3
3

20. Comente sobre sua percepo sobre a relao custo-efetividade da avaliao objeto
desta pesquisa.
21. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
22. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

181

VII - PR5) Avaliao completa e justa: as avaliaes devem ser completas e justas no
momento de examinar e registrar os principais pontos positivos e limitaes do
programa avaliado, possibilitando a valorizao dos aspectos de sucesso do programa e
a correo das falhas existentes.
Resultado do Checklist com relao a este Standard
P5 Avaliao completa e justa
NC
O avaliador reconheceu as limitaes do relatrio final
4
O avaliador apresentou no relatrio as limitaes do processo 4
avaliativo para o julgamento de determinados aspectos do
programa

CP
1
1

23. Comente sobre a abrangncia da avaliao no que diz respeito ao levantamento dos
pontos fortes e fracos do Programa.
24. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
25. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VIII - PR6) Divulgao de resultados: os responsveis pela avaliao devem assegurar

que todas as pessoas e instituies afetadas pelo processo avaliativo e aquelas com
direito legal tenham acesso aos resultados da avaliao em sua totalidade, assim como
a possveis limitaes relevantes do processo.
Resultado do Checklist com relao a este Standard
PR6 Divulgao dos achados
NC
O avaliador assegurou que os relatrios chegassem a diferentes 0
audincias

182

CP
4

26. Comente sobre o acesso e divulgao dos resultados da avaliao junto aos
diferentes interessados. Quais interessados tiveram acesso aos resultados da
avaliao?
27. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
28. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

VIII - PR8) Responsabilidade fiscal: a alocao e o desembolso dos recursos

destinados avaliao devem ser realizados de forma adequada, prudente e eticamente
responsvel pelo avaliador, para que se possa prestar contas dos gastos de maneira
transparente.
Resultado do Checklist com relao a este Standard
PR8 Responsabilidade fiscal
NC
Foi includo no relatrio final um informe resumido sobre as 5
despesas realizadas

CP
0

29. Comente sobre a relao entre avaliador e cliente e em relao ao uso dos recursos.
Quais foram os procedimentos adotados? Houve prestao de contas? O cliente ficou
satisfeito com os procedimentos adotados?
30. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
31. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente

183

Justifique em caso de discordncia.

IX - PC2) Anlise do contexto: o contexto no qual o programa est inserido deve ser
descrito com o detalhamento necessrio para que suas possveis influncias no
programa possam ser identificadas.
Resultado do Checklist com relao a este Standard
PC2 Anlise do contexto
NC
Foram identificados e descritos quaisquer competidores (projeto, 1
programa) que ocorreram no mesmo perodo e ambiente do programa

CP
2

32. Comente sobre o tratamento metodolgico dado s eventuais influncias contextuais

sobre os resultados do programa.
33. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
34. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

X - PC4) Fontes de informaes defensveis: as fontes de informao usadas na

avaliao devem ser descritas em detalhes, de forma a permitir a anlise da adequao
da informao coletada.
Resultado do Checklist com relao a este Standard
PC4 Fontes de informaes defensveis
NC
O avaliador registrou e reportou ocorrncias que possam ter sido 3
geradoras de vieses

CP
1

35. Comente sobre o tratamento metodolgico dado seleo e descrio sobre as

diferentes fontes de informao utilizadas na avaliao.
36. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?

184

37. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

XI - PC6) Informaes confiveis: os procedimentos para coleta de informaes devem

ser escolhidos ou desenvolvidos e depois aplicados de forma a assegurar que a
informao obtida seja suficientemente confivel.
Resultado do Checklist com relao a este Standard
PC6 Informaes confiveis
NC
O avaliador reportou fatores que o influenciaram (caractersticas de 2
anlise, condies em que foi feita a coleta de dados e vieses dos
avaliadores)

CP
1

38. Comente sobre o tratamento metodolgico dado seleo e descrio sobre as

diferentes fontes de informao utilizadas na avaliao.
39. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
40. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente

185

XII - PC9) Anlise de informaes qualitativas: informaes qualitativas devem ser

apropriada e sistematicamente analisadas de forma a possibilitar responder efetivamente s
perguntas avaliativas formuladas.
Resultado do Checklist com relao a este Standard
PC9 Anlise de informaes qualitativas
NC
O avaliador reportou limitaes sobre as fontes de informaes, 3
anlise e inferncias

CP
1

41. Comente sobre o tratamento dado s eventuais limitaes dos instrumentos e

anlises realizados?
42. Comente sobre os resultados da tabela. O que os resultados do Checklist nos
mostram?
43. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist, voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

XIII - PC12) Meta-avaliao: o processo de desenvolvimento, bem como o possvel

impacto da avaliao para o programa, devem ser avaliados utilizando os Standards
descritos aqui, ou outros, a fim de garantir que o processo transcorra de forma
adequada e que, ao fina,l os principais interessados/afetados pela avaliao possam
visualizar com clareza os pontos positivos e as limitaes da avaliao.
44. Na sua opinio, quais os motivos da no adoo de procedimentos de metaavaliao em quatro dos cinco casos?
45. Tomando como base sua experincia na avaliao objeto deste estudo bem como a
anlise do resultado do Checklist voc acha que este Standard pode ser considerado
como um parmetro (dentre outros) justo de julgamento de uma avaliao de
programa na realidade brasileira?
Concordo
Discordo
Pouco Muito Totalmente Pouco Muito Totalmente
Justifique em caso de discordncia.

186

ANEXO E - QUESTIONRIOS DE CONCORDNCIA

Nome :

Programa:

Cod.

Questionrio
Pergunta : Os 30 Standards definidos pelo Joint Committee of Standards for Educational
Evaluation dos E.U.A podem ser aceitos como diretrizes para orientar prticas
avaliativas bem como avaliar a qualidade de avaliaes de projetos e programas de
investimento social privado no Brasil?

Escolha uma alternativa que manifeste sua concordncia ou discordncia com relao a cada
um dos Standards.
1. Atributo Utilidade
U2)Credibilidade do avaliador: As
pessoas que conduzem a avaliao
devem ser confiveis e competentes, a
fim de que os resultados da avaliao
obtenham
grau
elevado
de
credibilidade e aceitao.

U3) Escopo e seleo de

informaes:
Informaes
coletadas devem ser selecionadas
de forma ampla para que possam
abordar perguntas pertinentes sobre
o programa e trazer respostas a
necessidades e interesses dos
clientes e de outros interessados
pela avaliao.

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Justifique em caso se discordncia:

187

U4) Identificao de valores: As

perspectivas, os procedimentos e as
justificativas usados para interpretar os
resultados da avaliao devem ser
cuidadosamente descritos, de forma que
as bases para julgamentos de valores
fiquem bem claras.

Concordo
Pouco

Muito

Discordo
Totalmente

Muito

Pouco

Totalmente

Justifique em caso se discordncia:

2. Atributo Viabilidade

V1) Procedimentos prticos: Os

procedimentos da avaliao devem ser
prticos a fim de evitar ao mximo
perturbaes no momento em que as
informaes necessrias esto sendo
coletadas.

188

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Justifique em caso se discordncia:

Totalmente

3 - Atributo Propriedade

PR1) Orientao para o servio:

avaliaes devem ser desenhadas de
forma a ajudar as organizaes a
atender e responder de forma eficaz s
necessidades de todas as pessoas e
instituies servidas ou afetadas de
alguma maneira por seus programas.

Concordo

PR2) Acordos formais: acordos

firmados sobre o qu, como,
quem e quando fazer as atividades
pertinentes avaliao devem estar
registrados num documento, de modo
que as partes envolvidas sintam-se na
obrigao de honrar os compromissos
assumidos ou renegoci-los formalmente
se for necessrio.

Concordo

PR3) Direitos dos indivduos:

avaliaes devem ser planejadas e
levadas a cabo considerando sempre o
respeito e o zelo pelos direitos
individuais
das
pessoas
nelas
envolvidas ou afetadas por seus
resultados.

189

Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Justifique em caso se discordncia:

Totalmente

PR4) Relaes
humanas: os
avaliadores, no momento de se
relacionar com as outras pessoas
envolvidas na avaliao, devem
respeitar a dignidade e o valor dessas
pessoas, para que elas no se sintam em
nenhum momento ameaadas ou
prejudicadas.

PR7) Conflito de interesses: qualquer

conflito de interesses durante o
desenvolvimento do processo avaliativo
deve ser tratado de forma aberta e
honesta entre as partes envolvidas, de
forma a no compromet-lo ou a seus
resultados.

190

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Justifique em caso se discordncia:

Totalmente

4. Atributo Preciso

PC1) Documentao do programa: o

programa avaliado deve ser descrito e
documentado de forma clara e precisa,
para que possa ser facilmente
identificado.

PC3) Descrio de propsitos e

procedimentos: os propsitos e
procedimentos da avaliao devem ser
descritos
de
maneira
clara
e
monitorados para que sejam facilmente
identificados e examinados.

PC5) Informaes
vlidas:
os
procedimentos para a coleta de
informaes devem ser escolhidos ou
desenvolvidos e depois aplicados de
forma a assegurar que a interpretao de
resultados seja vlida e til.

PC6) Informaes confiveis: os

procedimentos
para
coleta
de
informaes devem ser escolhidos ou
desenvolvidos e depois aplicados de
forma a assegurar que a informao
obtida seja suficientemente confivel.

191

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Justifique em caso se discordncia:

Totalmente

PC7) Informao sistemtica: A

informao coletada, processada e
escrita em relatrios deve ser
sistematicamente revisada e qualquer
erro encontrado deve ser corrigido.

Concordo

PC8) Anlise de informaes quantitativas:

informaes quantitativas devero ser
apropriada
e
sistematicamente
analisadas de forma a possibilitar
responder efetivamente s perguntas
avaliativas formuladas.

Concordo

PC10) Concluses justificveis: as

concluses de uma avaliao devem ser
explicitamente justificadas para que
possam ser analisadas pelos principais
interessados/afetados pela avaliao
e/ou pelo programa.

PC11) Imparcialidade de relatrios:

os procedimentos para elaborao de
relatrios devero incluir mtodos que
previnam possveis distores causadas
por sentimentos/opinies/vieses pessoais,
a fim de que os relatrios reflitam de
forma justa os resultados da avaliao.

192

Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Totalmente

Justifique em caso se discordncia:

Concordo
Pouco

Muito

Discordo
Totalmente

Pouco

Muito

Justifique em caso se discordncia:

Totalmente

8 REFERNCIAS BIBLIOGRFICAS

AUSTIN, J., E. Parcerias- Fundamentos e benefcios para o terceiro setor. So

Paulo, Futura, 2001.
CAMPBELL, D., T. Degrees of freedom and the Case Study. Comparative
Political Studies, V 8,178-193
CHIANCA, T.; MARINO, E; SCHIESARI, L. Desenvolvendo a cultura de
avaliao em organizaes da sociedade civil. So Paulo, Editora Global e Instituto
Fonte, 2000.
CRONBACH, L. J. & SUPPES, P. Research for tomorrows Schools: Disciplined
Inquiry for Education. New York: Macmillan, 1969
Evaluation Research Society. Standards for Evaluation (draft). Washington,
DC:ERS, 1980.
FALCONER, A. P. A promessa do terceiro setor Um estudo sobre a
Construo do Papel das Organizaes Sem fins lucrativos e do seu Campo de
gesto. So Paulo, Dissertao (Mestrado) Faculdade de Economia e
Administrao e Contabilidade. Universidade de So Paulo, 1999. 153 p.
FALCONER, A. P. Um setor ou diversos? Reconhecendo o 3 setor no BR. III
SEMEAD.
FERNANDES, R. C. O que o Terceiro Setor? in 3 Setor Desenvolvimento
Social Sustentado. Rio de Janeiro, Paz e Terra, 1994.
FETTERMAN, M. D. Empowerment Evaluation. Newbury Park, CA: SAGE
Publications, Inc.
FISCHER, R., M. O desafio da colaborao: prticas de responsabilidade entre
empresas e terceiro setor. So Paulo, Editora Gente, 2002.
FREITAG, B. & ROUNET, P. S. ORGS. Habermas, Sociologia. So Paulo, Editora
tica, 2001.
GIFE - Grupo de Institutos, Fundaes e Empresas. Investimento Social Privado no
Brasil. So Paulo, Editora Fundao Peirpolis, 2001.

193

GIL, A. C. Como elaborar projetos de pesquisa. So Paulo, Editora Atlas, 2002.

GUBA, E. G., & LINCOLN, Y. S. Effective Evaluation. San Francisco: Jossey
Bass, 1981.
GUBA, E. G., & LINCOLN, Y. S. Fourth Generation Evaluation. Newbury Park,
CA: SAGE Publications, Inc., 1989.
HOUSE, E. R. Evaluation with validity. Beverly Hills, CA: SAGE, 1980
HOUSE, E. R. Philosophy of Evaluation. New Directions for Program Evaluation,
San Francisco, Jossey Bass,. 1983. V19.
HOUSE, R., E & HOWE, R. K. Deliberative Democratic Evaluation. New
Directions for Evaluation. So Francisco, Jossey Bass Publishers, 2000. V. 85, p 311.
INSTITUTO DE PESQUISAS ECONMICAS. A Iniciativa Privada e o Esprito
Pblico - Resultados Nacionais. Braslia. Disponvel em < www.ipea.gov.br>.
Acesso em 10/10/2002.
JANG, S. The appropriateness of Joint Committee Standards in Non-Western
Settings: A Case of South Korea. Syracuse University, 2000.
JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION
The program evaluation Standards, 2.ed., Thousand Oaks: Sage, 1994.
KUHN, T. A Estrutura das Revolues Cientficas. So Paulo, Editora
Perspectiva, 2000.
LANDIM, L.M. Defining Nonprofit Sector in Brazil, The Johns Hopkins
University, 1993.
LANDIM, L.M. The Nonprofit Sector in Brazil, in The Nonprofit Sector in
Developing World. Anheier & Salamon, L. (Eds.) Manchester/New York,
Manchester University Press, 1998.
LOGAN, D. et al. Global Corporate Citizenship Rationale and Strategies.
Washington D. C., The Hitachi Foundation, 1997.
MARINO, E. How Can Evaluation and Corporate Volunteerism Add Value to
Corporate Citizenship in Brazil?.(Working paper no publicado) New York, City
University of New York, 1998.
MORAES, M., C. O paradigma educacional emergente. Campinas, Papirus, 1997.
MORIN, E. Epistemologia da Complexidade. In. D.F. Schnitman (org.). Novos
Paradigmas, Cultura e Subjetividade. Porto Alegre: Artes Mdicas, 1996.

194

NOWAKOWSKI, R., J. An Interview with Ralph Tyler. Ocasional Paper Series.

Western Michigan University, 1981.
PATTON, M. Q. Practical Evaluation. Newbury Park, CA, Sage, 1982
PATTON, M.Q. Qualitative research and evaluation methods. 2.ed., Newbury
Park, CA, Sage, 1990.
PATTON, M.Q. Utilization Focused-Evaluation. Newbury Park, CA, Sage, 1996
PATTON, M.Q. Qualitative research and evaluation methods. 3.ed., Newbury
Park, CA: Sage, 2002.
PELIANO, A. M. T. M. org. Um retrato da ao social das empresas do Sudeste
brasileiro. IPEA, Braslia, 2000
PELIANO, A. M. T. M. org. A iniciativa Privada de Esprito Pblico. IPEA,
Braslia, 2000.
PRESKILL, H & TORRES, T. R, The Learning Dimension of Evaluation Use. New
Directions for Evaluation. San Francisco, Jossey Bass, 2000. V. 88, p. 25 - 37.
RENZ, L. et al. Yearbook of facts and figures on private, corporate and
community foundations. New York, Foundation Center, 1997.
RIDDELL, R. Linking Costs and Benefits in NGO Development Projects: A
study by the Overseas Development Institute commissioned by the Development
Administration. ODI, London, 1997.
ROCHE Chris. Avaliao de Impacto dos Trabalhos de ONGs: aprendendo a
valorizar as mudanas. So Paulo, Cortez Editora, 2000.
RUCKLE, J. Distinctive qualities of third sector organizations. New York and
London, Garland Publishing, 1993.
RUSSOM, C. The Program Evaluation Standards in International Settings. The
Evaluation Center Occasional Papers. Kalamazoo, 2001.
SALAMON, L. M. & ANHEIER, H. Americas Nonprofit Sector- A Primer. New
York, Foundation Center, 1992.
SALAMON, L. M. & ANHEIER, H. The Emerging Sector. The Johns Hopkins
University, 1994.
SALAMON, L. M. & ANHEIER, H. The nonproft Sector in developing world.
The Johns Hopkins University, 1998.

195

SANDERS J. R. A basis for determining the adequacy of evaluation designs.

Occasional Paper Series. Alaska Department of Education to the Northwest
Regional, 1976.
SCHRAMM, W. Notes on Case Studies of Instructional Media Projects. Working
Paper, the Academy of Educational Development, Washington, DC, 1971.
SCRIVEN, M. An introduction to Meta-evaluation. Educational Product Report.
V. 2, N. 5, 1969
SCRIVEN, M. Evaluation Thesaurus. Sage, Newbury Park, 1991.
SCRIVEN, M. Goal Free Evaluation. Evaluation News & Comment. Australian
Evaluation Society, 1996. V 5, Number 2, p. 12.
SELLTIZ, et alii. Mtodos de Pesquisa nas Relaes Sociais. So Paulo,
Pedaggica e Universitria, 1985.
SINGER D., B. Towards a Sociology of Standards: Problems of a Criterial
Society. The Canadian Journal of Sociology, 1996. V 21, n 2, p. 203-221.
STAKE R. E. The countenance of Educational Evaluation. Teachers College
Record, 68, 523-540, 1967.
STAKE R., E. Program Evaluation Particularly Responsive. Center for
Instructional Research and Curriculum Evaluation. University of Illinois at UrbanaCampaign, 1975.
STAKE R. E.. Summary of evaluation of reader focused writing for veterans
benefits administration. Amerian Journal of evaluation, V. 20, 323-343, 1999.
STEVENSON, W.,J. Estatstica aplicada a administrao. So Paulo, HARBRA,
1981.
STEWART, D. W.; SHAMDASANI, P. N. Focus group, theory and practice.
Newbury, California. Sage Publications, Inc, 1990.
STUFFLEBEAM, D. L. Meta-evaluation. Occasional Papers series. The Evaluation
Center, Western Michigan University, Kalamazoo, 1974.
STUFFLEBEAM, D. L. The CIPP Model for Evaluation. Texto no publicado.
MI: The Evaluation Center, Western Michigan University, Kalamazoo, 1999.
STUFFLEBEAM, D. L. Program Evaluation Metaevaluation Checklist based
on The Program Evaluation Standards. (pdf version). The Evaluation Center.
Western Michigan University. Kalamazoo, 2000.

196

STUFFLEBEAM, D. L. Evaluation Models. New Directions for Evaluation, San

Francisco, Jossey Bass,. 2001a. V. 89, p. 7 98.
STUFFLEBEAM, D. L. The Metaevaluation Imperative. The American Journal
of Evaluation. New York, Elsevier Science Inc., 2001b. V. 22, p. 183 209.
STUFFLEBEAM, D., MADAUS, G., & KELLAGHAN, T. (Eds.).
Evaluation Models. The CIPP Model for Evaluation by Daniel L.
Stufflebeam,.( traduo Chianca, T., K. no prelo) Kluwer Academic
Publishers - Boston / Dordrecht / Londres, 2000. p. 279-317
TAUT, S. Cross- cultural transferability of the program evaluation Standards.
The Evaluation Center. Western Michigan University, 2001.
THIOLLENT, M. Metodologia da Pesquisa - ao. 11. ed. So Paulo, Cortez
Editora, 2000.
WEEDEN, CURT.. Corporate Social Investing: the breakthrough strategy for
giving and getting corporate contribution. So Francisco, CA. Berret-Koehler
Publishers, Inc., 1998.
WIDMER, T. Evaluating evaluations: does the Swiss practice live up to the
program evaluation Standards? Institute of Political Science. University of
Zurich, 1995.
WORTHEN, SANDERS & FITZPATRICK. Educational Evaluation Alternative
Approaches and Practical Guidelines. 2. Ed., USA, Longman Publishers, 1987.
WORTHEN, SANDERS & FITZPATRICK. Program Evaluation: Alternative
approaches and practical guidelines. 2. Ed., USA, Longman Publishers, 1997
YIN, R. K. Estudo de caso planejamento e mtodos. Porto Alegre, Bookman,
2002.

197