Carol Weiss

AVALIAÇÃO*
(Cap. 3)

*WEISS, Carol. Evaluation: methods for studying programs and

policies. Upper Saddle River: Prentice-Hall, 1998.
 CAPÍTULO 3

ENTENDENDO O PROGRAMA

Os limites dos programas não são bem definidos, de modo que nem sempre é fácil determinar exatamente o
que é o programa a ser avaliado.
M. W. McLaughlin e D. C. Philips (1991, p. x)

Deveríamos empregar metáforas de processos, atividade focalizada, mudanças marginais, transformação

cumulativa e, acima de tudo, pensar mais imaginativamente em termos de determinados modelos de
processos formativos e generativos.
Frederick Barth (1990, p. 652)

Quem está no mundo da avaliação fala sobre o programa de avaliação, mas os livros e os periódicos
colocam mais ênfase na avaliação do que no programa. O programa é assunto de outros. Os avaliadores se
apresentam seja qual for o programa em cena, puxam para fora sua bolsa metodológica de truques e
procedem à avaliação.
Este capítulo recomenda que os avaliadores se atentem mais firmemente ao programa. Devem
familiarizar-se com as condições gerais do campo logo no início do jogo e aprender tudo o que puderem
sobre acontecimentos específicos do programa em estudo à medida que se desenrolar a avaliação.
Também devem entender exatamente como é que o programa espera produzir as mudanças exigidas. Há
muitas razões significativas para este aviso.

O Que o Conhecimento do Programa Confere

Desenvolver Um Bom Sentido dos Temas

Quando a avaliadora está bem informada desde o início sobre o tipo de programa de que tratará (p.
ex. serviços de planejamento familiar ou conservação de energia), ela tem uma ideia melhor dos temas que
a avaliação deverá abordar. Conhece a linha geral de desenvolvimento do programa e as controvérsias
existentes no campo. Pode aparelhar o estudo de modo a fazê-lo tratar de temas atuais e prementes.

Formular Perguntas

2
 O conhecimento do programa ajuda a avaliadora a tornar relevantes e incisivas as questões
avaliativas.

Para Compreender os Dados

Algumas das informações podem parecer anômalas à medida que os dados de avaliação vão
chegando. E, muitas vezes durante o estudo, costumam surgir descobertas inesperadas e aparentemente
incongruentes. Para que façam sentido, a avaliadora terá proveito se entender o modo de funcionamento
do programa e da interação entre praticantes e beneficiários. Esse conhecimento possibilita que ela
interprete as informações recebidas, partindo, talvez, em novas áreas de investigação.

Interpretar as Evidências
A avaliadora somente pode interpretar o significado dos dados resultantes se tiver um bom sentido
do que o programa é e de como ele vem funcionando. Se, por exemplo, o programa alterou a direção
durante o curso (digamos, passando de palestras didáticas para trabalhos em pequenos grupos em classe),
conhecer a mudança é importante para se tirarem conclusões sobre o que funcionou e o que não
funcionou no programa.

Fazer Recomendações Eficazes

O que gestores e diretores das políticas esperam de uma avaliação são dados confiáveis referentes
aos programas, mas muitas vezes também precisam de mais do que isso. Na conclusão de um estudo,
necessitam de um conselho judicioso sobre o que fazer em seguida. Se, no final, a avaliadora tiver de se
manifestar e dizer algo perspicaz e proveitoso sobre o programa, é bom que conheça algo sobre a
continuação do mesmo. Antigamente, acontecia com frequência que as recomendações1 dos avaliadores
eram reflexões tardias, mal ponderadas, quase sempre o contrário de tudo o que se associasse à baixa
eficiência, independentemente de qual esta fosse. (Por exemplo, se os tutores de um programa de
reabilitação com baixa eficiência apresentassem baixos níveis de escolaridade, a recomendação poderia ser
a contratação de uma equipe de nível mais alto, mesmo sem evidências de que o nível de escolaridade da
equipe afeta a reabilitação do cliente.) A avaliadora desprovida de um programa compreensível quase não
tem como saber se suas recomendações em potencial são práticas, de implementação exequível,
politicamente aceitáveis, se contam com recursos financeiros ou se têm uma grande chance de melhorar as
coisas. Nesses casos, conhecer bem o programa pode ser vantajoso.

1 Nem sempre os avaliadores acreditam que sua função seja desenvolver recomendações a partir de dados. Do modo
como os veem, apresentam os indícios e deixam os especialistas em programas decidirem o que fazer com eles.
Outros avaliadores acreditam que dar recomendações é uma contribuição importante a ser feita pelos avaliadores e
que as pessoas envolvidas no programa desejam e esperam esse tipo de ajuda. Veja no Capítulo 12 a discussão
posterior deste tópico.

3
 Relatórios
Por mais cuidado que a avaliadora tenha em especificar que está estudando, digamos, o Projeto de
Desenvolvimento Hídrico do Sudoeste dos EUA, é provável, geralmente, que os leitores do relatório tomem
o estudo como uma avaliação dos projetos de desenvolvimento hídrico em países menos desenvolvidos,
tirando conclusões que vão além do caso em questão. O relatório deveria fazer mais do que dar nome ao
projeto. Deveria especificar o que o projeto fez, como foi administrado, o que nele havia e não havia, e
mesmo alguma coisa sobre as condições sob as quais ele se deu. Isso ajuda a evitar generalizações
pomposas que deixam de levar em conta as características exclusivas do projeto em particular. O leitor
pode então estimar até que ponto o projeto é típico da administração de projetos ou se é semelhante a
certo projeto no qual está interessado e, portanto, decidir se é uma base racional ou irracional para se
chegar a julgamentos.

Meta-Análise
A meta-análise é o resumo sistemático dos resultados de várias avaliações diferentes de um mesmo
tipo de programa. Ultimamente, os avaliadores vêm desenvolvendo procedimentos estatísticos com a
combinação de dados de estudos diferentes, de modo a estimar resumidamente o êxito de, digamos,
programas pré-escolares ou programas de prevenção da delinquência juvenil. No Capítulo 10, discutiremos
métodos de meta-análise.
Neste ponto, é importante observar que a meta-análise necessita de uma grande quantidade de
informações sobre o que o programa realmente era e fez. Particularmente quando se tenta caracterizar os
determinados tipos de programas, como, por exemplo, os de público aberto ou os destinados a oferecer
serviços de saúde mental, é preciso compreender a realidade do programa. Com frequência, necessita-se
decidir se um programa se encaixa no rótulo que ostenta e, para se fazer isto, é preciso saber se ele está
cumprindo, digamos, 5 ou 10 ou 20 dos critérios de um programa de público aberto (Tyler, 991/1942) ou de
aconselhamento de saúde mental. Mais do que isso, os meta-analistas estão agora procurando
compreender quais são as feições características do programa que respondem por resultados melhores ou
piores (Cook et al., 1992). Para essa tarefa, a especificação dos atributos do programa em operação é
essencial.
Por todas essas razões, advertem-se os avaliadores para compreenderem o campo mais amplo da
programação e as especificações do programa ou projeto em estudo. Na maioria dos casos, não se trata de
especialistas em determinado campo de programa. Somente depois de alguns anos de trabalho na mesma
área é que essas pessoas adquirem um grau maior de competência, o que não impede que, desde o início,
elas possam adotar medidas que lhes dilatem a compreensão.

4
 Caracterizando o Programa
Os programas sociais são empreendimentos complexos. São um amálgama de sonhos e de
personalidades, salas e teorias, clipes de papel e estrutura organizacional, clientes e atividades, orçamentos
e fotocópias, e grandes intenções. Os avaliadores de programas sociais veem com certo ciúme os
avaliadores de técnicas agrícolas, que trabalham, digamos, com uma nova variedade de trigo, ou os
avaliadores em medicina, que analisam os efeitos de um novo medicamento. Estes casos referem-se a
coisas físicas que podem ser vistas, tocadas e, acima, de tudo, reproduzidas. É sempre possível replicar um
mesmo estímulo, o que permite que outros pesquisadores estudem-lhes as consequências — sob
condições iguais ou diferentes, com temas semelhantes ou diferentes, mas com alguma convicção de que
estão olhando os efeitos de uma mesma coisa.
Os programas sociais são bem menos específicos. Incorporam um amplo leque de componentes,
estilos, pessoas e procedimentos. Torna-se difícil descrever o que o programa é na realidade. Em casos
especiais, um programa pode ser expresso em termos claros e reproduzíveis: por exemplo, uma alteração
no limite de velocidade de rodovias ou a diminuição no número de casos a cargo dos oficiais de justiça, e as
pessoas querem saber quais são as diferenças na escala dessas alterações. Outro tipo de programa
prontamente descritível é o que envolve um aumento ou uma diminuição de verbas. Exemplos disso seriam
um aumento nos benefícios de emprego, uma diminuição nos subsídios para cultivadores de amendoim,
uma mudança no salário mínimo, ou uma subida dos aluguéis de casas populares.
Também razoavelmente fáceis de caracterizar são os programas que envolvem um mecanismo bem
compreendido ou disponível para a inspeção. Por exemplo, mamografia é mamografia e, para entender um
programa voltado para a oferta desse procedimento médico, a avaliadora provavelmente precisará saber
apenas onde e a quem ele está sendo oferecido. Um novo currículo de matemática também parece ser
razoavelmente claro. Contudo, os professores podem implementar o currículo de maneiras amplamente
diferentes, sem que a avaliadora suponha que o currículo escrito se equipare ao programa. Ela, então, terá
que descobrir como os diversos professores estão utilizando esse novo material em suas aulas.
Na maioria dos programas sociais, é preciso esforço para compreender o conteúdo do programa,
para ver o que realmente está acontecendo. Muitas vezes, as operações diferem acentuadamente de um
dia para outro e de um membro da equipe para outro. Com programas grandes e sem forma definida,
como o desenvolvimento econômico regional ou a assistência técnica federal para o planejamento da
saúde pública, exige-se um maior esforço apenas na descrição e na análise do que o programa é. A
avaliação do processo se especializa em abranger as operações do programa.
Na avaliação de resultados, a avaliadora pode questionar se será preciso gastar muito tempo
preocupando-se com o conteúdo do programa. Se os dados de avaliação mostram que o programa produz

5
os resultados desejados, que diferença faria se ele estiver usando treinamento por repetição, psicanálise ou
magia negra? Poucos avaliadores ainda veem o programa como uma caixa preta, cujo conteúdo não lhes
diz respeito; do que eles, avaliadores, estão encarregados é descobrir seus efeitos. Porém, se a avaliadora
não tiver ideia do que o programa realmente é, pode deixar de formular as perguntas corretas. Talvez
acredite nos exageros veiculados na propaganda do programa, e espere resultados estupendos a partir de
esforços realmente insignificantes. Ou, o que é mais provável: talvez procure a ordem errada de efeitos –
procura por determinados resultados já verbalizados, sem se dar conta de que os principais recursos já
foram empregados para outras ações.
Além disso, a não ser que haja alguma definição razoavelmente exata e coerente do programa, a
avaliadora não sabe o que funcionou ou não, o que deveria ser adotado em todo o sistema ou modificado.
Num caso extremo, quando um programa é um sucesso esmagador e 40 comunidades querem adotá-lo
imediatamente, o que lhes diremos para adotar?
A avaliadora tem de descobrir a realidade do programa e não sua ilusão. Se aceitar a descrição dada
na aplicação de fundos ou em releases de publicidade, poderá avaliar um programa fantasma. O estudo
atribuirá efeitos (ou não-efeitos) a um programa que jamais aconteceu ou a um programa que operou em
nível tão baixo de competência ou de maneira tão diferente que mal merece ser chamado pelo nome do
programa. Por exemplo: espera-se que um curso de administração tenha de incluir considerações éticas,
porém alguns membros do corpo docente não sabem como lidar com esse tipo de ensino e alguns não
veem a nova responsabilidade como problema seu. Um programa de recreação para escolas infantis pode
ficar sem funcionar nos fins de semana, exatamente quando as crianças têm tempo livre; ou deixar de ser
oferecido irregularmente, de modo que as crianças acabam se desencorajando de frequentá-lo; ou pode
oferecer atividades que deixam de atrair participantes. Dificilmente seria necessário colher dados sobre os
efeitos desses programas porque há pouco ou nenhum programa em operação.

Conhecendo o Programa
Os avaliadores podem tomar diversas providências para se familiarizarem com a área do programa e com o
programa específico que irão estudar. A primeira maneira e a mais óbvia é ler algo sobre a área em
questão. Por exemplo, ler o que já foi escrito sobre segurança do tráfego ou orientação vocacional ou
qualquer que seja a área do programa. Conseguir um bom livro que dê um panorama geral da área, ou ler
artigos de periódicos, talvez com a ajuda de um bibliotecário especializado, e pesquisar as fontes citadas
que pareçam ser mais interessantes. Pode-se também tentar descobrir uma revisão bibliográfica anual da
área em questão, ou uma visão geral informativa em enciclopédias dessa especialidade.
Um recurso especial são as avaliações prévias. Nesse sentido, deve-se tentar encontrar tantos
relatórios sobre programas semelhantes quanto possível, publicados ou inéditos. Desse modo, a avaliadora

6
aprenderá muita coisa sobre a problemática do programa e, enquanto isso, irá obtendo dicas sobre
metodologia — os tipos de métodos usados por outros e o grau de eficiência com que esses métodos
funcionaram para produzirem informações relevantes. As avaliações prévias são cheias de informações e
lições práticas, boas ou ruins. Vale a pena tirar vantagem total do conhecimento do programa que
fornecem. De fato, o primeiro passo exigido para se orientar uma avaliadora deveria ser a leitura de
relatórios prévios de avaliações sobre problemas do mesmo tipo ou semelhantes. Podem existir revisões de
literatura que resumam uma ampla gama de resultados passados com a identificação de assuntos e
problemas-chave.
Outra fonte de informações sobre a área geral do programa são as pessoas, em particular aquelas
que trabalham em programas do tipo que a avaliadora irá estudar. Conversar com diretores e executores
de programas dará à avaliadora insights que o conhecimento livresco talvez não consiga fornecer.
Em seguida, a avaliadora precisa aprender a respeito do programa imediato que tem à sua frente.
Sua abordagem poderá variar de uma vistoria geral informal e não estruturada a um inquérito sistemático
com base em dados. No nível informal, a observação está muito no estilo daquilo que os que escrevem
sobre gestão organizacional chamam de “gestão batendo perna”. (Peteres & Waterman, 1982). Andar de
um lado para outro, olhar e bater papo. Quando as visitas não são agendadas, o observador tem a sensação
de estar obtendo uma visão interna do programa. Alguns encontros com grupos selecionados (equipe,
administradores, clientes) podem produzir informações extras. De modo mais informal, um estudo-piloto
qualitativo pode contribuir com informações sistemáticas.
O que a observadora encontrar depende em grande medida daquilo que ela olhar, com quem falar
e do quanto possuir de conhecimento programático prévio. O conhecimento prévio é importante, de modo
que a observadora possa saber onde olhar e com quem conversar. Se for novata e desinformada sobre a
extensão de uma possível variação de um local para outro, ou se não tiver conhecimento dos tipos de
malfeitoria e não-cumprimento do dever que os membros envolvidos no programa possam dissimular, os
encarregados da visita podem, se o quiserem, dirigi-la para lugares onde apresentarão o quadro que eles
desejam. Mas com um pouco de perspicácia sobre o programa, a avaliadora pode descobrir muita coisa por
meio da observação e de conversas informais. Precisa apenas ter a certeza de tocar diversas bases e fazer
perguntas para sondar a verdade.
Um procedimento mais sistemático é o monitoramento. Monitorar é semelhante a processar
informações, mas geralmente um tanto menos formal e destinado a um propósito diferente. O
monitoramento é geralmente empreendido pela agência financiadora que apoia financeiramente o
programa ou pela agência supervisora responsável pelos padrões do mesmo. Essas agências desejam saber
o que está acontecendo no programa para propósitos de prestação de contas (e talvez como guia para os
tipos de assistência técnica necessária ao projeto). Elas têm a responsabilidade de garantir que os projetos
locais estão fazendo o que se espera que façam. Os legisladores querem saber se a intenção da legislação

7
que passaram está sendo levada a efeito.
O monitoramento, conforme escreveram Rossi e Freeman (1993), frequentemente é dirigido para
descobrir (a) até que ponto o programa está atingindo a população-alvo que se propõe a servir, (b) sua
fidelidade ao projeto original para atividades e (c) a propriedade de seus gastos em dinheiro e outros
recursos. Aprendendo essas coisas sobre o programa — se está servindo às pessoas certas, apresentando o
tipo certo de serviços ou gastando o dinheiro da maneira certa — dá aos financiadores e às agências
supervisoras as informações para fiscalizarem a adequação das operações locais.
Observe-se que, pela definição usual, o monitoramento se inicia com um padrão em vista. Ele sabe
quais as categorias de pessoas a quem se espera servir, que tipos de atividades deverão ser executadas e
quanto dinheiro deverá ser gasto, medindo por esses padrões de comparação o que o programa faz. Os
critérios aplicados pelo monitoramento vêm geralmente do documento inicial do programa e das regras da
agência patrocinadora. Entretanto, ao mesmo tempo em que esses padrões existentes fornecem um foco
claro ao processo de monitoramento, eles também podem funcionar como uma espécie de viseira, que
dirigem a atenção para um escopo limitado de condições, desviando-a de outros fatos que acontecem no
programa e no ambiente.
Se a equipe do programa adotar uma visão menos estreita, as agências poderão aprender mais a
partir do monitoramento do que meramente seguindo as regras. Se encontrarem desvios muito comuns na
maneira como o trabalho é executado, a verdade é que o motivo poderá estar na deficiência dos projetos.
Porém, outro motivo pode ser que a intenção original não estivesse afinada com a realidade. Por exemplo,
o programa foi projetado para servir a trabalhadores demitidos cujas companhias, ou cuja indústria inteira,
deixou o negócio e lhes oferece treinamento em novas ocupações. Mas o projeto pode ter encontrado
poucos desses trabalhadores demitidos na área. A maioria deles parece ter encontrado emprego em outras
empresas ou se mudado para outra cidade. Quando o monitoramento identifica tais desvios em relação ao
que se pretendia, fornece pistas importantes para a modificação da política existente — ou mesmo para a
necessidade de novas políticas.
Para a avaliadora, as informações do monitoramento podem constituir uma categoria significativa
de dados. Ela poderá obter vantagem de quaisquer dados de monitoramento coletados por outros,
podendo coletar os próprios. Os dados irão orientá-la para o projeto e dar-lhe um sentido do que está
acontecendo. Com tempo, recursos e autorização, ela poderá ir além e dirigir um estudo de avaliação do
processo reunindo dados sistemáticos durante certo período sobre a implementação de atividades do
programa.

O Que o Programa Está Tentando Atingir?

Um modo útil de se começar a conceituar um programa é examinar o que ele tenta cumprir. Um

8
ponto sensato para se começar é com as metas oficiais. Embora as metas oficiais sejam apenas uma fonte
de compreensão, elas representam um ponto de entrada na questão da intenção do programa.
A maioria dos programas possui algum tipo de declaração escrita (aplicação de fundos, anúncios de
recrutamento, folhetos de relações públicas) que descrevem suas atividades, sendo que muitas vezes essas
declarações contêm uma descrição de suas metas. Se as metas forem estruturadas em termos claros e
específicos, tornar-se-ão uma boa fonte de informações. Por exemplo, um programa de conservação de
energia declara que seu propósito é reduzir a quantidade de eletricidade usada nas habitações. Um
programa de construção de estradas num país em desenvolvimento busca capacitar pequenos fazendeiros
a transportarem sua produção para a cidade, aumentando com isso a sua renda. Esses tipos de declarações
lançam uma luz considerável na natureza do programa.
Mas a alguns programas faltam as declarações oficiais. Se a avaliadora interrogar a equipe do
programa a respeito das metas, estas poderão ser discutidas em termos do número de pessoas a quem se
pretende servir, os tipos de serviço a oferecer e processos semelhantes de informação. Para os
implementadores do programa, estas são metas de programa num sentido real e válido, mas não são a
moeda corrente primária com que a avaliadora lida, visto que ela está interessada nas consequências
pretendidas com o programa.
Outros programas apresentam afirmações de metas que são nebulosas, ambíguas, ou difíceis de
fixar. Ocasionalmente, as metas oficiais não passam de uma longa lista de chavões piegas e parcialmente
incompatíveis. As metas, estejam elas em documentos oficiais ou na discussão do programas dos gestores,
podem ser estruturadas em termos tais como aprimorar a educação, intensificar a qualidade de vida,
aperfeiçoar as chances de vida para crianças e famílias, fortalecer os processos democráticos. Metas globais
desse jeito fornecem poucas direções a uma avaliadora que queira compreender o programa em detalhes.
Esse tipo de formulação vaga é um lugar tão comum que alguns dos que escrevem sobre avaliação
rejeitam a discussão de metas por as considerarem por demais abstratas e de longo prazo. Preferem falar
sobre os objetivos realistas e de curto prazo que permitem visualizar o programa. Dizem que é impossível a
uma avaliadora descobrir o ponto em que os programas atingem seus objetivos, onde seria impossível
distinguir se as metas são atingidas pelo aprimoramento da educação ou pela intensificação da qualidade
de vida. Embora concorde que devamos nos concentrar em objetivos específicos, não desejo abandonar a
útil palavra metas. Em vez disso, tentarei trazê-la da estratosfera e usá-la no sentido de alvos específicos,
mensuráveis e de curto prazo de um programa.
Os avaliadores se perguntam por que é que as metas de programas muitas vezes são declaradas em
termos nebulosos. Parte dessa explicação está provavelmente na concentração dos executores em
assuntos concretos de funcionamento do programa e em seu modo pragmático de operação. Quase
sempre, eles mostram uma abordagem intuitiva, e não analítica, do desenvolvimento do programa,
concentrando-se na formulação de atividades, e não nos objetivos. Mas existe também um sentido em que

9
a ambiguidade tem uma função útil: mascarar as divergências de propósito que estão subjacentes. Exige-se
o apoio de muitos lugares dentro e fora de uma agência para se pôr um programa em funcionamento, e
essas generalidades atraentes que passam por afirmações de metas destinam-se a satisfazer a diversos
interesses e perspectivas. Todos podem concordar com benfeitorias na vizinhança, embora possam vir a
discutir bastante sobre os tipos de benfeitorias que desejam que se façam.
Às vezes, a divergência nas intenções, oculta por falta de precisão, opera em níveis diferentes da
hierarquia. Os superiores podem ter um conjunto de propósitos, por exemplo: reduzir a fraude e o
superfaturamento entre beneficiários da assistência pública. Entretanto, a equipe responsável diretamente
pelos serviços pode apresentar uma inclinação diferente. Mais simpática aos clientes com quem lida, pode
querer conseguir-lhes cada centavo a que têm direito legalmente e até mesmo prestar serviços extras que
aumentem sua quota. Se a avaliadora prestar ouvidos a declarações oficiais, poderá informar-se sobre a
missão da redução de fraude e abuso, mas poderá não ouvir sobre a tensão entre a redução de despesas
com a previdência e maximização de pagamentos e serviços.
Quando as metas não são claras ou são ambíguas, podem afetar mais do que a avaliação. Havendo
pouco consenso sobre o que o programa está tentando fazer, a equipe poderá trabalhar cada um com
objetivos diferentes. Um benefício colateral da avaliação é focalizar a atenção na formulação de metas em
termos de comportamentos específicos que são os alvos dos executores do programa. O esforço pode
trazer à luz desacordos e causar conflitos. Porém, se as diferenças podem ser conciliadas (e o programa
pode tornar-se inviável se não o forem), o esclarecimento só poderá ajudar a racionalizar a implementação
do programa. Pode revelar discrepâncias entre as metas do programa e o seu conteúdo, caso em que se
deverão alterar, ou o conteúdo ou as metas. Quando se alcança um senso de propósito comum, é provável
que a lógica e a racionalidade da prática sejam intensificadas.
Um tipo semelhante de problema para a avaliadora surge quando as condições se modificam. As
metas oficiais eram adequadas no início do programa, descrevendo completamente o alvo do programa.
Entretanto, com o tempo, as circunstâncias mudaram, o tipo de cliente mudou, mudou a equipe, mudou o
orçamento e a ideia reinante do modo pelo qual o programa deveria operar também mudou. O programa
está agora consideravelmente diferente do que era ao serem enunciadas as metas. Elas não se ajustam
mais.
Quando a avaliadora reconhece a obsolescência da declaração de metas, pode obter informações
contemporâneas sobre os gestores e a equipe do programa. Eles podem ser uma fonte de primeira
categoria e informar-lhe as intenções, bem como as nuanças sutis de intenção raramente mencionadas nas
declarações oficiais. No entanto, conversas diretas com as pessoas envolvidas não resolvem,
necessariamente, todos os problemas. Às vezes, a equipe acha difícil chegar a uma formulação nítida das
metas do programa. Kallen (1996) fala em se trabalhar com um comitê para discutir a avaliação de um
programa para gangues de jovens. Solicitados para especificarem as metas do programa, os membros do

10
comitê apresentaram sugestões de como melhorar o comportamento dos jovens, ajudá-los a se tornarem
cidadãos melhores e aprimorar seu trabalho escolar. Quando tentaram ser mais específicos sobre as metas,
sentiram que comportamento e cidadania eram por demais vagos para descrever o que os membros
realmente estavam tentando que os jovens aprendessem e não tinham certeza de que o programa na
verdade tinha feito algo diretamente para melhorar as notas escolares desses jovens. Kallen relatou essa
história desencorajadora:

Finalmente foi reportado que os residentes da área tinham objeções quanto ao uso de palavras obscenas,
decidindo-se que uma medida para a melhora comportamental seria a redução dos palavrões, e que isso
era o que trabalhador escolhido deveria ter em mira para comunicar-se com os jovens com quem estava
trabalhando. [Estaria o grupo identificando metas de programa ou criando novas?] Portanto, concordou-se
em que parte dos critérios de êxito seria reduzir os palavrões. Devo acrescentar que essa foi a única medida
de sucesso a respeito da qual a equipe de avaliação e a comissão consultiva do programa concordaram.

Surge mais uma complicação quando o programa busca não apenas atingir metas oficiais, mas
também conseguir outras coisas, às vezes por acréscimo, às vezes por substituição. Por exemplo: uma
agência de serviço social requereu e recebeu fundos do governo para administrar um programa de
treinamento para desempregados. A meta que ela queria declarar de início era que o programa ensinasse
aos trainees novas habilidades e os ajudasse a encontrar novos empregos. Porém, a agência tinha outros
propósitos não declarados: melhorar as relações da comunidade com pessoas de cor na vizinhança, atender
a regulamentos federais contra a discriminação, encorajar membros de grupos minoritários a trabalharem
no seu quadro e ganhar o financiamento adicional que vinha com a concessão do programa (Meyers, 1981).
São objetivos perfeitamente legítimos. As agências devem preocupar-se com algo mais do que atingir uma
meta; têm de manter a organização no seu ambiente. Uma focalização exclusiva nas metas do programa
corre o risco de passar por cima das metas de manutenção do sistema que fazem parte da vida
organizacional. Ocupar-se com essas outras coisas não significa que a agência esteja mentindo sobre seu
interesse em fazer um bom programa de treinamento de trabalho para os desempregados, mas fazer um
bom programa de treinamento de trabalho é apenas um dos itens de sua lista.
Às vezes, as metas de automanutenção impedem a realização dos objetivos do programa. Por
exemplo: uma agência administra um programa de saúde ambulatorial para ajudar pessoas com problemas
mentais a lidarem com a vida cotidiana. Ajudar essas pessoas é uma meta. Outra é precaver-se para que os
membros da equipe não fiquem estafados com a sobrecarga causada pelas exigências dos pacientes.
Inversamente, em alguns casos, a meta de facilitar a vida para a equipe pode vir a suplantar a meta
terapêutica, deteriorando a qualidade dos serviços.
Assim, também, muitos programas contêm metas múltiplas. Na maioria dos casos, as diversas

11
metas são coerentes e representam várias facetas de um programa multimodal. Por exemplo, um
programa para atualizar um projeto habitacional público planeja reformar unidades habitacionais, de modo
a tornar o espaço de convivência limpo, seguro, em boa ordem de trabalho e razoavelmente espaçoso;
planeja também criar uma organização de inquilinos para que os residentes desenvolvam um senso mais
cordial de comunidade e responsabilizem-se por manter os apartamentos em condições razoáveis; quer
encorajar a organização de inquilinos a assumir o policiamento dos espaços públicos a fim de reduzir a
criminalidade; e assim por diante. Esses propósitos múltiplos deverão ser idealmente cumpridos em um
programa bem sucedido.
Contudo, com metas complexas e ambiciosas, gestores e inquilinos têm uma oportunidade de
escolherem a parte da incumbência em que se querem concentrar. Em certos locais, as pessoas podem
trabalhar ativamente em direção a determinados objetivos; em outros, os esforços podem dirigir-se para
outra coisa bem diferente. Esse é um dos riscos nos programas com metas complexas: que as pessoas
escolham os aspectos da missão múltipla mais condizentes com elas e deixem de lado o resto. Para se
compreender realmente o programa, vale a pena saber quais as metas que são reais.
As metas são reais até o ponto em que as pessoas estão dedicando ativamente tempo e esforço
para alcançá-las. Isso não é fácil de se ver nos documentos, e tampouco é fácil de aprender a partir de
conversas com financiadores ou gestores de programas. De tempos em tempos, os documentos do
orçamento fornecem pistas úteis, pelo menos quando mostram em que atividades o dinheiro está sendo
gasto. (Contudo, muitos orçamentos acumulam os pagamentos da equipe em uma categoria sem indicar
que funções essa equipe está desempenhando.) Observar o programa em operação é provavelmente o
melhor modo de compreender onde as energias estão sendo gastas; conversar com a equipe executora dos
serviços e com os clientes pode também fornecer pistas úteis.

Como o Programa Funciona:

Polindo as Teorias de Mudança do Programa

Para propósitos de avaliação, é útil saber não apenas o que se espera que o programa alcance, mas
também como se espera que ele alcance. Conforme escreveu Rein (1981) , “Um programa é uma teoria e
uma avaliação é o seu teste” (p. 141). A fim de organizar a avaliação para fornecer um teste capaz de
cobrar responsabilidades, a avaliadora precisa compreender as premissas teóricas em que o programa se
baseia.
A noção da definição de uma teoria de programa não tem sido caracteristicamente um
componente da avaliação. Boa parte da avaliação é feita através de resultados de investigação sem muita
atenção aos caminhos pelos quais foram produzidos. Mas a avaliação vem sendo cada vez mais exigida não

12
apenas para responder à pergunta “O programa funcionou?”, mas também “O que o fez funcionar? Por que
teve êxito ou não?”, e ainda “Como podemos melhorá-lo?”. Para darmos uma contribuição considerável a
esta discussão, é proveitoso que a avaliadora compreenda — e investigue — a teoria explícita ou implícita
do programa.
Os programas são fenômenos complicados, geralmente corroborados pela experiência e pelo
conhecimento profissional. Professores, oficiais de justiça, assistentes sociais, especialistas em
desenvolvimento internacional, médicos, engenheiros de segurança. — todos desenvolvem programas
sociais a partir de uma composição do que aprenderam na escola profissional, do que experimentaram no
trabalho, do que é sugerido por histórias sobre a experiência alheia e talvez por algum treinamento em
ciências sociais e avaliação. É pouco provável que os programas sejam traçados em termos racionais com
afirmações nítidas do porquê de certas atividades suas terem sido selecionadas e quais ações se espera que
levem aos fins desejados.
Mesmo assim, quando a avaliadora empreende a definição de uma teoria de programa, são estas
justamente as coisas que ela quer saber: Que ideias e suposições conectam os inputs do programa à
conquista dos fins desejados? Tentar responder a isso é uma tarefa ainda mais árdua do que aprender
sobre as metas de programa. As metas são, pelo menos, um conceito familiar e duradouro. Por outro lado,
as teorias de mudança do programa parecem estranhas a muitos projetistas e executores de programas.
Por teoria, não quero dizer qualquer coisa pseudo-intelectual ou polissilábica. Quero dizer o
conjunto de crenças subjacentes à ação. A teoria não tem de ser uniformemente aceita. Não tem de ser
correta. É um conjunto de hipóteses sobre as quais as pessoas constroem seus planos de programas. É uma
explicação dos elos causais que unem os inputs do programa aos seus outputs esperados, ou, como
afirmou Bickman (1987), “um modelo plausível e sensato do modo como se espera que um programa
funcione” (p. 5). Wholey (1987) diz que a teoria de programas identifica “recursos do programa, suas
atividades e resultados pretendidos, enquanto especifica uma cadeia de suposições causais que une os
recursos, atividades, resultados imediatos e metas finais do programa” (p. 78).
Tomemos um exemplo simples. Digamos que o programa (ou política) seja um aumento dos
salários dos professores, e que esse aumento se justifica com base em que isso aumentará o rendimento
dos alunos. Qual é a teoria que une o pagamento mais alto para os professores ao aumento do rendimento
dos alunos? Pode-se pensar em várias possibilidades (veja a Figura 3-1).
Uma teoria pode ser que uma maior remuneração melhorará o moral do professor, o moral mais
elevado levará os professores a se dedicarem com mais afinco ao ensino; eles aplicarão mais esforços com
preparação e pedagogia e isso fará com que os alunos compreendam melhor o material. Supomos aqui que
os mecanismos sejam, primeiro um aumento do moral, seguido de uma melhora na pedagogia. Uma
variante dessa teoria seria que, com um moral maior, surge um clima social agradável. Os professores
desenvolvem relações mais apropriadas com os alunos, o que os leva a procurar manter com eles boas

13
relações, de modo a fazê-los trabalhar mais e aprender mais. Aqui, o mecanismo seria o melhoramento das
relações interpessoais.
Outra teoria seria que uma maior remuneração permite que os professores desistam de seus
empregos secundários. Os professores acostumados a trabalhar também à noite para reforçar o orçamento
podem agora dedicar toda sua energia ao magistério durante o dia. Uma maior energia e atenção
conduzem a uma preparação mais completa das aulas, maior variedade nas estratégias de pedagogia,
ensino mais eficiente e, com isso, melhor aprendizado dos alunos.

Uma explicação bem diferente seria que os salários maiores atraem pessoas mais capazes para o
ensino. Se os universitários aprenderem que serão mais bem pagos na profissão docente, os mais
brilhantes se prepararão para o magistério. Como os alunos mais brilhantes se qualificam como
professores, os distritos escolares contratam professores mais capazes, os professores mais capazes então
ensinam melhor e o ensino melhor conduz a um aprendizado maior. Esta teoria de programa tem uma
dimensão de tempo completamente diferente. A avaliação poderia não ser capaz de encontrar efeitos para
quatro ou sete anos porque levaria tempo para se espalhar a notícia de salários mais elevados, para um
nível diferente de aluno de faculdade se preparar para ensinar e ser contratado e para o esperado “ensino

14
melhor” acontecer e produzir efeitos. Se a expectativa é que o oferecimento pelo distrito escolar de
salários mais altos irá atrair bons professores dos outros distritos, a escala de tempo será mais curta. Mas
pelo menos um distrito escolar que depende dessa expectativa opinou que os salários mais altos induzem
os professores atuais a permanecerem no emprego por mais tempo, evitando que faltem profissionais.
Pode-se pensar também em outras teorias de programas. Os salários mais altos iriam, em outra
formulação, levar os professores a um status social superior, o que provocaria um respeito maior por parte
dos pais. O respeito maior se traduziria em um maior apoio parental às exigências da escola, tais como
ajudar os filhos com o dever de casa, encorajar uma frequência regular às aulas, apoio para ações
disciplinares da escola e maior participação dos pais nas atividades escolares. Essa cooperação maior entre
pais e professores suscitaria nos alunos um respeito maior pela escola e pelo professor, eles se
comportariam de maneira mais adequada e estudariam mais conscientemente, o que acarretaria um
rendimento melhor.
Uma teoria final de programas poderia pressupor uma cadeia de consequências negativas. Os
salários mais altos dos professores poderiam provocar ressentimento dos pais por causa dos impostos mais
altos que teriam de pagar2, o que levaria a atos sutis de sabotagem contra os professores (como saída de
alunos “matando aulas”, desrespeito pelo professores e perturbação na sala de aula), e isso causaria
maiores interrupções e desordem nas salas de aula, com a redução das oportunidades de aprendizado, o
que reduziria os resultados dos alunos. Para encontrar essas contra-suposições, a avaliadora pode
conversar com os opositores do programa, pedindo-lhes que apresentem teorias de que o programa possa
não ter efeitos, ou ter efeitos negativos.
A teoria de programas, conforme empregamos o termo, refere-se a mecanismos de mediação entre
o oferecimento (e o recebimento) de um programa e o surgimento dos resultados de interesse. O
mecanismo operativo de mudança não está nas atividades do programa per se, mas na resposta gerada
pelas atividades. Por exemplo: espera-se que o aconselhamento contraceptivo reduza a incidência de
gravidez, mas o mecanismo não é o aconselhamento em si. Poderia ser o conhecimento absorvido do
aconselhamento pelos participantes. Ou poderia ser a confiança desenvolvida pelas mulheres para se
afirmarem nos relacionamentos sexuais, o solapamento de tabus culturais diante do planejamento familiar
ou o sinal de uma mudança nas relações de poder entre homens e mulheres. Estas ou outras respostas
cognitivas/afetivas/sociais/culturais seriam os mecanismos que conduziriam aos resultados desejados.

Teoria de programas e Teoria da Implementação

A teoria de programas coloca ênfase nas respostas das pessoas a atividades do programa. Porém

2
Nos EUA, a educação pública oferecida pelos distritos escolares é subsidiada principalmente pelos impostos
territoriais locais. (N. T.)

15
existe outro tipo se suposição em programação, um que as pessoas que fazem parte do programa têm mais
probabilidade de articular: que se o programa fizer todas as coisas que pretende, irão acontecer coisas
boas. Tomemos o exemplo de um programa de treinamento de emprego cuja meta seja capacitar jovens
pobres a conseguirem emprego e se tornarem assalariados produtivos. As atividades do programa são:
ensinar trabalhos manuais e formas de se preparar para as tarefas, tais como comparecimento regular e
uso de roupas adequadas. A equipe poderia supor que o programa tenha de tomar as seguintes
providências: divulgar o programa amplamente, inscrever jovens que satisfaçam aos critérios de
qualificação, fornecer um bom treinamento para ocupações atrativas em locais acessíveis, conceder bolsas,
cuidar das crianças, fornecer aconselhamento, encaminhar os jovens a empregos disponíveis. Se o
programa fizer todas essas coisas, a expectativa será de que os jovens conseguirão emprego.
Passar das intenções e planos para a efetivação das atividades do programa é o principal desafio
enfrentado pelos gestores. Grande parte de sua energia se concentra em garantir que o programa funcione
sem tropeços e bem. A implementação incorpora implicitamente uma teoria própria, que corresponde à
suposição de que, se as atividades forem conduzidas conforme o planejado, com qualidade, intensidade e
fidelidade suficientes ao plano, os resultados desejados logo surgirão. Varias avaliações examinam as
teorias de implementação (p. ex.: McGraw et al., 1996; Pentz et al., 1990). A teoria da implementação não
lida com os processos que medeiam os serviços do programa e a consecução das metas do programa, mas
centra-se na realização dos serviços pelo programa.
Dois tipos de teorias, a de programas e a da implementação, se entrelaçam na evolução de um
programa. Como a Figura 3-2 mostra, cada estágio de atividade supõe uma resposta adequada dos
participantes e as respostas dos participantes condicionam os estágios seguintes do programa. A menos
que a agência execute bem as atividades planejadas, não é provável que os participantes façam progresso
em direção à meta. E se os participantes estiverem desinteressados, desmotivados, com frequência
irregular, pouco dispostos ou incapazes de aprender ou resistentes a aceitarem tarefas, não se fará muito
progresso. As duas correntes de atividade têm de interagir para produzirem os resultados desejados.
Chamo a combinação de teoria de programas e teoria de implementação de teorias de mudanças
do programa.

16
 Organizando a Avaliação para
a Investigação das Teorias de Programa
Uma grande vantagem de se compreender as teorias de mudança do programa é que elas podem
fornecer uma base para a avaliação. A avaliadora pode organizar a avaliação de modo que esta siga o
desdobramento das suposições. A avaliação pode coletar dados de indicadores provisórios que se espera
que sejam produzidos. Na Figura 3-1, o moral dos professores melhora? Eles dedicam mais esforços à
preparação? Em caso afirmativo, a avaliadora pode seguir a cadeia mais longe e descobrir se os professores
estão de fato melhorando o nível de sua instrução. Se o moral subir, mas os professores não estiverem
fazendo nada de diferente na sala de aula, a avaliação pode identificar o ponto em que a teoria pressuposta
se rompe.
No treinamento para o emprego na Figura 3-2, as informações sobre a disponibilidade do programa
atingem o público-alvo? Os jovens são contratados? A equipe fornece treinamento de ponta para
ocupações para as quais existe demanda local? Os jovens frequentam com regularidade? Aprendem?
Desenvolvem atitudes mais positivas com relação ao trabalho? O programa fornece apoio e assistência? A
avaliação acompanha cada fase ao longo do roteiro para ver se os estágios aparecem conforme o que se
previu. Se as coisas vão conforme o esperado, a avaliação pode dizer como o programa funcionou para
alcançar suas metas; pode explicar as fases e os processos que levaram aos resultados desejados. Se os
dados não confirmarem algumas das fases, (p. ex.: se a equipe não encontrar ofertas de empregos para
jovens treinados), a avaliação poderá mostrar onde é que o programa se desviou de seu rumo.

17
 A avaliadora utiliza teorias de programa a fim de planejar pontos para coletar dados. (Conforme
notaremos em capítulos posteriores, a avaliadora também pode usar outras técnicas para planejar que
dados deverá coletar.) Ela pode coletar dados para descobrir se o programa executou cada uma das fases
do plano de atividades e se cada fase conduziu à seguinte e também levou às respostas esperadas dos
participantes. (Um excelente exemplo desse procedimento pode ser visto em Holder, 1997.)
É também sábio embutir teorias de consequências não intencionadas, não planejadas e cadeias não
desejadas de eventos que o programa possa colocar em ação. Os avaliadores vêm aprendendo que há
consequências não antecipadas em toda a nossa volta. Quando os legisladores aprovam o endurecimento
de penas para certas classes de crimes, uma consequência frequente é que os júris se tornam menos
propensos a condenar réus desses crimes. Evidentemente, um júri pode acreditar que a sentença
mandatária é por demais árdua para a pessoa e/ou as circunstâncias, recusando-se assim a condenar. Em

18
vez de aumentar a severidade da punição, a nova lei na verdade reduz-lhe a severidade. Ou um sistema
escolar que queira reduzir a falta às aulas entre alunos do ensino médio adota uma política que recusa
créditos de classe a qualquer aluno com mais de dez faltas não justificadas em determinada matéria
durante um semestre. Com isso, alguns alunos passam a frequentar aulas com mais regularidade, o que é a
meta da política, mas, para os que ultrapassaram o máximo de dez dias, passa a não haver incentivos para
que esses alunos façam os trabalhos de classe, levem as provas a sério ou mesmo compareçam.
A teoria, ou melhor ainda, as teorias, dirigem a atenção da avaliadora para tipos semelhantes de efeitos
de curto e longo prazo. As duas grandes vantagens do desenvolvimento da avaliação com base na teoria de
programas são:
Primeiro: a avaliação fornece indicações precoces da eficiência do programa. Não se precisa
aguardar que os resultados finais apareçam (ou deixem de aparecer). Examinam-se os estágios
intermediários entre o início do programa e seus efeitos a longo prazo, de modo que essas pistas precoces
informam sobre o que está indo bem e onde estão surgindo anomalias. Se ocorrer uma ruptura nas
premissas sobre a implementação, as implicações serão imediatas e diretas: estabelecer o modo pelo qual
o programa está sendo administrado. Se a ruptura ocorrer nos indicadores do progresso inicial dos
participantes, a base conceitual na qual o programa se fundamenta precisará ser reexaminada.
Os dados iniciais de medidas relevantes para o sucesso do programa a longo prazo são
especialmente úteis quando o programa tem um prazo extenso. Por exemplo: um programa que tenha
como alvo a revitalização de um bairro próximo do centro levará uma década ou mais para atingir
resultados. A teoria baseada na avaliação exige a realização de uma coleta e de um relatório de dados nas
primeiras fases conceitualmente ligadas à capacidade do programa de produzir êxito a longo prazo. Ou
seja, os dados não são apenas resultados provisórios desejados; são os resultados provisórios considerados
como caminhos para efeitos a longo prazo. São parte da suposta cadeia causal.
Outra grande vantagem da avaliação baseada na teoria é que ela ajuda a explicar como e porque os
efeitos ocorreram. Se os eventos derem o resultado esperado, a avaliadora pode dizer com bom grau de
confiança como os efeitos foram gerados. Pelo acompanhamento da sequência dos estágios, a teoria
mostra as microfases que levaram dos inputs do programa até os resultados. Ao rastrear diversas
suposições teóricas, a avaliadora poderá mostrar qual delas tem o melhor apoio empírico.
Esse rastreamento detalhado mostra se o programa foi responsável pelas mudanças observadas. A
responsabilidade, ou não, do programa por quaisquer resultados observados é um grande assunto na
avaliação. Muitas coisas além do programa podem ter dado surgimento aos resultados desejados. O modo
usual de saber se o programa foi responsável pelas mudanças observadas é comparar unidades que
receberam o programa a unidades equivalentes que não o receberam. Em muitos programas, como o de
revitalização da vizinhança anteriormente mencionado, não é factível usar unidades de comparação; há
muito poucas vizinhanças semelhantes, muito diferentes umas das outras, para fornecerem comparações

19
sensatas. Para se concluir se o programa foi ou não o agente responsável, o detalhamento da teoria de
programas pode ajudar. Um detalhamento cuidadoso do desdobramento dos estágios da teoria fornece
indicações sobre o grau de excelência das explicações das teorias acerca do que acontece e, portanto, do
grau da implicação do programa em eventos e resultados. Conforme afirmam Chen e Rossi (1987), a
avaliação baseada na teoria ajuda a garantir que os resultados identificados estejam firmemente
conectados ao que foi feito pelo programa e que eles são devidos às atividades do programa.
Uma vantagem colateral de detalhar os caminhos pelos quais se espera que uma mudança ocorra é
que tal procedimento sensibiliza a avaliadora para produzir alterações na estratégia do programa, com
vistas a apoiar seu projeto de avaliação. No exemplo do programa de treinamento profissional já
mencionado, suponha que tenha havido dificuldades de operação e que, para superá-las, os gestores
tenham alterado o curso do programa. Eles descobriram que os trainees não receberam transporte para os
subúrbios onde estão situados os bons empregos. Para manter a viabilidade do programa, os gestores
passaram a prover transporte subsidiado. Em casos assim, o modelo original do processo está obsoleto e
precisa ser modificado para refletir as novas condições. Alguns processos novos são hipotetizados e alguns
antigos são dispensados; acrescentam-se novas linhas direcionais e descartam-se as antigas. O modelo está
adaptado às realidades atuais e as medidas e análises acompanham esse novo curso. A avaliadora, alertada
cedo para as mudanças nas operações e nas suposições do programa, mantém o estudo flexível o suficiente
para continuar a ser relevante.
Numa revisão de experimentos sociais, Cook e Shadish (1994) discutem a necessidade de
generalização das relações causais descobertas através de experimentos sociais. E esses autores concluem
com um apelo para “identificar os processos micromediadores que conectam causalmente um tratamento
a um resultado, geralmente através de um processo de especificação, mensuração e análise de dados” (p.
576). É uma boa descrição do embasamento que a avaliação adquire pelo uso da teoria de programas.

Construindo uma Teoria de Programas

Não é necessário apresentar uma única teoria de programas que busque explicar como o programa
irá conseguir as consequências felizes que dele se esperam. Como no nosso exemplo do salário dos
professores, muitas vezes é útil usar um conjunto de teorias alternativas para serem examinadas no estudo
de avaliação. Se uma teoria não funcionar de acordo com a hipótese, existem caminhos alternativos a
explorar.
Como deve uma avaliadora proceder para construir uma teoria ou teorias de programas?

20
Geralmente, ela não só elabora teorias, mas, na mesma medida, também ajuda os pessoas que trabalham
com o programa a manifestar suas próprias teorias latentes. Essas pessoas têm em mente algumas ideias
sobre o modo como se supõe que os inputs do programa conduzem aos seus respectivos resultados, e o
avaliador pode descobrir que pessoas diferentes na equipe do programa apresentam suposições diferentes.
Fazer isso é correto. A avaliadora pode trabalhar com múltiplas teorias. Pode descobrir que algumas das
suposições soam como não-convincentes e otimistas em excesso. Nesse caso, deveria fazer perguntas
suplementares para ver se os executores possuem mais alguma coisa em mente, como uma fase
intermediária ou uma representação de condições externas que possam aceitar a ligação que estão
pressupondo. Essas informações seriam também incluídas na teoria. A avaliadora deverá continuar
investigando até ter certeza de haver coberto todas as suposições e expectativas dos membros do
programa.
Se os membros do programa não conseguirem fazer essa tarefa ou acharem-na pouco atraente, a
avaliadora pode fazer algumas tentativas. Pode oferecer hipóteses baseadas na compreensão que ela
própria tem da natureza e da função do programa. Seu conhecimento pode vir da observação do programa
em operação, da familiaridade com programas semelhantes, das ciências sociais ou de um raciocínio lógico.
O bom senso não é um mau guia. Com base na sua própria análise do que o programa espera alcançar e
como ele está funcionando, o bom senso pode oferecer especulações sobre as suposições subjacentes. Por
exemplo: se um programa de treinamento para a obtenção de emprego traz uma equipe local de
empresários para ministrar aulas, a avaliadora poderá arriscar palpites de que a estratégia se baseia na
competência dos homens de negócios, em sua disposição de doar tempo livre sem cobrar ou na esperança
de que irão oferecer empregos aos trainees depois do programa. Ela então investiga essas hipóteses
juntamente com o pessoal do programa e, com esse tipo de estímulo, eles tendem a fazer ainda mais
elaborações.
Quem irá estabelecer a versão final da teoria de programas é um assunto de discussão entre os que
escrevem sobre avaliação. Wholey (1987) e Patton (1989) enfatizam o papel do pessoal do programa e de
outros agentes. Chen e Rossi (1980, 1983) acreditam no conhecimento e na teoria das ciências sociais,
dando assim, aos avaliadores, um maior poder de decisão. Chen (1990) sugere que é possível seguir ambas
as direções e gerar diversas teorias. Então, a síntese final poderá ser feita tanto pela avaliadora apenas,
através de seu julgamento profissional, ou pela avaliadora com a colaboração dos principais agentes
envolvidos (Weiss, 1995, 1997). Visto que um dos benefícios de construir uma teoria de programas é a
intensificação da comunicação gerada entre executores e avaliadores (Chen, 1990; McClintock, 1990),
parece sensato envolver diversas pessoas na escolha final.
Usar a teoria de programas como um mapa para a avaliação não implica, necessariamente, que
cada fase de cada teoria possível tenha de ser estudada. Uma vez que diversas linhas de pensamento
estejam disponíveis, a avaliadora pode trabalhar com financiadores, gestores de programa, e outros para

21
decidir quais dessas linhas é a mais importante para o que lhes interessa. No projeto de uma avaliação, é
sempre necessário fazer escolhas sobre as inquirições a fazer. O mapa que nos é dado pela teoria fornece
uma figura de toda a trajetória intelectual do problema, de modo que as pessoas possam fazer suas
escolhas sabendo perfeitamente o que estão deixando de lado, bem como o que estão escolhendo estudar.

22
 Usando Teorias de Mudanças como um Guia para a Avaliação

Uma teoria de programas normalmente inclui (a) inputs de programas, como recursos e patrocínios
organizacionais; (b) atividades do programa, que representam a maneira pela qual ele é implementado; (c)
resultados provisórios, ou seja: a cadeia de respostas fornecidas pelas atividades que, espera-se, conduzam
aos (d) resultados finais desejados.
Vejamos como uma avaliadora pode usar uma teoria de programas para guiá-la em sua avaliação. A
Figura 3-3 apresenta o programa de visitas de um professor às casas dos alunos (Weiss, 1972). A intenção
do programa é melhorar os resultados dos alunos na leitura. As visitas domiciliares podem servir a diversas
funções. Uma suposição pode ser que os professores forneçam aos pais conhecimentos sobre as
expectativas do colégio para o desempenho de seus filhos (frequência, deveres, etc.). Como consequência
desse conhecimento, os pais podem monitorar a frequência do aluno e ajudá-lo a fazer os trabalhos
escolares com mais consciência. O aluno fará então um trabalho melhor e provavelmente melhorará na
leitura. Outra teoria poderia ser que as visitas deem ao professor uma oportunidade de compreender os
pais e a cultura da família. Com conhecimento e compreensão melhores, os professores sentem mais
simpatia com a visão de mundo do aluno e adaptam suas aulas para se encaixarem nela. Os alunos se
sentem apreciados e respeitados e seu rendimento na leitura melhora. Uma terceira teoria sustenta que
professores e pais partilhem o conhecimento sobre qualquer possível problema especial que impeça o
aluno de alcançar rendimento, como dislexia, problemas emocionais ou visão fraca. Com essas conversas,
pais e professores cooperam para que o aluno receba a atenção necessária e quando o problema é
atacado, o rendimento do aluno aumenta.

23
 Como chegamos a essas teorias? Começamos com o programa de visita dos professores e o
resultado esperado na melhora do desempenho do aluno em leitura. Depois preenchemos os espaços
entre os palpites sobre o modo de se chegar de (a) a (d). Embora tenhamos usado somente um resultado,
nada impede que se usem dois ou mais (embora fosse então preciso uma análise em separado para cada
um.) À medida que mais avaliações se desenvolvem e testam teoria de programas, a esperança é de que
haverá menos palpites envolvidos e mais conhecimento, pelo menos, um conhecimento provisório.
Também se podem incluir contingências na teoria, ou seja: condições sob as quais acontecerá uma
coisa e condições sob as quais acontecerá uma coisa a mais. Por exemplo: poderia haver contingências para
o programa de treinamento de emprego na Figura 3-2. Nas comunidades onde a economia é boa e há
empregos disponíveis, a teoria poderia afirmar que os trainees saem à procura de empregos e os
encontram. Entretanto, nas comunidades em recessão ou com um alto nível de desemprego, os trainees
procuram trabalho, mas não necessariamente o encontram.
De modo semelhante, podemos imaginar uma teoria que estabeleça distinções entre subgrupos de
pessoas. Por exemplo: delinquentes designados para um programa de serviços comunitários podem

24
responder ao programa de maneira diferente, conforme sejam primários ou reincidentes.3 Os primários
podem absorver as lições do programa e considerar seu trabalho na comunidade como uma expiação pela
violação da lei. Os delinquentes com uma ficha mais longa podem ver as horas de serviço comunitário
como punição, e zombam dos esforços para redirecionar suas crenças e valores. Essa ilustração sugere as
possibilidades de elaborar a teoria do programa à medida que a avaliadora e a equipe do programa ganham
experiência, conhecimento e confiança.
Mais uma vez, é útil pressupor algumas teorias que apresentam efeitos inesperados ou, nas
palavras de um antropólogo cultural, “buscar distinguir o propósito dos atores das consequências não
procuradas de seus atos” (Barth, 1990: 650). Discutir sobre o que pode dar errado pode ter diversas
utilidades. Pode ajudar a equipe do programa a tentar prever os efeitos colaterais indesejados e precaver-
se contra eles, chamando tais possíveis efeitos à atenção da avaliadora, de modo que ela os possa estudar.
No caso de ocorrerem efeitos negativos, a avaliadora pode rastreá-los com o mesmo cuidado dedicado às
cadeias de efeitos desejáveis.
A avaliadora utiliza o diagrama da Figura 3-3 para decidir que dados irá coletar. Se percorrer todos
os ramos da figura, precisará de dados sobre o assunto das conversas entre professores e pais. Também
precisará coletar dados antes e depois das visitas sobre o que os pais conhecem a respeito de expectativas
do colégio, apoio parental e encorajamento ao aluno, consciência do trabalho do aluno, frequência às
aulas, conhecimento pelos professores da cultura de família do aluno, estilo de ensino dos professores e o
que os alunos sentem a respeito de serem ouvidos e respeitados. Depois das visitas, a avaliadora terá de
tratar da identificação de qualquer caso de problema físico ou emocional, exames para fins assistenciais,
ajudas recebidas e atenuação do problema.
Suponhamos que, depois das visitas domiciliares, o rendimento de leitura do aluno aumente
significativamente mais que o de um grupo de controle de alunos que não receberam visitas. Uma
conclusão usual seria a de que as visitas (e todas as suposições e expectativas que as rodeiam) se
justificaram. Mas, suponhamos também que os relatórios das visitas dos professores mostraram que todas
as medidas de interação, comunicação e compreensão entre pais e professores estiveram em níveis bem
baixos. Professores e pais não estiveram realmente se comunicando. Neste caso, a fonte da melhora de
capacidade de leitura deveria ser procurada em outro lugar. (Uma explicação poderia ser que os alunos
perceberam mal a intenção das visitas dos professores; podem ter pensado que os professores estavam se
queixando de seu desempenho escolar e tentando persuadir os pais a punirem os que tivessem resultados
fracos. A melhora do rendimento escolar poderia então ter sido uma resposta à percepção dessa ameaça.)
Se a sequência prevista de eventos não funcionar, será preciso investigar mais. Porém, quando a

3 Uma variável que distingue entre subgrupos com resultados diferentes chama-se variável moderadora. A variável
moderadora, como prisões anteriores, sexo dos participantes ou etnias, divide as populações do estudo em subgrupos
que respondem de modo diferente ao programa (Baron e Kenny, 1986).

25
teoria mostra ser um quadro razoável do modo como as coisas acontecem, ela também dá alguma pista
sobre as razões disso. No entanto, mesmo com os melhores dados e com a melhor base, as teorias nunca
são provadas. No melhor dos casos, não são invalidadas. Pode haver teorias alternativas que poderiam
fornecer interpretações igualmente plausíveis ou melhores dos fatos disponíveis. As generalizações
científicas são construídas por hipóteses em desenvolvimento e depois submetidas a testes sucessivos num
esforço para desaprová-las ou encontrar os limites de sua aplicabilidade.
Ao empreender uma avaliação com base teórica, provavelmente será melhor começar com uma
teoria relativamente simples. Por exemplo, na avaliação de um programa de educação comunitária para
reduzir doenças cardiovasculares (Farquhar, et al., 1990), o foco estava na redução da ingestão de
colesterol e de tabaco. Uma teoria subjacente ao programa era que a comunicação intensiva iria aumentar
o conhecimento das pessoas sobre os fatores de risco, e esse aumento de conhecimento por parte delas
levaria a mudanças de seu comportamento (como uma redução da ingestão de colesterol). Com
comportamentos mais saudáveis, as pessoas experimentariam melhorias em termos de pressão sanguínea,
peso e índice de batimentos cardíacos.
Assim, parte dessa teoria dizia que a comunicação leva ao conhecimento, que leva à mudança de
comportamento. É esta a teoria de muitos programas. Às vezes supõe-se que a comunicação conduz ao
conhecimento, que conduz a mudanças de atitude, que, por sua vez, conduz a mudanças de
comportamento. A avaliadora pode elaborar sua teoria com mais detalhes e projetar uma avaliação capaz
de investigar cada um de seus diversos elos. O ponto importante é que a teoria orienta a avaliação sobre
aquilo que deve olhar e o que descobrir.
Quando um programa é muito complexo e multifacetado, como a utilização de gestores de casos
no atendimento a famílias em condições precárias, a avaliadora pode achar impossível acompanhar cada
ramo de cada subteoria subjacente ao programa. Simples limitações de tempo e de recursos tornam
impossível a verificação de todos os elos, o que leva à necessidade de escolher quais caminhos causais
devem ser seguidos. Como decidir sobre isso?
Os possíveis critérios são os seguintes:
1. Incerteza. Alguns elos entre os serviços fornecidos pelos programas e o progresso dos clientes são mais
problemáticos do que outros. Às vezes, não existe conhecimento algum sobre a viabilidade das suposições.
Às vezes, o conhecimento disponível das pesquisas em ciências sociais ou de avaliações prévias sugere que
a suposição não tem garantia. Este pode ser um conjunto interessante de elos que se deve estudar, de
preferência, logo no início da avaliação. Se isso não se mantiver, o programa pode descobrir falhas
rapidamente e modificar o que está sendo feito.
2. Volume. Alguns serviços são oferecidos com mais frequência e as teorias a eles subjacentes têm,
portanto, um destaque mais elevado. Se muitos elementos do programa baseiam-se na suposição de que
enviar um cliente para que ele receba outro serviço é suficiente para que este, de fato, aconteça, essa

26
suposição pode ser um bom candidato para estudo.
3. Centralidade. Alguns caminhos carregam um fardo mais pesado do que outros para a probabilidade do
êxito geral do programa. A avaliadora deve priorizar os caminhos que representam suposições
indispensáveis do programa.
4. Propósito. A escolha dos caminhos a seguir vincula-se ao propósito geral da avaliação e das questões por
ela tratadas. (No Capítulo 4, discutiremos mais detalhadamente sobre a escolha entre questões possíveis.)

Comparando a Teoria de Programas aos Desenvolvimentos Atuais

Com os dados na mão, a intenção da análise é ver se a teoria descreve bem o que realmente
aconteceu. Que partes da teoria têm o apoio e que partes não se observaram conforme o esperado? Isto é
uma informação importante para os diretores e a equipe do programa em estudo, para que possam
repensar sua compreensão e replanejar as atividades que não funcionaram como se previra. É também
uma informação importante para as pessoas engajadas em outros programas, para que possam tirar lições
sobre o que elas próprias estão fazendo, à luz das compreensões teóricas geradas. Numa escala mais
ampla, isto é importante para o crescimento do conhecimento social. Se, por exemplo, avaliações de
programas e muitos campos diferentes mostrarem que a suposta ligação entre mudança no conhecimento
e mudança de comportamento é fraca ou inexistente, os responsáveis pelas políticas e os projetistas dos
programas terão de desenvolver outras teorias (e as atividades para implementá-las) ao procurarem trazer
à tona uma mudança de comportamento. Para os cientistas sociais também, esse tipo de conhecimento é
capaz de produzir uma melhor compreensão do comportamento humano.
A mera construção dessa teoria pode expor expectativas ingênuas e simplistas. Será que, os
desenvolvedores de programas acreditam, por exemplo, que os pais que não possuem valores, experiência
básica ou aptidões para ajudar os filhos com os estudos possam ser persuadidos a fazer isso com uma ou
duas visitas de um professor? Certamente há muito a ser construído dentro de um programa com
expectativas tão grandes: para começar, treinamento para os professores, além de reforços, recompensas
e possivelmente treinamento de habilidades para os pais. A teoria da avaliação pode ser uma ferramenta
de aprendizado muito antes que a avaliação comece.
Durante a execução do programa de visitas domiciliares, pode-se vir a constatar que poucos
professores realmente fazem essas visitas. Pode ocorrer que tentem não encontrar os pais em casa ou
simplesmente, escusarem-se dessa tarefa. Nesse caso, faz pouco sentido continuar a estudar os efeitos de
algo que é conhecido como um programa-fantasma. Por outro lado, as evidências poderão mostrar que os
professores fazem as visitas, o que leva a avaliadora a acompanhar a hipotética cadeia de eventos. Ela

27
então vem a descobrir que os professores realmente têm uma compreensão aperfeiçoada da cultura da
família do aluno, mostram mais simpatia para com os estudantes, porém continuam a ensinar pelos velhos
métodos tradicionais, sem tentarem adequar sua instrução à subcultura dos alunos. Se o desempenho na
leitura não melhora, temos alguma pista para o motivo disso, que pode nos dizer onde a cadeia projetada
se partiu. De modo semelhante, se alguns pais, de fato, aprendem sobre as expectativas da escola quanto
ao comportamento e ao desempenho de seus filhos e, de fato, tentam encorajá-los a fazer melhor os
deveres de casa e o trabalho escolar, porém, ainda assim, o rendimento dessas crianças não é melhor que o
de outros alunos, temos um lugar interessante onde procurar insights sobre a ruptura da cadeia de
eventos.
Como é que se analisa a viabilidade da teoria do programa? Os que escrevem sobre avaliação têm
oferecido diversos métodos de análise estatística (Chen e rossi, 1987; Lipsey, 1989). Mas, mesmo sem
técnicas estatísticas sofisticadas, é possível aprender muito sobre o que Campbell (1966) chamou de
“confronto de padrões”.4 Conforme as palavras indicam, a avaliadora deve comparar as expectativas
geradas pela teoria aos dados empíricos para ver até que ponto eles se ajustam. A avaliação de Riggins
(1990) de um programa obrigatório de preparação para a busca de empregos, voltado para recebedores de
benefícios, mostra uma maneira mais simples em que os avaliadores podem usar a teoria do programa
como base para recomendações aos gestores. O estudo descobriu que o programa não estava fazendo o
que sua própria teoria exigia; sua teoria de implementação não estava sendo contemplada. As
recomendações dos avaliadores se concentraram em fazer o programa concordar com sua teoria, por
exemplo: aplicando sanções aos participantes que não seguiam as regras e contratando mais conselheiros
para executarem as atividades necessárias que não estavam sendo cumpridas.

Vantagens da Explicação das Teorias das Mudanças

Mapear as teorias das mudanças inerentes a um programa traz vantagens não apenas para os
avaliadores, mas também para os outros participantes do programa.

Projetistas de Programa
Durante o período em que o programa está sendo desenvolvido, seus designers podem tirar proveito do

4 Campbell (1966) define o confronte de padrões como “a reação geral entre uma teoria científica formal e as
acumulações relevantes de dados empíricos” (p. 96). E continua: “Não se exige que os dados tenham coerência analítica
entre si, e realmente não podem ser reunidos como um total, exceto no arcabouço da teoria” (p. 97). O crescimento do
conhecimento vem através de uma “seleção de teorias em competição” (p. 102). Quais são as teorias que vencem? “É a
ausência de hipóteses rivais plausíveis que estabelece uma teoria como ‘correta’. Nos casos em que não há teorias rivais,
é a eficiência geral relativa do ajuste que leva uma a ser preferida a outra” (p. 102).

28
pensamento disciplinado, estimulado por essa abordagem. O modelo de teorias da mudança força-os a
tornarem explícitas as suposições e, assim fazendo, dá-lhes uma oportunidade de examinarem a lógica de
suas ideias. Estarão dando muitos saltos no escuro? Na Figura 3-1, seria razoável, com base na experiência
e em resultados de pesquisas anteriores, esperar que alguns milhares de dólares de pagamento extra
levarão os professores a transformar seu estilo de ensino? Pensar com a lógica de suas expectativas pode
ajudar os projetistas do programa a levarem em conta intervenções mais poderosas ou abrangentes para
atingirem as metas buscadas ou levá-los a rever de modo mais realista suas expectativas, e sobre o que
poderiam conseguir com os meios disponíveis. Isso poderia levá-los a mobilizar diferentes teorias de
pessoal ou diferentes estruturas organizacionais. Em suma, pedir-lhes que tornem implícitas as suposições
explícitas encoraja-os a pensarem mais forte e mais profundamente sobre os programas que projetam.

Executores
Durante a implementação de programas, os executores também são solicitados a confrontar suas teorias
sobre o modo como o programa irá levar a mudanças. Pode ficar claro nas conversas que membros da
mesma equipe tenham ideias diferentes sobre o modo como o programa irá alcançar seus efeitos. Sendo
este o caso, pode acontecer que eles estejam trabalhando com propósitos díspares. Se os executores
conseguem trabalhar essas diferenças, fazendo todos concordarem com um conjunto comum de
suposições sobre o que estão fazendo e por quê, a força da intervenção pode aumentar.
Além disso, os benefícios que os executores podem tirar são muito semelhantes aos dos projetistas
do programa. Em certo sentido, os executores estão reprojetando o programa a cada dia pelo que fazem ou
pelo modo como o fazem. Quando manifestam suas suposições sobre o modo como o programa irá
funcionar, têm de se confrontar com suas premissas fracas ou questionáveis e com os saltos no escuro que
estão embutidos nas expectativas. Essa confrontação pode ajudá-los a aprimorar, não apenas seus planos e
teorias, mas também sua execução regular.

Gestores de Programa
Uma vantagem principal para os gestores dos programas é que a avaliação fornece um feedback sobre qual
cadeia de raciocínio está se rompendo, e onde. Os trainees expostos ao programa de treinamento não
frequentam as sessões regularmente, ou as frequentam, mas não aprendem as habilidades de trabalho, ou
será que aprendem essas habilidades, mas não procuram emprego? Esse tipo de informação ajuda os
gestores a determinar o que precisa especificamente ser corrigido. Se a avaliação mostrar que uma linha
inteira de teoria recebe menos apoio nos dados, o executor pode reconsiderar a utilidade de esforços
dedicados a essa linha de trabalho.

29
 Gestores e Financiadores de Programas Semelhantes
As informações sobre os fundamentos teóricos do programa são de uma importância especial para os que
estão dirigindo a fase inicial de programas semelhantes. Essas pessoas não apenas querem saber se há
probabilidade de esses programas funcionarem, mas também desejam saber sobre como eles funcionam.
Se compreenderem o quê, o como e o porquê do êxito (e do fracasso), podem se preparar melhor para
novos empreendimentos, de modo a replicarem os elementos do programa associados a sucessos e a
repensar e retrabalhar os elementos do programa que tiveram resultados insatisfatórios.

30
 Os Responsáveis pelas Políticas e o Público
Outro benefício colateral da avaliação baseada na teoria é que ela fornece explicações, histórias de
meio e fins, que se comunicam prontamente com os responsáveis pelas políticas e o público. Seus achados
podem ser encapsulados em morais, como as fábulas de Esopo: os professores que ganham salários mais
elevados sentem-se mais apreciados e trabalham mais no ensino. Esse tipo de histórias explicativas muitas
vezes são mais convincentes e fáceis de lembrar do que os achados estatísticos apenas. Podem ter uma
chance maior de influir no curso de uma política futura.
Naturalmente, há limitações no uso de teorias pragmáticas de mudança como base para a
avaliação. Uma dessas limitações é que tal procedimento consome muitos dados. Como a avaliação
baseada na teoria procura seguir muitas fases de uma suposta sequência de eventos, ela exige grandes
quantidades de dados. A demanda densa de dados e, mais tarde, da análise desses dados, implica
cobranças não somente à avaliadora, mas também aos recursos de avaliação e ao pessoal do programa que
deve suprir os dados. Outra limitação é que, enquanto a natureza de alguns dos dados exigidos pode ser
quantitativa, a de outros provavelmente será de natureza narrativa e qualitativa. A combinação desses
tipos diferentes de dados exige uma engenhosidade de estratégia analítica, o que representa um fardo a
mais para a avaliadora.
Ainda assim, a definição das teorias de mudança de um programa merece atenção. Olhar para as
teorias do programa não é a única maneira de decidir acerca do ponto focal da avaliação, mas é um bom
modo de esclarecer e sistematizar os fatores que vale a pena examinar.

Críticas à Teoria de Programas

Alguns observadores questionam se uma ênfase na teoria de programas poderá vir a fazer o estado da arte
da avaliação progredir. Eles duvidam da possibilidade de identificar os processos causais em ação (Shadish,
Cook & Leviton, 1991). Mostram-se cépticos quanto aos executores de programas terem algum insight
especial nos processos através dos quais a mudança ocorre e acreditam um pouco mais que o
conhecimento científico social está à altura da tarefa. Tampouco os críticos acreditam que a avaliação com
base na teoria irá necessariamente contribuir par um crescimento no conhecimento do programa. Dizem
que, ainda que seja possível produzir informações específicas para um dado projeto, não fica claro que tais
achados poderão ter uma maior generalização. Duvidam de que os avaliadores sejam capazes de distinguir
os traços comuns a uma família de programas dos traços exclusivos de um cenário específico. Segundo eles,
os programas podem ser por demais complexos para serem decompostos em um conjunto finito de
variáveis. Portanto, há poucas chances de acumular achados.
Muitos pesquisadores qualitativos insistem em que todas as verdades são locais e ocasionais. Cada

31
programa é o seu próprio mundo, tendo de ser compreendido em seus próprios termos. A avaliadora,
neste argumento, teria de trabalhar dentro das condições únicas de situação, participantes, operações de
programa e tempo, sendo que essas idiossincrasias múltiplas impedem a produção de generalizações.
Dizem que os esforços para generalizar sobre empreendimentos complexos como programas sociais
provavelmente não terão êxito num nível mais elevado de abstração.
Concordamos com o fato de que é otimismo achar que é possível acumular conhecimento através
de testes repetidos da teoria de programas. Para que ocorra um fim desejável em um espaço razoável de
tempo, deveremos começar com uma teoria forte no início. Infelizmente, em muitos campos, as teorias de
programas encontram-se em um baixo nível de desenvolvimento, estando repletas de inexatidões e de
falsos caminhos. Descobrir suas falhas e revisar e aprimorá-las é algo árduo, e que exige múltiplas
iterações.
Entretanto, é possível agrupar estudos individuais em centenas de estudos semelhantes, através da
mata-análise, que permite descobrir quais processos estão mais fortemente associados à consecução dos
resultados desejados. Outra esperança para a compreensão da teoria causal é que alguns efeitos surgem de
tipos particulares de operações de programa, mesmo que um sistema explicativo mais abrangente ainda
não seja totalmente conhecido (Cook e Shadish, 1994).
As abordagens da teoria de programas têm a vantagem de quebrar as experiências do programa
em uma série de pequenas partes, ou seja: os elos entre uma fase e a outra. Como a avaliação enfoca esses
elos (e não apenas a suposição global de que o programa conduz aos resultados desejados), ela pode
examinar ligações em um leque de programas e implementações. Por exemplo: muitos programas
dependem de gestores de casos para coordenarem os serviços de inúmeros agentes atuantes junto às
famílias atendidas. Às suposições comuns são as de que os gestores de casos aumentam (a) o número e (b)
a propriedade de serviços que a família recebe: as avaliações baseadas na teoria podem testar essa
suposições em diversos contextos, contribuindo assim para generalizações sobre qual caso é realizado ou
não pelos gestores.
Além disso, há importantes razões locais para se basear a avaliação na teoria de programas. Para a
avaliadora que estuda um programa ou projeto em particular, desenterrar (ou construir) uma teoria de
programas é uma maneira útil de se ter uma ideia do que estudar, como alocar recursos de avaliação, onde
concentrar os dados coletados e como dar sentido aos achados. E apenas pode acontecer que os
avaliadores aprendam coisas que outros irão usar.
Com todas essas complexidades e desafios, os programas exibem coisas em comum discerníveis.
Assim como as ciências sociais básicas descobrem padrões de comportamento que perpassam indivíduos,
organizações, políticas e sociedades, seria possível encontras traços e relações que caracterizem programas
de diversos tipos. O comportamento humano é complexo, porém não acidental. Devemos ser capazes de
avançar na compreensão do que acontece em determinados conjuntos de circunstâncias quando as

32
intervenções trabalham para tratar dos problemas sociais.
A busca por melhores teorias de programas é um empreendimento que vale a pena ser feito. Dado
o estado deplorável de intervenção social em alguns campos e da falta de teorização explícita para orientar
um desenvolvimento de programa, até mesmo um avanço modesto assinalaria uma melhora significativa.

33
 Resumo
Este capítulo realçou a importância da compreensão do programa em avaliação. Destacou diversas
fontes de conhecimento sobre o programa, inclusive informações escritas, pessoais e de observação direta.
O capítulo enfatizou o valor de rever avaliações passadas do mesmo programa ou de programas similares
como um modo para a avaliadora orientar-se sobre as atividades, expectativas, resultados passados e
explicações do que o programa conseguiu ou não realizar. Como benefício colateral, as avaliações passadas
também oferecem insights úteis nos métodos de pesquisa usados por outros avaliadores, nos instrumentos
de que se serviram para coleta de dados, nos modos de análise empregados e nas suas sugestões
ocasionais sobre o modo de fazer o estudo melhor na vez seguinte.
Um bom método para se formalizar o conhecimento sobre o programa é construir um esboço da
teoria (ou teorias) subjacente do programa; a avaliadora dever recorrer ao conhecimento implícito ou
explícito do pessoal do programa para obter uma explicação da teoria desse programa. Uma afirmação
dessa teoria deve apresentar suposições que mostram como os inputs (equipe, recursos, atividades)
trduzem-se em uma série de etapas intermediárias até se chegar aos resultados desejados do programa
(aperfeiçoamento nas pessoas, organizações ou comunidades). As micro-etapas da teoria podem então
tornar-se o arcabouço para o estudo da avaliação, que rastreia esses desenvolvimentos a fim de descobrir
se as ligações supostas estão, de fato, ocorrendo.
Usando-se a teoria de programas como base para estruturar a avaliação, o estudo permite à
avaliadora extrair conclusões não somente sobre os processos pelos quais os serviços são prestados e os
resultados alcançados através deles, mas também sobre a validade das suposições que ligam os processos
aos resultados do programa. Assim, a avaliação baseada na teoria pode ajudar a aumentar a condição de
generalização dos de resultados de estudos a partir do único caso, ou de um leque de programas baseados
em suposições similares. Reconheço o tom otimista (talvez super-otimista) dessas expectativas, porém
sugiro que esse esforço vale a pena ser feito quando se busca um aperfeiçoamento das práticas atuais.
Estruturar a avaliação em torno da teoria de programas é, naturalmente, apenas um modo de
tratar a avaliação de um programa. Outras abordagens são valiosas, conforme veremos nos capítulos
subsequentes. A teoria de programas pode ser uma parte de menor importância na avaliação ou pode ser
seu ponto central. De qualquer modo, aprender bastante sobre um programa para desenvolver uma
afirmação da teoria (ou teorias) de programas é um exercício útil. É útil mesmo quando o projeto do
programa não depende dela, por exemplo: quando o projeto de avaliação é a comparação de um grupo de
pessoas selecionadas ao acaso e destinadas ao programa com um outro grupo selecionado ao acaso e que
não recebeu o programa. Mesmo quando o enfoque da avaliação é a comparação entre os dois grupos,
uma compreensão das teorias de programas pode iluminar as descobertas.

34
 A avaliação baseada em teorias de mudanças pode ser útil à equipe do programa porque as
encoraja a pensar sobre o porquê de estarem fazendo o que estão fazendo e cogitar se há meios de fazer
melhor. É útil para a avaliadora porque a encoraja a aprender muito sobre o programa e a refletir sobre seu
aprendizado antes mesmo de começar, de fato, a conduzir seu estudo. Independentemente de a teoria de
programas tornar-se ou não uma parte principal da avaliação, o esforço para desenvolvê-la já é suficiente
para chamar a atenção da avaliadora para assuntos e oportunidades cruciais à compreensão do programa.

35