APSE Caderno 2

AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
Uma alternativa naturalística
A CONVERSA CONTINUA:
QUE RUMO TOMAR?
Thereza Penna Firme

Juan Antonio Tijiboy
Vathsala lyengar Stone
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
A CONVERSA CONTINUA:
QUE RUMO TOMAR?
Thereza Penna Firme

Dados Internacionais de Catalogação na Publicação (CIP)
(Câmara Brasileira do Livro, SP, Brasil)
Penna Firme, Thereza

Avaliação de programas socioeducacionais [livro
eletrônico] : como enfocar e pôr em prática : uma
alternativa naturalística / Thereza Penna Firme,
Vathsala Iyengar Stone, Juan Antonio Tijiboy ;
[ilustrações João Henrique Belo Evangelista]. --
1. ed. -- São Paulo : Fundação Itaú para a
Educação e Cultura, 2021. -- (Avaliação de
Programas Socioeducacionais : como enfocar
e pôr em prática ; 8)
PDF
Obra em 8 v.
ISBN 978-65-86771-06-0
1. Avaliação de programas de ação social

2. Educação 3. Educação - Finalidades e objetivos
4. Programas sociais - Avaliação 5. Sociologia
educacional I. Stone, Vathsala Iyengar. II. Tijiboy,
Juan Antonio. III. Evangelista, João Henrique Belo.
IV. Título. Série.
21-70689 CDD-370.1934
Índices para catálogo sistemático:

1. Programas sociais : Avaliação : Sociologia educacional 370.1934
Maria Alice Ferreira — Bibliotecária — CRB-8/7964
Realização Apoio
→ A conversa continua: que rumo tomar? ←
QUESTÕES
ORIENTADORAS
PARA A LEITURA
'' O que determina o rumo que a
avaliação deve tomar?
'' Qual é o tipo de abordagem que

corresponde às preocupações de cada
grupo de interessados no programa?
'' A quais desses interessados a

avaliação deve responder?
'' Quais são as características de uma

abordagem responsiva? Qual papel tem a
negociação nesse tipo de abordagem?
Escreva no espaço abaixo quais aspectos específicos de seu interesse você desejaria
aprender neste caderno, sobre o rumo que a avaliação deve tomar nos programas.
→ Avaliação de programas socioeducacionais
5
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
ABRINDO O DIÁLOGO:
O QUE SIGNIFICA AVALIAÇÃO?
Thereza Penna Firme

Avaliação de programas socioeducacionais ←

6
NO CADERNO
ANTERIOR…
Paulo e Regina, dois educadores de rua, estão preocupados com seu programa de
atendimento a crianças e jovens em situações de risco. Têm indagações em relação
ao trabalho que estão fazendo, seu sentido e valor para os destinatários.
Como se fosse uma resposta à problemática, aparece uma moça (com o rosto co-
berto) e esclarece essa situação-problema. Quando Paulo e Regina descobrem seu
rosto, defrontam-se com um espelho! A Avaliação, cuja face é simbolizada por esse
objeto, fala com os educadores e deixa as seguintes mensagens:
'' Avaliação no programa é como um espelho, no qual todos têm a

oportunidade de se ver (tanto no todo quanto em seus detalhes)
de acordo com o interesse de quem se olha.
'' Tal como um espelho, a avaliação permite que as pessoas se ava-

liem e melhorem suas imagens.
'' Assim como no caso do espelho, a avaliação no programa deve

estar sempre à mão, facilitando a correção e o aperfeiçoamento
da imagem de quem está se olhando.
'' O reflexo da realidade no espelho, que é a Avaliação, possibilita

fazer julgamentos apropriados.
'' Avaliação de um programa (ou quaisquer outros focos de atenção,

tais como uma instituição, um profissional, um material didático,
relações humanas entre os participantes etc.) consiste em julgar
seu mérito e/ou sua relevância, no contexto de sua atuação.
7
'' Embora a avaliação possa enfocar exclusivamente o mérito ou a

relevância de um programa (ou qualquer outro foco de atenção),
é importante destacar os dois aspectos sempre que possível, pois
as informações se complementam e, juntas, explicam melhor a
situação do programa (ou outro foco de atenção).
'' A avaliação implica numa coleta organizada de informações so-

bre o programa (ou outro foco de atenção) e a realidade que o
cerca.
'' As informações que a avaliação coleta variam de acordo com os

interessados, isto é, aqueles que querem melhorar sua imagem
e/ou do programa: os coordenadores, educadores de rua, orga-
nizações sociais específicas, destinatários e várias pessoas da
comunidade.
'' A avaliação pode e deve ser democrática, atendendo às necessi-

dades de informação de todos os interessados. Para isso, ela não
precisa apenas levantar informações diferentes como também
distribuí-las de acordo com a necessidade de cada interessado,
para que sejam melhor aproveitadas.
'' A avaliação é uma tarefa desafiadora, mas se torna mais fácil

quando é realizada por uma equipe que coordena a participação
de todos e organiza o trabalho.
'' A avaliação assegura que todos tenham seu espaço de poder.
'' É destacada a diferença entre mérito e relevância de um pro-

grama (ver a tabela no final da seção "Em Outras Palavras" no
Caderno 1).

8
NESTE CADERNO…
Veja o que aconteceu. Paulo e Regina, entusiasmados, foram ao encontro de
Ricardo, o coordenador do seu programa, e contaram tudo o que descobriram.
Ricardo ficou empolgado com o que ouviu dos dois, e discutiu com eles a ideia de
fazer uma avaliação do programa.
— Ótimo! Gostei da ideia. Vocês, com certeza, são parte desta

equipe. Eu conto com vocês. Mas quem mais pode participar?
— Que tal o Jorge? — disse Regina.
Jorge é um funcionário do banco e, nas horas vagas, costuma visitar o programa

para colaborar com o pessoal, por achar apaixonante o trabalho com os meninos.
— Excelente! — disse Paulo. — E que é que vocês acham de cha-

mar também a professora Claudina?
— Que Claudina? Aquela que está fazendo uma pesquisa sobre

meninas da praça?
— É essa mesmo. Inclusive, ela conta com uma pequena verba da

Universidade que, quem sabe, pode nos ajudar!
A equipe foi formada, pelo menos para começar.
Paulo e Regina, com seus companheiros desta nova caminhada, se reuniram para
fazer uma avaliação do programa. E estão prontos. Será? Um olha para o outro. Por
onde começar? É o que eles estão pensando. Então…
9

10
QUE RUMO TOMAR?

A conversa continuou entre os quatro membros da equipe e o Ricardo. E foi ele
quem primeiro provocou:
— Como é que vocês vão avaliar?
Paulo interrompe.
— Espere aí! Acho que primeiro temos que ver de forma bem clara
para que vai servir esta avaliação!
— Ora, vai servir para ver em que nós, educadores de rua, precisa-
mos melhorar nosso trabalho — disse Regina.
— Desculpem — disse Claudina —, eu acho que o mais importan-

te de tudo é avaliar até que ponto o programa cumpre o seu com-
promisso com a comunidade.
— Concordo totalmente — disse Ricardo. — Mas antes, eu gosta-

ria de ver o que está acontecendo com os meninos.
— Isso! — disse Paulo. — É muito importante acompanhar o cres-

cimento desses meninos em tudo!
— Em tudo? Como assim? — questionou Jorge.
— Tudo! Por exemplo: saúde, capacidade de trabalhar e ganhar,

cooperação com colegas, respeito pelos outros e outras coisas,
entende?
— Eu sei, Paulo. Mas um programa de recursos como este não

pode fazer maravilhas!
11
— Então — disse Ricardo — é por isso, Jorge, que temos que lutar
para conseguir mais recursos. E como é que alguém pode nos aju-
dar sem saber o que estamos fazendo pelos meninos?
— Mas veja, Ricardo, de nada vale ter os recursos se não souber-

mos administrá-los bem.
— Certo, Jorge. Você está justamente tocando num ponto crítico,

que me preocupa. Aqui é importante que a avaliação me ajude a
administrar não só os recursos, mas o próprio programa.
Neste ponto da discussão, Regina se manifestou.
— Gente, confesso que estou totalmente confusa. Afinal de con-

tas, o que é mais importante buscar nesta avaliação?
De repente, no meio desta balbúrdia, a equipe escutou novamente aquela "voz

amiga", que, por incrível que pareça, elogiou aquele espaço confuso e solidário.
— Parabéns pela tentativa! Vocês já estão no ponto certo de par-

tida! Querem descobrir? Sigam-me!
Paulo e Regina não hesitaram, pois já sabiam quem era aquela amiga que lhes fa-
lava. Era a Avaliação. Assim, seguiram a voz até um enorme salão. E chamaram os
outros.
— Venham ver!
E foi aí que a equipe se deparou com uma cena interessante. Era uma mesa redon-
da, com várias pessoas sentadas ao redor e os rostos cobertos por um véu. Quem
seriam? A voz falou:
— Estas são as pessoas que têm interesse por esta avaliação.

Descubram quem são!
Foi nesta hora que Paulo e Regina olharam fixamente para a mesa, de onde a voz
vinha. O tampo da mesa era um grande espelho. Era a própria Avaliação!

12
13
Paulo não esperou nem um minuto, foi logo descobrindo o rosto de cada pessoa,
um por um...
Regina deu um grito.
— O que é isso? A cara deles é um ponto de interrogação!
Jorge disse:
— O que serão estas interrogações em volta de um espelho?
— Calma — disse Paulo, sorrindo. — Está lembrada, Regina, de

que o espelho é a Avaliação que mostra a realidade através da
reflexão?
— Lógico! — disse Regina. — As interrogações também são liga-

das a ela, a Avaliação é a resposta.
— Então — falou Claudina —, ela é a resposta para estas pergun-

tas que estão aí em volta! Puxa, que coisa espetacular!
Nisso, Jorge começou a reconhecer o rosto de alguns personagens em cada

interrogação.
— Vejam só! — gritou ele.
E logo Ricardo se identificou:
— Aquele ali sou eu!
— Puxa! — disse Regina. — Lá estamos eu e Leila!
— Engraçado — disse Paulo —, aquele ali é um menino. E sabem

quem? É o Jorginho, que ontem veio ao programa pela primeira vez!

14
— E aquele outro também, que já passou por aqui e agora está

trabalhando firme!
— Olha! Aquela não é a mãe daquela menina da praça?
Foi aí que a professora Claudina identificou, com surpresa, seu chefe na universi-
dade (aquele que é responsável pela verba de sua pesquisa).
— Mas o que é que ele está fazendo aqui? — perguntou a própria

Claudina.
Neste instante de curiosidade, no meio daquela cena toda feita de interrogações,

veio a voz tranquilizando a todos:
— Meus amigos, ele também é um grande interessado, como to-

dos os outros ao redor da mesa. Todos querem a resposta para
suas indagações. Este é um desafio, porque é importante satis-
fazer a cada um.
Vejam só, Ricardo é o coordenador responsável e se interessa

principalmente em saber que direção tomar a cada momento,
para garantir melhores condições de trabalho para todos. Para
isso, ele também precisa saber constantemente se o programa
está atingindo o menino e como.
Leila e Regina, como os outros educadores, são participantes res-

ponsáveis do programa. Estão interessados sem dúvida, porque
sem informação sobre a qualidade e o resultado do seu trabalho
constante com o menino, como é que eles vão conseguir atuar
com sucesso? Eles precisam de informações a cada instante, e
de perto.
O menino, por sua vez, é um grande interessado. É o próprio des-

tinatário, mas também participante, é claro! Vocês pensam que
eles entram no programa sem expectativas? Eles vêm cheios de
esperança! E os outros, que já saíram, querem encontrar segu-
rança nos seus caminhos pela vida afora. Eles têm direito a rece-
ber uma resposta à altura de sua esperança!
15

16
A mãe e tantas outras pessoas da comunidade, indiretamente,

são os destinatários do programa: aqueles que devem ser atin-
gidos a médio e a longo prazos. Eles têm indagações não só para
satisfazer suas necessidades, mas também precisam saber de
que forma o programa está atuando, como podem colaborar. Os
benefícios para o menino e para a comunidade conferem credibi-
lidade e valor ao programa.
O chefe de Claudina é, afinal, a figura do financiador que se inte-

ressa em saber se a verba (que é dinheiro público) foi bem aplica-
da. Prestação de contas é coisa séria também, e se trata de bene-
fício para a sociedade.
— Agora sim, ficou claro para nós. Só uma coisa: como é que a
gente vai satisfazer a todos?
— Aqui está o ponto de decisão para vocês. — disse a Avali-

ação. — Vocês devem definir quantas e quais dessas preocu-
pações devem ser respondidas primeiro, porque, vejam só.
Atender a uma preocupação implica formular uma questão ava-
liativa. Para responder a essa indagação, terão que buscar in-
formações para determinada finalidade que aquele interessado
tem em mente, ou seja: o trabalho de vocês vai ter que adotar
uma abordagem avaliativa adequada a essa finalidade.
— Desculpem-me pela interrupção — disse Claudina —, mas es-

tou muito interessada em entender melhor esta questão de abor-
dagem. Eu já tinha ouvido falar disso antes por alguns colegas,
mas confesso que não ficou muito claro para mim.
— Foi ótimo ter tocado nisso, Claudina — disse a Avaliação. — Eu

vou aproveitar esta oportunidade para dar uma ideia geral so-
bre as abordagens principais que um trabalho de avaliação pode
adotar. Basicamente, a abordagem é o caminho que se vai seguir,
dependendo do propósito ou da finalidade de uma avaliação.
— Propósito? De onde veio isso? — perguntou Jorge.
17
— Eu sei — disse Ricardo. — Isso não vai depender das preocupa-

ções dos interessados?
— Parabéns! — disse a Avaliação. — O propósito pode vir de uma

ou de várias preocupações, de um ou mais interessados. Tais ele-
mentos é que apontam para o alvo, a finalidade ou o propósito da
avaliação! Já não vimos isso antes?
— Pois é! — disse Ricardo. — Você quer dizer que, quando um

interessado está preocupado em saber se os objetivos do progra-
ma foram alcançados… (Ricardo ficou pensando).
— Justamente — disse a Avaliação. — O propósito da avaliação

aqui poderia ser o de verificar o alcance dos objetivos. Neste caso,
utiliza-se uma abordagem de avaliação "voltada para os objetivos"
(Worthen, Sanders e Fitzpatrick, 1997; 2004).
— Ótimo, agora entendi o negócio da abordagem — disse

Claudina. — Então, fale das outras abordagens.
— Há uma outra alternativa, de que nós já falamos numa con-

versa anterior. Vocês se lembram daquelas quatro coisas que o
responsável por um programa deve ter como preocupações prin-
cipais? — indagou a Avaliação.
— Eu me lembro — disse Paulo. — Não são aquelas que se rela-

cionam com: definir o rumo do programa; determinar com quais
recursos levar o programa adiante; aperfeiçoar o caminho na
prática e descobrir se chegou onde se queria?
— Isso mesmo, essas são as quatro decisões que ele tem que
tomar para melhorar seu programa! — falou a Avaliação, muito
entusiasmada. E continuou: — Para buscar informações que fa-
cilitem essas decisões de gerenciamento, a abordagem de ava-
liação deverá estar "voltada para o gerenciamento" (Worthen,
Sanders e Fitzpatrick, 1997; 2004). Olhem agora para um outro
aspecto importante em relação ao programa. Ao gerenciar suas
atividades, o grupo envolvido estaria se dirigindo, primeiramente,

18
ao cumprimento da função, enfatizando o mérito do programa.

Enquanto isso, aquela outra função de que falamos antes (que
enfatiza sua relevância) se refere a um outro aspecto: seu dever
social. Pessoas fora do programa têm expectativas e preocupa-
ções em relação a ele, pessoas da comunidade interessadas nos
meninos, nos seus direitos e nos movimentos sociais que colocam
esperança no programa, por promover melhoria social e provocar
as mudanças desejadas. Assim como os meninos, elas se somam.
Junto a eles, essas mudanças compõem o conjunto dos próprios
usuários ou destinatários, e têm direito de cobrar do programa. É
evidente que, quando se tratar de responder a essas cobranças,
a abordagem da avaliação deveria estar "voltada para usuários/
destinatarios" (Scriven, 1974).
— Caramba! Quantos caminhos se tem que levar em considera-

ção! — disse Regina.
— Esperem! Ainda não falei de um outro caminho que integra

quase todos esses interesses. Esse caminho começa pelo inte-
resse dos próprios participantes, que vivenciam o programa no
seu dia a dia.
— Então somos nós! — disse Paulo.
— E muitos outros — disse a Avaliação —, como pessoas de apoio

constante ou periódico ao programa, que atuam lado a lado com
vocês, educadores. Para responder aos anseios de todas essas
pessoas, além daquelas de que falamos antes, adota-se a abor-
dagem "voltada para os participantes" (Stake, 1975).
— Acabou? — perguntou Regina.
— Há outras, mas no momento não seria necessário discuti-las,

porque as que vimos já nos dão uma visão geral.
— Dona Avaliação, foi um pouco pesado para minha cabeça. Será

que há algum jeito de sintetizar tudo isso? — perguntou Jorge.
19
— Afinal de contas — disse a Avaliação —, todas essas aborda-

gens podem ser entendidas como respostas para três grupos de
interessados:
Primeiro grupo (A): constituído por aqueles que têm poder de de-
cisão, os quais vão ser fundamentalmente ajudados pelos resul-
tados das duas primeiras abordagens. São elas: "voltada para os
objetivos" e "voltada para o gerenciamento".
Segundo grupo (B): constituído por aqueles que, fora do progra-

ma, influem, direta ou indiretamente na formulação de políticas
em relação a ele. A terceira abordagem — "voltada para os usu-
ários/destinatários" — é de fundamental importância para este
grupo, pois ele cobra benefícios do programa que, por sua vez,
vão influir na formulação de políticas sociais.
Terceiro grupo (C): constituído por aquela "audiência" que forma

o corpo do programa, vivendo o seu cotidiano. A quarta abor-
dagem — "voltada para os participantes" — ajuda este terceiro
grupo, ou seja, a audiência direta da avaliação: os próprios par-
ticipantes do programa, que têm o interesse mais imediato nos
resultados da avaliação e, provavelmente, mais irão aproveitá-los
no dia a dia de seu trabalho.
— Formidável — disse Claudina. —, mas me diga uma coisa, será

que devemos atender aos três grupos, ou há algum problema se
atendermos a um só?
— Ah, não! Isso jamais seria democrático — disse Ricardo —, o

direito de informação todos têm. Agora, como, eu não sei!
— Olhe — disse a Avaliação —, esse é um verdadeiro desafio.

Primeiramente, eu quero tranquilizar vocês no sentido de que se
trata de escolher um ou outro grupo de interessados para respon-
der e, claro, apontar a abordagem correspondente. Entretanto, a
preocupação de Ricardo é muito importante, e me deu a pista
para contar a vocês a grande novidade.

20
— E qual é? — perguntou Paulo, que tudo vinha escutando

atentamente.
— É que essa última abordagem — "voltada para os participantes"

(Stake, 1975) — favorece estudos que atendem à audiência mais
diretamente interessada nos resultados da avaliação, pois tem
características especiais que facilitam o atendimento democráti-
co que tanto preocupa o Paulo. Inerente a ela, há uma flexibilida-
de bem maior em relação às demais abordagens. E isso em dois
sentidos. Em primeiro lugar, ela se dirige a uma clientela bem
diversificada, com preocupações múltiplas e que surgem espon-
taneamente no dia a dia do desenvolvimento natural do progra-
ma. Em contraste, as outras abordagens favorecem estudos que
atendem a preocupações bem definidas de clientelas singulares
e mais específicas. É por isso que a abordagem voltada para par-
ticipantes favorece métodos naturalísticos (Guba e Lincoln, 1981)
de buscar informação. Isto é, em vez de partirem de definições
específicas sobre o que buscar, eles tendem a privilegiar a desco-
berta a cada momento da caminhada. Neste sentido, a tendência
das outras abordagens é de serem preordenadas, pois partem de
definições e delineamentos pré-estruturados. Em segundo lugar,
essa flexibilidade de métodos permite que tal abordagem am-
plie a sua audiência, podendo então, incluir até mesmo as clien-
telas das outras abordagens. Viram como essa abordagem, por
sua própria natureza, pode ser democrática? Ela, de fato, tem a
grande virtude de responder à multiplicidade de interesses. Não
é por acaso que é conhecida também como "abordagem respon-
siva", que, aliada a métodos naturalísticos, se adapta bem a um
contexto social com interesses diversificados. Neste sentido, ela
até chega a favorecer uma postura eclética de abordagem (Guba
e Lincoln, 1981).
O grupo agora mostrou um grande entusiasmo e, sobretudo, alívio depois dessas

explicações esclarecedoras. E foi Paulo quem falou primeiro.
— O rumo está claro. Vamos logo começar a avaliar!
— Lógico! — disse Ricardo. — Esta é a abordagem mais apropria-

da para um programa social como o nosso.
21
— Isso mesmo! — disse a Avaliação, concluindo —, os programas

dessa natureza têm uma grande responsabilidade no contexto
em que estão inseridos, no sentido de acompanhar sua dinâmica
e, ao mesmo tempo, orientar as transformações sociais na área de
sua competência. Trata-se, assim, de realidades múltiplas dentro
e fora do programa, o que exige uma abordagem flexível, par-
ticipativa, comprometida com a problemática social pertinente,
além de outras características que vão se descobrindo na prática.
O envolvimento de todos os interessados no programa é funda-
mental para o aperfeiçoamento do programa e dos que nele atu-
am e apostam. Neste sentido, cada interessado tem o direito de
exercitar sua parcela de poder e autodeterminação na escolha
de ações a serem desenvolvidas (Fetterman, 1996; Fetterman e
Wandersman, 2005). Isso inclui até os destinatários do programa,
que muitas vezes são vítimas de exclusão como os meninos que
vocês atendem. Neste sentido, a abordagem abrange também o
princípio de inclusão (Mertens, 2003).
— Excelente! — disse Jorge. — O rumo está claro. Vamos logo

começar a avaliar!
— Um momentinho — disse a Avaliação. — Esse rumo tem uma

porção de outras novidades que ainda vou contar pra vocês. Mas,
por agora, o melhor que vocês poderão fazer é procurar os "in-
teressados" e descobrir suas preocupações, além de, sobretudo,
refletir sobre o que aprendemos.
— E as novidades? — perguntou Regina.
— Calma! — disse a Avaliação, com um sorriso iluminado como

um espelho ao sol. — Não se preocupem, chegará o momento.
Entretanto, sempre que precisarem de mim, basta pegarem um
"espelhinho" e eu estarei de alguma forma com vocês.

22
EM OUTRAS
PALAVRAS…
1. Avaliação é resposta. O rumo que ela deve tomar depende das preocupações
que ela deve responder.
2. São vários os interessados na avaliação em relação a um programa, e como cada

um apresenta preocupações diferentes, cada um tem perguntas bem especiais
para serem respondidas pela avaliação.
2.1. O
coordenador necessita de informações que possam ajudá-lo a:
'' acertar na escolha de objetivos (o que buscar?);
'' assegurar a melhor estrutura para os programas no

que diz respeito a condições materiais e humanas
necessárias (como alcançar os objetivos?);
'' melhor encaminhar o processo/ações

(como acertar o melhor caminho?);
'' acompanhar os resultados (os efeitos do programa

em seus destinatários) durante, ao final e, talvez, no
período posterior ao percurso da criança/jovem pelo
programa (em que medida os objetivos foram alcançados?
Que outros resultados o programa produziu?).
2.2. O
educador que assiste à criança ou ao jovem em seu dia a
dia procura informações bem detalhadas para poder:
'' ajudar a criança/jovem a perceber suas conquistas

e seus retrocessos, orientá-lo com segurança e
acertar na indicação de atividades cabíveis;
23
'' face aos resultados alcançados, repensar ações a médio

e longo prazos, estabelecendo ligações eficientes
com o coordenador/dirigente e com os colegas.
2.3. As preocupações dos destinatários (crianças/jovens) dizem

respeito, basicamente, à satisfação de suas próprias
necessidades.
2.4. As preocupações da comunidade são no sentido de cobrar

informações do programa para poder:
'' melhor colaborar com as ações do programa no que

for necessário;
'' participar nas decisões a médio e longo prazos em relação

à problemática da criança/jovem em risco/necessidade.
2.5. Q
uem financia o programa quer assegurar-se de que
o dinheiro público está sendo bem aplicado. Indaga,
procurando informações sobre os benefícios alcançados
pelo programa, de preferência em comparação aos custos.
3. De um modo geral, todas essas preocupações que exigem respostas de uma
avaliação vêm de três grupos de interessados:
A. aqueles que têm poder de decisão sobre o programa ou

suas partes;
B. aqueles fora do programa que influem, direta ou indiretamente,

na formulação de políticas relacionadas a ele;
C. a
queles que formam o "corpo" do programa, que vivem e
dinamizam seu cotidiano.
4. É difícil responder a todos esses interessados num só estudo avaliativo. Na prá-

tica, então, uma avaliação tende a definir o alcance de seu trabalho, colocando
como seu propósito a satisfação da necessidade de um ou alguns desses grupos
de interessados.

24
5. Delineia-se, então, o trabalho de uma determinada avaliação em função desse

propósito, e isso constitui a abordagem ou rumo que a avaliação toma para
alcançar aquele propósito.
6. Neste sentido, pode-se falar de uma variedade de abordagens ou rumos que

uma avaliação possivelmente seguirá.
7. N
as abordagens "voltadas para os objetivos", verifica-se o alcance dos objeti-
vos do programa ou dos seus componentes. Os interessados, no caso, seriam
o coordenador, o educador, o financiador ou uma combinação (grupo A: quem
decide sobre o programa e seus componentes).
8. N
as abordagens "voltadas para o gerenciamento", buscam-se informações para
facilitar o trabalho do gerente do programa, isto é, a análise do contexto do
programa (para definir seu rumo e seus recursos) e o julgamento de seus pro-
cessos e produtos (para guiar sua implementação e aperfeiçoamento). Neste
caso, os interessados atendidos são, principalmente, os dirigentes (grupo A:
quem decide sobre o programa).
9. Nas abordagens "voltadas para o consumidor (usuário/destinatário)", o propó-

sito seria verificar os benefícios alcançados pelo programa, seja para seus des-
tinatários imediatos, seja para a sociedade em geral. É prestar contas no sen-
tido de sua dívida social. Os interessados nessa abordagem seriam os próprios
destinatários (meninos) e a comunidade interessada neles: pais, igreja, sistema
de saúde, polícia, grupos de movimentos em favor da criança e de seus direitos,
órgãos sociais internacionais e nacionais (do tipo UNICEF), os financiadores dos
esforços e pesquisas sobre crianças e jovens etc. (grupo B: quem cobra e influi
na formulação de políticas sobre o programa).
10. Nas abordagens "voltadas para os participantes", a avaliação responde aos di-
versos anseios dos próprios participantes do programa, para servi-los em seu
trabalho cotidiano. Os interessados são os educadores e as pessoas de apoio
constante ou periódico que se envolvem no programa (grupo C: o corpo que
vive e dinamiza o cotidiano do programa).
25
11. Merece destaque uma das abordagens voltadas para os participantes. Ela é
mais conhecida como "abordagem responsiva" e procura, em função da na-
tureza múltipla e divergente de seus interessados, um caminho mais flexível
que as demais abordagens. Pode ser aliada a métodos naturalísticos que pri-
vilegiam uma maior abertura e definições ao longo da caminhada, muito dife-
rente das outras abordagens que trabalham com delineamentos preordenados,
isto é, com estruturas previamente definidas. Por isso, a abordagem respon-
siva consegue acolher uma diversidade de interessados, enquanto as outras
ficam limitadas nesse sentido. No caso de programas sociais, em especial, a
abordagem responsiva é de inegável valor, e a mais apropriada. Ela tem, sobre-
tudo, a vantagem de possibilitar (por sua flexibilidade) a integração da busca
de algumas respostas de modo preordenado em seu desenvolvimento, se for
necessário.
12. O envolvimento de todos os interessados no programa é fundamental para seu

aperfeiçoamento, na medida em que isso significa o fortalecimento e a auto-
determinação de cada um.
Referências bibliográficas:
1. Fetterman, D. M. (1996). Empowerment Evaluation: An Introduction to Theory and Practice. In:

Fetterman, D.M., Kaftarian, S.J., e Wandersman, A. (Ed.). Empowerment Evaluation — knowledge
and Tools for self-Assessment & Accountability. Thousand Oaks, CA: Sage Publications, Inc.
2. Fetterman, D. M. e Wandersman, A. (2005). Empowerment Evaluation Principles in Practice. New
York: The Guilford Press.
3. Guba, E. G. e Lincoln, Y. S. (1981). Effective Evaluation. San Francisco, Jossey-Bass Publishers.
4. Mertens, D.M. (2003). The Inclusive View of Evaluation: Visions from the New Millennium.
In: Donaldson, S.I. and Scriven, M. (ed). Evaluation of Social Programs and Problems.
NJ: Lawrence Erlbaum Associates.
5. Stake, R.E. (1975). Evaluating the arts in education: a responsive approach. Columbus, OH:
Charles E. Merril.
6. Worthen, B.R, Sanders, J.R., Fitzpatrick, J.L. (1997) Program Evaluation: Alternative
Approaches and Practical Guidelines. White Plains, NY, Longman, Inc.
7. Worthen, B.R; Sanders, J.R; Fitzpatrick, J.L. (2004) Trad. Dinah de Abreu Azevedo. Avaliação de
Programas/Concepções e Práticas. Edição em Língua Portuguesa. São Paulo: Editora Gente.
8. Scriven M. (1974). Standards for the evaluation of educational programs and products. In G.D.Borich
(Ed.), Evaluating educational programs and products. Englewood Cliffs, NJ: Educational Technology.

26
EXERCÍCIOS
Para autoavaliação da aprendizagem
Avalie sua aprendizagem respondendo os exercícios aqui propostos.
'' Marque suas respostas na página seguinte aos exercícios.
Responda os seguintes itens com base no que você estudou neste caderno, mas
também aproveitando sua própria experiência. Se você não entender bem alguns
dos termos aqui utilizados, não se preocupe. Nos próximos cadernos, eles vão ser
discutidos.
Exercício 1
Responda se você concorda (C) ou discorda (D) com as seguintes afirmações:
1. Uma boa avaliação é aquela que enfatiza tanto o mérito do programa quanto
sua relevância.
(C) (D)
2. Abordagem é o rumo que a avaliação vai seguir.
(C) (D)
3. Os educadores de um programa são os seus destinatários.
(C) (D)
27
4. O propósito de uma avaliação independe das preocupações dos interessados.
(C) (D)
5. A consciência do que se quer alcançar é uma das características mais

relevantes da abordagem voltada para os objetivos.
(C) (D)
6. A abordagem voltada para os participantes responde aos educadores e

crianças do programa.
(C) (D)
7. Participação é a característica mais relevante da abordagem voltada para o

gerenciamento do programa.
(C) (D)
8. A preocupação em acompanhar o crescimento dos meninos sugere uma

abordagem voltada para os participantes.
(C) (D)
9. Quando a abordagem é orientada pelas preocupações que surgem no dia a dia

do programa, se diz que ela é responsiva.
(C) (D)
10. A abordagem responsiva privilegia os métodos preordenados.
(C) (D)

28
Exercício 2
Relacione a coluna da esquerda com a da direita, colocando as letras dentro dos parênteses.
A. Abordagem de avaliação Característica
1. ( ) Voltada para os objetivos ( a) Ajuda o planejamento e o

aperfeiçoamento do programa.
2. ( ) Voltada para os participantes
(b) Verifica os benefícios sociais.
3. ( ) Voltada para o destinatário
(c) Verifica o alcance dos
4. ( ) Voltada para o gerenciamento resultados esperados.
(d) Responde aos interesses dos

educadores e dos meninos.
B. Conceito Na prática
1. ( ) Avaliação preordenada (a) Verifica as transformações

provocadas pelo programa.
2. ( ) Avaliação responsiva
(b) Trabalha com o plano
3. ( ) Julgamento de mérito estruturado desde o início.
4. ( ) Julgamento de relevância (c) Verifica a qualidade do

relacionamento educador/criança.
(d) Prefere trabalhar com

métodos naturalísticos.
29
Exercício 3
Combine as características da abordagem responsiva com suas justificativas mais específicas,

escrevendo, dentro dos parênteses, a letra correspondente.
Característica Justificativa
1. ( ) Democrática porque (a) Se adapta às diversas preocupações

da maioria dos interessados.
2. ( ) Comprometida porque
(b) Cada um tem sua contribuição
3. ( ) Participativa porque no processo avaliativo.
4. ( ) Naturalística porque (c) Responde com a mesma ênfase

às preocupações de todos os
5. ( ) Flexível porque interessados envolvidos no processo.
(d) Privilegia a realidade que surge

no dia a dia do programa.
(e) Se envolve com a problemática

social em pauta.

30
Folha de respostas
Exercício 1 Exercício 2 Exercício 3
1. (C) — (D) A. 1. ( ) 1. ( )
2. (C) — (D) 2. ( ) 2. ( )
3. (C) — (D) 3. ( ) 3. ( )
4. (C) — (D) 4. ( ) 4. ( )
5. (C) — (D) 5. ( )
6. (C) — (D) B. 1. ( )
7. (C) — (D) 2. ( )
8. (C) — (D) 3. ( )
9. (C) — (D) 4. ( )
10. (C) — (D)
31
Gabarito
Exercício 1 Exercício 2 Exercício 3
1. (C) A. 1. (c) 1. (c)
2. (C) 2. (d) 2. (e)
3. (D) 3. (b) 3. (b)
4. (D) 4. (a) 4. (d)
5. (C) 5. (a)
6. (C) B. 1. (b)
7. (D) 2. (d)
8. (C) 3. (c)
9. (C) 4. (a)
10. (D)
}}
Estas são as respostas que os autores consideram as mais adequadas.
Se você discorda de algumas delas, justifique.

32
Realização Apoio

APSE Caderno 2

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

APSE Caderno 2

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAÇÃO DE

Thereza Penna Firme

Thereza Penna Firme

Penna Firme, Thereza

1. Avaliação de programas de ação social

Índices para catálogo sistemático:

'' Qual é o tipo de abordagem que

'' A quais desses interessados a

'' Quais são as características de uma

→ Avaliação de programas socioeducacionais

Thereza Penna Firme

Avaliação de programas socioeducacionais ←

'' Avaliação no programa é como um espelho, no qual todos têm a

'' Tal como um espelho, a avaliação permite que as pessoas se ava-

'' Assim como no caso do espelho, a avaliação no programa deve

'' O reflexo da realidade no espelho, que é a Avaliação, possibilita

'' Avaliação de um programa (ou quaisquer outros focos de atenção,

→ Avaliação de programas socioeducacionais

'' Embora a avaliação possa enfocar exclusivamente o mérito ou a

'' A avaliação implica numa coleta organizada de informações so-

'' As informações que a avaliação coleta variam de acordo com os

'' A avaliação pode e deve ser democrática, atendendo às necessi-

'' A avaliação é uma tarefa desafiadora, mas se torna mais fácil

'' A avaliação assegura que todos tenham seu espaço de poder.

'' É destacada a diferença entre mérito e relevância de um pro-

Avaliação de programas socioeducacionais ←

— Ótimo! Gostei da ideia. Vocês, com certeza, são parte desta

— Que tal o Jorge? — disse Regina.

Jorge é um funcionário do banco e, nas horas vagas, costuma visitar o programa

— Excelente! — disse Paulo. — E que é que vocês acham de cha-

— Que Claudina? Aquela que está fazendo uma pesquisa sobre

— É essa mesmo. Inclusive, ela conta com uma pequena verba da

A equipe foi formada, pelo menos para começar.

→ Avaliação de programas socioeducacionais

Avaliação de programas socioeducacionais ←

QUE RUMO TOMAR?

— Como é que vocês vão avaliar?

— Desculpem — disse Claudina —, eu acho que o mais importan-

— Concordo totalmente — disse Ricardo. — Mas antes, eu gosta-

— Isso! — disse Paulo. — É muito importante acompanhar o cres-

— Em tudo? Como assim? — questionou Jorge.

— Tudo! Por exemplo: saúde, capacidade de trabalhar e ganhar,

— Eu sei, Paulo. Mas um programa de recursos como este não

→ Avaliação de programas socioeducacionais

— Mas veja, Ricardo, de nada vale ter os recursos se não souber-

— Certo, Jorge. Você está justamente tocando num ponto crítico,

Neste ponto da discussão, Regina se manifestou.

— Gente, confesso que estou totalmente confusa. Afinal de con-

De repente, no meio desta balbúrdia, a equipe escutou novamente aquela "voz

— Parabéns pela tentativa! Vocês já estão no ponto certo de par-

— Estas são as pessoas que têm interesse por esta avaliação.

Avaliação de programas socioeducacionais ←

→ Avaliação de programas socioeducacionais

Regina deu um grito.

— O que é isso? A cara deles é um ponto de interrogação!

— O que serão estas interrogações em volta de um espelho?

— Calma — disse Paulo, sorrindo. — Está lembrada, Regina, de

— Lógico! — disse Regina. — As interrogações também são liga-

— Então — falou Claudina —, ela é a resposta para estas pergun-

Nisso, Jorge começou a reconhecer o rosto de alguns personagens em cada

— Vejam só! — gritou ele.

E logo Ricardo se identificou:

2. São vários os interessados na avaliação em relação a um programa, e como cada

2.3. As preocupações dos destinatários (crianças/jovens) dizem

2.4. As preocupações da comunidade são no sentido de cobrar

A. aqueles que têm poder de decisão sobre o programa ou