APSE Caderno 3

AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
Uma alternativa naturalística
ENXERGANDO O ALVO:
COMO QUESTIONAR?
Thereza Penna Firme

Juan Antonio Tijiboy
Vathsala lyengar Stone
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
ENXERGANDO O ALVO:
COMO QUESTIONAR?
Thereza Penna Firme

Dados Internacionais de Catalogação na Publicação (CIP)
(Câmara Brasileira do Livro, SP, Brasil)
Penna Firme, Thereza

Avaliação de programas socioeducacionais [livro
eletrônico] : como enfocar e pôr em prática : uma
alternativa naturalística / Thereza Penna Firme,
Vathsala Iyengar Stone, Juan Antonio Tijiboy ;
[ilustrações João Henrique Belo Evangelista]. --
1. ed. -- São Paulo : Fundação Itaú para a
Educação e Cultura, 2021. -- (Avaliação de
Programas Socioeducacionais : como enfocar
e pôr em prática ; 8)
PDF
Obra em 8 v.
ISBN 978-65-86771-06-0
1. Avaliação de programas de ação social

2. Educação 3. Educação - Finalidades e objetivos
4. Programas sociais - Avaliação 5. Sociologia
educacional I. Stone, Vathsala Iyengar. II. Tijiboy,
Juan Antonio. III. Evangelista, João Henrique Belo.
IV. Título. Série.
21-70689 CDD-370.1934
Índices para catálogo sistemático:

1. Programas sociais : Avaliação : Sociologia educacional 370.1934
Maria Alice Ferreira — Bibliotecária — CRB-8/7964
Realização Apoio
→ Enxergando o alvo: como questionar? ←
QUESTÕES
ORIENTADORAS
PARA A LEITURA
'' Qual é o ponto de partida da
responsabilidade da avaliação? Como
se formula uma questão avaliativa?
'' Quais são os elementos de uma boa

questão avaliativa? Qual é o problema
das questões abstratas?
'' Qual é o processo de identificação das questões

avaliativas? O que envolve esse processo?
Escreva no espaço abaixo quais expectativas pessoais de aprendizagem você pre-

tende alcançar, por meio da leitura deste trecho.
→ Avaliação de programas socioeducacionais
5
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
A CONVERSA CONTINUA:
QUE RUMO TOMAR?
Thereza Penna Firme

Avaliação de programas socioeducacionais ←

6
NO CADERNO
ANTERIOR…
Paulo e Regina conversam com o coordenador, Ricardo, e falam de seu encontro
com a Avaliação. Entusiasmado com a ideia de avaliar seu programa, Ricardo forma
uma equipe, incluindo Paulo e Regina. Eles se reúnem e, logo, sentem dificuldades
em dar o primeiro passo, pois não conseguem ver o rumo a tomar. Neste impasse,
mais uma vez, a Avaliação aparece e conduz a equipe a uma mesa redonda. Lá vá-
rias "interrogações" estavam sentadas enquanto procuravam respostas no espe-
lho, que era o tampo da mesa. A equipe, com a ajuda da Avaliação, foi identificando
várias pessoas conhecidas naquelas interrogações. Eram os interessados no pro-
grama. A equipe aprende que a Avaliação é a resposta a todos esses interessados
e enxerga o rumo quando ela deixa a seguinte mensagem:
1. A avaliação é resposta. O rumo que ela deve tomar depende das preocupações
que deve responder.
2. São vários os interessados na avaliação de um programa. Como suas preocupa-

ções são diferentes, cada um tem perguntas bem específicas a serem respondidas.
2.1 O coordenador necessita de informações que possam ajudá-lo a:
'' acertar na escolha de objetivos (o que buscar?);
'' assegurar a melhor estrutura para os programas, no

que diz respeito a condições materiais e humanas
necessárias (como alcançar os objetivos?);
'' melhor encaminhar o processo/ações

(como escolher o melhor caminho?);
'' acompanhar os resultados (efeitos do programa em seus

destinatários) durante, ao final e, talvez, no período
posterior ao percurso da criança/jovem pelo programa
7
(em que medida os objetivos foram alcançados?

Quais outros resultados o programa produziu?).
2.2 O educador que assiste à criança/ao jovem em seu dia a

dia procura informações bem detalhadas para poder:
'' ajudar a criança/jovem a perceber suas conquistas

e seus retrocessos, orientá-los com segurança e
acertar na indicação de atividades cabíveis;
'' face aos resultados alcançados, ou na medida em

que eles forem se consolidando, repensar as ações
em médio e longo prazos, e estabelecer ligações
eficientes com o coordenador/dirigente e colegas.
2.3 As preocupações dos destinatários (crianças/jovens) dizem res-

peito, basicamente, à satisfação de suas próprias necessidades.
2.4 As preocupações da comunidade são no sentido de cobrar

informações do programa para poder:
'' melhor colaborar com as ações do programa, no que for

necessário;
'' participar nas decisões em médio e longo prazos em relação

à problemática da criança/jovem em risco/necessidade.
2.5 Quem financia o programa quer assegurar-se de que

o dinheiro público esteja sendo bem aplicado. Indaga,
procurando informações sobre os benefícios alcançados pelo
programa, de preferência em comparação com os custos.
3. De um modo geral, todas as preocupações que exigem respostas de uma avalia-

ção vêm de três grupos de interessados:

8
'' A: aqueles que têm poder de decisão

sobre o programa ou suas partes;
'' B: aqueles fora do programa que influem, direta ou

indiretamente, na formulação de políticas em relação a ele;
'' C: aqueles que formam o "corpo" do programa,

que vivem e dinamizam seu cotidiano.
4. É difícil responder a todos esses interessados num só estudo avaliativo. Na prá-

tica, então, uma avaliação tende a definir o alcance de seu trabalho, colocando
como seu propósito a satisfação da necessidade de um ou alguns desses grupos
de interessados.
5. Delineia-se assim o trabalho de uma determinada avaliação, em função desse

propósito. Isso constitui a abordagem ou o rumo que a avaliação toma para alcan-
çar aquele propósito.
6. Neste sentido, pode-se falar de uma variedade de abordagens ou rumos que,

possivelmente, uma avaliação pode seguir.
7. Nas abordagens "voltadas para os objetivos", verifica-se o alcance dos objetivos

do programa ou de seus componentes. Os interessados, no caso, seriam o coor-
denador, o educador, o financiador ou uma combinação dos três (grupo A: quem
decide sobre o programa/componentes).
8. Nas abordagens "voltadas para o gerenciamento", buscam-se informações para

facilitar o trabalho do gerente do programa, isto é, a análise do contexto do pro-
grama (para definir seu rumo e recursos) e o julgamento de seus processos e pro-
dutos (para guiar seus processos de implementação e aperfeiçoamento). Neste
caso, os interessados atendidos são principalmente os dirigentes (grupo A: quem
decide sobre o programa e seus componentes).
9. Nas abordagens "voltadas para o consumidor", o propósito é verificar os be-

nefícios alcançados pelo programa, seja para seus destinatários imediatos, seja
para a sociedade em geral. É prestar contas no sentido de sua dívida social. Os
interessados nessa abordagem seriam os próprios destinatários (meninos/jovens)
9
e a comunidade em torno deles: pais, igreja, sistema de saúde, policiais, grupos

de movimentos em favor da criança e de seus direitos, órgãos sociais nacionais
e internacionais (como o UNICEF), os financiadores dos esforços, quem pesquisa
sobre crianças e jovens, entre outros (grupo B: quem cobra e influi na formulação
de políticas sobre o programa).
10. Nas abordagens "voltadas para os participantes", a avaliação responde aos di-
versos anseios dos próprios integrantes do programa, para servi-los em seu traba-
lho cotidiano. Os interessados são os educadores e as pessoas de apoio constante
ou periódico que se envolvem no projeto (grupo C: no projeto que vive e dinamiza
o cotidiano do programa).
11. Merece destaque uma das abordagens voltadas para os participantes, mais
conhecida como "abordagem responsiva". Ela procura, em função da natureza
múltipla e divergente de seus interessados, um caminho mais flexível que as de-
mais abordagens. Pode ser aliada a métodos naturalísticos que privilegiam uma
abertura a definições ao longo da caminhada, muito diferente das outras abor-
dagens, que trabalham com delineamentos preordenados (isto é, com estruturas
previamente definidas). Por isso, a abordagem responsiva consegue acolher uma
diversidade de interessados, enquanto as outras ficam limitadas nesse sentido.
No caso de programas sociais, em especial, a abordagem responsiva é de inegável
valor e a mais apropriada. Ela tem, sobretudo, a vantagem de possibilitar, por sua
flexibilidade, a integração no seu desenvolvimento da busca de algumas respostas,
de modo preordenado, se for necessário.
12. O envolvimento de todos os interessados no programa é fundamental para um

aperfeiçoamento, na medida em que isso significa o fortalecimento e a autodeter-
minação de cada um.

10
11
NESTE CADERNO…
Entusiasmada com os ensinamentos da Avaliação, a equipe saiu à procura das pre-
ocupações dos vários interessados. Nisso, levaram duas semanas. Cada um traba-
lhou do seu jeito, e onde se sentia mais à vontade. E foi assim que conseguiram
abordar todos os tipos de interesses.
Claudina foi direto para a praça, e não perdeu a oportunidade de puxar um papo
sobre o próprio programa e seus destinatários, ora com as meninas e os meninos
da praça, ora com policiais, ora com vendedores que ali estavam, ora com fregue-
ses dos meninos e jovens que trabalhavam. Com novas "pistas" coletadas nessas
conversas, ela foi atrás de outras preocupações, visitando outros lugares e entre-
vistando pessoas: familiares em suas casas, professores na escola, trabalhadores
de outros programas alternativos, centro de saúde, associações de bairro, a igreja,
estabelecimentos comerciais.
Enquanto isso, Paulo e Regina concentraram seus esforços dentro do programa.

Aproveitaram tanto os momentos mais descontraídos (de almoço e conversa),
quanto os de trabalho e de maior atenção com os meninos e as meninas para per-
ceber, em suas queixas, suas preocupações, dúvidas, dificuldades, medos e espe-
ranças. Além disso, ficaram sempre atentos às reuniões e às discussões de grupo,
para registrar não só o que mais preocupava os colegas e o diretor do progra-
ma, como também o que estava relacionado ao interesse das suas organizações
externas.
Jorge, por seu lado, foi buscar informações necessárias a quem toma decisões acer-
ca do programa. Obviamente, Ricardo era um deles, e por isso se sentiu honrado
em colaborar. Foi com ele que Jorge falou primeiro sobre preocupações e também
sobre seus valores, ou seja, o que para ele era importante em termos de qualidade
do programa. Ricardo pôs à disposição de Jorge o arquivo do programa e outros
documentos de agências e organizações, inclusive as publicações do UNICEF que
eles tinham à mão. Jorge entrevistou também o pessoal do Movimento Nacional
de Meninos e Meninas de Rua e de outros grupos de defesa dos direitos da criança
e do adolescente, dirigentes e profissionais em cargos de decisão e formulação de
políticas, funcionários do Juizado da Infância e da Adolescência, alguns políticos e
profissionais de imprensa.

12
Agora, depois de duas semanas, a equipe está de volta ao programa, trazendo

suas anotações, reflexões e novidades. Com muita animação, falando todos ao
mesmo tempo, começaram a contar como foi a experiência de levantar as preo-
cupações. Eles tinham que apresentá-las e selecionar as que fossem prioritárias.
De repente, Ricardo teve uma ideia da dinâmica de trabalho para garantir que to-
dos iriam tomar conhecimento de tudo:
— Que tal, gente, se cada um for pregando nas paredes em vol-

ta as preocupações que conseguiu captar em grandes folhas de
papel?
— Ótimo — disseram todos.
Em silêncio, cada um foi pendurando seu material, e logo ficaram cercados de

"preocupações". Era como se estivessem mergulhados num riquíssimo contexto,
em sintonia com o pensamento e as expectativas de toda aquela gente.
Seguindo o movimento de Ricardo, todos se sentaram em pontos estratégicos, de

tal modo que podiam ler tudo simultaneamente. Regina, porém, não resistiu àque-
le silêncio e gritou, apontando para a parede:
— Vejam só o que os meninos disseram a Claudina na praça. É a

mesma coisa que nós vimos no programa, não é, Paulo?
1. "Eu tô precisando trabalhar e arrumar dinheiro pra

comer, comprar roupa e ter um canto pra dormir".
2. " Quando eu for grande, eu quero ser polícia feminina e

ajudar as meninas e os meninos que estão na rua".
3. " Eu já não quero mais ser engraxate, eu quero ter um

emprego fixo".
4. "Eu não quero sair do Programa porque na rua e lá

na minha casa os maiores batem em mim".
13
— Isso mesmo, Regina — disse Claudina. — Sabe que eu nunca

pensei que os meninos contassem tanta coisa com tanta facilida-
de? Foi só chegar perto e me dispor a ouvi-los.
— E com quem mais você falou, Claudina? — perguntou Ricardo,

avançando a discussão.
Claudina foi então destacando, na sua longa listagem, algumas preocupações que
lhe chamaram a atenção. E a equipe ficou olhando e lendo com seriedade profissional.
Mãe de menino:
5. "Eu tenho fé em Deus que o meu menino um dia volta pra casa; ele
foi arrumar dinheiro na rua e não voltou mais. Quem sabe este
programa de vocês vai trazer ele de volta?".
Gerente de loja:
6. "Trabalho não falta pra esses meninos. Mas eu não posso bo-
tar qualquer um aqui dentro. Se este programa tiver quem
acompanhe…".
Professora da escola:
7. "O problema é que esses meninos, quando conseguem vir à esco-

la, não permanecem, vão logo embora. Não sei como segurá-los.
Fico admirada como vocês conseguem fazer com que eles fiquem
no programa. Se vocês pudessem compartilhar conosco essa ex-
periência, seria interessante!".
Policial:
8. "Eu tenho é pena desses meninos. Não quero prendê-los por va-
diagem ou pobreza, sinto que é injusto. Mas seria bom que vocês,
neste programa, conseguissem caminhos para que eles largas-
sem a rua".

14
Enfermeira do posto de saúde:
9. "É incrível o que eu vejo aqui. São muitos meninos e até meninas
que chegam para a emergência espancados, atropelados, droga-
dos, esfaqueados ou baleados. E nem me fale em doenças, apa-
rece de tudo. São vítimas da violência. Acredito que estes pro-
gramas podem dar a eles segurança e proteção e, quem sabe,
educação para a saúde".
O padre na igreja:
10. "Eu me preocupo com o presente e com o futuro desses meninos.

Eles precisam de uma formação moral e espiritual que dê signifi-
cado para a vida deles. Seja quem for que estiver com eles precisa
assegurar o desenvolvimento desses valores mais altos".
Uma cidadã da comunidade:
11. "Eu tenho muita pena desses meninos e meninas. São muitos
nesta cidade. Eu queria que vocês conseguissem um casarão
onde eles pudessem brincar, trabalhar, plantar, fazer crochê
e até ter pessoas com quem falar. E se puder estudar, melhor
ainda".
— É incrível! — disse Ricardo. — Tantas expectativas com relação

ao programa! Como dar conta de toda esta cobrança? E este pes-
soal tem razão! Mas o problema para nós está se agravando. Nós
já perdemos o controle da situação.
— Eu concordo — falou Jorge —, foi isso mesmo que eu senti nas

minhas andanças. Vejam só o que eu tenho aqui.
E Jorge foi lendo e sintetizando:
— Conversei com Ricardo e com dirigentes de outros programas,

e as preocupações deles foram muito semelhantes.
15
12. "Há muitas necessidades que os programas não estão satisfa-

zendo. E, mais ainda, essas necessidades estão mudando cons-
tantemente. Pior, não dispomos de informações sobre a situação.
Não temos sequer ideia de quantos meninos estão por aí, de
onde vêm, qual a história deles etc."
13. "Não estamos seguros de estarmos acertando nossos caminhos,

não sabemos se as estratégias que usamos estão provocando re-
sultados nos meninos e quais resultados são esses".
14. "A questão dos recursos é outra preocupação séria. A verba que
temos mal dá para a metade do que temos para fazer. O pior é
que nem sabemos prever quanto vamos precisar!".
Neste ponto, Jorge comentou com Ricardo:
— Engraçado, enquanto os programas vieram com tantas preo-

cupações por não darem conta do trabalho que há por fazer, sabe
o que a imprensa indagou?
15. "Com essas mudanças no plano legal da nova Constituição e do

Estatuto da Criança e do Adolescente, quais são as novas dimen-
sões em que os programas estão pensando expandir?".
— Interessante como essa colocação da imprensa empurra a gen-

te para novas frentes, não é, Jorge?
— Interessante sim, Ricardo — continuou Jorge. — Agora, escute

o que disse o pessoal dos movimentos de luta e defesa em favor
da criança e do jovem:
16. "Que ações estão acontecendo no programa para que o menino e

a menina vivam seus direitos de cidadania?".
— Isso bate com as projeções da imprensa — comentou Paulo.
— É verdade. São altas expectativas em relação a nós — conti-

nuou Jorge —, vejam agora o que disse o juiz:

16
17. "Nós, juízes, estamos preocupados em assegurar o cumprimento

pleno da nova lei sobre a criança e o adolescente, que é o Estatuto.
A minha esperança está na força desses programas alternativos,
nas mudanças institucionais e nos movimentos de luta e defesa
em favor da criança e do jovem".
— Que força tem essa declaração! — disse Claudina. — Mas Jorge,

você já pensou que responsabilidade a nossa, para responder a
tudo isso numa avaliação? Além do mais, isso exige muitos recur-
sos! Quem vai nos dar todo esse dinheiro?
— Pois é — disse Jorge —, eu entendo o que você diz. Mas, sabe,

Claudina, eu conversei também com alguns financiadores. Sabe
o que todos estão sentindo? Que não têm dados que mostrem se
este ou outros programas merecem ser apoiados e por quê.
— Como assim? — perguntou Paulo.
— No meu entender — disse Jorge —, o que eles estão sentindo é

falta de avaliações explicando como os recursos foram aplicados,
e quais resultados foram obtidos com isso.
— É justo — concordaram todos —, prestar contas é coisa séria.

Neste instante, para fechar com chave de ouro aqueles depoi-
mentos, Paulo e Regina pediram a palavra. Eles apontaram para
as preocupações de seus colegas participantes do programa, que
ficaram assim organizadas:
18. "Que Deus me ajude a enxergar para onde estou levando esses
meninos. Parece que eles precisam de tanta coisa ao mesmo
tempo, e eu não sei o que é mais importante!".
19. "Ainda não consegui descobrir se os meninos estão mudando e,

se estão, não sei em quê!".
20."Há alguma coisa que incomoda no clima deste programa. Eu não

sei se é falta de mais atividades para os meninos ou falta de en-
tendimento entre nós, educadores. Eu só sinto que as coisas não
estão bem articuladas".
17
21. "Nós sentimos falta de informação neste programa. Ninguém

sabe dizer quantos meninos estamos atendendo, quantos há por
aí que não chegam aqui. O pior é que todo mundo nos pergunta
essas coisas e não sabemos responder".
A esta altura, Ricardo já estava em pé, pensativo (como que perplexo) numa encru-
zilhada. Só de pensar em tantas preocupações, por parte de tanta gente, ele ficou
em dúvida. Será que uma avaliação consegue satisfazer toda essa gente? Logo,
ele foi lembrando a última mensagem que a Avaliação tinha deixado. O que vinha
agora era a seleção de preocupações por prioridade. Mas como? Quais critérios
adotar? Urgência? Viabilidade? Gravidade do problema? Olhou para a equipe:
— E agora? O que vamos responder em nossa avaliação?
Aqui começou uma importante discussão sobre o que era prioritário. Não foi fácil,
mas foi gratificante. Entenderam que, apesar da importância de todas as preo-
cupações, algumas eram mais urgentes, precisavam de soluções em curto prazo
— como aquelas que se referiam ao processo de atendimento — e não podiam ser
adiadas; outras, embora não tão urgentes, se relacionavam com informações bá-
sicas para guiar o programa, tal como uma análise da situação do menino de rua;
outras, ainda, demandavam atenção por serem preocupações constantes da maio-
ria dos interessados, como as que se referem ao impacto do programa (ou seja:
seus efeitos). Havia também outras, importantes do ponto de vista da captação de
recursos, merecendo especial prioridade.
O próximo passo era a formulação das "questões avaliativas", que nascem das pre-
ocupações. Nisso, eles se atrapalharam. Adiaram a discussão e, na sessão seguinte,
avançaram muito pouco. A equipe sentiu que precisava de ajuda profissional. Era
a hora do espelhinho…
Num instante, chegou a ajuda. Era a Avaliação. Ela foi logo olhando aquela pa-
pelada. Eles haviam formulado questões a partir das preocupações, procurando
respeitar aquelas prioridades de resposta. Ela examinou uma das questões e logo
percebeu o que estava acontecendo. Com um sorriso que tranquilizou a todos,
disse:
— Ah! Eu já imagino o que vocês estão sentindo! Mas quem

sabe vocês me contam o que está incomodando. Eu quero es-
cutar primeiro.

18
— Sei lá — disse Ricardo —, parece que essas questões não são

o que eu estava esperando. Tenho a impressão de que, com elas,
a gente não chega a nada! Quer dizer, não vamos conseguir uma
resposta que fale de mérito ou de relevância, tal como você nos
recomendou.
— Há alguma coisa faltando — disse Jorge.
— Como assim? — perguntou a Avaliação.
— Pois é — disse Claudina —, eu lembro de ter escutado você falar

que nossa responsabilidade é buscar informações. Eu não enten-
do como essas questões poderiam me orientar para isso!
— Olhe, por exemplo, esta questão — disse Paulo, pegando uma

das tiras de papel nas quais eles haviam escrito suas questões:
"como devemos desenvolver atividades no programa?".
E Paulo prossegue:
— A resposta a esta pergunta vai servir para quê? Por que o inte-
ressado faria uma pergunta dessas? Não é a qualidade das ativi-
dades que interessa mais?
— Ótimo! — disse a Avaliação. — O raciocínio é esse mesmo,

Paulo. Você está vendo que a formulação da questão não está
boa, não é? Sua preocupação aqui é que a questão não conduz
claramente a uma resposta sobre o mérito ou a relevância das
atividades, concorda?
Paulo concordou, entusiasmado.
E prossegue a Avaliação:
— Esta é a primeira característica de uma boa questão avaliati-

va. Levar a uma resposta que expresse um julgamento do mé-
rito ou da relevância. Uma resposta que apenas caracterize um
comportamento, uma atividade ou um programa, sem qualquer
19
julgamento sobre o seu valor, não é a que tem utilidade para um

interessado na avaliação. Que tal melhorar essa pergunta?
Jorge tenta:
— "Estamos ou não estamos desenvolvendo atividades de boa

qualidade no programa?". Seria esta?
— Melhorou bastante — disse a Avaliação —, mas ainda não é a

melhor forma. Sabem por quê? Com essa questão, você vai aca-
bar procurando a informação sobre vocês mesmos, como educa-
dores, focalizando apenas sua atuação no desenvolvimento das
atividades, quando, na verdade, o foco parece ser "as atividades".
— Entendi — disse Regina. — Que tal essa nova forma: "As ativi-
dades desenvolvidas no programa são de boa qualidade?".
— Excelente! — disse a Avaliação —, desse jeito você está garan-

tindo um julgamento sobre as atividades e não sobre quem as
está desenvolvendo. Isso não quer dizer que julgar a atuação do
educador não seja válido, mas aí seria caso de uma outra questão.
Por agora, a intenção da questão parece voltada para a qualidade
das atividades. Assim, com essa nova questão, podemos ir adian-
te. Ela permite um julgamento e aponta para o alvo. Agora, só
mais uma coisa — disse a Avaliação —, essa questão diz respeito
ao julgamento do mérito ou da relevância?
— Mérito — disse Ricardo.
— Tudo bem — disse a Avaliação —, por quê?
— Porque — disse Ricardo — a impressão que me ficou da análise

das preocupações, tanto dos educadores quanto do coordena-
dor, era mais no sentido de julgar a qualidade em si das ativida-
des, como sinal do bom funcionamento do programa. Isso é uma
questão interna sobre o programa, uma questão de mérito. Acho
que, nesse caso, os interessados… o que estão querendo, no fim,
é melhorar seus procedimentos de trabalho.

20
21
— Parabéns, eu estou empolgada com vocês! Agora sim, a ques-

tão está pronta. Deu um pouco de trabalho, mas valeu. Entretanto,
em vez de seguir analisando outras questões que vocês já for-
mularam, estou pensando num outro modo de ajudá-los a con-
solidar isso que já aprenderam. Quer dizer, vou tentar mostrar
mais claramente como nasce uma boa questão de uma ou mais
preocupações.
— Esta é uma excelente ideia — disse Ricardo —, sinto que preci-

samos de mais exemplos.
— Vocês devem ter agrupado as preocupações por prioridades,

certo? Quais foram? — perguntou a Avaliação.
Jorge logo se lembrou, porque haviam discutido muito a respeito, e disse:
— Foram quatro conjuntos. Um que reuniu preocupações que se

referiam a respostas urgentes, outro que se referia àquelas de
interesse constante de muitos, outro àquelas que são fundamen-
tais para outras respostas e, finalmente, preocupações que di-
ziam respeito à captação de recursos.
— Tudo bem — disse a Avaliação —, vamos agora identificar

quais eram os focos principais em alguns desses conjuntos de
preocupações. Por exemplo, no conjunto que vocês chamaram
de "urgente", um dos focos mais nítidos é o "processo de aten-
dimento". As soluções não podem esperar. A questão que já for-
mulamos nasceu desse conjunto. Não precisamos mais falar dela.
Vamos então ao outro, o das preocupações "mais constantes".
Olhando para elas, quais deveriam ser os seus focos principais,
na opinião de vocês?
Depois de algum silêncio para a releitura das preocupações, Paulo falou:

22
— Acho que é o programa como um todo. É uma preocupação da

criança e do jovem, do coordenador, do educador, até da comuni-
dade. Todos querem saber como o programa afetou as crianças
e o jovem. O que está fazendo de bom para o menino e a menina.
— Pronto! — disse a Avaliação —, o foco já está claro. É o próprio

programa. Basta descobrir agora se o interesse é pelo mérito ou
pela relevância.
— Relevância! — gritou Regina, muito vibrante.
Claudina, com igual entusiasmo, manifestou-se:
— Eu já entendi. Deixem-me formular a questão: "o programa

está promovendo impacto no menino?".
— Parabéns! Esta é, de verdade, uma questão avaliativa — disse a

Avaliação. — Os dois elementos para se levar a uma resposta estão
presentes: o foco (o programa) e a base para o juízo de valor (ter ou
não impacto).
Neste ponto culminante, a equipe adquiriu uma certa competência para formular
questões partindo de preocupações. E foi adiante, trabalhando nos outros dois
conjuntos de preocupações e completando os dois anteriores, na presença esti-
mulante da Avaliação.
E aqui está o que produziram. O mais interessante, porém, é que, ao mesmo tempo
em que Regina ia passando as questões para o quadro negro, Paulo ia sublinhando
o foco e Ricardo ia se certificando de que o restante da questão orientava para o
juízo de valor, anotando à parte qual era, em cada questão, o elemento base para
tal juízo. Claudina, entusiasmada, lembrou que só faltava descobrir se se tratava
de mérito ou relevância. E escreveu ao lado de cada questão: M (para mérito) e R
(para relevância).
As observações de Ricardo com relação ao juízo de valor e o provável julgamento

envolvido em cada uma das questões foram acrescentados. Vejam só como ficou:
23

24
Questões avaliativas
1. O
s objetivos estão formulados de maneira suficientemente
clara para orientar o trabalho? (M)
2. A
quantidade de objetivos é adequada do ponto de vista
de sua viabilidade? (M)
3. O programa atende às necessidades da criança, do jovem

e da comunidade? (R)
4. O programa satisfaz as necessidades da comunidade? (R)
5. O
s recursos materiais são de boa qualidade? (M)
6. Os recursos materiais estão facilitando o alcance dos

resultados desejados? (M)
7. O
s educadores são adequadamente qualificados? (M)
8. O
s educadores têm um bom desempenho? (M)
9. Os educadores estão conseguindo mudanças nos meninos? (R)
10. O programa está provocando impacto nos meninos? (R)
11. O processo de atendimento é compatível com o discurso? (M)
12. Há um bom relacionamento entre educadores e crianças no

processo de atendimento? (M)
13. As estratégias de atendimento estão produzindo mudanças? (R)
14. Os resultados alcançados evidenciam transformações? (R)
15. Os resultados produzidos nas crianças/jovens são compatíveis

com suas necessidades? (R)
25
16. Os resultados produzidos são compatíveis com as

necessidades do mercado de trabalho? (R)
17. Há resultados benéficos para a comunidade? (R)
18. Os resultados compensam os gastos? (R)
(Juízos de valor em cada questão)
Q1. F
ormulação clara, suficiente para orientar o trabalho.
Q2. A
dequação quantitativa (nem pouco, nem demais),
para ser viável.
Q3. A
tendimento às necessidades do menino.
Q4. S
atisfação das necessidades da comunidade.
Q5. D
e boa qualidade.
Q6. A
lcance de resultados.
Q7. Q
ualificação adequada.
Q8. B
om desempenho.
Q9. M
udanças alcançadas.
Q10. Impacto no menino.
Q11. C ompatibilidade com o discurso.
Q12. B om relacionamento.
Q13. M udanças produzidas.
Q14. Transformações.
Q15. C ompatibilidade de resultados com necessidades.
Q16. C ompatibilidade de resultados com necessidades
do mercado.
Q17. Resultados benéficos.
Q18. Gastos compensados.
A essa altura, a Avaliação advertiu:
— Embora, de um modo geral, uma questão avaliativa exija um

julgamento de valor (mérito/relevância) de seu foco, há um tipo
de questão que é muito importante numa avaliação e que não
requer julgamento de valor. É a questão que geralmente conduz
à análise de situação ou do contexto. Nesse caso, a resposta seria

26
apenas uma descrição analítica de seu foco. Assim se poderia focalizar o

contexto de um programa na pergunta: "quais as necessidades no con-
texto do programa?". Observem que a resposta seria basicamente uma
análise do contexto, incluindo uma análise da situação dos destinatários
potenciais do programa, suas carências e necessidades, e um perfil das
necessidades e expectativas da comunidade. Tais informações preten-
dem ajudar o programa a garantir a relevância de novas ações no futuro
(criação de novo programa, a expansão ou modificação do existente).
Entretanto, a resposta em si não estaria "julgando a relevância do pro-
grama tal como ele é". Se vocês quisessem julgar, a questão deveria ser:
"os resultados do programa atendem às necessidades do contexto?".
A lição tinha sido ótima e agora a lista estava pronta. Ricardo, entretanto, ainda admirado
diante de tudo aquilo, não se conteve:
— Gente, quantas questões prioritárias! Quer dizer que temos que res-
ponder a tudo isso?
— Sim, se for possível — disse a Avaliação.
— Mas não é viável — disse Ricardo —, nós somos poucos para todo esse
trabalho. Nossa equipe faz muitas outras coisas também!
— Bem, Ricardo, abandonar questões no caminho não pode, não é? —

provocou Paulo.
— Abandonar, não — observou a Avaliação —, mas adiar ou reduzir o al-

cance, sim. Aqui entra a importância da negociação com os interessados.
Isso não é difícil, e por esse processo as questões finais ficam definidas.
No final de toda essa importante tarefa, estavam todos cansados, inclusive a Avaliação.
Porém, todos se sentiam realizados com o sucesso.
Eufórico, Paulo declarou:
— Pronto, gente! Vamos à negociação?
27
EM OUTRAS
PALAVRAS…
1. Avaliação requer responsabilidade de identificar, obter e disseminar as informa-
ções em resposta às preocupações de seus interessados.
2. A responsabilidade específica da avaliação começa com a identificação das

questões avaliativas a responder.
3. A identificação das questões avaliativas é um processo que envolve:
'' coleta das preocupações dos interessados (em conversas, entre-

vistas, reuniões etc.), detectando seus valores sobre a qualidade
do programa (ou outro foco da avaliação), assim como questões
polêmicas que merecem/necessitam ser esclarecidas;
'' uma análise das preocupações, valores e questões levantadas,

além de uma seleção preliminar das prioritárias que precisam ser
respondidas primeiro, com os critérios de viabilidade, urgência e
gravidade do problema;
'' transformação das prioridades selecionadas em questões avalia-

tivas, formuladas de maneira a orientar o trabalho da avaliação;
'' seleção final das questões avaliativas, com base em negociações

com os interessados.
4. A formulação da questão avaliativa é igualmente importante. As duas caracte-

rísticas de uma boa questão avaliativa são:
'' indicar claramente o que se julga, isto é, o foco da avaliação;
'' permitir um juízo de valor acerca desse foco, no sentido de seu

mérito ou sua relevância.

28
5. O "foco" de avaliação, ou o que se julga numa questão avaliativa pode ser o

próprio programa como um todo ou quaisquer componentes/aspectos de sua es-
trutura e dinâmica, tais como:
'' os objetivos do programa;

'' os recursos materiais utilizados;
'' as estratégias usadas;
'' o processo de interação entre educador e criança;
'' os educadores;
'' os resultados do programa;
'' outros.
6. Ainda em relação à questão avaliativa referente ao programa (ou qualquer de

seus aspectos, como foi dito anteriormente), o juízo de valor exigido pode ser
sobre seu mérito (seu valor em si; sua qualidade intrínseca) ou sua relevância
(seu valor externo ou validade para o contexto em que opera).
7. Como exceção à regra geral, algumas questões procuram apenas uma descri-
ção analítica como resposta, em vez de um julgamento em relação ao mérito
ou relevância do programa (ou de seus aspectos). O caso de levantamentos que
auxiliem no planejamento de novas frentes de trabalho de um programa (aná-
lise situacional e avaliação do contexto/análise de necessidades) é um exemplo.
Avaliação do processo que descreve os detalhes (que facilita ou dificulta o fun-
cionamento) é um outro exemplo.
29
EXERCÍCIOS
Para autoavaliação da aprendizagem
Avalie sua aprendizagem respondendo os exercícios aqui propostos.
'' Marque suas respostas na folha da página seguinte aos exercícios.
Responda os seguintes itens com base no que você estudou neste caderno, mas
também aproveitando sua própria experiência. Se você não entender bem alguns
dos termos aqui utilizados, não se preocupe. Mais adiante, nos próximos cadernos,
eles vão ser discutidos.
Exercício 1
Indique se você concorda (C) ou discorda (D) com as afirmações a seguir, basean-
do-se no conteúdo do texto lido:
1. A avalição é responsável por delinear, obter e disseminar

as informações.
(C) (D)
2. A identificação das questões avaliativas é o início da responsabilidade

específica da avaliação.
(C) (D)
3. Uma boa questão avaliativa deve apresentar o foco da avaliação e um juízo de

valor.
(C) (D)

30
4. J uízo de valor é a coisa que se julga.
(C) (D)
5. O
juízo de valor está relacionado ao mérito ou à relevância da coisa julgada.
(C) (D)
6. A
qualidade intrínseca da coisa julgada representa a sua relevância.
(C) (D)
7. O
s esforços do programa para estimular mudanças nas crianças e na
comunidade são aspectos relacionados com mérito.
(C) (D)
8. N
a questão avaliativa "há um número adequado de objetivos do ponto de vista
de sua viabilidade?", o foco da questão é "ponto de vista".
(C) (D)
9. N
a mesma questão acima, o juízo de valor está representado na expressão
"número adequado".
(C) (D)
10. Tudo o que demonstra mudanças ou transformações nas crianças e na

comunidade é questão de mérito do programa.
(C) (D)
31
Exercício 2
Nas seguintes questões avaliativas, identifique o foco e o elemento base para o juízo de valor, e
se este é de mérito ou de relevância.
1. Os objetivos satisfazem às necessidades das crianças do programa que se encontram em

situação de risco?
a) foco:
b) juízo de valor:
c) de mérito ( ); de relevância ( ).
2. As estratégias educativas do programa são adequadas ao alcance dos objetivos?
a) foco:
b) juízo de valor:
3. O atendimento à saúde que os meninos estão recebendo no programa é realizado por

pessoal competente?
a) foco:
b) juízo de valor:
4. As crianças apresentam mudanças de comportamento no cuidado pessoal?
a) foco:
b) juízo de valor:
5. As práticas nas oficinas do programa são eficientes para que os jovens se integrem ao
mercado de trabalho local?
a) foco:
b) juízo de valor:

32
6. Q
uais necessidades do contexto social o programa deve atender?
a) foco:
b) juízo de valor:
Se necessário, explique sua resposta para esta questão.
33
Folha de respostas
Exercício 1 Exercício 2
1. (C) — (D) 1. a) foco

2. (C) — (D) b) juízo de valor
3. (C) — (D) c) de mérito ( ); de relevância ( ).
4. (C) — (D) 2. a) foco
7. (C) — (D) 3. a) foco
10. (C) — (D) 4. a) foco
b) juízo de valor
5. a) foco
b) juízo de valor
6. a) foco
b) juízo de valor
Explicação (se necessário):

34
Gabarito
Exercício 1 Exercício 2
1. (C) 1. a) os objetivos
2. (C) b) satisfazem ou não as necessidades
3. (C) c) de relevância
4. (D) 2. a) as estratégias educativas
5. (C) b) são adequados ou não
6. (D) c) de mérito
7. (C) 3. a) pessoal que atende à saúde dos meninos
8. (D) b) competente ou não
9. (C) c) de mérito
10. (D) 4. a) comportamento das crianças
b) mudanças de cuidado pessoal
c) de relevância
5. a) as práticas nas oficinas
b) eficientes ou não para a integração ao mercado de trabalho
c) de relevância
6. a) necessidades do contexto
b) não requer juízo de valor
c) não há juízo de mérito nem relevância
Explicação: esta questão não é avaliativa, por não ter juízo de valor;
ela solicita uma descrição analítica, uma análise de contexto.
35
Realização Apoio

APSE Caderno 3

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

APSE Caderno 3

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAÇÃO DE

Thereza Penna Firme

Thereza Penna Firme

Penna Firme, Thereza

1. Avaliação de programas de ação social

Índices para catálogo sistemático:

'' Quais são os elementos de uma boa

'' Qual é o processo de identificação das questões

Escreva no espaço abaixo quais expectativas pessoais de aprendizagem você pre-

→ Avaliação de programas socioeducacionais

Thereza Penna Firme

Avaliação de programas socioeducacionais ←

2. São vários os interessados na avaliação de um programa. Como suas preocupa-

2.1 O coordenador necessita de informações que possam ajudá-lo a:

'' acertar na escolha de objetivos (o que buscar?);

'' assegurar a melhor estrutura para os programas, no

'' melhor encaminhar o processo/ações

'' acompanhar os resultados (efeitos do programa em seus

→ Avaliação de programas socioeducacionais

(em que medida os objetivos foram alcançados?

2.2 O educador que assiste à criança/ao jovem em seu dia a

'' ajudar a criança/jovem a perceber suas conquistas

'' face aos resultados alcançados, ou na medida em

2.3 As preocupações dos destinatários (crianças/jovens) dizem res-

2.4 As preocupações da comunidade são no sentido de cobrar

'' melhor colaborar com as ações do programa, no que for

'' participar nas decisões em médio e longo prazos em relação

2.5 Quem financia o programa quer assegurar-se de que

3. De um modo geral, todas as preocupações que exigem respostas de uma avalia-

Avaliação de programas socioeducacionais ←

'' A: aqueles que têm poder de decisão

'' B: aqueles fora do programa que influem, direta ou

'' C: aqueles que formam o "corpo" do programa,

4. É difícil responder a todos esses interessados num só estudo avaliativo. Na prá-

5. Delineia-se assim o trabalho de uma determinada avaliação, em função desse

6. Neste sentido, pode-se falar de uma variedade de abordagens ou rumos que,

7. Nas abordagens "voltadas para os objetivos", verifica-se o alcance dos objetivos

8. Nas abordagens "voltadas para o gerenciamento", buscam-se informações para

9. Nas abordagens "voltadas para o consumidor", o propósito é verificar os be-

→ Avaliação de programas socioeducacionais

e a comunidade em torno deles: pais, igreja, sistema de saúde, policiais, grupos

12. O envolvimento de todos os interessados no programa é fundamental para um

Avaliação de programas socioeducacionais ←

→ Avaliação de programas socioeducacionais

Enquanto isso, Paulo e Regina concentraram seus esforços dentro do programa.

Avaliação de programas socioeducacionais ←

Agora, depois de duas semanas, a equipe está de volta ao programa, trazendo

— Que tal, gente, se cada um for pregando nas paredes em vol-

— Ótimo — disseram todos.

Em silêncio, cada um foi pendurando seu material, e logo ficaram cercados de

Seguindo o movimento de Ricardo, todos se sentaram em pontos estratégicos, de

— Vejam só o que os meninos disseram a Claudina na praça. É a

1. "Eu tô precisando trabalhar e arrumar dinheiro pra

2. " Quando eu for grande, eu quero ser polícia feminina e

3. " Eu já não quero mais ser engraxate, eu quero ter um

4. "Eu não quero sair do Programa porque na rua e lá

→ Avaliação de programas socioeducacionais

— Isso mesmo, Regina — disse Claudina. — Sabe que eu nunca

— E com quem mais você falou, Claudina? — perguntou Ricardo,

7. "O problema é que esses meninos, quando conseguem vir à esco-

Avaliação de programas socioeducacionais ←

Enfermeira do posto de saúde:

1. "Eu tô precisando trabalhar e arrumar dinheiro pra

2. " Quando eu for grande, eu quero ser polícia feminina e

3. " Eu já não quero mais ser engraxate, eu quero ter um

7. "O problema é que esses meninos, quando conseguem vir à esco-

10. "Eu me preocupo com o presente e com o futuro desses meninos.

12. "Há muitas necessidades que os programas não estão satisfa-

13. "Não estamos seguros de estarmos acertando nossos caminhos,

15. "Com essas mudanças no plano legal da nova Constituição e do

16. "Que ações estão acontecendo no programa para que o menino e

17. "Nós, juízes, estamos preocupados em assegurar o cumprimento

19. "Ainda não consegui descobrir se os meninos estão mudando e,

20."Há alguma coisa que incomoda no clima deste programa. Eu não

21. "Nós sentimos falta de informação neste programa. Ninguém

3. O programa atende às necessidades da criança, do jovem

4. O programa satisfaz as necessidades da comunidade? (R)

6. Os recursos materiais estão facilitando o alcance dos