APSE Caderno 4

AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
Uma alternativa naturalística
RUMO AO CAMPO:
A TRAVESSIA
Thereza Penna Firme

Juan Antonio Tijiboy
Vathsala lyengar Stone
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
RUMO AO CAMPO:
A TRAVESSIA
Thereza Penna Firme

Dados Internacionais de Catalogação na Publicação (CIP)
(Câmara Brasileira do Livro, SP, Brasil)
Penna Firme, Thereza

Avaliação de programas socioeducacionais [livro
eletrônico] : como enfocar e pôr em prática : uma
alternativa naturalística / Thereza Penna Firme,
Vathsala Iyengar Stone, Juan Antonio Tijiboy ;
[ilustrações João Henrique Belo Evangelista]. --
1. ed. -- São Paulo : Fundação Itaú para a
Educação e Cultura, 2021. -- (Avaliação de
Programas Socioeducacionais : como enfocar
e pôr em prática ; 8)
PDF
Obra em 8 v.
ISBN 978-65-86771-06-0
1. Avaliação de programas de ação social

2. Educação 3. Educação - Finalidades e objetivos
4. Programas sociais - Avaliação 5. Sociologia
educacional I. Stone, Vathsala Iyengar. II. Tijiboy,
Juan Antonio. III. Evangelista, João Henrique Belo.
IV. Título. Série.
21-70689 CDD-370.1934
Índices para catálogo sistemático:

1. Programas sociais : Avaliação : Sociologia educacional 370.1934
Maria Alice Ferreira — Bibliotecária — CRB-8/7964
Realização Apoio
→ Rumo ao campo: a travessia ←
QUESTÕES
ORIENTADORAS
PARA A LEITURA
'' Para os programas socioeducacionais, qual a
concepção de avaliação mais apropriada?
'' Como escolher questões avaliativas prioritárias pela negociação?
'' O que significa buscar dados adequados, de fontes

adequadas e por meios adequados?
'' O que é um indicador? Para que serve?
'' Quais são as duas maneiras de definir indicadores para avaliação?

Qual delas é indicada para avaliar programas sociais? E por quê?
'' O que são indicadores qualitativos? E quantitativos?

Qual a relação entre uns e outros?
Escreva, no espaço abaixo, o que especificamente você desejaria saber com rela-
ção ao "trabalho de campo" da avaliação do programa:
→ Avaliação de programas socioeducacionais
5
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
ENXERGANDO O ALVO:
COMO QUESTIONAR?
Thereza Penna Firme

Avaliação de programas socioeducacionais ←

6
NO CADERNO
ANTERIOR…
A equipe de avaliação identificou os vários interessados no projeto (na sua efici-
ência e resultados) e, dividindo tarefas, levantou as preocupações de cada um. Em
seguida, com a ajuda da Avaliação, a equipe analisou essas preocupações e, ex-
traindo o essencial, construiu as questões avaliativas. Nesse processo, o que ficou
de material de trabalho foi um elenco de questões bem formuladas e aprovadas
em consenso. Em questões de aprendizagem, foi a capacidade crítica de reconhe-
cer questões avaliativas de qualidade e a competência em elaborar essas questões.
A partir daí, o que tinha que ser feito era selecionar as questões prioritárias para
um processo avaliativo de curto prazo. Em consonância com a abordagem respon-
siva que a equipe tinha adotado, era preciso definir essas prioridades por meio da
negociação com os interessados.
Em resumo, desse encontro com a Avaliação, ficaram as seguintes lições:
1. A avaliação é a responsabilidade de identificar, obter e disseminar as informa-

ções em resposta às preocupações de seus interessados.
2. A responsabilidade específica da avaliação começa com a identificação das

questões avaliativas a serem respondidas.
3. A identificação das questões avaliativas é um processo que envolve:
'' coleta das preocupações dos interessados (em

conversas, entrevistas, reuniões etc.), detectando
seus valores sobre a qualidade do programa ou outro
foco de avaliação, e também questões polêmicas que
merecem ou necessitam de esclarecimento;
7
'' uma análise das preocupações, valores e questões

levantadas, bem como uma seleção preliminar das
prioritárias a serem respondidas com os critérios de
viabilidade, urgência e gravidade do problema;
'' seleção final das questões avaliativas, com base

em negociações com os interessados.
4. A formulação da questão avaliativa é igualmente importante. As duas caracte-

rísticas de uma boa questão deste tipo são:
'' indicar claramente o que se julga, isto é: o foco da avaliação;
'' permitir um juízo de valor acerca desse foco, no

sentido de seu mérito ou relevância.
5. O "foco" de avaliação, ou o que se julga numa questão avaliativa, pode ser o

próprio programa como um todo ou quaisquer componentes/aspectos de sua
estrutura e dinâmica, tais como:
'' os objetivos do programa;
'' os recursos materiais utilizados;
'' as estratégias usadas;
'' o processo de interação entre educador e criança;
'' os educadores;
'' os resultados do programa;
'' outros.

8
6. A
inda em relação à questão avaliativa referente ao programa (ou qualquer um
de seus aspectos, como foi dito anteriormente), o juízo de valor exigido pode ser
sobre seu mérito (seu valor em si, sua qualidade intrínseca) ou sua relevância
(seu valor externo ou validade para o contexto em que opera).
7. Como exceção à regra geral, algumas questões procuram apenas uma descrição
analítica como resposta, ao invés de um julgamento em relação ao mérito ou
relevância do programa (ou de seus aspectos). O caso de levantamentos que
auxiliem no planejamento de novas frentes de trabalho de um programa (análi-
se situacional/avaliação do contexto/análise de necessidades) é um exemplo. A
avaliação do processo que descreve os detalhes é um outro exemplo (que facilita
ou dificulta o funcionamento).
9

10
NESTE CADERNO…
A equipe tinha dado uma pequena parada para descansar, depois daquela ma-
ratona de formulações de questões avaliativas a partir das preocupações dos
interessados.
Foi Ricardo quem marcou um novo encontro para retomar as atividades. Sentaram-
se em círculo, bem descontraídos e dispostos a uma conversa aberta, na qual cada
um tem o direito de dizer o que pensa e como acha que se deve proceder, num
clima de respeito e sensibilidade. E não é isso mesmo a "avaliação responsiva"?
E por falar em Avaliação… ela mesma, em pessoa, vai chegando suavemente, sem
interromper aquela discussão que já começa acalorada com as falas de cada um.
Em vez de falar junto, ela se senta ali e observa tudo: falas, gestos, atitudes, pos-
turas e posições. Tudo é importante na observação.
— Como vamos fazer esta negociação com os interessados? — in-

dagou Paulo, buscando uma saída imediata.
— Que tal se ouvirmos algumas propostas? — respondeu Ricardo,

tentando enriquecer a discussão.
— Bem — disse Regina —, tendo em vista que as negociações nos

conduzem à escolha das questões avaliativas prioritárias, preci-
samos rever a lista que formulamos, antes de tudo.
— Certo — disse Claudina, já com a lista na mão.
Entusiasmados com a tarefa anterior que deu tanto trabalho, todos já estavam
familiarizados com aquelas questões e, de certo modo, as tinham bem à mão.
— Não seria melhor chamar os interessados? — propôs Paulo.
— Ou, quem sabe, irmos até eles? — foi a proposta de Regina.
11
E assim, ouvindo umas e outras sugestões, discutindo as vantagens e a viabilidade

de cada uma na prática, chegaram à conclusão de que nada melhor do que fazer
um círculo de discussão igual àquele que eles já tinham feito tão bem. A ideia era
trazer pelo menos um representante de cada tipo de interessado, para um encon-
tro com eles. Ficou claro que uma conversa individual com cada um deles seria uma
outra maneira válida de negociar.
Neste momento, a Avaliação, que até então a tudo ouvia bem silenciosa, levantou-
-se, confiante, e disse:
— Parabéns! É assim mesmo que vocês se capacitam para um

trabalho avaliativo útil a todos os interessados. Se vocês atuam
como equipe, já estão no caminho certo para pôr tudo isso em
prática com outros indivíduos e grupos.
Lógico que a equipe vibrou. Quem não gosta de ser reconhecido no momento cer-
to? E a Avaliação está aí para garantir essas colocações importantes e promover
um aperfeiçoamento constante.
Claro que a Avaliação foi convidada para a reunião com os interessados. Questões
deveriam ser trabalhadas logo, pela sua urgência. E o bonito foi que todos enten-
deram que não é preciso trabalhar todas as questões ao mesmo tempo.
No dia combinado, lá estavam: Fernando, um educador do programa; Paulo e

Regina — é claro! —; Ricardo, como coordenador; dona Julieta, uma senhora da
comunidade que é mãe de um dos meninos que frequentam o programa; prof.
Marcos, responsável pela verba que a Universidade libera para o programa; cabo
Luiz, um policial que costuma cuidar daquela comunidade; dona Clara, professora
da escola pública local; dona Sônia, enfermeira do posto de saúde; padre José, vi-
gário da paróquia local; Luiz Antônio, um jovem que frequenta o programa; Lúcia
Helena, uma menina também frequentadora; sr. Pedro, dono da padaria; e até o dr.
Sérgio, juiz da Infância e da Adolescência, que aceitou o desafio de chegar até lá
pelo menos por uns instantes.
No primeiro momento, cada um quis defender a sua questão identificada na lis-

tagem, dizendo que era a mais importante. Neste instante, a Avaliação fez uma
tentativa de avançar a discussão, aproximando os interesses.

12
— Vamos pensar um pouco sobre isso. Vocês dizem importante,

mas, em que sentido?
— Pra mim, importante é a questão que avalia o próprio sentido

do programa na comunidade. Vocês têm que me provar que ele
vale a pena — disse dona Julieta.
— Certo — disse Ricardo —, nós do programa trabalhamos para

isso mesmo, e é por isso que precisamos saber antes se a qualida-
de de nosso trabalho está ajudando a chegar lá.
— Quer dizer, você quer provar primeiro que o seu trabalho é de

boa qualidade. É isso? — provocou o Cabo Luiz.
— É isso mesmo — falou Ricardo —, resolvida essa questão, sabe-

remos se estamos fazendo algo valioso.
— Espere aí! — disse o prof. Marcos. — Descobrir que um traba-

lho é bem-feito nem sempre prova que ele está satisfazendo o
que nós, de fora, esperamos.
— Eu posso colocar o meu ponto de vista? — interrompeu o juiz dr.

Sérgio. — O que me parece importante para todos é saber tanto
uma coisa como outra. Será que, olhando para os meninos que
vocês preparam, já não saberíamos as duas coisas?
— Como assim? — perguntou dona Clara, a professora da escola

municipal.
— Lógico! — disse dr. Sérgio. — Se o menino está melhorando no

caminho que a comunidade espera, é sinal de que o programa
valeu a pena. Isso dá segurança para vocês, no sentido de que seu
trabalho é de boa qualidade.
— Já sei! — gritou Regina. — Uma questão-chave seria essa (apon-

tando para a listagem): "os resultados produzidos que envolvem
crianças e jovens são compatíveis com suas necessidades?".
13
— Mas esta outra também é chave — disse Paulo —: "Os resul-

tados que envolvem as crianças e jovens são compatíveis com as
necessidades do mercado de trabalho?".
— E esta? — perguntou Fernando, educador. — "As estratégias

de atendimento estão produzindo mudanças?". Esta também é
chave para orientar nosso trabalho de atendimento!
— Acho que qualquer uma dessas está, essencialmente, apontan-

do para a mudança no menino — falou dona Sônia, a enfermeira
do posto.
— E vocês já não sabem o que é que mudou nos meninos? — con-

tinuou o sr. Pedro, dono da padaria.
— Eu sei, eu já mudei um bocado — disse Luiz Antônio, o jovem

do programa que ali estava, ouvindo tudo com grande atenção.
— E eu também! — disse Lúcia Helena.
— Que bom! Mas… e os outros meninos e meninas? — acrescen-

tou padre José.
— Deles eu não sei, mas Ricardo deve saber — disse o jovem.
Neste momento, diante do olhar esperançoso de todos, Ricardo admitiu que esse
dado tão importante ele não tinha…
Daí por diante, foi rápido. Houve um consenso. O importante seria avaliar, como pri-
meira indagação: "o programa está provocando mudanças nos meninos? Quais?".
E como segunda indagação, seria: "os procedimentos no programa estão adequa-

dos às suas intenções?".
Com essas duas questões que emergiram das negociações, todos os interesses
pareciam próximos de uma resposta.

14
E foi aí que a Avaliação se pronunciou:
— Estou vendo que, neste momento, vocês estão em busca de

duas coisas importantes: as mudanças ou o impacto do progra-
ma nos meninos e nas meninas e, ao mesmo tempo, a qualidade
do processo de atendimento que leva ao impacto. Percebo que
é o desejo de todos. Dessa forma, vocês têm uma base para ir
satisfazendo a comunidade de um lado e aperfeiçoando o pro-
grama de outro. É interessante observar que, nestas questões,
vocês disseram o mesmo que estava explícito nas questões ori-
ginais (só que com outras palavras). Foi um bonito resultado da
negociação, ou seja, a formulação de questões de comum acordo,
mas respeitando os diferentes interesses, no sentido de buscar
as informações básicas como prioritárias.
Era manhã do dia seguinte. Os convidados da véspera já não estavam. E aquele

encontro fora ótimo. Agora, a equipe de avaliação está reunida, combinando a sa-
ída imediata para o campo, atrás das informações em resposta às duas questões
avaliativas que haviam sido negociadas. Todos estavam eufóricos, porque elas es-
tavam claras e, por isso, podiam facilmente identificar o foco de cada uma, bem
como o juízo de valor a ser considerado.
Na questão sobre as "mudanças ou impactos provocados pelo programa", o foco é

o programa e o elemento base para o juízo de valor se refere à sua relevância. Na
questão que busca avaliar "se os procedimentos no programa estão adequados
aos seus propósitos", o foco está nos procedimentos e o elemento base para o juízo
de valor é a adequação. Isso se refere ao mérito do processo. Pronto! O que mais
faltava? Estava tudo pronto para sair a campo.
— Aonde vamos primeiro?
— À praça!
— Eu prefiro esperar, na porta, a chegada da turma para o almoço!
— Então fique você, eu já vou!
— Espere, gente, somos ou não somos uma equipe?
15
— Não faz mal; cada um pode ir pra onde quiser, contanto que
busque informação!
— Será que eu levo o gravador?
— Basta um caderno!
Nesta movimentação entusiasmada e meio confusa, foram se levantando e saindo

quando, já na porta, esbarram com uma visita que chegou precisamente a tempo
de impedir uma ação precipitada, embora rica em aspirações. Era a Avaliação.
— Oi! Para onde é que estão indo com essa pressa toda?
— A campo! — disseram todos em coro.
— Voltem, sentem-se aqui por um instante. Vamos nos preparar

um pouco mais para essa saída.
Eles não gostaram da ideia, mas aceitaram a proposta. Afinal de contas, o que
todos queriam era aprender a fazer o melhor possível. Assim, sem tirar o ânimo da
turma, mas com bastante compreensão e segurança, a Avaliação foi trazendo mais
algumas lições imprescindíveis para o sucesso dessa equipe.
— É uma maravilha ver vocês tão motivados e seguros! Vejam

quantas coisas vocês já fizeram, e com tanta paciência e dedi-
cação. O mais demorado, na verdade, já passou. Foi a fase inicial
para definir a direção principal do trabalho, que dependia de tan-
tas discussões, do envolvimento de tantas pessoas e de tantas
negociações. Vocês já demonstraram sua competência política.
Daqui em diante, seu trabalho no campo de buscar as informa-
ções e juntá-las numa resposta é menos complicado. Agora o tra-
balho, mais do que nunca, vai depender de competência técnica
de vocês como profissionais, individualmente e também como
equipe. Foi por causa disso que achei que valeria a pena gastar
um pouco mais de tempo para ver melhor em que implica essa
busca de respostas no campo.

16
— Tudo bem — disse Regina —, o que mais temos que saber sobre
nossa tarefa?
— Por exemplo, o que é que vocês entendem por informações? —

perguntou a Avaliação.
— Dados — disse Jorge.
— Tais como? — continuou a Avaliação.
— Número de pessoas, listagem de atividades, respostas às per-

guntas de entrevistas… acho que é isso — falou Paulo.
— É, mas há algo mais, como gestos e sinais de pessoas, compor-

tamentos observados em diversas situações, eventos que ocor-
rem, anotações de arquivos e opiniões diversas — completou
Regina.
— Agora eu aposto que vocês sabem onde buscar essas informa-

ções — disse a Avaliação, provocando-os.
— Claro, nos vários lugares onde o programa acontece e com as

pessoas que fazem parte dele! — disse Claudina.
— E ainda tem mais — completou a Avaliação. — São os arqui-

vos com documentação do Programa. Até mesmo objetos po-
dem sugerir informações. Todos esses elementos que fornecem
dados são fontes de informação. Nosso papel é consultá-las e
observá-las.
— Como? — perguntou Ricardo.
— Pois é! — disse a Avaliação. — A maneira de extrair a informa-

ção da fonte é o que se chama de "técnica", "procedimento" ou
"instrumento". Eles são diversos, mas devem ser bem escolhidos.
— Como assim? — perguntaram todos da equipe.
17
— Vejam, é muito comum que as pessoas pensem logo no ques-

tionário como único instrumento. Nem sempre ele é apropriado
para todas as fontes e tipos de dados que queremos. É por isso
que se tem que pensar em outros, como a própria entrevista que
vocês conhecem; a observação em várias situações, como drama-
tização, desenho livre, pintura, reuniões, jogos e muito mais, que,
oportunamente, eu vou comentar em detalhes. Para buscar as
informações mais apropriadas que respondam às questões (per-
mitindo que possamos chegar a fazer um julgamento quanto ao
mérito ou a relevância do foco da avaliação), não só temos que
escolher várias fontes e técnicas, como também aquelas que se-
jam mais apropriadas. Com a variedade e a qualidade combinadas,
podemos chegar mais perto das informações mais autênticas.
— Mas me explique de novo essa coisa de permitir julgamento de

mérito ou relevância — pediu Jorge. — É que não me sinto ainda
muito seguro a respeito.
— Veja, vou te dar um exemplo — disse a Avaliação —, a informa-

ção deve, de alguma maneira, evidenciar a presença ou a ausên-
cia do mérito e/ou da relevância que queremos encontrar. Olhem
a primeira questão de vocês… "o programa está provocando mu-
danças nos meninos e meninas?". Aqui, queremos julgar a relevân-
cia do programa, ou seja, precisamos emitir um juízo de valor sobre
a presença de mudanças ou impactos no menino e na menina. Então,
necessitamos de dados que sejam evidências da presença (ou au-
sência) desse impacto.
— Não entendi — disse Regina. — Quer dizer que a gente per-

gunta diretamente às fontes se o impacto está presente ou não?
Como é isso?
— É difícil, não é Regina? Perguntar assim não dá certo. Como

é que as pessoas saberiam responder sem saber ainda o que é
que nós buscamos com o nome de "impacto"? Será que, para nós,
isso está claro? — provocou a Avaliação, num tom de compreen-
são da dificuldade. E continuou: — Mas não é preciso desanimar.
Esse é o obstáculo que, se vencermos, vamos ter muita facilidade

18
19
para atuar no campo. Para definir o que é mudança ou impacto

para nós, vamos descobrir aquelas "coisas" que indicam o que, na
prática, pode ser entendido como "mudança" ou "impacto". É por
isso que essas "coisas" são chamadas de indicadores.
— Por favor — interromperam todos —, um exemplo!
— Pois não — disse a Avaliação —, vou dar mais de um exemplo,

porque o indicador é um elemento-chave e deve ficar bem enten-
dido por vocês. O indicador é mesmo a "travessia" entre a questão
avaliativa e a coleta de informações no campo. Posteriormente, é
ele que vai ligar as informações encontradas na resposta à ques-
tão avaliativa.
— Os exemplos! — insistiram todos.
Sorridente e confiante, a Avaliação prosseguiu:
— Vamos retomar a questão avaliativa sobre o "impacto do pro-

grama nos meninos". Nesse caso, um indicador desse impacto
poderia ser a "aquisição de cuidados corporais" pelo menino que
frequenta o programa. Este seria um modo concreto de entender,
na prática, o significado da mudança ou do impacto provocado.
Um outro modo de entender o ocorrido poderia ser a "aquisição
de atitude democrática" pelo menino que frequenta o progra-
ma. Nesse caso, seria um outro exemplo de indicador de impacto.
Ficou claro agora?
— Acho que sim — disse Ricardo, entusiasmado. — Deixe-me ver

se eu entendi bem. Você deu dois exemplos de indicadores. O pri-
meiro diz respeito a mudanças na saúde do menino, e o segundo,
no desenvolvimento social. E poderíamos encontrar outros, não é?
— Parabéns, Ricardo — disse a Avaliação —, você pegou bem o

sentido. Tentem dar outros exemplos.

20
— "Conseguir emprego", "tratar os outros sem violência" — ten-

tou Jorge.
— Desculpe — disse Regina —, estou sentindo alguma dificulda-

de para dar exemplos assim tão rápido. Isso será escrito em al-
gum lugar? Ou temos que tirar isso de cabeça?
— Regina, você fez uma pergunta fundamental — respondeu a

Avaliação, imediatamente. — Tirar de cabeça, pode. Só que isso
exige alguma experiência na prática, e também apoio teórico no
conhecimento (tanto do desenvolvimento da criança e do jovem
quanto do contexto em que vivem). Estudos e pesquisas a res-
peito são, sem dúvida, valiosos para esse conhecimento. Com
todos esses elementos, vocês podem definir indicadores, e esse
é o caminho teórico que se baseia no raciocínio dedutivo (do ge-
ral para o particular). Mas existe um outro caminho que adota
um raciocínio indutivo (do particular para o geral), no qual vocês
descobrem os indicadores diretamente na prática.
— E como seria esse caminho? — perguntou Regina, curiosa.
Todos da equipe tinham a mesma curiosidade.
Muito gratificada com a motivação da equipe, a Avaliação levantou e sugeriu:
— Podemos fazer uma coisa interessante. Imaginem que vocês

estão no campo, no meio de meninos e meninas, observando
seus comportamentos e suas atividades. Pensem nas atitudes
que, provavelmente, vão sugerir a vocês que as crianças e os jo-
vens estão tendo impactos. Por exemplo: "cenas de meninos to-
mando banho no chuveiro do quintal"…
— "Escovando os dentes" — continuou Jorge.
— Vão dizendo. O que mais? — encorajou a Avaliação.
Enquanto a equipe continuou falando, Claudina levantou e, no seu estilo bem ca-
racterístico, foi anotando no quadro tudo que foi apontado pela equipe:
21
'' "meninos formando fila para almoço", um

comportamento que não se via antes;
'' "meninos vestindo roupas limpas";
'' "meninos e meninas respeitando a vez dos outros";
'' "meninas reivindicando seus direitos";
'' "meninos trabalhando com seriedade";
'' "comportamento organizado dos meninos";
'' "meninos discutindo seus problemas no
grupo", como não se via antes;
'' "meninos e meninas dialogando";
'' "meninos vendendo o produto de seu trabalho";
'' "meninos e meninas prestando contas da venda";
'' "meninas falando que não se deve roubar";
'' "meninas dizendo que gostam do programa";
'' "meninas sentindo-se respeitadas pelos meninos".
— Muito bem! — parabenizou a Avaliação. — Vamos olhar para

essa lista por alguns instantes. Todos esses comportamentos e
manifestações estão sugerindo impacto de um modo geral, por-
que são mudanças depois da entrada no programa. Observem
agora, com mais cuidado, que algumas dessas mudanças podem
ser agrupadas, porque parecem convergir para alguma coisa em
comum…
— Eu já saquei — disse Ricardo —, estou aqui observando algo

interessante. Olhem, por exemplo: "meninos vestindo roupas
limpas", "escovando os dentes", "tomando banho"… não estão
convergindo para aquilo que você antes chamou de "aquisição de
cuidados corporais"?
— Genial — disse a Avaliação —, você acabou de construir um in-

dicador! E, para isso, você reuniu as manifestações que funciona-
ram como "pistas" para chegar lá. É assim mesmo que se definem
indicadores a partir da prática. Vamos ver se alguém mais desco-
briu algum!
— "Aquisição de atitude democrática" também está aí! — disse

Paulo.

22
— Que barato! Eu também estou vendo — disse Claudina.
E logo foram agrupando as seguintes pistas:
'' "meninos e meninas formando fila para almoço";

'' "respeitando a vez dos outros";
'' "discutindo seus problemas no grupo".
— Ótimo! — disse a Avaliação. — Vamos seguir tentando outros.
E assim surgiu logo outro indicador…
'' "aquisição de competências de trabalho"
a partir de suas pistas:
'' "meninos trabalhando com seriedade";

'' "vendendo o produto de seu trabalho";
'' "prestando contas da venda".
Neste ponto, a Avaliação concluiu que as outras pistas eram insuficientes para
construir mais indicadores com segurança.
Apesar disso, o processo estava entendido. Agora era uma questão de exercitar
mais e, para isso, melhor seria um exercício de campo mais tarde, no qual as pistas
reais apareceriam com maior riqueza e naturalidade.
— Estão satisfeitos? — perguntou a Avaliação.
— Demais! — disseram todos.
E Paulo acrescentou:
— Sabe o quê? Estou gostando muito desse modo prático de de-

finir indicadores.
23

24
— E você está certo! — disse a Avaliação. — Acho que já falamos

antes que, no caso de programas sociais, a avaliação "responsi-
va" é a mais indicada, lembram? Com avaliações "preordenadas"
é muito difícil descobrir a multiplidade de interesses. Isso requer
um modo flexível de trabalho de campo, denominado "natura-
lístico", que favorece descobertas dos passos desse trabalho na
prática. É por isso que seria mais útil definir indicadores desse
modo prático ou, como também é chamado, "empírico". Tudo isso
é mais apropriado.
Neste momento, a Avaliação fez uma pausa para um esclarecimento muito

oportuno.
— Vamos prestar atenção agora em uma coisa sutil — disse ela. —

O que vimos até agora foi o uso de dados de campo para construir
os indicadores. Isso não significa, ainda, que o trabalho de cam-
po acaba aqui. O que vem depois é a utilização desses mesmos
indicadores numa volta ao campo, para verificar se há impacto
em relação a eles. Aí, nessa volta, será preciso uma atenção mais
concentrada em cada indicador. Esses novos dados já não seriam
simplesmente "pistas", mas evidências do impacto ocorrido. As
pistas você descobre numa "imersão" na realidade, enquanto que,
para buscar evidências, é preciso um "mergulho" mais profundo.
— E agora, já podemos ir a campo? — perguntou Ricardo. — Acho

que já entendemos o suficiente e podemos descobrir pistas de
impacto para construir indicadores.
— Tudo bem, só não se esqueçam de que a outra questão avalia-

tiva ficou pendente. Aquela que se refere à "qualidade dos proce-
dimentos de atendimento" que levam às mudanças encontradas.
Esta, porém, devemos adiar, porque não se pode trabalhar com
os indicadores de mérito sem relacioná-los com os indicadores de
impacto que vocês vão construir agora. Existe, ainda, um outro
ponto importante que fecha toda essa nossa conversa. A partir
das pistas, vocês podem construir dois tipos de indicadores: um
deles enfatiza os aspectos qualitativos dessas pistas e o outro
enfatiza os aspectos quantitativos. Por exemplo: "aquisição de
25
cuidados corporais" é um indicador que é melhor explicado em

termos descritivos, como "tomar banho", "cortar unhas", "vestir
roupa limpa" etc. Por outro lado, o indicador "índice de inserção
dos meninos no mercado de trabalho" só pode ser explicado com
números, como: "percentagem de jovens no emprego", "tempo
de permanência no emprego" etc. Por isso, o primeiro indicador é
mais qualitativo e o segundo é mais quantitativo.
— O que é que você quer dizer com isso de "mais qualitativo" ou

"mais quantitativo"? — perguntou Claudina.
— É importante esclarecer — disse a Avaliação, muito contente

pelo nível de aprofundamento da equipe — que indicadores po-
dem ser tanto qualitativos quanto quantitativos, e ainda uma
combinação dos dois. Por exemplo: além de escrever cuidados
corporais, o indicador pode exigir informação sobre "quantos" me-
ninos e meninas adquiriram esses cuidados: um grande número,
ou um, ou dois? Da mesma forma, seria importante saber não só
a quantidade e o percentual de jovens que conseguiram traba-
lho, mas também esclarecer a situação empregatícia que melhor
caracterize essa inserção. Por exemplo: "emprego permanente",
"funções compatíveis com o jovem", "salário justo" etc. Sem es-
ses detalhes qualitativos, o indicador daria uma visão limitada do
impacto no jovem. Assim, todo levantamento de indicadores de
campo é um trabalho quanti-qualitativo, embora possa enfatizar
a quantidade ou a qualidade.
— Formidável! — disseram todos com entusiasmo.
E sabe o quê? Aplaudiram, de pé, a Avaliação.

26
27
Agradecendo toda aquela manifestação, a Avaliação trouxe uma novidade para a

equipe:
— Preocupada em garantir para vocês maior segurança no traba-

lho de campo e sabendo de todo seu interesse em fazer o melhor,
eu recomendo que, antes de tentar responder às duas questões
avaliativas escolhidas, vocês façam um exercício prático. Seria
como se fosse um ensaio, sem ainda mexer com essas questões.
E só para dar mais experiência. Que tal?
— Ótimo! — disseram todos.
E Paulo concluiu:
— Estou até aliviado. Nada como praticar antes de fazer

para valer!

28
EM OUTRAS
PALAVRAS…
'' Por meio de negociações com os interessados, as questões ava-

liativas, uma vez priorizadas, dão início ao trabalho concreto de
procura de respostas.
'' A procura de resposta para uma questão avaliativa consiste em

colher informações adequadas, isto é, dados que facilitem o juízo
de valor que a questão exige em relação ao foco.
'' Esses dados são percepções e opiniões de pessoas, seu compor-

tamento, suas expressões não verbais (gestos, sinais), números
e anotações de arquivos, eventos observados, contagens, lista-
gens etc.
'' Quem fornece esses dados são as fontes de informação. São pes-
soas, arquivos, documentação, locais onde acontecimentos se
realizam, incluindo pessoas e objetos.
'' Os meios utilizados para extrair das fontes os dados necessários

são chamados de técnicas, procedimentos ou instrumentos de
coleta de dados.
'' Em resumo, a busca de resposta para uma questão avaliativa

consiste em extrair dados adequados, de fontes adequadas e
através de meios adequados.
'' Lembremos que extrair dados adequados significa buscar aque-

les que facilitem o julgamento exigido em relação ao foco. Neste
sentido, eles, de algum modo, devem evidenciar a presença ou
ausência do mérito ou da relevância procurados.
29
'' Essa passagem — do mérito ou da relevância na questão ava-

liativa para suas evidências no campo — nem sempre é tão sim-
ples e direta como se pensa. Na maioria das vezes, precisamos
de uma definição mais simples do mérito ou da relevância, para
que sejam facilmente reconhecidas as evidências no campo. Essa
definição é feita expressando o mérito ou a relevância por algu-
ma coisa que esclareça seu sentido prático. Essa "alguma coisa" é
chamada de indicador, pois indica o sentido em que o mérito ou
relevância podem ser entendidos na prática.
'' Com o auxílio de indicadores, fica mais fácil buscar dados ade-
quados, pois procurando-se evidências concretas que melhor ex-
pressem os indicadores pode-se verificar a presença ou ausência
do mérito ou da relevância procurados.
'' Em suma, os indicadores dão o sentido operacional para os as-

pectos do mérito ou da relevância procurados pela questão ava-
liativa e, por isso, ajudam melhor a identificação das evidências
necessárias na fala de pessoas, nos arquivos etc. Mais ainda, uma
vez procuradas as evidências, os indicadores ajudam também
para se chegar à resposta para a questão avaliativa. Desse modo,
o indicador é a travessia entre a questão avaliativa e os dados a
serem buscados e, posteriormente, entre esses dados e a respos-
ta a ser construída.
'' Como os indicadores representam a travessia entre a questão

avaliativa e os dados a serem buscados no campo para respondê-
-la, a definição dos indicadores marca um passo significativo no
processo de avaliação, ou seja, da busca da resposta.
'' Há duas maneiras de se definir indicadores para uma avaliação. A

primeira delas é teórica, na qual se tenta, por um raciocínio de-
dutivo (do geral para o particular), buscar explicações ou escla-
recimentos que melhor interpretem os aspectos de mérito ou de
relevância na prática. Apoia-se também nas interpretações dos
outros estudiosos, nas pesquisas anteriores etc. A outra maneira
de se definir indicadores é empírica ou calcada na observação di-
reta no campo. Aqui se procura identificar, nas manifestações de

30
pessoas, objetos e situações observadas, "sugestões ou pistas"

de algo relacionado com o mérito ou a relevância em questão.
Essas "sugestões", agrupadas, resultam nos indicadores. Assim,
os indicadores são definidos partindo-se da prática, por um ra-
ciocínio indutivo (do particular para o geral).
'' No caso de programas socioeducacionais, a maneira empírica de

se definirem indicadores parece ser a mais útil. Lembremo-nos
de que, nesse caso, há multiplicidade e divergência de interesses
a atender, o que limita a utilidade de avaliações preordenadas. A
avaliação responsiva, que é a mais indicada, se propõe a coletar
dados para uma variedade de interesses e, por isso, depende de
maneiras flexíveis de trabalho de campo, permitindo descober-
tas durante o decorrer do próprio processo. Esse modo de coleta
de dados, denominado naturalístico, favorece e prefere bases
empíricas, isto é, observações de campo para definição de pas-
sos metodológicos, sendo que um deles é a própria definição dos
indicadores.
'' Na definição de indicadores, além da maneira pela qual se chega

a defini-los (isto é: teórica versus empírica), há um outro aspecto
importante, que se refere a sua formulação ou à forma como ele é
expresso. Isso depende do tipo de evidências que enfatiza:
(a) se a ênfase é sobre os aspectos qualitativos dessas evidências

(caracterizações de pessoas, objetos e situações), o indicador
seria eminentemente qualitativo;
(b) se a ênfase é sobre os aspectos quantitativos dessas evidên-

cias (números, contagens, proporções: de pessoas, objetos e
situações), o indicador seria eminentemente quantitativo;
(c) é importante esclarecer que nenhum levantamento de indica-

dores pretende dispensar totalmente os aspectos qualitati-
vos ou quantitativos das evidências. Desse modo, as evidên-
cias de campo incluem indicadores qualitativos, quantitativos
e também uma combinação dos dois.
31
EXERCÍCIOS
Para autoavaliação da aprendizagem
Avalie sua aprendizagem respondendo os exercícios aqui propostos.
'' Marque suas respostas na página seguinte aos exercícios.
Responda os seguintes itens com base no que você estudou neste caderno, mas
também aproveitando sua própria experiência. Se você não entender bem alguns
dos termos aqui utilizados, não se preocupe. Mais adiante, nos próximos cadernos,
eles vão ser discutidos.
Exercício 1
Segundo o conteúdo do texto estudado, identifique se você concorda (C) ou dis-

corda (D) com cada afirmativa feita abaixo:
1. E preferível escolher as questões avaliativas prioritárias por meio da

negociação com os interessados.
(C) (D)
2. A resposta a uma questão avaliativa exige coleta de informação adequada.
(C) (D)
3. Informação adequada é qualquer juízo de valor.
(C) (D)

32
4. F
ontes de informação são as técnicas de coleta de dados utilizados.
(C) (D)
5. U
m dado adequado é aquele que facilita o julgamento de valor.
(C) (D)
6. U
m indicador aponta para o sentido em que mérito, relevância ou outro
aspecto de um programa pode ser reconhecido na prática.
(C) (D)
7. O
s indicadores são o mesmo que evidências.
(C) (D)
8. O
raciocínio dedutivo permite a definição empírica de indicadores.
(C) (D)
9. A
observação direta no campo permite a definição empírica de indicadores.
(C) (D)
10. O modo naturalístico de coleta de dados favorece a definição dedutiva

dos indicadores.
(C) (D)
33
Exercício 2
Escreva, no espaço de cada item abaixo, o aspecto solicitado em relação à seguinte

questão avaliativa:
As práticas educativas no programa são de boa qualidade?
1. O foco nesta questão avaliativa é:
R.: _____________________________________________________________________
2. Destaque o elemento base para o juízo de valor.
R.: _____________________________________________________________________
3. Nesta questão, tenta-se julgar o mérito ou a relevância do programa?
R.: _____________________________________________________________________
4. Das opções indicadas a seguir, qual a fonte de informação que pode ser excluída?
a) o juiz da Infância e Adolescência
b) a criança
c) o coordenador do programa
d) educadores
e) nenhuma
R.: _____________________________________________________________________

34
5. L
evando-se em consideração a abordagem naturalística, qual das técnicas de
coleta de dados abaixo indicadas é a menos adequada?
a) conversas informais
b) questionário estruturado
c) entrevista
d) observação do participante
R.: _____________________________________________________________________
6. S
eguem abaixo alguns dos indicadores da qualidade das práticas educativas.
Escreva, em cada espaço, se o indicador é qualitativo ou quantitativo.
_______________________________ (a) proporção de educadores qualificados
_______________________________ (b) clima democrático
_______________________________ (c) interação com a comunidade
_______________________________ (d) distribuição de tempo entre atividades
_______________________________ (e) sensibilidade humana do coordenador
35
EXERCÍCIO 3
Marque com um "X" as manifestações que podem ser "pistas" que
levem ao indicador "valorização do trabalho", pelos meninos:
a) fazem fila para o almoço;
b) permanecem na oficina, trabalhando depois da hora de saída;
c) perguntam ao instrutor como fazer a tarefa da melhor forma possível;
d) tomam banho todos os dias;
e) fazem questão de saber se o trabalho foi bem feito;
f) escovam os dentes depois da refeição;
g) recrutam amigos para trabalhar no programa;
h) Daniel, 12 anos, há seis meses no programa, diz: "eu acho que pedir
esmola não é bom para nós. O melhor é aprender a trabalhar".
i) cuidam bem das ferramentas.

36
Folha de respostas
Exercício 1 Exercício 2 Exercício 3
1. (C) — (D) 1. R.: __________________________ (a)
2. (C) — (D) 2. R.: __________________________ (b)
3. (C) — (D) 3. R.: __________________________ (c)
4. (C) — (D) 4. R.: __________________________ (d)
5. (C) — (D) 5. R.: _________________________ (e)
6. (C) — (D) 6. R.: (a) ____________________ (f)
7. (C) — (D) (b) ____________________ (g)
8. (C) — (D) (c) ____________________ (h)
9. (C) — (D) (d) ____________________ (i)
10. (C) — (D) (e) ____________________
Exercício 4
Avalie seu próprio desempenho de aprendizagem, a partir do objetivo

que você formulou no item 6 das questões orientadoras.
37
Gabarito
Exercício 1 Exercício 2 Exercício 3
1. (C) 1. Práticas educativas ( ) (a)
2. (C) 2. Ser de boa qualidade (x) (b)
3. (D) 3. Mérito (x) (c)
4. (D) 4. (e) nenhuma ( ) (d)
5. (C) 5. (b) questionário estruturado (x) (e)
6. (C) 6. (a) quantitativo ( ) (f)
7. (D) (b) qualitativo (x) (g)
8. (D) (c) qualitativo (x) (h)
9. (C) (d) quantitativo (x) (i)
10. (D) (e) qualitativo
}}
Estas são as respostas que os autores consideram as mais adequadas.
Se você discorda de algumas delas, justifique.

38
Realização Apoio

APSE Caderno 4

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

APSE Caderno 4

Enviado por

Direitos autorais:

Formatos disponíveis

AVALIAÇÃO DE

Thereza Penna Firme

Thereza Penna Firme

Penna Firme, Thereza

1. Avaliação de programas de ação social

Índices para catálogo sistemático:

'' Como escolher questões avaliativas prioritárias pela negociação?

'' O que significa buscar dados adequados, de fontes

'' O que é um indicador? Para que serve?

'' Quais são as duas maneiras de definir indicadores para avaliação?

'' O que são indicadores qualitativos? E quantitativos?

→ Avaliação de programas socioeducacionais

Thereza Penna Firme

Avaliação de programas socioeducacionais ←

Em resumo, desse encontro com a Avaliação, ficaram as seguintes lições:

1. A avaliação é a responsabilidade de identificar, obter e disseminar as informa-

2. A responsabilidade específica da avaliação começa com a identificação das

3. A identificação das questões avaliativas é um processo que envolve:

'' coleta das preocupações dos interessados (em

→ Avaliação de programas socioeducacionais

'' uma análise das preocupações, valores e questões

'' seleção final das questões avaliativas, com base

4. A formulação da questão avaliativa é igualmente importante. As duas caracte-

'' indicar claramente o que se julga, isto é: o foco da avaliação;

'' permitir um juízo de valor acerca desse foco, no

5. O "foco" de avaliação, ou o que se julga numa questão avaliativa, pode ser o

'' os objetivos do programa;

'' os recursos materiais utilizados;

'' as estratégias usadas;

'' o processo de interação entre educador e criança;

'' os resultados do programa;

Avaliação de programas socioeducacionais ←

→ Avaliação de programas socioeducacionais

Avaliação de programas socioeducacionais ←

— Como vamos fazer esta negociação com os interessados? — in-

— Que tal se ouvirmos algumas propostas? — respondeu Ricardo,

— Bem — disse Regina —, tendo em vista que as negociações nos

— Certo — disse Claudina, já com a lista na mão.

— Não seria melhor chamar os interessados? — propôs Paulo.

— Ou, quem sabe, irmos até eles? — foi a proposta de Regina.

→ Avaliação de programas socioeducacionais

E assim, ouvindo umas e outras sugestões, discutindo as vantagens e a viabilidade

— Parabéns! É assim mesmo que vocês se capacitam para um

No dia combinado, lá estavam: Fernando, um educador do programa; Paulo e

No primeiro momento, cada um quis defender a sua questão identificada na lis-

Avaliação de programas socioeducacionais ←

— Vamos pensar um pouco sobre isso. Vocês dizem importante,

— Pra mim, importante é a questão que avalia o próprio sentido

— Certo — disse Ricardo —, nós do programa trabalhamos para

— Quer dizer, você quer provar primeiro que o seu trabalho é de

— É isso mesmo — falou Ricardo —, resolvida essa questão, sabe-

— Espere aí! — disse o prof. Marcos. — Descobrir que um traba-

— Eu posso colocar o meu ponto de vista? — interrompeu o juiz dr.

— Como assim? — perguntou dona Clara, a professora da escola

— Lógico! — disse dr. Sérgio. — Se o menino está melhorando no

— Já sei! — gritou Regina. — Uma questão-chave seria essa (apon-

→ Avaliação de programas socioeducacionais

— Mas esta outra também é chave — disse Paulo —: "Os resul-

— E esta? — perguntou Fernando, educador. — "As estratégias

— Acho que qualquer uma dessas está, essencialmente, apontan-

— E vocês já não sabem o que é que mudou nos meninos? — con-

— Eu sei, eu já mudei um bocado — disse Luiz Antônio, o jovem

1. A avaliação é a responsabilidade de identificar, obter e disseminar as informa-

2. A responsabilidade específica da avaliação começa com a identificação das

3. A identificação das questões avaliativas é um processo que envolve:

4. A formulação da questão avaliativa é igualmente importante. As duas caracte-

5. O "foco" de avaliação, ou o que se julga numa questão avaliativa, pode ser o