AVALIAÇÃO DE

PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
Uma alternativa naturalística

APRESENTAÇÃO:
A PALAVRA DOS AUTORES

Thereza Penna Firme

Juan Antonio Tijiboy
Vathsala lyengar Stone
AVALIAÇÃO DE
PROGRAMAS
SOCIOEDUCACIONAIS
COMO ENFOCAR E
PÔR EM PRÁTICA
Uma alternativa naturalística

APRESENTAÇÃO:
A PALAVRA DOS AUTORES

Thereza Penna Firme

Juan Antonio Tijiboy
Vathsala lyengar Stone
 Dados Internacionais de Catalogação na Publicação (CIP)
(Câmara Brasileira do Livro, SP, Brasil)

Penna Firme, Thereza

Avaliação de programas socioeducacionais [livro
eletrônico] : como enfocar e pôr em prática : uma
alternativa naturalística / Thereza Penna Firme,
Vathsala Iyengar Stone, Juan Antonio Tijiboy ;
[ilustrações João Henrique Belo Evangelista]. --
1. ed. -- São Paulo : Fundação Itaú para a
Educação e Cultura, 2021. -- (Avaliação de
Programas Socioeducacionais : como enfocar
e pôr em prática ; 8)
PDF

Obra em 8 v.
ISBN 978-65-86771-06-0

1. Avaliação de programas de ação social

2. Educação 3. Educação - Finalidades e objetivos
4. Programas sociais - Avaliação 5. Sociologia
educacional I. Stone, Vathsala Iyengar. II. Tijiboy,
Juan Antonio. III. Evangelista, João Henrique Belo.
IV. Título. Série.
21-70689 CDD-370.1934

Índices para catálogo sistemático:

1. Programas sociais : Avaliação : Sociologia educacional 370.1934
Maria Alice Ferreira — Bibliotecária — CRB-8/7964

Realização Apoio
FUNDAÇÃO ITAÚ ITAÚ SOCIAL

Conselho Curador Superintendente

Angela Dannemann
Presidente
Alfredo Egydio Setubal
Gerente de Pesquisa e Desenvolvimento
Patricia Mota Guedes
Vice-presidentes
Ana Lúcia de Mattos Barreto Villela
Coordenação de Comunicação
Maria Alice Setubal
Alan Albuquerque R. Correia

Conselheiros
CRÉDITOS DA PUBLICAÇÃO
Claudia Politanski
Danilo Santos Miranda
Autoria
Eduardo Queiroz Tracanella
Thereza Penna Firme
Heitor Sant’anna Martins
Vathsala Iyengar Stone
Osvaldo do Nascimento
Juan Antonio Tijiboy
Priscila Fonseca da Cruz
Ricardo Manuel dos Santos Henriques
Coordenação do projeto
Rodolfo Villela Marino
Rodrigo Souza Silva

Diretoria
Colaboração técnica
Diretor-presidente Paula Rafaela Ferreira Barbosa
Fábio Colletti Barbosa
Revisão de texto
Diretor vice-presidente de programas sociais Bianca Lopes
Fábio Colletti Barbosa Daniel Gonçalves Barbosa
Gustavo Elias Siqueira
Diretor vice-presidente de projetos culturais Patricia Logullo
Alfredo Egydio Setubal
Projeto gráfico e diagramação
Diretor vice-presidente Marcelo Batista
administrativo e financeiro Ricardo Donato
Eduardo Mazzili de Vassimon
llustrações
Diretores João Henrique Belo Evangelista
Álvaro Felipe Rizzi Rodrigues
Paulo Sergio Miron Produção gráfica
Reginaldo José Camilo Adesign
Valéria Aparecida Marreto
→ Apresentação: a palavra dos autores ←

Prefácio

Em 1986, o UNICEF (Fundo das Nações Unidas para a Infância) demandou dos au-
tores desta obra um estudo avaliativo sobre o impacto que os programas de aten-
dimento estavam gerando na vida dos meninos de rua. Os resultados compartilha-
dos foram significativos e esperançosos. As lideranças desses programas também
lançaram uma nova demanda para esta organização: os autores reapresentarem
sua proposta avaliativa em forma didática, gerando um alinhamento conceitual e
metodológico para que as equipes de trabalho "andassem com as próprias pernas",
avaliando, decidindo, aprimorando e evoluindo com o desenvolvimento dos proje-
tos sociais e educativos.

O representante do UNICEF naquela época, John Donohue, acendeu o "sinal verde"

para que as coisas acontecessem. O meu irmão Antonio Carlos Gomes da Costa,
então oficial de projetos dessa organização, não poupou incentivos para que a
sistematização daquela proposta avançasse, nutrindo a convicção de que a expo-
sição do brilhantismo da obra seria uma questão de tempo. Em um futuro próximo,
Antonio Carlos exclamaria, com profunda admiração, alegria e consideração: "a
história da avaliação de programas sociais e educativos tem um divisor de águas,
que pode ser classificado em duas eras: a era Antes de Thereza Penna Firme e a
era Pós-Thereza Penna Firme!". Dito e feito: a nossa querida amiga é uma gigante
no campo da avaliação!

Os autores desta magnífica obra vivem e convivem; estudam e trabalham; criam

e recriam suas premissas, compartilhando o que há de mais inovador no campo
da avaliação. Uma curiosa fala da Vathsala Iyengar Stone chama a nossa atenção.
Ela costuma afirmar que gostaria de ser percebida como uma pessoa que tem o
espírito indiano, a mente americana e o coração brasileiro. A incorporação das me-
lhores potencialidades inerentes a esse "combo internacionalizado" faz dela uma
das maiores especialistas em pesquisas e metodologias avaliativas do mundo.

Missão: ser educador! Juan Antonio Tijiboy, salvadorenho de origem e naturaliza-

do brasileiro, nos deixou no ano de 2013, mas os seus princípios e valores; ideias
e ideais; conhecimentos e experiências são imortais. Cumpriu o seu propósito de
vida, deixando um transcendente legado educacional que capacita e instrumenta
inúmeras equipes. Seus trabalhos são orientados para o desenvolvimento das no-
vas gerações.

Avaliação de programas socioeducacionais ←

6
→ Apresentação: a palavra dos autores ←

Caro(a) leitor(a), tenha a certeza de que você, assim como eu, vai se apaixonar com os con-
teúdos apresentados em "Avaliação de programas socioeducacionais: como enfocar e pôr
em prática — uma alternativa naturalística". Pensamento e ação, criatividade e inovação,
sensibilidade e razão, paixão e intuição são alguns componentes que se entrelaçam harmo-
nicamente ao longo da obra.

Destaco, apenas a título de ilustração, três aspectos que despertaram a minha enorme ad-
miração pela presente obra:

1) O formato inclusivo de apresentação dos conteúdos. Primeiramente, a utilização de uma

linguagem coloquial, contribuindo para o claríssimo entendimento da proposta. Na sequên-
cia, descortina-se o formato "em outras palavras", apresentando os mesmos conteúdos de
forma mais técnica, evidenciando a práxis: o "diálogo" sinérgico entre a teoria e a prática.

2) A metáfora genial pela qual a avaliação é representada por um espelho, oferecendo feed-
backs, pistas e recomendações para as equipes de trabalho. Assim, torna-se uma fiel amiga,
sensível, flexível, cúmplice, sábia, empática, altruísta e solidária.

3) O papel responsivo assumido pela avaliação, oferecendo respostas de acordo com as preo-
cupações de cada interessado, estimulando e favorecendo a construção do "…caminho de um
novo mundo com um homem novo".

Os cadernos avaliativos que você tem em mãos são verdadeiras "pérolas": integram uma ri-
quíssima obra que se antecipou ao futuro, porque mesmo antes de publicada, encantou e
tocou milhares de corações e mentes espalhados pelo mundo; influenciou inúmeros textos,
modificando múltiplos contextos; alterou estruturas e criou novas culturas nos mais diversos
ambientes de aprendizagem: programas sociais e educativos, escolas públicas e privadas,
universidades, empresas, organizações governamentais, organizações não governamentais
(ONGs) e por aí afora.

O apoio institucional e técnico do Itaú Social para a publicação desta obra é de vital relevân-
cia. A essência da proposta remete, também, à certeza de que avaliar é "espelhar" o poten-
cial criativo, inventivo e transformador dos educandos e educadores; estudantes e professo-
res; aprendizes e mestres; líderes e liderados, fomentando a construção de um mundo mais
ético, justo, fraterno, democrático, diversificado, inclusivo e sustentável.

Alfredo Carlos Gomes da Costa

Belo Horizonte, 1 de novembro de 2020.

→ Avaliação de programas socioeducacionais

7
→ Apresentação: a palavra dos autores ←

Agradecimento

Damos graças a Deus em primeiro lugar, para que ele abençoe a gratidão que aqui
expressamos por todos aqueles que inspiraram, guiaram e incentivaram esta obra,
desde a sua concepção até a sua conclusão, a qual jamais teríamos alcançado sem
sua significativa presença. É uma longa procissão iluminada, de estudiosos, pro-
fissionais, colegas, mestres, discípulos, crianças, jovens e amigos que passaram
por essa jornada de alegrias, lutas e vitórias sem fim e que agora, numa pausa
eloquente, convidamos a participar de uma celebração que vai da terra ao céu.

Gratidão a Antônio Carlos Gomes da Costa, pedagogo por excelência, consultor de

reconhecimento internacional na defesa dos direitos humanos, tendo recebido um
prêmio nacional do governo brasileiro por meio da Secretaria de Direitos Humanos;
presidente da Comissão que escreveu o "Estatuto da Criança e do Adolescente"
(Lei n. 8009, de 13/07/1990), que ele mesmo inspirou; autor de vários livros que
orientam a formação de líderes sociais e educacionais em nosso país e no mundo;
oficial de projetos do UNICEF e consultor de organismos e instituições nacionais
e internacionais, públicas e privadas. Ele apoiou, de modo estupendo, esta obra
e acreditou nos seus autores. Por certo, continuará torcendo por todos nós lá da
eternidade, para onde foi em 2011.

Gratidão a Alfredo Carlos Gomes da Costa, irmão dileto de Antonio Carlos, peda-
gogo ilustre, palestrante eloquente, administrador de recursos humanos, compe-
tente autor de substancial bibliografia, integrando educação e vida na formação
da criança e do jovem. Ele acreditou em nosso trabalho, de modo a assegurar os
seus passos originais de grande impulso, vindo a ser o autor do nosso prefácio.

Gratidão a Heloisa Godoy Rousseff, criativa ilustradora, e Rosemeire de Fatima

Rodrigues, técnica de digitação, competentes e dedicadas profissionais da em-
presa Modus Faciendi (criada por Antônio Carlos Gomes da Costa) com o intuito
de divulgar sua experiência adquirida. Elas souberam trabalhar com afinco nos
primeiros passos da obra.

Avaliação de programas socioeducacionais ←

8
→ Apresentação: a palavra dos autores ←

Gratidão ao Itaú Social, organização da mais alta relevância na missão socioeduca-

cional do nosso país e de outras regiões que tenham a ventura de aprender de suas
sábias e criativas lições. É detentora do Prêmio Jabuti (2018), na categoria "fomen-
to à leitura" e sensível aos grandes desafios do momento atual. Essa fundação, por
meio de seu vice-presidente Fábio Barbosa (e de toda a sua inteligente e devotada
equipe), soube segurar esta obra com garra e determinação, ainda a tempo de edi-
tá-la no momento crucial do risco de se perder no esquecimento.

Gratidão a Angela Cristina Dannemann, talentosa superintendente do Itaú Social e

possuidora de ampla formação acadêmica na Engenharia Química e na Administração,
bem como estudiosa da avaliação de programas, destacando-se como uma das
fundadoras da Rede Brasileira de Monitoramento e Avaliação (RBMA) e membro da
American Evaluation Association (AEA). Ângela tem sido uma brilhante gestora na
missão de integrar os componentes educacionais e sociais, com competência e sen-
sibilidade. Tendo estudado com profundidade esta obra em sua fase de experimen-
tação, se entusiasmou por ela até o momento em que, com incomparável firmeza
profissional, assegurou a conquista de sua presente edição.

Gratidão especial aos membros da equipe do Itaú Social, que estiveram mais pró-
ximos de nós nas complexidades da edição destes cadernos, assegurando sua
plena realização com incansável vigilância. São eles: Patrícia Mota Guedes (ge-
rente da área de Pesquisa e Desenvolvimento), Paula Rafaela Ferreira Barbosa
(analista de Avaliação e Prospecção), Alan Albuquerque R. Correia (coordenador
de Comunicação), Rodrigo Souza Silva (analista de Comunicação), João Henrique
Belo Evangelista (ilustrador, Tropical Design Club), Bianca Lopes, Daniel Gonçalves
Barbosa e Gustavo Elias Siqueira (digitação e revisão ortográfica), Marcelo Batista
e Ricardo Donato (diagramação e projeto gráfico, Tropical Design Club), Patrícia
Logullo (revisão ortográfica), Tatiane Vicente Brites (analista de Comunicação) e
Vanessa Milani Sgreccia (advogada).

Gratidão ao UNICEF (Fundo das Nações Unidas para a Infância), na pessoa admi-
rável de seu representante no Brasil, o norte-americano John Donohue. Em 1986,
ele solicitou aos autores desta obra a realização de um estudo avaliativo, em nível
nacional, para detectar o impacto dos programas alternativos para "Meninos de
Rua" então vigentes no país. Esse estudo, de resultados relevantes, foi a matriz
geradora da presente obra.

→ Avaliação de programas socioeducacionais

9
→ Apresentação: a palavra dos autores ←

Gratidão aos excepcionais profissionais do UNICEF, que impulsionaram toda a

ação dos três autores no estudo e no desenvolvimento da obra. Entre esses profis-
sionais, destacamos Cesare De Florio La Rocca, italiano de origem que abraçou o
Brasil, sendo o fundador e presidente do projeto Axé na Bahia. Esta, por sua vez, é
uma incomparável organização de desenvolvimento da juventude baiana em situ-
ação vulnerável de vida. Destacamos, também, Vitória Rialp, brilhante consultora
filipina, que acompanhou, com total dedicação e confiança, a trajetória do estudo
e de suas consequências.

Gratidão especial a alguns profissionais que se aliaram aos autores para contribuir
com sua competência acadêmica, generosidade e seu entusiasmo para o estudo
avaliativo original que precedeu esta obra. Foram eles: William E. Myers, na publica-
ção de um excelente artigo de apreciação crítica sobre a metodologia utilizada no
estudo (inserido em um livro editado por ele); John Henry Stone, por sua inspirada
consultoria na criação de um sistema nacional de capacitação a distância (SINCAD),
que visaria a utilização da presente obra, e pela versão inglesa do Relatório Final do
estudo avaliativo; Vilma Leticia Guerrero de Tijiboy, pela sua cuidadosa e responsável
pela versão em espanhol do referido relatório; Maria Regina de Paiva Penna Firme,
psicanalista, por sua sagacidade e sensibilidade nas situações críticas de interpre-
tação dos resultados; Miltes Santa Cruz, coordenadora do projeto "Alternativas de
atendimento a meninos de rua", que, com sua valiosa equipe, prestou incondicional
apoio durante o processo avaliativo; Willy Besold, oficial de programação e planeja-
mento do UNICEF, ao prestar relevante assistência à equipe de avaliação.

Gratidão aos líderes de projetos sociais e educacionais, professores e alunos de

ensino médio e universitário e nossos colegas de profissão, que analisaram e/ou
puseram em prática, com sucesso, a metodologia de avaliação apresentada na
obra, oferecendo valioso feedback em termos de uma crítica construtiva e su-
mamente apreciativa. Isso nos proporcionou contínua reformulação e, sobretudo,
persistência na consecução do trabalho.

Gratidão à Fundação Roberto Marinho, na pessoa de Vilma Guimarães, criadora e

difusora nacional (e com repercussão internacional) da Metodologia da Teleaula e
que, como gerente geral de Educação e Implementação, com sua corajosa equipe,
ofereceu ampla e significativa oportunidade para a aplicação prática das ideias
contidas na presente obra, apoiando (de modo profissional e pessoal) seus autores.

Avaliação de programas socioeducacionais ←

10
→ Apresentação: a palavra dos autores ←

Gratidão à Fundação CESGRANRIO, Instituição Educacional de renomada atuação

e alta credibilidade no campo da avaliação, com expansão para o desenvolvimento
cultural e social na pessoa admirável de seu presidente, Carlos Alberto Serpa de
Oliveira. Brilhante educador e gestor de formação generalista na ciência, nas hu-
manidades, na cultura e na espiritualidade que, com sua excelente equipe, soube
generosamente facilitar e incentivar a realização da obra.

Gratidão ao GIFE (Grupo de Institutos, Fundações e Empresas), por seu apoio à

divulgação desta obra.

Gratidão a Rosa Maria de Oliveira Freitas, nossa fiel, competente e incansável se-
cretária, ao prestar contínuo e substancial apoio técnico e pessoal aos autores e à
obra. Também somos gratos a Márcia Thiry Penna Firme, jornalista, ao emprestar
generosamente sua capacidade crítica em vários momentos da leitura do texto.

Gratidão aos nossos familiares e amigos que, em toda a jornada, torceram por nós
e rezaram para que chegássemos à culminância da missão.

Finalmente e talvez a mais afetuosa e significativa gratidão aos que, sendo os me-
nores, são nesta obra, os maiores, ou seja, os meninos e meninas de rua, aqueles
em situação de risco, que nos deixaram ver de perto seus ideais, suas lutas, seus
erros, seus acertos, suas decepções, suas tristezas, suas alegrias e seus sonhos.
Assim, foi possível compreendê-los para criar métodos de avaliação que, com res-
peito, afeto e acolhimento, os estimulassem a pensarem como avaliadores. Tal
experiência se alinha com o proposto pelo universalmente consagrado avaliador
Michael Quinn Patton, em sintonia com a formação da consciência crítica defendi-
da pelo inigualável patrono da educação brasileira, Paulo Freire, o que fundamenta
a ação dos "educadores de rua".

Por fim, queremos demonstrar nossa gratidão a Deus – Pai, Filho e Espírito Santo,
em união com Nossa Senhora Mãe. Que, independente das crenças, haja sempre
fé e proteção para nossas crianças e nossos jovens.

Os autores

→ Avaliação de programas socioeducacionais

11
→ Apresentação: a palavra dos autores ←

Avaliação de programas socioeducacionais ←

12
→ Apresentação: a palavra dos autores ←

A PALAVRA DOS
AUTORES
Apresentação dos cadernos

Estamos colocando, à disposição dos interessados, sete cadernos que formam o

conjunto "Avaliação de programas socioeducacionais: como enfocar e pôr em
prática — uma alternativa naturalística". Esse material visa à capacitação em
avaliação de um maior número de pessoas interessadas na questão fundamental
dos direitos e do atendimento a crianças e adolescentes, especialmente aqueles
em situação de risco. Por constituírem uma imensa população injustamente atin-
gida, torna-se urgente desencadear ações políticas educacionais e sociais efetivas,
que reduzam drasticamente a grave incidência de violação de direitos individuais
e sociais.

A quem se destinam

Embora nosso foco de atenção sejam os programas sociais voltados para tais gru-
pos de risco, o conhecimento aqui apresentado poderá ser utilizado por qualquer
programa socioeducacional preocupado com a formação de indivíduos e grupos
humanos, ou seja: as lições extraídas deste contexto terão significado para um
campo muito mais amplo do que aquele específico das crianças e dos jovens víti-
mas da exclusão.

→ Avaliação de programas socioeducacionais

13
→ Apresentação: a palavra dos autores ←

É relevante e crucial desenvolver, com as próprias crianças e adolescentes, um

processo participativo de construção de uma nova realidade, dentro da qual eles
sejam, de fato, seres humanos e não meros objetos minimizados, explorados e vio-
lentados. É vital que, desde cedo, o menino(*) aprenda a ser pessoa num mundo
que, aos poucos, ele vai construir em meio ao seu próprio processo de crescimento.
Um esforço neste sentido será, sem dúvida, um investimento social e político de
grande envergadura. Acreditamos que, só assim, uma nova nação possa ser cons-
truída: a partir dessa imensa maioria que vivencia o abandono que, paradoxalmen-
te, se perpetua pela própria educação.

Entendendo que os programas sociais devam ser eminentemente educativos em

relação à criança e ao adolescente, estamos convictos de que esses mesmos pro-
gramas sejam um espaço para a reeducação dos próprios adultos que educam.
Isso implica na transformação de um relacionamento tradicional, de um "maior"
que se impõe sobre um "menor" para um outro tipo de relação entre "parceiros",
"amigos" ou "colegas". É o relacionamento de cumplicidade em que jovens e adul-
tos se comprometem na construção de um mundo mais justo, mais humano, mais
democrático, mais digno de se viver.

Nesse processo de reeducação, a imagem do que "tudo sabe e tudo pode" desapa-
rece para dar lugar ao surgimento de uma nova postura, na qual desaprendemos
modos tradicionais de opressão e desenvolvemos estratégias flexíveis e sensíveis,
que possam nutrir o processo de crescimento individual e social. A reeducação
que propomos é uma nova descoberta, uma autoaprendizagem de uma nova re-
lação de poder. Nela, tanto informações como decisões são compartilhadas. É o
poder que se estende até o outro, facilitando a travessia de margem a margem. É
o poder-ponte, visando o poder social maior, que é o poder integrativo (May, 1981).

A avaliação, por ser a expressão do juízo de valor por excelência — e por isso, fun-
damentalmente, um elemento de poder — terá que, consoante com essa reeduca-
ção de que falamos, imbuir-se de um novo papel. Isso significa socializar o poder
entre todos os interessados, levando em consideração as preocupações de cada
um, respeitando critérios diversos ao julgar e buscando respostas às diversas in-
dagações emergentes. A avaliação, então, assume um papel responsivo, compro-
metida com a construção de uma justa sociedade.

}}
(*) nestes cadernos utilizaremos, alternadamente, os termos "menino", "menina",
"criança", "adolescente" e "jovem". Qualquer um deles inclui os demais.

Avaliação de programas socioeducacionais ←

14
→ Apresentação: a palavra dos autores ←

→ Avaliação de programas socioeducacionais

15
→ Apresentação: a palavra dos autores ←

Avaliação de programas socioeducacionais ←

16
→ Apresentação: a palavra dos autores ←

Por que crianças e jovens

em situação de risco?
Foi para essas pessoas, que vivem o dia a dia dos programas, que estes textos fo-
ram escritos. E vale a pena recordar aqui um fato importante a esse respeito. Em
1986, o UNICEF, preocupado em saber quais transformações estavam ocorren-
do com as crianças e com os adolescentes que frequentavam os programas de
atendimento alternativo a meninos de rua, solicitou nossa colaboração para en-
contrar esta resposta. Um estudo avaliativo (Penna Firme, Tijiboy e Stone, 1986)
foi conduzido, e os resultados, positivos e esperançosos, foram compartilhados
com os programas envolvidos no estudo. Estes, por sua vez, levariam a mensa-
gem a todos os outros. Nessa devolução, os programas, surpreendentemente,
trouxeram um novo desafio ao UNICEF, ou seja: o trabalho não estaria concluído
até que a mesma equipe de avaliadores lhes entregasse uma visão mais acessível
e didática de como fazerem também, eles mesmos, aquela avaliação nos seus
próprios programas. E foi isto que tentamos fazer aqui.

Vários representantes de programas e entidades governamentais e não governa-

mentais da Bahia, de Pernambuco, de Alagoas e de Goiás, com o apoio do UNICEF,
participaram do teste de cada um dos cadernos. Com críticas e comentários rele-
vantes, ajudaram a corrigi-los e aperfeiçoá-los. A todos eles, nosso especial agra-
decimento. Esta crítica pode, contudo, continuar na medida em que os programas
os utilizarem na sua prática.

Na experiência de verificação, observamos que os cadernos podem ser estudados

individualmente ou em pequenos grupos. Notamos, também, que seu conteúdo
adquire maior significado quando a leitura desse conjunto é precedida de algumas
reflexões sobre a realidade em que a criança e o adolescente estão inseridos. O
propósito dessas reflexões é trazer à tona a percepção de mundo e de homem que
os participantes dos programas sociais possuem, para que, a partir daí, uma tra-
jetória (na qual os esforços dos programas sociais adquiram sua maior relevância)
possa ser coletivamente construída.

→ Avaliação de programas socioeducacionais

17
→ Apresentação: a palavra dos autores ←

Neste sentido, os cadernos não são neutros. Eles estão comprometidos com trans-
formações que dignifiquem tanto a criança e o adolescente quanto os adultos com
eles envolvidos, como seres humanos participantes de um processo permanente
de aperfeiçoamento da construção de seu ideal de mundo e de homem. Com esse
quadro de referência extraído dos próprios participantes dos programas, os ca-
dernos podem ser utilizados um a um, no ritmo dos leitores e dos grupos. Isso
é importante para dar oportunidade de reflexão sobre o conteúdo, em relação à
prática de cada um. É um processo que não pode ser apressado nem cobrado com
inflexibilidade, sob o risco de ser mutilado.

Sobre os cadernos

Assim, estes cadernos sobre avaliação não devem ser tomados como receituário,
como um modelo acabado ou como normas que devem ser seguidas à risca. É por
isso mesmo que eles são chamados cadernos, pois, além das ideias e propostas
que aqui estão registradas, sabemos que outras páginas poderão ainda ser escri-
tas na construção de uma estratégia de avaliação para os programas socioeduca-
cionais. Como "caderno", cada um deles convida os participantes dos programas
a rabiscarem suas próprias ideias, adaptando-as à sua própria realidade e, mais
ainda, criando sua própria estratégia de avaliação. Se isso acontecer de verdade,
nós, autores desta versão, nos sentiremos gratificados.

Sobre conteúdo e formato

É em função desse propósito que a apresentação do conteúdo vem em forma de

diálogo entre pares, que convivem com os êxitos e as dificuldades de um progra-
ma social de atendimento a crianças e adolescentes. Mais ainda, o perfil destes
personagens foi extraído de situações reais nesses programas. Esses personagens
existem, de fato. Também a sequência dos temas nos cadernos, além de ser um
encadeamento lógico do conteúdo maior da avaliação, é apresentada de modo a
garantir um ir e vir, um entrelaçamento constante entre teoria e prática. Os títulos
desses cadernos sugerem essa sequência, fluindo de um modo natural, ou seja:

Avaliação de programas socioeducacionais ←

18
→ Apresentação: a palavra dos autores ←

(1) Abrindo o diálogo: o que significa a avaliação?

(2) A conversa continua: que rumo tomar?

(3) Enxergando o alvo: como questionar?

(4) Rumo ao campo: a travessia.

(5) No campo: coletando as informações.

(6) Voltando do campo: construindo a resposta e dando a notícia.

(7) Atuando como avaliador profissional: iluminação não tem fim.

O formato do caderno, por sua vez, procura ser coerente com essa situação de des-
coberta e, assim, abre a leitura com questões orientadoras que, além de sugerirem
o conteúdo, buscam estimular a procura de respostas no texto. A última dessas
questões é destacada para que cada leitor se posicione frente ao tema, em relação
a sua própria experiência. Acreditamos que, ao formular sua própria expectativa,
surja para o leitor um compromisso pessoal com sua aprendizagem.

Em continuação, com exceção do caderno 1, é apresentado um resumo do caderno

anterior, para facilitar a retomada de aspectos essenciais e garantir a sequência lógi-
ca dos conteúdos. Logo vem o conteúdo novo, expresso em forma de diálogo e com
linguagem predominantemente coloquial, que, intencionalmente, procura suavizar o
fardo de conceitos e explicações teóricas e técnicas. Esta é a parte mais substancial
do caderno, e que corresponde ao seu título.

O que se segue é um resumo deste conteúdo principal, e aí sim, com a denomi-

nação de "em outras palavras", é utilizada uma linguagem mais técnica, que bus-
ca enfatizar os aspectos teóricos que permearam o texto. Apresentado assim, de
modo coloquial e de modo técnico, o conteúdo poderá satisfazer diferentes tipos
de interesses com mais facilidade.

Finalmente, são apresentados exercícios relacionados ao conteúdo teórico-prá-

tico do caderno, dando oportunidade de uma autoavaliação da aprendizagem.
Uma folha de respostas é anexada e seguida de um gabarito que, embora indi-
que as respostas mais adequadas, admite que o leitor possa discordar dele com
base em sua experiência e da realidade em que atue.

→ Avaliação de programas socioeducacionais

19
→ Apresentação: a palavra dos autores ←

AVALIAÇÃO DE AVALIAÇÃO DE
PROGRAMAS PROGRAMAS
SOCIOEDUCACIONAIS SOCIOEDUCACIONAIS
COMO ENFOCAR E COMO ENFOCAR E
PÔR EM PRÁTICA PÔR EM PRÁTICA
Uma alternativa naturalística Uma alternativa naturalística

APRESENTAÇÃO: ABRINDO O DIÁLOGO:

A PALAVRA DOS AUTORES O QUE SIGNIFICA AVALIAÇÃO?

Thereza Penna Firme Thereza Penna Firme

Juan Antonio Tijiboy Juan Antonio Tijiboy
Vathsala lyengar Stone Vathsala lyengar Stone

AVALIAÇÃO DE AVALIAÇÃO DE
PROGRAMAS PROGRAMAS
SOCIOEDUCACIONAIS SOCIOEDUCACIONAIS
COMO ENFOCAR E COMO ENFOCAR E
PÔR EM PRÁTICA PÔR EM PRÁTICA
Uma alternativa naturalística Uma alternativa naturalística

A CONVERSA CONTINUA: ENXERGANDO O ALVO:

QUE RUMO TOMAR? COMO QUESTIONAR?

Thereza Penna Firme Thereza Penna Firme

Juan Antonio Tijiboy Juan Antonio Tijiboy
Vathsala lyengar Stone Vathsala lyengar Stone

Avaliação de programas socioeducacionais ←

20
→ Apresentação: a palavra dos autores ←

AVALIAÇÃO DE AVALIAÇÃO DE
PROGRAMAS PROGRAMAS
SOCIOEDUCACIONAIS SOCIOEDUCACIONAIS
COMO ENFOCAR E COMO ENFOCAR E
PÔR EM PRÁTICA PÔR EM PRÁTICA
Uma alternativa naturalística Uma alternativa naturalística
NO CAMPO:
RUMO AO CAMPO:
COLETANDO AS INFORMAÇÕES
A TRAVESSIA

Thereza Penna Firme Thereza Penna Firme

Juan Antonio Tijiboy Juan Antonio Tijiboy
Vathsala lyengar Stone Vathsala lyengar Stone

AVALIAÇÃO DE AVALIAÇÃO DE
PROGRAMAS PROGRAMAS
SOCIOEDUCACIONAIS SOCIOEDUCACIONAIS
COMO ENFOCAR E COMO ENFOCAR E
PÔR EM PRÁTICA PÔR EM PRÁTICA
Uma alternativa naturalística Uma alternativa naturalística

VOLTANDO DO CAMPO: ATUANDO COMO AVALIADOR PROFISSIONAL:

CONSTRUINDO A RESPOSTA E DANDO A NOTÍCIA ILUMINAÇÃO NÃO TEM FIM

Thereza Penna Firme Thereza Penna Firme

Juan Antonio Tijiboy Vathsala lyengar Stone
Vathsala lyengar Stone

→ Avaliação de programas socioeducacionais

21
→ Apresentação: a palavra dos autores ←

Uma visão geral da avaliação

Por tudo o que aqui foi escrito, é possível perceber que a avaliação proposta nestes
cadernos difere de concepções mais antigas de avaliação, sem contudo negá-las.
Ela adquire, porém, suas próprias características e seu significado em concepções
teóricas mais atualizadas e consoantes com o momento dinâmico de transforma-
ções sociais e políticas.

Os cadernos são impregnados por paradigmas emergentes, que se voltam para a

captação da realidade como um todo, integrado em suas múltiplas facetas e em
seus diversificados momentos. Divergente em suas várias formas e definido numa
visão não fragmentada em "variáveis", mas holístico na sua harmonização. Nessa
postura, que aqui chamamos "naturalística" (Guba e Lincoln, 1981), a sensibilidade
social expressa na subjetividade humana é incorporada e tratada com seriedade,
como fator sumamente relevante. No mesmo enfoque, diferenças e dissensões
são consideradas elementos integrativos do processo dinâmico de uma realidade.
Olhando-a dessa maneira, a avaliação se ergue como uma ponte que estabelece
transposições e ligações entre uma realidade e outra, contribuindo para a constru-
ção de novas realidades emergentes na busca de um entendimento cada vez mais
completo e profundo. Neste sentido, este paradigma é dialético em sua dinâmica
metodológica (Freire, 1974), na medida em que envolve a união de ideias confli-
tantes entre si, provocando a reconsideração de posições anteriores por meio de
momentos substanciais e críticos de negociação. É hermenêutico por sua constan-
te busca de novos e mais avançados paradigmas, construindo-os pelas sucessivas
interpretações dos anteriores (Guba e Lincoln, 1989).

Ele compartilha o poder e dá ensejo ao fortalecimento e à autodeterminação das

pessoas envolvidas, capacitando-as, iluminando-as, defendendo-as, libertando-
-as e facilitando a busca de suas aspirações (Fetterman e Wandersman, 2005).

Esta é a nossa mensagem. É a nossa postura. Não é feita de ideias estanques e

atitudes rígidas, mas sim de concepções, pensamentos e sentimentos que, com-
pondo a nossa construção, vão entrar em contato direto com os de cada leitor, na
busca de outra construção melhor ainda. Todas estarão em conjunto, para se en-
contrar o caminho de um novo mundo, com um homem novo.

Entendemos, finalmente, que isso só será digno se as crianças e os adolescentes

estiverem no cerne desta descoberta.

Avaliação de programas socioeducacionais ←

22
→ Apresentação: a palavra dos autores ←

→ Avaliação de programas socioeducacionais

23
→ Apresentação: a palavra dos autores ←

Os autores

Thereza Penna Firme, Juan Antonio Tijiboy e Vathsala lyengar Stone, autores des-
te conjunto de cadernos e na qualidade de consultores do UNICEF, realizaram o
estudo avaliativo sobre o impacto de programas sociais em crianças e jovens em
situação de risco no Brasil, o qual deu origem à elaboração dos referidos cadernos.

Thereza Penna Firme

Carioca, professora, pesquisadora e psicóloga, com especial for-

mação em avaliação. Formada em magistério primário (Instituto
de Educação, RJ) e psicologia clínica (Pontifícia Universidade
Católica do Rio de Janeiro), obteve mestrado em Psicologia
Educacional (University of Wisconsin, Estados Unidos da América,
EUA), mestrado em Educação (Stanford University, EUA) e douto-
rado (Ph.D) em Educação e Psicologia da Criança e do Adolescente
(Stanford University, EUA).

Exerceu o magistério no ensino fundamental e médio nas esco-

las públicas do Rio de Janeiro, com destaque para o ensino re-
ligioso, e superior na Pontifícia Universidade Católica do Rio de
Janeiro (PUC-RJ), nas Universidades Federais do Rio Grande do
Sul (UFRGS) e do Rio de Janeiro (UFRJ). Tem quarenta anos de ex-
periência nacional e internacional em avaliação, como consultora
e renomada conferencista, junto a instituições públicas, privadas
e órgãos nacionais (Ministério da Educação, secretarias, gover-
nos estaduais e municipais, instituições de radiodifusão educati-
va, Fundação Roberto Marinho) e internacionais como o Governo
de El Salvador, USAID (US Agency for International Development),
OEA (Organização dos Estados Americanos), Banco Mundial,
BID (Banco Interamericano de Desenvolvimento), Organização
Panamericana de Saúde, UNESCO E UNICEF. Fundou o Núcleo de
Estudo e Ação sobre o Menor (NEAM) da PUC-RJ, com a colabora-
ção de Marina Lemette Moreira. Aposentada pela UFRJ, vem atu-
ando como coordenadora do Centro de Avaliação da Fundação
CESGRANRIO. Recebeu recentemente a Medalha Carioca de
Educação. Foi eleita, por unanimidade, ganhadora do título de
"Educador do Ano de 2018" pela Academia Brasileira de Educação.

Avaliação de programas socioeducacionais ←

24
→ Apresentação: a palavra dos autores ←

Juan Antonio Tijiboy

Salvadorenho de origem, naturalizado brasileiro, professor e pes-

quisador com formação em ciências da educação (Universidad
Autónoma de El Salvador), e educação de adultos, na Alemanha.
Obteve mestrado e doutorado (Ed.D) em Educação Internacional
para o Desenvolvimento (Stanford University, EUA).

Exerceu magistério no ensino fundamental e médio nas escolas

públicas e particulares de El Salvador, e atuou por mais de trinta
anos como professor de ensino superior em educação no Brasil
(na UFRGS). Tem mais de trinta anos de experiência profissional li-
gada ao planejamento, administração e avaliação. Em El Salvador,
contribuiu substancialmente para a Reforma Educacional do país,
com destaque na direção da educação básica e secundária, na su-
pervisão escolar, na avaliação e utilização da televisão educativa.
No Brasil, desenvolveu o programa de educação rural, dedican-
do-se ao processo de transformação no meio rural em municípios
do Rio Grande do Sul e criando o Núcleo de Estudos de Educação
Municipal na UFRGS. É autor dos livros: "Educação, Ecologia e
Desenvolvimento Municipal", "O Jogo do Poder: usos e abusos –
por uma educação política" e "Reeducacion urgente: desarrollar
competencias para un mundo en transformación" bem como de
vários artigos e trabalhos em educação. Foi consultor junto a ór-
gãos nacionais (Ministério da Educação, secretarias estaduais e
municipais de Educação, instituições de radiodifusão educativa,
Fundação Roberto Marinho e Fundação CESGRANRIO) e interna-
cionais (BID, University of British Columbia, no Canadá, e UNICEF).
Aposentado pela UFRGS, tornou-se consultor autônomo para ins-
tituições e programas em avaliação e planejamento.

→ Avaliação de programas socioeducacionais

25
→ Apresentação: a palavra dos autores ←

Vathsala lyengar Stone

Indiana, professora e pesquisadora com dupla formação em ci-

ências físicas e educação. Obteve mestrado em educação para
as ciências (North Carolina State University, EUA) e doutora-
do (Ph.D) em metodologia de pesquisa e avaliação educacional
(Florida State University, EUA). Exerceu magistério no ensino mé-
dio na Índia e atuou, por dezessete anos, em instituições brasi-
leiras como o Instituto de Pesquisas Espaciais em São José dos
Campos (SP) e universidades federais do Espírito Santo (UFES) e
do Maranhão (UFMA) como docente em pesquisa e avaliação. Na
UFMA, foi professora titular em educação. Tem mais de quarenta
anos de experiência em avaliação e tecnologia educacional. Foi
consultora junto a órgãos nacionais, como Ministério da Educação,
secretarias de Educação, sistemas teleducativos, instituições
de radiodifusão educativa, Fundação Roberto Marinho, CAPES
(Coordenação de Aperfeiçoamento de Pessoal de Nível Superior),
ABT (Associação Brasileira de Tecnologia Educacional) e Fundação
CESGRANRIO, e internacionais (BID, UNESCO, University of British
Columbia, no Canadá, e UNICEF), contribuindo de modo significa-
tivo para projetos multidisciplinares, em sintonia com sua forma-
ção humano-científica. É autora de trabalhos e publicações em
avaliação e tecnologia educacional. Atualmente aposentada pela
Universidade de Nova York em Buffalo, como diretora de pesqui-
sa de um de seus programas voltados para pessoas portadoras
de deficiências, no Centro de Tecnologia Assistiva.

Referências bibliográficas:

1. Guba, E. G. e Lincoln, Y. S. (1981). Effective Evaluation. San Francisco, Jossey-Bass Publishers.

2. Guba, E. G. e Lincoln, Y. S. (1989). Fourth Generation Evaluation. Thousand Oaks, CA: Sage.
3. Fetterman, D.M. e Wandersman, A. (2005). Empowerment Evaluation — Principles Practice.
New York: The Guilford Press.
4. Freire, P. (1974). Pedagogia do Oprimido. Paz e Terra.
5. May, R. (1981). Poder e Inocência, Rio de Janeiro: Zahar.
6. Penna Firme, T., Stone, V.I. e Tijiboy, J.A. (1986). A Avaliação do Impacto de Programas
Alternativos de Atendimento nos Meninos de Rua. Relatório para UNICEF, não publicado.

Avaliação de programas socioeducacionais ←

26
Realização Apoio