UNIVERSIDADE DE BRASILIA

FACULDADE DE EDUCAÇÃO
DEP. DE PLANEJAMENTO E ADMISTRAÇÃO – PAD

Disciplina: Avaliação nas Organizações Educativas

Prof.a Dra.: Girlene Ribeiro de Jesus
Discente: Jessica Andreina García Sodoma Fonseca – 18/0076108. Turma: 01A

FICHAMENTO TEXTUAL
Referência bibliográfica:
Texto: Cap. 2 – Avaliação de programas: definição, tipologias e etapas para sua
elaboração, p. 41 a 72. Referência: JANUZZI, P. de M. Monitoramento e avaliação de
programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.

Intepretação da leitura do texto:

O objetivo do capitulo é apresentar a definição, os tipos e fases que envolve a

elaboração de avaliações de programas que forneçam informações sobre as demandas
sociais e o público que será beneficiado, sua execução, assim como, os resultados e
impactos dos mesmos; frisando na importância de escolher adequadamente o método
de avaliação que será utilizado de acordo com objetivos previamente esclarecidos; isto
porque a escolha errônea podem obviar aspectos importantes do programa, e fornecer
informações fora de contexto que viram a influencia-lo futuramente.
O capítulo apresenta primeiramente uma introdução sobre a implementação de
avaliações de programas, e está dividido em seis tópicos.
➢ O primeiro tópico Avaliação de programas: uma definição operacional,
explana sobre as diversas definições que são encontradas na literatura
especializada de acordo com os diferentes referenciais teóricos e vertentes de
pesquisas em diversas áreas nomeadas pelo autor como Ciências Sociais,
Economia e Administração Pública; trazendo uma definição mais pragmática.
➢ O segundo tópico Tipologia de programas: o essencial a saber; aqui o autor
descreve os diferentes tipos de avaliação e suas características.
➢ O terceiro tópico Avaliação segundo o ciclo de programas. Januzzi (2016)
aqui apresenta a organização de avaliação de programas sociais de acordo com
 Rossi et al. (2004), considerando a classificação de acordo com as informações
necessárias para cada etapa em que o programa se encontra.
➢ O quarto tópico Avaliação segundo a natureza do produto da pesquisa.
Neste tópico o autor expõe outra forma menos utilizada para classificar as
avaliações de acordo com o modelo enquanto produto e explicitando cada uma
delas: Relatório-Síntese; Estudos Avaliativos; Meta-avaliações; Pesquisa de
Avaliação.
➢ O quinto tópico traz as Etapas para especificação e realização de uma
pesquisa de avaliação. Neste tópico o autor conceitua as seis etapas necessárias
para a execução de uma pesquisa de avaliação: 1. Estudo de avaliabilidade do
programa; 2. Concepção e delimitação do escopo da avaliação; 3. Desenho e
especificação metodológica da pesquisa; 4. Condução do trabalho de
pesquisa documental e/ou de campo; 5. Análise de dados da pesquisa e
discussão de achados com a equipe do programa; 6. A produção de relatório
e disseminação de resultados.
➢ O sexto tópico Mapa de processos e resultados na especificação de uma
pesquisa de avaliação, explana-se a importância do uso deste instrumento que
mostrará informações valiosas auxiliando na escolha dos estudos a serem
realizados para gerar informações sobre determinado programa em todas as
etapas do seu ciclo.

Ideias principais do texto:

Avaliação de programas: uma definição operacional:

Primeiramente o autor apresenta uma definição mais geral, colocando a avaliação de
programas como um item que constitui a analises de políticas públicas; também como
um recurso de sistemas de monitoramento e avaliação de programas governamentais.
Já de forma mais restrita, a coloca como um modo específico de investigação empírica
em relação a programas e projetos sociais.
Já de maneira mais pragmática, diz respeito ao trabalho analítico de gerar informação
e conhecimento para a criação, implementação e validação de programas e projetos
sociais através de procedimentos interdisciplinares da pesquisa social procurando
aperfeiçoar a gestão das ações bem seja, na execução das metas (eficácia), na
perdurabilidade e abrangência dos seus impactos – público-alvo e alcance social –
(efetividade), ou nos custos ajustados à escala e complexidade da intervenção
(eficiência) (JANUZZI, 2016). Assim, o objetivo da avaliação é conseguir gerar
indicadores, reunir informações, e organizar estudos que favoreçam na melhoria e
cumprimento dos objetivos de programas e projetos sociais.

Tipologia de programas: o essencial a saber:

Para as avaliações de programas públicos ou autor traz algumas classificações
essenciais. Primeiro, de acordo com o momento da implementação em relação ao
programa: avaliação ex ante; feita antes de começar o programa, e tem como finalidade
identificar o público-alvo e enquadramento do problema social que será o ponto central
de dita intervenção. Já a avaliação ex post, refere-se aos câmbios ocorridos com
referente ao grupo-alvo e a estimativa de resultados possíveis do programa; sendo este
uma análise comparativa. Relativo à avaliação de processos, este seria orientada para
exame de rotinas operacionais do programa para determinar obstáculos ou problemas
na implementação (COHEN; FRANCO, 1994 apud JANUZZI, 2016).
O autor também cita Imas e Rist (2009), trazendo sua classificação de avaliações em
prospectivas, que examinam a viabilidade do sucesso do programa, de acordo com a
proposta de desenho coerente de atividades e pessoas envolvida. As formativas buscam
quais dificuldades possa ter a implementação do programa, tendo como objetivo
produzir elementos necessários para soluciona-los; já as avaliações somativas buscam
observar os resultados e impactos do programa, com o intuito de avaliar
meritoriamente, se deve continuar ou não o programa.
Outra categoria de avaliação é de acordo com o agente avaliador do programa. Podendo
ser uma avaliação externa. Neste caso, agentes externos podem, em teoria, garantir
neutralidade técnica no que se refere ao gerenciamento do estudo avaliativo do
programa em comparação com uma equipe de avaliação interna, no entanto, nem
sempre reúnem essas qualidades necessárias de independência, habilidades técnicas,
idoneidade ou não possuem uma perspectiva interdisciplinar de avaliação de programas
que garanta a credibilidade pretendida sobre os resultados aos gestores e técnicos
envolvidos no programa. Também encontramos a avaliação interna, normalmente as
equipes internas tem conhecimentos das problemáticas encontradas nos programas,
porém, necessitam de apoio técnico de especialistas e de pesquisas de campos para
compreender qual as causas e quais procedimentos a serem tomados para soluciona-
los. As avaliações de equipes mista assegura a cooperação dos conhecimentos entre a
gestão dos agentes internos e a expertise da equipe externa, sendo mais conveniente
devido às demandas que a avaliação requer e também, a autenticidade dada pelo
envolvimento dos agentes internos. Finalmente a avalições participativa, leva este
nome porquê pode ter participação direta ou de certo grau de participação do público-
alvo e dos agentes avaliadores no método de arrecadação e organização de dados. Este
procedimento é utilizado quando se quer o envolvimento de todos – beneficiários,
usuários e técnicos- em prol do cumprimento das metas do programa.

Avaliação segundo o ciclo de programas:

Nesta tipologia de avaliação o autor cita a Rossi et al (2004); e explica que apesar de
ser um tipo menos conhecido, é bastante interessante para a estruturação de programas
sociais; sendo categorizada de acordo as necessidades de informação para a fase em
que o programa se encontra no seu ciclo de vida; desta forma, deve-se fazer um
planejamento de estudo integral, que acompanhe o ciclo do programa começando pelo
diagnóstico de conformidade do programa na Agenda de Políticas Públicas, começando
então com uma Avaliação de Demandas Sociais ou Avaliação Diagnóstica que
ajudará a saber se há uma demanda social de fato requeira a proposta do programa. De
ser assim, é preciso analisar a mudança social ou o modelo de intervenção que
fundamenta o programa – Avaliação de Desenho – que verificará se essa proposta é a
melhor para determinada demanda em comparação de outras propostas. Depois dessa
etapa, é conveniente passar para a Avaliação de Processo para compreender os quais
os problemas mais sérios que prejudicam o programa e o cumprimentos das metas.
Após comprovação de que não há problemas consideráveis para a sua implementação,
deve ser avaliado os resultados existentes para a população que se verá beneficiada, e
a repercussão mais abrangente na sociedade pelo programa, por meio de a Avaliação
de Resultados e Impactos. Com a comprovação das etapas mencionadas anteriormente,
deve passar, então, para a Avaliação da Eficiência ou de Custo-Efetividade informará
se o custo do programa ampara todo o projeto ou se os impactos sociais atingidos são
maiores que os de outras propostas de intervenção.
Avaliação segundo a natureza do produto da pesquisa: de acordo com Januzzi
(2016)
Relatório-Síntese: conjunto de textos e tabelas que sintetizam indicativos de resultados
de programas e políticas, com a finalidade de difundir publicamente de forma mais
ampla.
Estudos Avaliativos: Provenientes de análises fundamentados em dados secundários,
pesquisas realizadas anteriormente ou material documental sobre a temática.
Meta-avaliações: Dispõem evidencias sobre diferentes ângulos no que concerne ao
desenho, execução e resultados do programa.
Pesquisa de avaliação: São trabalhos avaliativos que compreendem levantamentos
empíricos primários, qualitativos ou quantitativos, planejadas com o intuito de gerar
evidências características que normalmente não estão à disposição, mas que são
imprescindíveis ao desenvolvimento da intervenção.

Etapas para especificação e realização de uma pesquisa de avaliação:

A sua realização pode ser dividida em seis grandes fases:
1. Estudo de avaliabilidade do programa: que determina se será ou não feita a
avaliação e qual direção tomará nas etapas seguintes. Isto é, se deve ser realizada, ou
se pode fornecer dados importantes para o programa, ou se nessa fase do programa
fundamenta a necessidade de um trabalho investigativo mais amplo.
2. Concepção e desenho de pesquisa de avaliação: Começa com a delimitação dos
objetivos e determinação do foco da pesquisa de avaliação, que dependerá se o
programa é novo ou se já é implantado algum tempo, etc. Assim é preciso
primeiramente ter bem claro qual o foco da avaliação, procurando delimitar quais
elementos e características do programa serão avaliados.
3. Desenho da pesquisa e sua especificação: de acordo com o autor nesta etapa são
elaboradas as questões gerais que serão respondidas, os contextos territoriais ou
referenciais de interesse e os sujeitos que serão entrevistados. É fulcral a escolha da
técnica de coleta mais apropriada para responder às perguntas que serão realizadas, a
categoria e tamanho da amostra dos indivíduos ou instituições a serem pesquisadas, e
as questões éticas originadas levando em conta prazos e recursos à disposição.
4. Condução do trabalho de pesquisa documental e ou de campo: é uma etapa muito
séria no processo de planejamento da avaliação, sendo necessário cuidado e
rigorosidade técnica na sua gestão. Sendo preciso treinamento das equipes, pré-teste
dos materiais, preparação logística de coleta, supervisão de campo e posicionamento
crítico ante os dados coletados durante a pesquisa. Por outro lado, se a avaliação não
exige um trabalho de campo muito amplo, mas se fundamenta em um estudo avaliativo
de informações secundárias, aconselha-se igualmente um acompanhamento periódico
e muito próximo para que o pesquisador envolvido não oriente por razões secundárias,
desconsiderando as demandas da avaliação que guiaram em princípio o estudo.
5. Análise da pesquisa e discussão de achados com a equipe do programa: para esta
fase não é necessário culminar o trabalho de campo para ser iniciado, com isso em
mente a análise de evidencias coletadas com ainda a pesquisa de campo em andamento
pode determinar problemas potenciais de coleta, oportunizando a sua correção. Além
do mais, permite ponderar dados e testar hipóteses apontadas no momento da
concepção da pesquisa de avaliação e avançar trabalhos de análise que podem ser
reduzidos por atrasos no trabalho de campo ou pelos prazos de apresentação de
resultados à equipe que coordena o programa.
6. Produção de relatório de pesquisa e disseminação de resultados: Num primeiro
momento os resultados devem ser compartilhados com as equipes do programa de
avaliação e de pesquisa desde o começo do estudo, isto como uma boa táctica que de
maneira gradual irá a preparar a equipe do programa para o momento de introduzir os
resultados mais incisivos e negativos que podem aparecer ao final e obter aportes para
a compreensão dos resultados. O relatório deve ser compreensível e estruturado por
temas gerais ou em consonância com as perguntas de grande interesse da avaliação
tendo o intuito de facilitar que os resultados e os pontos relevantes sejam entendidos
pela equipe do programa, seus formuladores e operadores (IMAS E RIST, 2009 apud
JANUZZI, 2016). No que se refere a disseminação, é preciso ter diferentes planos para
difundir o trabalho; no texto se dão alguns exemplos como relatórios, resumos por e-
mail, videoconferências, sumários, tabelas e gráficos entre outros.

Mapa de processos e resultados na especificação de uma pesquisa de avaliação

(MaPR): Recurso que para o autor pode ser de muito valor para detectar e combinar o
conjunto de estudos que devem ser feitos para gerar dados e conhecimentos sobre um
programa em todas as suas etapas no seu ciclo de vida. Apresentando de maneira
esquemática seus principais procedimentos, de realização de atividades, aplicação de
recursos, entrega de produtos e produção de resultados e impactos, o MaPR mostra de
forma mais inteligível as demandas de estudos e trabalhos de pesquisa fundamentais
para garantir um desenho oportuno para uma intervenção mais prática. Auxilia,
ademais, a amparar escolhas dos interesses de avaliação e elucidar os dados fornecidos
nas pesquisas, associando-os a uma explicação completa vinculada com a
complexidade lógica do programa (JANUZZI, 2016).

Palavras chaves: Avaliação de programas; programas; tipologias; políticas públicas;

métodos de avaliação.