Universidade Federal Do Piauí - UFPI

Centro de Ciências Humanas e Letras - CCHL

Departamento de Serviço Social - DSS
Disciplina: Avaliação de Políticas Públicas e Projetos Sociais
Profa. Dra. Guiomar de Oliveira Passos

Programa
crianÇa feliz
avaliação de impacto
Ananda Ingred, Beatriz Santos, Natália Santos, Natacha Yanis e Vívian Amorim
sumário
tópicos a serem abordados

Caracterização da Política

01. Avaliada - Elementos

básicos
03. Apreciações críticas acerca
da Avaliação da Política

Classificação e

02. Caracterização da
Avaliação da Política
04. Referências
Caracterização da
Política Avaliada
Elementos básicos
DIAGNÓSTICO DO PROBLEMA

Ao considerar que “a gestação e os primeiros

anos de vida são fundamentais para o
desenvolvimento humano” (p.7), algumas
problemáticas são colocadas (p.7):
Nutrição inadequada;
Stress materno;
Baixo peso ao nascer;
Falta de saneamento básico;
O contágio recorrente por doenças infecciosas;
Ambientes domésticos marcados por violência e Fonte: texto Avaliação de Impacto do Programa
falta de afeto; Criança Feliz

Limitações quanto às oportunidades de

interação entre pais e filhos.
OBJETIVOS DO PROGRAMA
“Orientar e apoiar as gestantes e famílias
desde a preparação para o nascimento da
criança, colaborando no exercício da
parentalidade, fortalecendo o papel das
famílias em relação a cuidado, proteção e
educação das crianças e favorecendo o
fortalecimento de vínculos afetivos e
comunitários” (p.14);

“Promover ações voltadas ao

desenvolvimento integral na primeira
infância, estimulando o desenvolvimento de
atividades lúdicas envolvendo outros
membros da família” (p.14);

“Promover, acompanhar e monitorar o

desenvolvimento infantil, inclusive mediando
o acesso da família a outros serviços públicos Fonte: texto Avaliação de Impacto do Programa
que possam impactar positivamente no Criança Feliz

desenvolvimento das crianças” (p.14).

PÚBLICO-ALVO
Crianças com idade menor que três anos, e
que integram famílias beneficiárias do
Programa Bolsa Família (PBF).

METAS
“(...) atingir 3,5 milhões de crianças menores
de três anos pertencentes a famílias
beneficiárias do Programa Bolsa Família
(PBF)” (p.14).

Fonte: texto Avaliação de Impacto do Programa

Criança Feliz
 Classificação da
Avaliação da Política
QUANTO:
ao momento da avaliação
Ex-post:

- Quando a política/programa ou projeto já estão em execução ou

já estão concluído.

- Não busca antecipar fatores considerados no processo decisório

mas sim analisar o programa em execução e sua efetividade

- “Outro ponto a se destacar é o fato de a avaliação começar junto

com a implementação do programa” (p. 7)
 Classificação da
Avaliação da Política
QUANTO:
ao agente avaliador

Externo:
-Secretaria de Avaliação e Gestão de Informação: iniciou as
tratativas e contratou um grupo independente da equipe de
gestores do programa para realização da avaliação, sendo portanto
externa.

-Fundação Maria Cecília Souto Vidigal e equipe da Universidade

Federal de Pelotas, além de outras sete universidades, sendo elas as
Universidades Federais da Bahia, Ceará, Goiás, Oeste do Pará e
Pernambuco e da Universidade de São Paulo.
 Classificação da
Avaliação da Política
QUANTO:
A natureza da avaliação
Somativa:
- Diante de toda a avaliação é notada a busca pelo julgamento de
valor e a análise de sua efetividade, sendo portanto uma avaliação
de natureza somativa

- “[...] iniciou-se uma das maiores avaliações de impacto

experimentais de uma política direcionada à primeira infância no
mundo, observando-se os princípios do rigor metodológico,
transparência e ética, para que os resultados encontrados
pudessem refletir a efetividade da iniciativa” (p. 11, grifos nossos).
 Classificação da
Avaliação da Política
QUANTO:
ao tipo de pergunta que responde
De impacto:
- Verifica se o programa alcançou os objetivos, quais os efeitos,
se houve modificações na situação-problema. Orienta quanto a
continuidade e/ou formulação de nova política.

-“A avaliação do PCF é um estudo pragmático ou de efetividade,

ou seja, o objetivo principal é avaliar se o programa,
implementado em condições de rotina em larga escala, resulta
em um impacto significativo sobre o desenvolvimento infantil.”
(p. 27, grifos nossos)
 Caracterização da
Avaliação da Política
QUANTO:
aos Objetivo/s da avaliação
Avaliação de Impacto - Aferir o impacto provocado pelo
programa.

“A Avaliação de Impacto do Programa Criança Feliz irá estimar o

efeito causal do programa na vida das crianças e de suas
famílias. Ou seja, ao final da avaliação, poderemos ter garantia
de que, caso os efeitos sejam encontrados, estes se devam de
fato à participação no programa” (p. 7, grifos nossos).
 Caracterização da
Avaliação da Política
QUANTO:
aos Objetivo/s da avaliação
“Os princípios orientadores para o delineamento e a execução da
avaliação incluíram a necessidade de avaliar com metodologias
rigorosas o impacto de um programa de larga escala, e de planejar
precocemente a avaliação do programa, permitindo a coleta de dados
de linha de base antes do início de sua implantação; a avaliação
externa por um grupo independente da equipe de gestores do
programa; a alocação aleatória de crianças para receberem (ou não
receberem) o programa; a interação entre gestores e avaliadores para
aprimorar a qualidade da avaliação e a retroalimentação de resultados;
e finalmente, a integração entre o monitoramento do programa
realizado pelos gestores e a avaliação externa” (p. 14, grifos nossos).
 Caracterização da
Avaliação da Política
QUANTO:
Tipo de pesquisa avaliativa
Impacto substantivo - Conforme o texto da avaliação, com
base nas variáveis investigadas (escolaridade,
características da gestação, presença do genitor no
ambiente familiar) (p. 16-17) e objetivos da avaliação
percebe-se segundo a caracterização de Figueiredo;
Figueiredo (1986), onde são avaliadas as mudanças
qualitativas nas condições de vida da população alvo.
 Caracterização da
Avaliação da Política
QUANTO:
Critério de sucesso
Efetividade substantiva - Segundo a avaliação do programa
Criança Feliz, com base nas variáveis investigadas
(escolaridade, características da gestação, presença do
genitor no ambiente familiar) (p. 16-17) e objetivos da
avaliação, é notório o critério de sucesso de efetividade
substantiva, segundo a caracterização de Figueiredo;
Figueiredo (1986), onde são avaliadas as mudanças
qualitativas nas condições de vida da população alvo.
 MODELO ANALÍTICO DE
AFERIÇÃO DE SUCESSO
MODELO ANALÍTICO DE AFERIÇÃO DE SUCESSO
Procedimento de amostragem
-”Para maximizar a validade externa do estudo, optou-se por
incluir seis estados com grande clientela do PBF em quatro
das cinco regiões do país.” (p. 15);
-”Em cada um dos seis estados selecionados, foram
escolhidos de três a seis municípios que apresentassem um
número suficiente de crianças menores de um ano elegíveis
para o ingresso no programa, totalizando trinta municípios
(três em Goiás; cinco no Pará, Pernambuco e São Paulo; e
seis na Bahia e no Ceará).” (p. 15)
 MODELO ANALÍTICO DE
AFERIÇÃO DE SUCESSO
MODELO ANALÍTICO DE AFERIÇÃO DE SUCESSO
Procedimento de amostragem
-Método de Ensaios Clínicos Aleatorizados: Alocação de grupos
de forma aleatória e sigilosa;
-1ª ETAPA: Formação dos pares aleatórios de crianças nos
municípios selecionados para a avaliação (Grupo A X Grupo
B);
-2ª ETAPA: Determinar, dentro de cada município, se o PCF seria
ofertado para o grupo A ou o grupo B, ou seja, definir do grupo
controle e do grupo experimental;
-Modelo Experimental.
 MODELO ANALÍTICO DE
AFERIÇÃO DE SUCESSO
MODELO ANALÍTICO DE AFERIÇÃO DE SUCESSO
Instrumento de coleta de dados
-Aplicação de três questionários às mães cuidadoras;
-Aspectos coletados nos instrumentos: dados gerais,
gestação e parto, cuidado e estimulação da criança,
disciplina, alimentação, imunizações, hospitalizações,
características da mãe e do pai, participação no PCF,
características ambientais e socioeconômicas, além de
dados para contatos futuros;
-Somado a isso, foram coletadas também informações sobre
as condições dos domícilios em que as crianças e seus
familiares residem.
 MODELO ANALÍTICO DE
AFERIÇÃO DE SUCESSO
MODELO ANALÍTICO DE AFERIÇÃO DE SUCESSO
Sistemática de análise de dados
-Descrição da linha da amostra da linha de base a partir de
características demográficas e ambientais do domicílio,
características do pai e da mãe da criança, características da
criança durante a gravidez, ao nascer e durante o primeiro ano de
vida e quanto a aspectos do desenvolvimento, estimulação e
disciplina da criança.
-Verificar se o processo de alocação aleatório foi efetivo em
selecionar dois grupos de famílias e crianças comparáveis.
-O nível de significância de 5% (p=0,05) foi considerado como uma
demarcação para sinalizar as diferenças nas características dos
dois grupos de crianças.
 MODELO ANALÍTICO DE
AFERIÇÃO DE SUCESSO
MODELO ANALÍTICO DE AFERIÇÃO DE SUCESSO
Resultados
-”A análise da linha de base da avaliação do PCF mostrou que as
características das famílias, pais e crianças foram praticamente
idênticas nos grupos intervenção (PCF) e controle nos 30
municípios estudados, indicando que o processo de alocação
aleatória foi efetivo ao selecionar dois grupos de famílias e
crianças comparáveis.” (p. 29, grifos nossos );
-Ascpecto significativamente diferente entre os dois grupos: no
grupo PCF, 2,2% das crianças foram deixadas sozinhas por pelo
menos uma hora na semana anterior à entrevista, comparadas
com 1,1% no grupo controle.
Apreciações
As conexões lógicas entre o desenho da política e o desenho da avaliação.
O Programa Criança Feliz tem como objetivo trazer mudanças/impactos na
vida da população-alvo por meio de orientações e apoio as gestantes e
famílias desde o período de gestação; promover ações voltadas ao
desenvolvimento integral na primeira infância; promover, acompanhar e
monitorar o desenvolvimento infantil. Tal programa é condizente com a
Avaliação de Impacto, dado que Figueiredo e Figueiredo afirmam que a
“avaliação de impacto tem como propósito acompanhamento, avaliação e
controle dos efeitos do programa” (1986, p. 7). Em decorrência disso, a
Avaliação de Impacto do PCF tem por intuito estimar o efeito causal do
programa na vida das crianças e de suas famílias, sendo assim, presente uma
conexão lógica entre o desenho do programa e a avaliação do programa.
Apreciações
As conexões lógicas no desenho da avaliação
Para a aferição dos impactos da Avaliação do Programa Criança Feliz deu-se
através de ensaios clínicos aleatórios, a qual permite estimar o impacto do
programa tanto no curto prazo como também a longo prazo. Assim como, é
realizada por meio de um estudo pragmático ou de efetividade, ou seja, os
princípios orientadores para o delineamento e a execução da avaliação
incluíram a necessidade de avaliar com metodologias rigorosas o impacto de
um programa, implementado em condições de rotina em larga escala, resulta
em impacto significativo sobre o desenvolvimento infantil. Dessa forma, a
avaliação de impacto do PCF tem por propósito estimar o efeito causal do
programa na vida das crianças e de suas famílias.
 referências
Brasília. Ministério da Cidadania; Secretaria de
Avaliação e Gestão da Informação. Estudo de
Linha de Base da Avaliação de Impacto do
Programa Criança Feliz. 2020.
Figueiredo, Marcus Faria; Figueiredo, Argelina
Maria Cheibub. Avaliação política e avaliação de
políticas: um quadro de referencia teórica. Anál. e
Conj., Belo Horizonte, 1(3): 107-127, set./dez. 1986.
 Obrigada
pela atenção