Programa Mais Educao

Avaliao de Impacto e Estudo Qualitativo

*** Esta apresentao prope-se a trazer um breve panorama do trabalho realizado e, para isso, omite
diversos pontos metodolgicos e de aprofundamento que podem ser acessados nos manuscritos completos
que sero publicados em breve.

Mais Educao
Iniciativa do Governo Federal -> ampliar as
oportunidades educativas e garantir o desenvolvimento
integral aos alunos do Ensino Fundamental.
Escolas devem optar entre atividades predefinidas: 7
macrocampos (Acompanhamento Pedaggico; Educao
Ambiental; Esporte e Lazer; Direitos Humanos em
Educao; Cultura e Artes; Cultura Digital; Promoo da
Sade)
Cada escola deve implantar no mnimo 3 e no mximo 6
dessas atividades -> obrigatrio o oferecimento de pelo
menos uma atividade de Acompanhamento Pedaggico.
As atividades no contraturno podem ser desempenhadas
dentro da prpria escola ou fora dela, a partir de parcerias
com outras instituies
*Estes macrocampos referem-se ao ano de 2008.

O programa financia (via PDDE) a aquisio de materiais,

Mais Educao
Critrios de seleo/elegibilidade (escolas)*:
Critrios

2008

2009

2010

2011

2012

2013

< 4,2
(sries
iniciais) e
3,8 (sries
finais)

< 4,6
(sries
iniciais) e
3,5 (sries
finais)

Baixo IDEB

< 3,5 e da
mdia
municipal

< 4,1

Sim
(baixo)

< 4,2
(sries
iniciais) e
3,8 (sries
finais)

Populao
municipal

> 200 mil

(capitais e
RM)

> 100
(50)mil
(capitais e
RM)

> 163
(90)mil
(capitais e
RM)

> 18,844

No

No

Alunos

+ 99

+ 99

+ 99

+ 99

+ 99

+ 99

Compromisso
Todos pela
Educao e
PDDE

Sim

Sim

Sim

Sim

Sim

Sim

Participao
anterior

S se IDEB
No

Sim

Sim

Sim

Sim
< 3,5

reas de
vulnerabilidad
e social

Sim

Sim

Sim

Sim

Bolsa Famlia

No

No

No

No

Plano Brasil
Sem
Misria e
rurais

Rurais

+ 50% dos

+ 50% dos

Escopo Avaliao de Impacto

Objetivos:
Investigar a eficcia do programa em elevar o aproveitamento
escolar nas escolas participantes, no curto e no mdio prazo.
Qualificar os efeitos mdios obtidos, a partir de uma anlise de
efeitos heterogneos, -> possveis variaes no impacto de acordo
especificidades de cada local.

Fontes de dados: INEP (Prova Brasil, Ideb, Censo Escolar);

IBGE/Ipeadata (populao municipal, contas nacionais municipal,
inflao); PNUD (IDHM); MEC/FNDE (Mais Educao: ano de adeso,
custos, nmero de alunos participantes, macrocampos).

Perodo de anlise: 2008 2011

Em caso de resultados consistentemente significativos e positivos.

Consideraes Avaliao de Impacto

Limitaes:
So consideradas apenas as dimenses de aprendizagem
(mensurada pela nota na Prova Brasil) e abandono, apesar dos
diversos outros objetivos explcitos do Mais Educao
(Estender a jornada escolar e melhor atender s necessidades
de cada aluno; Combater o trabalho infantil, a explorao
sexual e outras formas de violncia; Promover a cultura e a
prtica esportiva; Aproximar famlias, escola e comunidade).
H fatores no observveis e/ou no mensurveis que so
relevantes para a avaliao.
A fim de analisar um perodo mais extenso, observa-se um
recorte particular, de cerca de 600 escolas (entrantes em
2008 e para as quais h dados disponveis).

Avaliao de Impacto Estratgia de Identificao

Mtodo: diferenas em diferenas com pareamento por escore de
propenso

1 vizinho mais prximo

Com reposio

Grupo tratamento: escolas que aderiram ao programa em

2008 e permaneceram at 2011.

As escolas que aderiram em 2008, mas no permaneceram

at 2011 foram excludas da anlise.
Importante: conhecemos o ano de adeso de cada escola,
mas no o momento em que as atividades do programa de
fato se iniciaram.
delay , em geral, de at 1 ano.

Grupo controle: escolas que, at 2011, ainda no haviam

aderido ao programa.
As escolas que aderiram em 2009, 2010 e 2011 foram
excludas
da anlise.
ste slide se refere ao
CURTO PRAZO.
Para as anlises de IMPACTO IMEDIATO, o procedimento usado anlogo.
Dentre as escolas elegveis para o grupo controle,

Avaliao de Impacto Estratgia de Identificao

Mtodo: diferenas em diferenas com pareamento por escore de
propenso

GRUPO DE
TRATAME
NTO l

GRUPO DE
CONTROL
EI

2007
Pareamento
(escolha do
grupo de
controle)
Linha de
base (coleta
dos
indicadores
de impacto
antes do
programa)

2008
Adeso
ao
program
a

2009

TRATAME
NTO II
CONTROL
E II

Impacto

2011

Impacto

GRUPO DE

GRUPO DE

2010

Pareamento
(escolha do
grupo de
controle)
Linha de base
(coleta dos
indicadores de
impacto antes
do programa)

Adeso
ao
program
a
Impacto

Avaliao de Impacto Indicadores

Indicadores de Impacto:
Taxa de abandono
Desempenho em portugus (Prova Brasil)
Desempenho em matemtica (Prova Brasil)
Heterogeneidade:
Cobertura do programa na escola
(mdia da % de alunos participantes no perodo 20082011)
Custo por aluno
(mdia do valor R$/aluno participante no perodo 20082011)
Macrocampos escolhidos
(considerou-se aqueles escolhidos pela escola em ao menos
3 dos 4
anos analisados)
Caractersticas dos municpios

Avaliao de Impacto - Pareamento

Estatstica Descritivas para 2007 (perodo imediatamente anterior ao incio do
programa):
5 ano

Mdia

Fonte

Tratamento

Controle

Controle
Pareado*

Durao da turma em horas

Censo
Escolar

4,3

4,4

4,3

% turmas com mais de 7 horas de durao

Censo
Escolar

0,02

0,02

0,03

Taxa de abandono do 1 ciclo do EF

Censo
Escolar

5,9

2,1

6,7

Escola possui biblioteca

Censo
Escolar

0,75

0,65

0,73

Escola oferece Ensino Mdio

Censo
Escolar

0,09

0,11

0,08

Escola oferece creche

Censo
Escolar

0,04

0,03

0,04

Escola oferece pr-escola

Censo
Escolar

0,4

0,4

0,3

Nmero de salas existentes na escola

Censo
Escolar

13,0

10,8

12,5

% turmas no turno da manh

Censo
Escolar

0,5

0,6

0,5

Nmero de alunos matriculados na escola

Censo
Escolar

924

593

849

Tratamento de gua e esgoto na escola

Censo
Escolar

0,98

0,998

0,997

IDEB

0,4

0,3

0,4

IDEB

3,5

4,3

3,5

Varivel

Diferena IDEB 2005 - 2007 (anos iniciais do

* Mdia
EF)ponderada pelo PSM

IDEB

Avaliao de Impacto - Pareamento

5 ano

Mdia
Fonte

Tratamento

Controle

Controle
Pareado*

Censo
Escolar

80,5

88,4

79,7

Populao municipal

IBGE

1180426

788482

850184***

IDHM

PNUD

0,76

0,71

0,75

Escola localizada em rea urbana

Censo
Escolar

0,997

0,995

1,0

Escola possui laboratrio de cincias

Censo
Escolar

0,14

0,09

0,16

Escola possui laboratrio de informtica

Censo
Escolar

0,5

0,4

0,4

Escola possui sala de professores

Censo
Escolar

0,9

0,8

0,9

Escola possui DVD

Censo
Escolar

0,9

0,9

0,9

Escola possui retroprojetor

Censo
Escolar

0,7

0,6

0,7

Escola fornece alimentao

Censo
Escolar

0,9

1,0

0,9

Nmero de salas utilizadas

Censo
Escolar

13,6

10,7

12,8

% escolas estaduais

Censo
Escolar

0,27

0,29

0,23

Nota mdia dos alunos em Portugus

Prova Brasil

164

176

164

Nota mdia dos alunos em Matemtica

Prova Brasil

179

194

180

Diferena nota Portugus 2005 - 2007

Prova Brasil

1,0

1,0

1,0

Diferena nota Matemtica 2005 - 2007

Prova Brasil

10,5

8,6

11,3

Varivel
Taxa de aprovao 1 ciclo EF

Avaliao de Impacto - Pareamento

9 ano

Mdia
Fonte

Tratamento

Controle

Controle
Pareado*

Durao da turma em horas

Censo
Escolar

4,3

4,5

4,3

% turmas com mais de 7 horas de durao

Censo
Escolar

0,01

0,01

0,01

Taxa de abandono do 2 ciclo do EF

Censo
Escolar

12,0

5,2

11,4

Escola possui biblioteca

Censo
Escolar

0,89

0,83

0,88

Escola oferece Ensino Mdio

Censo
Escolar

0,4

0,5

0,4

Escola oferece creche

Censo
Escolar

0,03

0,01

0,03

Escola oferece pr-escola

Censo
Escolar

0,2

0,2

0,2

Nmero de salas existentes na escola

Censo
Escolar

% turmas no turno da manh

Censo
Escolar

0,5

0,6

0,5

Nmero de alunos matriculados na escola

Censo
Escolar

1159

849

1084*

Tratamento de gua e esgoto na escola

Censo
Escolar

0,99

1,0

1,0**

Diferena IDEB 2005 - 2007 (anos iniciais do EF)

IDEB

0,3

0,2

0,3

IDEB

IDEB

2,9

3,8

2,8

Varivel

14,3

12,7

14,4

Avaliao de Impacto - Pareamento

9 ano

Mdia
Fonte

Tratamento

Controle

Controle
Pareado*

Censo
Escolar

68,0

82,3

67,1

Populao municipal

IBGE

1364439

777605

1353460

IDHM

PNUD

0,8

0,7

0,8

Escola localizada em rea urbana

Censo
Escolar

0,99

0,99

1,0

Escola possui laboratrio de cincias

Censo
Escolar

0,3

0,3

Escola possui laboratrio de informtica

Censo
Escolar

0,6

0,7

0,7

Escola possui sala de professores

Censo
Escolar

0,97

0,93

0,98*

Escola possui DVD

Censo
Escolar

0,9

0,9

0,9

Escola possui retroprojetor

Censo
Escolar

Escola fornece alimentao

Censo
Escolar

0,9

1,0

0,9

Nmero de salas utilizadas

Censo
Escolar

14,4

12,5

14,5

% escolas estaduais

Censo
Escolar

0,6

0,7

0,6

Prova
Brasil

222

230

221

Varivel
Taxa de aprovao 1 ciclo EF

Nota mdia dos alunos em Portugus

0,3

0,9

0,9

0,9

Avaliao de Impacto - Pareamento

Densidades Kernel ps pareamento:
2007 X 2011 e 2007X 2009

5 ano

9 ano

2009 X 2011

Resultados Avaliao de Impacto

Portugus

Matemtica

(Prova Brasil)

(Prova Brasil)

IMPACTOS MDIOS 5
(2007 X 2011)

Abandono

5
ano

9
ano

Ciclo I

ano

9
ano

Ciclo
II

-3,374*

-3,821*

Refere-se as escolas que aderiram ao programa em 2008 e permaneceram at 2011.

Resultados mensurados ao final de 2011

(2007 X 2009)

-3,953*

-5,305*

Refere-se as escolas que aderiram ao programa em 2008 e permaneceram at 2011.

Resultados mensurados ao final de 2009

(2009 X 2011)

-1,431**

Refere-se as escolas que aderiram ao programa em 2010 e permaneceram at 2011.

Resultados mensurados ao final de 2011

*** p<0.01, ** p<0.05, * p<0.1.

Resultados Avaliao de Impacto

Principais concluses: Impactos Mdios
No foi possvel encontrar impactos do programa sobre o
desempenho mdio das escolas em portugus nem sobre
a taxa de abandono.
Tanto no curto quanto no mdio prazo, houve impacto
negativo do programa sobre o desempenho mdio das
escolas em matemtica.
Os efeitos negativos em matemtica, em dada escola,
reduzem-se com o passar do tempo.
Os efeitos negativos em matemtica so de menor
magnitude para as escolas que aderiram ao programa
mais recentemente (2010), e ficam restritos ao 5 ano.

Resultados Avaliao de Impacto

Principais concluses: Efeitos Heterogneos

No h indcios de que a proporo de alunos

participantes, o tamanho dos municpios (populao)
e o investimento pblico em educao e cultura
interfiram nos impactos que o programa gera.
No ciclo I do ensino fundamental, a taxa de abandono
tende a reduzir-se em escolas com mais recursos
financeiros (por aluno participante) e em municpios
menos ricos (PIB per capita).
No 5 ano, o desempenho mdio em matemtica
tende a aumentar em municpios mais ricos (PIB per
capita).

Resultados Avaliao de Impacto

Principais concluses: Efeitos Heterogneos

Resultados negativos em desempenho mostram-se

relacionados escolha dos seguintes macrocampos:
reforo de portugus (5 ano), esportes (ambos) e
cultura e artes (9 ano).
Entre as escolas entrantes em 2008, verifica-se o
impacto negativo em matemtica naquelas que
possuam mdia inicialmente mais elevada nessa
disciplina, sendo que, no curto prazo, esse efeito foi
mais intenso.
Entre as escolas entrantes em 2010 (no curto prazo),
esse efeito se reverte, ou seja, verifica-se o impacto

Escopo Estudos de Caso

Objetivos:
Mapear diferentes formas de implementao e gesto do Mais
Educao, considerando o contexto da rede, investimentos, quadro
de profissionais, nveis de envolvimento do rgo central e outras
iniciativas j desenvolvidas.
Levantar boas prticas em questes estratgicas e pontos comuns
s redes, que garantem o sucesso da ao.

Dados:
Entrevistas com equipes das Secretarias de Educao e gestores
escolares de 6 redes:

Municipais:
Estaduais:
Bonito (PE)
Distrito Federal
Maracana (CE)
Gois
So Bernardo do Campo
(SP)
Porto Alegre (RS)

Consideraes Impactos Mdios

Impacto negativo - Tendncia de se dissipar com o tempo
O Programa demanda nova organizao da gesto escolar
Novos papis e ampliao do escopo de funes: professor
comunitrio, monitores voluntrios
Necessidade de realocao de espaos e articulaes de
profissionais
Maior dificuldade de implementao no primeiro ano
Exs.: reunies de apresentao do programa (Bonito e DF)
Mais impacto em novas escolas - O efeito negativo nas novas
escolas que aderem tende a sumir.
Quanto mais escolas de uma rede participam, mais aprendizados
podem ser compartilhados
Com o passar do tempo, as diretrizes do Programa ficam mais
claras

Consideraes Efeitos Heterogneos

Macrocampos
A escolha dos macrocampos est mais relacionada com as
possibilidades locais (monitores e estrutura da escola) do que com a
proposta pedaggica da escola e necessidade/interesse dos alunos.
O reforo pedaggico tem a tendncia de repetir contedo e formato
das disciplinas formais.
Exs.: Critrios em GO e Maracana
Recursos financeiros e infraestrutura
De forma geral, os municpios maiores e com mais recursos articulam
o Mais Educao com iniciativas prprias, potencializando resultados.
Ex. Porto Alegre
Escolas com melhores condies so mais beneficiadas
Gestores ainda se sentem inseguros sobre como utilizar os recursos
Seleo e participao dos alunos
Apesar dos critrios definidos pelo MEC, as escolas seguem alguns
critrios prprios
Faltam instrumentos de monitoramento e avaliao de participao
nas atividades
Critrios de vulnerabilidade: criao de estigmas
Exs.: distribuio de vagas em Maracana

Consideraes Outros Aspectos

Apoio da Secretaria de Educao
As experincias pesquisadas mostraram que o apoio e
acompanhamento da Secretaria de Educao imprescindvel para a
realizao das atividades
reas de apoio:
Seleo e formao de monitores voluntrios: definio de critrios
para seleo, formao conjuntas com outros profissionais da rede.
Ex. Formao em parceria com a rea de desenvolvimento
curricular (Maracana)
Formao para equipe escolar: realizao de atividades formativas,
trazendo conceitos de Educao Integral e possibilidades de
articulao das disciplinas formais com as atividades do Mais
Educao.
Diretrizes para elaborao e acompanhamento da proposta
pedaggica. Ex. Reunio de reviso do PPP da escola, com
participao de tcnicos da Secretaria e monitores do Mais
Educao (Bonito)
Sensibilizao e mobilizao das famlias e da comunidade:
importncia de entenderem como atividade educativa e no
apenas como passatempo.
Estabelecimento de parcerias , como outros espaos e agentes

Consideraes Outros Aspectos

Capacidade Interna da Escola
O gestor escolar tem papel fundamental para:
Garantir que o Mais Educao no seja visto como mais um projeto da
escola, deslocado da proposta pedaggica. Ex. Em Bonito e,
inicialmente, no DF, o prprio diretor assumia o papel de Professor
Comunitrio, para garantir coeso dentro da escola.
Envolver todos os profissionais da escola, na concepo de educao
integral.
reas de apoio:
Envolvimento dos monitores nos processos formativos e de
alinhamento da propostas pedaggicas escolares e diretrizes das
redes.
Sinergia entre atividades e objetivos pedaggicos da escola
Formaes conjuntas entre professores e monitores
Articulao entre Diretor, Coordenador Pedaggico e Professor
Comunitrio

Resultados - RESUMO
Estudos Qualitativo
Sucesso depende fortemente da
qualidade da implementao do
Programa importncia de
monitoramento e avaliaes.
Boas prticas que impactam
implementao, mas no so
disponveis para a avaliao de
impacto:
Nvel de apoio da Secretaria de
Educao (acompanhamento,
formao, diretrizes, busca de
sinergias)
Capacidade Interna da Escola
(relao com monitores, carga
horria dos professores, sinergia
e articulaes com a proposta
pedaggica)
Existem desafios na estruturao do
Mais Educao que podem ser
aprimorados para potencializar

Avaliao de Impacto
Impacto mdio : nulo em portugus
e na taxa de abandono; negativo em
matemtica.
Impacto negativo decrescente com
o passar do tempo o programa
exige tempo para aprendizado.
H poucas evidncias de que o
impacto varie de acordo com
caractersticas/contexto das escolas
e municpios.

Concluses

Mais Educao teve importante papel na induo de prticas e polticas

de Educao Integral. Muitas inciativas prprias de educao integral das
secretarias de educao de estados e municpios tendo se fundamentado
no aprendizado da implementao do Mais Educao.

A criao e implementao do Mais Educao um importante passo na

poltica pblica educacional e vai na mesma direo de pases
desenvolvidos (OCDE) e de outras experincias na Amrica Latina.

Existe reconhecimento da eficcia do programa na ampliao de

repertrio sociocultural de alunos, contribuindo para a reduo das
desigualdades.

O maior foco de investimento do Ministrio da Educao se deu para

garantir a escala do Programa em curto espao de tempo.

Interrupes/atrasos no repasse de verba so muito criticados e

apontados como um dificultador do desenvolvimento das aes
planejadas.

A viabilizao do programa pelo PDDE foi importante para ganhar

agilidade na adeso ao programa e para garantir autonomia das escolas.
Por outro lado, h muito mais espao para as Secretarias de Educao
assumam, como contrapartida, o apoio em questes pedaggicas.

importante avaliar outras dimenses, para alm de desempenho

escolar, como o aumento da participao das mes no mercado de
trabalho e reduo na gravidez na adolescncia estudos em

Recomendaes
Aumentar a contrapartida requerida das Secretarias de Educao,
garantindo maior envolvimento pedaggico (para alm de questes
operacionais), que passem pela definio de diretrizes e critrios para
o trabalho com os monitores voluntrios e pelo envolvimento de toda
a comunidade escolar no desenvolvimento das aes
Estabelecer mecanismos e ferramentas de monitoramento (de
presena e de qualidade) e avaliao das aes
Os Comits Locais e Territoriais so bons espaos para discusso e
alinhamentos para os responsveis pelo programa nas secretarias,
mas podem ser mais incentivados e monitorados
Tipo de apoio tcnico oferecido pelo Ministrio da Educao s
Secretarias de Educao foco no pedaggico