Programa de Pós-graduação Profissional em Gestão e

Avaliação da Educação Pública (PPGP) – CAEd/UFJF

Disciplina: Avaliação e Indicadores Educacionais

Avaliação e Indicadores Educacionais

• Equipe da disciplina
• Professores

o Wagner Rezende

o Luís A. Fajardo Pontes

• Asas

o Daniela Oliveira

o Janaína Lawall

o Renata Miguel

o Roberta Scoton

o Sílvia Benigno
Page ▪ 2
Avaliação e Indicadores Educacionais

• Cronograma do período presencial de julho de 2023

▪ 2ª-feira (24/07): Revisão e discussão dos tópicos e leituras principais (1): Luís
Fajardo

▪ 3ª-feira (25/07): Revisão e discussão dos tópicos e leituras principais (2): Luís
Fajardo

▪ 4ª-feira (26/07): A avaliação em larga escala e o uso de dados no atual cenário

educacional brasileiro: Wagner Rezende

▪ 5ª-feira (27/07): Avaliação individual e com consulta, no valor de até 20 pontos.

Page ▪ 3
Principais tópicos

❑Teoria da avaliação das organizações públicas

❑Interpretação e construção de indicadores
❑O caso específico do Índice de Desenvolvimento da
Educação Básica (Ideb)
❑Leituras selecionadas

Page ▪ 4
Sistemas de avaliação do desempenho
para organizações públicas

David Arellano e outros

Dois propósitos gerais de um SAD

▪ Gerar consenso
▪ Atuar como um mecanismo de
prestação de contas
Outras possibilidades/vantagens de um SAD

▪ Diagnóstico
▪ Monitoramento
▪ Auxílio na tomada de decisões
▪ Justificativas para determinadas políticas
▪ Compreensão das diferentes etapas de um
programa ou política pública
▪ Autoaperfeiçoamento organizacional
Os sistemas de avaliação do desempenho (SAD)

▪ Tendência mundial de avaliar o

desempenho das organizações,
especialmente (para o nosso caso) das
públicas e educacionais.
▪ Racionalidade do uso dos recursos, face
às crescentes demandas da sociedade.
▪ Justificativa técnica e também política.
Para se implementar um SAD, é preciso:
▪ Ver quais são a missão e a visão da
instituição que se quer avaliar.
▪ Identificar um problema a ser resolvido ou
atacado por uma instituição pública.
▪ Identificar uma política pública para este
fim.
Também é preciso, na implementação de um SAD:

▪ Ver quais atores estão envolvidos com a

realização desse propósito, e quais são
suas respectivas opiniões acerca do que
deve ser alcançado, e de que modo
(reflexão estratégica).
▪ Estabelecer cadeias causais conectando as
possíveis ações e agentes dos programas a
seus respectivos efeitos (enfoque e matriz
de marco lógico).
A Teoria do Programa
▪ Ao se avaliar, é recomendável que se estabeleça uma cadeia
causal, pela qual se criam elos lógicos entre as ações próprias do
programa avaliado e os objetivos que com ele se querem
alcançar.
▪ Para isso, é fundamental entender bem o programa, isto é,
conhecer os mecanismos pelos quais ele opera, e os agentes dos
quais a sua realização depende.
Exercício de cadeia causal: a implementação da BNCC
e o aprendizado dos alunos
Indicador de desempenho: algumas características

▪ Nem sempre permite avaliar, mas sim

apontar uma realidade pontual.
▪ Mostra como interagem duas ou mais
variáveis, segundo um aspecto
probabilístico.
▪ Deve se conectar com o Esquema de
Marco Lógico (EML) e com a reflexão
estratégica da ação governamental.
Alguns problemas envolvendo os
indicadores de desempenho:

▪ A dificuldade de se definir
desempenho.
▪ As dificuldades de se medir o
desempenho, ainda que se possa
defini-lo bem.
▪ Como apresentar esses indicadores.
Apresentação dos indicadores de
desempenho:

▪ Deve depender do público ao qual

eles se destinam.
▪ Portanto, caso se destinem a um
público geral, devem, por exemplo,
evitar tecnicismos e outros termos
especializados.
Os indicadores numéricos:

▪ Nem sempre podem ou devem ser

utilizados. Às vezes, por exemplo,
não há dados suficientes para tal.
▪ Quanto ao grau de complexidade,
dividem-se em primários, secundários
e complexos.
 Indicadores primários:
▪ Referem-se, por exemplo, a contagens ou valores
absolutos.
▪ Ex. 1: Número de alunos com proficiência igual
ou acima do nível suficiente numa escala de
proficiência.
▪ Ex. 2: Número de professores com curso superior
numa rede de ensino.
▪ Um cuidado a se tomar: esses indicadores não
costumam trazer, em si mesmos, uma indicação
do que deveria ser um valor razoável ou indicado
para a medida em questão.
 Indicadores secundários:
▪ Ao menos parcialmente, “corrigem” o problema
apontado anteriormente com os indicadores
primários.
▪ Ex.: Percentual de escolas dotadas de quadra
poliesportiva em relação ao total de escolas de
um dado município.
▪ Portanto, os indicadores secundários
trabalham com a ideia de quocientes, ou
divisões entre duas medidas.
▪ Nesse sentido, costumam fornecer um número
entre 0 e 1, ou entre 0 e 100.
 Indicadores complexos:

▪ Integram dois ou mais indicadores

primários ou secundários.
▪ Avaliam fenômenos mais complexos,
que não se podem reduzir a um único
quociente.
▪ Não há uma regra própria, ou única,
para calculá-los.
▪ Ex.: o Ideb.
Elementos adicionais de um indicador de desempenho:
▪ Unidades de medida nas quais estão expressos.
▪ Periodicidade.
▪ Uma nota técnica que explique seu
funcionamento e, se possível, os limites
numéricos do desempenho.
▪ Dependendo do caso, a indicação de um
conjunto de limites de desempenho, onde, por
exemplo, este se consideraria como “excelente”,
“bom”, “regular” e “insuficiente”.
 Indicadores de desempenho (cont.):

▪ Distinção entre produtos, resultados e

impactos. Ex.:
▪ Produtos: 10.000 vacinas contra
tuberculose foram distribuídas e
administradas a uma população específica.
▪ Resultados: diminuíram-se as taxas de
mortalidade por tuberculose.
▪ Impactos: aumentou-se a expectativa e a
qualidade de vida da população.
Um indicador de desempenho também deve ser:
▪ Relevante
▪ Claro
▪ Comparável
▪ Comprovável
▪ Custo-eficiente
▪ Atribuível
▪ Sensível
▪ Capaz de evitar incentivos perversos
▪ Capaz de permitir inovações
1) Como o Ideb funciona
Page ▪ 34
Como surgiu o Common Core.

1) Estímulo perverso do NCLB, fazendo com que os padrões

estaduais norte-americanos fossem, em muitos casos,
rebaixados.
2) Iniciativa de governadores, secretários de educação e
organizações não-governamentais, preocupadas com o
desempenho acadêmico (segundo eles, insuficiente) das
escolas norte-americanas em geral.
3) Áreas: inglês e matemática.
4) Envolvimento de professores: tema controverso.
5) Críticas à interferência federal na educação americana (que se
caracteriza por sua descentralização)
Mapeando a nova filantropia e o estado heterárquico:
1) A “heterarquização” no Movimento pela Base Nacional
Curricular (MBNC) no Brasil.
2) Estado, governo e governança.
3) Uma nova “mistura” entre estado, mercado e filantropia.
4) Pessoas, organizações e redes não-associadas diretamente a
governos, participando das decisões.
5) Heterarquia: “forma organizacional situada em algum lugar entre
a hierarquia e a rede”
6) O papel da Universidade de Yale nos seminários da Fundação
Lemann
7) MBNC: Fundação Lemann, Instituto Natura e Banco Itaú BBA
8) O MBNC é totalmente mantido pela iniciativa privada, mas tem
vários integrantes que exercem cargos governamentais.
9) O MBNC aumentou quanto ao número de participantes e a
participação dos governos.
 Sistema Nacional de Avaliação da Educação
Básica (Sinaeb): proposta para atender ao
disposto no Plano Nacional de Educação

Alexandre André dos Santos

João Luiz Horta Neto
Rogério Diniz Junqueira

Lei nº 13.005, de 25 de junho de 2014 (Brasil, 2014), que institui o

Plano Nacional de Educação (PNE)

O PNE, além de reiterar sua centralidade na garantia do direito à

educação de qualidade para todos, preconiza o fortalecimento de
um sistema nacional de avaliação que contemple, além do
desempenho dos alunos nos testes, a riqueza dos fatores intra e
extraescolares envolvidos no processo educacional.
 Qualidade da educação: avaliação, indicadores e metas

Reynaldo Fernandes e Amaury Gremaud

O artigo trata:

Dos diferentes objetivos e possibilidades dos sistemas de avaliação

educacional.

Identifica o estágio da avaliação da educação básica no Brasil.

Neste último ponto, enfatiza as mudanças decorrentes do Plano de

Desenvolvimento da Educação.

Essas mudanças foram três: accountability, criação do Ideb e

definição de metas.

Nesse sentido, o Ideb monitora a proficiência e o fluxo, ao mesmo

tempo em que é utilizado para o cumprimento de metas
estabelecidas até 2021.
Opção pelas avaliações de resultados, insumos e
processos.
As duas últimas são mais ricas, em torno de informações às
escolas. Porém, elas não convergem com as primeiras, visto
que a sua correlação com elas é fraca.

Observação: talvez essa correlação fraca ocorra, não

porque a correlação não exista, mas sim porque as medidas
das duas primeiras talvez não estejam sendo corretamente
realizadas.
Conclusões do artigo:

As avaliações se transformaram em um dos pilares de toda

a política educacional do MEC, por meio do plano de metas
do Compromisso Todos Pela Educação.

Para os autores, a principal ameaça aos sistemas de

avaliação no Brasil era comprometer o fluxo. E, por isso, foi
criado o Ideb, para combater esse problema. Os autores
admitem outros questionamentos, porém não lhes dão
muita relevância.

O movimento de accountability defendido pelos autores

também reconhece a descentralização da educação
brasileira. E estes últimos são favoráveis à uma maior
produção de informações, a fim de que, com a maior
diversidade de dados e opiniões, surjam soluções
inovadoras.
 Argumentos a favor do Ideb

1) Com o Ideb, os sistemas educacionais e,

especificamente, as escolas individuais, deixaram de
ser “caixas pretas” para a sociedade, o que levou ao
fortalecimento de um processo de responsabilização
por parte dos profissionais da educação, e de um
maior esclarecimento do desempenho escolar, para
os alunos e seus pais.

2) A avaliação é feita com base em duas dimensões de

grande importância para a qualidade da educação: o
desempenho em disciplinas básicas e o rendimento,
ou fluxo, dos alunos, ao longo do processo de
escolarização.
 Argumentos a favor do Ideb (cont.)

3) A capacidade de síntese do índice, que combina, em uma só

medida, as duas dimensões da observação anterior.

4) A relativa simplicidade do índice – uma “nota” de 0 a 10 – o que

facilita a compreensão e a interpretação, tanto pelos profissionais da
educação (de todos os níveis ou instâncias), até o público leigo.

5) A possibilidade de se traçarem, para ele, metas “simples” de

desempenho.
3) Algumas críticas ao Ideb

Ainda que se cumpram as metas do Ideb, a educação pode estar

ruim, devido ao reducionismo do índice.

O problema decorrente do fato de que os limites inferior e superior

do algoritmo são iguais (ao menos para a 8ª série), porém a escala
de Matemática encontra-se expressa por números maiores do que
a escala para Português. Isto promove uma inflação da
importância dos escores de Matemática, em relação à de
Português.
3) Algumas críticas ao Ideb (cont.)

“O raciocínio de que um resultado pode compensar o outro está presente

na metodologia do Ideb em vários pontos: um melhor aprendizado de um
aluno compensa o pior aprendizado de outro aluno na mesma escola; um
melhor desempenho em Leitura compensa um aprendizado insuficiente
em Matemática; e um melhor aprendizado de alguns compensa a
reprovação de outros. Essas substituições são criticáveis do ponto de vista
do direito à educação, referencial teórico implícito deste texto, que
considera o aprendizado como um direito de todos e de cada um dos
alunos, não de alunos típicos ou médios.”

“Na realidade, a escala do Ideb tem características difíceis de serem

apreciadas, e num primeiro momento, por um não especialista. Por
exemplo, um Ideb de 4,5 é um valor médio, não baixo, e está longe e não
perto do valor 6. Isso é consequência do fato de que os valores extremos
da escala, acima de 6 e abaixo de 3, são raros e valores acima de 8 e
abaixo de 2 são quase impossíveis.”
Outras críticas ao Ideb:

Interferência excessiva da União em assuntos estaduais e

municipais

Hierarquização das escolas, e “grande parte da cobertura da

imprensa se limita a isso”, embora isso não seja uma limitação do
indicador, mas sim do uso que dele se faz.

A maldição da Lei de Campbell:

"Um indicador quantitativo, ao ser usado para a tomada de
decisões,
fica mais sujeito a manipulações e, assim, sua própria existência
distorce e corrompe os processos que pretendia monitorar"
O Ideb é altamente correlacionado com o índice socioeconômico dos
alunos avaliados.
Volatilidade dos resultados de proficiência e seu impacto e seu
impacto sobre as metas do Ideb nas escolas públicas de MG
(Luís A. Fajardo Pontes e Tufi M. Soares)
Exemplo de outra escola pública mineira, cujas médias de
Matemática no SIMAVE (9º EF) apresentaram uma oscilação mais
acentuada em torno da sua respectiva reta de regressão
Outro exemplo de grande oscilação das médias de
Matemática (9º EF)
O número médio de alunos
avaliados por escola
O número médio de alunos
avaliados por escola
Média dos desvios-padrão dos resíduos por
tamanho de escola no SIMAVE, no período 2000-
2011 – 9º EF
As metas do IDEB:
Pergunta:
Considerando que as escolas públicas
mineiras apresentam desvios aleatórios
significativos entre suas médias reais e as suas
respectivas médias previstas pelo modelo de
crescimento longitudinal, haverá então uma
associação significativa entre esses desvios
observados em 2005 – ano de fixação das metas
do Ideb – e o fato das escolas atingirem ou não
suas metas do Ideb em anos posteriores?
O cumprimento das metas do Ideb em
2007 e 2009
 Tipos de escolas públicas mineiras quanto aos
resíduos de sua média medidos em relação aos
valores previstos da suas respectivas médias na
Prova Brasil de 2005
 Percentual das escolas que não atingiram a meta
do Ideb, em associação ao tipo de resíduo de suas
médias na Prova Brasil de 2005
 Uma proposta alternativa para o
cálculo das metas do Ideb nas escolas públicas
mineiras

Usar, nas metas, não apenas os valores da Prova Brasil

de 2005, mas também os resultados de todos os testes
disponíveis até o momento do cálculo periódico das
metas.
 Meta para 2007 (calculada em 2005)

1) Avaliações disponíveis (para os resultados de

Matemática):
três (SIMAVE 2000 e 2003, PB 2005)
 Meta para 2009 (calculada em 2007)

1) Avaliações disponíveis (para os resultados de

Matemática):
seis
 Meta para 2011 (calculada em 2009)

1) Avaliações disponíveis (para os resultados de

Matemática):
nove
 Meta para 2013 (calculada em 2011)

1) Avaliações disponíveis (para os resultados de

Matemática):
Doze
 Observações

Este mesmo processo (aqui ilustrado para as médias

de Matemática), também é repetido para as médias de
Português, e também para a série histórica do fluxo P.

Em todas as regressões, tanto o coeficiente linear

(altura) quanto o coeficiente angular (inclinação) da
reta é controlado pelo índice socioeconômico médio da
escola.
 Algumas conclusões

1) As metas do Ideb, como foram definidas, oficialmente. não levam

em conta diretamente fatores relevantes, como o índice
socioeconômico das escolas e a volatilidade de seus resultados de
desempenho e rendimento, nem a evolução temporal das medidas
de qualidade educacional.

2) O modelo alternativo proposto tem a vantagem de levar em

conta todos esses problemas, fazendo com que as metas se
adequem melhor às escolas, tanto do ponto de vista do índice
socioeconômico médio do seu alunado, como também da
atualização dessas mesmas metas, segundo o desempenho
observado nas avaliações nacionais e estaduais.

3) Tal procedimento tem a vantagem de tornar mais precisas e

justas as metas do Ideb, o que é particularmente relevante quando
se leva em conta a importância que esse índice vem tendo no
contexto contemporâneo da avaliação educacional no Brasil.