O SAEB Sistema Nacional de Avaliao

da Educao Bsica: objetivos, caractersticas

e contribuies na investigao da
escola eficaz
*
Maria Eugenia Ferro
**
Kaiz Iwakami Beltro
**
Cristiano Fernandes
***
Denis Santos
**
Mayte Surez
***
Adler do Couto Andrade
****
O artigo descreve o Sistema Nacional de Avaliao da Educao Bsica
(SAEB) quanto aos seus objetivos e caractersticas e relata uma pesquisa
desenvolvida para a identificao dos fatores associados ao desempenho escolar
e eficincia do sistema educacional. Modelos de regresso multinvel foram
aplicados aos dados do SAEB-99, tendo sido dada maior nfase anlise da 4
a
srie do ensino fundamental. Considerou-se a estrutura hierrquica de dois nveis,
sendo aluno a unidade do nvel 1 e escola a unidade do nvel 2. A varivel
resposta a proficincia dos alunos nas cinco disciplinas testadas: Matemtica,
Portugus, Cincias, Geografia e Histria. Foram ajustados modelos para as cinco
macrorregies do Brasil Norte (NO), Nordeste (NE), Sudeste (SE), Sul e Centro-
Oeste (CO). O artigo apresenta, ainda, alguns dos resultados da pesquisa
relacionados ao perfil dos alunos e escolas.
Introduo
Este artigo unifica as palestras
apresentadas pelos autores no seminrio
Demografia e Educao, organizado e
promovido pela Associao Brasileira de
Estudos Populacionais (ABEP) em
Salvador, nos dias 7 e 8 de junho de 2001.
As palestras intitularam-se Sistema
Nacional da Avaliao do Ensino Bsico e
Avaliao educacional: modelagem
multinvel dos dados do SAEB.
O artigo est estruturado da seguinte
forma: a prxima seo dedicada
descrio do SAEB; a seguinte apresenta
a especificao formal do modelo multinvel
utilizado para tratar a varivel de interesse
proficincia; na quarta seo aborda-se o
referencial terico que inspirou a seleo
das variveis explicativas utilizadas na
modelagem e na quinta apresentam-se
alguns dos resultados obtidos. Por fim,
enunciam-se as linhas de pesquisa que se
mantm em desenvolvimento.
O Sistema Nacional de Avaliao da
Educao Bsica (SAEB)
O Sistema Nacional de Avaliao da
Educao Bsica (SAEB), coordenado pelo
*
Os autores agradecem ao INEP a disponibilizao da base de dados do SAEB-99 e de algumas variveis do Censo Escolar de
1999, que viabilizaram esta investigao. Agradecem tambm as valiosas contribuies e sugestes dos pareceristas annimos
da REBEP.
**
Escola Nacional de Cincias Estatsticas (ENCE), do Instituto Brasileiro de Geografia e Estatstica (IBGE).
***
Departamento de Engenharia Eltrica da PUC-RJ .
****
Analista de poltica educacional da Diretoria de Avaliao da Educao Bsica (DAEB), INEP/MEC.
112
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Instituto Nacional de Estudos e Pesquisas
Educacionais (INEP), um dos mais
amplos esforos empreendidos em nosso
pas de coleta, sistematizao e anlise
de dados sobre os ensinos fundamental e
mdio. Para atingir seus objetivos, articula-
se com um conjunto de aes voltadas
para a melhoria da qualidade do ensino e
da aprendizagem.
O SAEB pretende contribuir, por um lado,
para a universalizao do acesso escola
e, por outro, para a ampliao da eqidade
e da eficincia do sistema educacional
brasileiro. Nesse contexto, fornece subsdios
formulao de polticas e diretrizes
adequadas diversidade de situaes
presentes nos estados e regies brasileiras,
constituindo-se como uma referncia
nacional no que diz respeito ao desempenho
escolar da populao discente.
Implementado em 1990, as caracte-
rsticas gerais do SAEB em termos de
objetivos, estrutura e concepo tm-se
mantido constantes ao longo desses dez
anos de existncia. As mudanas efetiva-
das foram de ordem metodolgica e
operacional, a fim de aperfeioar normas e
procedimentos especficos e assegurar
cientificidade, confiabilidade e compara-
bilidade a seus resultados.
De fato, o SAEB utiliza procedimentos
metodolgicos de pesquisa, formais e
cientficos, com o objetivo de coletar dados
sobre o desempenho dos alunos e as
condies intra e extra-escolares que nele
interferem. Alm disso, com base nos
dados coletados pelo SAEB possvel
sugerir programas que contribuam para a
melhoria do funcionamento das escolas. A
anlise dos resultados do desempenho do
aluno no mbito do SAEB permite,
ulteriormente, verificar o desempenho dos
sistemas de ensino, fornecendo infor-
maes que possibilitam a adoo de
programas e projetos voltados melhoria
de sua qualidade.
consolidao do SAEB corresponde
a disseminao de uma cultura de
avaliao no Brasil. Afinal, os dados
coletados por meio de sistemas de
avaliao educacional como o SAEB
permitem a pais, alunos, professores,
diretores e a todos aqueles que gerenciam
o sistema educacional avaliar se nossos
estudantes esto adquirindo as habili-
dades e os conhecimentos indispensveis
sua plena insero na sociedade.
Para realizar a avaliao proposta pelo
SAEB so utilizados, fundamentalmente,
dois instrumentos: provas, pelas quais
determinado o nvel de desempenho dos
alunos em diferentes disciplinas e sries; e
questionrios contextuais para alunos,
turmas, professores, diretores e escolas,
pelos quais so investigados os fatores
associados ao desempenho desses alunos.
Para realizar essa avaliao em larga escala
definida uma amostra representativa do
alunado brasileiro da 4
a
e da 8
a
sries do
ensino fundamental e da 3
a
srie do ensino
mdio.
Dentre os objetivos especficos do
SAEB podemos citar: identificar os
problemas do ensino e suas diferenas
regionais; oferecer dados e indicadores que
possibilitem uma maior compreenso dos
fatores que influenciam o desempenho dos
alunos; proporcionar aos agentes edu-
cacionais e sociedade uma viso dos
resultados dos processos de ensino e
aprendizagem e das condies em que so
desenvolvidos; desenvolver competncia
tcnica e cientfica na rea de avaliao
educacional, ativando o intercmbio entre
instituies educacionais de ensino e
pesquisa; consolidar uma cultura de
avaliao nas redes e instituies de
ensino.
Em 1999 o SAEB cumpriu seu quinto
ciclo de avaliao. Participaram do SAEB-
99 cerca de 280 mil alunos, 43 mil
professores e 7 mil diretores, em
aproximadamente 7 mil escolas de todos
os estados brasileiros e do Distrito Federal.
As disciplinas integrantes da avaliao
realizada em 1999 foram Lngua
Portuguesa, Matemtica, Geografia,
Histria e Cincias, nas 4 e 8 sries do
ensino fundamental. Na 3
a
srie do ensino
mdio foram testadas as mesmas
disciplinas exceo de Cincias, que foi
substituda por Fsica, Qumica e Biologia.
113
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Especificao formal do modelo
multinvel
O modelo de regresso multinvel
incorpora naturalmente a estrutura
hierrquica ou de agrupamento da
populao em estudo, ou seja, alunos
agrupados em escolas. Esse modelo de
dois nveis trata aluno como a unidade do
nvel 1 (ndice i) e escola como a unidade
do nvel 2 (ndice k). Assim, considere-se
uma amostra de k escolas, cada uma delas
com I
k
alunos.
Poderamos considerar um nvel
intermdio na hierarquia para representar
o efeito da turma e, de forma mais rigorosa,
alocar neste nvel as variveis explicativas
a mensuradas (por exemplo, as referentes
ao professor). No entanto, o plano amostral
do SAEB contempla poucas turmas por
escola, o que torna invivel a imple-
mentao do nvel intermdio.
Para efeito de ilustrao, considere
proficincia
ik
a varivel que representa o
desempenho escolar do aluno i na escola k.
O modelo multinvel nulo (sem variveis
explicativas) para a proficincia especifica-
se como segue:
O valor esperado e a varincia da
proficincia so:
Pode-se observar que a diferena entre
o modelo de regresso clssica e este
modelo o intercepto que, neste caso,
aleatrio entre as escolas. A primeira linha
do modelo (1) vulgarmente conhecida
como equao do nvel 1 e a segunda linha,
como equao do nvel 2.
Cada uma das equaes tem associada
uma componente aleatria, sendo e
ik
o efeito
aleatrio associado ao nvel 1 (indivduo ik)
e u
0k
o efeito aleatrio associado ao nvel 2
(escola k). Assume-se que ambos os efeitos
seguem distribuio normal com mdia zero
e varincia
e
2
e
u0
2
, respectivamente, e
so independentes.
Substituindo a equao do nvel 2 na
equao do nvel 1 obtm-se:
A varincia da proficincia est
decomposta na varincia entre as escolas,

u0
2
, e na varincia intra-escola,
e
2
. Se, por
hiptese,
u0
2
fosse estatisticamente igual a
zero, toda a varincia da proficincia ficaria
a dever-se variabilidade entre alunos e,
por conseguinte, no se verificaria o efeito
do grupo (escola) nos resultados escolares
atingidos pelos alunos. Mesmo quando
u0
2
estatisticamente diferente de zero, de
interesse saber qual o seu tamanho
relativamente varincia total. O coeficiente
de correlao intra-escola (3) mede a
proporo da varincia entre escolas em
face da varincia total, permitindo ao
investigador ter melhor noo da
magnitude do efeito-escola (heterogenei-
dade entre as escolas).
Esta estatstica mede ainda a
correlao entre o desempenho escolar de
dois alunos que estudam na mesma escola.
O coeficiente varia de 0 a 1. Quando o seu
valor nulo, significa que as escolas so
homogneas entre si e que o desempenho
escolar do aluno independe da escola que
ele freqenta. Na situao extrema a esta,
quando o coeficiente de correlao intra-
escola tem valor 1, toda a variabilidade no
desempenho dos alunos deve-se
diferena entre as escolas e, nesta situao
hipottica, as caractersticas individuais do
aluno em nada afetam o seu desempenho
escolar, ficando este a dever-se inteira-
mente s caractersticas da escola
freqentada. Mais adiante sero apresen-
tadas as estimativas do coeficiente de
correlao intra-escola da 4 srie para
cada macrorregio do Brasil.
Considere agora a renda do agregado
familiar, varivel renda_familiar
ik
, do mesmo
(1)
(2)
(3)
114
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
aluno e a rede
k
que identifica se a escola k
est sob administrao particular ou
pblica. A incluso das variveis
explicativas renda_familiar (mensurada no
nvel 1) e rede (mensurada no nvel 2) no
modelo (1) d-se, respectivamente, na
primeira e segunda equaes. Depois da
substituio da equao do nvel 2 na
equao do nvel 1 obtm-se o seguinte
modelo:
modelo, a primeira e a segunda linhas do
lado direito da equao (5).
Mais detalhes sobre os modelos de
regresso multinvel podem ser encontrados
em Bryk e Raudenbush (1992), Longford
(1993) e Goldstein (1995).
Referencial terico para a modelagem
dos dados do SAEB-99
Escola eficaz e estratgia de modelagem
dos dados
A base de dados do SAEB-99
constituda por elevado nmero de variveis.
A seleo das variveis explicativas usadas
na modelagem do desempenho escolar do
aluno foi fortemente influenciada pela
literatura internacional sobre os fatores-chave
associados escola-eficaz, particu-
larmente pela extensiva reviso bibliogrfica
apresentada em Sammons, Hillman e
Mortimore (1995). Estes autores enunciam
11 fatores-chave que estariam associados a
uma escola eficaz, de que trataremos mais
adiante.
Nesse contexto, escola eficaz
aquela em que os resultados escolares do
aluno superam o resultado que ele obteria
em qualquer outra escola, levando-se em
conta o seu nvel socioeconmico e cultural
e o seu conhecimento prvio.
Encontraram-se algumas limitaes ao
uso desta definio em sentido estrito. Uma
delas a inexistncia de mensurao do
conhecimento prvio do aluno. Assim,
assumimos o pressuposto de que o
conhecimento prvio do aluno entrada na
escola e o seu nvel socioeconmico so
fortemente correlacionados. como se a
medida de nvel socioeconmico, que pode
ser inferida a partir das informaes nos
questionrios, contivesse o conhecimento
prvio. Um outro fator que dificulta a anlise
a possibilidade da mobilidade dos
estudantes entre escolas. Se o conhe-
cimento ou aptido do aluno o efeito
cumulativo das suas experincias edu-
cativas e estas foram vivenciadas em vrias
escolas, no h maneira de introduzir esta
informao na modelagem, dado que os
questionrios so aplicados na escola onde
A generalizao deste modelo
situao em que tanto o intercepto como o
coeficiente de inclinao so variveis
aleatrias e com variveis explicativas
mensuradas em ambos os nveis d origem
ao modelo especificado em (5):
onde u
1k
o efeito aleatrio associado
equao do nvel 2 definida para o
coeficiente de inclinao. Assume-se que
u
1k
segue distribuio normal com mdia 0
e varincia
u1
2
, que independente do erro
do nvel 1, e que a covarincia entre u
10
e
u
1k

u10
.

Os parmetros desconhecidos do
modelo so:
Os primeiros quatro parmetros so
usualmente designados por parmetros
fixos e os quatro ltimos, por parmetros
aleatrios. Dependendo do programa
computacional utilizado na estimao
destes modelos (MlwiN, HLM ou outros), o
procedimento de estimao pode ser de
mxima verossimilhana ou de mnimos
quadrados generalizados iterativos. Quan-
do a varivel resposta segue distribuio
normal, as estimativas produzidas so
equivalentes (Goldstein, 1995).
No demais reforar a idia de que a
parte aleatria ou estocstica do modelo, a
terceira linha do lado direito da equao
(5), representa os numerosos efeitos
aleatrios que impactam a proficincia do
aluno, atuando tanto no nvel do aluno
como no nvel da escola, e que no so
captados pela parte determinstica do
(4)
(5)
115
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
o aluno se encontra no momento da
pesquisa. Entretanto, j que o objetivo do
presente estudo no a comparabilidade
de escolas, nem sequer a produo de
listas ordenadas de eficcia
1
, alargou-se a
definio de escola eficaz. Considerou-
se como escola eficaz, em sentido lato, o
modelo de escola que, apesar de no ter
existncia fsica, tem configurao
desenhada a partir das caractersticas
comuns s escolas eficazes do sistema
onde os alunos atingem melhor desem-
penho, em contraponto com as caracte-
rsticas das escolas onde os alunos apre-
sentam piores resultados.
Assim sendo, optou-se por dar priori-
dade modelagem dos dados da 4
a
srie
do ensino fundamental e replicar os
modelos encontrados para as demais sries
avaliadas
2
, de forma a minimizar as limi-
taes acima enunciadas e conhecer
melhor os fatores associados ao sucesso
educativo em escolas cuja populao
estudantil tem espectro social mais largo.
Alm disso, a literatura internacional mostra
evidncias de que a escola primria exerce
efeito de longo prazo no percurso escolar
dos indivduos. Um bom aluno nas sries
iniciais tem grande chance de ser um bom
aluno nas sries seguintes.
Fatores associados ao sucesso educativo
e escolha das variveis
Sammons, Hillman e Mortimore (1995)
enunciam 11 fatores-chave associados s
escolas eficazes. So eles:
1. Liderana profissional;
2. Viso e metas compartilhadas pelos
agentes educativos;
3. Ambiente de aprendizagem;
4. Concentrao no processo ensino-
aprendizagem;
5. Ensino estruturado com propsitos
claramente definidos;
6. Expectativas elevadas;
7. Reforo positivo das atitudes;
8. Monitoramento do progresso;
9. Direitos e deveres dos alunos;
10.Parceria famlia-escola;
11.Organizao orientada apren-
dizagem.
Em seguida, descreveremos como foi
feita a seleo das variveis explicativas
includas nos modelos estatsticos ajusta-
dos durante a nossa pesquisa, tendo como
referncia os fatores acima enunciados.
Como se poder observar, nem todos os 11
fatores foram testados nos nossos modelos,
principalmente devido insuficincia dos
dados obtidos a partir das respostas aos
questionrios. Na nossa modelagem
acrescentaram-se variveis explicativas
que captam fenmenos que so relevantes
no contexto educacional brasileiro. A Tabela
A, em anexo, contm a descrio,
caracterizao, codificao e fonte dos
dados para todas as variveis usadas na
pesquisa. Listam-se, a seguir, aquelas cujos
resultados so reportados neste artigo.
Liderana profissional
No questionrio do diretor no h nenhuma
questo a partir da qual se possa aferir a
sua capacidade de liderana na conduo
administrativa e pedaggica da escola.
Consideraram-se, no entanto, algumas
variveis relativas ao perfil do diretor, tais
como escolaridade, experincia profissional
e nvel socioeconmico.
Viso e metas compartilhadas pelos
agentes educativos
Consideraram-se as respostas s questes
relativas ao Conselho de Escola e ao
Conselho de Classe, bem como ao mentor
do projeto pedaggico.
Ambiente de aprendizagem
A partir das respostas obtidas atravs do
questionrio da escola constituiu-se um
indicador da qualidade da infra-estrutura
1
A academia tem produzido muitas advertncias sobre a falcia das listas ordenadas das escolas segundo a eficcia. Ver, por
exemplo, Goldstein e Spiegelhalter (1996).
2
A deciso de modelar os dados da 4
a
srie e replicar os modelos para as outras sries pode no atender s especificidades da
8
a
srie do ensino fundamental e da 3
a
srie do ensino mdio.
116
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
fsica, segurana e limpeza da escola. A
partir de questes respondidas pelo
professor constituiu-se outro indicador,
representando a limitao de material
didtico e de equipamento enfrentada pelo
professor no exerccio da funo.
Concentrao no processo ensino-
aprendizagem
Testou-se a hiptese segundo a qual a
maximizao do tempo de aprendizagem
turno integral beneficia os resultados
escolares.
Ensino estruturado
Relativamente a este fator, usou-se a
resposta do professor acerca da
percentagem do contedo programtico j
lecionado e dos critrios de criao de
turmas e da alocao do professor turma.
Expectativas elevadas
Usou-se a resposta do professor sobre sua
expectativa quanto aprovao da turma.
Monitoramento do progresso
Usou-se a resposta dada pelo diretor da
escola sobre o processo de recuperao
de notas.
Parceria casa-escola
O questionrio do SAEB-99 aplicado aos
alunos contm a nica questo que poderia
ser usada para mensurar a parceria famlia-
escola. A questo a seguinte: Os seus
pais conhecem o diretor da escola/
professor/seus amigos?. A distribuio
percentual das respostas mostra que a
maioria dos pais de alunos na 4
a
srie
conhece o diretor, o professor e os amigos
do seu filho. Basta o pai/me acompanhar
o seu filho escola no primeiro dia de aulas
para ficar conhecendo o diretor e o
professor, sem que isso implique o seu
envolvimento na vida escolar. Tendo em
vista a sua m qualidade em face do
constructo que se pretende mensurar, a
questo no foi usada na modelagem.
Outras variveis foram usadas nos
modelos, medidas nos seguintes nveis:
Aluno: nvel socioeconmico, raa/cor,
sexo, defasagem idade/srie, faz lio de
casa, gosta da disciplina, sabe usar o
computador;
Escola/turma: varivel contextual do nvel
socioeconmico, regime de organizao do
ensino, porte da escola, proporo de
alunos reprovados no ltimo ano letivo,
tamanho mdio da turma, rotatividade de
professores na turma, critrio de criao de
turmas, critrio para alocao do professor
turma.
Professor: escolaridade, experincia
profissional, nvel socioeconmico.
Resultados
Nesta seo apresentam-se alguns dos
resultados referentes a alunos e escolas.
Os resultados completos do estudo esto
disponveis nos relatrios tcnicos (Barbosa
et al., 2000a, 2000b e 2001) e foram
resumidos em Ferro, Beltro e Fernandes
(2002).
TABELA 1
Estimativas da varincia e efeito-escola
Fonte: SAEB-99.
117
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Efeito-escola
Nesta subseo apresentam-se as
estimativas dos parmetros aleatrios e a
estimativa do efeito-escola aferido pelo
coeficiente de correlao intra-escola. Os
resultados do estudo do efeito-escola (ver
terceira seo) realizado com os dados da
4
a
srie do SAEB-99 so enunciados na
Tabela 1. O modelo (1) da terceira seo
est subjacente a estas estimativas e foi
ajustado com intercepto separado para
cada disciplina.
Verifica-se que o efeito-escola, ou de
agrupamento, mais intenso na regio SE
(35%) e mais fraco nas regies Sul e NO
(21%). Apesar de, primeira vista, podermos
ser levados a pensar que esse o potencial
que a escola tem para influenciar o
desempenho acadmico dos seus alunos,
isso no de todo verdade. J que a
alocao dos alunos s escolas no
aleatria, e que o nvel socioeconmico das
famlias contribui em muito na escolha da
escola que o aluno vai freqentar, o efeito-
escola acima tabulado dever ser
expurgado dessa componente. Assim,
levando em conta os resultados do modelo
com controle socioeconmico dos alunos,
chegamos ao efeito-escola controlado,
apresentado na Tabela 2. O modelo
subjacente o seguinte:
acima citadas. Meno especial deve ser
feita ao poder discriminativo que o nvel
socioeconmico tem nos resultados
escolares na regio SE. Digno de nota
tambm o fato de as escolas na regio NE
apresentarem o efeito-escola controlado de
17%, bastante acima do das demais regies.
Estes valores esto em sintonia com
os mencionados na literatura. Creemers e
Scheerens (1994) referem que, aproxima-
damente, de 12% a 18% da varincia total
dos resultados dos alunos explicada por
fatores associados escola ou turma; Daly
(1991) reporta estimativas mais modestas
8% a 10%.
O 1 Estudo Internacional Comparativo
dos Resultados de Lngua, Matemtica e
Fatores Associados nos 3
o
e 4
o
Graus do
Ensino Bsico, promovido pela OREALC e
realizado pelo LLECE (Laboratorio
Latinoamericano de Evaluacion de la
Calidad de la Educacion), reporta
estimativas comparativas do efeito-escola
(no controlado pelo nvel socioeconmico)
nos pases da Amrica Latina e Caribe.
Assim, no que diz respeito s estimativas
para o Brasil, o LLECE (2001) reporta 25%
e 30,7%, respectivamente, para Linguagem
e Matemtica. Tais estimativas so
comparveis s apresentadas na Tabela 1,
sendo da mesma ordem de grandeza. O
Chile apresenta os valores mnimos (17,1%
em Linguagem e 19,5% em Matemtica) e
o Peru tem os valores mximos (37,3% em
Linguagem e 44,5% em Matemtica). O
referido relatrio no mostra as estimativas
controladas pelo nvel socioeconmico. No
entanto, regista a varincia entre escolas
do mesmo nvel socioeconmico, donde se
observa que o seu valor mnimo relativo a
Cuba (28,8%).
TABELA 2
Estimativas da varincia residual com controle socioeconmico e efeito-escola controlado
Fonte: SAEB-99.
Verifica-se que, controlando pelo nvel
socioeconmico, o efeito-escola bastante
menor do que mencionado nas pesquisas
(6)
118
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
O modelo subjacente aos resultados da
Tabela 2 e, por conseguinte, ao efeito-
escola controlado inclui a varivel explica-
tiva do nvel socioeconmico contextual na
equao do nvel 2. Esta varivel obtida
atravs da mdia do nvel socioeconmico
dos alunos de cada escola. J que existem
variveis intra-escolares que so correla-
cionadas com aquela varivel contextual,
podemos aceitar que as estimativas
apresentadas nas Tabelas 1 e 2 repre-
sentam, respectivamente, os limites superior
e inferior do efeito da escola nos resultados
escolares atingidos pelos alunos.
Alunos
Nvel socioeconmico
Os itens do questionrio de alunos
permitem a sua classificao econmica de
acordo com o Critrio de Classificao
Econmica Brasil (CCEB) desenvolvido
conjuntamente pela Associao Nacional
de Empresas de Pesquisa (ANEP), a
Associao Brasileira de Anunciantes (ABA)
e a Associao Brasileira dos Institutos de
Pesquisas de Mercado (Abipeme, cujo
objetivo avaliar o poder de compra das
pessoas e famlias urbanas. Este critrio
abandona a classificao da populao
por classes sociais, substituindo-a pela
classificao por classe econmica. So sete
as classes econmicas arroladas (A1 com o
maior poder aquisitivo e E com o menor poder
aquisitivo, varivel recodificada em ordem
crescente de classe de 1 a 7, respectiva-
mente), determinadas por um sistema de
pontuao que toma como base de clculo a
posse de bens, a escolaridade do chefe de
famlia e a presena de empregada
mensalista. A ttulo de informao comple-
mentar, oportuno referir que, de acordo com
este critrio, a distribuio percentual da
populao urbana por classe econmica a
seguinte: 1% pertence classe A1, 4%
classe A2, 8% B1, 11% B2, 31% C, 33%
D e 12% classe E.
O Grfico 1 permite observar a relao
positiva entre a proficincia mdia do aluno
nas cinco disciplinas e seu nvel socioeco-
nmico, confirmando o fato amplamente
conhecido de que o desempenho acad-
mico do aluno fortemente influenciado
pela envolvente social, cultural e econmica
(dimenses geralmente correlacionadas).
Raa/Cor
A Tabela 3 mostra a distribuio per-
centual dos alunos das sries abrangidas
pelo SAEB por raa/cor declarada e
tambm a distribuio da populao
brasileira. Observando a tabela no sentido
GRFICO 1
Proficincia mdia na 4 srie por nvel socioeconmico
119
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
horizontal, verifica-se que a participao dos
alunos brancos aumenta do ensino funda-
mental para o ensino mdio, ao passo que a
dos alunos pardos/mulatos e negros diminui.
Num primeiro momento, poderamos ser le-
vados a pensar sobre a to falada seletivi-
dade do sistema educacional, mas tal seria
precipitado. O assunto ainda est sob pesquisa.
Idade e repetncia
O Grfico 2 e a srie de Grficos 3
permitem analisar a relao bivariada entre
a defasagem idade/srie (para a 4 srie) e
a distribuio dos alunos por idade
3
nas trs
sries avaliadas. Torna-se evidente que os
alunos com atraso escolar tm resultados
escolares reduzidos comparativamente aos
que esto na idade adequada para a srie.
Aproximadamente 48% dos alunos da 4
srie esto acima da idade adequada e 38%
dos alunos foram reprovados ao menos uma
vez (ver Tabela 4). A diferena uma estima-
tiva dos alunos que entraram tardiamente na
escola ou que, tendo entrado na idade
adequada, se evadiram e reingressaram
posteriormente no sistema. O questionrio do
SAEB-99 no permite discriminar estes casos,
pois contm apenas uma questo sobre o
nmero de anos que o aluno j repetiu.
As Tabelas B1 a B4, em anexo, contm
as estimativas
4
dos modelos de dois nveis
ajustados com as variveis explicativas dos
TABELA 3
Distribuio dos alunos e da populao por raa/cor
* Fonte: IBGE, Anurio estatstico 1998.
GRFICO 2
Proficincia mdia na 4 srie por defasagem idade/srie
3
Idade completa a 31 de julho. Data arbitrada para o clculo a partir da informao de que a maioria das escolas aceita alunos de
6 anos na 1 srie do ensino fundamental, contanto que eles completem os 7 anos no primeiro semestre.
4
Considerou-se o nvel de significncia de 5%.
120
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
TABELA 4
Distribuio percentual dos alunos da 4 srie por nmeros de anos letivos repetidos
GRFICO 3.1
Distribuio percentual dos alunos da 4
a
serie do E.F.,
por idade
GRFICO 3.2
Distribuio percentual dos alunos da 8
a
srie do E.F.,
por idade
GRFICO 3.3
Distribuio percentual dos alunos da 3
a
srie do Ensino Mdio,
por idade
121
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
alunos e escolas. O modelo subjacente s
Tabelas B3 e B4 o seguinte:
impacto da defasagem em determinadas
escolas maior do que em outras. Ferro e
Beltro (2001) ajustam curvas por escola
com o efeito aleatrio associado
defasagem para melhor ilustrar a
variabilidade entre escolas da regio
Sudeste. O resultado o que se mostra no
Grfico 4.
Pode-se observar no Grfico 4 que,
dependendo da escola que os alunos
defasados freqentam, o efeito marginal da
defasagem idade/srie no seu desem-
penho varia. Compare, por exemplo, duas
das curvas apresentadas no grfico. O
aluno que esteja quatro anos defasado em
relao idade adequada para a srie pode
ter o seu desempenho reduzido, em mdia,
em 45 unidades ou apenas 5, dependendo
da escola onde ele estuda.
Com respeito ao comportamento diante
da lio de casa, os coeficientes estimados
obedecem ordem esperada. Tendo como
referncia o nunca faz dever de casa (valor
zero), raramente tem valor maior
(estatisticamente significativo para NO, NE
e SE), porm menor do que usualmente
(diferena estatisticamente significativa para
todas as regies), que por sua vez menor
do que sempre (diferena estatisticamente
significativa para todas as regies menos
NO). Os modelos ajustados separadamente
por disciplina mostram que a influncia do
cumprimento do dever de casa mais
pronunciada em Portugus.
Verifica-se elevada influncia do
contexto familiar nos resultados escolares
do aluno. Aferindo a envolvente familiar
pelo seu nvel socioeconmico, na regio
SE onde tal ocorre com mais incidncia e
onde se verifica maior variabilidade entre
escolas atribuvel s diferenas de carter
social e econmico.
As raas/cores amarela e indgena
no apresentam diferenas estatisticamen-
te significativas em relao raa branca
( exceo da raa/cor amarela no NO); os
mulatos apresentam melhores resultados
do que os brancos no NO e NE, piores no
SE e com diferenas no estatisticamente
significativas no Sul e CO; em todas as
regies, os alunos declarados de raa/cor
negra apresentam desempenho inferior
comparativamente aos demais alunos.
O desempenho dos alunos atrasados
relativamente idade adequada para a
srie inferior ao dos alunos em idade
adequada, mas o efeito aleatrio (
exceo da regio Sul). Isto sugere que o
(7)
GRFICO 4
Curvas ajustadas para as escolas com o efeito marginal de defasagem idade/srie na proficincia
dos alunos da 4 srie na regio SE
122
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Escola ou turma
As estimativas
5
apresentadas na Tabela
B4, em anexo, suportam a anlise que se
apresenta a seguir. As estimativas dos pa-
rmetros fixos associados a alunos mostram-
se consistentes com as do modelo anterior.
Adicionalmente, o modelo sugere que:
Escolas com melhor infra-estrutura,
segurana e limpeza servem popu-
lao discente com nvel socioecon-
mico mais elevado. A varivel est
positivamente correlacionada com a
varivel contextual do nvel socioeco-
nmico da escola. A varivel tem um
impacto positivo no desempenho dos
alunos.
Os resultados associados aos critrios
adotados para a criao de turmas
no indicaram a existncia de algum
padro que permita afirmar que um
prefervel ao outro em termos dos
resultados escolares.
No foi encontrada relao esta-
tisticamente significativa entre o
processo de recuperao de notas e
a melhoria do desempenho escolar.
O regime de organizao do ensino
adotado na escola (ensino organiza-
do em ciclos em face de ensino seria-
do ou misto
6
) apresenta, em mdia,
impacto negativo. O ensino em ciclos
est mais amplamente disseminado
na regio Sudeste, particularmente
nos estados de So Paulo e Minas
Gerais. Ferro, Beltro e Santos
(2001) aprofundaram o estudo para
estes estados e mostram que, a partir
dos dados do SAEB-99, no h evi-
dncias, na escola pblica de Minas
Gerais e So Paulo, de que o ensino
organizado em ciclos conduza a resul-
tados escolares substancialmente
inferiores aos do ensino seriado. Os
autores relatam a necessidade de
prosseguir a pesquisa com os dados
do SAEB-2001, uma vez que o ques-
tionrio da turma contm informao
mais precisa sobre o assunto.
A incluso desta varivel no modelo
faz com que o porte da escola,
mensurado em nmero de turmas no
ensino fundamental, seja estatis-
ticamente significativo (negativo)
apenas na regio Centro-Oeste. Sem
a varivel, o porte da escola
significativo em todas as regies. Foi
testado o termo de interao entre
ambas as variveis, mas este
mostrou-se no significativo. Parece
ser um caso de multicolinearidade
entre as variveis envolvidas.
A incluso das variveis relacionadas
com Conselho de Escola e Conselho
de Classe nos modelos no mostrou
a existncia de qualquer padro
comum a todas as regies relati-
vamente ao efeito da existncia e
periodicidade de reunies destes
rgos da escola na melhoria dos
resultados atingidos.
Alm disso, alunos em turno integral
no apresentam vantagem em face
dos alunos em turno parcial.
Futuros desenvolvimentos
necessrio aprofundar diversos pon-
tos abordados nesta fase da pesquisa. O
grupo estabeleceu uma ordem de prioridade
nos temas que merecem abordagem ime-
diata, tendo como critrio sua relevncia na
contribuio para a garantia da eqidade e
eficincia do sistema educacional. Os temas
em agenda so:
Procurar explicao para o efeito de
raa/cor negro na proficincia.
Estender o estudo sobre defasagem
e regime de organizao do ensino
a outras unidades da Federao.
5
Considerou-se o nvel de significncia de 5%.
6
Varivel retirada do Censo Escolar de 1999. H escolas que declaram ter em funcionamento ambos os regimes de organizao
do ensino. Nestes casos, impossvel saber sob que regime se encontra a turma selecionada na amostra do SAEB-99. Esclarecida
esta indeterminao, os resultados do impacto do regime de organizao do ensino nos resultados escolares podem mudar. A
anlise dever ser repetida com os dados do SAEB-2001, que contempla, no questionrio da turma, a pergunta sobre qual o
regime de organizao de ensino a que a turma est sujeita.
123
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Referncias bibliogrficas
BARBOSA, Maria E. Ferro, FERNANDES,
C., SANTOS, D., BELTRO, K. e FARIAS,
M. Anlise descritiva dos dados do SAEB-
99. Relatrio tcnico INEP/MEC, 2000a.
No publicado.
______. Reduo da dimensionalidade dos
dados do SAEB-99. Relatrio tcnico, INEP/
MEC, 2000b. No publicado.
BARBOSA, Maria E. Ferro, BELTRO, K.,
FARIAS, M., FERNANDES, C. e SANTOS,
D. Modelagem do SAEB-99. Modelos de
regresso multinvel. Relatrio tcnico,
INEP/MEC, 2001. No publicado.
BRYK, A. e RAUDENBUSH, S. Hierarchical
linear models. Newbury Park: Sage, 1992.
CREEMERS, B. e SCHEERENS, J .
Developments in the educational
effectiveness research programme.
International J ournal of Educational
Research, 21 (2), p. 125-139, 1994.
DALY, P. How large are secondary school
effects in Northern Ireland? School
Effectiveness and School Improvemente,
2 (4), p. 305-323, 1991.
FERRO, Maria E. e BELTRO, Kaiz.
Tracing schools which do not penalise over
age students. Trabalho apresentado na 27
th
Annual Conference of the International
Association for Educational Assessment,
Rio de J aneiro, 2001.
FERRO, Maria E., BELTRO. K. e SANTOS,
D. O impacto da promoo automtica na
proficincia dos alunos da 4 srie nos
estados de Minas Gerais e So Paulo.
Relatrio tcnico, ENCE/IBGE, 2001.
FERRO, Maria E., BELTRO, K. e
FERNANDES, C. Aprendendo sobre a
escola eficaz evidncias do SAEB-99.
Braslia: INEP/MEC, 2002.
FLETCHER, P. procura do ensino eficaz.
Relatrio de pesquisa, PNUD/MEC/SAEB,
1997.
GOLDSTEIN, H. Multilevel statistical
models. 2.ed. Londres: Edward Arnold,
New York: Halsted Press, 1995.
GOLDSTEIN, H. e SPIEGELHALTER, D. J .
League tables and their limitations:
statistical issues in comparisons of
institutional performance. J ournal of the
Royal Statistical Society, v. 159A, p. 385-
443, 1996.
IBGE. Sntese de indicadores sociais 1999.
Estudos & Pesquisas. Informao demogr-
fica e socioeconmica. IBGE, 2000.
LLECE. (2001). Primer estudio internacional
comparativo sobre lenguaje, matemtica
y factores asociados, para alumnos del
tercer y cuarto grado de la educacin
bsica. Relatrio tcnico, OREALC, agosto
2001.
LONGFORD, N. Random coefficient
models. Oxford: Clarendon Press, 1993.
RASBASH, J ., BROWNE, W., HEALY, M.,
CAMERON, B. e CHARLTON, C. MlwiN.
Multilevel models project. Institute of
Education, University of London, 2000.
SAMMONS, P., HILLMAN, J . e MORTIMORE,
P. Key characteristics of effective schools:
a review of schol effectiveness research.
Londres: Office for Standards in Education
(OFSTED),1995.
124
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Anexos
T
A
B
E
L
A

A
R
e
l
a

o

d
o
s

c
o
n
s
t
r
u
t
o
s

e

v
a
r
i

v
e
i
s
125
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
126
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
127
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
TABELA B.1
Estimativas do modelo nulo
TABELA B.2
Estimativas do modelo com controle socioeconmico
128
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
TABELA B.3
Estimativas do modelo com variveis de aluno e ambiente da escola
129
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
TABELA B.4
Estimativas do modelo com variveis de aluno, ambiente da escola, gesto-administrao-organizao do ensino
130
Revista Brasileira de Estudos de Populao, v.18, n.1/2, jan./dez. 2001 Ferro, M.E. et al.
Abstract
The article describes the National Basic Education Evaluation System (SAEB) for regarding
its objectives and characteristics, and reports on a study carried out to identify the factors
associated with school performance and with the efficiency of the educational system. Multi-
level regression models were applied to the data from the SAEB-99, with special emphasis on
the analysis of the fourth grade of elementary school. The two-level hierarchical structure was
considered, with students being Unit Level 1 and schools being Unit Level 2 . The response
variable is the students proficiency in the five subjects tested: mathematics, Portuguese, science,
geography, and history. Models were adjusted for the five major geographical regions in Brazil
North (NO), Northeast (NE), Southeast (SE), South (SO), and Central-West (CO). The article
also presents partial results of the study in regard to the profile of students and schools.
Enviado para publicao em 10/10/2001.