Caractersticas del Saeb (Sistema de Evaluacin de la Educacin Bsica)

Las evaluaciones del Saeb producen informacin sobre la realidad

educativa brasilea y, especficamente, por regiones, sobre las redes de enseanza
pblica y privada en los Estados y el Distrito Federal. Llevan a cabo esta tarea
mediante el examen bianual de competencias en matemticas y en lengua
portuguesa (lectura), aplicado en la muestra de alumnos de 5 y 9 ao de
enseanza bsica y de 3o ao de Bachillerato.
Desarrollado por el Instituto Nacional de Estudios Educacionales e
Investigacin Ansio Teixeira (INEP), que forma parte del Ministerio de Educacin
(MEC), el Saeb es la primera iniciativa brasilea, a nivel nacional, que tiene el
objetivo de comprender mejor el sistema educativo del pas. Adems de recoger los
datos sobre la calidad de la educacin, pretende conocer las condiciones internas y
externas que interfieren en el proceso de enseanza y aprendizaje, mediante la
aplicacin de cuestionarios de contexto respondidos por los estudiantes, maestros y
directores y reuniendo informacin sobre la condicin material de la escuela y de
los recursos que ofrece.
Las informaciones obtenidas de los resultados de Saeb tambin permiten
seguir la evolucin de la calidad de la educacin a lo largo de los aos, siendo este
sistema utilizado principalmente por el Ministerio de Educacin y departamentos
locales de educacin en la definicin de acciones orientadas a la solucin de los
problemas identificados, as como la focalizacin de sus recursos tcnicos y
financieros hacia las reas prioritarias, con miras al mejor desarrollo del sistema
educativo brasileo y a reducir las desigualdades en l existentes.
La evaluacin de la educacin bsica es diseada, implementada y aplicada
por el Inep, con frecuencia bianual, midiendo el rendimiento en lengua portuguesa
y matemticas en los ltimos aos de cada etapa de la educacin bsica. Cabe
sealar que el Instituto no realiza todo el proceso solo, ya que recibe asesoramiento
de una empresa especializada en la creacin de la base de datos y en la produccin
de las escalas, que es contratada a travs de licitacin internacional.

Objetivos generales del Saeb

La Prueba Brasil es una evaluacin a gran escala que tiene como objetivos
generales:
Identificar los problemas y diferencias regionales de enseanza;
Ofertar subsidios para la formulacin, reformulacin y seguimiento de las polticas
pblicas y programas de intervencin ajustados a las necesidades de las reas y
etapas de la educacin evaluadas;
Producir informacin sobre los factores socioeconmicos, culturales y el contexto
escolar que influyen en el rendimiento de los alumnos;
Proporcionar a los agentes educativos y a la sociedad una visin clara de los
resultados de la enseanza y procesos de aprendizaje y tambin de las condiciones
bajo las cuales se desarrollan;
Desarrollar competencia tcnica y cientfica en el rea de la evaluacin educativa,
lo que permite intercambios entre instituciones educativas y la investigacin.

Instrumentos de Evaluacin

El Sistema Nacional para la Evaluacin de la Educacin Bsica Saeb

-utiliza instrumentos de recoleccin de diferentes datos, algunos de ellos son los
testes que tienen como objetivo medir la capacidad de lectura en lengua
portuguesa y la resolucin de problemas en matemticas de los estudiantes.
Las pruebas aplicadas a los estudiantes se componen de varios tems de
alternativas desarrolladas por profesores de los aos y temas evaluados, a partir de
los descriptores de las matrices de referencia para el Saeb.
Una vez elaborados, los tems son sometidos a:

Una revisin de contenido y forma, que incluye una certificacin de la

calidad de los aspectos tericos, lingsticos y pedaggicos de los tems;
La validacin emprica, que comprueba, por medio de tcnicas estadsticas y
psicomtricas, caractersticas de comportamiento de los tems despus de su
aplicacin en campo.
Los anlisis estadsticos permiten estimar:

El poder de discriminacin del tem, es decir, su capacidad para diferenciar

los estudiantes que conocen el contenido y ya han desarrollado las
competencias requeridas de los dems;
El ndice de dificultad de cada pregunta, lo que permite equilibrar las
pruebas con preguntas de diferentes grados de dificultad.
La probabilidad de xito al azar, lo que indica la posibilidad de acierto del
tem sin el conocimiento y la construccin de la capacidad requerida (acierto
al azar).

Las pruebas del Saeb contienen 169 tems para cada uno de los aos y materias
evaluadas para medir las habilidades especificadas en las Matrices de Referencia.
Para permitir la aplicacin de esta gran cantidad de tems, se utiliza el diseo
llamado "bloques incompletos balanceados (Balanced Incomplete Block)-BIB.
Este modelo permite que los 169 tems sean divididos en subconjuntos ms
pequeos llamados bloques. Cada bloque consta de 13 tems, hay un total de 13
bloques.
Estos 13 bloques se organizan en grupos de tres diferentes combinaciones. Cada
combinacin resulta en un cuaderno de pruebas y todas las combinaciones en 26
cuadernos diferentes.
Esta distribucin asegura que sean superados ciertos factores que intervienen en la
respuesta a los tems, tales como fatiga del estudiante o falta de tiempo para
responder a las preguntas que aparecen al final de la prueba.

Las Matrices de Referencia

Las matrices describen el objeto de la evaluacin, son un currculo mnimo

para ser evaluado en cada asignatura y ao, indicando las habilidades y
capacidades que se esperan de los estudiantes. Las matrices tienen como referencia
los Parmetros Curriculares Nacionales.
Las matrices de referencia son la base para la preparacin de los tems de
prueba del Saeb.

Metodologa para el clculo de los resultados de rendimiento

Las pruebas aplicadas a los estudiantes presentan dos resultados: el

rendimiento en portugus (lectura) y en matemticas. Estos se analizaron en base
al modelo unidimensional logstico de tres parmetros de la teora de respuesta al
tem (TRI) (Seor; NOVICK, 1968; HAMBLETON; SWAMINATHAN; ROGERS, 1991;
BAKER, 1992).
La eleccin de este modelo se bas en el diseo pedaggico de las matrices
de referencia de la evaluacin, que prevea la existencia de un factor predominante
responsable de las respuestas a las preguntas de cada prueba. Adems, la TRI
tiene como propsito asegurar la comparabilidad entre aos y permitir la
construccin de escalas pedaggicas. Esto permite que los alumnos sean
posicionados en escalas comunes
de rendimiento, aunque no todos hayan
respondido a los mismos tems de las pruebas utilizadas en la evaluacin.

Los cuestionarios

Durante las pruebas del Saeb se aplica un cuestionario que recoge

informacin sobre el contexto social, econmico y cultural de los estudiantes y
adems la trayectoria de sus estudios, buscando presentar indicaciones del efecto
que algunos de estos factores tiene sobre el rendimiento.
Docentes y directivos tambin estn invitados a responder a cuestionarios
que permiten conocer la formacin profesional, las prcticas pedaggicas, nivel
socio-econmico y cultural, estilos de liderazgo y formas de gestin. Se recopila
informacin sobre el clima acadmico de la escuela, el clima disciplinario, recursos
educativos, infraestructura y recursos humanos. En la misma ocasin se rellena,
por parte del aplicador de la prueba, un formulario sobre las condiciones de
infraestructura de las escuelas participantes en la evaluacin.
La relacin entre factores de contexto y el rendimiento de los estudiantes
se realiza utilizando modelos de regresin jerrquicos, porque, a travs de ellos es
posible analizar los factores de inters al controlar otras variables como el nivel
socioeconmico de los alumnos evaluados, que tambin ejercen influencia en el
aprendizaje de los estudiantes.

Contextualizacin de los resultados

Los resultados de la Prueba Brasil son presentados con indicadores

contextuales que informan sobre las condiciones en las que ocurre el trabajo de la
escuela.
En este informe, estaban disponibles dos indicadores: el indicador del nivel
socioeconmico y el indicador de la formacin docente. Adems, el Inep lanz
tambin el perfil de "Escuelas similares", que proporciona una referencia para que
la escuela pueda analizar sus resultados.

A) Indicador de nivel socioeconmico

El indicador de nivel socioeconmico permite, en general, ubicar el pblico
atendido por la escuela en un estrato o nivel social, apuntando el padrn de vida
para cada uno de estos estratos. Este indicador se calcula a partir de la
educacin de los padres y de la posesin de bienes y servicios por la familia de
los estudiantes.
Las escuelas se clasificaron en siete grupos, de modo que, en el grupo 1, estn
las escuelas con ms bajo nivel socioeconmico y, en el grupo 7, las escuelas
con mayor nivel socioeconmico.

B) Indicador de la adecuacin de la formacin docente

El indicador de adecuacin de formacin docente analiza la formacin de los
docentes que ensean en los aos iniciales y finales de la enseanza
fundamental en la escuela. Muestra el porcentaje de disciplinas en cada etapa
que son impartidas por profesores con formacin superior en la misma disciplina
que ensea. En el caso de los aos iniciales, se considera adems la formacin
en pedagoga.

C) Perfil de escuelas similares

Cada escuela ser capaz de analizar los resultados con referencia a un perfil
llamado "Escuelas similares", que sintetiza los resultados de un grupo de
escuelas con caractersticas similares, es decir, pertenecientes a la misma micro
regin geogrfica, misma ubicacin (urbana y rural) y que tiene los valores
absolutos del indicador de nivel socioeconmico prximos.

El indicador de rendimiento

Niveles de rendimiento para la lectura y las matemticas

NVEL
Abajo del
Bsico
Bsico
Adecuado
Avanzado

Lectura
5 Grado EF
9 Grado EF

Matemticas
5 Grado EF
9 Grado EF

< 150

< 200

< 175

< 225

Entre 150 y
200
Entre 200 y
250
Ms de 250

Entre 200 y
275
Entre 275 y
325
Ms de 325

Entre 175 y
225
Entre 225 y
275
Ms de 275

Entre 225 y
300
Entre 300 y
350
Ms de 350

En la Prueba Brasil, la escala de rendimiento se construye para cada una de

las reas de conocimiento evaluadas y va de 0 a 500 puntos. Se divide en
intervalos de 25 puntos, que se llaman niveles de rendimiento. Cada nivel
comprende un conjunto de habilidades que los alumnos probablemente dominan.
Es importante tener en cuenta que los niveles son acumulativos y
progresivos. Esto significa que estn dispuestos del menor al mayor rendimiento.
Adems, cuando un porcentaje de los estudiantes fue colocado en un cierto nivel de
la escala, uno puede asumir que, adems de haber probablemente desarrollado las
habilidades para este nivel, tambin han desarrollado las habilidades relativas a los
niveles anteriores.

El Ideb (ndice de Desarrollo de la Educacin Bsica)

El Ideb aade el enfoque pedaggico a los resultados de las evaluaciones a

gran escala del Inep. Proporciona la posibilidad de resultados sintticos, fcilmente
asimilables, y que permiten trazar metas de calidad educativa para los sistemas de
enseanza. El indicador se calcula en base a los datos de aprobacin de la escuela,
obtenidos en el censo escolar y las tasas de rendimiento en las evaluaciones del
Inep, Saeb.

Como se calcula el Ideb (ndice de Desarrollo de la Educacin Bsica)

El Ideb se calcula a partir de dos componentes: tasa de rendimiento

escolar (aprobacin) y media de desempeo en las pruebas estandarizadas
aplicadas por el Inep. Los ndices de aprobacin se obtienen del censo escolar,
realizado anualmente por el Inep. Los promedios de rendimiento utilizados son los
de la Prueba Brasil (para Idebs de escuelas y municipios) y del Saeb (en el caso de
los Idebs de los Estados).

Algunas conclusiones

Cmo hacer el SAEB ms relevante para los directores y maestros?

Acabamos llegando a la conclusin de que una de las alternativas es la

presentacin de ejemplos de situaciones pedaggicas. Podra ilustrarse con temas
que han demostrado ser complicados para los examinados del Saeb y posibles
alternativas pedaggicas podran ser debatidas. El material que contenga los
resultados debera, al mismo tiempo, utilizar un lenguaje apropiado para los
profesores y respetar su capacidad intelectual y autonoma.
No es seguro decir que el SAEB tiene buenas maneras de medir los temas
que se consideran de gran relevancia para profesores y directores. Vamos a ver
algunos ejemplos. Es evidente que temas como violencia, enfoques pedaggicos,
absentismo, repeticin y organizacin escolar en series o ciclos son temas con los
que los directores y maestros tratan bastante. El SAEB trata todos estos temas de
manera insuficiente. La medida del absentismo existente no es recogida de forma
totalmente de confianza y la solucin a este problema implica un cambio sustancial
en el proceso de recoleccin de datos (y no slo la manera de preguntar sobre esto
en los cuestionarios). El tema de la repeticin se maneja de manera inadecuada,
porque el SAEB se limita a obtener datos sobre el pasado del estudiante.

Anlisis del contexto

En la mayora de los casos, hay informacin general acerca de lo que los

cuestionarios buscan identificar: factores contextuales; nivel socioeconmico;
aspectos culturales; etc. Sin embargo, falta una definicin clara y objetiva de cada
uno de estos factores, ya que pueden suponer una gran cantidad de informacin
diversa.

Debate y conclusin final

La introduccin del Saeb (Prueba Brasil) tuvo un papel importante para

traer al centro del debate educativo la importancia de considerar el aprendizaje y la
trayectoria de los estudiantes registrada en los indicadores cuantitativos como un
medio para planificar y analizar la educacin bsica brasilea. Llegamos a
conclusiones importantes despus de la lectura del informe y sus componentes
adicionales. Son las siguientes:
1 - La prueba Brasil acta como instrumento de control de las prcticas curriculares
del da a da de los docentes, actuando para limitar ms sus alternativas en relacin
a su autonoma.

2 Otra posible conclusin crtica puede encontrarse en el hecho de que el IDEB es

un indicador sinttico y nico para el monitoreo de un sistema tan grande y
heterogneo como el sistema brasileo de educacin bsica.
3- Tambin observamos que el Ideb es un termmetro que indica si el estudiante
est o no asimilando la informacin proporcionada por el sistema educativo; pero
no tiene en cuenta aspectos que inciden en la calidad educativa, como la
valorizacin de los profesionales y la infraestructura (aunque en principio pregunte
sobre ella).
4 - El Ideb da indicios de calidad, pero no indica claramente qu necesita
mejorarse.

Bibliografa:

INEP.
Caderno
Prova
Brasil.
Disponible
en
http://download.inep.gov.br/educacao_basica/prova_brasil_saeb/resultados/2013/c
aderno_prova_brasil_2013.pdf.

____.
Entenda
como

construido
o
Ideb.
Disponible
en
http://download.inep.gov.br/educacao_basica/portal_ideb/metodologias/Artigo_proj
ecoes.pdf.

____.
Escalas
de
Proficincia.
http://portal.inep.gov.br/web/saeb/escalas-de-proficiencia.

Disponible

en

____.
Exemplos
de
questes.
http://portal.inep.gov.br/web/saeb/exemplos-de-questoes2.

Disponible

en

____. Indicador de adequao da formao docente. Disponible en

http://download.inep.gov.br/mailing/2014/nota_tecnica_formacao_docente.pdf.

____.
Metodologias.
ideb/metodologias.

Disponible

en

http://portal.inep.gov.br/web/portal-

____.
Nota
tcnica.
Disponible
http://download.inep.gov.br/mailing/2014/nota_tecnica_INSE.pdf.

en

_____.
Nota
tcnica.
Disponible
en
http://download.inep.gov.br/educacao_basica/portal_ideb/metodologias/Nota_Tecni
ca_n1_concepcaoIDEB.pdf.

_____. O qu o Ideb. Disponible en http://portal.inep.gov.br/web/portal-ideb/oque-e-o-ideb.

____. Para que serve o Ideb. Disponible en http://portal.inep.gov.br/web/portalideb/para-que-serve-o-ideb.

____.
Perfil
escolas
similares.
Disponible
http://download.inep.gov.br/mailing/2014/nota_tecnica_ecolas_similares.pdf.

en

____.
Questionarios
contextuais.
Disponible
http://portal.inep.gov.br/web/saeb/questionarios-contextuais.

en

____.
Resultados
Saeb
1995-2005.
Disponible
en
http://download.inep.gov.br/educacao_basica/prova_brasil_saeb/menu_do_profess
or/resultados/Saeb_resultados95_05_UF.pdf.