Evaluaciones Nacionales del

Rendimiento Académico

Lima, 6 de abril de 2008

Unidad de Medición de
la Calidad Educativa
SECRETARÍA DE PLANIFICACIÓN
ESTRATÉGICA
 Una definición

La evaluación educativa, puede ser entendida como

un proceso mediante el cual se recoge, organiza,

analiza y sistematiza información de un sistema

educativo, según objetivos previamente determinados,

de modo que permita tomar decisiones fundamentadas

sobre el proceso educativo.

 Funciones de la Evaluación
Toma de decisiones: sobre la intervención
pedagógica

Retroinformación: sobre logros

Refuerzo: reconocer esfuerzo y rendimiento

Autoconsciencia: procesos de aprendizaje,

puntos fuertes y débiles

Reátegui, Arakaki y Flores, 2001

 Evaluaciones de Sistema
Existe consenso en que el logro de aprendizajes
de los estudiantes es uno de los principales
indicadores de la calidad del sistema
educativo.

Busca generar información sobre dichos logros

y sobre un conjunto de factores escolares y
extraescolares que inciden en los rendimientos
de los estudiantes para poder explicarlos desde
una perspectiva de equidad.
 Evaluaciones de Sistema
Cobran una gran importancia en
latinoamericana y se desarrollan junto con el
diseño e implementación de las reformas
educativas de los años 80 y 90.

Responden a la necesidad de contar con

información sobre el sistema educativo y sus
componentes, con la finalidad de colocar la
calidad de la educación como tema central y
prioritario de la agenda pública.
 Proceso de las Evaluaciones Nacionales
ELABORACIÓN ELABORACIÓN DEFINICIÓN DE
APLICACIONES APLICACIÓN
DEL MARCO DE DE DEFINITIVA NIVELES DE
EVALUACION INSTRUMENTOS PILOTO DESEMPEÑO

ANALISIS DE
CODIFICACIÓN DE RESULTADOS
RESPUESTAS

ARMADO DE
BASES DE DATOS
ELABORACIÓN DE

ANÁLISIS REPORTES
PSICOMÉTRICO

ANÁLISIS
PEDAGÓGICO DIFUSIÓN
Elaboración del Marco de
Evaluación
¿Qué es un marco de evaluación?

Integra los conceptos sobre los cuales se

fundamentará una evaluación, plasmándolos
en un documento.
 El marco de evaluación

Contextuales

ASPECTOS Disciplinares

Metodológicos
Aspectos contextuales:

1. Propósito de la evaluación

2. Objeto de evaluación

3. Características de la población a evaluar

4. Usuarios de la evaluación
 Aspectos Disciplinares

1. Enfoque del área

2. Dimensiones a ser evaluadas

3. Estructura de las pruebas

Aspectos Metodológicos:
1. Número de ítems de la prueba

2. Formatos de ítems a emplear

3. Distribución de los ítems en la prueba

4. Duración de la prueba
 Las Áreas a Evaluar
Es posible evaluar diversas áreas a nivel de
sistema.

El primer paso es establecer un enfoque de

área y adoptar una definición.
 Comprensión de Textos

Proceso en el que el lector utiliza sus

conocimientos previos (conocimiento
del mundo y del lenguaje,y pautas
culturales) para interactuar con el
texto y reconstruir su sentido.
Modelo de evaluación
TIPOS DE
CAPACIDAD TEXTOS

PREGUNTA

USOS DE LA
LECTURA
 Consideraciones generales

Es posible plantear una serie de capacidades

generales, necesarias en todas las áreas del saber, y
también una serie de capacidades específicas,
propias de cada disciplina y de cada contexto.

Las capacidades específicas pueden caracterizarse a

través de una serie de destrezas o habilidades que, a
su vez, suponen poner en juego una serie de
recursos.
 Selección de Capacidades

Es necesario determinar qué capacidades generales y

específicas se evaluarán, qué habilidades y qué recursos
exigen poner en juego y en qué medida.

Además hay que establecer la proporción de

capacidades según el enfoque del área, que prioriza
ciertos aspectos de la misma.

Debe considerarse el nivel, ciclo o grado a evaluar ,

por la importancia que se concede a cada una de
las capacidades según dichos aspectos.
 Criterios para la selección de las
capacidades a evaluar
Relevancia: para que el estudiante pueda afrontar
exitosamente situaciones de la vida cotidiana en contextos
escolares, familiares y comunales. Por ello se privilegian
capacidades que desarrollen aspectos pragmáticos de la vida
académica y laboral antes que otros aspectos.

Importancia: para la continuación de estudios.

Concordancia: con la naturaleza de los instrumentos de

evaluación (pruebas escritas con ítemes de opción múltiple y
de respuesta abierta).

Posibilidad que las capacidades evaluadas sean acordes con las

exigencias técnicas, administrativas, logísticas y temporales de
una evaluación de sistema.
 Comprensión de Textos
Capacidades: Se refieren a las habilidades que el
lector pondrá en juego al realizar las áreas que se le
proponen y que pretenden simular los tipos de tareas que
los estudiantes enfrentan en situaciones auténticas.

Capacidad 1 Obtención de información

Capacidad 2 Elaboración de inferencias

Capacidad 3 Reflexión acerca del texto

 Selección de Desempeños

Un desempeño es la actuación del

estudiante ante una tarea determinada y
que permite indagar por lo que sabe y puede
hacer.
 Comprensión de Textos

Capacidad
1. Obtiene información explícita del texto.

Desempeño
1. Identifica ideas específicas expresadas en
una, dos o más proposiciones.
2. Identifica secuencias.
 Comprensión de Textos
Capacidad
2. Hace inferencias

Desempeños
1. Reconoce relaciones semánticas expresadas entre dos
o más proposiciones sucesivas o distantes.
2. Identifica referentes de distinto tipo.
3. Reconoce el significado de palabras o expresiones a
partir de lo leído.
4. Reconoce el tema central y las ideas principales del
texto.
5. Deduce el propósito del texto.
6. Deduce el receptor implícito al que se dirige el texto.
 Comprensión de Textos

Capacidad
3. Reflexiona y evalúa.

Desempeños
1. Evalúa el contenido del texto.
2. Identifica y evalúa recursos formales del texto.
 Tipos de Textos

Un texto es el entramado de ideas relacionadas

que forman una unidad global de significado y de
sentido. Puede estar organizada en uno o más
párrafos (cuentos, noticias, ensayos, etc.) así
como estar organizada con una estructura gráfica
notoriamente distinta de la prosa estándar
(cuadros, avisos, afiches publicitarios,
infografías, etc.).
 Tipos de Textos
Texto narrativo: es aquel que representa una
secuencia de hechos en una historia temporalmente
ordenada (linealmente, de fin a principio, etc.). En
este tipo de texto se relatan hechos vividos por
personajes reales o imaginarios en un periodo de
tiempo.

Texto descriptivo: es aquel que ofrece información

concreta acerca de cómo es o ha sido una persona,
animal, experiencia, objeto. Este tipo de texto
presenta características y circunstancias ordenadas
en el espacio.
 Tipos de Textos
Texto expositivo: o también llamado explicativo, es
aquel que explica cualquier tema o materia e informa
acerca de algo.

Texto argumentativo: es aquel que apoya o discrepa

de una afirmación cuya validez es cuestionable o
discutible. Todo texto argumentativo tiene como
meta persuadir o convencer a la audiencia a la que se
dirige acerca del valor de la tesis para la cual busca
aprobación.
 Usos de la Lectura
Lectura para uso recreativo: generalmente es un tipo de
lectura privada que busca recrear mundos ficcionales. Los
textos narrativos se encuentran en este tipo de lectura.

Lectura para uso público: se usa esta lectura para conocer

las actividades políticas, sociales, culturales, económicas
de la sociedad. Incluye el uso de documentos oficiales y
de información acerca de acontecimientos públicos como
las noticias, comunicados oficiales, certificados, etc.

Lectura para uso educacional: se utiliza esta lectura con

un propósito instructivo relacionado con la adquisición de
información como parte de una tarea de aprendizaje más
amplia.
 Formación Matemática

Dominio de habilidades y conocimientos

matemáticos útiles para desempeñarse
eficazmente ante situaciones problemáticas
novedosas o rutinarias, cuya solución requiera la
puesta en práctica de dichas habilidades y
conocimientos.
Modelo de evaluación
CONTENIDO
CAPACIDAD

PREGUNTA

CONTEXTO
 Formación Matemática
Capacidades: Se refieren a las habilidades
matemáticas complejas que el estudiante pondrá en
juego al realizar las áreas que se le proponen y que
pretenden simular los tipos de tareas que los estudiantes
enfrentan en situaciones auténticas.

Capacidad 1 Resolución de problemas

Capacidad 2 Comunicación matemática

Capacidad 3 Aplicación de algoritmos

 Formación Matemática
Capacidad
1. Resolución de problemas

Desempeños
1. Resuelve situaciones problemáticas referidas a los números y la
numeración, en los números naturales hasta diez mil y en las
fracciones más usuales.
2. Resuelve situaciones problemáticas que demanden el uso de
operaciones básicas en el conjunto de los números naturales
menores que diez mil, decimales hasta las centésimas y
fracciones más usuales.
3. Resuelve situaciones problemáticas referidas a la
proporcionalidad directa y porcentaje en el conjunto de los
números naturales menores que diez mil, decimales hasta las
centésimas y fracciones más usuales.
 Formación Matemática
Capacidad
1. Resolución de problemas

Desempeños
4. Resuelve situaciones problemáticas referidas a la noción de
medida, al uso y a la conversión de unidades de las magnitudes
fundamentales (masa, longitud y tiempo), en el conjunto de los
números naturales menores que diez mil, decimales hasta las
centésimas y fracciones más usuales.
5. Resuelve situaciones problemáticas referidas a nociones de
ángulos y al cálculo de perímetro y área de polígonos de hasta seis
lados, figuras circulares, sólidos geométricos (cilindro, cubo,
esfera, cono) y a posiciones relativas de dos rectas.
6. Resuelve situaciones problemáticas referidas a la elaboración e
interpretación de diversos diagramas estadísticos y a la media
aritmética de un conjunto de datos.
 Formación Matemática
Capacidad
2. Comunicación Matemática

Desempeños
1. Utiliza y representa números naturales hasta la unidad de millón,
números decimales hasta las centésimas y fracciones de uso
cotidiano.
2. Interpreta, identifica y justifica proposiciones verbales o simbólicas
referidas al manejo de los números y las operaciones en el conjunto
de los números racionales positivos.
3. Identifica, interpreta y compara cantidades expresadas en distintas
unidades para cada una de las magnitudes fundamentales.
4. Identifica, grafica y compara figuras y cuerpos geométricos.
5. Identifica, interpreta, grafica, compara y justifica información
estadística.
 Formación Matemática
Capacidad
3. Aplicación de Algoritmos

Desempeños
1. Calcula el resultado de operaciones básicas en el
conjunto de los números racionales positivos.
2. Calcula el resultado de operaciones combinadas en el
conjunto de los números racionales positivos.
3. Calcula el resultado de operaciones básicas de
cantidades referidas a alguna de las magnitudes
fundamentales, expresadas en distintas unidades.
 Contenidos

Número y Cantidad: se refiere a los diferentes

conjuntos numéricos en todas sus representaciones
(enteros, fracciones, decimales); sus propiedades
(tales como la divisibilidad); las operaciones
aritméticas, la proporcionalidad y sus aplicaciones
(regla de tres, porcentaje).
 Contenidos

Algebra y funciones: El álgebra implica descubrir leyes

o patrones que rigen la relación entre diversas
variables, independientemente de los valores
involucrados. Permite transformar expresiones
matemáticas complejas en otras equivalentes y más
sencillas. La noción de función constituye una idea
unificadora de gran importancia en la matemática. Las
funciones son correspondencias especiales entre los
elementos de dos conjuntos.
 Contenidos

Espacio y forma: El manejo del espacio y de la

forma provee a las personas de herramientas, tanto
para realizar, representar, organizar y estructurar
sus actividades y movimientos, como para organizar
su pensamiento y su razonamiento. El logro de esta
estructuración será posible si el sujeto es capaz de
comprender las propiedades, posiciones,
representaciones y transformaciones de los objetos
y las relaciones entre los mismos, lo cual implica
comprender las relaciones entre las formas y
representaciones visuales.
 Contenidos

Estadística y probabilidad: La estadística permite

organizar, representar y realizar el análisis e
interpretación de datos para elaborar conclusiones
y tomar decisiones sobre una base más científica.
También posibilita la predicción de los
comportamientos de determinados fenómenos.
 Contextos

Intramatemático: trata de las tareas

específicamente del universo matemático, utiliza
sus propios símbolos y presentan objetos
matemáticos sin referirlos o inscribirlos en el
mundo real.

Extramatemático: ubica los objetos matemáticos

en relación con los objetos de la vida del individuo.
Los contextos extramatemáticos pueden
clasificarse de acuerdo al nivel de uso o de
familiaridad que tengan para el individuo.
Elaboración de las Pruebas
 Tabla de especificaciones

Es un instrumento para la elaboración de las

pruebas.

Consigna en forma esquemática los

conocimientos, contenidos, objetivos,
competencias, que serán objeto de evaluación

Indica cuantos ítemes o tareas de la prueba

corresponden a cada contenido, objetivo,
aspecto, capacidad, etc.
 Tabla de especificaciones

Permite apreciar qué es lo que se pretendía

evaluar con cada ítem de la prueba.

Permite garantizar que se encuentren todos

los aspectos relevantes de la competencia.

Permite apreciar el peso en cantidad de

ítemes que tiene cada aspecto o capacidad.
Tabla de especificaciones
Capacidad Resolución de Comunicación Aplicación de TOTAL
Problemas Matemática Algoritmos
Contenido

Número y
cantidad

Espacio y
Forma

Algebra y
funciones

Estadística y
probabilidad

TOTAL
Tabla de especificaciones
Capacidad Obtiene Hace inferencias Reflexiona y TOTAL
Información evalúa
Texto

Narrativo

Descriptivo

Expositivo

Argumentativo

TOTAL
Representatividad de los ítems
Los ítemes son seleccionados para ser
representativos aunque de forma imperfecta,
del saber básico que se puede esperar de un
alumno .
Es importante muestrear la gama completa del
contenido enseñado e incluir suficientes ítems
para que la medición sea válida y confiable.
Se podrá dar cuenta de cuáles son las áreas que
presentan fortalezas y debilidades.
 Número de Ítems
El número de itemes con el que se propone evaluar
cada una de las áreas es bastante elevado
Necesidad de distribuir las preguntas en varios
cuadernillos o formas
Los estudiantes se enfrentan a un número
razonable de ítemes que sirven para medir su
desempeño de manera adecuada.
Diseño de bloques rotados o de matrices
incompletas:
cada forma tiene preguntas únicas y
preguntas comunes a las otras formas
en conjunto se administra un número
amplio de preguntas para cubrir un área
 Formato de ítems

Respuesta cerrada Respuesta abierta

Selección de respuesta Producción de Respuesta

Emparejamiento Respuesta corta

Opción Múltiple Respuesta extendida

Verdadero / Falso Tabla de representación

(matemática) (matemática)
 Construcción de los ítems
Se han ensayado talleres de construcción de
ítems.

Son construidos por los especialistas en las

áreas curriculares, considerando la tabla de
especificaciones y anticipando la dificultad de
los mismos.
 Construcción de los ítems
Luego son revisados por otros especialistas,
sometiéndose a:

Análisis de sus aspectos formales

Análisis de su representatividad
(evidencias de validez referidas al
contenido).
Aplicación Piloto
 Características
Tiene como objetivo fundamental estudiar el
funcionamiento de los ítems.

Las muestras son intencionales: se busca tener

un buen número de personas que se enfrenten
a cada ítem (200 mínimo), considerando
factores como la accesibilidad y variabilidad en
rendimientos.
 Proceso
Hay que realizar los procesos de:

Selección de aplicadores

Capacitación de aplicadores.

Operativo de campo (recolección de

datos).

Supervisión en campo.
Codificación de respuestas
 Objetivos
Los estudiantes realizan sus respuestas
directamente en los cuadernillos
proporcionados por la UMC.

Por ello es necesario:

Transferir las respuestas de los

estudiantes.

Calificar las respuestas de los

estudiantes.
 Sistema de codificación
Las respuestas eran calificadas en diversas
escalas, tanto de naturaleza dicotómica como
politómica, que tenían una naturaleza
cuantitativa.

Por otro lado, acompañaba a la calificación un

segundo código, que tenía una naturaleza más
cualitativa (evidenciaba tipos de errores o
estrategias de solución).
 Aspectos logísticos
Se requiere un gran grupo de correctores, pues
en la EN2004 hubieron cerca de 14 000
estudiantes evaluados por grado, para cada una
de las áreas.

Al trabajarse con las valoraciones realizadas

por los jueces, se encuentra siempre implicado
algún grado de subjetividad, que trata de
reducirse mediante la capacitación a los
evaluadores y la creación de manuales con
criterios de calificación, que buscan
homogenizar las evaluaciones realizadas por los
jueces.
 Aspectos logísticos
Los especialistas de la UMC se encargaron de
efectuar el diseño de capacitación y de
elaborar el respectivo manual de codificación.

Los correctores se encontraban agrupados por

área y grado, bajo la supervisión de un
coordinador y los especialistas de la UMC.

El proceso de corrección estaba organizado

según los bloques que constituían las pruebas
aplicadas en la EN 2004.
 Aspectos logísticos
Se efectuó un diseño de análisis del proceso de
corrección aplicando la corrección múltiple en
tres momentos distintos: al inicio, a la mitad y
al final del mismo.

El objetivo de estos tres momentos era poder

retroalimentar sobre las discrepancias y
deficiencias encontradas en las calificaciones y
poder corregirlas durante el proceso de
corrección, a fin de lograr cada vez una mayor
homogeneidad y entendimiento en el uso de los
criterios de calificación.
 Aspectos logísticos
Los análisis emplearon los aportes de la Teoría Clásica
de los Tests y el modelo Rasch de Facetas Múltiples.

Los resultados se presentaban en un informe:

Descripción del ajuste y consistencia global en

el uso de los códigos.

Índices de confiabilidad inter-evaluadores para

cada uno de los items, pudiendo así identificarse
cuales presentaban algún tipo de dificultades.

Identificación de correctores que estaban

presentando alguna dificultad en el uso de los
códigos.
Armado de bases de datos
Análisis Psicométrico
 Medición del Rendimiento
La medición del rendimiento académico puede ser
entendida, como una cantidad que estima lo que una
persona ha aprendido como consecuencia de un proceso
de instrucción o formación; es la capacidad del alumno
para responder al proceso educativo en función a
objetivos o competencias

Pizarro, Clark y Allen (1987)

 Modelos Rasch
Establece la probabilidad de respuesta de una
persona ante un ítem en términos de la
diferencia entre la medida de rasgo de la
persona y la medida del ítem utilizado.

La medida de personas e ítems están en la

misma escala de intervalo.
 Propiedades Psicométricas

% Varianza
Área de Matemática Confiabilidad
(medida)

Segundo grado de primaria 0,86 80,9 %

Sexto grado de primaria 0,85 74,6 %

Tercer grado de secundaria 0,81 75,7 %

Quinto grado de secundaria 0,80 95,5 %

Aplicación Definitiva
 Logística
Requiere una logística similar a las de un
aplicación piloto, pero a mayor escala.

Si la población a evaluar es grande será

necesario contar con un operador logístico.
Definición de Niveles de
Desempeño
 Niveles de desempeño
Se necesitan puntos de corte en las pruebas,
que reflejen lo que un estudiante sabe y hace
dentro de dicho nivel.

Si un estudiante supera dicho punto de corte,

se considera que posee los conocimientos y
habilidades necesarias para desempeñarse en
relación a ciertos estándares académicos.

Se establecieron en talleres de consulta con el

procedimiento Bookmark.
 Procedimento Bookmark
Diseñado por un grupo de expertos en CTB-
McGraw-Hill a mediados de 1990.

A posteriori: usa datos reales de la evaluación,

mapas de ítems (TRI).

Maneja ítemes dicotómicos y de crédito

parcial.

Se realiza en tres etapas.

Insumos básicos para el Bookmark
Cuadernillos de ítems ordenados

Según dificultad

Considerar créditos parciales

Descripciones generales de los niveles de desempeño

Panel de jueces

Usualmente 15 a 21

Expertos

No expertos (menos)
 Primera etapa
Cada juez recibe un cuadernillo, estudia y/o
resuelve los ítemes.

Preguntarse: ¿Qué hace a un ítem más difícil

que el anterior?

Se familiariza con las descripciones generales

de los niveles de desempeño.

Establece las “marcas” para cada nivel

 Segunda etapa
Trabajo en grupos pequeños (4 – 5 jueces)

Los jueces exponen las razones por las cuales

eligieron sus puntos de corte

No se trata de “convencer”, sólo de exponer

Se finaliza la ronda con unos nuevos puntos de

corte y el porcentaje de acuerdo respecto a en
qué nivel se ubica un ítem en particular
 Tercera etapa
Los resultados de la ronda dos son presentados a todo el
grupo y se debaten los ítemes en los cuales no hay un
100% de acuerdo.

Se presenta además el “impacto de los puntos de

corte”.

Los jueces vuelven a dar sus puntos de corte.

Se suele trabajar con valores inferiores al 100% de

acuerdo. Si no se logran, se suele tomar la mediana.
 Un paso final
Los jueces construyen el significado, en función
a los ítemes, de lo que sabe y puede hacer un
alumno en cada uno de los niveles de
desempeño.

Algunos prefieren dejar esta etapa para otro

grupo de expertos. Esto se hizo con los niveles
de la EN 2004.
 Niveles de Desempeño

Los estudiantes de este nivel

Suficiente demuestran un dominio suficiente y LOGRA
necesario en los desempeños
evaluados para el grado.

Los estudiantes de este nivel

demuestran un dominio incipiente
Básico o un manejo elemental de los
desempeños desarrollados en el
grado evaluado.

Los estudiantes de este nivel

demuestran un manejo de los NO LOGRA
Previo desempeños desarrollados en
grados anteriores.

Los estudiantes de este grupo solo

pueden resolver algunas de las
< Previo tareas del nivel Previo.
Análisis de Resultados
 Sexto grado de primaria
COMPRENSIÓN DE TEXTOS

Nacional
Niveles de Desempeño

100%
90% Suficiente 1 2 .1 %
12,1%
80%

70% Básico 2 8 .1 %
28,1%
60%

50%
40% Previo 3 5 .7 % 35,7%
30%

20%

10%
Debajo del previo
2 4 .1 % 24,1%
0%
 Sexto grado de primaria
COMPRENSIÓN DE TEXTOS
Niveles de desempeño según gestión
Nacional
 Sexto grado de primaria
COMPRENSIÓN DE TEXTOS

Comparación
Comunicación de promedios
Integral según
sexto de primaria - Nacionalregión
Comparación de promedios por departamento

400

350

300

250

200

150

100

50

O
O
A

A
E

O
A

AV LI
A

AM S

A
O

AN S

AL
O
BE A

BA AD

AC
IN

A
U

R
M

C
N

IP

IO

BE

A
IC

AY LIC
AS

TI

SC
H

ET
SC

AM UC
LA

YA
N

N
M
EG

AR
C

IM
T

C
PU
LI

AR
D

JU

IO
M
R
AL

R
PI
TA

U
YE

O
PA

U
AN

E
EQ

R
E

LO
U

TU

C
AC
AZ
M

AC
U
C

D
Q

U
U
AR

AP
LI

C
AJ
O

N
E
M

SA

AN
R
M

LA

C
LA

AD

U
H
M
Reportes y Difusión