Evaluaciones Educativas

en Mxico

ESCUELA SECUNDARIA TCNICA NO. 23 DE TANGANCCUARO, MICH.

CURSO BSICO DE FORMACIN CONTINUA 2013-2014
GESTIN Y DESARROLLO EDUCATIVO

QUE SON LAS EVALUACIONES

EDUCATIVAS Y PARA QUE SIRVEN?
COMPRENDER Y JUSGAR RESULTADOS DE EVALUACIONES
ES CONOCER SUS PROPOSITOS Y FINALIDADES

PROPOSITOS Y FINALIDADES
a)ACREDITACION Y SERTIFICACIN
b)SELECCIN
c) TOMA DE DECISIONES BLANDAS O DE MEJORA
d) TOMA DE DECISIONES DURAS (ACREDITACION O
CERTIFICACION)
e) ESTABLECILIENTO DE INCENTIVOS Y SANCIONES
f) RENDICION DE CUENTAS

CMO SE HACEN LAS EVALUACIONES

EDUCATIVAS?
JUICIO DE VALOR
SOBRE LA REALIDAD

EVALUACI
ON

SU VOCACION ES INCIDIR
SOBRE LA RELIDAD

TIENE
LIMITACIONES

POR SI MISMA NO PRODUCE

CAMBIOS

ES POSIBLE
MEJORARLAS
MEJORANDO
LOS
ELEMENTOS
BASICOS DEL
PROCESO DE
EVELUACION

NECESITA ACTORES QUE

TOMEN DECISIONES A PARTIR
DE LOS RESULTADOS
a)

QUE
SON

SELECCIN Y DEFINICION DE
LA REALIDAD
b) DEFINICION DE LOS
PROPOSITOSDE LA
EVALUACION
c) PRODUCCION DE EVIDENCIA
EMPIRICA
d) FORMULACION DE JUICIOS
DE VALOR
e) TOMA DE DECISIONES O
ACCIONES QUE MODIFIQUEN
LA REALIDAD EVALUADA

MEJORA EL
IMPACTO DE
LAS
EVALUACIONES
SOBRE EL
SISTEMA
EDUCATIVO

COMO SE FORMULA N LOS JUICIOS DE VALOR EN LASEVALUACIONES EDUCATIVAS?

SE APLICA
A
INDIVIDUOS
INSTITUCIONES O
REALIDADES

DEPENDE DE TRES
ENFOQUES
NORMATIVO
COMPARAR LAS
POSICIONES
RELATIVAS
ENTREE
INDIVIDUOS Y
GRUPOS
SU PROPOSITO
ES LA
SELECCIN
SABE O NO
SABE
1, 2, 3

DE PROGRESO
OCRECIMIENT
O
COMPARA EL AVANCE
O RETROCESO DE UN
INDIVIDUO O GRUPO
RESPECTO A SU
PROPIO DESEMPEO
EN UN MOMENTO
ANTERIOR
AVANZ O
RETROCEDI

CRITERIAL
COMPARAR EL
DESEMPEO
DEMOSTRADO POR
CADA INDIVIDUO CON
UNA DEFINICION CLARA
DEL DOMINIO
EVALUADO Y DEL NIVEL
DE DESEMPEO
DESEABLE
SE ENCUENTRA EN UN
NIVEL DE DESEMPEO
DE LECTURA
AVANZADO O NO

TIMSS VS. PISA

QU EVALA ESTA PRUEBA

Contenidos currculo y
competencias

Contenidos
Son

todos aquellos elementos de

aprendizaje que forman parte de
los programas escolares.

Tradicionalmente

el trmino se
refera a temas o conocimientos,
pero luego se ampli la definicin
hacia tres tipos de contenidos.

CONCEP
TUALES
PROCEDI
MENTALE
S
ACTITUDI
NALES

Conceptuales

Son aquellos contenidos del

currculo que expresan
los conocimientos que
los alumnos deben
estudiar y comprender

Procedimentales
Son aquellos contenidos que
expresan habilidades,
procedimientos prcticos,
algoritmos, destrezas que los
alumnos deben aprender y
ser
capaces de llevar a cabo por
s
mismos

Actitudinales
Son aquellos contenidos que
expresan las actitudes, valores y
creencias que se espera que los
alumnos desarrollen en las
instituciones
educativas.

Currculo

Es

el conjunto de conocimientos,
habilidades, valores y experiencias
que han sido seleccionadas para la
formacin de los estudiantes en la
educacin formal

 El

trmino currculo (en ocasiones

tambin currculum, aunque sta
ltima es ms utilizada para hacer
referencia al currculum vitae) se
refiere al conjunto de objetivos,
contenidos, criterios metodolgicos y
tcnicas de evaluacin que orientan
la actividad acadmica (enseanza y
aprendizaje) cmo ensear?,
cundo ensear? y qu, cmo y
cundo evaluar?

 El

currculo permite planificar las

actividades acadmicas de forma
general, ya que lo especfico viene
determinado por los planes y
programas de estudio (que no son
lo mismo que el currculo).

Mediante

la construccin curricular
la institucin plasma su concepcin
de educacin. De esta manera, el
currculo permite la previsin de
las cosas que hemos de hacer para
posibilitar la formacin de los
educandos.

 El

concepto currculo o currculum

(trmino del latn, con tilde por
haber sido trasladado al espaol) en
la actualidad ya no se refiere slo a
la estructura formal de los planes y
programas de estudio; a todo
aquello que est en juego tanto en
el aula como en la escuela.

Niveles
Macro

(Sistema)

Mezzo

(Escuela)

Micro

(Aula)

Currculo
intenciona
Es el currculo
doque aparece

formalmente
establecido en los planes y
programas
de estudio y en el que se supone
todos
los alumnos tienen oportunidad de
participar y aprender

Currculo Implementado
Es el currculo al que realmente los
alumnos estn expuestos y tienen la
oportunidad de aprender.
Normalmente no coincide con el
anterior, dado que los profesores y las
instituciones educativas hacen sus
propias selecciones sobre qu
ensear y qu exigir a los alumnos.

Currculo
Evaluado
Es la parte del currculo que forma

Es la parte del currculo que forma

parte de la evaluacin. Intenta
mostrar qu aspectos del currculo
intencionado se ha convertido en
currculo aprendido por los alumnos.
Sin embargo, debe tenerse siempre
presente que ninguna evaluacin
puede abarcar todo el currculo. Por
tanto, hay aprendizajes logrados por
los alumnos que no estn siendo
evaluados.

Currculo
Evaluado
Por eso debe manejarse siempre con
cuidado la equiparacin entre
resultados de una evaluacin y
calidad de la educacin.
Las evaluaciones estandarizadas
solo dan cuenta de una parte de lo
que la educacin se propone lograr.

Currculo
Currculo
Aprendido

Aprendido
Es la parte del currculo

que los alumnos efectivamente han

logrado aprender a partir de lo que
se les ha enseado.
No necesariamente coincide con el
anterior,
debido a que muchas cosas
se ensean, o ms bien se dictan,
pero en realidad no son
comprendidas ni aprendidas por los
alumnos.

Competencias
Qu

son las competencias?

Nos referimos como competencias a todos

aquellos comportamientos formados por
habilidades cognitivas, actividades de
valores, destrezas motoras y diversas
informaciones que hacen posible llevar a
cabo,
de
manera
eficaz,
cualquier
actividad.

Competencias (Aprendizaje)
Lascompetenciasson

las capacidades
de poner en operacin los diferentes
conocimientos, habilidades,
pensamientos, carcter y valores de
manera integral en las diferentes
interacciones que tienen los seres
humanos para la vida en el mbito
personal, social y laboral.

Las

competencias son los

conocimientos, habilidades, y destrezas
que desarrolla una persona para
comprender, transformar y practicar en
el mundo en el que se desenvuelve.

 Actualmente,

las competencias
se entienden como actuaciones
integrales
para
identificar,
interpretar,
argumentar
y
resolver problemas del contexto
con idoneidad y tica, integrando
el saber ser, el saber hacer y el
saber conocer (Tobn, 2013).

TIMSS vs. PISA

Evaluacin orientada al currculo vs.

Evaluacin orientada a competencias

TIMSS. Estudio Internacional de Tendencias en Matemtica y Ciencias.

PISA.

Programa Internacional de Evaluacin de Estudiantes.

(Prueba
Elaborada por la OCDE)

Las
evaluaciones
internacionales
TIMSS y PISA sirve para ilustrar y
resumir las diferencias de enfoque.
Muchos

pases han participado en

ambas evaluaciones y es normal que un
mismo pas aparezca en situaciones
distintas en una y otra evaluacin.

 Por

ejemplo, en Matemticas de 8
grado,
en TIMSS 2003, Nueva
Zelanda (494 puntos) aparece con un
promedio inferior al de los Estados
Unidos (504 puntos).

En

tanto que en PISA 2003 Nueva

Zelanda (523 puntos) queda ubicada
muy por encima de los Estados
Unidos (483 puntos).

La razn es bastante simple.

El

referente
de
TIMSS
est
constituido por los currculos de los
pases participantes. Como base para
la elaboracin de las pruebas se
analizaron los currculos de los
pases y se construy un marco
curricular
comn
y
la
correspondiente
tabla
de
especificaciones.

El

tipo de actividades de prueba que

propone TIMSS es bastante cercano
al tipo de actividades empleadas en

 El

referente de PISA est

constituido por una
conceptualizacin de los
conocimientos y competencias
necesarios para desempearse en la
vida adulta, en el caso de la
evaluacin de la lectura, y
similarmente para Matemtica y
Ciencias.

Por

tanto, si bien se tiene en cuenta

los currculos a la hora de
seleccionar los contenidos de las
pruebas, estas no buscan reflejar los

El

tipo de actividades de prueba

que propone PISA intenta salir del
mbito escolar y proponer a los
estudiantes
situaciones
y
contextos propias del mundo real.

(ENFOQUE BASADO EN
COMPETENCIAS)

Lo que evala PISA:

Los

resultados de la prueba muestran el

grado de las competencias y habilidades
para el conjunto de los sistemas
educativos que participan.

PISA busca que los resultados sean

utilizados para facilitar la creacin de
polticas educativas que permitan a las y
los estudiantes adquirir las habilidades
y competencias que necesitan para
enfrentar los retos de la vida real, en el
contexto internacional.

 PISA

evala competencias en tres

reas: matemticas, ciencias y
lectura. Esta prueba busca conocer
en qu medida los estudiantes de
15
aos
han
adquirido
los
conocimientos
y
habilidades
relevantes para participar activa y
plenamente
en
la
sociedad
moderna.

Lo que NO evala PISA:

PISA

no est diseada para

evaluar el aprendizaje de los
contenidos especficos fijados en
los programas de estudio
cursados por las y los
estudiantes.

PISA

tampoco est pensada para

evaluar el desempeo de las y
los docentes con respecto a los
programas de estudio vigentes.

QU SIGNIFICAN LOS
NMEROS EN LAS
EVALUACIONES? (I)

Los
dos
grandes
modelos
existentes para la construccin
de pruebas estandarizadas y el
procesamiento de sus resultados.
Teora

Clsica de los Test (TCT)

Teora

de Respuesta al tem

(TRI)

Teora Clsica de los Test

TCT
Tradicionalmente,

las pruebas
estandarizadas son elaboradas y
calificadas de modo tal que cada tem
o actividad propuesta a los alumnos
vale 1 punto si la respuesta es
correcta y 0 si es incorrecta.

Por

lo tanto, todos los temes tienen

el mismo valor en los puntajes de los
alumnos, independientemente de su
grado de dificultad. Tanto un tem
fcil como un tem muy difcil valen 1

Por ejemplo y, en consecuencia:

Si

un alumno responde correctamente

10 preguntas de un examen, entre ellas
las cinco ms complejas, y otro alumno
responde correctamente 10 preguntas,
pero ninguna de las cinco ms
complejas, ambos obtendrn 10 puntos
en la prueba, aun cuando uno haya
demostrado capacidad para responder
aspectos ms complejos o difciles.

 Esta

metodologa es la ms antigua y
ms usada en nuestros pases de la
regin. Si bien es ms sencilla de
comprender,
tiene
varias
limitaciones.

En

particular, no permite considerar

la dificultad y complejidad de las
tareas a la hora de establecer los
puntajes y no permite establecer
comparaciones
en
el
tiempo
requerido, suficientemente estables
y precisas.

Teora de Respuesta al
tem (TRI)
tem.

Cada uno de los apartados que componen un

cuestionario o un test.

Es

un desarrollo matemtico ms
sofisticado para la generacin de
puntajes en pruebas estandarizadas.

 Por

su complejidad, es bastante
difcil explicar y comprender cmo
se calculan los puntajes, dado que
esto se hace utilizando un modelo
matemtico
sofisticado
y
un
software
especfico
de
procesamiento.

 Su

principal caracterstica es que

cada pregunta tiene asociado un
puntaje en funcin de su dificultad.

Considera

que
este
puntaje
corresponde a los alumnos que
tienen un 50% de probabilidad de
responder
correctamente
la
pregunta.

 Los

valores del TRI se expresan por lo

general en una escala que tiene una
media de 500 puntos. Los valores pueden
variar alrededor de los 100 a los 900
puntos.

Si

un alumno tiene un puntaje cercano a

los 500 puntos, significa que su capacidad
est en el promedio de la poblacin
evaluada.

 La

escala se construye de tal modo

que dos tercios de alumnos se ubican
entre 400 y 600 puntos. Si un alumno
obtiene 650 puntos significa que su
capacidad
es
muy
superior
al
promedio; en cambio otro que
obtiene 300, significa que est en los
alumnos de peor desempeo

Con la TRI no todas las

preguntas tienen el
mismo peso. Dos
alumnos pueden haber
respondido
correctamente la misma
cantidad de preguntas,
pero el que respondi
preguntas ms complejas
obtendr un puntaje ms
alto.

Promedios y
distribucin de
2.1. Promedios:
frecuencias

El promedio o media, es uno de las

medidas estadsticas ms utilizadas
para describir lo que caracteriza a un
determinado grupo.

Su

clculo es bien sencillo:

Simplemente se suma la cantidad de

valores y se divide el resultado obtenido
entre el nmero correspondiente de
casos.

 Tiene

la ventaja de que permite una

comparacin rpida entre resultados
de diferentes grupos (que pueden
corresponder a los alumnos de una
escuela, provincia o pas) y saber
cul es ms alto y cul es ms bajo.

ESCUELA SECUNDARIA TCNICA 23

TANGANCCUARO, MICH.

INFORME DEL SEGUNDO BIMESTRE.

CICLO ESCOLAR: 2013-2014

GRU
PO

PROMEDIO
I BIM.

3. A

7.4

% DE
REPROBA
CIN
8.9%

PROMEDIO
% DE
II BIM.
REPROBA
CIN
7.5
12.0%

3. B

7.7

9.6

7.6

15.3

3. C

7.4

13.5

7.1

8.4

3. D

7.8

11.9

7.7

15.4

3. E

7.5

8.7

7.4

15.7

3. F

7.4

15.0

7.5

10.1

3. G

7.7

4.6

7.9

2.3

3. H

7.2

9.3

7.3

9.1

 Sin

embargo, como contrapartida de

la sencillez, los promedios tienen la
siguiente
debilidad
fundamental:
pueden
ocultar
situaciones
diferentes dentro de cada grupo.

Veamos

qu significa esto con un

ejemplo.
Dos

escuelas, A y B, ambas con 110

estudiantes, rindieron una misma
prueba de Matemticas cuyo puntaje
mximo era 32 puntos.

 Ambas

escuelas obtuvieron
promedio de 21,35 puntos.

No

un

obstante, a pesar de que los

promedios
son
iguales,
la
distribucin de los puntajes es bien
diferente entre una y otra escuela.

En la escuela A la mayora de los alumnos se ubica

muy cerca de la media. Esto significa que los
resultados en la escuela son bastante parejos. No
hay alumnos con resultados muy bajos ni muy altos.

 En

la escuela B, en cambio, los

resultados tienen mayor dispersin,
es decir, hay ms alumnos en los
extremos, con puntajes bajos y altos.

 Por

lo tanto, a pesar de que ambas escuelas

tienen el mismo promedio en Matemtica, los
resultados son ms homogneos en la escuela A y
ms desiguales en la escuela B.

Esta

diferencia
importantes.

puede

tener

consecuencias

Por ejemplo, si se estableciera que lograr la mitad de

los puntos de la prueba (16 puntos) es un resultado
satisfactorio, entonces en la escuela A 99 alumnos (el
90%) habra alcanzado dicho nivel satisfactorio,
mientras que en la escuela B lo habran logrado 79
alumnos (71,8%). La escuela A sera en este sentido
mejor que la B (usamos deliberadamente las
comillas porque, como se ver ms delante, esta
interpretacin es simplista).

3. El reporte de
resultados a travs de
promedios

Importancia de la dispersin de
los resultados
El tema de la dispersin interna de los resultados
es relevante porque est vinculado a la cuestin de
la equidad en el acceso a los aprendizajes.
Se

puede conocer no slo el promedio del pas sino

la
dispersin
interna
de
sus
resultados,
representada por la longitud de la barra.

Una barra de gran longitud indica una gran distancia

entre los mejores y los peores alumnos. Una barra
de reducida longitud indica que los resultados de los
mejores y los peores alumnos no son tan diferentes
y se acercan bastante al promedio del pas.

Para comprender mejor

esto ltimo, se presenta
en forma ampliada dos
casos concretos extrados
de la Figura 4, los de
Nueva Zelanda y Corea
del
Sur,
pases
que
aparecen juntos en la
Figura
4
porque
sus
promedios
son
muy
parecidos. Nueva Zelanda
tuvo en PISA 2000 un
promedio de 529 puntos
en Lectura y Corea del
Sur
un
promedio
de
525.Sin embargo, a pesar
de que los promedios son
muy
prximos,
la
situacin
en
ambos
pases es muy distinta.

Error estndar de medicin

y significacin estadstica
de las diferencias
Margen

de error ,

Intervalo

de confianza

Los 7 mejores pases de

PISA 2000 en Lectura

 Para

que la diferencia de promedios

entre dos pases sea significativa
es necesario que los intervalos de
confianza no tengan puntos de
contacto.

Se puede apreciar que el

resultado de Finlandia es
superior al del resto. Su
cajita no tiene zona de
contacto con las dems.
Esto quiere decir que la
diferencia
entre
su
promedio y los pases
que
le
siguen
es
significativa.
Aun
considerando
el
margen
de
error,
es
posible
afirmar
que
Finlandia
tuvo
un
resultado superior a los
restantes pases.

Pero luego siguen cuatro pases cuyos

intervalos de confianza o mrgenes de
error se superponen: Canad, Nueva
Zelanda, Australia e Irlanda.
Si bien sus promedios son diferentes,
en realidad, considerando el margen
de error cualquiera de ellos podra
ocupar el segundo lugar despus de
Finlandia.

POR QU LOS RANKINGS SON MODOS

INAPROPIADOS DE
VALORAR LA CALIDAD DE LAS
ESCUELAS?

Algunos problemas que presentan

la mayora de los rankins

1. Pretenden ordenar en funcin de la calidad,

cuando en realidad utilizan un solo indicador (el
promedio).

2. Ofrecen una falsa impresin de precisin en el

ordenamiento. (El margen de error?)

3. No tienen en cuenta que, a nivel escolar, los

resultados son altamente voltiles.

4. No consideran las diferencias en la composicin

social de los alumnos, de las escuelas y en los recursos
con que estas cuentan.

Los ranking de escuelas en los

medios de prensa
Rankings Prueba Simce
2001 - Segundos Medios
Los veinte mejores colegios
de la Regin Metropolitana
La trayectoria de los tops
Los 5 primeros por comuna
Tops en Regin Metropolitana
Posiciones

Por rea de desempeo

TABLA PAG. 170

Establecimiento
Comuna Dependencia Ranking Ranking Ranking
2001 1998 1994
Colegio Internacional Alba Maip PP 1 39 Colegio del Sagrado Corazn Apoquindo Las Condes PP 2 11 47
Colegio Castelgandolfo Padre Hurtado PP 2 - Andree English School La Reina PP 3 30 82
Liceo Carmela Carvajal de Prat Providencia M 4 10 23
Colegio Tabancura Vitacura PP 5 38 46
Instituto Nacional General J.M. Carrera Santiago M 6 9 18
Colegio Rubn Daro La Reina PP 7 - Colegio Ingls The Grange School La Reina PP 8 16 20
The Southern Cross School Las Condes PP 8 53 98
Colegio Los Andes Vitacura PP 9 15 61
Colegio La Girouette Las Condes PP 10 6 11

Una visin simplista

de la realidad educativa
Lo

primero que debe observarse

son los titulares estilo campeonato
de ftbol que trivializan la
realidad educativa.

Lo

segundo a observar es el hecho

de que los mejores colegios
pertenecen
a
los
sectores
privilegiados de la sociedad. 18 de
20
son
colegios
particulares
pagados y 2 son colegios pblicos
tradicionales de los principales

Una visin simplista

de la realidad educativa
Cabe,

por lo tanto, la pregunta de si se

trata de los mejores colegios o de los
ms selectivos

tal vez sean una mezcla de ambas

cosas, pero no necesariamente son los
que ms agregan a lo que los alumnos
traen del hogar.
El

tercer aspecto que el lector debe

notar es la inestabilidad de los
resultados. El colegio que aparece en
primer lugar en el 2001 ocupaba el
lugar 39 en 1998.

La calidad educativa no puede ser resumida en un

nico indicador

La

calidad educativa es un concepto

complejo que abarca mltiples dimensiones,
la mayora de las cuales no son contempladas
en las evaluaciones estandarizadas.

Una

escuela puede tener buenos resultados

porque expulsa o no logra retener a los malos
alumnos y sus tasas de desercin son altas o
porque,
como
veremos
ms
adelante,
selecciona alumnos de un determinado sector
social.

 La

mayora de los rankings dan una

apariencia de precisin que es falsa.

Mientras

los resultados nacionales

suelen ser estables, los resultados por
escuela son altamente voltiles.

La

mayora de los rankings no tiene en

cuenta la composicin social del
alumnado.

Dos enfoques para el uso de ordenamientos de

escuelas

Existen

dos grandes tipos de propsitos:

Uno es dar a publicidad esos ordenamientos

como forma de generar un mercado educativo
o para establecer un sistema simblico de
premios y castigos a las escuelas en funcin
de sus resultados.

El otro es establecer programas de apoyo a las

escuelas con dificultades y aprender de las
escuelas con buenos resultados.

Los criterios de los padres para elegir

la escuela de sus hijos en Chile

La Escuela de Gobierno de la Universidad

Adolfo Ibez investig el modo en que los
padres seleccionan la escuela a la que irn
sus hijos en primero bsico. Se encontr
con resultados sorprendentes, como que
los padres privilegian el ambiente por sobre
la calidad, al menos la que se mide en el
SIMCE y que obsesiona a los expertos...

Las razones ms importantes de los

padres para escoger la escuela de
sus hijos fueron su cercana, la
calidad (como un concepto amplio),
las
referencias,
la
instruccin
religiosa y el currculo. A diferencia
de los resultados que se obtienen en
otros pases, menos del 1% nombr
la prueba estandarizada (SIMCE) y el
tamao del curso como las ms
importantes.