Escolar Documentos
Profissional Documentos
Cultura Documentos
de rbricas
Monografas
didcticas
Las normas ortogrficas seguidas en este libro son las establecidas por la Real
Academia Espaola en la Ortografa de la lengua espaola, publicada en el ao
2010.
Nuestras publicaciones mantienen el rigor en el uso y en la seleccin de los contenidos, en las imgenes y en el lenguaje, para cumplir con la no discriminacin por
razn de gnero, cultura u opinin.
GRUPO ANAYA, S.A., 2015 - C/ Juan Ignacio Luca de Tena, n. 15 - 28027 Madrid.
Reservados todos los derechos. El contenido de esta obra est protegido por la Ley, que establece penas de prisin y/o multas, adems
de las correspondientes indemnizaciones por daos y perjuicios, para quienes reprodujeren, plagiaren, distribuyeren o comunicaren
pblicamente, en todo o en parte, una obra literaria, artstica o cientfica, o su transformacin, interpretacin o ejecucin artstica fijada
en cualquier tipo de soporte o comunicada a travs de cualquier medio, sin la preceptiva autorizacin.
ndice de
contenidos
0. Introduccin ....................................................................................................... 4
1. La evaluacin de ejecuciones .......................................................................... 5
Pasos en la evaluacin de ejecuciones
Delimitacin del propsito de la evaluacin
Especificacin de criterios para la evaluacin
2. Diseo de rbricas........................................................................................... 14
Qu es una rbrica
- Qu definicin de rbrica vamos a adoptar
- Ventajas y desventajas del uso de rbricas
- Elementos esenciales de una rbrica
Tipo de rbricas
- Rbricas holsticas
- Rbricas analticas
3. Revisin de la rbrica...................................................................................... 28
Validez de la rbrica
Fiabilidad de la rbrica
Otros aspectos: validez aparente y ecolgica
4. Bibliografa........................................................................................................ 31
0 Introduccin
En este cuaderno se abordarn los pasos necesarios para disear rbricas como instrumento primordial en la evaluacin de ejecuciones o
del desempeo. As, los contenidos que se van a tratar tienen un carcter eminentemente prctico que, esperemos, sirvan de gua en la
construccin de los instrumentos que van a ser utilizados en la evaluacin de los aprendizajes en el aula.
Como se ver, los ejemplos que van a ir apareciendo se basan en un
currculo oficial de Educacin Primaria del territorio nacional que, por
su diseo, ha permitido extraer con mayor facilidad los elementos
esenciales para elaborar rbricas referidas al criterio, como no puede
ser de otra manera.
Desde esta premisa, nuestros elementos de trabajo deberan ser los
criterios de evaluacin y, en la medida de lo posible, los indicadores
de logro o estndares de aprendizaje evaluables que se han definido en las distintas comunidades autnomas derivados de estos criterios. Siempre y cuando estos criterios de evaluacin estn redactados
en forma de resultados de aprendizaje (lo que se espera que el estudiante alcance a conocer al finalizar un perodo formativo) con su sintaxis completa, proceso, contenido y naturaleza de la ejecucin, estaremos en condiciones ptimas de disear nuestros instrumentos de
evaluacin. Estos resultados de aprendizaje sern los que nos ayuden
a determinar qu tipo de pruebas e instrumentos son los ms idneos
para evaluar los aprendizajes de nuestro alumnado y, para el caso de
las rbricas, sern aquellos que tengan que ver con desempeos
complejos o productos. De aqu que comenzaremos este cuaderno
prctico con algo de teora, describiendo qu se entiende por evaluacin de ejecuciones o evaluacin del desempeo.
Una vez descritas las principales caractersticas y pasos que se siguen
en la evaluacin de ejecuciones, el cuaderno se centra en las rbricas:
Su concepto.
Tipos.
Los pasos para su diseo, desde la determinacin de los criterios de
realizacin y atributos hasta la eleccin de una escala.
Los criterios de calidad de una rbrica, que tienen que ver con su
validez y fiabilidad.
4
Diseo de rbricas
1 La evaluacin de ejecuciones
La evaluacin autntica forma parte de una corriente evaluativa que ha
surgido como rechazo a la evaluacin tradicional, centrada en el desarrollo
de pruebas objetivas que, aunque tcnicamente impecables, poco o nada
han ayudado en el diseo de intervenciones educativas.
En el artculo de Frey, Schmitt y Allen (2012) sobre la revisin de la literatura publicada hasta el momento acerca del concepto de evaluacin autntica, se delimitan nueve caractersticas que tienen en comn las definiciones sobre este tipo de evaluacin realizadas por
cuarenta y siete autores. De ellas, las ms citadas para alumnado de
Educacin Primaria, y que reproducimos aqu, se refieren a:
1. Contexto
-- Plantea una actividad o un contexto realista (60% de las definiciones).
-- Plantea tareas complejas desde el punto de vista cognitivo (30%).
2. Papel del estudiante
-- Es una evaluacin de carcter formativo (31%).
3. Puntuacin
-- Los estudiantes conocen o desarrollan los criterios de puntuacin
(47%).
-- Se utilizan mltiples indicadores o se usa portfolio, como instrumento que aglutina diversas pruebas evidencias de aprendizaje e indicadores (53%).
Los mismos autores sealan que en educacin secundaria o formacin profesional destacan ms o menos las mismas caractersticas.
As para Wiggins (1998, pg. 22 y ss.):
Una evaluacin es autntica cuando la anclamos en el tipo de trabajo
real que la gente hace. Es autntica porque vemos si los estudiantes
pueden usar inteligentemente lo que han aprendido en situaciones
que paulatinamente se aproximan a situaciones adultas y si pueden
presentar innovaciones ante nuevas situaciones.
La cuestin de que la evaluacin autntica ha de estar basada en el
tipo de trabajo real que hace la gente lleva a pensar en que el alum5
Diseo de rbricas
los que se observe claramente que el aprendizaje es sobre habilidades complejas o de alto nivel cognitivo, de productos, etc. Y esto se
puede observar, en la mayor parte de currculos, en los criterios de
evaluacin, y sus especificaciones en indicadores de logro o estndares de aprendizaje, que servirn como base para el diseo de los
instrumentos apropiados.
En cualquier caso, siempre partimos de una alineacin de los elementos curriculares, tanto prescriptivos como no prescritivos; y entre ellos,
como parte central, estn los criterios de evaluacin. Estos guan tambin la instruccin y el diseo de ejercicios, actividades y tareas en las
programaciones didcticas, pudindose aprovechar algunas de estas
actividades como pruebas de evaluacin, bien sea en situaciones formales, o informales. O disear especficamente situaciones de prueba
para valorar la consecucin de los aprendizajes fijados en uno o varios
criterios de evaluacin.
Diseo de rbricas
Diseo de rbricas
Como se ha dicho, estos criterios para la evaluacin deberan ser pblicos y consensuados, en la medida de lo posible, con el alumnado.
Los criterios de realizacin
Los criterios de realizacin son el paso previo al desarrollo de rbricas
y nacen de:
a) los lmites impuestos por los criterios de evaluacin (aquello que se
debe evaluar de forma prescriptiva), y de
b) los lmites impuestos por la prueba o actividad de evaluacin, que a
su vez estaba limitada por los criterios de evaluacin.
Especifican an ms si cabe cules son los atributos del desempeo
que van a ser evaluados, y resultan de una riqueza inestimable para el
proceso de enseanza y aprendizaje porque, siendo compartidos,
proporcionan al alumnado un horizonte de desempeo.
Actividades de evaluacin
Criterios para la evaluacin
Tema (conceptos, habilidades),
condiciones de realizacin
Currculo
Criterios de
evaluacin (indicadores, resultados de
aprendizaje, estndares)
Criterios de realizacin
Diseo de rbricas
facilitar el proceso de calificacin del desempeo con la rbrica; especialmente, si se realiza a la par que el desempeo (por ejemplo,
una exposicin oral sobre un tema).
Todos estos pasos que estn expuestos linealmente no tienen por
qu seguirse en ese orden. De hecho, es un proceso que requiere revisiones continuas, ir hacia adelante y hacia atrs hasta conseguir el
propsito deseado. De hacerlo bien, se est incidiendo en la construccin de un instrumento vlido respecto al contenido a evaluar.
Ejemplo de descripcin de criterios de realizacin y sus atributos
Bsqueda1
Consulta diversos medios fiables en la recogida de informacin.
Relevancia
Incluye datos de indicadores relevantes en educacin, economa y salud de distintos pases.
Claridad
Refleja con claridad los datos de los diferentes pases pudindose
identificar y asociar fcilmente a cada pas al que pertenecen y distinguirse de otros indicadores.
Anlisis
Analiza de forma cuantitativa el fenmeno estudiado a partir de los
datos, estableciendo comparaciones entre los diferentes pases usando la media, la moda y el rango.
Interpretacin
Establece una interpretacin clara y congruente a partir de los datos
obtenidos, dando una visin global a partir del anlisis.
En los siguientes apartados se desarrollarn las fases tres y cuatro del
proceso de evaluacin del desempeo expuesto en la Tabla 1. Las fases cinco y seis no difieren del uso de otros instrumentos en el marco
de la evaluacin referida al criterio y no sern tratadas en este documento.
2 Diseo de rbricas
Qu es una rbrica
El trmino rbrica, en el contexto de la evaluacin, proviene del ingls
scoring rubric, que, traducido literalmente, es rbrica para puntuar.
Efectivamente, se tiene claro que es un instrumento de evaluacin
que sirve para puntuar o, al menos, para calificar al estudiante en el
ejercicio de un desempeo; y quiz los angloparlantes (que fueron los
que propusieron el trmino) aadieron el adjetivo scoring al sustantivo rubric para denotar un tipo especial de rbrica.
Segn el Longman Dictionary of Contemporary English, rubric es un
conjunto de instrucciones o una explicacin en un libro, examen, etc.
Scoring rubric, de manera literal, significara conjunto de instrucciones que sirven para puntuar.
En el diccionario de la Real Academia de la Lengua Espaola, en su
23. edicin, rbrica est definido como:
1. Rasgo o conjunto de rasgos de forma determinada, que como parte de la firma pone cada cual despus de su nombre o ttulo, [].
2. Epgrafe o rtulo.
3. Cada una de las reglas que ensean la ejecucin y prctica de las
ceremonias y ritos de la Iglesia catlica en los libros litrgicos.
Es decir, nada que ver con el concepto ingls moderno; quiz porque
an no se ha incorporado plenamente su uso con la acepcin que tienen en el entorno anglosajn. Las referencias remiten al uso en la firma (a esos rallajos que hacemos encima de nuestro nombre cuando
firmamos algn documento) o a un uso ms antiguo, que remite adems a la etimologa de la palabra, derivada del latn ruber = rojo2, que
era el color utilizado en los epgrafes o los rtulos de los libros y probablemente en el conjunto de las reglas de la liturgia.
Como curiosidad, Jose Antonio Milln, en el primer captulo de su libro El candidato melanclico, hace mencin a rbrica y otras derivadas de la misma raz: rubor,
rub, rubeola.
14
Diseo de rbricas
Una pregunta de una prueba objetiva que requiere una respuesta abierta y, generalmente, larga.
3
15
Listas de cotejo
Escalas observacionales
Escalas de valoracin
Rbricas
Analticas
Holsticas
genricas o especficas
En el esquema anterior se hace una clasificacin de los distintos instrumentos reconocidos para la evaluacin del desempeo, y las rbricas se sitan como un tipo de escala o gua de valoracin. La explicacin sobre el tipo de rbricas (analticas u holsticas) se realizar ms
adelante.
Diseo de rbricas
Tipos de rbricas
Habitualmente se suele elaborar una clasificacin de las rbricas en:
a) holsticas o b) analticas, atendiendo a cmo consideran la evaluacin del desempeo, si como un todo o por partes, respectivamente.
17
Rbricas holsticas
El uso de rbricas holsticas se recomienda cuando se da la superposicin de criterios o los criterios estn muy asociados. Los criterios se
consideran en combinacin en una sola escala descriptiva. Apoyan valoraciones ms amplias sobre la calidad del proceso o del producto.
Una valoracin holstica puede tambin formar parte de una analtica
como un factor ms, aunque este tipo de mtodos tiene la dificultad de
sobreponer los criterios de la rbrica holstica con los otros factores.
Las rbricas holsticas son ms fciles de construir y de aplicar que las
analticas, pero solo proporcionan una valoracin global del desempeo (con ellas se pierden detalles especficos) y su uso formativo es
limitado, por lo que se emplean preferiblemente en evaluaciones con
propsito sumativo. Adems, dada su limitada escala de puntuacin,
este uso sumativo se circunscribe casi al hecho de proporcionar una
calificacin (excelente, notable, bien), ms que una puntuacin.
18
Diseo de rbricas
Niveles
Atributos
A01
A02
A03
Criterios
de realizacin
CR01
CR02
CR03
19
Rbricas analticas
En las rbricas analticas, los criterios de realizacin, con sus atributos,
se evalan en los distintos niveles y se proporciona una descripcin
de cada uno de ellos. Cada atributo recibe una puntuacin por separado, aunque tambin puede obtenerse una puntuacin global del
desempeo con propsitos sumativos. Ocasionalmente, se asignan
pesos a la evaluacin de cada atributo.
La principal ventaja del uso de este tipo de rbricas es que proporciona, tanto al alumnado como al profesorado, una imagen muy clara de
por qu los estudiantes obtienen determinada puntuacin, y permiten detectar con facilidad qu partes del desempeo requieren una
revisin por parte de cada uno. Su funcin es diagnstica y con propsitos claramente formativos, aunque ya se ha indicado que puede
utilizarse una puntuacin global del desempeo con propsitos sumativos. Sin embargo, para crearlas, se necesita mucho tiempo, y su
uso en la prctica de la evaluacin requiere mucha destreza; especialmente en desempeos que se evalan en el mismo momento de su
realizacin.
Atributos
Criterios
de realizacin
A01
CR01
A02
CR02
A03
CR01
Ponderacin
Niveles
Diseo de rbricas
Necesita
mejorar
Suficiente
Bueno
Excelente
Bsqueda
Ha consultado
una nica fuente
de informacin
no fiable.
Ha consultado una
nica fuente de
informacin fiable.
Ha consultado
varias fuentes
de informacin
aunque alguna
no sea fiable.
Ha consultado
varias fuentes
de informacin,
todas ellas
fiables.
Relevancia
Ningn indicador
es relevante en
las tres reas
(educacin,
economa y
salud).
Algn indicador es
relevante, en
todas o alguna
de las tres reas
(educacin,
economa y salud).
La mayor parte de
indicadores son
relevantes en
las tres reas
(educacin,
economa
y salud).
Todos los
indicadores son
relevantes en
las tres reas
(educacin,
economa
y salud).
Claridad
La mayor parte de
los datos est
reflejada de
forma clara,
aunque puede
que alguno no
permita una
lectura sencilla de
estos.
Anlisis
El anlisis de los
datos no est
basado en el
establecimiento
de comparaciones
entre los valores
de distintos
pases.
Una pequea
parte del anlisis
se basa en el
establecimiento
de comparaciones
entre los valores
de distintos
pases.
La mayor parte
del anlisis se
basa en el
establecimiento
de comparaciones
entre los valores
de distintos
pases.
Se realiza
un anlisis
completo de
los datos
obtenidos
estableciendo
comparaciones
entre los
valores de
distintos pases.
Interpretacin
No se
realiza una
interpretacin
congruente con
el anlisis de los
datos obtenidos.
En alguna
parte de la
interpretacin se
puede observar
congruencia
con los datos
obtenidos.
En la mayor
parte de la
interpretacin se
puede observar
congruencia
con los datos
obtenidos.
Toda la
interpretacin
es congruente
con el anlisis
de los datos
obtenidos.
Total
21
Puntuacin
Peso
(opcional)
22
Diseo de rbricas
23
Diseo de rbricas
Desempeo a evaluar
Testigos
Nivel
Descripcin
Nivel 4
Nivel 3
Nivel 2
Nivel 1
Se trata entonces de evaluar un desempeo cualquiera con las descripciones que se proporcionan en cada uno de los niveles de la rbrica, como es habitual, pero ayudndose en este caso de los modelos
representativos de cada nivel, que no son ms que desempeos reales tipo. Se compara un desempeo a evaluar con cada uno de esos
modelos: est mejor que el modelo del nivel 1?. Si fuera as, se
comparara con el modelo del nivel 2, y as sucesivamente. Si no, obviamente est en el nivel 1.
Disponer de buenos modelos o testigos es una cuestin que depende
del tiempo: requiere que hayamos trabajado considerablemente con la
rbrica y que dispongamos de un nmero suficiente de producciones
de los alumnos y de las alumnas que sean significativamente clarificadoras y tiles para valorar globalmente un desempeo determinado.
26
Diseo de rbricas
En resumen
El proceso de construccin de una rbrica, contemplado desde su inicio, queda reflejado en el esquema siguiente. Faltara, por ltimo,
abordar la cuestin de la revisin de la rbrica.
Generalizar criterios
de realizacin
Identificar
los atributos
Describir
los atributos
27
3 Revisin de la rbrica
En este apartado se muestran aquellos aspectos que se han debido
tener en cuenta a lo largo del proceso de elaboracin de una rbrica y
que ahora servirn como elementos de revisin. Todos ellos inciden
en dos caractersticas fundamentales de cualquier instrumento, la fiabilidad y la validez. Dos conceptos ntimamente relacionados pero no
en la misma direccin. Obtener un instrumento fiable no implica que
sea vlido. Ahora bien, si el esfuerzo se centra en obtener un instrumento vlido, es seguro que ser en cierta forma fiable.
Validez de la rbrica
En principio se destacan caractersticas que se refieren a cmo el instrumento mide lo que el evaluador pretende medir (validez) en base al
contenido que aquel recoge; en este caso, la rbrica.
La pregunta principal a la que hay que responder es si esa rbrica que
se acaba de disear o que se ha cogido prestada de otras fuentes:
a) Describe fielmente el contenido que se quiere evaluar y en toda su
extensin. Es decir, estn todos los atributos del desempeo o producto a evaluar y estn bien descritos (por ejemplo, si se quiere evaluar el conocimiento sobre historia, pero se describe en trminos de
exposicin del conocimiento sobre historia, no se est evaluando el
conocimiento sino la exposicin; por otra parte, tambin se deben
evaluar todos aquellos aspectos observables que se entienden por
conocimiento sobre historia o al menos los ms relevantes).
b) Contiene atributos apropiados que se corresponden con los de la
respuesta del alumno o de la alumna en el desempeo o producto
que es evaluado (por ejemplo, si se evala el razonamiento, los errores de pronunciacin en la explicacin del estudiante son irrelevantes
para el propsito de la evaluacin y no deberan incluirse en los criterios de realizacin).
28
Diseo de rbricas
Fiabilidad de la rbrica
Este concepto tiene que ver con la precisin de la medida o calificacin, en algunos casos, de los instrumentos de evaluacin. De ah que
sea importante como primera caracterstica que los niveles de la rbrica estn bien definidos y permitan una separacin clara en la ejecucin o producto. Si no fuese as, cualquier asignacin de nivel a un
desempeo evaluado tendra ms de arbitrario de lo deseable.
Otra caracterstica tiene que ver con lo que ya se ha comentado en el
apartado de Estrategia general de desarrollo de los descriptores y es
que aunque los descriptores para cada nivel de la escala sean diferentes de los anteriores o los siguientes, esa diferencia la deben dar los
cambios producidos en la cualidad de los criterios con el uso de esos
calificadores que se han mostrado anteriormente (cantidad, frecuencia,
intesidad), y no la debera proporcionar la introduccin explcita o implcita de nuevos criterios o cambios en la importancia que estos toman.
Es deseable que adems se hagan comprobaciones del funcionamiento de las rbricas desde el punto de vista de la fiabilidad. Se puede hacer de dos modos:
a) Valorar los mismos productos o desempeos (si est la posibilidad)
por un mismo docente dos o ms veces con las rbricas elaboradas,
para comprobar si se llega a las mismas conclusiones. Entre la primera y la segunda valoracin se recomienda un perodo prolongado de lavado; es decir, dejar pasar el tiempo para no condicionar
la valoracin de la segunda vez por el recuerdo de la primera.
b) Valorar los mismos productos o desempeos por varios docentes
con las mismas rbricas.
Es interesante anotar qu porcentaje de coincidencias se ha obtenido.
Si est por debajo del 80%, la rbrica se puede mejorar todava un poco ms. Menos del 60% de coincidencias requieren una revisin profunda de las rbricas tal y como se ha sealado en este apartado de
fiabilidad, tanto en la fiabilidad intrajueces (un mismo valorador en dos
o ms tiempos diferentes) como en la fiabilidad interjueces (distintos
evaluadores valoran varios desempeos). Esto se puede hacer sin necesidad de recurrir a tcnicas estadsticas ms o menos complejas.
29
30
Diseo de rbricas
4 Bibliografa
Brualdi Timmins, A. C. (1998). Implementing performance assessment in the
classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado el 13
junio de 2014 de http://PAREonline.net/getvn.asp?v=6&n=2
ERIC/AE (2014). Scoring Rubrics Definitions and Construction. Disponible online
en http://ericae.net/faqs/rubrics/scoring_rubrics.htm
Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics.
Recuperado el 1 de junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-point-rubrics/
Mertler, C. A. (2001). Designing scoring rubrics for your classroom. Practical
Assessment, Research & Evaluation, 7(25). Recuperado el 13 junio de 2014 de
http://PAREonline.net/getvn.asp?v=7&n=25
Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment,
Research & Evaluation, 7(3). Recuperado el 13 junio de 2014 de http://PAREonline.
net/getvn.asp?v=7&n=3
Moskal, B. (2003). Recommendations for developing classroom performance assessments and scoring rubrics. Practical Assessment, Research & Evaluation,
8(14). Recuperado el 13 junio de 2014 de http://PAREonline.net/getvn.asp?v=8&n=14
Moskal, B. M. y Leydens, J. A. (2000). Scoring rubric development: validity and
reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado el 13
junio de 2014 de http://PAREonline.net/getvn.asp?v=7&n=10
Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic
skills. Practical Assessment, Research & Evaluation, 7(18). Recuperado el 13 junio
de 2014 de http://PAREonline.net/getvn.asp?v=7&n=18
Tiemey, R. y Simon, M. (2004). Whats still wrong with rubrics: focusing on the
consistency of performance criteria across scale levels. Practical Assessment,
Research & Evaluation, 9(2). Recuperado el 13 junio de 2014 de http://PAREonline.
net/getvn.asp?v=9&n=2
Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and
Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.
31