Validacin cruzada

La validacin cruzada o cross-validation es una tcnica realice esta divisin. Debido a estas carencias aparece el
utilizada para evaluar los resultados de un anlisis estads- concepto de validacin cruzada.[3]
tico y garantizar que son independientes de la particin
entre datos de entrenamiento y prueba. Consiste en repetir y calcular la media aritmtica obtenida de las medidas
de evaluacin sobre diferentes particiones. Se utiliza en
entornos donde el objetivo principal es la prediccin y se
quiere estimar cmo de preciso es un modelo que se llevar a cabo a la prctica.[1] Es una tcnica muy utilizada
en proyectos de inteligencia articial para validar mode- Mtodo de retencin
los generados.

2 Objetivo de la validacin cruzada

Suponemos que tenemos un modelo con uno o ms
parmetros de ajuste desconocidos y unos datos de entrenamiento que queremos analizar. El proceso de ajuste optimiza los parmetros del modelo para que ste se
ajuste a los datos de entrenamiento tan bien como pueda. Si cogemos una muestra independiente como dato de
prueba (validacin), del mismo grupo que los datos de
entrenamiento, normalmente el modelo no se ajustar a
los datos de prueba igual de bien que a los datos de entrenamiento. Esto se denomina sobreajuste y acostumbra
a pasar cuando el tamao de los datos de entrenamiento
es pequeo o cuando el nmero de parmetros del modelo es grande. La validacin cruzada es una manera de
predecir el ajuste de un modelo a un hipottico conjunto
de datos de prueba cuando no disponemos del conjunto
explcito de datos de prueba.[4]

Esquema k-fold cross validation, con k=4 y un solo

clasicador.[2]

Contexto
3 Tipos de validaciones cruzadas

La validacin cruzada proviene de la mejora del mtodo

de retencin o holdout method. Este consiste en dividir
en dos conjuntos complementarios los datos de muestra,
realizar el anlisis de un subconjunto (denominado datos de entrenamiento o training set), y validar el anlisis
en el otro subconjunto (denominado datos de prueba o
test set), de forma que la funcin de aproximacin slo se
ajusta con el conjunto de datos de entrenamiento y a partir de aqu calcula los valores de salida para el conjunto
de datos de prueba (valores que no ha analizado antes).
La ventaja de este mtodo es que es muy rpido a la hora
de computar. Sin embargo, este mtodo no es demasiado
preciso debido a la variacin del resultados obtenidos para diferentes datos de entrenamiento. La evaluacin puede depender en gran medida de cmo es la divisin entre
datos de entrenamiento y de prueba, y por lo tanto puede ser signicativamente diferente en funcin de cmo se

3.1 Validacin cruzada de K iteraciones

En la validacin cruzada de K iteraciones o K-fold crossvalidation los datos de muestra se dividen en K subconjuntos. Uno de los subconjuntos se utiliza como datos de
prueba y el resto (K-1) como datos de entrenamiento. El
proceso de validacin cruzada es repetido durante k iteraciones, con cada uno de los posibles subconjuntos de
datos de prueba. Finalmente se realiza la media aritmtica de los resultados de cada iteracin para obtener un
nico resultado. Este mtodo es muy preciso puesto que
evaluamos a partir de K combinaciones de datos de entrenamiento y de prueba, pero aun as tiene una desventaja, y
es que, a diferencia del mtodo de retencin, es lento desde el punto de vista computacional. En la prctica, la elec1

4 CLCULO DEL ERROR

cin del nmero de iteraciones depende de la medida del

conjunto de datos. Lo ms comn es utlizar la validacin
cruzada de 10 iteraciones (10-fold cross-validation).[5][4]

Validacin cruzada dejando uno fuera (LOOCV)

4 Clculo del error

Validacin cruzada de K iteraciones con K=4.

La evaluacin de las diferentes validaciones cruzadas

normalmente viene dada por el error obtenido en cada
iteracin, ahora bien, por cada uno de los mtodos pue3.2 Validacin cruzada aleatoria
de variar el nmero de iteraciones, segn la eleccin del
[8]
Este mtodo consiste al dividir aleatoriamente el conjun- diseador en funcin del nmero de datos total.
to de datos de entrenamiento y el conjunto de datos de
prueba. Para cada divisin la funcin de aproximacin
se ajusta a partir de los datos de entrenamiento y calcula 4.1 Error de la validacin cruzada de K
iteraciones
los valores de salida para el conjunto de datos de prueba. El resultado nal se corresponde a la media aritmtica de los valores obtenidos para las diferentes divisio- En cada una de las k iteraciones de este tipo de validanes. La ventaja de este mtodo es que la divisin de da- cin se realiza un clculo de error. El resultado nal lo
tos entrenamiento-prueba no depende del nmero de ite- obtenemos a partir de realizar la media aritmtica de los
raciones. Pero, en cambio, con este mtodo hay algunas K valores de errores obtenidos, segn la frmula:
muestras que quedan sin evaluar y otras que se evalan
ms de una vez, es decir, los subconjuntos de prueba y
K
entrenamiento se pueden solapar.[6]
1
E=
Ei .
K i=1
Es decir, se realiza el sumatorio de los K valores de error
y se divide entre el valor de K.

4.2 Error de la validacin cruzada aleatoria

Validacin cruzada aleatria con k iteracions

3.3

Validacin cruzada dejando uno fuera

La validacin cruzada dejando uno fuera o Leave-one-out

cross-validation (LOOCV) implica separar los datos de
forma que para cada iteracin tengamos una sola muestra
para los datos de prueba y todo el resto conformando los
datos de entrenamiento. La evaluacin viene dada por el
error, y en este tipo de validacin cruzada el error es muy
bajo, pero en cambio, a nivel computacional es muy costoso, puesto que se tienen que realizar un elevado nmero
de iteraciones, tantas como N muestras tengamos y para
cada una analizar los datos tanto de entrenamiento como
de prueba. [7]

En la validacin cruzada aleatoria a diferencia del mtodo

anterior, cogemos muestras al azar durante k iteraciones,
aunque de igual manera, se realiza un clculo de error para cada iteracin. El resultado nal tambin lo obtenemos
a partir de realizar la media aritmtica de los K valores
de errores obtenidos, segn la misma frmula:

E=

K
1
Ei .
K i=1

4.3 Error de la validacin cruzada dejando

uno fuera
En la validacin cruzada dejando uno fuera se realizan
tantas iteraciones como muestras (N) tenga el conjunto de

3
datos. De forma que para cada una de las N iteraciones se
realiza un clculo de error. El resultado nal lo obtenemos
realizando la media aritmtica de los N valores de errores
obtenidos, segn la frmula:

E=

N
1
Ei .
N i=1

a cabo cuatro iteraciones, y en cada una se utilizarn unos

datos de entrenamiento diferentes, que sern analizadas
por cuatro clasicadores, que posteriormente evaluarn
los datos de prueba. De este modo por cada muestra obtendremos cuatro resultados, y si hacemos la media entre
los resultados de cada clasicador y entre las cuatro iteraciones realizadas, obtendremos el valor resultante nal.

Donde se realiza el sumatorio de los N valores de error y

se divide entre el valor de N.

Medidas de ajuste

El objetivo de la validacin cruzada consiste en estimar el

nivel de ajuste de un modelo a un cierto conjunto de datos
de prueba independientes de las utilizadas para entrenar
el modelo. Estas medidas obtenidas pueden ser utilizadas para estimar cualquier medida cuantitativa de ajuste
apropiada para los datos y el modelo. Por ejemplo, en un
modelo basado en clasicacin binaria, cada muestra se
prev como correcta o incorrecta (si pertenece a la temtica o no), de forma que en este caso, se puede usar la 'tasa
de error de clasicacin' para resumir el ajuste del modelo. As mismo, se podran utilizar otras medidas como el
valor predictivo positivo. Cuando el valor a predecir se
distribuido de forma continua se puede calcular el error
utilizando medidas como: el error cuadrtico medio, la
desviacin de la media cuadrada o la desviacin absoluta
media.

Ejemplos de aplicacin

La validacin cruzada se puede utilizar para comparar los

resultados de diferentes procedimientos de clasicacin
predictiva. Por ejemplo, supongamos que tenemos un detector que nos determina si una cara pertenece a una mujer o a un hombre y consideramos que han sido utilizados
dos mtodos diferentes, por ejemplo, mquinas de vectores de soporte (SVM) y k-vecinos ms cercanos (KNN),
ya que ambos nos permiten clasicar las imgenes. Con
la validacin cruzada podramos comparar los dos procedimientos y determinar cul de los dos es el ms preciso.
Esta informacin nos la proporciona la tasa de error que
obtenemos al aplicar la validacin cruzada por cada uno
de los mtodos planteados.

k-fold cross validation, con k=4 i con 4 clasicadores.

7 Cuestiones computacionales
La mayora de las formas de validacin cruzada son fciles de implementar, siempre y cuando una implementacin del mtodo de prediccin objeto de estudio est
disponible. En particular, el mtodo de prediccin slo
necesitan estar disponibles como una "caja negra" no hay
necesidad de tener acceso a las partes internas de su aplicacin. Si el mtodo de prediccin es costoso de entrenar,
la validacin cruzada puede ser muy lenta ya que el entrenamiento deber llevarse a cabo en varias ocasiones.
En algunos casos como el de mnimos cuadrados o
regresin kernel (del ncleo), la validacin cruzada se
puede acelerar de manera signicativa por el pre-clculo
de ciertos valores que son necesarios en varias ocasiones en el entrenamiento, o mediante el uso rpido reglas
de actualizacin como la frmula de Sherman-Morrison.
Sin embargo hay que tener cuidado para preservar completamente el conjunto de validacin del procedimiento
de entrenamiento, de lo contrario se puede dar lugar a un
sesgo.

Un ejemplo extremo de la aceleracin de la validacin

cruzada se produce en la regresin lineal, donde los resultados de la validacin cruzada son expresiones de forma
La validacin cruzada de k iteraciones (k-fold cross vacerrada conocidas como suma de cuadrados del error de
lidation) nos permite evaluar tambin modelos en los que
prediccin residual (PRENSS).
se utilizan varios clasicadores. Continuando con el ejemplo anterior, si tenemos un detector que nos determina si
en una imagen aparece un hombre o una mujer, y ste
utiliza cuatro clasicadores binarios para detectarlo, tam- 8 Limitaciones y uso no adecuado
bin podemos utilizar la validacin cruzada para evaluar
su precisin. Si tenemos un total de 20 datos (imgenes), La validacin cruzada slo produce resultados signicay utilizamos el mtodo 4-fold cross validation, se llevarn tivos si el conjunto de validacin y prueba de conjunto se

11

han extrado de la misma poblacin. En muchas aplicaciones de modelado predictivo, la estructura del sistema
que est siendo estudiado evoluciona con el tiempo. Esto
puede introducir diferencias sistemticas entre los conjuntos de entrenamiento y validacin. Por ejemplo, si un
modelo para predecir el valor de las acciones est entrenado con los datos de un perodo de cinco aos determinado, no es realista para tratar el siguiente perodo de
cinco aos como predictor de la misma poblacin.
Otro ejemplo, supongamos que se desarrolla un modelo para predecir el riesgo de un individuo para ser
diagnosticado con una enfermedad en particular en el prximo ao. Si el modelo se entrena con datos de un estudio
que slo afecten a un grupo poblacional especco (por
ejemplo, solo jvenes o solo hombres varones), pero se
aplica luego a la poblacin en general, los resultados de
la validacin cruzada del conjunto de entrenamiento podran diferir en gran medida de la clasicacin real.
Si se lleva a cabo correctamente, y si el conjunto de validacin y de conjunto de entrenamiento son de la misma poblacin, la validacin cruzada es casi imparcial. Sin
embargo, hay muchas maneras en que la validacin cruzada puede ser mal utilizada. Si se abusa y posteriormente
se lleva a cabo un estudio real de validacin, es probable
que los errores de prediccin en la validacin real sean
mucho peores de lo esperado sobre la base de los resultados de la validacin cruzada.
Estas son algunas formas en que la validacin cruzada
puede ser mal utilizada:
Mediante el uso de la validacin cruzada para evaluar varios modelos, y slo indicando los resultados
para el modelo con los mejores resultados.
Al realizar un anlisis inicial para identicar las
caractersticas ms informativas utilizando el conjunto de datos completo, si la seleccin de caracterstica o el ajuste del modelo lo requiere por el propio procedimiento de modelado, esto debe repetirse en cada conjunto de entrenamiento. Si se utiliza
la validacin cruzada para decidir qu caractersticas se van a utilizar, se deber realizar un proceso
interno de validacin cruzada para llevar a cabo la
seleccin de caractersticas en cada conjunto de entrenamiento.
Al permitir que algunos de los datos de entrenamiento est tambin incluido en el conjunto de prueba, esto puede suceder debido a hermanamiento
en el conjunto de datos, con lo que varias muestras
exactamente idnticas o casi idnticas pueden estar
presentes en el conjunto de datos.

Vase tambin
Doble ciego

REFERENCIAS

Inteligencia articial
Aprendizaje automtico
Aprendizaje supervisado
Mquinas de vectores de soporte
K-vecinos ms prximos
Regresin lineal

10 Enlaces externos
Smarter-than-you machines, creado por V.V.V. (En
ingls)
Scientists worry machines may outsmart man, creado por John Marko (En ingls)
Inteligencia articial. El hombre y las mquinas pensantes, creado por Edith Delgado (En castellano)
The man-machine and articial intelligence, creado
por Bruce Mazlish. Ideas del ao 1995. (En ingls)
The concept of k-fold cross-validation. (En ingls)

11 Referencias
[1] Devijver, P. A., and J. Kittler, Pattern Recognition: A Statistical Approach, Prentice-Hall, Londres, 1982
[2] Jean-Philippe Lang, Predictors tutorial, Bioinformatic Department Projects
[3] Je Schneider, The holdout method, The school of computer science, 7 de febrero de 1997
[4] Payam Refaeilzadeh, Lei Tang, Huan Lui, k-fold CrossValidation, Arizona State University, 6 de noviembre de
2008
[5] FH Joanneum, Cross-Validation Explained, Institute for
Genomics and Bioinformatics, 2005-2006
[6] Andrew W. Moore, Cross-validation for detecting and
preventing overtting, Carnegie Mellon University
[7] Charles Elkan, Evaluating Classiers University of California, San Diego, 18 de enero de 2011
[8] Ricardo Gutirrez-Osuna,Leave-one-out Cross Validation
Wright State University

12
12.1

Text and image sources, contributors, and licenses

Text

Validacin cruzada Fuente: http://es.wikipedia.org/wiki/Validaci%C3%B3n%20cruzada?oldid=72789547 Colaboradores: Oblongo,

BOT-Superzerocool, Jesuja, Pinar, PabloCastellano, JAnDbot, CommonsDelinker, VolkovBot, Muro Bot, SieBot, Bigsus-bot, HUB, Botelln, Alecs.bot, Juan Mayordomo, Fidelbotquegua, SpBot, FariBOT, DiegoFb, Xqbot, FrescoBot, ZroBot, Grillitus, Lupianiedu, WikitanvirBot, KLBot2, Argoncalves, Joan.domenech91, Ana.olive, Acratta, Johnbot, Elvisor, Heraclitvs, Makecat-bot, Addbot y Annimos:
3

12.2

Images

Archivo:4fold3class.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/f/fc/4fold3class.jpg Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91
Archivo:Esquema_castell.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/1/18/Esquema_castell%C3%A0.jpg Licencia:
CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91
Archivo:K-fold_cross_validation.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/f/f2/K-fold_cross_validation.jpg Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91
Archivo:Leave-one-out.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/2/2d/Leave-one-out.jpg Licencia: CC BY-SA 3.0
Colaboradores: Trabajo propio Artista original: Joan.domenech91
Archivo:Metodo_de_retencin.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/4/48/Metodo_de_retenci%C3%B3n.jpg
Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91
Archivo:Random_cross_validation.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/b/b2/Random_cross_validation.jpg
Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91

12.3

Content license

Creative Commons Attribution-Share Alike 3.0