Escolar Documentos
Profissional Documentos
Cultura Documentos
1 =
w
T
X
T
Yc, 2 = c
T
Y
T
Xw. Es de notar que los valores de 1 y 2 son iguales. Adems: ,
Paso 2: Se procede a encontrar el primer vector de las matrices T y U, a partir de: t = Xw y u = Yc
Paso 3: El siguiente paso es calcular las matrices residuales de X e Y, y si la matriz Y no es lo
sufcientemente pequea, proceder a encontrar los segundos vectores latentes siguiendo el mismo proce-
dimiento anterior. As sucesivamente hasta que la matriz Y sea insignifcante.
Para garantizar la ortogonalidad de la secuencia de variables latentes, a las matrices de datos origi-
nales se les va substrayendo en forma iterativa la parte de la informacin explicada por la variable latente
obtenida en la presente iteracin. Esto se logra restndole a las matrices residuales las matrices optimales
de rango1, basadas en la variable latente t obtenida en la presente iteracin. Estas matrices se obtienen
resolviendo mn
p
||X tp
T
|| y min
q
||Y tq
T
||. Se puede demostrar que las soluciones estn dadas por
p = X
T
t y q = Y
T
t respectivamente, y que la actualizacin de las matrices se puede representar como
X = X tt' X y Y = Y tt' Y
Mtodo de descenso de mayor pendiente
Este mtodo es uno de los ms antiguos usados en el estudio de minimizacin de una funcin de
varias variables, tambin conocido como el mtodo del gradiente [10], constituye la base de algoritmos
avanzados que intentan modifcar esta tcnica en busca de mejores propiedades de convergencia.
Sea ( x) una funcin continua en E
n
, con primeras derivadas parciales continuas en E
n
, y sea
( x) el gradiente de ( x) un vector fla n-dimensional. Defnase a g( x) = ( x)
T
como un vector
columna n-dimensional, entonces el mtodo de descenso de mayor pendiente est defnido por el algo-
ritmo iterativo:
x
k+1
= x
k
k
g
k
(4)
donde
k
es un escalar no negativo que minimiza ( x
k
k
g
k
). En particular, todas las caractersticas
importantes de convergencia local del mtodo de descenso de mayor pendiente se observan estudiando
este mtodo a problemas cuadrticos de la forma:
( x) =
1
x
T
Qx x
T
b, (5)
2
donde Q es una matriz de tamao nxn simtrica defnida positiva. El nico punto mnimo de se puede
hallar directamente, igualando el gradiente a cero:
Qx* = b
denotando a x* como el punto ptimo.
El gradiente de viene dado por: g( x) = Qx b
As, el mtodo de descenso de mayor pendiente se expresa a partir de la frmula (4) con
g
k
= Qx
k
b, donde a
k
minimiza ( x
k
ag
k
):
( x
k
ag
k
) =
1
( x
k
ag
k
)
T
Q(x
k
ag
k
) (x
k
ag
k
)
T
b (6)
2
obteniendo por resultado: a
k
= . (7)
w =
X
T
Yc
1
c =
Y
T
Xw
1
T
T
g
k
g
k
g
k
Qg
k
34
( )
Mnimos cuadrados parciales con el mtodo de descenso de mayor pendiente
Revista Tecnocientfca URU, N 3 Julio - Diciembre 2012 (29 - 38)
Es decir: x
k+1
= x
k
g
k
(8)
con g
k
= Qx
k
b
Algoritmo del mtodo de descenso de mayor pendiente
Dado x
0
y para k = 0 hasta n :
Calclese:
g( x
k
) = ( x
k
)
T
, en el caso cuadrtico: g( x
k
) = Qx
k
b
a
k
= es un escalar que minimiza a ( x
k
a
k
g
k
), en el caso cuadrtico:
a
k
=
x
k+1
= x
k
a
k
g
k
Desarrollo del mtodo PLS mediante el mtodo de optimizacin
El mtodo PLS bajo la perspectiva geomtrica involucra dos problemas de minimizacin: el pri-
mero expone a travs de w la minimizacin de la distancia entre los vectores de la matriz X y sus pro-
yecciones sobre la matriz Y, es decir: mn||X Yw
T
|| y el segundo expresa mediante c la minimizacin
de la distancia entre los vectores de la matriz Y con sus proyecciones sobre T, es decir: mn||Y Tc
T
||.
Estos problemas se pueden expresar como las funciones objetivos siguientes, que se llamarn funciones
objetivos del PLS:
F
1
(w) = (X Yw
T
)
T
(X Yw
T
) = (X
T
wY
T
) (X Yw
T
) = (X
T
X X
T
Yw
T
wY
T
X + wY
T
Yw
T
= K 2X
T
Yw
T
+ wY
T
Yw
T
donde K = X
T
X es una constante. Se divide la ecuacin entre dos y se escribe como una ecuacin cua-
drtica:
F
1
= bw
T
+ wQw
T
(9)
con: b = X
T
Y , Q = Y
T
Y
F
2
(c) = (Y Tc
T
)
T
(Y TC
T
) = (Y
T
ct
T
) (Y Tc
T
) = (Y
T
Y Y
T
Tc
T
cT
T
Y + cT
T
Tc
T
= K 2Y
T
Tc
T
+ cT
T
Tc
T
donde K = Y
T
Y es una constante. Se divide la ecuacin entre dos y se escribe como una ecuacin cua-
drtica:
F
2
= bc
T
+ cQc
T
(10)
con: b = Y
T
T , Q = T
T
T
La solucin de estas funciones objetivos del PLS sustituye la forma convencional de bsqueda de
los vectores w, c dadas por [1], [3] y [8].
T
T
T
T
g
k
g
k
g
k
Qg
k
g
k
g
k
g
k
Qg
k
1
2
K
2
1
2
k
2
35 Eddy Jackeline Rodrguez
Revista Tecnocientfca URU, N 3 Julio - Diciembre 2012 (29 - 38)
Formulacin matemtica del PLS con el mtodo de descenso de mayor
pendiente
Aplicando los pasos del algoritmo del mtodo de descenso de mayor pendiente a las funciones (9)
y (10), queda:
Para F
1
: w
k+1
= w
k
a
k
g
k
con gradiente: g
k
= g( w
k
)
= Y
T
Yw
k
X
T
Y
y a
k
= que minimiza a F
1
(w
k
a
k
g
k
).
Como F1 es una funcin cuadrtica, donde Q es una matriz cuadrada simtrica defnida positiva,
su nico punto mnimo se puede hallar directamente, al igualar el gradiente a cero
Y
T
Yw
k
X
T
Y = 0 (11)
obtenindose el vector proyeccin: w
k
= (Y
T
Y)
-1
(X
T
Y)
o w
j
= por considerar los vectores que
forman la matriz Y tomados uno por uno.
Para F
2
: c
k+1
= c
k
a
k
g
k
con el gradiente de F2 : g
k
= g( c
k
)
= T
T
Tc
k
Y
T
T
y a
k
= que minimiza a F
2
(c
k
a
k
g
k
).
Ya que F2 es una funcin cuadrtica, donde Q es una matriz cuadrada simtrica defnida positiva,
su nico punto mnimo puede encontrarse al igualar el gradiente cero:
T
T
Tc
k
Y
T
T = 0 (12)
Obtenindose el vector proyeccin: c
k
= (T
T
T)
-1
(Y
T
T)
o c
j
= por considerarse los vectores
de la matriz T tomados uno por uno.
Algoritmo del PLS a partir del mtodo de mayor pendiente
Con las matrices X y Y centradas se procede con los siguientes pasos:
1. Obtener los vectores: w: a partir de F
1
= bw
T
+ wQw
T
c: a partir de F
2
= bc
T
+ cQc
T
2. Calcular: t = Xw, hacer t = , u = Yc, hacer u =
4. Obtener las nuevas matrices: X = X tt
T
X , Y = Y tt
T
Y
5. Repetir hasta que se cumpla un criterio de parada preestablecido.
6. Calcular el coefciente de regresin: B = X
T
U(T
T
XX
T
U)
-1
T
T
Y
7. Obtener el Modelo de Regresin: Y = BX
Resultados y Conclusiones
Se propone un ejemplo de datos experimentales de 10 variables con 100 observaciones por varia-
ble, creados a travs de la ecuacin:
y = 5x
1
+ x
2
+ 7x
3
+ 2x
4
+ 0.5x
5
+ 3x
6
+ x
7
+ 0.7x
8
+ 3x
9
+ e
T
T
T
T
g
k
g
k
g
k
Qg
k
g
k
g
k
g
k
Qg
k
T
T
x
T
y
j
y
j
y
j
Y
T
t
j
t
j
t
j
1
2
1
2
t
|| t ||
u
|| u ||
k
2
k
2
36 Mnimos cuadrados parciales con el mtodo de descenso de mayor pendiente
Revista Tecnocientfca URU, N 3 Julio - Diciembre 2012 (29 - 38)
donde: x
i
con i = 1, ... , 5 son linealmente independientes y de distribucin normal.
x
i
con i = 6, ... , 9 son formadas por la combinacin lineal de las otras variables.
e: Error aleatorio con distribucin normal.
Los datos se dividen en dos grupos: cincuenta para entrenar el modelo y cincuenta para validar el
modelo, considerando como criterios para la validacin la suma de los cuadrados de los errores (SSE),
el promedio de la suma de los cuadrados de los errores (PSSE) y el coefciente de regresin lineal entre
los dados y los estimados (R).
Tabla 1: Resultados obtenidos con los datos de validacin.
No. De variables
latentes.
SSE PSSE R
1 7,6837e+007 1,5367e+006 0,8337
2 3,1328e+007 6,2655e+005 0,9322
3 1,6898e+007 3,3795e+005 0,9634
4 1,6161e+07 3,2322e+005 0,9650
5 2,8904e-022 5,7808e-024 1
6 2,8904e-022 5,7808e-024 1
7 2,8904e-022 5,7808e-024 1
8 2,8904e-022 5,7808e-024 1
9 2,8904e-022 5,7808e-024 1
En la tabla 1, se muestran los resultados del modelo obtenidos con el algoritmo del PLS con el
mtodo de mayor pendiente para los datos de validacin, estos se muestran con una (1) hasta nueve
(9) variables latentes llegando a obtener con cinco (5) variables latentes el mejor modelo que ajusta el
problema de regresin arrojando un PSSE de 5,7808e-024 y un SSE de 2,8904e-022. A partir de seis va-
riables latentes el modelo no presenta mejora como era de esperarse ya que el ejemplo experimental fue
creado con cinco variables independientes y el resto tena dependencia lineal con las anteriores. Tambin
puede observarse a travs de los valores de R que existe en todos los casos una relacin lineal entre la va-
riable de salida dada y la variable de salida estimada por el modelo, presentndose siempre una relacin
positiva que se acerca y llega a uno a medida que el modelo mejora (ver fgura 4).
De esta manera, se verifca lo expuesto en la teora, donde se demostr que puede usarse el m-
todo de optimizacin de mayor pendiente para encontrar los vectores proyeccin w y c del mtodo PLS
tradicional.
37 Eddy Jackeline Rodrguez
Revista Tecnocientfca URU, N 3 Julio - Diciembre 2012 (29 - 38)
F
i
g
u
r
a
4
:
r
e
p
r
e
s
e
n
t
a
c
i
n
d
e
R
p
a
r
a
l
o
s
d
a
t
o
s
d
e
l
a
v
a
l
i
d
a
c
i
n
38 Mnimos cuadrados parciales con el mtodo de descenso de mayor pendiente
Revista Tecnocientfca URU, N 3 Julio - Diciembre 2012 (29 - 38)
Referencias bibliogrfcas
1. Geladi P. and Kowalski B. (1986). Partial Least- Squares Regresin: A Tutorial. Elsevier Science
Publishers B V., p 1-17.
2. Geladi P. and Kowalski B. (1986). An Example of 2-Block Predictive Partial Least- Squares Regres-
sion with Simulated Data. Elsevier Science Publishers B V., p. 19-32.
3. Hoskuldsson A. (1998). PLS Regresin Methods. Journal of Chemometrics. Vol. 2, p. 211-228.
4. Wold S., Sjstrm M. and Eriksson L. (2001). PLS-Regressions: a Basic Toll of Chemometrics .
Chemometrics and Intelligent Laboratory Systems 58, p. 109-130.
5. Krmer N., Boulesteix A. and Tutz G. (2008). Penalized Partial Least Squares with Application to
B-Spline Transformation and Functional Data, p. 1-26. {EN LINEA} Disponible en http://www.
wias-berlin.de/people/kraemer/papers/chemo_ppls.pdf.
6. Boulesteix A. and Strimmer K. (2006). Partial Least Squares: a versatile tool for the analysis of high-
dimensional genomic data. Briefngs in Bioinformatics, Vol. 8, No. 1, p. 32-44.
7. Gonzalez J., Pea D. and Romera R. (2007). A Robust Partial Least Squares Method with Applica-
tions. Working paper 07-13. Statistic and Econometric Series 04, p. 1-20. {EN LINEA} Disponible
en http://e-archivo.uc3m.es/bitstream/10016/665/1/ws071304.pdf.
8. Rodrguez E. (2005). Desarrollo Matemtico del Modelo de Regresin No Lineal Kernel Cuadrados
Mnimos Parciales. Trabajo de Ascenso para optar a la categora de profesor asociado en la Univer-
sidad del Zulia, p. 94.
9. Bennett K. and Embrechts M. (2003). An Optimization Perspectiva on Kernel Partial Least Squares
Regresion. Chapter 11 in Advances in Learning Theory: Methods, Models and Applications, Suykens
J. A. K. et al., Eds., NATO-ASI Series in Computer and System Sciences, IOS Press Amsterdam, The
Netherlands.
10. Burden R. and Faires J. (1985). Anlisis Numrico. Mxico D.F. Grupo Edittorial Iberoamrica, p.
721.