REGRESIN LINEAL MLTIPLE

Objetivo: Explicar (o predecir) la variable Y a travez de k variables independientes

Modelo de regresin mltiple

Y = 0 + 1X1 + 2X2 + .... + k Xk +

Se puede aplicar el mtodo de mnimos cuadrados para estimar los coeficientes
de regresin. Supongamos que tenemos los datos experimentales
Observacin Respuesta
i
y
x1
1
y1
x11
2
y2
x21
:
:
:
xn1
n
yn

x2
x12
x22
:
xn2

Regresores
.....
xk
.....
x1k
.....
x2k
.....
:
xnk

de donde se obtiene el siguiente sistema de ecuaciones

y1 = 0 + 1x11 + 2x12 + .... + k x1k + 1

y2 = 0 + 1x21 + 2x22 + .... + k x2k + 2
:
:
:
:
:
:
yn = 0 + 1xn1 + 2xn1 + .... + k xn1 + n
El sistema de ecuaciones anteriores se puede expresar de forma ms compacta
utilizando notacin matricial. As, tenemos

1 x11 x12 ... x1k

0
1
y1
1 x21 x22 ... x2k
1
2
y2

X=
B=
=
Y=

:
: :
:
... :
:
:
yn
1 xn1 xn2 ... xnk
k
n3
El modelo de regresin lineal mltiple expresado en notacin matricial es el
siguiente

1
y1
y2 1
=
: :
yn
1

x11
x21
:
xn1

x12
x22
:
xn2

...
...
...
...

1
0
x1k

x2k
1 + 2
: : :
xnk
k
n

Y = XB +

El correspondiente modelo ajustado ser el siguiente

Y= XB

Teorema: Las estimaciones de mnimos cuadrados para los coeficientes de regresin lineal mltiple estn dadas por

B = (X X)1X Y

donde X es la transpuesta de X y (X X)1 es la inversa de X X

Demostracin

El vector de valores ajustados Y que corresponde a los valores observados Y es

Y= X(X X)1X Y

Estimacin de 2
Se puede desarrollar un estimador de 2 a partir de la suma de cuadrados de
residuales:
n

SCRes =
i=1
n

(yi yi)2
e2i

SCRes =
i=1

SCRes = e e

se sustituye e = Y XB

SCRes =

Y XB (Y XB)

SCRes = Y Y B X Y Y X B + B X X B
6

SCRes = Y Y 2B X Y + B X X B
Como X X B = X Y SCRes = Y Y B X Y.
Luego, el cuadrado medio de residuales es

Y Y BX Y
SCRes
=
MCRes =
nk1
nk1
donde

2 = MCRes

Prueba de la significancia de la regresin

La prueba de la significancia de la regresin es para determinar si hay una relacin
lineal entre la respuesta y y cualquiera de las variables regresoras x1, x2, x3, ....xk .
Este procedimiento suele considerarse como una prueba general o global de la
adecuacin del modelo. Las hiptesis son:

H0 : 1 = 2 = .... = k = 0
vs.
H1 : j = 0 al menos para una j
El rechazo de la hiptesis nula implica que al menos uno de los regresores x1, x2, x3, ..., xk
contribuye al modelo en forma significativa.
El procedimiento de prueba es una generalizacin del anlisis de varianza que se
us en la regresin lineal simple.

Tabla de anlisis de varianza

Fuente de Grados de Suma de Media de
F0
Variacin Libertad Cuadrados Cuadrados
Regresin
k
SCR
MCR
MCR/MCRes
Residual n k 1
SCRes
MCRes
Total
n1
SCT
donde
2

yi
i=1

SCR = B X Y

SCRes = Y Y B X Y
2

yi
SCT = Y Y
9

i=1

Pruebas sobre coeficientes individuales de regresin

Una vez determinado que al menos uno de los regresores es importante, la pregunta lgica es cul(es) sirve(n) de ellos?.
La hiptesis para probar la significancia de cualquier coeficiente individual de
regresin, como por ejemplo j , son

H0 : j = 0
vs.
H1 : j = 0
Si no se rechaza H0 : j = 0, quiere decir que se puede eliminar el regresor xj
del modelo. El estadstico de prueba para esta hiptesis es

t0 =

j
2Cjj

10

donde Cjj es el elemento de la diagonal principal de (X X)1 que corresponde

a j . Se rechaza la hiptesis nula H0 : j = 0 si |t0| > t/2, nk1.
O bien, nos interesan pruebas de hiptesis de la forma

H0 : j = j0
vs.
H1 : j = j0
el estadstico de prueba es

t0 =

j j0
2Cjj

rechazamos H0 : j = j0 , si |t0| > t/2, nk1.

11

Prueba de igualdad de coeficientes de regresin.

Supngase que la hiptesis nula de inters se expresa en la forma.

H0 : T = 0

donde T es una matriz de contrastes de m (k + 1), donde m es la cantidad de

ecuaciones consideadas.
Por ejemplo, se desea probar

H0 : i = j
El estadstico de prueba para esta hiptesis es

F0 =

SCH /1
SCRes(F M)/(n (k + 1))

12

donde

SCH = SCRes(RM) SCRes(F M)

SCRes(F M) = y y X y
1
SCRes(RM) = y y Z y; = (Z Z) Z y
Se rechaza H0 : T = 0 si F0 > F,1,n(k+1)

13

O se podra considerar una hiptesis de la forma.

H0 : i = j , l = 0
El estadstico de prueba para esta hiptesis es

T [T(X X)1T ]1T/r

F0 =
SCRes(F M)/(n (k + 1))
donde r es el nmero de ecuaciones independientes de las m.
Se rechaza H0 : T = 0 si F0 > F,k,n(k+1)

14

Intervalos de Confianza de los Coeficientes de Regresin

I.C (1 )100% para j , j = 0, 1, 2, ..., k

j t/2,n(k+1)

2Cjj j j + t/2,n(k+1)

2Cjj

Estimacin del intervalo de confianza de la respuesta media

Se puede establecer un I.C para la respuesta media en determinado punto, como
x01, x02, ..., x0k . Se define el vector x0 como sigue

1
x01

x0 = x02

:
x0k
El valor ajustado en ese punto es
15

y0 = x0
Para describir la exactitud que tiene esta prediccin, se calcula un I.C. el cual
queda determinado por

y0t/2,n(k+1)

2x0 (X X)1 x0 E(y|x0) y0+t/2,n(k+1)

2x0 (X X)1 x0

Prediccin de Nuevas Observaciones

Con el modelo de regresin lineal multiple se pueden predecir observaciones
futuras de y que corresponden a determinados valores de las variables regresoras,
por ejemplo x01, x02, ..., x0k . Si

1
x01

x0 = x02

:
x0k
16

entonces un estimador puntual de la observacin futura y0 en el punto x01, x02, ..., x0k
es

y0 = x0
Un intervalo de prediccin de (1)100% para esa observacion futura esta dado
por

y0 t/2,n(k+1)

2 1 + x0 (X X)1 x0 y0

y0 + t/2,n(k+1)

2 1 + x0 (X X)1 x0

17