Modelo general de

regresión
lineal múltiple
Econometría I. Curso 2007-
08
Variables
• Y:
– Variable dependiente
– Variable endogena
– Variable explicada
• Xj:
– Variables exogenas
– Variables
independientes
– Variables explicativas
Sólo una Al menos una
Ejemplo de
ilustración
Ejemplo de
ilustración
• Y: Ingresos del
supermercado
• X1: Habitantes del municipio
del
supermercado
• X2: Superficie del
supermercado (m2)

1 2 Y f X , X

Tabla de datos
273 56 36
117 20 8
176 45 10
62 4 6
120 23 9
211 33 28
43 15 5
187 43 20
85 28 12
156 25 10
197 55 14
209 35 26
198 70 21
Ingresos (Y) Habitantes (X1) Superficie (X2)

Modelo de regresión
lineal
Ejemplo de ilustración
• Deseamos explicar los ingresos
del supermercado
(Y), mediante la población del
municipio (X1) y la
superficie del supermercado (X2).
• Si la relación existente entre las
variables fuera de
tipo lineal utilizaríamos la
siguiente expresión:
i 1 i1 2 i2 y α β x β x
Modelo de regresión
lineal (II)
Ejemplo de ilustración
• Pero la relación entre las
variables no es
necesariamente perfecta. Por
ese motivo
añadimos un elemento
aleatorio a cada
observación:
iiii y α β x β x ε 1 1 2
2
donde 1i n
Modelo de regresión
lineal (III)
Ejemplo de ilustración

iiii y α β x β x ε 1 1 2

2
donde 1i n
Renta de los habitantes
Medio rural o urbano
...
Edad promedio de los habitantes
Variables que no hemos considerado
iiii y α β x β x ε 1 1 2
2
Modelo de regresión
lineal (IV)
Ejemplo de ilustración
• Es el termino constante del
modelo y es
desconocido.
• Son los coeficientes
desconocidos de la
combinación lineal.
• Es el i-ésimo término de error
(desconocido)
iiii y α β x β x ε 1 1 2
2
Modelo de regresión
lineal (V)
Ejemplo de ilustración
• Es el termino constante del
modelo y es
desconocido.
• Son los coeficientes
desconocidos de la
combinación lineal.
• Es el i-ésimo término de error
(desconocido)
Modelo de regresión
lineal (VI)
Ejemplo de ilustración

iiii y α β x β x ε 1 1 2

2
• Es el termino constante del
modelo y es
desconocido.
• Son los coeficientes
desconocidos de la
combinación lineal.
• Es el i-ésimo término de error
(desconocido)
Modelo de regresión
lineal (VII)
Ejemplo de ilustración








1 2 13
122
121
273 56 36
...
209 35 26
198 70 21



• Este sistema de ecuaciónes:
– Consta de 13 ecuaciones y 16 incógnitas.
– Tiene infinitas soluciones.
• Podemos asignar valores arbitrarios a
cualesquiera tres
incógnitas y calcular las demás.
• Así lo haremos:
– Nuestro objetivo es que los valores
de las
incógnitas sean lo más pequeños
posible.
– Determinaremos cuáles son los
valores más
adecuados de los coeficientes del
modelo para
alcanzar este objetivo.
– Llamaremos residuos a los valores
que toman las
incógnitas en la solución del sistema de
ecuaciones.
1122 α a, β b , β b
Especificación del
modelo
Ejemplo de ilustración
i 
i 

ii e
• Dicho de otro modo:
– queremos encontrar valores
concretos para las
incógnitas a los que llamaremos
– Estos valores concretos consiguen
que los valores
de las incógnitas sean lo más
pequeños
posible.
12 α, β y β
Especificación del
modelo(II)
Ejemplo de ilustración
i
ie
12 a, b y b
Especificación del
modelo(III)
Ejemplo de ilustración
• Para minimizar los residuos de
manera global
emplearemos la siguiente expresión:
• Es decir, debemos encontrar los
valores de los
coeficientes que minimizan la suma
de los cuadrados
de los residuos.
• A este criterio se le llama de los
“minimos
cuadrados”.

min   e 2 i
Especificación del
modelo(IV)
Ejemplo de ilustración











2
12
2
12
2
12
273 56 36
...
209 35 26
198 70 21
abb
abb
abb
Deseamos minimizar esta suma




n
i
iii Min y a b x b x
1
2
1122

Especificación del
modelo (V)
Ejemplo de ilustración
• Por tanto, la solucion del
sistema de
ecuaciones será la siguiente:
– Las incógnitas tomarán los
valores . Estos valores consiguen
que los valores de las icógnitas
sean lo
más pequeños posible.
– Las incógnitas tomarán los
valores
1 2 α, β y β
1 2 a, b y b

i 
ie

i 
i i 1 i1 2 i2 e y a b x b x
Modelo de ajuste
lineal
Ejemplo de ilustración
• Después de calcular los valores
de los parámetros
de la combinación lineal,
podremos construir el
modelo de ajuste lineal:
• Los valores calculados para la
variable
dependiente mediante el modelo
de ajuste lineal
serán los llamados valores
estimados.
1122 ˆ i i i y a b x b x
Modelo de ajuste
lineal (II)
Ejemplo de ilustración
• A la diferencia entre los
valores observados
y los valores estimados para
la variable
dependiente los llamamos
residuos:
1122 ˆ i i i i i i e y y y
a b x b x
¡Cuidado!
• Es muy importante distinguir los
residuos de los errores:
– Los errores son cantidades desconocidas y
aleatorias. Miden el
efecto de las variables que no hemos tomado
en cuenta.
– Los residuos, por el contrario, son valores
conocidos. Miden las
diferencias entre los valores observados y los
valores estimados de
la variable dependiente.

ii 1 i1 2 i2 ε y α β x

β x
i i 1 i1 2 i2 e y a b x
b x
Estimación de los
parámetros
Ejemplo de ilustración
• Recordemos:
– Queremos encontrar unos valores
concretos
para las incógnitas .
– Estas estimaciones consiguen que
los valores
concretos de las incógnitas -a los que
llamamos - sean lo más pequeños
posible.
12 α, β y β
i
ie
12 a, b y b




n
i
iii Min y a b x b x
1
2
1122

Estimación de los
parámetros (II)
Ejemplo de ilustración

0
ˆ2



a
y yi i

0
ˆ
1
2



b
y yi i

0
ˆ
2
2



b
y yi i
i i i na b x b x y 1 1 2 2
 iiiiii a x b x b x x x y 2121
2
111

 iiiiii axbxxbxxy2

2
211222
Ecuaciones normales
(3 ecuaciones, 3 incógnitas)

Estimación de los
parámetros (III)
Ejemplo de ilustración

























ii
ii
i
iii
iii
ii
xy
xy
y
b
b
a
xxxx
xxxx
nxx
i
i
2
1
2
1
2
212
12
2
1
12
2
1

























 
ii
ii
i
iii
iii
ii
xy
xy
y
xxxx
xxxx
nxx
b
b
a
i
i
2
1
1
2
212
12
2
1
12
2
1
2
1

• Empleando matrices:
Estimación de los
parámetros (IV)
Ejemplo de ilustración



















38769
82495
2034
205 8452 4343
452 19828 8452
13 452 205
2
1
b
b
a
• En nuestro ejemplo de
ilustración:


























4,245
1,496
37,502
38769
82495
2034
205 8452 4343
452 19828 8452
13 452 205 1
2
1
b
b
a
1 2 Yˆ 37,502 1,496X 4,245X
Caso general
Modelo de regresión
lineal
Caso general
• Cuando tenemos más de
dos variables
explicativas:
• Empleando matrices:
i ,...,n
y α β x β x β x εi i i k ik i
con 1
... 1 1 2 2


Y 1 X X X ε 1 2 k k
... 1 2








nk
k
k
n
x
x
x
...
2
1
1,
k X
Modelo de regresión
lineal (II)
Caso general








n
n
y
y
y
...
2
1
1, Y








1
21
11
1, ...
n
n
x
x
x
1 X








n
n




...
2
1
1, ε








1
...
1
1
n,1
1
Modelo de regresión
lineal (III)
Caso general
• Podemos expresar el
modelo de regresión
lineal de un modo más
sencillo:
Y Xβ ε Modelo de
regresión lineal
n ecuaciones
n+k+1 incógnitas

Modelo de regresión
lineal (IV)
Caso general









n n nk
k
k
nk
xxx
xxx
xxx
1 ...
... ... ... ... ...
1 ...
1 ...
12
21 22 2
11 12 1
1,
X








n
n




...
2
1
1, ε 







n
n
y
y
y
...
2
1
1, Y









k
k




...
1
1,1
β
kk α a, β b , β b ,..., β b 1 1 2 2
– Nuestro objetivo es conseguir que los
valores de
las incógnitas sean lo más pequeños
posible.
– Buscaremos los valores de los
coeficientes del
modelo que resulten los más
adecuados de cara a
cumplir con el objetivo planteado.
– A los valores que en la solución del
sistema de
ecuaciones toman las inógnitas los
llamaremos residuos.
Especificación del
modelo
Caso general
i 
i 

ii e
• Expresado de otro modo:
– Deseamos encontrar un vector , que
es un
valor concreto del vector .
– Este vector concreto consigue que
los valores
de las incógnitas sean lo más
pequeños
posible.
Especificación del
modelo (II)
Caso general
ie
B
β
B
i 

Esepecificación del
modelo (III)
Caso general
• Por lo tanto, la solucion del
sistema de
ecuaciones será la siguiente:
– El vector tomará el valor . Este
valor
del vector consigue que el valor
del
vector sea mínimo.
– El vector tomará el valor
β B
ε
e
ε e Y XB
β
Especificación del
modelo (IV)
Caso general
• Para minimizar los residuos de
manera global
emplearemos la siguiente expresión:
• Es decir, tenemos que encontrar
los valores de los
coeficientes del modelo que hacen
mínima la suma de
los cuadrados de los residuos.
• A este criterio se le da el nombre
de “criterio de los
minimos cuadrados”.


 Y XB'Y XB
e'e


min
min 2 min
ie

Modelo de ajuste
lineal
Caso general
• Cuando tenemos más de
dos variables
explicativas:
• Empleando matrices:
con 1 
ˆ ... 1 1 2 2
i ,...,n
y a b x b x b xi i i k ik


1 2 k Y 1 X X X k ˆ a b b ...b
12

Modelo de ajuste
lineal (II)
Caso general
• Podemos expresar el
modelo de ajuste lineal
de una forma más sencilla:
Yˆ XB Modelo de ajuste lineal

Modelo de ajuste
lineal (III)
Caso general








n
n
y
y
y
ˆ
...
ˆ
ˆ
ˆ2
1
1, Y









k
k
b
b
a
...
1
1,1
B









n n nk
k
k
nk
xxx
xxx
xxx
1 ...
... ... ... ... ...
1 ...
1 ...
12
21 22 2
11 12 1
1,
X
Modelo de ajuste
lineal (IV)
Caso general
• El valor estimado de la
variable dependiente
para un individuo será el
siguiente:
• Con:

Yˆ Xi X i 'B








ik
i
i
x
x
x
...
1
2
1
Xi
Estimación de los
parámetros
Caso general
• Recordemos:
– Queremos encontrar un vector de
valores
concretos para el vector .
– Este vector debe ser tal que minimice
globalmente los residuos.
β
B
B
min  2

mine'emin(YXB)'(Y XB)
i e
Estimación de los
parámetros (II)
Caso general
X'Y X'XB
B
22
2


i e
 2 Y'Y 2B'X'Y B'X'XB
i e
• Teniendo en cuenta que:
• Derivando respecto a B:
Estimación de los
parámetros (III)
Caso general
X'XB X'Y

B X'X1X'Y
• Igualando la derivada a cero:
• Si la matriz X ' X es no
singular:
Estimación de los
parámetros (IV)
Caso general
• ¿La solución que se ha encontrado
consigue
minimizar la SCR?
• Supongamos que es otra solución.
Entonces:
 
~e Y XB~ Y XB XBXB~ e X B
B~
e' e e XB Be XB B~ ~ ~ '

~
   
~e'~e e'e e'X B B~  B B~ 'X'e

  
 B B~ 'X'X B B~ 
~e'~e e'e 2B B~'X'e B

B~'X'XB B~
    
~e'~e e'e  B B~ 'X'X B B~ e'e

XB B~'XB B~e'e XB

B~2

~e'~e e'e
B ~
Datos centrados
Modelo de ajuste
Datos centrados
• Cuando las variables explicativas
toman sus
respectivos valores promedio el valor
estimado para
la variable dependiente es su media:
• Es decir, el hiperplano del modelo de
ajuste pasa por
la media de las variables.

Yˆ XY
kk y a b x b x ...b
x 1122
Modelo de ajuste (II)
Datos centrados
• Por lo tanto podemos escribir el
modelo de ajuste
lineal de otro modo:
• O empleando matrices:

con 1 
... 1 1 1 2 2 2
i ,...,n
y y b x x b x x b x x ei i i k ik k i


Y~ X~B e
Modelo de ajuste (III)
Datos centrados
• Con:











n n nk k
kk
kk
nk
xxxxxx
xxxxxx
xxxxxx
...
... ... ... ...
...
...
~
1122
21 1 22 2 2
11 1 12 2 1
, X








n
n
e
e
e
...
2
1
1, e 










yy
yy
yy
n
n...
~2
1
1, Y








k
k
b
b
b
...
2
1
1, B

Estimación de los
parámetros
Datos centrados
• Recordemos:
– Para encontrar el vector debemos
minimizar de
manera global los residuos.
B
min  mine'emin(Y~
i2

X~B)'(Y~ X~B) e

Estimación de los
parámetros (II)
Datos centrados
X'Y X'XB
B
2~ ~ 2~ ~
2


i e
 Y~'Y~ 2B'X~'Y~
i2

B'X~'X~B e
• Teniendo en cuenta que:
• Dervando respecto a B:
• Igualando a cero la derivada
anterior:
• Si la matriz es no singular:
Estimación de los
parámetros (III)
Datos centrados
X~'X~B X~'Y~

B X'XX'Y ~ ~
1 ~ ~ 
X~'X~
Modelo de ajuste
lineal
Datos centrados
• Si trabajamos con datos centrados:
• y:
B X~'X~
 X~'Y~ 
1

Y~ˆ X~B
Modelo de ajuste
lineal (II)
Datos centrados
• Con:











yy
yy
yy
n
n
ˆ
...
ˆ
ˆ
ˆ~ 2
1
1, Y








k
k
b
b
b
...
2
1
1, B











n n nk k
kk
kk
nk
xxxxxx
xxxxxx
xxxxxx
...
... ... ... ...
...
...
~
1122
21 1 22 2 2
11 1 12 2 1
, X
Modelo de ajuste
lineal (III)
Datos centrados
• Para obtener el término constante
utilizaremos la
siguiente expresión:
• Por lo tanto:
kk y a b x b x ...b
x 1122
k k a y b x b x ...b
x 1122
Datos centrados
• Trabajar con datos
centrados supone una
gran ventaja:
– Con datos originales, la
dimensión de es
(k+1, k+1).
– Con datos centrados, la
dimensión de es
(k,k).
• Por lo tanto, el cálculo de la
matriz inversa
es más sencillo en el caso de
la matriz .
X'X
X~'X~
X~'X~
Matriz de varianzas y
covarianzas
Matriz de varianzas y
covarianzas



















n
xx
n
xxxx
n
xxxx
n
xxxx
n
xx
n
xxxx
n
xxxx
n
xxxx
n
xx
n
i
ik k
n
i
ik k i
n
i
ik k i
n
i
i ik k
n
i
i
n
i
ii
n
i
i ik k
n
i
ii
n
i
i
1
2
1
22
1
11
1
22
1
2
22
1
2211
1
11
1
1122
1
2
11
...
... ... ... ...
...
...
XX V

Matriz de varianzas y
covarianzas











kkk
k
k
Cov Cov Var
Cov Var Cov
Var Cov Cov
X ,X X ,X X
X ,X X X ,X
X X ,X X ,X
V
1 1 1
XX
...
... ... ... ...
...
...
12
2122
2

Matriz de varianzas y
covarianzas

























n
i
ik k
n
i
ik k i
n
i
ik k i
n
i
i ik k
n
i
i
n
i
ii
n
i
i ik k
n
i
ii
n
i
i
xxxxxxxxxx
xxxxxxxxxx
xxxxxxxxxx
1
2
1
22
1
11
1
22
1
2
22
1
2211
1
11
1
1122
1
2
11
...
... ... ... ...
...
...
X~'X~

XX X~'X~ nV
Modelo de ajuste
lineal
Matriz de varianzas y covarianzas

 XX XY XX XY B X~'X~ 1X~'Y~ V

1 V V 1 V n n 

XX XY B V 1 V
Modelo de ajuste
Datos centrados



YX1 Y Y
1 X X'X X' 1
Y X 1 XB 1 X X'X X'Y
1
1





ˆ1'
Por lo tanto
''
Pero, como se puede demostrar
ˆ1'1'
n
nn