Minimo Cuadarro

BANCO CENTRAL DE RESERVA DEL PER
CURSO DE ACTUALIZACIN
ECONOMETRA
ESTIMACIN POR MNIMOS

CUADRADOS ORDINARIOS (MCO)
Econometra
Agosto 2013
1
ESQUEMA
1. Metodologa de Estimacin MCO: MRLC2.
2. Metodologa de Estimacin MCO: MRLCK.
3. Caractersticas Muestrales de los estimadores MCO.
4. Estimacin MCO como Proyeccin.
5. Aplicaciones
2
1. METODOLOGA DE ESTIMACIN MCO: MRLC2
Dados el modelo de regresin poblacional y el estimado:
Yi 1 2 X i ui Yi 1 2 X i b1 b2 X i
se definen los residuos de cualquier lnea ajustada como:
ei Yi Yi Yi (b1 b2 X i )
Cada valor observado de la variable endgena puede expresarse

como:
Yi Yi ei
Yi b1 b2 X i ei
3
Y P4
P1
P3
P2
X1 X2 X3 X4 X
En la prctica slo observamos los puntos P.
4
Y P4
Y b1 b2 X
P1
P3
P2
b1
X1 X2 X3 X4 X
Podemos usar los puntos P para dibujar una lnea recta que sea una
aproximacin de Y = 1 + 2X. Esta lnea estimada ser Y = b1 + b2X, donde b1
es un estimador de 1 y b2 es un estimador de 2.
5
Y P4
Y b1 b2 X
R3 R4
R2
P1
R1 P3
P2
b1
X1 X2 X3 X4 X
La linea se llama modelo ajustado y los valores de Y estimados se llaman

valores ajustados de Y. Se representan por la altura de los puntos R.
6
Y P4
e4 Y b1 b2 X
R3 R4
R2
e1 P1 e3
e2
R1 P3
P2
b1
X1 X2 X3 X4 X
La discrepancia entre el valor observado y el valor ajustado de Y se conoce

como residuo.
7
Y P4
Y b1 b2 X
R3 R4 Y 1 2 X
R2
P1
1 R1 P3
P2
b1
X1 X2 X3 X4 X
Importante: Note que el residuo no es igual al trmino de perturbacin.
8
Y P4
Y b1 b2 X
Y 1 2 X
P1 Q4
Q3
Q2
1 Q1 P3
P2
b1
X1 X2 X3 X4 X
El trmino de perturbacin en cada observacin es el responsable de la

divergencia entre el valor observado y el componente no aleatorio de la
verdadera relacin.
9
Y P4
Y b1 b2 X
R3 R4 Y 1 2 X
R2
P1
1 R1 P3
P2
b1
X1 X2 X3 X4 X
El residuo es la discrepancia entre el valor observado y el valor ajustado de

la variable endgena.
10
Y P4
Y b1 b2 X
R3 R4 Y 1 2 X
R2
P1
1 R1 P3
P2
b1
X1 X2 X3 X4 X
Si la regresin es buena, los residuos y los valores del trmino de

perturbacin sern similares (ver primera y segunda obs.), pero son
conceptualmente distintos.
11
Y P4
u4 Y b1 b2 X
Y 1 2 X
Q4
E(Y4 / X 4 ) 1 2 X 4
1
b1
X1 X2 X3 X4 X
Las dos rectas sern analizadas en el curso. Cada una permite la

descomposicin del valor de Y. Esta descomposicin se ilustrar con la
cuarta observacin.
12
Y P4
u4 Y b1 b2 X
Y 1 2 X
Q4
1 Y4 1 2 X 4
b1
X1 X2 X3 X4 X
Usando la relacin terica, Y puede descomponerse en un componente no

estocstico y un componente aleatorio.
13
Y P4
u4 Y b1 b2 X
Y 1 2 X
Q4
1 Y4 1 2 X 4
b1
X1 X2 X3 X4 X
Es una descomposicin terica porque desconocemos los valores de 1, 2

o los valores del trmino de perturbacin.
14
Y P4
e4 Y b1 b2 X
R4 Y 1 2 X
Y4 b1 b2 X 4
1
b1 Y valor ajustado
Y valor observado
X1 X2 X3 X4 X
La otra descomposicin es en referencia a la lnea ajustada. En cada

observacin, el valor observado de Y es igual al valor ajustado de Y ms el
residuo. Esta es una descomposicin operativa que se utilizar para usos
prcticos.
15
El Principio de Mnimos Cuadrados consiste en:

n
Min SCR ei2 e12 ... en2
b1 ,b2
i 1
Condiciones de Primer Orden.

n
e
n
ei2
2
i
i 1
0 i 1
0
b1 b2
Ecuaciones Normales:
n n
e
i 1
i 0 xe
i 1
i i 0
16
- Primera condicin de primer orden:
SCR
0 2 Yi b1 b2 X i 0
b1
X X i
Y b n b X
n
i 1 2 i 0
X i nX
b1 Y b2 X
- Segunda condicin de primer orden:
SCR
0 2 Yi b1 b2 X i X i 0
b2
17
SCR
0 2 Yi b1 b2 X i X i 0
b2
((Y b b X ) X ) 0
i 1 2 i i
Y X b X b X 0
i i 1 i 2 i
2
Y X Y b X X b X 0
i i 2 i 2 i
2
Y X Y X b X X b X 0
i i i 2 i 2 i
2
Y X nYX b nX b X 0
i i 2
2
2 i
2
Y X nY X X X Y Y
b i
i i i
2
X nX i X X
2 2
i
2
18
Demostracin de Resultados Importantes:
X i X Yi Y X iYi X iY XYi XY
X iYi Y X i X Yi nXY
X iYi Y nX X nY nXY
X iYi nXY
Anlogamente:

iX X 2

iX 2
2 XX i X 2
i
X 2
2 nX 2
nX 2
X i2 nX 2
19
Estimador MCO de beta1 b1 Y b2 X
Estimador MCO de beta2:

X i X Yi Y
n
Y Y
n
2
i
b2 i 1
b2 rYX i 1
SC 3 : X i X 0
n
X i X
n
X i X
2 n
2 2
i 1
i 1 i 1
Estos estimadores replican los poblacionales (normalidad):
Poblacional Poblacional Muestral Muestral

s
Y1 YX/ X m Y r sY m X
a Y / X m Y r Y m Xa ba1 YY Xb2 X a Y X
sX sX
s
Y / X r Y 2YYX/ X r sY bY / X r
SE (Y )
Y / X r
SE (Y )
sX sX 2 SE ( X ) SE ( X )
20
Estimador de la varianza del trmino de perturbacin.
No se puede estimar a partir de una muestra de valores de u,
pues depende de los parmetros poblacionales no observados
beta1 y beta2.
Puede obtenerse un estimado a partir de los errores de
estimacin. El estimador es:
1 n 2
s 2
MCO s
2

n 2 i 1
ei
21
2. METODOLOGA DE ESTIMACIN MCO: MRLCK
El modelo de regresin poblacional de k variables, para una
observacin o perodo de tiempo, se denota por:
Yi 1 2 xi 2 3 xi 3 k xik ui
1
y X u

k
y el modelo de regresin estimado:
Yi b1 b2 xi 2 b3 xi 3 bk xik
Yi 1 2 xi 2 3 xi 3 k xik
22
Matricialmente, para las n observaciones:
y X u Y1 X 11 X 12 X 1k 1 u1
Y X X 22 X 2 k u

2
21 2
2

n ( n1) X n1
Y X n2 X nk ( nk ) k ( k 1) u n ( n1)
Entonces, dado y Xb , se tiene:
y y e Xb e
23
Suma de los cuadrados de los residuos o errores de estimacin:

n
SCR(b) ei2 e' e y y ' y y
i 1
SCR( b ) y' y 2b' X ' y b' X ' Xb

SCR( b ) y' y 2 y' Xb b' X ' Xb
De acuerdo al Principio de Mnimos Cuadrados Ordinarios, se
minimiza SCR, lo cual implica que se cumpla las C.P.O. y C.S.O:
24
Reglas de derivacin de matrices

SCR a ' x Ax
0 ( X ' X )b X ' y a; A' ;
b x x
x' Ax
2 x' A' 2 Ax, A : matriz simtrica
x
2 SCR x' Ax
2X ' X positivo definida x' x, x' x : matriz cuadrada
bb' A
Las Ecuaciones Normales se obtienen a partir de las
Condiciones de Primer Orden (C.P.O.):
( X ' X )b X ' y X' e 0
25
En el modelo de regresin lineal clsico de k variables se

obtiene k ecuaciones normales: una para cada parmetro
especificado en la ecuacin de regresin.
A partir de la CPO se obtiene el vector de estimadores de

MCO del MRLCK:
b MCO X' X X' y

1
Supuesto de rango completo por columnas es importante!

Para derivar el estimador MCO slo se necesita que XX
tenga inversa y ello se cumple slo si se cumple el SC 3.
26
Estimador de la Varianza s2.
Es razonable obtener el estimador a partir de la suma de
cuadrados de los residuos:
e y Xb
e y X(X' X) 1 X' y
e (I n X(X' X) 1 X' ) y
e My
Donde M es una matriz simtrica e idempotente; adems:

M' M; M M2 Me e
MX 0
27
Con estas propiedades, se tiene que:
e My M ( X u) MX Mu
e Mu
Elevando al cuadrado los residuos:
e'e (Mu)' Mu u' M'Mu

e'e u' Mu
Aplicando la esperanza matemtica a esta expresin y
aprovechando las propiedades de la traza obtenemos:
28
29
E (e' e ) su2 (n k )
e' e
E su
2
nk
As, el estimador de la varianza del trmino de perturbacin,
y de la regresin, es:
e' e
s s u2
2
nk
El error estndar de la estimacin o error estndar de la
regresin, s, es la desviacin estndar de los valores de Y
alrededor del plano de regresin.

30
3. CARACTERSTICAS MUESTRALES DE MCO
Caractersticas asociadas a las EN en un modelo bivariado:
La lnea de regresin estimada pasa por los valores medios
muestrales de las variables. Y b1 b2 X

El promedio observado es igual al promedio estimado: Y Y
Los residuos de MCO tienen correlacin cero con la variable
independiente (en la muestra). Corr( X , e ) 0
No existe correlacin muestral entre los valores estimados de
la variable endgena y los residuos. Corr( y ,e ) 0
31
3. CARACTERSTICAS MUESTRALES DE MCO
Para el modelo de regresin clsico de k variables:
La ecuacin de regresin o hiperplano de regresin pasa por
los puntos medios del espacio k dimensional.
Y b1 b2 X 2 b3 X 3 b3 X k y Xb
El promedio observado es igual al promedio estimado: i ' y i ' y
La correlacin muestral de los regresores con los residuos es
cero. X' e 0
Los valores estimados de la variable dependiente no estn
correlacionados con los residuos. y' e 0
32
4. ESTIMACIN MCO COMO PROYECCIN
M es la Matriz Generadora de Residuos: My e
M (nxn), simtrica, idempotente, dim(M)=tr(M).

M es la Matriz Aniquiladora: la proyeccin de X sobre X
es perfecta y el residuo es cero. MX 0
P es la Matriz de Proyeccin sobre el espacio columna X
y Xb Py
P (nxn), simtrica, idempotente, dim(P)=tr(P).

La proyeccin de X sobre X es igual a X: PX X
33
Adems, PM = MP = 0.
Entonces, la estimacin por MCO particiona y en dos
componentes ortogonales:
y y e
y Py My
Teorema de Pitgoras: Suma de Cuadrados
y' y y ' y e' e
34
Geometra de MCO:
35
Geometra de MCO:
X1
36
Geometra de MCO:
X2
X1
37
Geometra de MCO:
X2
X1
38
Geometra de MCO:
X2
Xb
X1
39
Geometra de MCO:
X2
Xb
X1
40
Geometra de MCO: y*
X2
Xb
X1
41
Geometra de MCO: y*
X2
Xb
Xb*
X1
42
A travs del uso de matrices : caso de dos variables
1000
950
Se obtiene una
lnea de regresin
900
log (Circulante)
850 Estimado
Observado
800
750
460 470 480 490 500 510 520 530 540
log (PBI)
43
A travs del uso de matrices : caso de tres variables
Observado
Se obtiene un plano
Estimado de regresin
1000
950
900
log (Circulante)
850
800
750
540
530
520 130
510 125
120
500 115
490 110
105
480 100
470 95
90
460 85
log (PBI)
log (Tipo de cambio) 44
5. APLICACIN: Estimacin del salario por hora
EARNINGS vs. S
200
Earnings: salario por hora
S: aos de educacin
160
Mayores observaciones
para eduacin bsica y
EARNINGS
120 secundaria. Pocas

observaciones para
80 mayores aos de estudio
en la muestra analizada.
40
0
6 8 10 12 14 16 18 20 22
S
1
Dependent Variable: EARNINGS
Method: Least Squares
Date: 07/31/11 Time: 22:59
Sample: 1 540
Included observations: 540
Variable Coefficient Std. Error t-Statistic Prob.
C -19.79196 3.585928 -5.519341 0.0000

S 2.870943 0.255034 11.25710 0.0000
R-squared 0.190639 Mean dependent var 19.93339
Adjusted R-squared 0.189135 S.D. dependent var 16.43569

S.E. of regression 14.80002 Akaike info criterion 8.230831
Sum squared resid 117843.8 Schwarz criterion 8.246725
Log likelihood -2220.324 F-statistic 126.7222
Durbin-Watson stat 1.885753 Prob(F-statistic) 0.000000

Dependent Variable: EARNINGS
EARNINGS 19.79 2.87S

Method: Least Squares
Date: 07/31/11 Time: 22:59
Sample: 1 540
Included observations: 540
Variable Coefficient Std. Error t-Statistic Prob.
C -19.79196 3.585928 -5.519341 0.0000

S 2.870943 0.255034 11.25710 0.0000
R-squared 0.190639 Mean dependent var 19.93339
Adjusted R-squared 0.189135 S.D. dependent var 16.43569

S.E. of regression 14.80002 Akaike info criterion 8.230831
Sum squared resid 117843.8 Schwarz criterion 8.246725
Log likelihood -2220.324 F-statistic 126.7222
Durbin-Watson stat 1.885753 Prob(F-statistic) 0.000000
47

Minimo Cuadarro

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Minimo Cuadarro

Enviado por

Direitos autorais:

Formatos disponíveis

BANCO CENTRAL DE RESERVA DEL PER

ESTIMACIN POR MNIMOS

1. Metodologa de Estimacin MCO: MRLC2.

2. Metodologa de Estimacin MCO: MRLCK.

3. Caractersticas Muestrales de los estimadores MCO.

4. Estimacin MCO como Proyeccin.

Dados el modelo de regresin poblacional y el estimado:

se definen los residuos de cualquier lnea ajustada como:

Cada valor observado de la variable endgena puede expresarse

En la prctica slo observamos los puntos P.

La linea se llama modelo ajustado y los valores de Y estimados se llaman

La discrepancia entre el valor observado y el valor ajustado de Y se conoce

Importante: Note que el residuo no es igual al trmino de perturbacin.

El trmino de perturbacin en cada observacin es el responsable de la

El residuo es la discrepancia entre el valor observado y el valor ajustado de

Si la regresin es buena, los residuos y los valores del trmino de

Las dos rectas sern analizadas en el curso. Cada una permite la

Usando la relacin terica, Y puede descomponerse en un componente no

Es una descomposicin terica porque desconocemos los valores de 1, 2

La otra descomposicin es en referencia a la lnea ajustada. En cada

El Principio de Mnimos Cuadrados consiste en:

Condiciones de Primer Orden.

- Primera condicin de primer orden:

Demostracin de Resultados Importantes:

Estimador MCO de beta1 b1 Y b2 X

Estimador MCO de beta2:

Estos estimadores replican los poblacionales (normalidad):

Poblacional Poblacional Muestral Muestral

Estimador de la varianza del trmino de perturbacin.

No se puede estimar a partir de una muestra de valores de u,

pues depende de los parmetros poblacionales no observados

Puede obtenerse un estimado a partir de los errores de

estimacin. El estimador es:

El modelo de regresin poblacional de k variables, para una

observacin o perodo de tiempo, se denota por:

Matricialmente, para las n observaciones:

Entonces, dado y Xb , se tiene:

Suma de los cuadrados de los residuos o errores de estimacin:

SCR( b ) y' y 2b' X ' y b' X ' Xb

De acuerdo al Principio de Mnimos Cuadrados Ordinarios, se

minimiza SCR, lo cual implica que se cumpla las C.P.O. y C.S.O:

Reglas de derivacin de matrices

Las Ecuaciones Normales se obtienen a partir de las

Condiciones de Primer Orden (C.P.O.):

( X ' X )b X ' y X' e 0

En el modelo de regresin lineal clsico de k variables se

A partir de la CPO se obtiene el vector de estimadores de

b MCO X' X X' y

Supuesto de rango completo por columnas es importante!

Es razonable obtener el estimador a partir de la suma de

cuadrados de los residuos:

Donde M es una matriz simtrica e idempotente; adems:

e'e (Mu)' Mu u' M'Mu

aprovechando las propiedades de la traza obtenemos:

regresin, s, es la desviacin estndar de los valores de Y

alrededor del plano de regresin.

Caractersticas asociadas a las EN en un modelo bivariado:

La lnea de regresin estimada pasa por los valores medios

muestrales de las variables. Y b1 b2 X

Los residuos de MCO tienen correlacin cero con la variable

independiente (en la muestra). Corr( X , e ) 0

No existe correlacin muestral entre los valores estimados de

la variable endgena y los residuos. Corr( y ,e ) 0