Você está na página 1de 19

Mı́nimos quadrados

š ordinario - MQO
Econometria I

Dr. Andrea Ugolini

27 de Agosto de 2019

Universidade do Estado do Rio de Janeiro, Brasil

email: andreaugolini@me.com

A. Ugolini 27 de Agosto de 2019 1 / 19


Outline

1 Regressão por mı́nimos quadrado ordinários

2 Álgebra de mı́nimos quadrado

3 Resultados algébricos

A. Ugolini 27 de Agosto de 2019 2 / 19


Regressão por mı́nimos quadrado ordinários

Regressão por mı́nimos quadrado ordinários

O método mais comum para estimar o modelo de regressão linear é de


mı́nimo quadrado.

Os parâmetros desconhecidos da relação estocástica yi = x0i β + i são o


objetivo da estimação.

É necessário distinguir entre valores populacionais, tais como β e i , e a


estimativa que é feita deles na amostra, tais como b e ei .

A Função de Regressão Populacional - FRP - é E[yi |xi ] = x0i β

A Função de Regressão Amostral - FRA - (estimativa) é E[yi |xi ] é ŷi = x0i b

A. Ugolini 27 de Agosto de 2019 3 / 19


Regressão por mı́nimos quadrado ordinários

Regressão por mı́nimos quadrado ordinários

A Função de Regressão Populacional - FRP - é E[yi |xi ] = x0i β

A Função de Regressão Amostral - FRA - (estimativa) é E[yi |xi ] é ŷi = x0i b

Então podemos dizer que a perturbação associada com o i-ésimo dados é:

i = yi − x0i β

Conseguintemente, para qualquer valor de b, temos que estimar i com o


resı́duo
ei = yi − x0i b

Então por definição


yi = x0i β + i = x0i b + ei

A. Ugolini 27 de Agosto de 2019 4 / 19


Regressão por mı́nimos quadrado ordinários

Regressão por mı́nimos quadrado ordinários

A estimativa de mı́nimos quadrados ordinários “escolhe”os coeficientes de


regressão para que a linha de regressão estimada seja a mais próxima possı́vel
dos dados observados, onde a proximidade é medida pela soma dos
quadrados dos erros cometidos na predição de y dado x.

Figura 1: Linha de regressão para uma amostra e para a população


CHAPTER 3 ✦ Least Squares 27

y " ! #x

a ! bx

E(y|x) " " ! #x

ŷ " a ! bx

FIGURE 3.1 Population and Sample Regression.

A. Ugolini 27 de Agosto de 2019 5 / 19


Regressão por mı́nimos quadrado ordinários

Critérios de ajuste

A medida de proximidade constitui um critério de ajuste


Existem numeras sugestões de critérios de ajuste:
Pn
Soma dos resı́duos: P i=1 ei
n 2
Soma dos quadrados: i=1 ei Pn
Pn i=1 |ei |
Soma dos valores absolutos dos resı́duos:
Valor absoluto da somaPdos resı́duos: | Pi=1 ei |
n n
Nos concentramos em i=1 e2i agora e i=1 |ei | mais tarde

A. Ugolini 27 de Agosto de 2019 6 / 19


Álgebra de mı́nimos quadrado

Álgebra de mı́nimos quadrado


n
X n
X
e2i = (yi − x0i b)2 = S(b) = e0 e = (y − Xb)0 (y − Xb) =
i=1 i=1

S(b) = e0 e = y 0 y − b0 X 0 y − y 0 Xb + b0 X 0 Xb
S(b) = y 0 y − 2b0 X 0 y + b0 X 0 Xb
onde este desenvolvimento usa o fato de que a transposição de um escalar é o escalar, ou
seja, y 0 Xb = (y 0 Xb) = b0 X 0 y
Em termino matricial, minimizar a soma dos quadrados exige que escolhamos b para
n
X
min e2i
b
i=1

Para encontrar o b que minimiza a soma dos resı́duos quadrados, precisamos tomar
a derivada em relação a b:
∂e0 e
= −2X 0 y + 2X 0 Xb = 0
∂b
∂b0 X 0 Xb ∂b0 Ab
Nota: ∂b
= ∂b
= 2Ab = 2X 0 Xb onde A é uma K × K matriz simétrica.
A. Ugolini 27 de Agosto de 2019 7 / 19
Álgebra de mı́nimos quadrado

Álgebra de mı́nimos quadrado

A partir da equação anterior obtemos o que chamamos de equações


normais.
(X 0 X)b = X 0 y
Se a inversa de (X 0 X) existir (ou seja, (X 0 X)−1 ), então a pré-multiplicação
de ambos os lados por essa inversa nos dá a seguinte equação:

(X 0 X)−1 (X 0 X)b = (X 0 X)−1 X 0 y

Sabemos que por definição, (X 0 X)−1 (X 0 X) = I. Isso nos dá:

b = (X 0 X)−1 X 0 y

Para verificar que isso é um mı́nimo, nós terı́amos que fazer a derivada disso
com relação a b novamente - isso nos dá 2X 0 X
É fácil ver que, desde que X tenha posto cheio, essa é uma matriz definida
positiva (análogo a um número real positivo) e, portanto, a solução b de
mı́nimos quadrados minimiza a suma dos quadrados de los resı́duos.
A. Ugolini 27 de Agosto de 2019 8 / 19
Álgebra de mı́nimos quadrado

Álgebra de mı́nimos quadrado

Assumindo que exista:


b = (X 0 X)−1 X 0 y
Notamos a analogia:
−1
β = (V ar(x)) (Cov(x, y))

 −1   n
!−1 n
!
1 0 1 0 1X 1X
b= XX Xy = xi x0i xi yi
n n n i=1 n i=1
sugere algo desejável sobre o mı́nimo quadrado.

A. Ugolini 27 de Agosto de 2019 9 / 19


Álgebra de mı́nimos quadrado

Condição de segunda ordem

Verificamos:
Condição Necessária: primeira derivada = 0

∂(y − Xb)0 (y − Xb)


= −2X 0 (y − Xb) = −2X 0 y + 2X 0 Xb
∂b
Condição suficiente: segunda derivada (è b um mı́nimo?)
0
∂(y − Xb)0 (y − Xb) ∂ (y−Xb)∂b(y−Xb)
=
∂b∂b0 ∂b0
∂ − 2X 0 (y − Xb) ∂ − 2X 0 ∂ − 2X 0 (−Xb) ∂2X 0 Xb
= = + = 0 +
∂b0 ∂b0 ∂b0 ∂b0
∂K × 1 vetor columna
= = K × K matriz
∂1 × K vetor linha
= 2X 0 X

A. Ugolini 27 de Agosto de 2019 10 / 19


Álgebra de mı́nimos quadrado

 Pn 2
Pn Pn 
Pn i=1 xi1 Pi=1 xi1 xi2 . . . Pi=1 xi1 xiK
 n 2 n 
X 0X =  i=1 xi2 xi1 i=1 xi2 ... i=1 xi2 xiK 
 
Pn . . . Pn . . . ... Pn. . . 2
i=1 xiK xi1 i=1 xiK xi2 . . . i=1 xiK
 2

xi1 xi1 xi2 . . . xi1 xiK
Xn
 xi2 xi1 x2i2 . . . xi2 xiK 
=  
 ... ... ... ... 
i=1
xiK xi1 xiK xi2 . . . x2iK
 
xi1
Xn
 xi2   
 
=  . . .  xi1 xi2 ... xiK
i=1
xiK

A. Ugolini 27 de Agosto de 2019 11 / 19


Álgebra de mı́nimos quadrado

Condição de segunda ordem

 Pn 2
Pn Pn 
Pn i=1 xi1 Pi=1 xi1 xi2 . . . Pi=1 xi1 xiK
2 0
∂ ee  n 2 n 
= 2X 0 X = 2  i=1 xi2 xi1 i=1 xi2 ... i=1 xi2 xiK 
∂b∂b0  
Pn . . . Pn . . . ... Pn. . . 2
i=1 xiK xi1 i=1 xiK xi2 ... i=1 xiK

Se houvesse
Pnum único b, exigirı́amos que isso fosse positivo, o que seria:
2x0 x = 2 i=1 x2 > 0.
A contraparte da matriz de um número positivo é uma matriz positiva.

A. Ugolini 27 de Agosto de 2019 12 / 19


Álgebra de mı́nimos quadrado

Uma matriz definida positiva

Uma matriz C é definida positiva se a’Ca é > 0 para cada a

Geralmente difı́cil de verificar. Requer uma olhada na raiz caracterı́stica (mais


tarde no curso).

Para algumas matrizes, é fácil verificar. X’X é uma desses.


K
X
a0 X 0 Xa = (a0 X 0 )(Xa) = (Xa)0 (Xa) = v 0 v = vk2 > 0
k=1

Pode v = 0? v = 0 significa Xa = 0. Isso é possı́vel? Não


Conclusão b = (X 0 X)−1 X 0 y de fato minimiza e0 e.

A. Ugolini 27 de Agosto de 2019 13 / 19


Resultados algébricos

Resultados algébricos - 1

Na população: E[X0 ] = 0
Pn
Na amostra : n1 i=1 xi ei = 0

X0 e = 0 significa, para cada coluna de X, x0 e = 0


1. Cada columna X é orthogonal a e .
2. Uma das columna de X é uma columna de unos.
n
X
i0 e = x i ei = 0
i=1

1
Pn
3. Segue que n i=1 xi ei = 0 que imita E[i ] = 0

A. Ugolini 27 de Agosto de 2019 14 / 19


Resultados algébricos

Residuos vs. Perturbações

Perturbações (População) yi − xi 0 β = i
Particionamento y : y = E[y|X] +  = média condicional + Perturbação

Perturbações (amostra) yi − xi 0 b = ei
Particionamento y : y = Xb + e = projeção + residuo

Nota: Projeção no espaço da coluna de X , isto é, o conjunto de


combinações lineares das colunas de X. (Xb é um desses.)

A. Ugolini 27 de Agosto de 2019 15 / 19


Resultados algébricos

Resultados algébricos - 2 - Projeção

O vetor dos resı́duos dos mı́nimos quadrados é e = y − Xb onde


b = (X 0 X)−1 X 0 y

e = y − X(X0 X)−1 X0 y = (I − X(X0 X)−1 X0 )y = My

My = resı́duos que resultam quando y é regredido em X

MX = 0 (Este resultado é fundamental!) Como interpretamos esse resultado


em termos de resı́duos? Quando uma coluna de X é regredido em todos X,
temos um ajuste perfeito e zero residual.
(Assim sendo) My = MXb + Me = Me = e

y = Py + My, P = X(X0 X)−1 X0 = (I − M )


PM=MP=0

Py é a projeção de y no espaço da coluna de X.

A. Ugolini 27 de Agosto de 2019 16 / 19


Resultados algébricos

Resultados algébricos - 2 - Projeção

Os mı́nimos quadrados resultam na partição y em duas partes, os valores


ajustados ŷ = Xb e os resı́duos e

Since MX = 0, estas duas partes são ortogonais. Agora, dado


ŷ = y − e = (I − M)y = X(X0 X)−1 X0 y = Py

A. Ugolini 27 de Agosto de 2019 17 / 19


Resultados algébricos

Resultados algébricos - 2 - Projeção


O resultado é ilustrado na figura para o caso de duas variáveis. O plano cinza
sombreado é o espaço da coluna de X. A projeção e o residuo são ortogonais
(as setas pontilhadas). Também podemos ver trabalhar o teorema de
32 PART I nas
Pitágoras ✦ The Linear
somas deRegression
quadrados.Model
y

x1

x2

FIGURE 3.2 Projection of y into the Column Space of X.


A. Ugolini 27 de Agosto de 2019 18 / 19
Resultados algébricos

A matriz M

M = (I − X(X0 X)−1 X0 ) é uma matriz n × n

M é simétrica: M = M0

M é idempotente: M ∗ M = M

M é singular: M−1 não existe. (Vamos provar isso mais tarde como um
resultado colateral em outra derivação.)

A. Ugolini 27 de Agosto de 2019 19 / 19

Você também pode gostar