Quadrados Mnimos Generalizados

Reginaldo J. Santos
Departamento de Matematica-ICEx
Universidade Federal de Minas Gerais
http://www.mat.ufmg.br/~regi
16 de abril de 2012

Proposicao 1. Seja A uma matriz simetrica. Se L e M sao matrizes triangulares inferiores

com 1s na diagonal e D uma matriz diagonal invertvel tais que A = LDM t , ent
ao
M = L.
Demonstracao. Vamos mostrar que M 1 L = I. Seja B = M 1 AM t . Entao B t = B
e B = M 1 LD. Como M 1 e L sao triangulares inferiores, entao B e diagonal. Como
D e invertvel, entao M 1 L tambem e diagonal e como L e M sao matrizes triangulares
inferiores com 1s na diagonal, entao M 1 L = I.
A decomposicao A = LDLt , em que L e uma matriz triangular inferior com 1s na
diagonal e D uma matriz diagonal, e chamada decomposicao de Cholesky de A.
Uma matriz A simetrica e chamada positiva definida se X t AX > 0, para todo X 6= 0.
Proposicao 2. Se A = LDLt e a decomposicao de Cholesky de uma matriz A positiva
definida, entao os elementos da diagonal de D sao maiores que zero.
Demonstracao. Se A e positiva definida, entao X t AX > 0, para todo X 6= 0. Substituindo Seja Y = Lt X.
se A = LDLt em X t AX obtemos que X t LDLt X > 0 , para todo X 6= 0.
Entao Y t DY > 0, para todo Y 6= 0. Em particular para Y = Ei = [0 0 1 0 0]t
temos que dii = Eit DEi > 0.
1

Proposicao 3. Se e simetrica e e positiva definida e L e tal que L = DU , com U

triangular superior com 1s na diagonal e D uma matriz diagonal, entao = L1 DLt e
a sua decomposicao de Cholesky e P = D1/2 L e triangular inferior, invertvel e tal que
1 = P t P.
Demonstracao. Multiplicando-se `a esquerda L = DU por L1 obtemos
= L1 DU.
Pela proposicao anterior U = Lt e portanto = L1 DLt . Logo
P t P = Lt D1/2 D1/2 L = Lt D1 L = 1 .

Vamos supor que um vetor de variaveis aleatorias Y = [y1 , . . . , ym ]t seja tal que a sua
esperanca seja uma combinacao linear de outros vetores, ou

x11
E(y1 )
x21
E(y2 )

= E(Y ) = b1 X1 + . . . + bn Xn = b1 ..
..
.

.
xm1
E(ym )

seja, que

+ . . . + bn

x1n
x2n
..
.

(1)

xmn

A equacao (1) pode ainda ser escrita de duas outras formas:

E(yi ) = b1 xi1 + . . . + bn xin ,

para i = 1, . . . , m

ou simplesmente
E(Y ) = XB,

(2)

onde

X=

x11
x21
..
.

x12
x22

...
...

...
xm1 xm2 . . .

Quadrados Mnimos Generalizados

x1n
x2n
..
.
xmn

e B=

b1
b2
..
.

bn
16 de abril de 2012

O problema aqui e determinar os parametros bi a partir de observacoes yi , para i =

1, . . . , m. Para cada i, a diferenca yi E(yi ) e o desvio do valor observado yi em relacao
ao valor esperado E(yi ) e e escrito como
i = yi E(yi ),

para i = 1, . . . , m

(3)

Assim, em termos das observacoes e dos erros, o nosso modelo pode ser escrito como
yi = b1 xi1 + . . . + bn xin + i ,

para i = 1, . . . , m

ou de forma mais compacta, simplesmente

Y = XB + ,

(4)

onde

Y =

y1
y2
..
.

X=

ym

x11
x21
..
.

x12
x22

...
...

xm1 xm2

...
...

x1n
x2n
..
.

B=

xmn

b1
b2
..
.

e =

bn

1
2
..
.

A equacao (4) e chamada de equac

ao do modelo. Ela e a base para estimar B a partir
dos dados obtidos armazenados em X e Y .
Os erros i por definicao, tem media zero, pois de (3) temos que
E() = E(Y E(Y )) = E(Y ) E(Y ) = 0.
Vamos assumir tambem que os erros i tem matriz variancia e covariancia . Portanto,
= Var() = E[( E())( E())t ] = E(t ).

(5)

Como e simetrica e invertvel pela proposicao anterior existe uma matriz P triangular
inferior e invertvel tal que
1 = P t P.
Multiplicando-se a equacao (4) `a esquerda por P obtemos
P Y = P XB + P
16 de abril de 2012

(6)
Reginaldo J. Santos

4
Vamos fazer as mudancas de variaveis X = P X, Y = P Y e = P . Entao a equacao
(6) se transforma em
Y = X B + .

(7)

Assim
E( ) = P E() = 0
e
Var( ) = P Var()P t = P P t = P (P t P )1 P t = P P 1 P t P t = I.
Logo o problema dado pela equacao (7) pode ser resolvido usando o Teorema de GaussMarkov por
= (X t X )1 X t Y = (X t P t P X)1 X t P t P Y = (X t 1 X)1 X t 1 Y.
B
Proposicao 4. Se

1
=
1 2

entao

1
..
.

n1 n2

2
..
.

..
.

p
1 2 0

..
.
1

P =
.
.. ..

..
.
.
0

n1
n2

n3

..
.
1

0
..
.

0
1

e tal que 1 = P t P .
Demonstracao. As matrizes elementares

1
0
.
.
.
Ei1 = i1

.
..
0
Quadrados Mnimos Generalizados

0
1

0
..

.
0
0

0
0
..

0
. . . ..
.
0 1
16 de abril de 2012

sao tais que

E21 En1

..
.

...

= i1
0

.
..
n1 0

E21 En1 =

0
1

1
12

12

2
12

0
0
..
.

..
.

1 + 2
..
.

n2

n1
12
n2

0
0
..

0
. . ..
. .
0 1

n3 (1 + 2 )
..
.

1 + 2 + + 2(n2)

As matrizes elementares

1
0

0
1
0
.
..
.
.
.
Ei2 =
i2
1
0
.
..
0
0

0
0
..

0
. . . ..
.
0 1

sao tais que

1
0

1
0

.
.
.
..
.
=
0 i2 1
.
..
0 n2

E32 En2 E21 En1

E32 En2 E21 En1 =

16 de abril de 2012

1
12

12

2
12

0
0
..
.

1
0
..
.

1
..
.

n3

0
0
..

0
. . ..
. .
0 1
n1
12
n2

n3
..
.

1 + 2 + + 2(n3)
Reginaldo J. Santos

Continuando com as colunas 3, 4, . . . , n obtemos que

1
0 0
. . . ..

.
1
L= . .
.
.
..
. . 0
..
0 1

L =

1
12

12

2
12

0
0
..
.

1
0
..
.

1
..
.

n1
12
n2

n3
=

..

.
1

1
12

0
0
..
.

0
1
0
..
.

0
0
1
..
.

0 1

0
0

0
0

.
..
. ..
1

1
..
.

0 0

1
0
..
.

n1
n2

n3
.
..
.
1

Entao, pela Proposicao anterior

1
12

P =

0
0
..
.

0
1
0
..
.

0
0
1
..
.

1
p

0 2
2
1

0
0

. . ..
. .

0 L =

.
.
.

. . 0
..
..
..
.
0
1
1

e tal que 1 = P t P .

Quadrados Mnimos Generalizados

16 de abril de 2012