Quadrados Mnimos Generalizados

Reginaldo J. Santos
Departamento de Matematica-ICEx
Universidade Federal de Minas Gerais
http://www.mat.ufmg.br/~regi
16 de abril de 2012

Proposicao 1. Seja A uma matriz simetrica. Se L e M sao matrizes triangulares inferiores

com 1s na diagonal e D uma matriz diagonal invertvel tais que A = LDM t , ent
ao
M = L.

Demonstracao. Vamos mostrar que M 1 L = I. Seja B = M 1 AM t . Entao B t = B

e B = M 1 LD. Como M 1 e L sao triangulares inferiores, entao B e diagonal. Como
D e invertvel, entao M 1 L tambem e diagonal e como L e M sao matrizes triangulares
inferiores com 1s na diagonal, entao M 1 L = I.

A decomposicao A = LDLt , em que L e uma matriz triangular inferior com 1s na

diagonal e D uma matriz diagonal, e chamada decomposicao de Cholesky de A.
Uma matriz A simetrica e chamada positiva definida se X t AX > 0, para todo X 6= 0.

Proposicao 2. Se A = LDLt e a decomposicao de Cholesky de uma matriz A positiva

definida, entao os elementos da diagonal de D sao maiores que zero.

Demonstracao. Se A e positiva definida, entao X t AX > 0, para todo X 6= 0. Substituindo-

se A = LDLt em X t AX obtemos que X t LDLt X > 0 , para todo X 6= 0. Seja Y = Lt X.
Entao Y t DY > 0, para todo Y 6= 0. Em particular para Y = Ei = [0 0 1 0 0]t
temos que dii = Eit DEi > 0.

1
2

Proposicao 3. Se e simetrica e e positiva definida e L e tal que L = DU , com U

triangular superior com 1s na diagonal e D uma matriz diagonal, entao = L1 DLt e
a sua decomposicao de Cholesky e P = D1/2 L e triangular inferior, invertvel e tal que

1 = P t P.

Demonstracao. Multiplicando-se `a esquerda L = DU por L1 obtemos

= L1 DU.

Pela proposicao anterior U = Lt e portanto = L1 DLt . Logo

P t P = Lt D1/2 D1/2 L = Lt D1 L = 1 .

Vamos supor que um vetor de variaveis aleatorias Y = [y1 , . . . , ym ]t seja tal que a sua
esperanca seja uma combinacao linear de outros vetores, ou seja, que

E(y1 ) x11 x1n
E(y2 ) x21 x2n
= E(Y ) = b1 X1 + . . . + bn Xn = b1 .. + . . . + bn (1)

.. ..
. . .
E(ym ) xm1 xmn

A equacao (1) pode ainda ser escrita de duas outras formas:

E(yi ) = b1 xi1 + . . . + bn xin , para i = 1, . . . , m

ou simplesmente
E(Y ) = XB, (2)

onde
x11 x12 ... x1n b1
x21 x22 ... x2n b2
X= , e B= .

.. .. ..
. ... . .
xm1 xm2 . . . xmn bn

Quadrados Mnimos Generalizados 16 de abril de 2012

 3

O problema aqui e determinar os parametros bi a partir de observacoes yi , para i =

1, . . . , m. Para cada i, a diferenca yi E(yi ) e o desvio do valor observado yi em relacao
ao valor esperado E(yi ) e e escrito como

i = yi E(yi ), para i = 1, . . . , m (3)

Assim, em termos das observacoes e dos erros, o nosso modelo pode ser escrito como

yi = b1 xi1 + . . . + bn xin + i , para i = 1, . . . , m

ou de forma mais compacta, simplesmente

Y = XB + , (4)

onde

y1 x11 x12 ... x1n b1 1
y2 x21 x22 ... x2n b2 2
Y = X= , B= e = .

.. .. .. .. ..
. . ... . . .
ym xm1 xm2 ... xmn bn m

A equacao (4) e chamada de equac

ao do modelo. Ela e a base para estimar B a partir
dos dados obtidos armazenados em X e Y .
Os erros i por definicao, tem media zero, pois de (3) temos que

E() = E(Y E(Y )) = E(Y ) E(Y ) = 0.

Vamos assumir tambem que os erros i tem matriz variancia e covariancia . Portanto,

= Var() = E[( E())( E())t ] = E(t ). (5)

Como e simetrica e invertvel pela proposicao anterior existe uma matriz P triangular
inferior e invertvel tal que
1 = P t P.

Multiplicando-se a equacao (4) `a esquerda por P obtemos

P Y = P XB + P (6)

16 de abril de 2012 Reginaldo J. Santos

4

Vamos fazer as mudancas de variaveis X = P X, Y = P Y e = P . Entao a equacao

(6) se transforma em
Y = X B + . (7)

Assim
E( ) = P E() = 0

e
Var( ) = P Var()P t = P P t = P (P t P )1 P t = P P 1 P t P t = I.

Logo o problema dado pela equacao (7) pode ser resolvido usando o Teorema de Gauss-
Markov por

= (X t X )1 X t Y = (X t P t P X)1 X t P t P Y = (X t 1 X)1 X t 1 Y.
B

Proposicao 4. Se
1 2 n1
1 n2
1
2 1

n3
=

1 2

.. .. .. ..
. . . .
n1 n2 1
entao p
1 2 0 0
.. ..
1 . .

P = . .. ..
.. . . 0
0 1
e tal que 1 = P t P .

Demonstracao. As matrizes elementares

1 0 0
0
. 1 0 0
. .. ..
. . .

Ei1 = i1
0 1 0

. . . . ..
.. .
0 0 0 1

Quadrados Mnimos Generalizados 16 de abril de 2012

 5

sao tais que

1 0 0
0 1 0
..
... ..
. .

E21 En1 = i1

0 1 0

. . . ..
.. . .
n1 0 0 1
e
2 n1
1

12 12 12
12
n2

0 1

E21 En1 =
0 1 + 2 n3 (1 + 2 ) .

.. .. .. ..
. . . .
0 n2 1 + 2 + + 2(n2)
As matrizes elementares

1 0 0
0
. 1 0 0
. .. ..
. . .

Ei2 = i2
0 1 0

. . . . ..
.. .
0 0 0 1

sao tais que

1 0 0
1 0 0
. ..
. . ..
. .

E32 En2 E21 En1 =
0 i2 1 0

. . . ..
.. . .
0 n2 0 1
e
2 n1
1

12 12 12
12
n2

0 1

E32 En2 E21 En1 =
0 0 1 n3 .

.. .. .. ..
. . . .
0 0 n3 1 + 2 + + 2(n3)

16 de abril de 2012 Reginaldo J. Santos

6

Continuando com as colunas 3, 4, . . . , n obtemos que

0 0

1
. . . ..
1 .

L= . . . .
.. .. . . 0
0 1

2 n1

1

1
12 12 12
12 12
0 0 0 1 2 n1

0 1 n2
0 1 0 0 0
1 n2

L =
0 0 1 n3
=
0 0 1 0 0
0 1 n3
.
.. .. .. .. .. .. .. .. . .. .. ..
. ..

. . . . . . . . . .
0 0 0 1 0 0 0 1 0 0 0 1
Entao, pela Proposicao anterior
1
1
0 0 0 2 p 2

12 1 0 0
0 1 0 0 . . ..
1 . .

P =
0 0 1 0 L =

.. .. .. .. .
.. . .. .
. . 0
. . . .
0 0 0 1 0 1

e tal que 1 = P t P .

Quadrados Mnimos Generalizados 16 de abril de 2012