Matriz de Varincia e Covarincia e o Teorema de a a Gauss-Markov

Reginaldo J. Santos Departamento de Matemtica-ICEx a Universidade Federal de Minas Gerais http://www.mat.ufmg.br/~regi regi@mat.ufmg.br 26 de setembro de 2001
Seja X = [x1 . . . xn ]t um vetor de variveis aleatrias x1 , . . . , xn . A operaao de tomar a a o c esperana ser denotada por E. Denimos E(X) como sendo o vetor dos valores esperados c a de cada elemento de X, ou seja, E(x1 ) x1 x2 E(x2 ) E(X) = E . = . . . . . . E(xn ) xn

Matriz de Varincia e Covarincia a a

2 2 a Sejam x1 , . . . , xn variveis aleatrias com varincias 1 , . . . , n e covarincias 12 , 13 , . . . , (k1)k . a o a Ou seja, 2 i = E[(xi E(xi ))2 ],

ij = E[(xi E(xi ))(xj E(xj ))], para i = j camos com 1n 2n . . . 2 n

Reunindo as varincias e covarincias em uma matriz, a a 2 1 12 12 2 2 Var(X) = V = . . . . . . 1n 2n

que chamada de matriz de varincia e covarincia ou matriz de disperso das variveis e a a a a t aleatrias x1 , . . . , xn . Ela simtrica (V = V ) e o elemento de posiao i, i a varincia da o e e c e a varivel xi e o elemento de posiao i, j, para i = j, a covarincia, entre as variveis xi e xj . a c e a a Assim, podemos expressar V como V = Var(X) = E[(X E(X))(X E(X))t ]. 1 (1)

Seja A uma matriz m n. Ento, a E(AX) = AE(X), pois a11 x1 a21 x1 . . . + a12 x2 + a22 x2 + + ... ... ... ... + a1n xn + a2n xn . . . + amn xn ... ... ... ... (2)

E(AX) = E =

am1 x1 + am2 x2 +

a11 E(x1 ) + a12 E(x2 ) + a21 E(x1 ) + a22 E(x2 ) + . . .

+ a1n E(xn ) + a2n E(xn ) . . . + amn E(xn )

am1 E(x1 ) + am2 E(x2 ) +

= AE(X)

De forma anloga podemos mostrar que se B uma matriz n m, ento a e a E(XB) = E(X)B De (2) e (3) segue que Var(AX) = E[(AX E(AX))(AX E(AX))t ] = E[(AX AE(X))(AX AE(X))t ] = E[A(X E(X))(X E(X))t At ] = AE[(X E(X))(X E(X))t ]At = AVar(X)At (4) e E(AXB) = AE(X)B. (3)

Introduo ` Anlise de Regresso ca a a a

Vamos supor que um vetor de variveis aleatrias Y = [y1 , . . . , ym ]t seja tal que a sua esperana a o c seja uma combinaao linear de outros vetores, ou seja, que c x1n x11 E(y1 ) x2n x21 E(y2 ) (5) = E(Y ) = b1 X1 + . . . + bn Xn = b1 . + . . . + bn . . . . . . . . xmn xm1 E(ym ) A equaao (5) pode ainda ser escrita de duas outras formas: c E(yi ) = b1 xi1 + . . . + bn xin , ou simplesmente E(Y ) = XB, onde x11 x21 . . . x12 x22 ... ... ... ... x1n x2n . . . xmn 2 b1 b2 . . . bn (6) para i = 1, . . . , m

X=

xm1 xm2

e B=

O problema aqui determinar os parmetros bi a partir de observaoes yi , para i = 1, . . . , m. e a c Para cada i, a diferena yi E(yi ) o desvio do valor observado yi em relaao ao valor esperado c e c E(yi ) e escrito como e i = yi E(yi ), para i = 1, . . . , m (7) Assim, em termos das observaoes e dos erros, o nosso modelo pode ser escrito como c yi = b1 xi1 + . . . + bn xin + i , ou de forma mais compacta, simplesmente Y = XB + , onde Y = y1 y2 . . . ym X= x11 x21 . . . x12 x22 ... ... ... ... x1n x2n . . . xmn , B= b1 b2 . . . bn e = 1 2 . . . m . (8) para i = 1, . . . , m

xm1 xm2

e ca e A equaao (8) chamada de equao do modelo. Ela a base para estimar B a partir dos c dados obtidos armazenados em X e Y . Os erros i por deniao, tm mdia zero, pois de (7) temos que c e e E() = E(Y E(Y )) = E(Y ) E(Y ) = 0. Vamos assumir tambm que os erros i tm a mesma varincia 2 e que cada um deles no e e a e a correlacionado (tem covarincia zero) com os outros. a Assim a matriz de varincia-covarincia dos i s 2 In . Portanto, a a e 2 In = Var() = E[( E())( E())t ] = E(t ). (9) E usual se tomar como estimador do vetor de parmetros B, a soluao de quadrados a c m nimos, ou seja, a soluao de c
n

min
i=1

i = min ||XB Y ||2 .

Este problema equivalente a resolver as equaoes normais e c X t XB = X t Y. A soluao de quadrados m c nimos foi usada por Gauss em 1801 para predizer a trajetria o do asteride Ceres. Dias aps o asteride ter sido descoberto, o seu rastreamento foi perdido. o o o Vrios astrnomos publicaram artigos fazendo a previso da trajetria do asteride. Entretanto, a o a o o quando o asteride foi novamente localizado, a sua posiao era muito prxima daquela prevista o c o por Gauss e diferia muito das previses feitas pelos outros. o Na maioria dos casos a matriz X tem posto mximo, ou equivalentemente X t X no a e a singular. Nestes casos temos uma frmula para o estimador B o B = (X t X)1 X t Y (10) O estimador de quadrados m nimos no viciado, ou seja, E(B) = B, pois de (10) e (6), e a temos E(B) = E[(X t X)1 X t Y ] = (X t X)1 X t E(Y ) = (X t X)1 X t XB = B e Este estimador, que vamos chamar de B o melhor estimador linear no viciado, como a mostra o prximo teorema. o 3

Teorema 2.1 (Gauss-Markov). Considere o modelo linear Y = XB + , com as hipteses o E() = 0 e Var() = 2 In .

e Seja B = (X t X)1 X t Y o estimador de quadrados m nimos. Se B um outro estimador de B tal que B = CY , onde C uma matriz n n, e E(B) = B (no viciado), ento: e a a Z t Var(B)Z Z t Var(B)Z, para todo Z Rn

Demonstraao. Por (4), temos que c Var(B) = (X t X)1 X t Var(Y )X(X t X)1 . Mas, por (1), (6) e (9) a varincia de Y dada por a e Var(Y ) = E[(Y E(Y ))(Y E(Y ))t ] = E(t ) = 2 In . Substituindo (12) em (11) obtemos Var(B) = 2 (X t X)1 . Por outro lado, por (4) e usando (12), obtemos Var(B) = CVar(Y )C t = 2 (CC t ). Agora, como por hiptese E(B) = B, segue que o B = E(B) = E(CY ) = CE(Y ) = CXB, O que implica que In = CX. Assim, usando (13), (14) e (15) segue que Var(B) Var(B) = 2 [CC t CX(X t X)1 X t C t ] = 2 C[In X(X t X)1 X t ]C t . A matriz M = In X(X t X)1 X t simtrica e tal que M 2 = M (idempotente). Assim, e e Z t Var(B)Z Z t Var(B)Z = Z t [Var(B) Var(B)]Z = 2 Z t (CM C t )Z = 2 (Z t CM )(M t C t Z) = 2 ||Z t CM ||2 0, o que prova o resultado. (16) (15) para todo B Rn . (14) (13) (12) (11)

Referncias e
[1] David C. Lay. Linear Algebra and its Applications. Addison-Wesley, Reading, 2a. edition, 1997. [2] Steven J. Leon. Algebra Linear com Aplicaoes. Livros Tcnicos e Cient c e cos Editora S.A., Rio de Janeiro, 5a. edition, 1998. [3] Reginaldo J. Santos. Geometria Anal tica e Algebra Linear. Imprensa Universitria da a UFMG, Belo Horizonte, 2000. [4] Shayle R. Searle. Matrix Algebra Useful for Statistics. John Wiley and Sons, New York, 1982. [5] S. D. Silvey. Statistical Inference. Penguin, Harmondsworth, 1970.