Você está na página 1de 5

Matriz de Varincia e Covarincia e o Teorema de a a Gauss-Markov

Reginaldo J. Santos Departamento de Matemtica-ICEx a Universidade Federal de Minas Gerais http://www.mat.ufmg.br/~regi regi@mat.ufmg.br 26 de setembro de 2001
Seja X = [x1 . . . xn ]t um vetor de variveis aleatrias x1 , . . . , xn . A operaao de tomar a a o c esperana ser denotada por E. Denimos E(X) como sendo o vetor dos valores esperados c a de cada elemento de X, ou seja, x1 E(x1 ) x2 E(x2 ) E(X) = E . = . . . . . . xn E(xn )

Matriz de Varincia e Covarincia a a

2 2 a Sejam x1 , . . . , xn variveis aleatrias com varincias 1 , . . . , n e covarincias 12 , 13 , . . . , (k1)k . a o a Ou seja, 2 i = E[(xi E(xi ))2 ],

ij = E[(xi E(xi ))(xj E(xj ))], para i = j camos com 1n 2n . . . 2 n

Reunindo as varincias e covarincias em uma matriz, a a 2 1 12 12 2 2 Var(X) = V = . . . . . . 1n 2n

que chamada de matriz de varincia e covarincia ou matriz de disperso das variveis e a a a a t aleatrias x1 , . . . , xn . Ela simtrica (V = V ) e o elemento de posio i, i a varincia da o e e ca e a varivel xi e o elemento de posiao i, j, para i = j, a covarincia, entre as variveis xi e xj . a c e a a Assim, podemos expressar V como V = Var(X) = E[(X E(X))(X E(X))t ]. (1)

Seja A uma matriz m n. Ento, a E(AX) = AE(X), pois E(AX) = E = a11 x1 a21 x1 . . . + a12 x2 + a22 x2 + + ... ... ... ... + a1n xn + a2n xn . . . + amn xn ... ... ... ... + a1n E(xn ) + a2n E(xn ) . . . + amn E(xn ) = AE(X) (2)

am1 x1 + am2 x2 +

a11 E(x1 ) + a12 E(x2 ) + a21 E(x1 ) + a22 E(x2 ) + . . . am1 E(x1 ) + am2 E(x2 ) +

De forma anloga podemos mostrar que se B uma matriz n m, ento a e a E(XB) = E(X)B De (2) e (3) segue que Var(AX) = E[(AX E(AX))(AX E(AX))t ] = E[(AX AE(X))(AX AE(X))t ] = E[A(X E(X))(X E(X))t At ] = AE[(X E(X))(X E(X))t ]At = AVar(X)At (4) e E(AXB) = AE(X)B. (3)

Introduo ` Anlise de Regresso ca a a a

Vamos supor que um vetor de variveis aleatrias Y = [y1 , . . . , ym ]t seja tal que a sua esperana a o c seja uma combinaao linear de outros vetores, ou seja, que c E(y1 ) x11 x1n E(y2 ) x21 x2n (5) = E(Y ) = b1 X1 + . . . + bn Xn = b1 . + . . . + bn . . . . . . . . E(ym ) xm1 xmn A equao (5) pode ainda ser escrita de duas outras formas: ca E(yi ) = b1 xi1 + . . . + bn xin , ou simplesmente E(Y ) = XB, onde X= x11 x21 . . . x12 x22 ... ... ... ... x1n x2n . . . xmn 2 , e B= b1 b2 . . . bn . (6) para i = 1, . . . , m

xm1 xm2

O problema aqui determinar os parmetros bi a partir de observaoes yi , para i = 1, . . . , m. e a c Para cada i, a diferena yi E(yi ) o desvio do valor observado yi em relao ao valor esperado c e ca E(yi ) e escrito como e i = yi E(yi ), para i = 1, . . . , m (7) Assim, em termos das observaoes e dos erros, o nosso modelo pode ser escrito como c yi = b1 xi1 + . . . + bn xin + i , ou de forma mais compacta, simplesmente Y = XB + , onde Y = y1 y2 . . . ym X= x11 x21 . . . x12 x22 ... ... ... ... x1n x2n . . . xmn , B= b1 b2 . . . bn e = 1 2 . . . m . (8) para i = 1, . . . , m

xm1 xm2

A equao (8) chamada de equao do modelo. Ela a base para estimar B a partir dos ca e ca e dados obtidos armazenados em X e Y . Os erros i por denio, tm mdia zero, pois de (7) temos que ca e e E() = E(Y E(Y )) = E(Y ) E(Y ) = 0. Vamos assumir tambm que os erros i tm a mesma varincia 2 e que cada um deles no e e a e a correlacionado (tem covarincia zero) com os outros. a Assim a matriz de varincia-covarincia dos i s 2 In . Portanto, a a e 2 In = Var() = E[( E())( E())t ] = E(t ). (9) E usual se tomar como estimador do vetor de parmetros B, a soluao de quadrados a c m nimos, ou seja, a soluo de ca
n

min
i=1

i = min ||XB Y ||2 .

Este problema equivalente a resolver as equaes normais e co X t XB = X t Y. A soluo de quadrados m ca nimos foi usada por Gauss em 1801 para predizer a trajetria o do asteride Ceres. Dias aps o asteride ter sido descoberto, o seu rastreamento foi perdido. o o o Vrios astrnomos publicaram artigos fazendo a previso da trajetria do asteride. Entretanto, a o a o o quando o asteride foi novamente localizado, a sua posiao era muito prxima daquela prevista o c o por Gauss e diferia muito das previses feitas pelos outros. o Na maioria dos casos a matriz X tem posto mximo, ou equivalentemente X t X no a e a singular. Nestes casos temos uma frmula para o estimador B o B = (X t X)1 X t Y (10) O estimador de quadrados m nimos no viciado, ou seja, E(B) = B, pois de (10) e (6), e a temos E(B) = E[(X t X)1 X t Y ] = (X t X)1 X t E(Y ) = (X t X)1 X t XB = B e Este estimador, que vamos chamar de B o melhor estimador linear no viciado, como a mostra o prximo teorema. o 3

Teorema 2.1 (Gauss-Markov). Considere o modelo linear Y = XB + , com as hipteses o E() = e Var() = 2 In . 0 e Seja B = (X t X)1 X t Y o estimador de quadrados mnimos. Se B um outro estimador de B tal que B = CY , onde C uma matriz n n, e E(B) = B (no viciado), ento: e a a Z t Var(B)Z Z t Var(B)Z, para todo Z Rn

Demonstrao. Vamos demonstrar para o caso em que a matriz X tem posto mximo, ou ca a t equivalentemente X X no singular. Por (4), temos que e a Var(B) = (X t X)1 X t Var(Y )X(X t X)1 . Mas, por (1), (6) e (9) a varincia de Y dada por a e Var(Y ) = E[(Y E(Y ))(Y E(Y ))t ] = E(t ) = 2 In . Substituindo (12) em (11) obtemos Var(B) = 2 (X t X)1 . Por outro lado, por (4) e usando (12), obtemos Var(B) = CVar(Y )C t = 2 (CC t ). Agora, como por hiptese E(B) = B, segue que o B = E(B) = E(CY ) = CE(Y ) = CXB, O que implica que In = CX. Assim, usando (13), (14) e (15) segue que Var(B) Var(B) = 2 [CC t CX(X t X)1 X t C t ] = 2 C[In X(X t X)1 X t ]C t . A matriz M = In X(X t X)1 X t simtrica e tal que M 2 = M (idempotente). Assim, e e Z t Var(B)Z Z t Var(B)Z = Z t [Var(B) Var(B)]Z = 2 Z t (CM C t )Z = 2 (Z t CM )(M t C t Z) = 2 ||Z t CM ||2 0, o que prova o resultado. 4 (16) (15) para todo B Rn . (14) (13) (12) (11)

Referncias e
[1] David C. Lay. Linear Algebra and its Applications. Addison-Wesley, Reading, 2a. edition, 1997. [2] Steven J. Leon. Algebra Linear com Aplicaes. Livros Tcnicos e Cient co e cos Editora S.A., Rio de Janeiro, 5a. edition, 1998. [3] Reginaldo J. Santos. Geometria Analtica e Algebra Linear. Imprensa Universitria da a UFMG, Belo Horizonte, 2000. [4] Shayle R. Searle. Matrix Algebra Useful for Statistics. John Wiley and Sons, New York, 1982. [5] S. D. Silvey. Statistical Inference. Penguin, Harmondsworth, 1970.