Matriz de Variancia e Covariancia e o Teorema de

Gauss-Markov
Reginaldo J. Santos
Departamento de Matematica-ICEx
Universidade Federal de Minas Gerais
http://www.mat.ufmg.br/~regi
26 de setembro de 2001

Seja X = [x1 . . . xn ]t um vetor de variaveis aleatorias x1 , . . . , xn . A operacao de tomar

a esperanca sera denotada por E. Definimos E(X) como sendo o vetor dos valores
esperados de cada elemento de X, ou seja,

x1 E(x1 )
x2 E(x2 )
E(X) = E .. = .

..
. .
xn E(xn )

1 Matriz de Vari
ancia e Covari
ancia
Sejam x1 , . . . , xn variaveis aleatorias com variancias 12 , . . . , n2 e covariancias
12 , 13 , . . . , (k1)k . Ou seja,

i2 = E[(xi E(xi ))2 ], ij = E[(xi E(xi ))(xj E(xj ))], para i 6= j

Reunindo as variancias e covariancias em uma matriz, ficamos com

12 12 1n
12 22 2n
Var(X) = V = ..

.. ..
. . .
1n 2n n2

1
2 2 INTRODUC A
AO ` ANALISE

DE REGRESSAO

que e chamada de matriz de vari ancia e covari ancia ou matriz de dispers ao das
variaveis aleatorias x1 , . . . , xn . Ela e simetrica (V t = V ) e o elemento de posicao i, i e a
variancia da variavel xi e o elemento de posicao i, j, para i 6= j, e a covariancia, entre as
variaveis xi e xj . Assim, podemos expressar V como
V = Var(X) = E[(X E(X))(X E(X))t ]. (1)
Seja A uma matriz m n. Entao,
E(AX) = AE(X), (2)
pois

a11 x1 + a12 x2 + ... + a1n xn
a21 x1 + a22 x2 + ... + a2n xn
E(AX) = E

.. ..
. ... .
am1 x1 + am2 x2 + ... + amn xn

a11 E(x1 ) + a12 E(x2 ) + ... + a1n E(xn )
a21 E(x1 ) + a22 E(x2 ) + ... + a2n E(xn )
= = AE(X)

.. ..
. ... .
am1 E(x1 ) + am2 E(x2 ) + ... + amn E(xn )
De forma analoga podemos mostrar que se B e uma matriz n m, entao
E(XB) = E(X)B e E(AXB) = AE(X)B. (3)
De (2) e (3) segue que
Var(AX) = E[(AX E(AX))(AX E(AX))t ] = E[(AX AE(X))(AX AE(X))t ]
= E[A(X E(X))(X E(X))t At ] = AE[(X E(X))(X E(X))t ]At
= AVar(X)At (4)

2 Introduc
ao `
a An
alise de Regress
ao
Vamos supor que um vetor de variaveis aleatorias Y = [y1 , . . . , ym ]t seja tal que a sua
esperanca seja uma combinacao linear de outros vetores, ou seja, que

E(y1 ) x11 x1n
E(y2 ) x21 x2n
= E(Y ) = b X + . . . + b X = b + . . . + b (5)

.. 1 1 n n 1 .. n ..
. . .
E(ym ) xm1 xmn

Matriz de Variancia e Covariancia e o Teorema de Gauss-Markov 26 de setembro de 2001

 3

A equacao (5) pode ainda ser escrita de duas outras formas:

E(yi ) = b1 xi1 + . . . + bn xin , para i = 1, . . . , m

ou simplesmente
E(Y ) = XB, (6)
onde
x11 x12 ... x1n b1
x21 x22 ... x2n b2
X= , e B= .

.. .. ..
. ... . .
xm1 xm2 ... xmn bn
O problema aqui e determinar os parametros bi a partir de observacoes yi , para i =
1, . . . , m. Para cada i, a diferenca yi E(yi ) e o desvio do valor observado yi em relacao
ao valor esperado E(yi ) e e escrito como

i = yi E(yi ), para i = 1, . . . , m (7)

Assim, em termos das observacoes e dos erros, o nosso modelo pode ser escrito como

yi = b1 xi1 + . . . + bn xin + i , para i = 1, . . . , m

ou de forma mais compacta, simplesmente

Y = XB + , (8)

onde

y1 x11 x12 ... x1n b1 1
y2 x21 x22 ... x2n b2 2
Y = X= , B= e = .

.. .. .. .. ..
. . ... . . .
ym xm1 xm2 . . . xmn bn m

A equacao (8) e chamada de equac ao do modelo. Ela e a base para estimar B a partir
dos dados obtidos armazenados em X e Y .
Os erros i por definicao, tem media zero, pois de (7) temos que

E() = E(Y E(Y )) = E(Y ) E(Y ) = 0.

Vamos assumir tambem que os erros i tem a mesma variancia 2 e que cada um deles e
nao correlacionado (tem covariancia zero) com os outros.

26 de setembro de 2001 Reginaldo J. Santos

4 2 INTRODUC A
AO ` ANALISE

DE REGRESSAO

Assim a matriz de variancia-covariancia dos i s e 2 In . Portanto,

2 In = Var() = E[( E())( E())t ] = E(t ). (9)

usual se tomar como estimador do vetor de parametros B, a solucao de quadrados
E
mnimos, ou seja, a solucao de
n
X
min 2i = min ||XB Y ||2 .
i=1

Este problema e equivalente a resolver as equacoes normais

X t XB = X t Y.

A solucao de quadrados mnimos foi usada por Gauss em 1801 para predizer a tra-
jetoria do asteroide Ceres. Dias apos o asteroide ter sido descoberto, o seu rastreamento
foi perdido. Varios astronomos publicaram artigos fazendo a previsao da trajetoria do as-
teroide. Entretanto, quando o asteroide foi novamente localizado, a sua posicao era muito
proxima daquela prevista por Gauss e diferia muito das previsoes feitas pelos outros.
Na maioria dos casos a matriz X tem posto maximo, ou equivalentemente X t X e nao
singular. Nestes casos temos uma formula para o estimador B

= (X t X)1 X t Y
B (10)
= B, pois de (10) e
O estimador de quadrados mnimos e nao viesado, ou seja, E(B)
(6), temos
= E[(X t X)1 X t Y ] = (X t X)1 X t E(Y ) = (X t X)1 X t XB = B
E(B)
e o melhor estimador linear nao viciado, como
Este estimador, que vamos chamar de B
mostra o proximo teorema.

Matriz de Variancia e Covariancia e o Teorema de Gauss-Markov 26 de setembro de 2001

 5

Teorema 2.1 (Gauss-Markov). Considere o modelo linear

Y = XB + ,
com as hipoteses
E() = 0 e Var() = 2 In .
= (X t X)1 X t Y o estimador de quadrados mnimos. Se B
Seja B e um outro estimador
de B tal que B = CY , onde C e uma matriz n n, e E(B)
= B (nao viciado), entao:

Z t Var(B)Z,
Z t Var(B)Z para todo Z Rn

Demonstrac ao. Vamos demonstrar para o caso em que a matriz X tem posto maximo,
ou equivalentemente X t X e nao singular. Por (4), temos que
= (X t X)1 X t Var(Y )X(X t X)1 .
Var(B) (11)
Mas, por (1), (6) e (9) a variancia de Y e dada por
Var(Y ) = E[(Y E(Y ))(Y E(Y ))t ] = E(t ) = 2 In . (12)
Substituindo (12) em (11) obtemos
= 2 (X t X)1 .
Var(B) (13)
Por outro lado, por (4) e usando (12), obtemos
= CVar(Y )C t = 2 (CC t ).
Var(B) (14)
Agora, como por hipotese E(B) = B, segue que
= E(CY ) = CE(Y ) = CXB,
B = E(B) para todo B Rn .
O que implica que
In = CX. (15)
Assim, usando (13), (14) e (15) segue que
Var(B)
Var(B) = 2 [CC t CX(X t X)1 X t C t ] = 2 C[In X(X t X)1 X t ]C t . (16)
A matriz M = In X(X t X)1 X t e simetrica e tal que M 2 = M (idempotente). Assim,
Z t Var(B)Z
Z t Var(B)Z = Z t [Var(B) Var(B)]Z

= 2 Z t (CM C t )Z = 2 (Z t CM )(M t C t Z)
= 2 ||Z t CM ||2 0,
o que prova o resultado.

26 de setembro de 2001 Reginaldo J. Santos

6
REFERENCIAS

Refer
encias

[1] David C. Lay. Algebra Linear e suas Aplicacoes. Livros Tecnicos e Cientficos Editora
S.A., Rio de Janeiro, 2a. edition, 1999.

[2] Steven J. Leon. Algebra Linear com Aplicacoes. Livros Tecnicos e Cientficos Editora
S.A., Rio de Janeiro, 5a. edition, 1998.

[3] Reginaldo J. Santos. Um Curso de Geometria Analtica e Algebra Linear. Imprensa
Universitaria da UFMG, Belo Horizonte, 2010.

[4] Shayle R. Searle. Matrix Algebra Useful for Statistics. John Wiley and Sons, New
York, 1982.

[5] S. D. Silvey. Statistical Inference. Penguin, Harmondsworth, 1970.

Matriz de Variancia e Covariancia e o Teorema de Gauss-Markov 26 de setembro de 2001