Acetatosinf PDF

Cap.
8 INFERNCIA ESTATSTICA
Alguns conceitos breves sobre aspectos inferenciais em contexto
multivariado.
Problemas tradicionais
Estimao de mdia populacional
Estimao de vector mdio populacional, .
Estimao de varincia populacional
Estimao de matriz de (co)varincias populacional, .
Problemas ligados a tcnicas multivariadas
Aspectos distribucionais de valores/vectores prprios numa ACP;
Anlises Discriminantes com distribuies para cada classe;
MANOVA
etc., etc.
A maioria dos resultados ligada hiptese de Multinormalidade

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 180 / 218
Amostras aleatrias
Cada extraco aleatria dum elemento duma populao com p
variveis um vector aleatrio:
X = (X1 , X2 , ..., Xp )t ,
onde cada Xi representa uma varivel aleatria.

Chamamos amostra aleatria duma populao multivariada a uma
coleco de n extraces aleatrias independentes dessa populao.
Uma amostra aleatria multivariada representa-se de 2 formas:

Uma coleco de n vectores aleatrios independentes:
(X1 , X2 , ..., Xn ) .
Uma matriz aleatria de tamanho n p (cada linha um individuo).

Vectores aleatrios
Definio 8.1
Seja X = (X1 , X2 , ..., Xp )t um vector aleatrio. Define-se (admitindo que
existem os valores esperados, varincias e covarincias indicados):
1 O vector esperana de X, E [X], cuja componente i E [Xi ].
2 A matriz de varincias-covarincias de X, V [X], de elemento
genrico V [X]ij = Cov(Xi , Xj ) , (i = 1 : p, j = 1 : p)
(Os elementos diagonais so as varincias V [Xi ]).
3 Dado um segundo vector aleatrio Y = (Y1 , Y2 , ..., Yk ), define-se a
matriz de covarincias cruzadas entre X e Y, C[X, Y] como a
matriz cujo elemento genrico C[X, Y]ij = Cov(Xi , Yj ) ,
(i = 1 : p, j = 1 : k).

A distribuio Multinormal
Definio 8.2
Seja Y um vector aleatrio n-dimensional. Diz-se que Y tem
distribuio Multinormal, com parmetros dados pelo vector e a
matriz (definida positiva) se a sua funo densidade conjunta fr:
1 1
e 2 (y ) (y )
1 t
fY (y) = p , y Rn
(2 )n/2 )
det(
Nesse caso, escreve-se: Y Nn ( ,

).

A funo densidade Binormal
y
x

Propriedades duma Multinormal
Teorema 8.1
Seja Y Nn ( ,
), ento:
1 E [Y] = e V [Y] = .
2 Distribuies marginais de Y so tambm multinormais.
. . .
3 Seja Y = [ Yt1 .. Yt2 .. ..Ytr ]t Nn ( ,
). Os subvectores Yi e Yj
so independentes se e s se a submatriz de V [Y] =
correspondente fr constituda apenas por zeros.
4 Combinaes lineares das componentes dum vector multinormal
so Normais: at Y N (at , at a).
5 Se Cpn matriz de caracterstica p n, e ap+1 um vector
(no-aleatrio), ento CY + a Np (C + a, C
Ct ).
6 Q = (Y )t 1 (Y ) (n)
2 .

Amostras aleatrias Multinormais
Uma amostra aleatria duma populao Multinormal uma coleco
de vectores aleatrios independentes:
Xi Np ( ,
) .
Uma concretizao duma tal amostra uma matriz (real) n p.
Um estimador do vector mdio populacional, o vector:

n
X = 1
n Xi
i=1

vector vectores
Nota: este o estimador de mxima verosimilhana de .

Propriedades do estimador X
Dada uma amostra aleatria Multinormal, Xi Np ( ,

), (i = 1, ..., n),
ento:
E [X] = (Estimador centrado).
1
V [X] = n (Semelhante ao univariado).
X Np ( , n1 ) (s neste ponto precisoMultinormalidade).
Q = (X )t n 1 (X ) p2
O ltimo resultado pode ser usado fazer testes ou criar regies de
confiana para , se a matriz de covarincias seja conhecida.

Inferncia sobre (
conhecida, Multinormalidade)
Teste de Hipteses a = 0
Hipteses: H0 : = 0 vs. H1 : 6= 0
Estatstica do teste: Q = (X 0 )t n
1 (X 0 ) p2 , sob H0 .
Regio Crtica: (unilateral direita) Rejeitar H0 se Qcalc > 2 ;p .
(Qcalc calculado substituindo X pelo vector x da nossa amostra)
Qcalc (proporcional ) distncia de Mahalanobis de x a 0 .
Regio de confiana para

A (1 ) 100% de confiana, so admissveis os vectores tais que
(x )t n
1 (x ) 2 (p) .
Estas regies de confiana so interiores de elipsides em Rp .

Elipsides em Rp
Seja Cpp uma matriz definida positiva, e k R+ . Ento
(x x0 )t C1 (x x0 ) = k
a equao dum elipside em Rp de:

centro em x0 ;
semi-eixos em direces definidas pelos vectores prprios de C;
comprimento de semi-eixos: 1 , (i valor prprio de C).
k i

Elipsides em Rp
Recordar que, se C definida positiva, ento:
C admite decomposio espectral C = P Pt
(elementos diagonais de positivos);
1 Pt .
C1 existe e tem decomposio espectral C1 = P
(x x0 )t C1 (x x0 ) = k
1
k 1 0 ... 0 0
1
0
k 2 ... 0 0

t t . .. .. .. .. t
P (x x0 ) . . P (x x0 ) = 1
. . . .
0 1
0 ... k p1 0
1
0 0 ... 0 k p
p (xi x0i )2
Se P = I, fica k i = 1: elipside alinhado com eixos.
i=1
Se P 6= I: P induz uma rotao (rgida) em relao origem.
Regio de confiana em R2
Regiao de confianca para
confianca =
2.4
0.95
2.3
x
2
2.2
2.1
0.8 0.9 1.0 1.1 1.2 1.3

A estimao da matriz de (co)varincias,
E se desconhecida?
Seja Xnp matriz-amostra duma populao p-variada.
Um estimador da matriz de (co)varincias populacional a
matriz amostral de (co)varincias:
S = 1
n1 Xt (In P1n )X
No o estimador de mxima verosimilhana (seria com 1n );

1
usa-se n1 para que seja um estimador centrado:
E [S] = .
Pode ser usado para substituir . Mas com que consequncias?

Distribuio de Wishart
Vrias distribuies surgem associadas Multinormal. Uma a de
Wishart.
Definio 8.3
Seja App uma matriz aleatria, com funo densidade conjunta:

( 1 tr(A1 ))
det(A)(np1)/2 e 2
p , A def. positiva
w (A; , n) = 2np/2 p(p1)/4 det()1/2n ( 21 (n+1i))
i=1

0 , caso contrario
Diz-se que A tem distribuio de Wishart com parmetros n e :

A Wp (, n). Se = Ip diz-se que temos uma Wishart padro.
Nota: A Wishart uma generalizao da 2 e partilha muitas das

suas propriedades. W1 (I, n) igual a n2 .
Nota: O determinante duma matriz simtrica o produto dos seus
valores prprios.
Como surge uma Wishart
Teorema 8.2
Seja Xnp uma matriz aleatria cujas linhas so vectores aleatrios
).
com distribuio Xi Np (0,
t
Seja M = X X. Ento
, n) .
M Wp (

A Wishart e o estimador de
Teorema 8.3 (Cochran)

Seja Xnp uma matriz aleatria cujas n linhas so elementos duma
). Seja Cnn uma matriz
amostra aleatria, com distribuio Np (0,
simtrica, no-aleatria. Ento, Xt CX tem distribuio de Wishart se e
s se C fr uma matriz idempotente. Nesse caso, tem-se
Xt CX Wp (
, r ) com r = tr(C) = car (C) .
Como (n 1)S = Xt (In P1n )X, e In P1n matriz de projeco

ortogonal sobre espao de dimenso n 1, temos, para amostra
Multinormais:
(n 1)S , n 1) .
Wp (

Propriedades da distribuio Wishart
, n) e Bpq uma matriz no-aleatria, ento
Se A Wp (
Bt AB Wq (Bt B, n) .
Submatrizes principais de Wishart tm distribuio Wishart (com

a correspondente submatriz de como primeiro parmetro).
, n), ento 1/2 A
Se A Wp ( 1/2 Wp (Ip , n) (Wishart padro).
, n) e b Rp vector no-aleatrio:
Se A Wp (
bt Ab
n2 .
bt b
, n1 ) e A2 Wp (
Se A1 Wp ( , n2 ), com A1 e A2 independentes,
, n1 + n2 ) .
A1 + A2 Wp (

Substituindo pelo estimador S
Teorema 8.4
Seja y um vector aleatrio com distribuio Np ( ,
). Seja m App
, m). Se y e A forem
uma matriz aleatria com distribuio Wp (
independentes, ento:
mp+1
(y )t A1 (y ) F(p,mp+1) .
mp
Vamos usar com m = n 1, A = S.

Teorema 8.5
Para uma amostra Multinormal, os estimadores X e S so
independentes.

Substituindo pelo estimador S (cont.)
Corolrio
Seja Xnp uma matriz aleatria cujas n linhas tm distribuio
Xi N ( ,
) (i = 1, ..., n). Ento
np
n (x )t S1 (x ) F(p,np)
(n 1)p | {z }
Estatistica T 2 de Hotelling

(vem de n X Np ( n ,
) e (n 1)S Wp (
, n 1)).

Inferncia sobre (Multinormalidade)
Teste de Hipteses a = 0
Hipteses: H0 : = 0 vs. H1 : 6= 0
(np)n
Estatstica do teste: F = (n1)p (X 0 )t S 1 (X 0 ) F(p,np),
sob H0 .
Regio Crtica: (unilateral direita) Rejeitar H0 se Fcalc > f ;(p,np) .
(Fcalc calculado substituindo X pelo vector x da nossa amostra)
Regio de confiana para

A (1 ) 100% de confiana, so admissveis os vectores tais que
p(n 1)
(x )t S 1 (x ) f (p,np) .
(n p)n
Estas regies de confiana so interiores de elipsides em Rp .

O Lambda de Wilks
Uma quantidade que surge com frequncia em tcnicas de Estatstica
Multivariada o lambda de Wilks.
Definio 8.4
Sejam
, m) (m p);
App uma matriz aleatria com distribuio Wp (
, n);
Bpp uma matriz aleatria com distribuio Wp (
A e B independentes.
Ento,
det(A) 1
= =
det(A + B) det(Ip + A1B)
tem uma distribuio designada Lambda de Wilks, com parmetros p,
m e n, escrevendo-se:
(p, m, n) .

Observaes sobre o Lambda de Wilks
Se um valor prprio de A1 B, ento 1 + um valor prprio

de Ip + A1 B:
(I + A1 B)x = x + A1 Bx = x + x = (1 + )x .
Logo, o Lambda de Wilks pode escrever-se como:
1 1
= = ,
det(Ip + A1 B) p
(1 + i )
i=1
onde os i s so os valores prprios de A1 B.

A distribuio exacta do Lambda de Wilks no conhecida!
So conhecidas vrias aproximaes distribuio

Aproximaes distribuio do Lambda de Wilks
Aproximao assinttica de Bartlett. Quando m +
1
(p, m, n)
(m (p n + 1)) log pn
2
.
2
Para n = 1 uma transformao de tem distribuio F :

1 (p, m, 1) m p + 1
F(p,mp+1) .
(p, m, 1) p
Para n = 2 uma transformao de tem distribuio F :

p
1 (p, m, 2) m p + 1
p F(2p,2(mp+1)) .
(p, m, 2) p
Para n = 2 e p > 2, tem-se, assintoticamente:

pn
1 1/s as 2 + 1
F(pn,as pn +1) ,
1/s pn 2
r
p 2 n 4
com a = m 12 (p n + 1) e s= p2 +n2 5
.
O Lambda de Wilks e a MANOVA
Consideremos a generalizao da ANOVA a um factor com

vector-resposta p-variado, Y:
Xnp = Cnk Bk p + np ,
| {z } | {z } | {z } | {z}
matriz resposta aleatoria matriz do modelo matriz coeficientes erros aleatorios

com C = I1 | I2 | I3 | ... | Ik a matriz cujas k colunas so as indicatrizes
de cada um dos k nveis do factor.
Objectivo: Estudar se os k vectores mdios de nvel so iguais:
1 = 2 = 3 = ... = k Rp .

Pressupostos
Identifica-se cada vector observado (linhas da matriz X) por
dois ndices: Xij , em que o
primeiro ndice (i) indica o nvel do factor (i = 1, ..., k);
segundo ndice (j) indica o repetio no seio do nvel (j = 1, ..., ni ).
Admite-se que
As linhas da matriz X so observaes independentes.
em cada nvel do factor tem-se distribuio Multinormal:
Xij Np ( i ,
i ) ,
onde Xij indica a j-sima observao no nvel i do factor.

a estrutura de (co)varincias igual nos k nveis:
1 = 2 = ... = k .

Se H0 verdade
H0 : 1 = 2 = ... = k
Nesse caso, todas as observaes Xij so identicamente distribudas:
Xij Np ( ,
) .
Nesse caso, sabemos que um estimador centrado de S e
(n 1)S = T , n 1) .
Wp (

Para quaisquer i
Seja, ou no, H0 verdade, tem-se Xij N ( i ,

),

(tendo em conta que se admitiu comum em todos os nveis).
Se Si a varincia amostral das ni observaes do nvel i, temos:
, ni 1) ,
(ni 1) Si Wp ( i = 1, ..., k .
Um estimador conjunto da matriz de varincias comum, , dado

pela mdia ponderada das varincias amostrais, Si :
k
(ni 1) Si k
1
Sconj = i=1
k
=
nk (ni 1) Si .
(ni 1) i=1
i=1

Para quaisquer i (cont.)
k
(n k) Sconj = (ni 1)Si a soma de k Wishart, com comum.
i=1
Os k estimadores Si so independentes (baseiam-se em conjuntos
diferentes de observaes independentes).
Logo,
(n k) Sconj = W Wp ( , n k) .
A matriz 1n W = E a matriz da variabilidade intra-classes j discutida

na Anlise Discriminante Linear:
1 t
E = X (In PC )X .
n| {z }
=W

Uma estatstica de teste
Para testar
H0 : 1 = 2 = ... = k vs. H1 : i, j tais que i 6= j
Sabemos que se H0 , um estimador de :
T = (n 1) S = Xt (In P1n )X
Sabemos que sempre, um estimador de :
W = (n k) Sconj = Xt (In PC )X
O princpio da razo de verosimilhanas para testar H0 vs. H1 gera a

seguinte estatstica de teste:
det(W )
= .
det(T )
Mas T = W + B, onde B = Xt (PC P1n )X n H, sendo H a matriz de

variabilidade inter-classes da ADL.
O Lambda de Wilks na MANOVA
p
det(W ) 1 1
=
det(W + B)
=
det(In + W 1 B)
= 1 + i ,
i=1
onde i o i-simo maior valor prprio de W 1 B.

O Teorema de Cochran garante que
B = Xt (PC P1n ) X , k 1) .
Wp (
As matrizes B e W so independentes, graas ao
Teorema de Craig
Seja dada uma matriz aleatria Xnp cujas linhas so vectores
aleatrios i.i.d. com distribuio Np ( ,
). Sejam C1 e C2 matrizes
(no aleatrias e de dimenso n n) simtricas. Ento Xt C1 X e Xt C2 X
so independentes se C1 C2 = 0.

Teste MANOVA
Pressupostos: n observaes independentes p-variadas, em k nveis
dum factor
Xij Np ( i ,
), i = 1; ..., k ; j = 1, ..., ni ; i ni = n.
Hipteses:
H0 : 1 = 2 = ... = k vs. H1 : i, j t.q. i 6= j .
Estatstica do Teste:
det(W ) 1
== = p
(p, n k, k 1) ,
det(W + B)
(1 + i )
i=1
com
W = Xt (In PC )X;
B = Xt (PC P1n )X;
i (i = 1, ..., p) valores prprios de W 1 B.
Teste MANOVA (cont.)
So os valores pequenos da estatstica que levam a rejeitar H0 .

MAS...
Os p-values da estatstica do teste so calculados usando as
aproximaes (Bartlett, F) que, em geral geram regies crticas
unilaterais direitas.

Estatsticas alternativas
Na literatura encontram-se estatsticas alternativas ao Lambda de

Wilks, mas tambm baseadas nos valores prprios i da matriz W 1 B:
p
1
Lambda de Wilks: = 1 + i .
i=1
p
i
Bartlett-Pillai: U = 1+i .
i=1
Primeira raz de Roy: max .
p
Hotelling-Lawley: V = i .
i=1

Acetatosinf PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Acetatosinf PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Cap.

A maioria dos resultados ligada hiptese de Multinormalidade

onde cada Xi representa uma varivel aleatria.

Uma amostra aleatria multivariada representa-se de 2 formas:

Uma matriz aleatria de tamanho n p (cada linha um individuo).

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 181 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 182 / 218

Nesse caso, escreve-se: Y Nn ( ,

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 183 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 184 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 185 / 218

Uma concretizao duma tal amostra uma matriz (real) n p.

Um estimador do vector mdio populacional, o vector:

Nota: este o estimador de mxima verosimilhana de .

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 186 / 218

Dada uma amostra aleatria Multinormal, Xi Np ( ,

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 187 / 218

Qcalc (proporcional ) distncia de Mahalanobis de x a 0 .

Regio de confiana para

Estas regies de confiana so interiores de elipsides em Rp .

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 188 / 218

Seja Cpp uma matriz definida positiva, e k R+ . Ento

a equao dum elipside em Rp de:

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 189 / 218

0.8 0.9 1.0 1.1 1.2 1.3

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 191 / 218

No o estimador de mxima verosimilhana (seria com 1n );

Pode ser usado para substituir . Mas com que consequncias?

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 192 / 218

Diz-se que A tem distribuio de Wishart com parmetros n e :

Nota: A Wishart uma generalizao da 2 e partilha muitas das

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 194 / 218

Teorema 8.3 (Cochran)

Como (n 1)S = Xt (In P1n )X, e In P1n matriz de projeco

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 195 / 218

Submatrizes principais de Wishart tm distribuio Wishart (com

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 196 / 218

Vamos usar com m = n 1, A = S.

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 197 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 198 / 218

Regio de confiana para

Estas regies de confiana so interiores de elipsides em Rp .

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 199 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 200 / 218

Se um valor prprio de A1 B, ento 1 + um valor prprio

Logo, o Lambda de Wilks pode escrever-se como:

onde os i s so os valores prprios de A1 B.

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 201 / 218

Para n = 1 uma transformao de tem distribuio F :

Para n = 2 uma transformao de tem distribuio F :

Para n = 2 e p > 2, tem-se, assintoticamente:

Consideremos a generalizao da ANOVA a um factor com

Objectivo: Estudar se os k vectores mdios de nvel so iguais:

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 203 / 218

onde Xij indica a j-sima observao no nvel i do factor.

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 204 / 218

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 205 / 218

Seja, ou no, H0 verdade, tem-se Xij N ( i ,

Um estimador conjunto da matriz de varincias comum, , dado

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 206 / 218

A matriz 1n W = E a matriz da variabilidade intra-classes j discutida

J. Cadima (DM/ISA) Estatstica Multivariada 2009-10 207 / 218

H0 : 1 = 2 = ... = k vs. H1 : i, j tais que i 6= j