Parametrizacao, identificabilidade, estimabilidade

e testabilidade em modelos normais lineares

Prof. Caio Azevedo

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Teorema de Cochran
i.i.d
Seja X1 , X2 , ..., Xn N(0, 2 ) e suponha que

n
X
Q= Xi2 = Q1 + Q2 + ... + Qk
i=1
em que Qi , i = 1, 2, ..., k sao formas quadraticas semi positivas
definidas em X1 , X2 , ..., Xn , i.e.,

Qi = X0 Ai X, i = 1, 2, ..., k
Pk
e defina ri = r (Ai ). Se i=1 ri = n, entao
1 Qi Qj , i 6= j.
2 Qi 2 2(ri ) .
Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Voltemos ao exemplo dos solventes (um unico fator com
varios nveis)

Modelo de medias

Yij = i + ij , i = 1, 2, .., k

i = 1, ..., k(grupos); j = 1, ..., ni (unidades experimentais)

i.i.d
Erros ij N(0, 2 ), i nao aleatorios.

i : media populacional relacionada ao i-esimo fator.

ind.
Implicacao das suposicoes acima: Yij N( + i , 2 ).

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Identificabilidade

Seja L() a verossimilhanca associada a um determinado modelo

(probabilstico, estatstico, regressao).

O modelo e dito estar (globalmente) identificado (sob a otica

frequentista) se 1 6= 2 , i , i = 1, 2 , tivermos

L( 1 ) 6= L( 2 )

Se o modelo esta identificado, tem-se que, para um determinado

metodo de estimacao (em geral), teremos um unico conjunto de
estimativas, para uma dada amostra.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
 Se o modelo nao esta identificado, podemos ter mais de um
conjunto de estimativas (se dim() 2).

Em geral, mesmo se o modelo nao estiver identificado mas

dim() = 1, nao se tem problemas em se obter estimativas.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Porque (re)parametrizar o modelo?

Interpretacoes mais apropriadas dos parametros (os modelos sao

mais facilmente interpretaveis).

Testes de hipotese mais simples (em termos dos parametros)

principalmente para modelos mais complexos.

Para garantir a identificabilidade do modelo.

Mais facilidade na identificacao de efeitos significativos.

Estimadores com propriedades mais interessantes (ortogonalidade).

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Parametrizacoes para o modelo em questao

Modelos de medias (apresentado anteriormente).

Pk
Desvios com restricao: i=1 i = 0. Modelo identificado.

Casela (cela de referencia): igualar um unico i a 0, por exemplo

1 . Modelo identificado.

Desvios sem restricao: nao se coloca nenhuma restricao. Modelo

nao identificado. Neste caso, somente as funcoes estimaveis podem
ser estimadas.

Para interpretacao dos parametros basta lembrar que i = + i

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Interpretacoes dos modelos (parametrizacao)

Pk
Desvios com restricao: i=1 i = 0.
1
Pk
: media das medias dos grupos = = k i=1 i .
i : incremento (positivo ou negativo) da media do grupo i com
relacao a media das medias, i = i .
Em geral, considera-se que k = k1
P
i=1 i .

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Interpretacoes dos modelos (parametrizacao)

Casela de referencia: 1 = 0.

: media do grupo 1 (grupo de referencia), = 1 .

i : incremento (positivo ou negativo) da media do grupo i com
relacao a media do grupo 1 (grupo de referencia), i = i 1 .

Em geral, esta sera a parametrizacao utilizada no curso.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Interpretacoes dos modelos (parametrizacao)

Desvios sem restricao: k medias e (k+1) parametros.

Os parametros, por si so, nao tem interpretacoes mas, combinacoes

lineares deles, podem ter:

i = + i (media do i-esimo grupo).

i j = i j (diferenca entre as medias do grupo i e do grupo
j).

As combinacoes lineares acima pertencem a classe das funcoes

estimaveis.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Parametrizacao de medias

Neste

caso, temos

que
Y11 1 0 0 0 0 11


Y12

1 0 0 0 0

12


Y13

1 0 0 0 0

13

Y14 1 0 0 0 0 1 14


2


Y15

1 0 0 0 0
15

Y= , X = , = , =

Y21
0 1 0 0 0 3
21

.. .. .. .. .. .. 4 ..


. . . . . . .

5



Y51

0 0 0 0 1

51

..


.. .. .. .. ..


..


.

. . . . .


.

Y55 0 0 0 0 1 55

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Casela de referencias (1 = 0)

Neste

caso, temos

que
Y11 1 0 0 0 0 11


Y12

1 0 0 0 0

12


Y13

1 0 0 0 0

13

Y14 1 0 0 0 0 14


2


Y15

1 0 0 0 0
15

Y= , X = , = , =

Y21
1 1 0 0 0 3
21

.. .. .. .. .. .. 4 ..


. . . . . . .

5



Y51

1 0 0 0 1

51

..


.. .. .. .. ..


..

.

. . . . .


.
Y55 1 0 0 0 1 55

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Desvios com restricao

Neste

caso, temos

que
Y11 1 1 0 0 0 11


Y12

1 1 0 0 0


12


Y13

1 1 0 0 0

13

Y14 1 1 0 0 0 14


1


Y15

1 1 0 0 0
15

Y= , X = , = , =

Y21
1 0 1 0 0 2
21

.. .. .. .. .. .. 3 ..


. . . . . . .

4



Y51

1 1 1 1 1

51

..


.. .. .. .. ..


..

.

. . . . .


.
Y55 1 1 1 1 1 55

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Desvios sem restricao

Neste

caso, temos

que
Y11 1 1 0 0 0 0 11


Y12

1 1 0 0 0 0

12

Y13 1 1 0 0 0 0 13












Y14
1 1 0 0 0 0




14
1

Y15

1 1 0 0 0 0





15
2
Y= , X = , = , =

Y21
1 0 1 0 0 0
3 21
.. .. .. .. .. .. .. ..



.

. . . . . .
4




.



Y51

1 0 0 0 0 1 5
51

..


.. .. .. .. .. ..


..

.

. . . . . .


.
Y55 1 0 0 0 0 1 55

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Estimacao e testes de hipoteses
O estimador de MQO e dado pela solucao da seguinte equacao:

(X0 X)
b = X0 Y

Nos casos das parametrizacoes: de medias, casela de referencia e

desvios com restricao, a matriz X e de posto coluna completo e,
portanto:

b = (X0 X)1 X0 Y

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
 Contudo, para a parametrizacao desvios sem restricao, a matriz X e
de posto coluna incompleto e, portanto:

b = GX0 Y

em que G e uma (entre varias) inversa generalizada (ig) de (X0 X).

Ou seja, (X0 X)G(X0 X) = X0 X.

Desse modo, para um determinado conjunto de dados, podemos ter

infinitos conjuntos de estimativas.

Que implicacoes (limitacoes) ocorrem neste caso?

b Np (GX0 X, 2 GX0 XG0 ).
Primeiramente, note que

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Resultados importantes

Se X0 X = 0 X = 0.

Se PX0 X = QX0 X PX0 = QX0 .

Se G e uma ig de de X0 X (usando-se os dois itens acima), tem-se

que:

1 G0 e uma ig de X0 X.
2 GX0 e uma ig de X, ou seja XGX0 X = X.
3 XGX0 e invariante relativamente a escolha de G.
4 XGX0 e simetrica, mesmo quando G nao o e.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Somas de Quadrados
b = GX0 Y (note que temos um conjunto de solucoes).
Seja
Soma de quadrados dos resduos

SQR = (Y X b ) = (Y XGX0 Y)0 (Y XGX0 Y)
b )0 (Y X

= Y0 (I XGX0 )0 (I XGX0 )Y

= Y0 (I XGX0 XGX0 + XGX 0 0

| {z X} GX )Y
X
0 0
= Y (I XGX )Y

Assim, tem-se que B = I XGX0 e simetrica e idempotente. Alem

disso r (I XGX0 ) = n r (X) = n p (por exemplo).
Pode-se provar, entao, que SQR/ 2 2(nr (X)) (propriedades das
formas quadraticas).
Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Somas de Quadrados

Defina agora SQM = Y0 (XGX0 n1 J)Y = Y0 AY

Pode-se provar que:

n1 XGX0 J = n1 J.
A e simetrica e idempotente de sorte que r (A) = r (X) 1.
BA = AB = 0.
Sob H0 , SQM/ 2 2(r (X)1) .
Sob H1 , SQM/ 2 2(r (X)1,) , em que

1  0 0  1  
= 2
X XGX0 X n1 0 X0 JX = 2 X0 X n1 0 X0 JX

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Estatstica do teste ANOVA

SQM/(r (X)1)
Assim, sob H0 , F = SQR/nr (X) F(r (X)1,nr (X)) .
SQM/(r (X)1)
Assim, sob H1 , F = SQR/nr (X) F(r (X)1,nr (X),delta) , em que:

1 1
0 X0 XGX0 X n1 0 X0 JX = 2 X0 X n1 0 X0 JX



= 2

Os resultados apresentados valem, independentemente da escolha de

G.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Funcoes estimaveis
Considere o modelo normal linear usual e X geral (de posto coluna
b = GX0 Y.
completo ou incompleto) e

Definicao: dizemos que = C(1p) e uma funcao estimavel se

W(1p) ,

WE(Y) = C =

Voltando ao exemplo anterior, temos

h i
C= 1 0 0 0 0 0 , entao = .
h i
C= 1 1 0 0 0 0 , entao = + 1 .
h i
C= 0 1 1 0 0 0 , entao = 1 2 .

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
 Para o segundo caso, se tomarmos
h i
W = 1/5 1/5 1/5 1/5 1/5 0 ... 0 , temos que
WY = Y 1 , logo WE(Y) = E(Y 1 ) = + 1 .

Para o terceiro caso, se tomarmos

h i
1 1 1 1 1
W= 5 5 5 5 5
15 15 51 15 51 0 ... 0 ,

temos que WY = Y 1 Y 2 , logo WE(Y) = E(Y 1 Y 2 ) = 1 2 .

Para o primeiro caso, nao e possvel encontrar W que satisfaca a

restricao em questao.

Observacao, se WE(Y) = C WX = C WX = C.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Resultados sobre funcoes estimaveis

O valor esperado de cada observacao e estimavel.

Combinacoes lineares de funcoes estimaveis sao funcoes estimaveis.

Se C e estimavel entao C
b e invariante relativamente a solucao
b (escolha da matriz G) das equacoes normais, pois:

b = WXGX0 Y
C

Se C e estimavel entao C
b e o unico estimador linear nao viesado

de variancia uniformemente mnima para C.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Identificacao de funcoes estimaveis
Para que = C seja estimavel, temos que:

C = WX CGX0 X = W |XGX 0
{z X} = WX
X
CH = C

em que H = GX0 X.

Observacao: em geral, as inversas generalizadas sao calculadas

atraves de rotinas numericas (em pacotes computacionais como R,
por exemplo). Portanto, espera-se que os resultados numericos
sejam aproximadamente iguais aos teoricos.
Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Hipoteses testaveis

Sejam as hipoteses

H0 : C(qp) (p1) = M(q1) vs H1 : C(qp) (p1) 6= M(p1) .

b M.
A estatstica (usual) do teste dependera de C
h i
Se C = C01 C02 . . . Cq , com Ci sendo uma funcao
estimavel, i = 1, 2, ..., q, entao C = M e uma hipotese testavel.

Antes de discutirmos sobre a situacao em que X tem posto coluna

incompleto, voltemos ao caso anterior.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Construcao da Estatstica do Teste (posto coluna
completo)
Sabemos que:

b M Nq (C M, 2 C(X0 X)1 C0 ).
b = C

b 2 , entao b
Como b b 2 , em que

1 b = 1 Y0 (I H) Y = SQR = QMR
b 0 (YX)
b2 =
(YX)
np np np
Portanto, sob H0 (C = M) e usando alguns resultados de
distribuicoes de formas quadraticas (provar), temos que

1  b 0 
1 0 1  
0
Q = C M C X X C C b M 2
(q)
2
Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Cont.

2 / 2 2(np) .
Alem disso, sabemos que (n p)b

Portanto, pelos resultados acima, temos, sob H0 , que:

Q /q 1  b 0 
1 0 1  
F = 2 2
= 2
C M C X0 X C b M F(q,np)
C

b / qb

p valor = P(F > f |H0 ), em que f e o valor calculado da estatstica

definida acima, e F F(q,np) .

Sob H1 , F Fhq,np,= 1
 1
(CM)0 (C(X0 X)1 C0 ) (CM)
i .
2

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Construcao da Estatstica do Teste (posto coluna
incompleto)
Os desenvolvimnto sao semelhantes ao caso em que X tem posto
coluna completo.
Sabemos que:

b = GX0 Y Ncol(X) (GX0 X, GX0 XG0 2 ).

Portanto, segue que:

b = C
b M Nq (CGX0 X M, CGX0 XG0 C0 2 ).

Defina:
1 SQR
b2 = Y0 I XGX0 Y =



n r (X) n r (X)
Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Cont.

2 / 2 2(nr (X)) .
Temos que (n r (X))b

Portanto, sob H0 (C = M) e usando alguns resultados de

distribuicoes de formas quadraticas e algebrismos, temos que

1  b 0
 
0 1
Q = C M CGC C b M 2
(q)
2
Para provar o resultado acima, usa-se a seguinte igualdade

1
Q = (Y XC0 (CC0 )M)0 (XG0 C0 (CGC0 )1 CGX0 )(Y XC0 (CC0 )M) (1)
2

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Cont.
b b
Atraves da expressao (1), pode-se demonstrar ainda que 2 ,
verificando que

(XG0 C0 (CGC0 )1 CGX0 )(I XGX0 ) = 0

Finalmente, com os desenvolvimentos acima, conclu-se que, sob H0

Q /q 1  b 0
1  
F = 2 2
= 2
C M CGC0 b M F(q,nr (X))
C

b / qb

e, sob H1 F F(q,nr (X),)

1 
(C M)0 (CGC0 )1 (C M))

= 2

Prof. Caio Azevedo
Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares
Exemplo 2 (dados de absorbancia)
Utilizando o modelo desvios sem restricao, obtemos:
e = (0, 393; 0, 145; 0, 173; 0, 056; 0, 214; 0, 196).

As medias dos grupos estimadas pelo modelo sao

e = (0, 539; 0, 566; 0, 449; 0, 607; 0, 197).
as quais correspondem as medias amostrais (como esperado).

As diferencas entre a media do grupo (E50) e os demais grupos,

estimadas pelo modelo foram
e = (0, 028; 0, 090; 0, 069; 0, 343).

as quais correspondem as estimativas obtidas anteriormente sob a
parametrizacao casela de referencia.

Prof. Caio Azevedo

Parametrizacao, identificabilidade, estimabilidade e testabilidade em modelos normais lineares