Escolar Documentos
Profissional Documentos
Cultura Documentos
lineares
●
20
●
●
●
● ●
●
15
● ●●
●
● ● ●
●
vo2
● ● ● ●
● ● ●
● ● ● ●
● ● ●
● ● ● ●
● ● ● ● ● ●
● ● ●● ●
●● ●● ● ● ●
● ●●● ●
10
● ●
● ● ● ● ● ● ●● ●
●
● ● ● ● ●
● ● ● ●
● ●●● ● ● ●
● ● ●● ● ● ● ● ●
● ● ● ●
● ●● ●
● ●●
● ● ●
● ●
●
●
● ●
5
0 20 40 60 80 100
carga
ID IS
20
15
● ●
● ● ● ● ●
●● ● ●
● ● ● ● ●●
● ● 10
● ●● ● ●
● ● ● ●
● ●● ●● ● ●
● ●● ● ● ●
●●
● ● ● ●
● ● ●
●
●
●● ● 5
vo2
C CH
●
20 ●
●
● ●
15 ● ● ● ●
● ● ●
● ●
● ● ● ●
● ● ● ● ●
● ● ● ●
● ● ●
●●●
● ● ● ●● ● ●
10 ● ● ●● ● ● ● ●
●● ● ●
● ● ● ● ● ●
●● ● ●
●●
●
0 20 40 60 80 100
carga
●
●
0.5
absorbancia
●
0.4
0.3
0.2
●
●
0.1
tipo de solvente
Yi = β0 + β1 xi + ξi , i = 1, ..., 124
i.i.d.
ξi ∼ N(0, σ 2 ).
Parte aleatória: ξi .
ind.
O modelo acima implica que Yi ∼ N(β0 + β1 xi , σ 2 )
Prof. Caio Azevedo
Revisão sobre modelos de regressão normais lineares
β1 : é o aumento esperado no consumo de oxigênio para o aumento
de uma unidade na carga imposta.
124
1 X
Yi = β0 + β1 (xi − x) + ξi , i = 1, ..., 124, x = xi .
124
i=1
Yij = µi + ξij ,
Yij = µ + αi + ξij ,
Duas opções:
Yij = µ + αi + ξij ,
Yij = µ + αi + ξij ,
Yij = µ + αi + ξij ,
−1/2 −p/2 1 0 −1
fY (y ) = |Σ| (2π) exp − (y − µ) Σ (y − µ) 11Rp (y )
2
µ é o vetor de médias e Σ é a matriz de covariâncias.
a1 a2
Forma quadrática: seja x = (x1 , x2 )0 e A = , então
a3 a4
h i a1 a2 x 1
z = x 0 Ax = x1 x2 =
a3 a4 x2
a1 x12 + (a2 + a3 )x1 x2 + a4 x22 .
Se A for uma matriz simétrica, então z = a1 x12 + 2a2 x1 x2 + a4 x22 .
Prof. Caio Azevedo
Revisão sobre modelos de regressão normais lineares
Parâmetros
E(Y1 ) µ1
E(Y2 ) µ2
µ = E(Y ) = ..
=
..
.
.
E(Yp ) µp
σ2 σ12 ... σ1p
1
σ12 σ22 ... σ2p
Σ = Cov (Y ) =
.. .. .. ..
. . . .
σ1p σ2p ... σp2
Yi ⊥Yj , ∀i 6= j ⇔ σij = 0.
Para o primeiro
modelo,
temos que
Y1 1 x1 ξ1
Y2 1 x2 ξ2
β
0 ,ξ =
Y = ..
,X =
.. .. , β =
..
. . . β1 .
Y124 1 x124 ξ124
Naturalmente, depois do experimento ser realizado, teremos um
vetor de observações (números): y = (y1 , ..., y124 )0 .
∂Q(β)
=0
∂β β=βb
∂ ∂
Q(β) = (Y 0 Y − 2Y 0 X β + β 0 X 0 X β) = −2X 0 Y + 2X 0 X β
∂β ∂β
∂
→ Q(β) = 0 → −2X 0 Y + 2X 0 X βb=0 (1)
∂β β=βb
b = X 0 X −1 X 0 Y
→ β
Isto, por sua vez, ocorre quando o modelo está identificado (não
está superparametrizado) e/ou quando não há covariáveis que sejam
combinações lineares de outras.
P124
nY n i=1 xi
X 0Y = P ; X 0X = P P124 2
124 124
i=1 Yi xi i=1 xi i=1 xi
P
124 2 P124
1 x
i=1 i − x
i=1 i
→ (X 0 X )−1 = P
P124 2 P124 2 124
n i=1 xi − − i=1 xi n
i=1 xi
P124
xi2 )(
P124 P124 P124
( i=1 Yi )−( i=1 xi )( i=1 Yi xi )
i=1
P124 2 P124 2
n i=1 xi −( i=1 xi )
Assim β
b= .
n 124
P124 P124
i=1 Yi xi −( i=1 xi )( i=1 Yi )
P
P124 2 P124 2
n i=1 xi −( i=1 xi )
nY n n2 n3 n4 n5 Y1
Y2 −Y1
n2 Y 2 n2 n2 0 0 0
0 0
X Y = n3 Y 3 ; X X = n3 0 ;β = Y3 − Y1
b
0 n3 0
Y4 −Y1
n4 Y 4 n4 0 0 n4 0
n5 Y 5 n5 0 0 0 n5 Y5 −Y1
n n1 n2 n3 n4 n5
nY
n1 n1 0 0 0 0
n1 Y 1
n2 0 n2 0 0 0
n2 Y 2
X 0Y =
0
;X X =
n3 0 0 n3 0 0
n3 Y 3
n4 0 0 0 n4 0
n4 Y 4
n5 0 0 0 0 n5
n5 Y 5
1 0
2
σ
bMV = Y − Xβ
b Y − Xβ
b
n
o qual é viciado.
Na prática considera-se o seguinte estimador:
1 0
b2 =
σ Y − Xβ
b Y − Xβ
b
n−p
b σ2 e
O qual é não-viciado. Além disso, pode-se provar que β⊥b
(n−p)bσ2
σ2 ∼ χ2(n−p) .
Prof. Caio Azevedo
Revisão sobre modelos de regressão normais lineares
Testes de hipóteses simples
H0 : β1 = 0 vs H1 : β1 6= 0,
H0 : α2 = 0 vs H1 : α2 6= 0,
βbi − β0i
T =p 2 ∼ t(n−p) , sob H0 . (2)
σ
b σβj
Demonstração: exercı́cio.
●
20
●
●
●
● ●
●
15
● ●●
●
● ● ●
●
vo2
● ● ● ●
● ● ●
● ● ● ●
● ● ●
● ● ● ●
● ● ● ● ● ●
● ● ●● ●
●● ●● ● ● ●
● ●●● ●
10
● ●
● ● ● ● ● ● ●● ●
●
● ● ● ● ●
● ● ● ●
● ●●● ● ● ●
● ● ●● ● ● ● ● ●
● ● ● ●
● ●● ●
● ●●
● ● ●
● ●
●
●
● ●
5
0 20 40 60 80 100
carga
ID IS
20
15
● ●
● ● ● ● ●
●● ● ●
● ● ● ● ●●
● ● 10
● ●● ● ●
● ● ● ●
● ●● ●● ● ●
● ●● ● ● ●
●●
● ● ● ●
● ● ●
●
●
●● ● 5
vo2
C CH
●
20 ●
●
● ●
15 ● ● ● ●
● ● ●
● ●
● ● ● ●
● ● ● ● ●
● ● ● ●
● ● ●
●●●
● ● ● ●● ● ●
10 ● ● ●● ● ● ● ●
●● ● ●
● ● ● ● ● ●
●● ● ●
●●
●
0 20 40 60 80 100
carga
βbi − β0i
Z=p 2
σ
b σβj
a qual, sob H0 , sob certas condições e para n suficientemente
grande, tem distribuição aproximadamente N(0,1), sob H0 .
Algumas condições: βbi tem de ser um estimador com distribuição
P
assintótica N(β0i , σ 2 σβj ) e σ
b2 −→ σ 2 .
n→∞
Prof. Caio Azevedo
Revisão sobre modelos de regressão normais lineares
Comentários
β − β02 = 0,
01
H0 : β01 − β03 = 0, vs H1 : há pelo menos uma diferença
β − β = 0.
01 04
β − β12 = 0,
11
H0 : β11 − β13 = 0, vs H1 : há pelo menos uma diferença
β − β = 0.
11 14
β01 − β02 = 0,
β01 − β03
= 0,
β −β
= 0,
01 04
H0 : vs H1 : há pelo menos uma diferença
β11 − β12 = 0,
β11 − β13
= 0,
β −β
= 0.
11 14
µ1 + µ2 + µ3 µ1 + µ2 + µ3
H0 : = µ5 vs H1 : 6= µ5
3 3
↔ H0 : α2 + α3 − 3α5 = 0 vs H1 : α2 + α3 − 3α5 6= 0
Prof. Caio Azevedo
Revisão sobre modelos de regressão normais lineares
Hipóteses de interesse
1 −1 0 0 0 0 0 0 0
−1
1 0 0 0 0 0 0 0
−1
1 0 0 0 0 0 0 0
C = ;M =
−1
0 0 0 0 1 0 0 0
−1
0 0 0 0 1 0 0 0
0 0 0 0 1 0 0 −1 0
h i h i
C= 0 1 1 0 −3 ;M = 0
−1 −1
b = X 0X
Lembremos que β b ∼ Np (β, σ 2 X 0 X
X 0Y , e β ).
b = Cβ
Assim, θ b − M, σ 2 C (X 0 X )−1 C 0 .
b − M ∼ Nr C β
1 b0 −1
Logo, Q1 = 2
θ C (X 0 X )−1 C 0 b ∼ χ2 , sob H0 .
θ r
σ
Se σ 2 for conhecido, podemos utilizar a estatı́stica Q1 e rejeitar H0
se q1 > qc (q1 : valor calculado da estatı́stica do teste),
P(χ2r ≥ qc |H0 ), ou se se p − valor = P(χ2r ≥ q1 |H0 ) < α.
1 0
b2 =
σ Y − Xβ
b Y − Xβ
b .
n−p
Portanto
1 b0 −1
Q = 2
θ C (X 0 X )−1 C 0 θ
b
σ
b
1 b 0
−1 0 −1
0
= C β − M C (X X ) C C b −M
β
b2
σ
≈ χ2r
1 b0 0 −1 0 −1 b
θ C (X X ) C θ /r b0 C (X 0 X )−1 C 0 −1 θ
σ2 θ b
QO = h i =
(n−p)bσ2
/(n − p) b2
rσ
σ2
0 −1
Cβ b −M C (X 0 X )−1 C 0 b −M
Cβ
= ∼ F[r ,n−p]
b2
rσ
sob H0 .
Y = Xβ + ξ
Variável 1 (resposta)
C11 C12 Total
Variável 2 C21 N11 (θ11 ) N12 (θ12 ) n1.
(explicativa) C22 N21 (θ21 ) N22 (θ22 ) n2.
.. .. .. ..
. . . .
C2r Nr 1 (θr 1 ) Nr 2 (θr 2 ) nr .
Total - N.1 N.2 n..
ind.
Neste caso, Ni1 ∼ binomial(ni. , θi1 ), i = 1, ..., r . Definindo
N = (N11 , N21 , ..., Nr 1 )0 , temos que
n1. θ11 (1 − θ11 ) 0 0 ... 0
0 n2. θ21 (1 − θ21 ) 0 ... 0
Cov (N)=
0 0 n3. θ31 (1 − θ31 ) ... 0
.. .. .. ..
..
. . . . .
0 0 0 ... nr . θr 1 (1 − θr 1 )
b = X 0 Σ−1 X −1 X 0 Σ−1 Y
β W
b ∼ Np β, X 0 Σ−1 X −1 .
Pode-se provar que: β W
Considere Σ conhecido.
Para testar as hipóteses anteriores, podemos considerar semelhante
construção relacionada à estatı́stica QO .
Nesse caso, temos que
b − M ∼ Nr C β − M, C X 0 Σ−1 X −1 C 0 .
θbW = C β W
Defina
b0 C (X 0 Σ−1 X )−1 C 0 −1 θ
QW = θ W
bW
0 −1
= Cβb −M
W C (X 0 Σ−1 X )−1 C 0 b −M
Cβ W
Assuma Σ desconhecido.
−1
b ∗ = X 0Σ
b −1 X b −1 Y . Assim,
Defina β W X 0Σ
b ∗ −→
D
0 −1
−1
β W N p β, X Σ X .
n→∞
Defina também, b∗
θ b ∗ − M. Logo,
= Cβ
W W
b∗ −→
D
0 −1
−1 0
θ W N r C β − M, C X Σ X C .
n→∞
Considere
0 h i−1 ∗
∗
QW b∗ C (X 0 Σ
= θ b −1 X )−1 C 0 θ
b
W W
∗
0 h −1
i−1
b∗ − M
b −M 0b −1 0
= Cβ W C (X Σ X ) C C β W
∗
Sob H0 , para n suficientemente grande, QW ≈ χ2r .
Y = Xβ + ξ
Variável 1 (resposta)
C11 C12 ... C1(s−1) C1s Total
Variável 2 C21 N11 (θ11 ) N12 (θ12 ) ... N1(s−1) (θ1(s−1) ) N1s (θ1s ) N1.
(resposta) C22 N21 (θ21 ) N22 (θ22 ) ... N1(s−1) (θ2(s−1) ) N2s (θ2s ) N2.
.. .. .. .. .. ..
. . . . . .
C2r Nr 1 (θr 1 ) Nr 2 (θr 2 ) ... Nr (s−1) (θr (s−1) ) Nrs (θrs ) Nr .
Total - N.1 N.2 ... N.(s−1) N.s n..
Neste caso, N = (N11 , N21 , ..., N1s , ...., Nrs−1 )0 ∼ multinomial(n.. , θ),
e
n.. θ11 (1 − θ11 ) −n.. θ11 θ12 −n.. θ11 θ13 ... −n.. θ11 θrs−1
−n.. θ11 θ12 n.. θ12 (1 − θ12 ) −n.. θ12 θ13 ... −n.. θ12 θrs−1
Cov (N)=
−n.. θ11 θ13 −n.. θ12 θ13 n.. θ13 (1 − θ13 ) ... −n.. θ13 θrs−1
. . . .. .
. . . . .
. . . .
−n.. θ11 θrs−1 −n.. θ12 θrs−1 −n.. θ13 θrs−1 ... n.. θrs−1 (1 − θrs−1 )
Considere Σ conhecido.
Defina
b0 C (X 0 Σ−1 X )−1 C 0 −1 θ
QG = θ G
bG
0
−1 0 −1
b −M 0 −1 b −M
= Cβ G C (X Σ X ) C C β G
Assuma Σ desconhecido.
−1
b ∗ = X 0Σ
b −1 X b −1 Y . Assim,
Defina β G X 0Σ
b ∗ −→
D
0 −1
−1
β G N p β, X Σ X .
n→∞
Defina também, b∗
θ b ∗ − M. Logo,
= Cβ
G G
b∗ −→
D
0 −1
−1 0
θ G N r C β − M, C X Σ X C ;
n→∞
Considere
0 h i−1 ∗
QG∗ = θ b −1 X )−1 C 0
b∗ C (X 0 Σ θ
b
G G
∗
0 h −1
i−1
b∗ − M
b −M 0b −1 0
= Cβ G C (X Σ X ) C C β G
Teste para igualdade entre a média das médias dos três primeiros
grupos com a média do quinto grupo: qO = 87, 37,
p − valor < 0, 0001.