Erro Puro

Teste F da Falta de Ajuste

Modelos de Regresso Linear Simples - Erro

Puro e Falta de Ajuste

Erica Castilho Rodrigues

2 de Setembro de 2014
 Erro Puro
Teste F da Falta de Ajuste

Erro Puro

Teste F da Falta de Ajuste

 Erro Puro
Teste F da Falta de Ajuste

 Existem dois motivos pelos quais os pontos observados

podem no cair na reta ajustada:
 o modelo no descreve bem os dados (falta de ajuste);
 existe uma variao aleatria em torno da reta (erro puro).

 Se grande parte do erro devido a falta de ajuste:

 devemos reformular o modelo.

3
 Erro Puro
Teste F da Falta de Ajuste

As anlises apresentadas aqui s podem ser feitas se tivermos

mais de um valor da varivel resposta para cada valor da
explicativa.

 Essas repeties devem ser medidas em unidades

amostrais diferentes.
 No pode ser a mesma unidade medida vrias vezes
 Erro Puro
Teste F da Falta de Ajuste

 Considere que uma varivel resposta Y .

 Seja X uma varivel explicativa.
 Coletamos uma amostra de tamanho n.
 Dentro dessa amostra, alguns valores de X so repetidos.
 Temos m valores de X distintos, com m < n

X1 , X2 , . . . , Xm .

 Vamos chamar de n i o nmero de vezes que i-simo X i

aparece
X1 n1 observaes
X2 n2 observaes
m
onde i=1 ni = m.

5
 Erro Puro
Teste F da Falta de Ajuste

 Veja um exemplo a seguir.

Xi Yi
2 39
2 35
3 40
4 45
4 46
4 50

 Temos que
n1 = 2 n 2 = 1 n 3 = 3

6
 Erro Puro
Teste F da Falta de Ajuste

Erro Puro
 Variabilidade que permanece no Y mesmo quando o valor
de X fixado.
 Variabilidade nos valores de Y entre indivduos com o
mesmo valor de X .

 Para cada valor de X i , podemos associar uma mdia dos

Y s

Y1 , Y2 , . . . , Yn1 n1 observaes de X1 mdia Y 1

Y1 , Y2 , . . . , Yn2 n2 observaes de X2 mdia Y 2

..
.
Y1 , Y2 , . . . , Ynm nm observaes de Xm mdia Y m
 Erro Puro
Teste F da Falta de Ajuste

Decomposio da Soma de Quadrados dos Resduos

 Quando ajustamos o modelo

Y = 0 + 1 X + 

e obtemos a reta ajustada

= 0 + 1 X
Y

todos indivduos com o mesmo valor X = X j tem o mesmo

valor estimado Y j = 0 + 1 Xj .
 S teremos Y k = Yl se Xk = Xl .

8
 Erro Puro
Teste F da Falta de Ajuste

 A soma dos quadrados dos erros podem ser agrupadas

pelos valores repetidos de X


n 
n1 
n2 
nm
ei2 = (ei s de X1 )2 + (ei s de X2 )2 + + (ei s de Xm )2
i=1 i=1 i=1 i=1

nj

m 
= j )2
(Yij Y
j=1 i=1
nj

m 
m 
= j Y j )2
nj (Y + (Yij Y j )2
j=1 j=1 i=1
     
soma de quadrados soma de quadrados
da falta de ajuste do erro puro

9
 Erro Puro
Teste F da Falta de Ajuste

 Vejamos porque essa decomposio veradeira.

 Temos que
j = (Yij Y j ) (Y
Yij Y j Y j ) .

 Elevando ao quadrado
j )2 = (Yij Y j )2 2(Y
(Yij Y j Y j )(Yij Y j ) + (Y
j Y j )2

 Somando em j e em i ficamos com

nj nj

m  
m 

(Yij Yj ) =
2
(Yij Y j )2
j=1 i=1 j=1 i=1

nj nj

m  
m 
2
(Yj Y j )(Yij Y j ) + j Y j )2
(Y
j=1 i=1 j=1 i=1

10
 Erro Puro
Teste F da Falta de Ajuste

 j Y j ) constante em i logo
Observe que o termo (Y
nj

j Y j )2 = nj (Y
(Y j Y j )2 .
i=1

 Ento a decomposio fica

nj nj

m  
m 
j )2 =
(Yij Y (Yij Y j )2
j=1 i=1 j=1 i=1

nj

m  
m
2 j Y j )
nj (Y (Yij Y j ) + j Y j )2
nj (Y
j=1 i=1 j=1
 Erro Puro
Teste F da Falta de Ajuste

 Vamos mostrar agora que

nj

m 
j Y j ) = 0
(Yij Y j )nj (Y
j=1 i=1
 Temos que
nj nj

m  
m 
j Y j ) =
(Yij Y j )nj (Y j Y j )
nj (Y (Yij Y j )
j=1 i=1 j=1 i=1
nj
Yij
masY j = i=1
nj e portanto
nj

(Yij Y j ) = 0
i=1
isso implica que
nj

m 
j Y j ) = 0 .
(Yij Y j )nj (Y
j=1 i=1
 Erro Puro
Teste F da Falta de Ajuste

 Vamos usar a seguinte notao.

 SQFA soma de quadrados da falta de ajuste.
 SQEP soma de quadrados do erro puro.
 Vimos que o Coeficiente de Determinao dado por

SQR SQT SQEP

R2 = mas max R 2 =
SQT SQT
ou seja, na verdade, s poder ser 1 se SQEP = 0.
 Portanto o verdadeiro valor do coeficiente de
determinao
R2
2
Rreal = .
max R 2

13
 Erro Puro
Teste F da Falta de Ajuste

 Vejamos quantos graus de liberade tm cada uma das

componentes.
 O termo
nj
m 
j )2
(Yij Y
j=1 i=1

tem n 2 graus de liberbade pois precisamos estimar 0 e

1
 Cada termo da soma
nj

m 
(Yij Y j )2
j=1 i=1
nj
tem nj 1 graus de liberdade pois i=1 (Yij Y j ) = 0.
 Ento o total de graus de liberdade

m 
m 
m
(nj 1) = nj 1=nm
j=1 j=1 j=1
 Erro Puro
Teste F da Falta de Ajuste

 O nmero de graus de liberade do termo


m
j Y j )2
nj (Y
j=1

dado pela subtrao dos outros dois

(n 2) (n m) = m 2 .

 Ento os graus de liberdade de cada uma das parcelas

ficam
nj nj

m  
m 
m 

(Yij Yj ) =
2
nj (Yj Y j ) +
2
(Yij Y j )2
j=1 i=1 j=1 j=1 i=1

(n 1) = (m 2) + (n m)
15
 Erro Puro
Teste F da Falta de Ajuste

 A Tabela ANOVA fica da seguinte maneira

Fonte Graus de Soma de Quadrado Estatstica

de Variao Liberdade Quadrados Mdio F
Regresso 1 SQR QMR = SQR/1 QMR
S2
Residual n2 SQE QME = (n2)
SQE

(Falta de Ajuste) (m-2) (SQFA) QMFA = SQFA

m2
QMFA
Se2
(Erro Puro) (n-m) (SQEP) S e2 = SQEP
nm
Total n1 SQT

Tabela: Tabela ANOVA

16
 Erro Puro
Teste F da Falta de Ajuste

Exemplo:
 Vamos considerar duas variveis.
 A figura abaixo apresenta o grfico de diperso e a reta
ajustada.
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Se o modelo est bem ajustado:
 a mdia de Y para um valor fixo de X deve ficar prxima do
valor predito.
 Essa distncia dada pela soma da falta de ajuste:


m
j Y j )2
nj (Y
j=1
  
soma de quadrados
da falta de ajuste

 Para esses dados, a soma igual a


m
j Y j )2 = 13594
nj (Y
j=1

18
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 O restante da variao de Y causada por erro aleatrio
nj

m 
(Yij Y j )2
j=1 i=1
  
soma de quadrados
do erro puro

 Para esses dados, a soma igual a

nj

m 
(Yij Y j )2 = 1148
j=1 i=1

19
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A decomposio da soma de quadrados fica
nj nj

m  
m 
m 
j )2 =
(Yij Y j Y j )2
nj (Y + (Yij Y j )2
j=1 i=1 j=1 j=1 i=1
     
soma de quadrados soma de quadrados
da falta de ajuste do erro puro

14742 = 13594 + 1148

 Qual a concluso?
 A maior parte da variabilidade devido a falta de ajuste.
 O modelo no est bem ajustado.
 Obsevamos isso pelo grfico, a relao parece no ser
linear.

20
 Erro Puro
Teste F da Falta de Ajuste

Teste F da Falta de Ajuste

 Erro Puro
Teste F da Falta de Ajuste

 Vejamos como usar essas informae para testar se o

modelo est bem ajustado.
 Queremos testar as seguintes hipteses:

H0 : o modelo linear adequado (no h falta de ajuste)

H1 : o modelo linear no adequado (h falta de ajuste)

 A estatstica de teste dada por

QMFA
F=
Se2

que sob H0 tem distribuio Fm2,nm .

 Erro Puro
Teste F da Falta de Ajuste

 Devemos rejeitar H0 para valores altos ou baixos de F?

 Altos.
 Se F grande, QMFA grande, h falta de ajuste.

23
 Erro Puro
Teste F da Falta de Ajuste

Exemplo:
 Considere os dados apresentados na tabela a seguir.

 O modelo ajustado dado por

Yi = 1, 426 + 0, 316X i + i

onde i iid N(0, 2 ).

 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A tabela ANOVA apresentada a seguir.

Fonte Graus de Soma de Quadrado Estatstica

de Variao Liberdade Quadrados Mdio F
Regresso 1 SQR = 5.499 QMR = 5499 QMR
S 2 = 7, 56
Residual 21 SQE = 15.287 QME = 0.728
Total 22 SQT = 2.0777

Tabela: Tabela ANOVA

 O valor crtico da Tabela F com = 0, 05 F 1,21 = 4, 325

(lembre que esse teste unilateral!)
 Conluso: Rejeitamos a hiptese de 1 = 0.

25
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Vamos agora encontrar o valor do erro puro e falta de
ajuste.
 Por exemplo para X = 1.3 temos que

(2.3 + 1.8)2
Y1 = = 2.05 .
2

 Logo


2
(Yi1 Y 1 ) = (2.3 2.05)2 + (1.8 2.05)2 = 0, 125
i=1

26
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Repetindo essa conta para todos valores distintos de X
obtemos os seguintes resultados:
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A Tabela ANOVA fica na forma:

Fonte Graus de Soma de Quadrado Estatstica

de Variao Liberdade Quadrados Mdio F
Regresso 1 5.499 QMR = 5499 QMR
S 2 = 7, 56
Residual 21 15.287 QME = 0.728
(Falta de Ajuste) 11 8.233 QMFA = 0.748 QMFA
Se2
= 1.061
(Erro Puro) 10 7.055 S e2 = 0.706
Total 22 20.777

Tabela: Tabela ANOVA com clculo da Falta de Ajuste.

28
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Vamos testar as hipteses:

H0 : o modelo linear adequado (no h falta de ajuste)

H1 : o modelo linear no adequado (h falta de ajuste)

 O valor observado para estatstica de teste

QMFA
F= = 1.061
Se2

sob H0 , F F11,10 .
 Usando = 5% da tabela temos que F 11,10 = 2, 854.
 A regio crtica dada por

F > 2, 854 .

29
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Rejeitamos ou no H 0 ? Como 1.061< 2.854, no
rejeitamos H0 .
 Concluso: com 5% de significncia temos evidncia de
que o modelo linear adequado nesse caso, ou seja, no
h falta de ajuste.
 Vamos agora calcular o Coeficiente de Determinao
Real.
 Temos que

SQR 5.499
R2 = = = 0, 2674
SQT 20.77
SQT SQEP 20.777 7.055
max R 2 = = = 0.6604
SQT 20777

30
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 O Coeficiente de Determinao Real dado por:

R2 0, 2674
2
Rreal = 2
= = 0, 4049
max R 0.6604

 Concluso:40,49% da variabilidade total dos dados pode

ser explicada pelo modelo de regresso.
 Esse valor da uma idia melhor do que foi alcanado pelo
modelo dentro do que era possvel.

31
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A figura a seguir mostra os dados coletados e a reta
ajustada.

 Observe que:
variao em torno da reta variao do Y para cada valor fixo de X

32
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Isso foi comprovado pelo teste de falta de ajuste.
 A variabilidade em torno da reta reflete a variabilidade
intrnseca aos dados.

33
 Erro Puro
Teste F da Falta de Ajuste

Exemplo:
 Foram analisados dados de 15 rvores.
 As variveis observadas foram:
 altura e dimetro da rvore.
 Vamos considerar

Y = {altura da rvore}

X = {dimetro da rvore}
 Foram considerados 5 dimetros distintos.
 Paraca cada valor de dimetro foram registradas as alturas
de 3 rvores.
 Qual valor de m?5
 Qual valore de n 1 , n2 , n3 ? 3
 Qual valor de n? 15

34
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A figura a seguir apresenta os dados coletados.

35
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 A figura a seguir mostra o grfico de disperso dos dados.

36
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 O modelo ajustado foi o seguinte

Yi = 0 + 1 Xi + i
 A Tabela ANOVA apresentada a seguir
Analysis of Variance Table

Response: Y
Df Sum Sq Mean Sq F value Pr(>F)
X 1 52.272 52.272 120.0735 6.832e-07 ***
Residuals 13 12.752 0.981
Lack of fit 3 8.399 2.800 6.4308 0.01061 *
Pure Error 10 4.353 0.435

37
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Quais concluses podem ser retiradas a partir dessa
tabela?
 Para testar as hipteses

H0 : 1 = 0 H1 :  = 0

devemos rejeitar H0 .
 Concluso: com 5% de significncia h evidncias de que
o dimetro da rvore significativo para explicar sua
altura.

38
 Erro Puro
Teste F da Falta de Ajuste

Exemplo: (continuao)
 Vamos testar agora falta de ajuste.
 As hipteses a serem testadas so

H0 : o modelo no possui falta de ajuste

H1 : o modelo no possui falta de ajuste

 Rejeitamos ou no H 0 ? Rejeitamos.
 Concluso: O modelo linear no parece ser adequado
nesse caso.

39