Regressao Linear

Regresso Linear Simples
15 14 13 12 11 10 9 8 7 6 5
24
23
22
21
20
19
18
17
x
y
Um diagrama de disperso entre duas variveis onde esto
disponveis n pares de observaes (x
i
, y
i
), tem o seguinte
aspecto:
X
Y
( ) Y X,
30 20 10 0 -10
103
102
101
100
99
98
97
96
95
94
93
X1
Y
1
15 10 5 0
110
105
100
X2
Y
2
30 20 10 0
102
101
100
99
98
X3
Y
3
30 20 10
102
101
100
99
X4
Y
4
Correlao negativa
Forte correlao positiva
No h correlao
Fraca correlao positiva
Diagramas de disperso
Exemplo
A Armands Pizza Parlos uma rede de restaurante de comida
italiana localizada em cinco estados norte-americanos.
As localizaes mais bem-sucedidas dos restaurantes
Armands esto prximas a campi universitarios.
Os gerentes acreditam que a vendas trimestrais nesses
restaurantes (y) esto relacionadas positivamente com o
tamanho da populao estudantil (x).

1 1 < < r
Coeficiente de Correlao Linear () a estatstica que mede
o grau de relacionamento linear entre duas variveis
Propriedades do coeficiente de correlao linear:
O valor de r est sempre entre -1 e 1, isto ,
O valor no varia se todos os valores de qualquer uma das
variveis so convertidos por uma escala diferente.
Permutando todos os valores de X e Y, r permanecer
inalterado.
r no serve para medir a intensidade de um relacionamento no
linear.
( )( )

= =
=

= =
n
i
i
n
i
i
n
i
i i
Y Y X X
X X Y Y
X Y r
1
2
1
2
1
) ( ) (
) , (
( ) r E
r
=
2 n
r 1
r
S
2
r
=
Teste Formal de Hipteses para a correlao linear
O teste formal de hipteses para determinar se existe correlao
significativa entre duas variveis.
As hipteses nula e alternativa se expressaro como segue:
0 :
0 :
1
0
=
=
H
H
Onde a mdia
r
e desvio padro amostral s
r
de r dado :
Estatstica do teste
( )
2
1 , 2 n
r
r
c
t ~
S
r
t
o
=
Como supomos que = 0, decorre que . Mostra-se tambm
que o desvio padro de r pode ser expresso como
2
1 , 2
2
~
2
1
o

=
n c
t
n
r
r
t
Rejeita-se a hiptese nula com nvel o se
2
1 , 1
o

>
n c
t t
Teste Formal de Hipteses para a correlao linear
0
r
=
Podemos usar a seguinte estatstica do teste
( )
( ) 2 n
r 1
S
2
r
=
30 20 10 0 -10
103
102
101
100
99
98
97
96
95
94
93
X1
Y
1
r -0,891
(0,000)
15 10 5 0
110
105
100
X2
Y
2
r =0,963
(0,000)
30 20 10 0
102
101
100
99
98
X3
Y
3
r = 0,017
(0,870)
30 20 10
102
101
100
99
X4
Y
4
r = 0,279
(0,005)
15 14 13 12 11 10 9 8 7 6 5
24
23
22
21
20
19
18
17
x
y
Os modelos de regresso linear simples descreve a relao entre
uma varivel dependente ou varivel de resposta Y, e uma varivel
explicativa X,
Y = |
0
+

|
1
X + c
|
0
+ |
1
X
|
0

|
1

X
Y
Y = |
0
+

|
1
X
Colhida uma amostra de n indivduos, teremos n pares de valores
(y
i
, x
i
) que devem satisfazer ao modelo
Y
i
= |
0
+

|
1
X
i
+ c
i
i=1,2,3, ... N.
Onde: Y a varivel de resposta;
X a varivel explicativa,
|
0
o intercepto
|
1
o coeficiente angular

e
c
i
chamado de erro, ou efeito residual.
Algumas suposies para as variveis envolvidas:
1. A varivel X uma varivel supostamente controladas e no
esta sujeita a variaes aleatrias.
2. Dado um valor da varivel X, os erros c
i
distribuem-se em
torno da mdia |
0
+

|
1
X
i
, ou seja,
E(c/X) = 0
3. Supor que os erros tenham a mesma variabilidade em todos
os nveis da varivel auxiliar X. Estatisticamente, queremos
que os dados sejam homocedsticos, ou seja

2
) / (
c
o c = X Var
Y
X X
5
=33,5 X
7
=43,5
5
= |
0
+

|
1
(33,5)
Y
5
=
5
+c
5
= 12,4
7
= |
0
+

|
1
(43,5)
Y
7
=
7
+c
7
= 9,4
i
= |
0
+

|
1
X
i

temos ento n equaes e n+2 incgnitas
( )
n
c c c | | ,... , , ,
2 1 1 0
Colhida uma amostra de n indivduos, teremos n pares de valores
(y
i
, x
i
) que devem satisfazer ao modelo
Y
i
= |
0
+

|
1
X
i
+ c
i
i=1,2,3, ... N.
Y
i i
X Y
1 0

| | + =
i =1,2,3, ... n
O valor ajustado o valor na reta
Estimao dos parmetros
Precisamos introduzir um critrio adicional envolvendo os valores
c
i
e que permita encontrar as incgnitas de interesse |
0
e

|
1
.

Exemplo: Armands Pizza Parlos
Podemos estimar o valor esperado E(y) das venda
trimestrais correspondente a todos os restaurantes
localizados nas proximidades de campus universitrio com
10 mil estudantes.

Podemos prever as vendas de um restaurante popular
(restaurante com 10 mil estudantes) .

Profa. Ela Mercedes M. de Toscano
O resduo a diferena entre o valor observado e o ajustado, i.e.
i i i i i
X Y Y Y e
1 0

| | = =
Soma do quadrado dos resduos (SQR)
( ) ( )

= =
= =
n
I
i i
n
I
i i
X Y Y Y SQR
1
2
1 0
1
2

| |
i =1,2,3, ... n
Para cada valor |
0
e |
1
teremos um resultado para soma de
quadrado aquela que torna mnima esta soma de quadrados.
Derivando a soma do quadrado dos resduos (RSS) em relao |
0
e
,
|
1
e

igualando a zero, observa-se que as solues |
0
e
,
|
1
devem
satisfazer as equaes as quais produziro as solues
X Y
1 0

| | =
Estes estimadores so chamados de estimadores de
mnimos quadrados ordinrios (MQO).
1 0

| | e
( )( )
( )
=
=

=
n
i
i
n
i
i i
X X
Y Y X X
1
2
1
1
|

2
)
( min
i i
y y
Critrio dos mnimos quadrados
Estes estimadores MQO satisfazem as propriedades:
( )
0 0
E | | =
( )
( )

=
=
=
n
i
i
n
i
i
X X n
X
Var
1
2
1
2 2
0
o
|
( )
1 1
E | | =
( )
( )
=

=
n
i
i
X X
Var
1
2
2
1
o
|
1 0

| | e
Se os erros so variveis aleatrias com distribuio normal, isto ,
) , 0 ( ~
2
c
o c Normal
e como |
0
e
,
|
1
so combinaes lineares normais independentes,
ento temos que os estimadores tem distribuio Normal.
1 0

| | e
i i
X Y 5 60
+ =
Equao da regresso estimada
A inclinao da equao (b
1
=5) positiva, implicando que,
a medida que a populao estudantil aumenta, as vendas
tambm sobem.

Um aumento de mil alunos na populao estudantil
associado a um acrscimo de US$ 5 mil nas vendas
esperadas.

Podemos prever as vendas trimestrais de um restaurante
com 16 mil estudantes.
140 ) 16 ( 5 60
= + = Y
Coeficiente de Determinao
A questo : quo satisfatoriamente a equao de regresso
estimada ajusta os dados?

O coeficiente de determinao nos d uma medida de
eficincia de ajuste da equao regresso estimada.

O valor da SQR (soma do quadrado dos resduos) uma
medida do erro de se usar a equao de regresso estimada
para estimar os valores dependente da amostra Y
i
.
( ) ( )

= =
= =
n
I
i i
n
I
i i
X Y Y Y SQR
1
2
1 0
1
2

| |
O RSS=1.530 mede o erro de se usar a equao de
regresso estimada para prever as vendas.

Suponha que nos peam para desenvolver uma estimativa
das vendas trimestrais sem sabermos o tamanho da
populao estudantil.

Podemos usara mdia amostral como uma estimativa das
vendas trimestrais em qualquer restaurante.

A diferena fornece a medida do erro envolvido no
uso de para estimar as vendas.

i i
X Y 5 60
+ =
130 = Y
Y Y
i

Y
Soma dos quadrados total (SQT)

Podemos imaginar a SQT como uma medida de quo
satisfatoriamente as observaes se agrupam nas
proximidades na reta .

Tambm podemos medir quanto os valores de na reta de
regresso estimada se afasta de .

A soma dos quadrados da regresso (SQReg)

( )
2
1
=
=
n
i
i
Y Y SQT
Y
( )
2
1
Re

=
=
n
i
i
Y Y g SQ
5 10 15 20 25
6
0
8
0
1
0
0
1
2
0
1
4
0
1
6
0
1
8
0
2
0
0
Populo
v
e
n
d
a
s
Desvios nas proximidades reta de regresso estimada da reta

130 = Y
Y Y =
2
c
S
2
c
S
Relao entre SQT, SQReg e SQR
SQT = SQReg +SQR
Se para cada observao, resultando em SQR=0.

Para haver uma ajuste perfeito SQT = SQReg , e

Ajustes mais imperfeitos resultaro em valores maiores para SQR.

Note que SQR = SQT SQReg, o maior valor para SQR (pior ajuste)
ocorre quando SQReg=0 e SQR=SQT.
0
=
i i
Y Y
1
Re
=
SQT
g SQ
2
c
S
2
c
S
A medida que mede a porcentagem da variao total explicada
pelo modelo o coeficiente de determinao de uma regresso
definido por:
SQT
g SQ
R
Re
2
=
Quanto mais alto, mais linear a relao entre X e Y,
1 0
2
s s R
O coeficiente de determinao

9027 , 0
730 . 15
200 . 14 Re
2
= = =
SQT
g SQ
R
Podemos concluir que 90,27% da variabilidade das vendas
podem ser explicados por meio da relao linear existentes entre
o tamanho da populao estundantil e as vendas.

Coeficiente de determinao Ajustado (R
2
adj
)
Onde p o nmero de parmetros do modelo de regresso.
( )
( )
2
1
2
2
1
1
1
) 1 /(
) /(
1 R
p n
n
n Y Y
p n SQR
R
n
i
i
Adj

|
|
.
|
\
|
=

=
=
Teste de Significancia
Em uma equao de regresso linear simples, o valor
esperado de y uma funo linear de x:

Se o valor de b
1
=0 entao E(y) = |
0.

Neste caso, o valor medio de y no depende do valor de x.

Deste modo, para testar se uma relao de regresso
significativa, devemos realizar um teste de hipoteses para
determinar se valor de |
1
=0.

Os testes usando requerem uma estimativa de
E(y) = |
0
+

|
1
x
2
c
o
que um estimador no tendencioso de .
Assim, de um modo geral, o natural definir o estimador de
por
2
c
o
2
c
o
( )
2

2
1
2
1 0
2 2
= =

=
n
X Y
n
SQR
s
n
i
i i
| |
o
c
Se os erros c
i
na equao de regresso so i.i.d. Normais ento:
2
2
2
2
2
~
) 2 (
=
n
n SQR
_
o
o
o

Estimativa de
2
c
o
Teste de Significancia
Teste de hiptese para |
0
:
0 :
0 :
0 1
0 0
=
=
|
|
H
H
Estatstica do teste
( )
2
1 , 1
1
2
1
2 2
0
~
o
o
|

=
=
=
n
n
i
i
n
i
i
c
t
X X n
X
t
2
1 , 1
o

>
n c
t t
0 :
0 :
1 1
1 0
=
=
|
|
H
H
Estatstica do teste
( )
2
1 , 1
1
2
2
1
~
o
o
|

=

=
n
n
i
i
c
t
X X
t
2
1 , 1
o

>
n c
t t
Teste de hiptese para |
1
:
Para um nvel de significncia o = 0,05; t
99, 0,975
= 1,9867
9867 , 1 39 , 771
2
1 , 1
= > =

o
n c
t t
Rejeitamos H
0

( )
39 , 771
1295 , 0
8571 , 99
1
2
1
2 2
0
= =

=
=
n
i
i
n
i
i
c
X X n
X
t
o
|
0 :
0 :
0 1
0 0
=
=
|
|
H
H Estatstica do teste:
Testes de Hipteses para |
0
:
Ex. 1:
The regression equation is
Y1 = 99,9 - 0,183 X1
Predictor Coef SE Coef T P
Constant 99,8571 0,1295 771,39 0,000
X1 -0,182883 0,009398 -19,46 0,000
99, 0,975
= 1,9867
0 :
0 :
1 1
1 0
=
=
|
|
H
H
P-valor = 0,000 < o = 0,05 Rejeitamos H
0
1
:
quanto menor o valor do P-valor ser maior a fora de evidncia
contra H
0

Y1 = 99,9 - 0,183 X1
Constant 99,8571 0,1295 771,39 0,000
X1 -0,182883 0,009398 -19,46 0,000
2
1 ), 2 , 1 (
o

>
n c
F F
Rejeitamos H
0

) 2 /(
1 / Re
=
n SQR
g SQ
F
0 : H
0 : H
1 1
1 0
=
=
|
|
Estatstica do teste F:
Testes de Hipteses :
Estatstica do Teste F
O que nos leva a concluir que no existe evidncia de falta de
ajustamento. Ou seja, neste caso o modelo de regresso linear
adequado.
2
c
S
2
c
S
2
c
S
Fonte

g.l..

Soma Quadrados

Quadrados Mdios

F

Regresso

1

SQReg SQReg/1

SQReg/

Resduo

n-2

SQRes

SQRes/(n-2) =

total

n-1

SQT

SQT/(n-1) = S
2

Decomposio da Soma de Quadrados
SQReg = SQT - SQR
Tabela de Anlise de Varincia
ou seja SQT = SQReg +SQR
25 , 253 64 , 378
2
1 ), 2 , 1 (
= > =

o
n c
F F
Rejeitamos H
0

64 , 378
55 , 0
24 , 209
) 2 /(
1 / Re
= =
=
n SQR
g SQ
F
0 :
0 :
1 1
1 0
=
=
|
|
H
H
Estatstica do teste F:
Testes de Hipteses :
O que nos leva a concluir que no existe evidncia de falta de
ajustamento. Ou seja, neste caso o modelo de regresso linear
adequado.
Analysis of Variance

Source DF SS MS F P
Regression 1 209,24 209,24 378,64 0,000
Residual Error 98 54,16 0,55
Total 99 263,40
Anlise de Resduos
Tecnicamente, para cada observao i, temos associado o resduo
i i i
Y Y e
=
i =1,2,3, ... n
Existem diversas tcnicas para a anlise deste resduos, aqui
iremos a ressaltar a inspeo grfica.
Um grfico dos resduos contra os correspondentes valores
ajustados muito til para detectar as seguintes inadequaes
do modelo:
A equao de regresso no linear
A varincia dos erros no constante
Presena de observaes discrepantes nos dados (outliers)
i
e
i
Y

No grfico os resduos esto localizados ao redor da
reta centrada em e
i
=0.
102 101 100 99 98 97 96 95 94
2
1
0
-1
-2
-3
Fitted Value
S
t
a
n
d
a
r
d
i
z
e
d

R
e
s
i
d
u
a
l
Residuals Versus the Fitted Values
(response is Y1)
Neste grfico pode ser verificada a validade da suposio de que
os erros so no correlacionados. A presena de configuraes
especiais neste grfico pode indicar que os erros so
correlacionados.
Observamos que todos os
resduos padronizados
esto dentro da faixa:
2,00 e 2,00
no existem elementos
discrepantes.
100 90 80 70 60 50 40 30 20 10
2
1
0
-1
-2
-3
Observation Order
S
t
a
n
d
a
r
d
i
z
e
d

R
e
s
i
d
u
a
l
Residuals Versus the Order of the Data
(response is Y1)
Grfico de Probabilidade Normal:
Atravs da anlise dos grficos acima verifica-se que a
suposio de normalidade no foi violada, pois o P-valor > o,
ento no rejeita-se H
0
.
Teste de Hiptese: H
0
: Os erros seguem distribuio Normal
vs. H
1
: Os erros no seguem distribuio Normal.
2 1 0 -1 -2 -3
20
10
0
Standardized Residual
F
r
e
q
u
e
n
c
y
Histogram of the Residuals
(response is Y1)
P-Value: 0,890
A-Squared: 0,194
Anderson-Darling Normality Test
N: 100
StDev: 0,739614
Average: -0,0000000
1 0 -1 -2
,999
,99
,95
,80
,50
,20
,05
,01
,001
P
r
o
b
a
b
i
l
i
t
y
RESI1
Normal Probability Plot
Intervalo de Confiana para a Mdia da varivel
dependente e para uma observao:
0 1 0 0
X Y
| |

+ =
O modelo desenvolvido, at aqui, na maioria das vezes ser
utilizado para fazer previses da varivel resposta Y para
algum nvel desejado da varivel X.
Se temos especificado o valor X
0
da varivel independente X, ento
a estimao pontual da mdia da varivel dependente Y.
0 1 0 0
X | | + =
E a previso pontual do valor de uma observao individual da
varivel dependente
( ) . X X / Y E
0 1 0
| | + =
que estimado por
X

Y
1 0
| | + =
cujas propriedades so:
( ) X X / Y
E
1 0
| | + =
( )
( )
( )
(
(
(
(
(
+ =
=
n
1 i
2
i
2
i
n
1
2
e
X X
X X
X / Y
Var

o
Intervalo de Confiana para a Mdia da varivel dependente:
Intervalo de Confiana para a Mdia da varivel dependente:
( )
( )
( )
(
(
=
n
1 i
2
i
2
0
X X
X X
n
1
0 0
, Normal ~ Y
( )
( ) (
(
|
|
.
|
\
|
+

=
n
1 i
2
i
2
0
X X
X X
n
1
e 2 / , 2 n 0
s t Y

o
Todos os possveis valores de Y
0
tem uma distribuio normal:
Substituindo por podemos escrever o IC (1-o)% para a
mdia de Y:
2
e
o
2
e
S
Vejamos agora como construir um IC para uma futura observao Y,
a um dado nvel conhecido da varivel auxiliar X. Ela ser estimada
pela reta
( )
( ) (
(
|
|
.
|
\
|
+ +

=
n
1 i
2
i
2
0
X X
X X
n
1
e 2 / , 2 n 0
1 s t Y

o
Substituindo por podemos escrever o IC (1-o)% para
0
:
0 0 1 0 0 0 0
X e Y c | | + + = + =
e o desvio de previso ser dado por cujas propriedades so: Y
Y
( ) 0 Y
Y E =
( ) ( ) ( )
( )
( )
+ + = + =
n
1 i
2
i
0 2
e
2
e 2
e
X X
X X
n
Y
Var Y Var Y
Y Var o
o
o
2
e
o
2
e
S
Intervalo de Confiana para uma observao da varivel
dependente:
Predicted Values for New Observations

New Obs Fit SE Fit 95,0% CI 95,0% PI
1 96,017 0,118 (95,783; 96,250) (94,523; 97,510)

Values of Predictors for New Observations

New Obs X1
1 21,0

No exemplo, Y1 = 99,9 - 0,183 X1

Intervalo de Confiana para Mdia e uma observao da
varivel dependente:
Observe-se que, como era esperado, o IC para uma observao
bem maior do que aquele para a mdia.
IC 95% para
mdia
IC 95% para
uma observao
30 20 10 0 -10
103
102
101
100
99
98
97
96
95
94
93
X1
Y
1
S = 0,743378 R-Sq = 79,4 % R-Sq(adj) = 79,2 %
Y1 = 99,8571 - 0,182883 X1
95% CI
Regression
Regression Plot
O intervalo de confiana para a mdia
IC 95% para a
mdia
30 20 10 0 -10
104
99
94
X1
Y
1
S = 0,743378 R-Sq = 79,4 % R-Sq(adj) = 79,2 %
Y1 = 99,8571 - 0,182883 X1
95% PI
Regression
Regression Plot
IC 95% para uma
observao
O Intervalo de Confiana para uma observao
50 40 30 20 10
25
20
15
10
X
Y
Pearson correlation of X and Y = 0,933
P-Value = 0,000
Ex. 2:

Y = 0,73 + 0,498 X

Constant 0,725 1,549 0,47 0,646
X 0,49808 0,04952 10,06 0,000
0 :
0 :
0 1
0 0
=
=
|
|
H
H
99, 0,975
= 2,1199
0
: Estatstica do teste:
( )
47 , 0
549 , 1
725 , 0
1
2
1
2 2
0
= =

=
=
n
i
i
n
i
i
c
X X n
X
t
o
|
1199 , 2 47 , 0
2
1 , 1
= < =

o
n c
t t
NO rejeitamos H
0


Y = 0,73 + 0,498 X
Constant 0,725 1,549 0,47 0,646
X 0,49808 0,04952 10,06 0,000
0 :
0 :
1 1
1 0
=
=
|
|
H
H
0
1
:
Analysis of Variance
Source DF SS MS F P
Regression 1 307,26 307,26 101,16 0,000
Residual Error 15 45,56 3,04
0 :
0 :
1
1 0 0
=
= =
i
H
H
|
| |
0
1
:
Estatstica do Teste F
O modelo consegue explicar o 87% da variabilidade de Y .
S = 1,743 R-Sq = 87,1% R-Sq(adj) = 86,2%
25 15 5
2
1
0
-1
Fitted Value
S
t
a
n
d
a
r
d
i
z
e
d

R
e
s
i
d
u
a
l
Residuals Versus the Fitted Values
(response is Y)
16 14 12 10 8 6 4 2
2
1
0
-1
Observation Order
S
t
a
n
d
a
r
d
i
z
e
d

R
e
s
i
d
u
a
l
Residuals Versus the Order of the Data
(response is Y)
2,0 1,5 1,0 0,5 0,0 -0,5 -1,0 -1,5
4
3
2
1
0
Standardized Residual
F
r
e
q
u
e
n
c
y
Histogram of the Residuals
(response is Y)
P-Value: 0,268
A-Squared: 0,433
Anderson-Darling Normality Test
N: 17
StDev: 1,68746
Average: -0,0000000
3 2 1 0 -1 -2
,999
,99
,95
,80
,50
,20
,05
,01
,001
P
r
o
b
a
b
i
l
i
t
y
RESI1
Normal Probability Plot
50 40 30 20 10
30
20
10
0
X
Y
S = 1,74280 R-Sq = 87,1 % R-Sq(adj) = 86,2 %
Y = 0,725380 + 0,498081 X
95% PI
95% CI
Regression
Regression Plot
X Fit SE Fit
30,0 15,668 0,423
95,0% CI
(14,767; 16,569)
95,0% PI
(11,845; 19,490)

Regressao Linear

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Regressao Linear

Enviado por

Direitos autorais:

Formatos disponíveis

Regresso Linear Simples

Regresso Linear Simples

Você também pode gostar