Universidade Federal Fluminense

Instituto de Matemtica e Estatstica

Regresso Linear Simples

Ana Maria Lima de Farias

Departamento de Estatstica
.
Contedo

1 Inferncia sobre a mdia e a varincia de uma populao normal 2

2 O Modelo Clssico de Regresso Linear Simples 5

2.1 Um Exemplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 O Modelo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3 Estimao dos parmetros por mnimos quadrados . . . . . . . . . . . . . . . . . 10

2.4 Inclinao da reta de regresso e coeficiente de correlao . . . . . . . . . . . 13

2.5 A reta de regresso amostral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.6 O coeficiente de determinao R 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.7 Propriedades dos estimadores de mnimos quadrados . . . . . . . . . . . . . . . 17

2.8 O estimador de 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.9 Distribuio amostral dos estimadores

b0 ,
b1 e b 2 . . . . . . . . . . . . . . . . . 26

2.10 Inferncia no modelo de regresso linear simples . . . . . . . . . . . . . . . . . . 28

2.11 Anlise de varincia no modelo de regresso linear simples . . . . . . . . . . . 29

2.12 Exemplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Captulo 1

Inferncia sobre a mdia e a varincia de

uma populao normal

Seja Y1 , Y2 , . . . , Yn uma amostra aleatria simples de uma populao normal com mdia e
varincia 2 . Isso significa que as Yi s so independentes e identicamente distribudas (iid),
cada uma com distribuio N(, 2 ). Ento temos que E(Yi ) = e podemos escrever

Yi = + ui

em que os ui s so iid e ui N(0; 2 ); os ui s so os erros estocsticos ou aleatrios. Esse

o modelo terico subjacente ao nosso problema.

Na Figura 1.1 ilustra-se essa situao; a, usamos um eixo cartesiano bidimensional e o

fato de E(Yi ) no depender de qualquer outra varivel X est ilustrado pelo tipo de relao:
E(Yi ) constante, qualquer que seja o valor de X .

Os valores observados so representados pelos pontos e a partir desses valores temos

que estimar , ou seja, temos que ajustar uma reta Y =
b da melhor forma possvel. Veja
a Figura 1.2. Note que os valores observados no estaro sobre a reta Y = b; na verdade,
eles apresentam uma disperso em torno dessa reta tima. Podemos escrever, ento, que

Yi =
b + i

em que
i = Yi
b
o resduo. Note que o resduo a diferena entre o valor realmente observado e o valor
dado pelo nosso modelo, ou seja, o resduo a diferena entre o valor observado e o valor
ajustado pelo modelo.

2
CAPTULO 1. INFERNCIA SOBRE A MDIA E A VARINCIA DE UMA POPULAO
NORMAL

Figura 1.1 Funo de regresso populacional Yi = + ui

Figura 1.2 Funo de regresso amostral Yi = b + i

Para estimar a mdia populacional , vimos que a mdia amostral o estimador na-
tural. Na verdade, Y tambm o estimador de mnimos quadrados, ou seja, Y minimiza a
soma dos quadrados dos resduos. Vamos denotar por Q() essa soma dos quadrados dos
resduos. Ento n n
X X
Q(b) = i =
2
(Yi
b)2
i=1 i=1

O valor
b que minimiza essa soma (para um bom ajuste, os resduos devem ser pequenos!)
obtido derivando-se Q(b
) com relao a
b, igualando-se essa derivada a zero e confirmando

Departamento de Estatstica Ana Maria Farias 3

CAPTULO 1. INFERNCIA SOBRE A MDIA E A VARINCIA DE UMA POPULAO
NORMAL

que o ponto realmente um ponto de mnimo.

n
dQ(b
) X
= 0 2 (Yi
b) = 0
db
i=1
n
X n
X
(Yi
b) = 0 Yi nb
=0
i=1 i=1

b=Y

d2 Q(b ) 
= 2n > 0
db 2 b=Y
Logo,
b = Y , de fato, um ponto de mnimo, e Y o estimador de mnimos quadrados de .

Como Y uma combinao linear de normais, vimos que

Y
 
2
Y N ; n N(0; 1)
n

(n 1)S 2
2 (n 1) (1.1)
2
Y
n t(n 1) (1.2)
S
onde n n
1 X 1 X 2
S =
2
(Yi Y )2 =
n 1 i=1 n 1 i=1 i

o estimador no-viesado de 2 . Note que esse estimador a soma dos quadrados dos
resduos, dividida por n 1. A partir de (1.2) e (1.1) obtivemos intervalos de confiana e
construmos testes de hipteses para a mdia e para a varincia de uma populao normal.

Departamento de Estatstica Ana Maria Farias 4

Captulo 2

O Modelo Clssico de Regresso Linear

Simples

2.1 Um Exemplo

Consideremos uma populao formada por 60 famlias, para as quais queremos fazer um
estudo sobre os gastos com consumo. Na tabela 2.1 apresentamos um conjunto de dados
hipotticos sobre a renda lquida semanal e gastos semanais com consumo. Aqui estamos
supondo que podemos dividir as 60 famlias em grupos com aproximadamente a mesma renda.

Tabela 2.1 Renda e consumo semanal de 60 famlias

Renda familiar semanal

80 100 120 140 160 180 200 220 240 260
Despesas 55 65 79 80 102 110 120 135 137 150
semanais 60 70 84 93 107 115 136 137 145 152
com 65 74 90 95 110 120 140 140 155 175
consumo 70 80 94 103 116 130 144 152 165 178
75 85 98 108 118 135 145 157 175 180
88 113 125 140 160 189 185
115 162 191
Total 325 462 445 707 678 750 685 1043 966 1211
Nmero de famlias 2 6 5 7 6 6 5 7 6 7

A forma de interpretar essa tabela a seguinte: por exemplo, para uma renda semanal
de $80, existem 5 famlias, cujos gastos variam de $55 a $75. Cada coluna da tabela
fornece a distribuio condicional de Y (consumo), dado o valor de X (renda). Como esses
dados representam toda a populao, podemos calcular as probabilidades condicionais P(Y =
1
Yj | X = Xi ) P(Y | Xi ). Por exemplo, P(Y = 70 | X = 80) = .
5

5
CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Ento, para X = 80 podemos calcular distribuio de probabilidades condicionais:

Y 55 60 65 70 75
P(Y | X = 80) 1/5 1/5 1/5 1/5 1/5
e para essa distribuio temos que
1 1 1 1 1
E(Y |X = 80) = 55 + 60 + 65 + 70 + 75 = 65
5 5 5 5 5
Da mesma forma, podemos calcular as distribuies de probabilidades condicionais com as
respectivas esperanas condicionais para todos os valores de X . Essas distribuies esto
resumidas na tabela 2.2 abaixo.
Tabela 2.2 Distribuio condicional do consumo dada a renda

Renda familar semanal (X )

80 100 120 140 160 180 200 220 240 260
Probabilidades 1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7
condicionais 1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7
P(Y | Xi ) 1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7
1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7
1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7
1/6 1/7 1/6 1/6 1/7 1/6 1/7
1/7 1/7 1/7
E(Y | Xi ) 65 77 89 101 113 125 137 149 161 173

Na Figura 2.1 temos o grfico que representa os gastos individuais e as rendas das 60
famlias. A reta a exibida representa o comportamento das mdias ou esperanas condicio-
nais para cada valor da renda. Podemos ver que, para cada nvel de renda, h variaes nos
gastos individuais mas existe uma tendncia crescente mdia, isto , aumentando a renda, o
gasto mdio com consumo tende a aumentar. Mais precisamente, E (Y | Xi ) aumenta medida
que aumenta a renda.

O que esse exemplo ilustra o conceito de curva de regresso populacional, que nada
mais que o lugar geomtrico das esperanas condicionais da varivel dependente Y para
valores fixos das variveis independentes. No caso de uma varivel independente, podemos
definir a funo de regresso populacional

E (Y | Xi ) = f (Xi ) (2.1)
A funo f pode ser qualquer. O modelo mais simples sup-la linear, o que nos d o modelo
linear
E (Y | Xi ) = 0 + 1 Xi (2.2)
Nesse caso, temos a funo de regresso linear populacional.

O que a funo de regresso linear populacional nos d o comportamento mdio da

populao, para cada nvel de renda X . Podemos ver, no entanto, que para cada nvel de

Departamento de Estatstica Ana Maria Farias 6

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Figura 2.1 Reta de regresso populacional Yi = 0 + 1 Xi + ui

renda X , existe uma flutuao dos valores de Y em torno da sua esperana condicional. Na
Figura 2.2, esse fato ilustrado para a situao em que os Yi s vm de uma distribuio
normal. Ento, para uma determinada famlia com renda Xi temos que o gasto com consumo
pode ser escrito como
Yi = E (Y | Xi ) + ui (2.3)
No caso do modelo linear, essa equao se torna:
Yi = 0 + 1 Xi + ui (2.4)

O termo ui chamado perturbao ou erro estocstico.

Na prtica, temos apenas uma amostra da populao, o que equivale a dizer que, para
cada X , temos um nico valor observado de Y . E a partir dessa amostra temos que estimar
a reta de regresso populacional. Isso significa que a partir da amostra temos que obter a
funo de regresso amostral (essa a verso amostral da equao (2.2) ):
Ybi =
b0 +
b1 Xi (2.5)
onde Ybi um estimador para E (Y | Xi ) e
b0 e
b1 so estimadores para 0 e 1 . Para cada
observao especfica, temos a seguinte equao, que a contrapartida amostral de (2.4):
Yi =
b0 +
b1 Xi + u
bi
b1 +
b2 Xi + i

que nos diz que os valores observados de Y esto em torno da reta de regresso amostral,
conforme ilustrado na Figura 2.3. Os i , que so a contrapartida amostral dos ui , so
chamados resduos ou erros.

Departamento de Estatstica Ana Maria Farias 7

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Figura 2.2 Reta de regresso populacional Yi = 0 + 1 Xi + ui modelo

linear normal

Figura 2.3 Reta de regresso amostral Yi =

b0 +
b1 Xi + i

A questo fundamental que se coloca como escolher a funo de regresso amostral

de forma que ela seja uma boa aproximao da funo de regresso populacional, isto , temos
que determinar b0 e
b1 de modo que eles estejam prximos dos verdadeiros (e desconhecidos)
valores de 0 e 1 .

Departamento de Estatstica Ana Maria Farias 8

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

2.2 O Modelo

O modelo dado pela seguinte equao

E(Yi |Xi ) = 0 + 1 Xi
ou

Yi = 0 + 1 Xi + ui (2.6)
com as seguintes hipteses:

1. As Xi s so no estocsticas ou no correlacionadas com os ui s.

2. Os erros ui s so variveis aleatrias normais tais que:

(a) E (ui ) = 0 i
(b) Var(ui ) = 2
i (homocedasticidade)


(c) Cov ui , uj = 0 i 6= j

Essas propriedades podem ser resumidas atravs da seguinte notao

ui IN 0 , 2 i (2.7)
onde IN significa independente e normal. Veja a Figura 2.2.

Como os Yi s so funes lineares de variveis aleatrias normais, segue que eles pr-
prios so tambm normais. Temos que:
E(Yi ) = 0 + 1 Xi i Reta de regresso populacional
Var(Yi ) = 2
i
Cov(Yi , Yj ) = 0 i 6= j

Esses resultados seguem facilmente das seguintes propriedades da esperana, da vari-

ncia e da covarincia de variveis aleatrias: se a e b so constantes e X e Y so variveis
aleatrias, ento
E(X + a) = E (X ) + a Var(X + a) = Var(X ) Cov(X + a, Y + b) = Cov(X , Y )

De fato, como os Xi s so no estocsticos, temos que

E (Yi ) = E(0 + 1 Xi + ui ) = 0 + 1 Xi + E(ui ) = 0 + 1 Xi + 0
Var(Yi ) = Var(0 + 1 Xi + ui ) = Var(ui ) = 2


Cov Yi , Yj = Cov(0 + 1 Xi + ui , 0 + 1 Xj + uj ) = Cov(ui , uj ) = 0

Podemos, ento, resumir os resultados sobre os Yi s da seguinte forma:

Yi IN 0 + 1 Xi , 2 (2.8)

Departamento de Estatstica Ana Maria Farias 9

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

2.3 Estimao dos parmetros por mnimos quadrados

A reta de regresso populacional

E (Yi |Xi ) = 0 + 1 Xi

O objetivo estimar essa reta a partir de uma amostra, obtendo-se a reta de regresso
amostral
Ybi =
b0 +
b1 Xi

O erro dessa estimativa dado pelo resduo

i = Yi Ybi = Yi
b0
b1 Xi (2.9)

O mtodo dos mnimos quadrados consiste em determinar

b0 e
b1 que minimizem a
soma dos quadrados dos resduos, isto , que minimizem
  Xn  2
Q 0 , 1 =
b b Yi
b0
b1 Xi (2.10)
i=1

Calculando as derivadas parciais de primeira e segunda ordem obtemos que:

n
Q X 
= 2 Yi 0 1 Xi
b b

b0
i=1
Xn n
X n
X
= 2 Yi + 2
b0 + 2
b1 Xi
i=1 i=1 i=1

= 2nY + 2nb0 + 2n
b1 X
 
Q
= 2n > 0

b0 b0

n
Q X 
= 2 Yi 0 1 Xi Xi
b b

b1
i=1
Xn n
X n
X
= 2 Xi Yi + 2
b0 Xi + 2
b1 X 2
i
i=1 i=1 i=1
Xn n
X Xn
= 2 Xi Yi + 2
b0 Xi +
b1 Xi2
i=1 i=1 i=1

  n
Q X
= Xi2 > 0

b1
b1
i=1

Departamento de Estatstica Ana Maria Farias 10

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Igualando as derivadas de primeira ordem a zero, obtemos:

n n n
Q X X X
=0 Yi +
b0 +
b1 Xi = 0

b0
i=1 i=1 i=1
n
X n
X n
X
Yi
b0
b1 Xi = 0 (2.11)
i=1 i=1 i=1

b0 +
b1 X = Y (2.12)

n n n
Q X X X
= 0 2 Xi Yi + 2
b0 Xi +
b1 Xi2 = 0
1
b
i=1 i=1 i=1
n
X n
X n
X
Xi Yi =
b0 Xi +
b1 Xi2 (2.13)
i=1 i=1 i=1
n
X X n n
X

b0 Xi +
b1 Xi2 = Xi Yi (2.14)
i=1 i=1 i=1

As equaes (2.12) e (2.14) so chamadas equaes normais.

Da equao (2.12) obtemos que

b0 = Y
b1 X

Substituindo na equao (2.14), obtemos:

 n
X n
X n
X
Y
b1 X Xi +
b1 Xi2 = Xi Yi
i=1 i=1 i=1
  n
X n
X
Y
b1 X nX +
b1 Xi2 = Xi Yi
i=1 i=1
n
! n
X X
nX Y + Xi2 nX Xi Yi
2
b1 =
i=1 i=1
n
P n
P


Xi Yi nX Y Xi X Yi Y
b1 = i=1

i=1
n
P = n
P
2 (2.15)
Xi2 nX Xi X
2

i=1 i=1

Departamento de Estatstica Ana Maria Farias 11

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Aqui usamos as seguintes igualdades:

n
X n
X




Xi X Yi Y = Xi Yi Xi Y X Yi + X Y
i=1 i=1
n
X n
X n
X n
X
= Xi Yi Y Xi X Yi + XY
i=1 i=1 i=1 i=1
n
X
= Xi Yi Y nX X nY + nX Y
i=1
n
X
= Xi Yi nX Y
i=1

n
X n 
X 

2
Xi X Xi2 2Xi X + X
2
=
i=1 i=1
Xn n
X
Xi2 2X Xi + nX
2
=
i=1 i=1
Xn
Xi2 2X nX + nX
2
=
i=1
Xn
Xi2 nX
2
=
i=1

Como as derivadas de segunda ordem so positivas, temos, de fato, um ponto de mnimo.

Estabelecendo as seguintes notaes:

n
X n
X

2


SX X = Xi X SX Y = Xi X Yi Y (2.16)
i=1 i=1

podemos escrever os estimadores de mnimos quadrados como:

b1 = SX Y
(2.17)
SX X

b0 = Y
b1 X (2.18)

Note que, das equaes (2.9), (2.11) (2.13), resultam as seguintes propriedades dos
resduos: X
i = 0 (2.19)
X
i Xi = 0 (2.20)
Essas duas equaes so a contrapartida das hipteses feitas sobre os ui s na populao:
ui s e i s tm mdia zero e so no correlacionados com os Xi s.

Departamento de Estatstica Ana Maria Farias 12

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

2.4 Inclinao da reta de regresso e coeficiente de correla-

o

O coeficiente b1 o coeficiente angular ou inclinao da reta de regresso amostral; sendo

assim, ele estima o quanto Y varia quando X varia de 1 unidade. Por outro lado, o coeficiente
de correlao entre duas variveis mede o grau de associao linear entre elas. Sendo assim,
razovel esperar que haja alguma relao entre b1 e o coeficiente de correlao entre X e
Y . Por definio, o coeficiente de correlao populacional entre duas variveis X e Y
Cov (X , Y )
X Y =
X Y
onde Cov (X , Y ) a covarincia entre X e Y , X e Y so os desvios padro de X e Y , definidos
por
Cov (X , Y ) = E [X E(X )] [Y E(Y )]
p q
X = Var (X ) = E [X E(X )]2
p q
Y = Var (Y ) = E [Y E(Y )]2
Dada uma amostra da populao bidimensional (X , Y ), esses parmetros so estimados por:
X n


d ,Y) = 1
Cov(X (Xi X ) Yi Y
n i=1
v v
u n u n
u1 X
2 u 1 X
bX (X ) = t Xi X = t X2 X
2
n i=1 n i=1 i
n
P


Xi X Yi Y
i=1 SX Y
rX Y = s s =
n
P
2 n
P
2 SX X SY Y
Xi X Yi Y
i=1 i=1

Isso pode ser reescrito como

s
SX Y SX Y SX X SX Y SX X
rX Y = = =
SX X SY Y SX X SY Y SX X SX X SY Y
ou s
SX X
rX Y =
b1 (2.21)
SY Y

O coeficiente de correlao uma medida de associao linear entre as variveis X e

Y , mas ele no quantifica qualquer relao de causa/efeito. Temos, assim, que ele uma

Departamento de Estatstica Ana Maria Farias 13

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

quantidade simtrica, isto , rX Y = rY X . J para o coeficiente

b1 no existe tal simetria; em
muitos casos, ajustar uma regresso de X em Y no tem sequer sentido econmico.

Outras propriedades importantes do coeficiente de correlao so que (i) ele varia no

intervalo [1, 1]; (ii) valores prximos de 1 indicam forte associao linear positiva (isto ,
crescendo X , Y tende a crescer na mesma direo) e valores prximos de 1 indicam forte
associao linear negativa; (iii) valores prximos de 0 indicam ausncia de associao linear.
Aqui cabe ressaltar que essa uma medida de associao linear; por exemplo, se Y = X 2
numa relao perfeita, o coeficiente de correlao entre X e Y ser nulo, apesar da relao
exata entre as variveis.

2.5 A reta de regresso amostral

A reta de regresso amostral dada pela seguinte equao:

Ybi = b1 Xi = Y
b1 + b1 X +
b1 Xi

ou

Ybi = Y +
b1 Xi X (2.22)

A partir dessa equao obtemos as seguintes propriedades da reta:

1. A reta passa pelo ponto X , Y .
De fato: fazendo Xi = X na equao, resulta Ybi = Y .

2. A mdia dos Y s estimados igual mdia dos Y s observados. Embora os Ybi no

coincida extamente com os Yi , em mdia, os valores so iguais.
De fato:
1Xb 1 Xh
i 1 X
b1 X
1
b1
Y =
b Yi = Y + 1 Xi X =
b Y+ Xi X = nY + 0 = Y
n n n n n n

3. Os resduos so no correlacionados com os valores preditos Ybi .

De fato: usando a definio de correlao amostral e a equao (2.19), tem-se que;

   X  X 
1X b 1 1 1X b
Cov i , Ybi = i Yi i Ybi = i Yi
n n n n
1 hX  b i 1 h X X i
= i 0 + 1 Xi =
b 0
b i + 1
b i Xi
n n
Das equaes (2.19) e (2.20), conclui-se que
 
Cov i , Ybi = 0 (2.23)

Departamento de Estatstica Ana Maria Farias 14

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

4. Vamos calcular a soma dos quadrados dos resduos ou erros, que denotaremos por SQE.
Noa captulo anterior, vimos que aSQ estava diretamente relacionada estimativa de
2.
X X 2 X h

i2
SQE = i =
2
Yi Yi =
b Yi Y 1 Xi X
b =
X
2 X
2 X


= Yi Y + b2
1 Xi X 2 b1 Xi X Yi Y =
SX2 Y SX2 Y SX2 Y
= SY Y + SXX 2b S
1 XY = SYY + 2
SX2 X SX X SX X
ou
SQE = SY Y b 1 SX Y (2.24)
Como, em geral, SY Y > 0 (note que SY Y mede a varincia dos Yi s) podemos escrever:
!  
b SX Y SX2 Y
SQE = SY Y 1 = SY Y 1
SY Y SX X SY Y

ou seja

SQE = SY Y 1 rX2 Y (2.25)

2.6 O coeficiente de determinao R 2

Consideremos a funo de regresso amostral ilustrada na Figura 2.4 a seguir. O segmento

verde representa o resduo Ti Ybi para uma observao especfica e o segmento laranja
representa a distncia vertical Ybi Y para essa mesma observao. Da podemos ver que
vlida a seguinte decomposio:
   
Yi Y = Yi Ybi + Ybi Y (2.26)

Isso significa que a variao de Yi em torno de sua mdia pode ser decomposta em 2
parcelas:

Yi Ybi resduo
Ybi Y parte explicada pela regresso (note que no lugar de Yi aparece Ybi )

Elevando ambos os membros de (2.26) ao quadrado e somando para todas as observa-

es, obtemos:
n
X n h
X   i2

2
Yi Y = Yi Yi + Yi Y
b b =
i=1 i=1
Xn  2 n 
X 2 n 
X  
= Yi Ybi + Ybi Y +2 Yi Ybi Yi Y
b
i=1 i=1 i=1

Departamento de Estatstica Ana Maria Farias 15

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

   
Figura 2.4 Yi Y = Yi Ybi + Ybi Y

Mas
n 
X   Xn   n 
X  Xn n
X
Yi Ybi Yi Y =
b Yi Yi Yi Y
b b Yi Yi =
b i Yi Y
b i = 0
i=1 i=1 i=1 i=1 i=1

pelas equaes (2.19) e (2.23). Segue, ento, que:

n
X n 
X 2 n 
X 2

2
Yi Y = Yi Ybi + Ybi Y (2.27)
i=1 i=1 i=1

Vamos estabelecer as seguintes notaes/definies:

n
P
2
Yi Y = SQT = soma dos quadrados total (Note que SQT = SY Y )
i=1

n 
P 2
Yi Ybi = SQE = soma dos quadrados dos resduos ou erros
i=1

Departamento de Estatstica Ana Maria Farias 16

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

n 
P 2
Ybi Y = SQR = soma dos quadrados devidos regresso
i=1

Dessa forma, podemos escrever:

SQT = SQE + SQR (2.28)
Como, em geral, a soma dos quadrados total diferente de zero, podemos escrever:
SQE SQR
1= +
SQT SQT
Num ajuste bom, a soma dos quadrados dos resduos deve ser pequena, isto , SQE ' 0 e,
SQR
portanto, ' 1. Isso nos leva a definir o coeficiente de determinao como uma medida
SQT
da bondade do ajuste:
Pn  2
Ybi Y
SQR i=1
R2 = = P n (2.29)
SQT
2
Yi Y
i=1

Usando (2.25), obtemos que:

SQR SQT SQE SQE SY Y 1 rX2 Y
R =
2
= =1 =1 = rX2 Y
SQT SQT SQT SY Y
Logo,
rX Y = R2 (2.30)

No contexto de regresso, o coeficiente de determinao R 2 faz mais sentido, uma vez

que estamos explicando Y atravs de X . Alm disso, veremos que no contexto de regresso
linear mltipla (mais de uma varivel explicativa X ), o coeficiente de correlao simples passa
a ter um significado bem mais restrito.

2.7 Propriedades dos estimadores de mnimos quadrados

TEOREMA 2.1 Os estimadores

b0 e
b1 so combinaes lineares das variveis aleatrias
Yi .

Demonstrao

n
P

n
P

Xi X Yi Y Xi X Yi n n

b1 = SX Y = i=1 i=1 Y X
X Xi X
= Xi X = Yi
SX X SX X SX X SX X i=1 i=1
SX X

Departamento de Estatstica Ana Maria Farias 17

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Definindo

Xi X
ci = (2.31)
SX X
temos que
n
X

b1 = ci Yi (2.32)
i=1

o que prova o resultado para

b1 .

Para o estimador
b0 temos que:

X n X X n n  
b1 X = 1
b0 = Y Yi X ci Yi =
1
ci X Yi
n i=1 i=1 i=1
n

Definindo
1
di = ci X (2.33)
n
resulta que
n
X

b0 = di Yi (2.34)
i=1

TEOREMA 2.2 Os coeficientes ci e di satisfazem as seguintes propriedades:

n
X n
X n
X
1
ci = 0 ci2 = c i Xi = 1 (2.35)
i=1 i=1
SX X i=1

n
P
n
X n
X Xi2 n
X
i=1
di = 1 di2 = di Xi = 0 (2.36)
i=1 i=1
nSX X i=1
n
X X
c i di = (2.37)
i=1
SX X

Demonstrao

n n
X 1 X
1
ci = Xi X = 0=0
i=1
SX X i=1 SX X

Departamento de Estatstica Ana Maria Farias 18

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

n
P
2
n Xi X
X i=1 SX X 1
ci2 = = =
i=1
SX2 X SX X
2 SX X

n
X n n
1 X
1 X


c i Xi = Xi X Xi = Xi X Xi X + X =
i=1
SX X i=1 SX X i=1
n n
1 X
2 X X
SX X X
= Xi X + Xi X = + 0=1
SX X i=1 SX X i=1 SX X SX X

n n   n
X X 1 1 X
di = ci X = nX ci = 1
i=1 i=1
n n i=1

n n  2 n n n
X
2
X X 1 X 1 2X 2 2X X 1
di2 = ci X = +X ci ci = + =
i=1 i=1
n i=1
n2 i=1
n i=1 n SX X
n
P
Xi2 nX + nX
2 2
n
SX X + nX
2
i=1 1 X 2
X
nSX X i=1 i
= = =
nSX X nSX X

n n   n n
X X 1 1X X
d i Xi = ci X Xi = Xi X c i Xi = X X 1 = 0
i=1 i=1
n n i=1 i=1

n n   n n
X X 1 1X X X
c i di = ci ci X = ci X ci2 = 0
i=1 i=1
n n i=1 i=1
SX X

TEOREMA 2.3
b0 e
b1 so estimadores no viesados de 0 e 1 respectivamente.

Demonstrao

n
! n n
  X X X
E
b1 = E ci Yi = ci E (Yi ) = ci (0 + 1 Xi ) =
i=1 i=1 i=1
n
X n
X
= 0 c i + 1 ci Xi = 0 0 + 1 1 = 1
i=1 i=1

Departamento de Estatstica Ana Maria Farias 19

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

n
! n n
  X X X
E
b0 = E di Yi = di E (Yi ) = di (0 + 1 Xi ) =
i=1 i=1 i=1
n
X n
X
= 0 di + 1 d i Xi = 0 1 + 1 0 = 0
i=1 i=1

TEOREMA 2.4 As varincias dos estimadores

b0 e
b1 so dadas por
  2
Var
b1 = (2.38)
SX X
P 2
  Xi 2
Var 0 =
b (2.39)
nSX X

Demonstrao

n
! n n
  X X X
X X 2
Var
b1 = Var ci Yi = ci2 Var (Yi )+ ci cj Cov Yi , Yj = ci2 2 + ci cj 0 =
i=1 i=1 i=1
SX X
i6=j i6=j

n
P
  n
X
! n
X X n Xi2

X X i=1
Var
b0 = Var di Yi = di2 Var (Yi )+ di dj Cov Yi , Yj = di2 2 + di dj 0 = 2
i=1 i=1 i=1
nSX X
i6=j i6=j

TEOREMA 2.5 As distribuies dos estimadores

b0 e b1 so dadas por
 P 2 
Xi 2

b0 N 0 ; (2.40)
nSX X
 
2

b1 N 1 ; (2.41)
SX X

Departamento de Estatstica Ana Maria Farias 20

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Demonstrao

Como b0 e b1 so ambos combinaes lineares das variveis normais Yi , seque que

b0 e
b1 tambm tm distribuio normal. A mdia e a esperana so como calculadas nos
teoremas anteriores.


TEOREMA 2.6 A covarincia entre

b0 e
b1 dada por
  X 2
Cov 0 , 1 =
b b (2.42)
SX X

Demonstrao

Lembrando que os Yi s so variveis aleatrias normais independentes (logo, C ov(Yi , Yj ) =

0 para i 6= j), resulta que:
n n
!
  X X
Cov b0 ,
b1 = Cov di Yi ; ci Yi = Cov (d1 Y1 + + dn Yn ; c1 Y1 + + cn Yn )
i=1 i=1
= Cov (d1 Y1 ; c1 Y1 ) + + Cov (d1 Y1 ; cn Yn ) +
+ Cov (dn Yn ; c1 Y1 ) + + Cov (dn Yn ; cn Yn )
= Cov (d1 Y1 ; c1 Y1 ) + + Cov (dn Yn ; cn Yn )
n n
X X X 2
= ci di Var (Yi ) = c i di 2 =
i=1 i=1
SXX

TEOREMA 2.7 [GAUSS-MARKOV] Dadas as hipteses do modelo de regresso linear cls-

sico, os estimadores de mnimos quadrados
b0 e
b1 tm a menor varincia dentro da classe
dos estimadores lineares no viesados.

Demonstrao

PARTE 1: Seja
e1 um estimador linear no viesado de 1 . Isso significa que:
X  

e1 = ki Yi E e1 = 1

Mas
  X  X X
E
e1 = 1 E ki Yi = 1 ki E (Yi ) = 1 ki (0 + 1 Xi ) = 1
X X
ki = 0 ki Xi = 1

Departamento de Estatstica Ana Maria Farias 21

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Lembrando que os Yi s so normais independentes com a mesma varincia 2 , temos

que:   X
Var
e1 = 2 ki2
Como queremos o estimador linear no viesado de mnima varincia, temos que
X
min ki2

sujeito s restries
X
ki = 0
X
ki Xi = 1

Usando o mtodo dos multiplicadores de Lagrange, tomemos as derivadas parciais de

X X X 
Q (k1 , . . . , kn , 1 , 2 ) = ki 1
2
ki 2 ki Xi 1

Q
= 0 2ki 1 2 Xi = 0 i = 1, 2, . . . , n (2.43)
ki

Q X
=0 ki = 0 (2.44)
1

Q X
=0 ki Xi = 1 (2.45)
2

Somando as n equaes dadas em (2.43), obtemos:

X X
2 ki n1 2 Xi = 0 (2.46)

Multiplicando as equaes (2.43) por Xi e somando, obtemos:

X X X
2 ki Xi 1 Xi 2 Xi2 = 0 (2.47)

Substituindo as equaes (2.44) e (2.45) nas equaes (2.46) e (2.47), obtemos o seguinte
sistema: P
n1 + 2 Xi = 0
P P
1 Xi + 2 Xi2 = 2

ou
1 + 2 X = 0
P
n1 X + 2 Xi2 = 2

Departamento de Estatstica Ana Maria Farias 22

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Da primeira equao resulta que

1 = 2 X
Substituindo na segunda, resulta:
X X  2
n2 X + 2 Xi2 = 2 2 Xi2 nX = 2 2 =
2 2
SX X

Da equao (2.43) temos que:

1
ki = (1 + 2 Xi )
2
Substituindo os valores de 1 e 2 resulta:


1
1
1 2
Xi X
ki = 2 X + 2 Xi = 2 Xi X = Xi X =
2 2 2 SX X SX X

Ento, o estimador linear no viesado de mnima varincia

n
n
X Xi X X
1 =
e Yi = ci Yi =
b1
i=1
S XX
i=1

o que prova o resultado para

b1 .

PARTE 2: Seja
e0 um estimador linear no viesado de 0 . Isso significa que:
X  
0 =
e ki Yi E e0 = 0

Mas

 X  X X
E 0 = 0 E
e ki Yi = 0 ki E (Yi ) = 0 ki (0 + 0 Xi ) = 0
X X
ki = 1 ki Xi = 0

Lembrando que os Yi s so normais independentes com a mesma varincia 2 , temos

que:   X
Var
e0 = 2 ki2
Como queremos o estimador linear no viesado de mnima varincia, temos que
X
min ki2

sujeito s restries
X
ki = 1
X
ki Xi = 0

Departamento de Estatstica Ana Maria Farias 23

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Usando o mtodo dos multiplicadores de Lagrange, tomemos as derivadas parciais de

X X  X
Q (k1 , . . . , kn , 1 , 2 ) = ki2 1 ki 1 2 ki Xi

Q
= 0 2ki 1 2 Xi = 0 i = 1, 2, . . . , n (2.48)
ki

Q X
=0 ki = 1 (2.49)
1

Q X
=0 ki Xi = 0 (2.50)
2

Somando as n equaes dadas em (2.48), obtemos:

X X
2 ki n1 2 Xi = 0 (2.51)

Multiplicando as equaes (2.48) por Xi e somando, obtemos:

X X X
2 ki Xi 1 Xi 2 Xi2 = 0 (2.52)

Substituindo as equaes (2.49) e (2.50) nas equaes (2.51) e (2.52), obtemos o seguinte
sistema: P
n1 + 2 Xi = 2
P P
1 Xi + 2 Xi2 = 0

ou
2

1 + 2 X =
n

P
n1 X + 2 Xi2 = 0
Tirando o valor de 1 na primeira equao e substituindo na segunda, resulta:
 X X X
2 2X
2 X Xi + 2 Xi2 = 0 2X n2 X + 2 Xi2 = 0 2 =
2
n SX X

Da equao (2.48) temos que:

1
ki = (1 + 2 Xi )
2
Substituindo os valores de 1 e 2 resulta:
     

1 2 1 2
1 2 2X
1 X Xi X
ki = 2 X + 2 Xi = + 2 Xi X = Xi X =
2 n 2 n 2 n SX X n SX X

Departamento de Estatstica Ana Maria Farias 24

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Ento, o estimador linear no viesado de mnima varincia

n
"
# n
X 1 X X i X X
0 =
e Yi = di Yi =
b0
i=1
n S XX
i=1

o que prova o resultado para

b0 .


Observao

Vamos analisar a frmula que d a varincia de b1 :

b1 =
  2
Var
SX X
 
Para SX X fixo, Var b1 diretamente proporcional a 2 ; ento, quanto maior a varincia

 ser a varincia de 1 . Por outro lado, para um determinado valor fixo

populacional, maior b
de 2 , V ar
b1 inversamente proporcional a SX X , ou seja, quanto maior a disperso dos
 
valores de X em torno da sua mdia, menor ser Var b1 .

2.8 O estimador de 2

Nas expresses das varincias dos estimadores, aparece a varincia 2 dos erros ui . Em
geral, tal varincia no conhecida e precisamos estim-la. No modelo populacional, os erros
aleatrios ui representam o desvio de cada observao em relao mdia populacional, que
dada pela funo de regresso linear populacional (FRLP). Quando estamos trabalhando
com uma amostra da populao, passamos a ter uma reta de regresso estimada, a funo de
regresso linear amostral (FRLA), estimada pelo mtodo dos mnimos quadrados. O desvio
de cada observao a essa reta estimada o resduo, e, ento, o resduo i a contrapartida
amostral dos erros aleatrios ui . Sendo assim, de se esperar que a contrapartida amostral
(estimador) da varincia dos ui esteja associada com a varincia dos resduos.

Consideremos o estimador da varincia dos resduos dado por (a menos de uma cons-
tante): X X
(i )2 = i2 = SQE
P
uma vez que i = 0. Da equao (2.24 temos que
X
i2 = SQE = SY Y b 2 SX X
1

Tomando esperana, temos que:

X    X   
i2 = E SY Y b 2 SX X = E Y nY S 1
2 2 2
i XX
E E b
1
X
 2  
= E Yi 2 n E Y SX X E b2
1

Departamento de Estatstica Ana Maria Farias 25

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Da

definio de varincia de uma varivel

aleatria X qualquer, temos que Var (X ) =
E X [E (X )] e isso implica que E X = Var (X ) + [E (X )]2 . Ento
2 2 2

X  X n o n    h  i2 


2 o
E i =
2
Var (Yi ) + [E (Yi )] n Var Y + E Y
2
SX X Var b1 + E b1

Como os Yi s so variveis aleatrias independentes todas com a mesma varincia 2 , isto

, Yi IN(0 + 1 Xi ; 2 ), segue que


E Y = 0 + 1 X

2
Var Y =
n
Substituindo esses resultados e os resultados sobre Yi e
b1 obtm-se que:
X
 Xh i 2
2 2
Ei2 = 2 + (0 + 1 Xi )2 n n 0 + 1 X SX X SX X 12 =
n SX X
X X
= n 2 + n02 + 20 1 Xi + 12 Xi2 2 n02 2n0 1 X n12 X 2 SX X 12 =
2

X  
= (n 2) 2 + 2n0 1 X + 12 Xi2 2n0 1 X 12 SX X + nX =
2

 X  X X 
= (n 2) 2 12 SX X + nX Xi2 = (n 2) 2 12 Xi2 nX + nX Xi2
2 2 2

ou seja, X 
E i2 = (n 2) 2
ou ainda P 
i2
E = 2
n2
Isso significa que um estimador no viesado para 2 dado pela soma dos quadrados dos
erros, dividida por n 2. P 2
i SQRE
b =
2
= (2.53)
n2 n2

2.9 Distribuio amostral dos estimadores

b0,
b1 e b 2

Vamos agora apresentar os resultados sobre as distribuies amostrais dos estimadores b0 ,

b1 e b . Esses resultados so a base para a inferncia estatstica no modelo de regres-

2

so linear simples; com eles poderemos construir intervalos de confiana e fazer testes de
hipteses sobre os parmetros do modelo.

TEOREMA 2.8 Os estimadores

b0 e
b1 so independentes dos resduos i .

Departamento de Estatstica Ana Maria Farias 26

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Demonstrao

Como estamos lidando com variveis normais, basta provar que a covarincia nula.
Temos que:
         
Cov b0 , i = Cov b0 , Yi b0 b0 Xi = Cov b0 , Yi Var b0 Xi Cov b0 ,
b1 =
X  P X2 
X 2

i
= Cov dj Yj , Yi Xi
2

nSX X SX X
P 2
Xi 2 Xi X 2
= di Var (Yi ) +
nSX X SX X
  P 2
1 Xi X Xi 2 Xi X 2
= X 2
+ =
n SX X nSX X SX X
P 2
2 Xi X 2 X Xi 2 Xi X 2
2
= +
2
+ =
n SX X SX X nSX X SX X
P 2
2 Xi nX 2 2 SX X 2
2
= = =0
n nSX X n nSX X
         
Cov b1 , i = Cov b1 , Yi b0 b1 Xi = Cov b1 , Yi Cov b1 Xi Var
b0 , b1 =
X   X 
2 X 2 2
= Cov cj Yj , Yi Xi
2
= ci Var (Yi ) + Xi =
SX X SX X SX X SX X
     
Xi X X 2 2 Xi X Xi X
= +
2
Xi =
2
2 = 0
SX X SX X SX X SX X SX X


TEOREMA 2.9 Temos o seguinte resultado sobre a dsitribuio amostral de b 2

(n 2) b 2
2 (n 2) (2.54)
2

No apresentaremos a demonstrao deste teorema.

O erro padro de uma estimativa definido como o estimador do desvio padro da

estimativa. No caso de b0 e
b1 , o desvio padro de ambos depende de , o desvio padro
populacional. Substituindo esse parmetro pelo seu estimador, obtemos o erro padro de
cada estimador. Denotando por EP o erro padro, temos que:
sP
Xi2
EP(b0 ) = b (2.55)
nSX X
s
  1
EP b1 = b (2.56)
SX X

Departamento de Estatstica Ana Maria Farias 27

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

TEOREMA 2.10

b0 0
t(n 2) (2.57)
EP(b0 )

b1 1
t(n 2) (2.58)
epb1

Demonstrao

Esse resultado segue diretamente da definio da distribuio t de student e das

distribuies dos estimadores
b0 ,
b1 e b 2 . Das distribuies de
b0 ,
b1 resulta que

b
q0P 2 1 N(0, 1)
Xi
nSX X

b1 1
q N(0, 1)
1
SX X

e essas variveis so independentes de i i; logo, elas so independentes tambm de b 2 ,

pois esse a soma dos quadrados dos i s. Da definio da distribuio t de Student temos
que

b
q0P 2 0
Xi
nSX X

b0 0
b0 0
r = qP 2 =   t(n 2)
1 (n 2) b 2 Xi
ep
b0
nSX X
b
n2 2

b1 1
q
1
SX X

b1 1
b1 1
r   t(n 2)
b
= =
1 (n 2) b 2 ep
b1
n2 2 SX X


2.10 Inferncia no modelo de regresso linear simples

A partir das distribuies amostrais de

b0 e
b1 podemos construir intervalos de confiana e
testes de hipteses sobre os parmetros do modelo. Um teste de hiptese fundamental

H0 : 1 = 0
H1 : 1 6= 0

Departamento de Estatstica Ana Maria Farias 28

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

e esse teste construdo com base na distribuio amostral de

b1 sob H0 :

b1
t(n 2)
EP(
b1 )

 
Assim, basta comparar o valor  EP(1b )  com a abscissa da distribuio t de Student
 b 
1
associada ao nvel de significncia desejado. Se
 
 
 b1 
  > t/2 ;n2
 EP(b1 ) 

rejeita-se H0. Note que a rejeio de H0 neste caso significa que a varivel independente X
explica Y .

Os intervalos de confiana para 0 e 1 tm a seguinte forma:

b0 t/2 ;n2 EP(
b0 )

b1 t/2 ;n2 EP(
b1 )

2.11 Anlise de varincia no modelo de regresso linear sim-

ples

O conceito de varincia est associado disperso dos dados em torno de sua mdia.
Lembre-se que Var(X ) = E[X E(X )]2 e para uma populao de tamanho N, represen-
tada pela varivel aleatria X com mdia , cujos valores so X1 , X2 , . . . , XN , temos que
1 PN
Var(X ) = 2 = (Xi )2 . Alm disso, a partir de uma amostra de tamanho n, podemos
N i=1
1 P n
estimar a varincia populacional por S 2 = (Xi X )2 .
n 1 i=1
No modelo de regresso linear simples, temos a seguinte decomposio para a soma
dos quadrados total:
Xn Xn n
X
Yi Y ) =
2
(Yi Yi ) +
b 2
(Ybi Y )2 (2.59)
i=1 i=1 i=1

n
P
O termo (Yi Y )2 est associado varincia dos Yi s.
i=1

n
P
Como Yb = Y , segue que o termo (Ybi Y )2 est associado varincia dos Ybi s.
i=1

Departamento de Estatstica Ana Maria Farias 29

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

n
P
J o termo (Yi Ybi )2 , que a soma dos quadrados dos resduos, est associado
i=1
estimativa da varincia do modelo , ou seja, varincia dos ui s.

Vemos, ento, cada uma das somas de quadrados envolvidas na equao (2.59) est
associada a uma determinada varincia no modelo de regresso linear simples.

A toda soma de quadrados est associado um nmero chamado graus de liberdade. Po-
demos pensar nesse nmero como sendo o nmero de combinaes lineares das observaes
necessrias para se obter a respectiva soma de quadrados.
n
P
2
Vamos ver o caso da soma dos quadrados total SQT = Yi Y . Dadas as ob-
i=1
servaes Y1 , Y2 , . . . , Yn , temos que a soma dos desvios em torno da mdia zero, isto ,
Pn

Yi Y = 0. Ento, precisamos apenas de n 1 desvios Yi Y para calcular SQT , isto
i=1
, por exemplo, se conhecemos Y1 Y , . . . , Yn1 Y , temos condies de calcular o ltimo
desvio e, portanto, SQT . Logo, o nmero de graus de liberdade associado SQT n 1.
Esse resultado vale em qualquer modelo. Uma outra forma de pensar a seguinte: para cal-
cular SQT, precisamos calcular Y ; logo, sobraram n 1 pedaos de informao disponveis
para calcular SQT .
Pn
Com relao SQR = (Ybi Y )2 , vimos que SQR =
b 2 SX X . Como SX X fixo, SQR
1
i=1
depende de apenas uma combinao linear das observaes (lembre-se que b1 = P ci Yi ).
Logo, o nmero de graus de liberdade associado SQR 1 no modelo de regresso linear
simples.

Os resduos nos do a parte no explicada pelo modelo. No caso do modelo de re-

gresso linear simples, o modelo tem 2 parmetros e cada um deles estimado por uma
combinao linear das observaes: b1 = P ci Yi e
b0 = P di Yi . Ento, precisamos de 2
combinaes lineares para ajustar tal modelo aos dados. Logo, a parte no explicada, isto
, o que sobrou, corresponde a n 2 graus de liberdade. Logo, o nmero de graus de
liberdade associado SQE n 2 no modelo de regresso linear simples.

Note que, como a igualdade (2.59) vale para as somas de quadrados, um resultado
anlogo vale tambm para os graus de liberdade dessas somas de quadrados: n 1 =
(n 2) + 1.

Num bom modelo espera-se que SQR seja capaz de explicar toda a variabilidade dos
Y s, isto , espera-se que SQR seja prxima de SQT (equivalentemente, SQE deve ser
pequena). Foi visto que
(n 2)b
2 SQE
= 2 (n 2) (2.60)
2 2

Note que o nmero de graus de liberdade da distribuio qui-quadrado exatamente o

nmero de graus de liberdade associado soma de quadrados!

Departamento de Estatstica Ana Maria Farias 30

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

 
2
SX X b
Por outro lado, se 1 = 0, ento b1 N 0, ou equivalentemente, 1
SX X
N (0, 1) . Logo, se 1 = 0,
b 2 SX X
SQR
1
= 2 (1) (2.61)
2 2
Como antes, o nmero de graus de liberdade da distribuio qui-quadrado o nmero de
graus de liberdade associado soma de quadrados.

Alm disso, as variveis dadas em (2.60) e (2.61) so independentes (Vimos que b0 e

b1 so independentes dos resduos). Logo, sob a hiptese de que 1 = 0, temos 2 variveis

qui-quadrado independentes e, portanto, a razo
SQR
SQR
2
F= 1
= 1
SQE SQE
2 n2
n2
tem distribuio F de Fisher-Snedecor com (1, n 2) graus de liberdade.

Quando dividimos uma soma de quadrados pelo seu nmero de graus de liberdade,
obtemos o que chamada a mdia quadrtica. Usando a abreviatura MQ para mdia qua-
drtica, podemos escrever o resultado acima na seguinte forma resumida: se 1 = 0, ento
MQR
F= F (1, n 2) (2.62)
MQE

Como usar esse resultado para testar a significncia do modelo? Note que testar a
significncia do modelo como um todo equivale a testar a hiptese de que a varivel X (s)
realmente explica Y . No modelo de regressao linear simples, isso equivale a testar se 1 = 0.
Se essa hiptese verdadeira, ento SQR deve ser praticamente zero. o mesmo ocorrendo
com F . Dito de outra forma, se a hiotese nula no verdadeira, o valor de F deve ser
grande. ou seja, deve estar na cauda superior da distribuio. Por (2.62), se a hiptese
nula verdadeira (isto , a varivel X no explica Y ), ento a razo F tem distribuio
F (1, n 2). Camos, ento, no procedimento usual de teste de hiptese, s que agora usando
a distribuio F : se o valor da estatstica F tiver probabilidade muito pequena, isto , estiver
na cauda superior da distribuio, devemos rejeitar H0 , ou seja, devemos rejeitar a hiptese
de que a varivel independente X no explica Y . Nesse caso dizemos que a regresso
estatisticamente significante.

Os programas computacionais de regresso apresentam os resultados referentes s

somas de quadrados em forma de uma tabela, normalmente chamada tabela ANOVA (do
ingls ANalysis Of Variance). No caso do modelo de regresso linear simples, ela tem a
seguinte forma, dada na tabela 2.3:

Nas colunas SQ e gl temos as somas dos quadrados e os respectivos graus de liberdade.

Na coluna MQ temos as respectivas mdias quadrticas; note que s aparecem as mdias

Departamento de Estatstica Ana Maria Farias 31

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Tabela 2.3 Tabela da ANOVA

Fonte SQ gl MQ F Prob
SQR
Regresso SQR 1 MQR = 1
SQE MQR
Erro SQE n 2 MQE = n2
F= p
MQE
Total SQT n1

quadrticas residual e devida regresso. A mdia quadrtica total, igual varincia dos
Y s, em geral no apresentada na tabela da ANOVA. Na coluna F aparece o valor da razo
F , que deve ser usado para testar a significncia da regresso, ou seja, para testar

H0 : 1 = 0

Como a tabela da distribuio F mais complexa que as tabelas das distribuies

t-Student e qui-quadrado, mais do que nunca torna-se necessria a apresentao da proba-
bilidade de significncia da estatstica de teste F . Esse o valor P apresentado na coluna
Prob. O que esse valor nos d a probabilidade de se observar um valor maior ou igual a F
numa distribuio F com 1 e n 2 g.l.. Como visto, se essa probabilidade muito pequena
(menor que o nvel de significncia desejado), significa que o valor observado da estatstica
F est na cauda da distribuio, ou seja, devemos rejeitar a hiptese nula.

2.12 Exemplo

Consideremos os dados apresentados na tabela 2.4 a seguir, onde temos a taxa de abandono
do emprego (Y ) na indstria (por 100 empregados) e a taxa de desemprego (X ) 1 . Consi-
derando a primeira das variveis como a varivel dependente Y, vamos usar o EXCEL para
ajustar um modelo de regresso linear simples a esses dados.

Tabela 2.4 Dados de abandono de emprego e taxa de desemprego

Ano Y X Ano Y X
1960 1,3 6,2 1967 2,3 3,6
1961 1,2 7,8 1968 2,5 3,3
1962 1,4 5,8 1969 2,7 3,3
1963 1,4 5,7 1970 2,1 5,6
1964 1,5 5,0 1971 1,8 6,8
1965 1,9 4,0 1972 2,2 5,6
1966 2,6 3,2

Na Figura 2.5 temos os resultados da anlise de regresso. Vamos identificar cada um

dos resultados apresentados.
1
Dados extrados de Maddala(1992), p. 109.

Departamento de Estatstica Ana Maria Farias 32

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

RESUMO DOS RESULTADOS

Estatstica de regresso
R mltiplo 0,808182
R-Quadrado 0,653158
R-quadrado ajustado 0,621627
Erro padro 0,322421
Observaes 13

ANOVA
gl SQ MQ F F de significao
Regresso 1 2,153413 2,153413 20,714768 0,000828
Resduo 11 1,143510 0,103955
Total 12 3,296923

Coeficientes Erro padro Stat t valor-P 95% inferiores 95% superiores Inferior 99,0% Superior 99,0%
Interseo 3,366258 0,331084 10,167388 0,000001 2,637547 4,094969 2,337973 4,394543
Desemprego -0,286212 0,062885 -4,551348 0,000828 -0,424621 -0,147803 -0,481521 -0,090902

Figura 2.5 Sada do Excel para os dados da tabela 2.4

Estatsticas da Regresso

R Mltiplo: Raiz quadrada do R 2

R-Quadrado: Coeficiente de determinao R 2 definido por:

SQReg SQR
R2 = =1
SQT SQT

R-Quadrado ajustado: Coeficiente de determinao que leva em conta o nmero de

variveis independentes, sendo definido por:
SQR
n2 MQR
R =1 =1
2
SQT MQT
n1

Esse coeficiente passa a ter maior importncia nos modelos de regresso mltipla, pois
ele leva em conta o preo de se incluir mais variveis no modelo, uma vez que R 2
sempre aumenta quando se acrescentam variveis.

Erro padro: Estimativa b do desvio padro dos erros. Lembre-se que

r
SQR p
b = = MQR
n2

Observaes: Nmero de observaes

ANOVA

Esta a tabela da anlise de varincia, conforme explicado na seo 2.11.

Departamento de Estatstica Ana Maria Farias 33

CAPTULO 2. O MODELO CLSSICO DE REGRESSO LINEAR SIMPLES

Coeficientes

A prxima tabela apresenta os resultados sobre os coeficientes estimados. Na primeira

linha temos informaes sobre o intercepto e na linha seguinte, sobre o(s) coeficiente(s) da(s)
varivel independente.

Na primeira coluna (Coeficientes) temos a estimativa do coeficiente e na segunda coluna

(Erro Padro), o desvio padro estimado dessa estimativa (ver equaes 2.55 e 2.56).

Na terceira coluna (Stat t), temos o valor da estatstica t para o teste bilateral da
hiptese nula de que o respectivo coeficiente nulo. A estatstica de teste nesse caso

bi
t=  
EP bi

e esse valor que dado na terceira coluna.

Na quarta coluna temos a probabilidade de significncia de tal estatstica, isto , nessa

coluna temos a probabilidade de uma varivel com distribuio t-Student com n 2 graus
de liberdade ser maior que o valor observado, em m dulo. No exemplo, temos:
P (t(11) > 10, 16739) = 0, 0000006 P (t(11) > 4, 55135) = 0, 0008283
Essas probabilidades so calculadas com a funo DIST.T.BC do Excel, da seguinte forma:
DIST .T .BC (10, 16739; 11) = 0, 0000006 DIST T (4, 55135; 11; 2) = 0, 0008283
No exemplo, como essas probabilidades so menores que 1%, devemos rejeitar a hiptese
nula de que o respectivo coeficiente nulo.

Nas prximas colunas temos o intervalo de confiana para os coeficientes. So dados

os limites inferiores e superiores, trabalhando-se inicialmente com nvel de confiana de 95%
(valor default do programa) e depois com o nvel de confiana especificado pelo usurio. Os
limites do intervalo de confiana so dados por
 

bi t/2 ep
bi

A abscissa pode ser obtida atravs da funo INV.T da seguinte forma:

t/2 = INV .T (0, 05; 11) = 2, 20098627
para o nvel de confiana de 95% e por
t/2 = INV T (0, 01; 11) = 3, 10581527
para o nvel de confiana de 99%.

Os limites dos respectivos intervalos de confiana para o intercepto so dados por:

3, 36626 2, 20098627 0, 33108 = [2, 63756; 4, 09496]
para o nvel de confiana de 95% e
3, 36626 3, 10581527 0, 33108 = [2, 33798; 4, 39453]
para o nvel de confiana de 99%.

Departamento de Estatstica Ana Maria Farias 34