Anlise de Regresso Mltipla

Aula 14/04/2014

Prof. Moiss A. Resende Filho

Introduo Econometria (ECO 132497)

14 de abril de 2014

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

1 / 21

Inexistncia de vis de MQO

At agora assumimos que:
RLM.1: y = 0 + 1 x1 + 2 x2 + . . . + k xk + u (o modelo linear
nos parmetros)
RLM.2: temos uma amostra f(xi 1 , xi 2 , ..., xik , yi ) : i = 1, ..., n g
aleatria retirada da populao, o que suciente para
E (ui jxl 1 , xl 2 , ..., xlk ) = 0, i 6= l.

RLM.3: colinearidade no perfeita => n (k + 1), cada varivel

explicativa apresenta variabilidade na amostra e nenhuma varivel
uma combinao linear das demais variveis explicativas.

RLM.4: E (ui jxi 1 , xi 2 , ..., xik ) = 0 (a mdia condicional do erro

zero).
Sob RLM.3 possvel calcular as estimativas MQO a partir da amostra.
Sob RLM1 a RRLM.4 E (b
j ) = j , j = 0, 1, ..., k (Teorema 3.1)

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

2 / 21

Vis de varivel omitida

Se apenas a varivel xk foi omitida, ento:

e
j = b
j + b
k e
j

E (e
j ) = j + k e
j

onde e
j o coeciente de xj , j = 1, ..., k 1 na regresso auxiliar de xk
sobre as demais variveis explicativas do modelo.
O vis de varivel omitida E (e
j )

Moiss Resende Filho (ECO/UnB)

j = k e
j .

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

3 / 21

Vis de varivel omitida

EXEMPLO: No no exame nal e faltas nas aulas

Amostra de 680 alunos em "introductory microeconomics"na
Michigan State University em vrios anos.
A frequncia dos estudantes foi registrada eletronicamente e
monitorada por monitores da disciplina.
nal a nota na prova nal na distiplina em um total de 40 pontos.
missed o nmero de aulas que o estudante faltou em um total de 32
aulas.
Baixe os dados (disponveis no formato Stata em
https://sites.google.com/site/rese0013/attend.dta) para o seu
computador e clique sobre o arquivo para abrir o Stata.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

4 / 21

Vis de varivel omitida

Primeiro regredimos nal em missed em uma regresso linear simples.
. regress

final missed
SS

Source

df

MS

Model
Residual

295.352008
14766.5951

1
678

295.352008
21.7796387

Total

15061.9471

679

22.1825435

final

Coef.

missed
_cons

-.1209031
26.59882

d
nal

Std. Err.
.0328317
.2625929

t
-3.68
101.29

= 26.60
n = 680

Moiss Resende Filho (ECO/UnB)

Number of obs
F( 1,
678)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

680
13.56
0.0002
0.0196
0.0182
4.6669

P>|t|

[95% Conf. Interval]

0.000
0.000

-.185367
26.08322

-.0564391
27.11441

0.121 missed

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

5 / 21

Vis de varivel omitida

Adicionamos agora a varivel priGPA (IRA at incio da disciplina de 0 a
4) para controlar para a qualidade do aluno.
. regress

final missed priGPA

SS

Source

df

MS

Model
Residual

2021.72415
13040.2229

2
677

1010.86207
19.2617768

Total

15061.9471

679

22.1825435

final

Coef.

missed
priGPA
_cons

.0172012
3.237554
17.41567

Std. Err.
.0341483
.3419779
1.000942

t
0.50
9.47
17.40

Number of obs
F( 2,
677)
Prob > F
R-squared
Adj R-squared
Root MSE
P>|t|
0.615
0.000
0.000

=
=
=
=
=
=

680
52.48
0.0000
0.1342
0.1317
4.3888

[95% Conf. Interval]

-.0498481
2.56609
15.45035

.0842504
3.909019
19.381

d
nal

= 17.42 + .017 missed + 3.24 priGPA

n = 680

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

6 / 21

Vis de varivel omitida

e
missed = b
missed + b
priGPA e
missed
e
missed = 0.121: e
missed negativo, quando o correto seria
b
missed = 0.017 (estimativa correta).
0.017
= 0.0426 < 0
Como b
priGPA = 3.24, ento, e
missed = 0.121
3.24
(qualidade do aluno e faltas so negativamente correlacionados na
amostra).
d (missed, priGPA) = 0.427:
De fato, Corr
. corr missed priGPA
(obs=680)

missed
priGPA

missed

priGPA

1.0000
-0.4272

1.0000

O vis de varivel omitida priGPA e

missed < 0. Portanto, admitindo-se
(+)

( )

que missed = 0, omitir priGPA faz com que, em mdia ou

E (e
missed ) < 0, quando de fato deveria ser zero.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

7 / 21

A varincia dos estimadores MQO

Assumindo RLM.5 (Homocedasticidade)
A varincia do erro u, seja l quais forem os valores de x1 , x2 , ..., xk
Var (u jx1 , x2 , ..., xk ) = Var (u ) = 2

A suposio RLM.5 fundamental para se obter frmulas simples para

os estimadores da varincia dos estimadores de MQO e para a discusso de
ecincia de MQO.
Sabemos que
b
j

=
=

rij yi
i b
rij2
i b

rij ( 0 + 1 xi 1 + ... + k xik + ui )

i b
rij2
i b

= j +
Moiss Resende Filho (ECO/UnB)

rij ui
i b
, pois
rij2
i b

i brij = i brij xil = 0, l 6= j

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

8 / 21

A varincia dos estimadores MQO

Assim, sob RLM.1 a RLM.5:
Var (b
j ) = Var

rij ui
b
j + i 2
rij
i b

= Var ( j ) + Var
=
=

Moiss Resende Filho (ECO/UnB)

i Var
1
rij2
i b

2
rij2
i b

rij ui
i b
rij2
i b
!

1
b
rij ui
rij2
i b

!2

i brij2 Var (ui )

(Wooldridge, seo 3.3 a 3.5)

(1)

14/04/2014

9 / 21

A varincia dos estimadores MQO

THEOREM (Varincias amostrais dos estimadores MQO das
inclinaes)
Sob as suposies RLM.1 a RLM.5 (hipteses de Gauss-Markov), e
conditional nos valores das variveis explicativas nas amostras,
2
2
, j = 1, ..., k.
Var (b
j ) =
=
STQj (1 Rj2 )
rij2
i b

pois i b
rij2 = STQj (1

Rj2 ), onde STQj = ni=1 (xij

(2)

xj )2 e

rij2
i b

Rj2 = 1 STQ j o R2 da regresso de xj em x1 , x2 , ..., xj 1 , xj +1 , ..., xk ,

ou seja, uma regresso de xj sobre todas as outras variveis explicativas do
modelo de regresso de interesse.
Note que a suposio RLM.3 elimina a possibilidade de Rj2 = 1, que
ocorreria s se xj fosse determinado exatamente por uma funo
linear das outras variveis explicativas.
Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

10 / 21

A varincia dos estimadores MQO

Os componentes que afetam a varincia

Var ( j ) =

2
STQj (1 Rj2 )

1. A medida que a varincia do erro (na populao), 2 , decresse, Var ( j )

diminui. Uma forma de reduzir 2 adicionar mais variveis ao modelo,
ou seja, retirar fatores inexplicados de u e passar a incorpor-los
explicitamente no modelo.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

11 / 21

A varincia dos estimadores MQO

Var ( j ) =

2
STQj (1 Rj2 )

2. A medida que a variao amostral total de xj , STQj , aumenta, Var ( j )

decresse. Em outras palavras, a estimativa do efeito de xj em y torna-se
mais precisa se temos maior variao amostral em xj .
Como SQTj /n [ou SQTj /(n 1)] a varincia amostral de
fxij : i = 1, ..., ng, ento, podemos assumir que
SQTj

n2j

onde 2j > 0 a varincia populaciona de xj .

Assim, podemos aumentar SQTj aumentando o tamanho da amostra,
pois SQTj basicamente uma funo linear de n. [Dos trs componentes
que afetam Var ( j ), este o nico que depende sistematicamente de n.]
Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

12 / 21

A varincia dos estimadores MQO

Var ( j ) =

2
STQj (1 Rj2 )

3. A medida que Rj2 ! 1, Var ( j ) ! , quanto maior for a

multicolinearidade menos precisa sero as estimativas j .
Rj2 mede o quanto xj se relaciona linearmente com as outras variveis
explicativas.
Obtm-se a menor varincia de j quando Rj2 = 0:
Var ( j ) =

2
SQTj

que a frmula do modelo de regresso simples.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

13 / 21

A varincia dos estimadores MQO

Um grco de Var ( j ) =

1
2
STQ j (1 R j2 )

0
R2
1

Um Rj2 muito prximo de 1 considerado um problema de

multicollinearidade. Mas o que signica "muito prximo"de 1?
Elevada multicollinearidade no viola nenhuma suposio de
Gauss-Markov.
Em geral, uma medida para reduzir Var ( j ) aumentar o tamanho da
amostra.
Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

14 / 21

A varincia em modelos mal especicados

Tambm podemos estudar as varincias dos estimadores MQO em
modelos mal especicados. Suponha que tenhamos estimado os
modelos:
y = 0 + 1 x1 + 2 x2

(3)

y = 0 + 1 x1

(4)

Sabemos que:
Var ( 1 ) =

2
SQT1 (1

Var ( 1 ) =
E (e
1 ) = 1

2 e
1 e E ( 1 ) = 1 .

Moiss Resende Filho (ECO/UnB)

(5)

R12 )

2
SQT1

(Wooldridge, seo 3.3 a 3.5)

(6)

14/04/2014

15 / 21

A varincia em modelos mal especicados

Moral da histria
Se 2 6= 0 e x1 and x2 so correlacionados na amostra (R12 > 0),
ento: e
1 viesado e 1 no viesado, mas
2
2

Var ( 1 ) = SQT
< SQT (1 R 2 ) < Var ( 1 ) - prefervel utilizar o
1
1
1
modelo (3).
Se 2 = 0 e x1 and x2 so correlacionados na amostra (R12 > 0),
ento: e
1 e 1 so ambos no viesados, mas
2
2
Var ( 1 ) = SQT
< SQT (1 R 2 ) < Var ( 1 ) - prefervel utilizar o
1
1
1
modelo (4).
Superespecicar o modelo no uma medida sem custos.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

16 / 21

O estimador da varincia do erro da regresso

necessrio estimar 2 (parmetro desconhecido) com n observaes
e k + 1 parmetros, ou seja, temos apenas
gl = n

(k + 1)

graus de liberdade, pois perdemos (k + 1) gl devido as seguintes k + 1

restries sobre os resduos de MQO:

i =1 u i
n
i =1 xij u i
n

= 0
= 0, j = 1, ..., k

TEOREMA 3.3: (Estimao no viesada de 2 )

Sob as hipteses de Gauss-Markov (RLM.1 a RLM.5)
2 =

SQR
ni=1 u i2
=
n (k + 1)
gl

o estimador no viesado de 2 e o erro-padro da regresso ("model

MSE"na sada do Stata)..
Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

17 / 21

O estimador da varincia do erro da regresso

O erro padro de cada j calculado como
ep ( j ) = q

Rj2 )

SQTj (1

, j = 1, ..., k

Usando a base de dados WAGE2.DTA:

. reg lwage educ IQ exper
Source

SS

df

MS

Model
Residual

26.876768
138.779515

3
931

8.95892266
.149065

Total

165.656283

934

.177362188

lwage

Coef.

educ
IQ
exper
_cons

.057108
.0057856
.0195249
5.198085

Std. Err.
.007348
.0009797
.0032444
.1215426

t
7.77
5.91
6.02
42.77

Number of obs
F( 3,
931)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

935
60.10
0.0000
0.1622
0.1595
.38609

P>|t|

[95% Conf. Interval]

0.000
0.000
0.000
0.000

.0426875
.003863
.0131579
4.959556

.0715285
.0077082
.025892
5.436614

[ = 5.198 + .57108educ + .0058 IQ + .0195 exper

lwage
(.122 )

(.0073 )

(.0010 )

(.0032 )

n = 935, R 2 = .1622
Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

18 / 21

Ecincia de MQO

TEOREMA 3.4. (Teorema de Gauss-Markov)

Sob as suposies RLM.1 a RLM.5 (hipteses de Gauss-Markov), os
estimadores MQO 0 , 1 , ..., k so os melhores estimadores linearres
no viesados ou best linear unbiased estimators (BLUEs)

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

19 / 21

MQO BLUE
E (estimador): podemos computar uma estimativa a partir dos dados
na amostra, utilizando uma regra, no caso, o estimador MQO.
U (unbiased): Sob RLM1 a RRLM.4 E (b
j ) = j , j = 0, 1, ..., k
(Teorema 3.1).
L (linear): O estimador MQO uma funo linear de
fyi : i = 1, 2, ..., ng (poderia, sem problema, ser uma funo no linear das
variveis explicativas), ou seja, pode ser posto na forma geral
j = ni=1 wij yi , onde fwij : i = 1, ..., n g so qualquer funes de
f(xi 1 , ..., xik ) : i = 1, ..., ng. Tome o estimador MQO
n
b
r
b
r y
b
j = ni=1 wij yi
j = i =n 1 bijr 2 i , j = 0, 1, ..., k, dena wij = n ij br 2 , tal que b
i =1 ij

i =1 ij

(Linear)
B (best): O estimador possui a menor varincia dentre os estimadores
lineares, ou seja, sob RLM.1 a RLM.5 (hipteses de Gauss-Markov):
Var ( j )

Var ( j )

para todo j (usualmente a desigualdade estrita).

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

20 / 21

Ecincia de MQO

Relembrar que: j continua no viesado se a suposio RLM.5 no se

sustentar, o que tem duas consequncias:
1. As frmula para Var ( j ) e, consequentemente, para ep ( j ) se tornam
erradas, ento: precisamos encontrar as frmulas corretas.
2. Os esitmadores MQO j , j = 0, 1, ..., k deixam de ser BLUE: podemos
tentar encontrar estimadores melhores que MQO.

Moiss Resende Filho (ECO/UnB)

(Wooldridge, seo 3.3 a 3.5)

14/04/2014

21 / 21