Reg Mult

Regresso Linear Mltipla
Prof. Lor Viali, Dr.

http://www.pucrs.br/famat/viali/
viali@pucrs.br
Modelo de Regresso Linear Simples

Definio
y = 0 + 1 x + u
Outros
fatores
relevantes
permanecem
fixos.
Curso: Engenharia de Processos e de Sistemas de Produo - Prof. Lor Viali, Dr. PUCRS FAMAT: Departamento de Estatstica
Modelo de Regresso Linear Mltipla
Ajuda a encontrar relaes Ceteris

Paribus entre variveis;
variveis;
Maior desvantagem:
desvantagem:
No muito adequado para modelar
relaes Ceteris Paribus entre variveis,
pois dificilmente E( u| x ) = E( u ) = 0
Melhora o ajuste ao dados;

dados;
Maior flexibilidade.
flexibilidade.
Problemas
D efinio e T erminologia
Sejam Y e X1 ,...,
..., Xk k + 1 variveis
populacionais
popula
cionais..
O objetivo explicar Y em funo de
X1 ,...,
..., Xk , isto , como Y se altera se uma
ou todas as variveis X1, ...,
..., Xk
O modelo de regresso linear mltipla

Introduo
Definio e terminologia
Interpretao
Estimao
Interpretao revisitada
Qualidade do ajuste
Propriedades estatsticas
se
alteram..
alteram
Como no h uma relao precisa entre Y e

X1 ,...,
..., Xk, como levar em conta outros fatores
que afetam Y?
Qual a verdadeira relao funcional entre Y e
Xi, i = 1, 2, ...,
..., k?
Como capturar uma relao ceteris paribus
entre Y e Xi, i = 1, 2, ...,
..., k (se este for o caso)?
O M odelo
T erminologia
O (MLRM) Modelo Linear
de
Regresso Mltipla dado pela seguinte

equao::
equao
Y = 0 + 1 X 1 + 2 X 2 + L + k X k + U
Y: varivel dependente, varivel explicada,

varivel de resposta,
regressando, sada, efeito.
efeito.
varivel
prevista,
Xi: variveis independentes, variveis

explicativas, variveis de controle, preditores,
preditores,
regressores,, entradas, causas.
regressores
causas.
U: erro, distrbio ou rudo.
rudo.
Hipteses Adicionais Sobre U
O termo U representa:
erros de medida;
Mdia nula
forma funcional inadequada;

variabilidade
inerente
das
variveis
E(U) = 0
envolvidas;
Mdia condicional nula
outros fatores alm de X1 ,..., Xk que afetam
E(U| X1, X2, ..., Xk) = E(U) = 0
a varivel Y.
O Mtodo dos Mnimos Quadrados
Para estimar os parmetros

0, 1,..., k da equao de regresso
mltipla necessrio uma amostra da
populao!
{( x 1i , x 2i ,K, x ki , yi ) : i = 1,K,n }
Considere uma amostra aleatria de

tamanho n da populao.
Supondo que esta amostra satisfaa o
modelo pode-se escrever:
Y i = 0 + 1 X 1 i + 2 X 2 i + L + k X ki + U i
Onde a letra i refere-se a i-sima

observao.
A descrio do modelo de regresso

mltipla normalmente apresentado de
forma matricial.
A equao anterior pode ser escrita
como:
Y = X + U
Onde:
Note-se que cada linha da matriz X

representa um conjunto de valores das variaes
independentes referentes a uma observao,
observao ao
passo cada coluna representa um conjunto de
valores de uma varivel independente nas n
observaes amostrais. A primeira coluna de X
composta inteiramente de valores iguais a um.
= 2In
Onde In uma matriz-identidade

de ordem nxn, com unidades na
diagonal principal e zeros em todo o
resto.
0
X 11 X 12 ... X 1k
Y 1
U 1

X X ... X
Y
U
2
21
22
2k
2
1
Y=
X=
=
U =
...
... ... ... ...
...
...

k
Y n
U n
X n1 X n 2 ... X nk
Y ( nx 1 ) X (nxk) kx1 U (nx1)
As hipteses vistas para a regresso linear

simples podem ser colocadas na forma
matricial da seguinte forma:
U ~ N ( 0 , )
Onde 0 um vetor-coluna de zeros e
uma matriz nxn.
Os elementos da matriz X so no
estocsticos com valores fixados em
amostras repetidas, e a matriz
(1/n)(XX) no singular e tal que, para
qualquer tamanho amostral, seus
elementos so finitos.
Estimao dos Parmetros

Da mesma forma que na regresso linear
simples os estimadores de mnimos quadrados
dos coeficientes de regresso podem ser
obtidos, minimizando a soma dos quadrados
dos resduos, isto :
n
Ui2 = ( Y i 0 1 X 1 i L k X ki ) 2
i =1
i =1
Igualando cada derivada a zero e

reagrupando os termos, tem-se:
n
Y i = n0 + 1 X 1 i + ... + k X ki
i =1
n
X 2iY i
= 0
...
...
i =1
i =1
n
i =1
X 2i
i =1
+ 1
X 22 i
i =1
....
+ ... + k
X 2 i X ki
i =1
....
n
n
n
n
X ki Y i = 0 X ki + 1 X 2 i X ki + ... + k X 2ki
i =1
i =1
i =1
Diferenciando em relao aos parmetros de

regresso: 1, 2, ..., k, tem-se:
n
= 2 ( Y i 0 1 X 1 i L k X ki )
1
i =1
n
= 2 X 1i ( Y i 0 1 X 1i L k X ki )
2
i =1
...
...
....
Para resolver as equaes normais de

mnimos quadrados, escreve-se a primeira
equao da seguinte forma:
= Y 1 X X L k X
1
k
2
0
2
Onde:
Y =
i =1
....
= 2 X ki ( Y i 0 1 X 1i L k X ki )
k
i =1
1 n
1 n
Y i e X k = X ki
n i =1
n i =1

Substituindo a equao anterior nas demais
equaes, obtm-se aps algumas simplificaes:
Onde:
n
m Y 2 = m 12

m 22 2 L m k 2 k
1
m Y 3 = m 13 1 m 23 2 L m k 3 k
...
...
...
...
m Yk = m 1k 1 m 2 k 2 L m kk k
m Yk = (Y i Y ) X ki X k
i =1
n
m jk = X ij X
i =1
)(X
ik
Xk
j ,k = 1 ,2 ,..,K
Estas equaes podem ser resolvidas

para 1 , 2 , .., k. A soluo simples,
porm trabalhosa. Se K = 2, isto , para o
caso de duas variveis, tem-se:
mY 1
m
= Y 2
1
m11
m 12
m 11
= m12
2
m11
m 12
m 12
m 22 m Y 1m 22 m12 m Y 2
=
m 12
m 11m 22 m 12m 12
m 22
mY 1
m Y 2 m Y 2 m 11 m Y 1m 12
=
m 12
m 11m 22 m 12m 12
m 22
Exemplo Um
Considere os dados como sendo das
variveis: Y = Quantidade vendida de um
produto, X1 = Preo do produto e X2 = Gasto
com a divulgao do produto. Determinar a
equao de regresso de Y em funo de X1 e
de X2.
Y
55
70
90
100
90
105
80
110
125
115
130
130
X1
100
90
80
70
70
70
70
65
60
60
55
50
X2
550
630
720
700
625
735
560
715
750
690
715
650
Y2
X 12
X 22
Y X1
YX2
Q (kg)
55
70
90
100
90
105
80
110
125
115
130
130
Preo (R$)
100
90
80
70
70
70
70
65
60
60
55
50
Investimento (R$ mil)

550
630
720
700
625
735
560
715
750
690
715
650
X1 X2
Onde:
Y = 100
X 1 = 70
X 2 = 670
m 11 = 2250 mY1 = 3550

m 22 = 49000 mY 2 = 125 ,75
m 12 = 5400 mYY = 6300
Assim a equao procurada, ser:
Ento:
= 3550.49000 ( 5400 ).125 ,75 = 1 ,3077
1
2250.49000 ( 5400 2 )
= 2250.125 ,75 ( 5400 ).( 3550 ) = 0 ,1125
2
2250.49000 ( 5400 2 )
= 100 ( 1 ,3077 ).70 0 ,1125 = 116 ,1578
0
Y = 116,16 - 1,31 X 1 + 0 ,11 X 2

Desta forma, uma reduo de R$10 no preo
do produto, sem investimento em publicidade,
aumentaria as vendas em em aproximadamente 13
kg. Um aumento na publicidade de 100 mil, sem
alterao no preo, aumenta as vendas em 11 kg.
Exerccio Um (Gujarati 7.18)

A tabela apresenta dados sobre o produto bruto
real, trabalho e capital real no setor industrial de
Taiwan.
(a) Ajuste os seguintes modelos aos dados da
tabela:
Y t = 0 + 1 X 1t + 2 X 2t + U t
ln Y t = 0 + 1 ln X 1t + 2 ln X 2 t + U't
(b) Qual modelo oferece melhor ajuste e por

qu?
Exerccio Um (Gujarati 7.18)
Ano
X1
X2
1958
1959
1960
1961
1962
1963
1964
1965
1966
1967
1968
1969
1970
1971
1972
8911,4
10873,2
11132,5
12086,5
12767,5
16347,1
19542,7
21075,9
23052,0
26128,2
29563,7
33376,6
38354,3
46868,3
54308,0
281,5
284,4
289,0
375,8
375,2
402,5
478,0
553,4
616,7
695,7
790,3
816,0
848,4
873,1
999,2
120753
122242
125263
128539
131427
134267
139038
146450
153714
164783
176864
188146
205841
221748
239715
Soluo do Exerccio Um (Gujarati 7.18)
Onde
Y = Produto Bruto real (em milhes de NT $*)
X1 = Trabalho (por mil pessoas)
X2 = Capital Real (em milhes deNT $)
(*) Dlares Novos de Taiwan
Fonte: Thomas Pei-Fan Chen, Economic Growth and Structural
Change in Taiwan - 1952/1972, A Production Function Approach, tese de
doutorado no-publicada, Departamento de Economia, Centro de
Graduao, City University of New York, Junho de 1976, Tabela II.
Forma Matricial
Onde:
As equaes normais do mtodo dos
mnimos quadrados podem (e devem) ser
apresentadas em notao matricial, da
seguinte forma:
X ' Y = ( X ' X )
A Soluo
X i2
n
Y i
X X X
X Y
i1 i 2 i2
i1 i
X' Y =
X' X =
...
...
...
X Y
X
ik i
X ik X i 2 ik
... X ik
0

... X i 2 X ik
= 1
...
... ...

... X ik X ik
k
Exemplo Dois
A soluo para ser, ento:
Considere os dados como sendo de trs

variveis, sendo uma dependente Y e duas
= (
X' X )
( X' Y )
independentes X1 e X2. Determinar a

equao de regresso de Y em funo de X1
e de X2.
Y
3
2
4
5
8
X1
2
3
5
7
8
X2
1
5
3
6
7
O modelo para este caso ser dado por:

Y i = 0 + 1 X 1 + 2 X 2i + Ui
Substituindo os valores temos:

Y 1 = 3 = 1. 0 + 2. 1 + 1. 2 + E 1
Y 2 = 2 = 1. 0 + 3. 1 + 5. 2 + E 2
Y 3 = 4 = 1. 0 + 5. 1 + 3. 2 + E 3
Y 4 = 5 = 1. 0 + 7. 1 + 6. 2 + E 4
Y 5 = 8 = 1. 0 + 8. 1 + 7 2 + E 5
As equaes podem ser expressas de

forma matricial, fazendo:
1
3
1
2

Y = 4 X = 1

1
5
1
8
1
e 1

5
0
e 2
3 = E = e 3
1

6

e 4
2

7
e 5
2
3
5
7
8
= (
A soluo dada por:
X' X )
Xy'
1
1 1
8 1
7 1
1
2
3
5
7
8
2
1
3
5
5
3
7
6
3 1
2 1

y = 4 = 1

5 1
8 1
2
3
5
7
8
1
e 1
5 0 e 2

3 + e 3
1
6 e 4
2
7
e 5
A forma matricial , ento: y = x + e

Resolvendo por partes:
Assim, para os valores dados, tem-se:
1
= 2
Tem-se, ento:
3
1 2
8 4

7 5
8
5
' X = 25
X
22
( X' X )
25
151
130
22
130
120
1220
1
140
1016
72
22
X ' y = 131
111
140
116
100
72
100
130
Qualidade do Ajuste
Os coeficientes sero:
=
1220
1
140
1016
72
140
116
100
72 22 0 ,50
100 131 = 1 ,00

130 111 0 ,25
A equao de regresso, ser:

Y i = 0 ,50 + X 1 0 ,25. X 2
E i = Y i Y i
Na ANOVA a variabilidade entorno da

mdia geral decomposta em variabilidade
dentro e entre tratamentos. Na Anlise de
Regresso a variabilidade total decomposta
em variabilidade sobre a regresso (Explicada)
e variabilidade devido a regresso (NoExplicada). Para mostrar esta decomposio
vamos partir da seguinte identidade:
Y i Y i = ( Y i Y ) ( Y i Y )
Elevando os dois lados ao quadrado, tem-se:

SQT (Soma dos Quadrados Total )
2
( Y i Y i ) 2 = [ ( Y i Y ) ( Y i Y )]
(TSS = Total Sum of Squares)
Manipulando algebricamente, tem-se:

n
n
( Y i Y
i =1
) = ( Y i Y i ) + ( Y i Y )
i =1
VT = SQT = ( Y i Y ) 2
i =1
i =1
SQE (SSoma dos Quadrados E xplicados ou

Ajustados)
(ESS = Explained Sum of Squares)
SSR (SSoma dos Quadrados dos Resduos)
2
VR = SQR = E i2 = ( Y i Y i )
i =1
i =1
(RSS = Residual Sum of Squares)

n
VE = SQE = ( Y i Y ) 2
i =1
Assim:
n
( Y i Y
i =1
SQT
G.L. n -1
i =1
i =1
2
) = ( Y i Y i ) + ( Y i Y )
=
=
SQR
+
(n - k - 1) +
SQE
k
Assim, a tabela da ANOVA para a

Anlise de Regresso, fica:
Fonte
Soma dos
Quadrados
GL
Mdia dos
Quadrados
Regresso
SQE
MQE=SQE/k
Resduo
(Erro)
SQR
n k-1
MQS =
SQR/
(n k 1)
MQE/MQS
Como na regresso simples podepode-se

definir o coeficiente de determinao ou R2
R2 =
SQE
SQR
=1
SQT
SQT
(Y i Y ) Y i Y
= n i =1
n
(Y Y )2
Yi Y
i
i =1
i =1
)
2
R2 uma funo no decrescente do

nmero de regressores. Conforme aumenta o
nmero de variveis explicativas R2
geralmente tambm aumenta. Para verificar
isto, basta lembrar que:
R2=
VE
VR
=1
VT
VT
Mas
i =1
i =1
VR = E 2i = Y i Y i
depende do nmero de
independentes existentes no modelo.
variveis
Assim, pelo menos intuitivamente, a

medida que aumenta o nmero de variveis
X, VR deve diminuir ou no aumentar.
R 2 =1
Y i Y i
i =1
n
(Y i Y
i =1
E 2i
=1
i =1
n
(Y i Y
i =1
VT = (Y i Y )
Ento
i =1
independente do nmero de variveis X
no modelo.
2
Assim
R2,
conforme
definido
ir
aumentar. Desta forma ao se comparar dois

modelos de regresso com a mesma varivel
dependente mas diferente nmero de variveis
independentes,
deve-se
ter
cautela
na
interpretao de R2.
10
Assim para comparar dois modelos com

nmeros diferentes de variveis explicativas
2
R =1
VR /( n k )
VT /( n 1 )
Onde k = nmero de parmetros do
conveniente levar em conta esta diferena.

Para fazer isto define-se um coeficiente de
modelo incluindo o intercepto. Esta medida
determinao alternativo, denominado de R2
ajustada para o nmero de g.l. associados s
ajustado, da seguinte forma:
variaes que fazem parte do seu clculo.
Y i Yi
i =1
R 2 =1
n k
n
(Y i Y
i =1
=1
( n 1 ) Y i Yi
( n k ) (Y i Y
i =1
n
i =1
Onde o numerador a varincia residual,

isto , uma estimativa dos termos erro e o
denominador a varincia da varivel Y.
n 1
Ou ainda:
R
=1
2
S 2Y
R 2 pode ser determinado a partir de R2 da

seguinte forma:
R 2 =R
2 n k
n 1
Desta forma se existir apenas uma varivel

explicativa os dois coeficientes so iguais. A
partir de k = 2, o coeficiente ajustado ser
sempre menor do que o coeficiente no ajustado.
Observe que se R2 = 1, ento R 2 tambm ser
um e se R2 = 0, R 2 poder ser menor do que 1
se k > 1.
11
No--Tendenciosidade
No
Varincia dos Estimadores
Os estimadores de mnimos quadrados

ordinrios da regresso linear mltipla so
no-tendenciosos, isto :
E( ) =
Trs fatores influenciam a varincia dos

estimadores
Varincia do erro
E( 1 ) = 1
E( 2 ) = 2
...
E( ) =
k
Variao de Xi
Grau de relao linear entre as
variveis explicativas
Como estimar 2?
Varincia dos Estimadores
Teorema 3: sob as hiptese j mencionadas,

tem
tem--se
se::
n
1
SQR
2 = S 2 =
Ei2 =
( n k 1 ) i =1
( n k 1 )
A varincia dos estimadores j dada

por
por::
Var( j ) =
onde
SST j =
SST j ( 1 R 2j )
2
( X ji X j )
i =1
E( 2 ) = 2
2
j
SSE j
SST j
( X
=
ji
)2
ji
)2
i =1
n
( X
i =1
Teorema de GaussGauss-Markov
Sob as hipteses (H1) - (H5) os estimadores
de MQO so BLUE (Best Linear Unbiased
Estimators),
isto
so
os
melhores
estimadores, no sentido de possurem menor
Todos os estimadores
Estimadores lineares
Estimadores no-tendenciosos
MQO
varincia (maior eficincia), dentro da classe

dos estimadores lineares e no-viesados..
12
Teorema
Inferncia em modelos de regresso linear mltipla.
Distribuio dos estimadores de MQO;
Testes de hipteses sobre um nico parmetro:
Sob as hipteses (H1) - (H6) e

condicionalmente nos valores observados das
variveis independentes.
~ N ,Var( )
j
j
j
o teste t;
Intervalos de confiana;
Logo
Testando restries lineares nos parmetros: o

teste F.
Testes de Hipteses Sobre um nico Parmetro
Considere o modelo
Y = 0 + 1 X 1 + 2 X 2 + L + k X k + U
Hipteses sobre o parmetro bj podem ser

testadas por
por::

j
j
= t n k 1
j
j
~ N (0 ,1 )
Var( j )
Intervalos de Confiana
Da mesma forma podem ser criados
intervalos de confiana para os parmetros
estimados, atravs das seguintes expresses:

n k 1
j
j
Testando Hipteses Sobre uma

Combinao Linear de Parmetros
Considere a regresso, abaixo, onde sal
salario, sec o nmero de anos em escola
secundria, uni o nmero de anos na
universidade e exp o nmero de anos de
experincia profissional.
profissional.
log( sal ) = 0 + 1 sec + 2 uni + 3exp + U

Se quisermos verificar se um ano a mais de

escola secundria equivale a um ano adicional
na universidade, qual hiptese deveria ser
testada?
H0: 1 = 2
Como testar H0?
13
Soluo
Redefina H0 da seguinte forma:
forma:
H0: 1 - 2 = 0
A estatstica do teste ser:

2
t n k 1 = 1
O erro padro da diferena dos dois

estimadores, ser
ser::
V( 1 2 ) = V( 1 ) + V( 2 ) 2 Cov( 1 , 2 )
1 2
Propriedades assintticas
Consistncia dos estimadores

Normalidade assinttica
At o momento foram estudadas as

propriedades em amostras pequenas dos estimadores
de mnimos quadrados.
quadrados.
Por exemplo, a propriedade de no
no-tendenciosidade dos estimadores de MQO vale para
qualquer tamanho de amostra.
amostra.
Estas propriedades so conhecidas como
propriedades exatas dos estimadores.
estimadores.
Consistncia
Relembrando que sob as hipteses de
O prximo passo estudar quais so as

propriedades dos estimadores de MQO quando
o tamanho da amostra cresce.
cresce.
Gauss--Markov E[ j ] = j
Gauss
Estas propriedades so conhecidadas como

propriedades assintticas
assintticas..
estimador possui uma distribuio de
Para cada tamanho de amostra n, o

probabilidade..
probabilidade
14
Consistncia
Definio
Como o estimador no
no--tendencioso,
tendencioso, a
mdia de cada distribuio simplesmente
j.
Se o estimador for consistente, a medida
que n cresce a distribuio fica mais
concentrada em torno da mdia.
mdia.
Seja j um estimador do parmetro j

^
para uma amostra de tamanho n. j ser um
estimador consistente se, para um nmero
qualquer:
lim Pr(| j j |> ) = 0
Normalidade
^
^
Teorema:
Teorema: sob as hipteses (H1) - (H4),
Teorema: sob as hipteses de GaussTeorema:

GaussMarkov (H1 a H5) os estimadores de MQO
so assintoticamente normais onde:
onde:
1
a 2j = plim
n n
os estimadores de mnimos quadrados

ordinrios so consistentes.

j j
n
se
j
( )
Para os parmetros de inclinao

s2 um estimador consistente de
2 = V(Uj), para todo j
2
D
n ( j j )
N 0 , 2
aj
i =1
rij2
N (0 ,1 )
que
acontece
quando
variveis
irrelevantes so includas no modelo?
Considere que o modelo abaixo tenha

sido especificado.
Y = 0 + 1 X 1 + 2 X 2 + 3 X 3 + U
15
Considere ainda que o efeito de X3 em Y,

aps a incluso de X1 e X2 no modelo, seja
nulo. Isto :
3 = 0 E( y| x 1 , x 2 , x 3 ) = E( y| x 1 , x 2 )
E( y| x 1 , x 2 ) = 0 + 1 x 1 + 2 x 2
Mas na prtica no se sabe a priori que

3 = 0. O que acontecer com os estimadores?
O que acontece quando variveis

relevantes no so includas no modelo?
Os
estimadores
sero
viesados
(tendenciosos)..
(tendenciosos)
O vis geralmente chamado de vis de
variveis omitidas.
omitidas.
Y = 0 + 1 X 1 + 2 X 2 + U
Considere o seguinte modelo populacional:

populacional :
Agora, suponha que no modelo estimado a
varivel X2 no foi includa.
includa.
~
~
~
Y = 0 + 1 X 1
~
1 =
(X 1i X 1 )Y i
i =1
n
2
(X 1 i X 1 )
i =1
Nem sempre se quer testar os coeficientes

individuais da regresso. Pode ser necessrio e
conveniente testar o modelo como um todo, isto
testar se:
H 0 : 2 = 3 = ... = k = 0
Este caso pode ser tratado atravs da anlise
O modelo de Regresso Mltipla Geral

dado por:
Yi = 1 + 2X1i + 3X2i + + kXki + Ui
Para testar a hiptese nula de que:
H 0 : 2 = 3 = ... = k = 0
de varincia (ANOVA).
16
Isto , todos os coeficientes so nulos,

contra a alternativa de que nem todos so
simultaneamente nulos, determina-se:
F=
SQE /( k 1 )
SQR /( n k )
A expresso tem uma distribuio F com

k - 1 e n - k graus de liberdade.
Onde:
SQE /( k 1 ) ( n k ) SQE
=
=
SQR /( n k ) ( k 1 ) SQR
( n k ) SQE
=
=
( k 1 )( SQT SQE )
( n k )( SQE / SQT )
=
=
( k 1 )[ 1 ( SQE / SQT )]
F=
( n k ) R 2
R 2 /( k 1 )
=
( k 1 )( 1 R 2 ) ( 1 R 2 ) /( n k )
SQE (SSoma dos Quadrados E xplicados)
SSR (SSoma dos Quadrados dos Resduos)
(ESS = Explained Sum of Squares)
(RSS = Residual Sum of Squares)

n
i =1
i =1
2
VR = SQR = E i2 = ( Y i Y i )
e:
VE = SQE = ( Y i Y )
i =1
O resultado anterior mostra que F e R2
n
( Y i Y
i =1
variam diretamente. Assim se R2 = 0, ento F
i =1
i =1
zero. Quanto maior o valor de R2 maior ser o
2
2
) = ( Y i Y i ) + ( Y i Y )
valor de F. Desta forma o teste F que de

SQT
G.L.
n -1
=
=
SQR
+
(n - k - 1) +
SQE
k
ajuste do modelo tambm testa a significncia

do coeficiente de determinao.
17
Decidindo entre modelos competitivos

A deciso entre um modelo linear ou um
modelo log-linear (o lagaritmo do regressor
uma funo dos logaritmos dos regressores)
uma questo bsica na anlise emprica. Para
testar:
H0: Modelo Linear;
H1: Modelo Log-Linear.
O teste MWD foi proposto por

MacKinnon, White e Davidson e envolve as
seguintes etapas:
Estimar o modelo linear e determinar os
valores Y ;
Estimar o modelo log-linear e obter os
^
valores ln Y ;
Pode-se utilizar o teste MWD.

Obtenha Z1 = ln Y ln Y ;
Fazer uma regresso de Y sobre os valores de X e Z
otidos como acima. Rejeitar H0 se o coeficiente de Z1 for
estatisticamente significativo atravs do teste t
tradicional;
^
)
Obter Z2 = ( anti ln ln Y Y )
Regredir o ln de Y sobre os logaritmos de Xs e Z2.
Rejeitar H1 se o coeficiente de Z2 for significativo pelo
teste t.
O modelo clssico de Regresso Linear baseado

em um conjunto de hipteses simplificadoras:
linear nos parmetros;
Os regressores Xi so fixos em amostragens
repetidas;
A expectncia dos Ui zero;
A varincia de Ui constante e homocedstica.
Se Ui no so autocorrelacionados;
Se os Xi so aleatrios eles so
independentes ou no-correlacionados com Ui;
O nmero de observaes (n) deve ser maior
que o nmero de regressoes (k);
No h relao linear entre os regressoes,
isto , multicolinearidade;
Os termos Ui so normais.
18
Trs questes devem ser respondidas:

Qual o desvio mnimo em relao a uma
hiptese, para que isto faa diferena?
Como verificar se uma hiptese foi, de fato,
violada, numa situao especfica?
Que correo adotar quando uma ou mais
hipteses no forem verdadeiras?
O termo multicolinearidade foi cunhado por

Ragnar Frisch na obra Statistical Confluence
Analysis by Means of Complete Regression
Systems do Instituto de Economia da
Universidade de Oslo que foi publicada em 1934.
O termo significa a existncia de uma relao
perfeita linear entre algumas ou todas as
variveis explicativas do modelo.
1 X1 + 2 X2 + k Xk + V i = 0
Onde o termo Vi estocstico.
O termo multicolinear como definido inclui
apenas relacionamento linear mas isto no exclui
outras relaes como por exemplo: X2 = X1.X1
Assim para uma regresso que envolva k

variveis explicativas: X1, X2, , Xk, diremos que
existe uma relao linear exata se:
1 X1 + 2 X2 + k Xk = 0
Onde 1, 2, , k so constantes no
simultaneamente nulos.
A idia de multicolinearidade inclui ainda:
A existncia da multicolinearidade
pefeita torna os coeficientes da regresso
indeterminados e seus erros padro
infinitamente
grandes.
Se
a
multicolinearidade no for alta (no perfeita)
os coeficientes de regresso podero ser
determinados mas os erros padro sero
grandes.
19
Conseqncias da multicolinearidade
Se as hipteses do modelo so satisfeitas os
estimadores de MQO dos coeficientes da
regresso so MELNV. Pode-se mostrar que
mesmo que as variveis sejam altamente
colineares os MQO ainda mantm a
propriedade MELNV. Assim as conseqncias
prticas podem ser:
As estimativas apresentarem
varincias e como resultante ter-se-:
grandes
Intevalos de confiana maiores;

Alguns coeficientes
significativos;
podem
ser
no
O R2 ainda ser alto, mesmo com coeficientes

no significativos.
Percepo da multicolinearidade
Este um fenmeno essencialmente
Um R2 alto com poucos regressores
amostral, conseqncia decorrente em boa parte
significativos;
de dados no-experimentais coletados na
Altas correlaes dois a dois entre os
maioria das Cincias Sociais. A seguir algumas
regresssores;
regras prticas para detectar sua presena:
ndice de Condio (IC)

ndice de Condio
O nmero de condio k definido
como:
k =
Autovalor Mximo
Autovalor Mnimo
O ndice de Condio (IC) definido,

ento, como:
IC =
Autovalor Mximo
= k
Autovalor Mnimo
Pode-se adotar, ento, a seguinte regra

emprica. Se k estiver entre 100 e 1000 existe
multicolinearidade de moderada a forte. Se
estiver acima de 1000 a multicolinearidade
grave. Da mesma pode-se utilizar o IC. Se ele
estiver entre 10 e 30 colinearidade moderada a
forte e acima de 30 grave.
20
Uma hiptese importante do modelo

clssico de regresso linear a de que a
varincia de cada termo residual (Ui)
constante e igual a 2.
Homo (igual) scedasticidade (disperso) ,
ou
Alternativamente a homoscedasticidade
pode ser expressa por:
V( Y i / x ) =2
A heteroscedasticidade , ento dada por:
V ( Y i / x ) = 2i
A heteroscedasticidade mais comum
E( U 2i ) = 2 i = 1, 2, ..., n
Alguns causas da heteroscedasticidade

podem ser:
Situaes de aprendizagem e erro;
Aumento de renda com aumento da liberdade
de escolha de como dispor a renda;
Melhora nas tcnicas de coleta de dados,
menos erros, menor variabilidade;
Vamos supor o modelo de Regresso

Linear Simples: Yi = + Xi + Ui e que:
quando os dados so provenientes de cortes de
E( U 2i ) = 2i
sries temporais. O que acontece com os

estimadores dos MQO e com suas varincias na
presena de heteroscedasticidade?
heteroscedasticidade?
A inclinao da linha de regresso dada

por:
S
XY nXY
b = XY =
S XX X 2 n X 2
21
Neste caso, a varincia do estimador ser

dada por:
2 2
V(b ) =
Se
( X i X ) i
2
[ ( X i X ) 2 ]
2i = 2 , ento a expresso acima
ficar reduzida ao caso usual.

Neste caso o estimador MQO continua

linear e no tendencioso, mas no ser mais
de varincia mnima.
Ele no eficiente,
eficiente, pois no leva em
considerao a informao de que para cada x
a varincia de Y diferente.
diferente. Para obter um
estimador eficiente preciso fazer uso do
mtodo dos MQG.
MQG.
MQG (Mnimos Quadrados Generalizados)
Detectando a Heterocedasticidade
O MQO no leva em conta as diferentes

variabilidades dos resduos, conferindo a
mesma importncia para cada observao. O
MQG leva em conta explicitamente tal
informao e por isto capaz de produzir
estimadores eficientes na presena de
heteroscedasticidade.
Como saber se existe heteroscedasticidade

nos dados? No existe um mtodo seguro com
valores amostrais. Como, em geral, s existe
um Y para cada X, dectetar a presena de
heroscedasticidade no simples.
Testes formais
A maioria dos mtodos se baseia no exame

dos resduos.
Medidas Corretivas
Teste de Park;
Teste de Glejser;
Teste de Spearman de correlao da ordem;
Teste de Goldfeld-Quandt;
Teste de Breusch-Pagan-Godfrey;
Teste Geral de Heteroscedasticidade de
White;
As medidas corretivas devem levar em

conta as duas seguintes situaes:
Quando as variabilidades resduais forem
conhecidas e
Quando elas no forem conhecidas.
22
Se as variabilidades residuais no forem
Se as variabilidades residuais
conhecidas
forem conhecidas ento deve-se

utilizar o Mtodo dos Mnimos
Quadrados
Generalizados
ou
1
wi = 2
i
pode-se
adotar
os
seguintes
procedimentos:
Varincias e erros-padro consistentes em
Ponderados, onde a ponderao
heteroscedasticidade segundo White;
dada por:
Hipteses plausveis a respeito do padro de

heteroscedasticidade;
Uma hiptese importante do modelo

clssico de regresso linear a de que no
existe autocorrelao ou correlao serial entre
os resduos Ui.
No entanto, a correlao pode ocorrer,
ento deve-se responder:
A Natureza
Qual a sua natureza?
Quais as
prticas?
conseqncias
tericas
Como corrigir o problema quando ele

ocorre?
O termo autocorrelao pode ser entendido

como a correlao entre os termos de observaes
no tempo [sries temporais} ou espaciais [dados
de corte].
No modelo clssico a suposio de que:
E(UiUj) = 0 se i j
Isto , um dado resduo i no influenciado
por um outro dado resduo j.
23
Causas da Autocorrelao
Inrcia ou rigidez. Sries como PNB,
ndices de Preos, Produo, Emprego e
Desemprego so cclicas;
Vis de especificao: variveis excludas.
Vis de especificao: forma funcional
incorreta;
A oferta de produtos agrcolas reflete um

fenmeno denominado de Teia de Aranha, em
que a oferta reage ao preo como uma
defasagem de um perodo de tempo, pois as
decises relativas oferta levam um certo
tempo para serem implementadas.
Fenmeno da Teia de Aranha.
Estimativas por MQO com Autocorrelao

Defasagens. Em uma regresso de srie temporal
do consumo sobre a renda, no raro verificar
que o consumo no perodo corrente depende,
entre outras coisas, do consumo no perodo
anterior;
Manipulaes de dados. Dados trimestrais
agregados de mdias de dados mensais;
O que ocorre com os estimadores de MQO

0 (para i j) e as demais
se E(UiUj)
hipteses forem mantidas?

Neste caso os estimadores, a exemplo, do
caso heteroscedstico, so ainda lineares e no
tendeciosos.
No entanto sua varincia ser afetada.
Para isto ser necessrio utilizar
Neste caso eles no mais tero varincia
MQG
mnima, isto , eles no sero eficientes.
Generalizados, que incorpora qualquer
Aqui,
tambm,
exemplo
da
heteroscedasticidade pode-se encontrar um
Mnimos
Quadrados
informao adicional que tivermos atravs

da transformao das variveis.
estimador que seja eficiente.

24
Detectando a Autocorrelao
A autocorrelao um problema
Mtodo
Grfico.
Representar
potencialmente srio e medidas corretivas
graficamente os resduos (Ut) e os
devem
resduos padronizados (Ut/s);
ser
tomadas.
Entretanto,
inicialmente, necessrio, verificar se ela

existe. Alguns testes para detectar a
Teste das carreiras ou de Geary.

O teste d de Durbin-Watson
autocorrelao.
Medidas Corretivas
Quando o autocorrelao no conhecida.
Quando a estrutura da autocorrelao
Embora simples de aplicar a regresso de
conhecida utilizar a transformao de
diferena generalizada geralmente difcil de
Prais-Winsten e a Equao de Diferena
rodar, pois, na prtica, poucas vezes se
Generalizada ou de Quase-Diferena.
conhece o valor de . Por isto foram criados

mtodos alternativos.
Mtodo da primeira diferena. Para
O mtodo de Cochrane-Orcutt em duas
aplic-lo necessrio fazer o teste de
etapas. uma verso abreviada do
Berenblutt-Webb de que = 1.
processo iterativo.
O processo iterativo de CochraneOrcutt para estimar .

Mtodo de Durbin em duas etapas

para estimar .
25
PARK, R. E. Estimation with Heteroscedastic Error

Terms. Econometrica. v. 34, n. 34, Out de 1966. p.
888.
BREUSCH, T., PAGAN, A. A Simple Test for

Heteroscedasticity
and
Random Coefficient
Variation. Econometrica. v. 47, 1979. p. 1287-94.
GLEJSER, H. A New Test for Heteroscedasticity.

Journal of the American Statistical Association. v.
64, 1969. p. 316-23.
GODFREY, L.
Testing for Multiplicative
Heteroscedasticity. Jornal of Econometrics. v. 8,
1978. p. 227-36.
GOLDFELD, S. M., QUANDT, R. E. Nonlinear

Methods of Econometrics. Amesterd: NorthHolland, 1972.
WHITE, H.
A Heteroscedasticity Consistent
Covariance Matrix Estimator and a Direct Test of
Heteroscedasticity. Econometrica. v. 48, 1980. p. 81718.
GEARY, R. C. Relative Efficiency of Count of Sign

Changes for Assessing Residual Autoregression in Least
Squares Regression. Biometrika, v. 57, 1970. P. 123-27.
DURBIN, J., WATSON, G. S. Testing for Serial
Correlation in Least-Squares Regression. Biometrika. v.
38, 1951. p. 159-71.
BERENBLUTT, I. I., WEBB, G. I. A New Test for
Autocorrelated Errors in the Linear Regression Model.
Journal of the Royal Statistical Society. Srie B, v. 35,
n. 1, 1973. P. 33-50.
COCHRANE, D. ORCUTT, G. H. Application of Least

Squares Regressions to Relationships Containing
Autocorrelated Error Terms. Journal of the Royal
Statistical Society. v . 44, 1949. P. 32-61.
DURBIN, J. Estimation of Parameters in Time-Series
Regression Models. Journal of the Royal Statistical
Society. Srie B. v. 22, 1960. p. 139-153.
26

Reg Mult

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Reg Mult

Enviado por

Direitos autorais:

Formatos disponíveis

Regresso Linear Mltipla

Prof. Lor Viali, Dr.

Modelo de Regresso Linear Simples

Modelo de Regresso Linear Mltipla

Ajuda a encontrar relaes Ceteris

Melhora o ajuste ao dados;

O modelo de regresso linear mltipla

Como no h uma relao precisa entre Y e

O (MLRM) Modelo Linear

Regresso Mltipla dado pela seguinte

Y: varivel dependente, varivel explicada,

Xi: variveis independentes, variveis

Hipteses Adicionais Sobre U

forma funcional inadequada;

Mdia condicional nula

outros fatores alm de X1 ,..., Xk que afetam

E(U| X1, X2, ..., Xk) = E(U) = 0

O Mtodo dos Mnimos Quadrados

Para estimar os parmetros

Considere uma amostra aleatria de

Onde a letra i refere-se a i-sima

A descrio do modelo de regresso

Note-se que cada linha da matriz X

Onde In uma matriz-identidade

As hipteses vistas para a regresso linear

Estimao dos Parmetros

Igualando cada derivada a zero e

Diferenciando em relao aos parmetros de

Para resolver as equaes normais de

Estimao dos Parmetros

Estimao dos Parmetros

Estimao dos Parmetros

Estas equaes podem ser resolvidas

Investimento (R$ mil)

m 11 = 2250 mY1 = 3550

Assim a equao procurada, ser:

Y = 116,16 - 1,31 X 1 + 0 ,11 X 2

Exerccio Um (Gujarati 7.18)

(b) Qual modelo oferece melhor ajuste e por

Exerccio Um (Gujarati 7.18)

Soluo do Exerccio Um (Gujarati 7.18)

A soluo para ser, ento:

Considere os dados como sendo de trs

independentes X1 e X2. Determinar a

O modelo para este caso ser dado por:

Substituindo os valores temos:

As equaes podem ser expressas de

A soluo dada por:

A forma matricial , ento: y = x + e

Resolvendo por partes:

Assim, para os valores dados, tem-se:

100 131 = 1 ,00

A equao de regresso, ser:

Na ANOVA a variabilidade entorno da

Elevando os dois lados ao quadrado, tem-se:

(TSS = Total Sum of Squares)

Manipulando algebricamente, tem-se:

SQE (SSoma dos Quadrados E xplicados ou

SSR (SSoma dos Quadrados dos Resduos)

(RSS = Residual Sum of Squares)

Assim, a tabela da ANOVA para a

Como na regresso simples podepode-se

R2 uma funo no decrescente do