O Modelo de Regressão Simples Parte I

Capítulo 2
Introducão à Econometria
uma Abrodagem Moderna, 4a ed.

Jeffrey M. Wooldridge
Copyright © 2009 South-Western/Cengage
1
Learning
 O Modelo de Regressão Simples
• Primeiro passo para entender e utilizar a
Regressão Múltipla.
• Dada uma população, queremos explicar o
comportamento de uma variável y em termos
de outra variável x.
• Exemplos: salário-hora (y) e educação (x);
produção de soja (y) e fertilizantes (x); taxa de
criminalidade (y) e número de policiais (x).

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 2

 O Modelo de Regressão Simples
1) Como considerar os outros fatores que afetam y?
2) Como y e x se relacionam, ou seja, qual a forma
funcional dessa relação?
3) Como saber se estamos captando uma relação
ceteris paribus entre x e y?

• Exemplo de equação, supostamente válida para a

pupulação de interesse, que resolve essas
questões:
𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)
IEUFU 41041 - Estatística Econômica e Introdução à Econometria 3
 Modelo de Regressão linear Simples
𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)

Neste caso, y é uma função linear de x, e 𝛽0 e 𝛽1 são dois

parâmetros (números) descrevendo a relação. 𝛽0 é o
intercepto , 𝛽1 a inclinação e 𝑢 é o termo de erro ou
distúrbio.

*Característica de uma função linear: a alteração em y é sempre 𝛽1

vezes a alteração em x:
∆𝑦 = 𝛽1 ∆𝑥
Em que ∆ significa “alteração”.
Ou seja, o efeito marginal de x sobre y é constante e igual a 𝛽1 .

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 4

 Exemplo de função linear A.1
(Função linear de despesas com habitação)

Suponha que a relação entre despesas mensais com

habitação e a renda mensal, ambas medidas em
US$, seja:
ℎ𝑎𝑏𝑖𝑡𝑎çã𝑜 = 164 + 0,27 𝑟𝑒𝑛𝑑𝑎
• Então, para cada dólar adicional de renda, 27
centavos são gastos com habitação.
• Se a renda familiar aumentar 200 dólares, então, os
gastos com habitação aumentarão em 0,27*200=54
dólares.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 5

 Exemplo de função linear A.1
(Função linear de despesas com habitação)

h𝑎𝑏𝑖𝑡𝑎çã𝑜 = 164 + 0,27 𝑟𝑒𝑛𝑑𝑎

• Ainda de acordo com esta relação, uma família com
renda =0 gasta 164 dólares com habitação (o que
não pode ser literalmente verdadeiro).

• E a propensão marginal a consumir (PMgC)

habitação por causa da renda é 0,27.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 6

Copyright © 2009 South-Western/Cengage
7
Learning
Terminologia para Regressão Simples

y x
Variável dependente Variável independente
Variável explicada Variável explicativa
Variável resposta Variável controle
Variável prevista Variável previsora
Regressando Regressor

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 8

 O termo de erro u em 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)

• Numa análise de regressão simples, tratamos

todos os outros fatores que afetam y como
“não observados” e representados por u no
modelo.
• Se outros fatores em u são mantidos fixos, de
forma que a variação em u é zero, ∆𝑢 = 0,
então x tem um efeito linear sobre y:
∆𝑦 = 𝛽1 ∆𝑥 se ∆𝑢 = 0

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 9

 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)
• A linearidade de (2.1) implica que a variação de 1
unidade em x terá sempre o mesmo efeito sobre
a variação de y: 𝛽1
• Questão mais difícil de responder: o modelo nos
permite tirar conclusões ceteris paribus de como
x afeta y?
• Como garantir que “tudo o mais que afeta y” está
constante se não bservamos o termo u na
prática? Lembrem-se: u representa todos os
fatores não observados que também explicam o
comportamento de y…

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 10

 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)
• A partir de uma amostra aleatória de dados (y e x), só
podemos estimar 𝛽0 e 𝛽1 de forma a ter 𝛽1 = efeito
“causal” de x sobre y, se supusermos que x e o erro u
não estão relacionados, ou seja, se assumirmos que x e
u são independentes na pupulação de interesse.
• Caso contrário, a estimação de 𝛽1 não poderá refletir o
efeito de x em y quando “tudo o mais permanece
constante”. Pois, se x variar e o erro u for, de alguma
forma, relacionado a x, então ∆𝑢 ≠ 0.
• Como x e y são variáveis aleatórias, precisamos de um
conceito de independência baseado em probabilidade.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 11

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)
• Se um intercepto 𝛽0 está inculído na regressão,
sempre podemos assumir que o valor médio de u
na população é zero. Matematicamente isso
significa:
𝐸 𝑢 =0 (2.5)
• Podemos generalisar e assumir sempre que
fatores não observados (como aptidão de um
indivíduo, qualidade da terra, fatores que afetam
a propensão a cometer crime por um indivíduo)
tem média zero na população que o modelo
procura representar.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 12

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)
• Sobre a relação entre a variável regressora x e o
erro u na equação (2.1): assumir apenas que
Corr(x,u)=0 é insuficiente, pois a correlação,
assim como a covariância, capta apenas se há
uma relação “linear” entre u e x.
• É possível que u seja não correlacionado com x e
seja correlacionado com funções de x tais como
x2. Portanto, assumir que Corr(x,u)=0 é
insuficiente.
• Uma hipótese mais apropriada envolve o valor
esperado de u dado x.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 13

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)

• A hipótese mais importante é que o valor

médio de u não depende do valor que x
assume na população:
𝐸 𝑢𝑥 =𝐸 𝑢 =0 (2.6)
• Quando a hipótese (2.6) se sustenta, dizemos
que a média do erro u é independente de x,
onde subentende-se que o erro u é
completamente independente de x.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 14

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)

• Quando combinamos a hipótese 𝐸 𝑢 = 0

com a independência da média, obtemos a
hipótese da média condicional zero:
𝐸 𝑢𝑥 =0
* Importante: a equação (2.6) é a hipótese
crucial aqui! A hipótese (2.5) define
simplesmente o valor do intercepto.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 15

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)
• A hipótese de média condicional zero é uma hipótese forte!
• Por exemplo, considere um modelo que relaciona o salário de uma
pessoa à educação observada e outros fatores não observados:
𝑠𝑎𝑙á𝑟𝑖𝑜 = 𝛽0 + 𝛽1 𝑒𝑑𝑢𝑐 + 𝑢.
• Suponha que u seja “aptidão inata”. Então, (2.6) requer que o nível
de aptidão seja o mesmo independentemente dos anos de educação
formal.
• Se E(u|8) = nível médio de aptidão de todas as pessoas com 8 anos
de estudo e E(u|16) nível médio de aptidão para todas as pessoas
com 16 anos de estudo, então, por (2.6) assumimos que:
E(u|8)=E(u|16).
• Isto é válido na realidade? Como saber se não observamos aptidão
inata? Devemos resolver isso antes de aplicar a análise de
regressão simples.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 16

 Hipóteses do MRLS
(Modelo de Regressão Linear Simples)
• Considerando-se a esperança condicional e o fato de que E(u|x)=0,
podemos reescrever a relação (2.1) como:
𝐸(𝑦|𝑥) = 𝛽0 + 𝛽1 𝑥 (2.8)
(*Ver propriedades do valor esperado no apêndice B)
• A equação (2.8) é denominada função de regressão populacional
(FRP).
• E(y|x) é uma função linear de x: o aumento de uma unidade de x
faz com que o valor esperado de y varie segundo a magnitude de
𝛽1 .
• Para qualquer valor de x, a distribuição de y está centrada em torno
de E(y|x).
• A equação (2.8) nos diz como o valor médio de y muda com x, mas
não diz que y = 𝛽0 + 𝛽1 𝑥 para todas as unidades da população.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 17

Copyright © 2009 South-Western/Cengage
18
Learning
 𝑦 = 𝛽0 + 𝛽1 𝑥 + 𝑢 (2.1)

• Dada a hipótese de média condicional zero

E(u|x)=0, podemos dividir (2.1) em dois
componentes:
1) A parte que representa E 𝑦 𝑥 = 𝛽0 + 𝛽1 𝑥 é
chamada de parte sistemática de y, ou seja, a
parte de y que é explicada por x.
2) u é chamado de parte não sistemática de y, ou
parte de y não explicada por x.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 19

Derivação das estimativas de mínimos
quadrados ordinários
• Vimos que 𝛽0 𝑒 𝛽1 , que definem a FRP, são parâmetros
desconhecidos. Como podemos estimá-los?
• Se tivermos uma amostra aleatória da população de
tamanho n, de tal forma que {(𝑥𝑖 , 𝑦𝑖 ) = 1,2 … 𝑛},
podemos escrever, para cada observação i da
população:
𝑦𝑖 = 𝛽0 +𝛽1 𝑥𝑖 + 𝑢𝑖
Aqui ui é o termo de erro para cada i, que contém todos
os outros fatores além de xi que afetam yi.
• Exemplo: xi = renda anual e yi =poupança anual para a
família i durante um certo ano. Se coletarmos dados de
15 famílias, então n=15.
• Figura (2.2): conjunto de dados e FRP (fictícia).
IEUFU 41041 - Estatística Econômica e Introdução à Econometria 20
Copyright © 2009 South-Western/Cengage
21
Learning
Derivação das estimativas de mínimos
quadrados ordinários
• Como usar esses dados para obtermos as
estimativas de 𝛽0 𝑒 𝛽1 ?
• Podemos partir das seguintes hipóteses:
1) E(u)=0
2) Cov(x,u)=E(x.u)=0 (vamos supor que não
há correlação linear entre u e x, hipótese mais
fraca do que supor independência).
• Temos então duas incógnitas (𝛽0 𝑒 𝛽1 ) e duas
restrições (equações).
IEUFU 41041 - Estatística Econômica e Introdução à Econometria 22
Derivação das estimativas de mínimos
quadrados ordinários
• Reesecrevendo (1) e (2):
1) E(u)=𝐸 𝑦 − 𝛽0 − 𝛽1 𝑥 = 0
2) Cov(x,u)=𝐸[𝑥 𝑦 − 𝛽0 − 𝛽1 𝑥 ]=0
• Dada uma amostra aleatória de X e Y,
escolhemos estimativas de 𝛽መ0 𝑒 𝛽መ1 para
resolver as equivalências amostrais de (1) e
(2).

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 23

 (1) E y − β0 − β1 x = 0

1) Momento populacional: 𝐸 𝑦 − 𝛽0 − 𝛽1 𝑥 = 0
Equivalente amostral:

𝑦𝑖 ෢0
𝛽 𝑥𝑖
෍ − ෍ − 𝛽መ1 ෍ = 𝑦ത − 𝛽መ0 − 𝛽መ1 𝑥ҧ = 0
𝑛 𝑛 𝑛
𝑖 𝑖 𝑖
Portanto, pelo método dos momentos para a estimação,
chegamos a uma fórumla para 𝛽0 :

𝛽መ0 = 𝑦ത − 𝛽መ1 𝑥ҧ (1)

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 24

 (2) E[x y − β0 − β1 x ] = 0
2) Momento populacional: 𝐸[𝑥 𝑦 − 𝛽0 − 𝛽1 𝑥 ] = 0
Equivalente amostral:

Podemos substituir 𝛽መ0 = 𝑦ത − 𝛽መ1 𝑥ҧ na expressão acima, obtendo

𝑥𝑖 [𝑦𝑖 − 𝑦ത − 𝛽መ1 𝑥ҧ − 𝛽መ1 𝑥𝑖 ]
෍ =0
(𝑛 − 1)
𝑖
ത
𝑥𝑖 (𝑦𝑖 −𝑦) ෡ 𝑥𝑖 (𝑥𝑖 −𝑥)ҧ
𝛽1
σ𝑖 − σ𝑖 = 0.
𝑛−1 𝑛−1
𝑥𝑖 (𝑥𝑖 −𝑥)ҧ
σ
Portanto, desde que 𝑖 >0, podemos escrever
(𝑛−1)
σ𝑖 𝑥𝑖 (𝑦𝑖 − 𝑦)
ത covariância amostral(x,y)
෢1 =
𝛽 =
σ𝑖 𝑥𝑖 (𝑥𝑖 − 𝑥)ҧ 𝑣𝑎𝑟𝑖â𝑛𝑐𝑖𝑎 𝑎𝑚𝑜𝑠𝑡𝑟𝑎𝑙 (𝑥)

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 25

 Derivação das estimativas de mínimos
quadrados ordinários
σ𝑖 𝑥𝑖 (𝑦𝑖 −𝑦)
ത σ𝑖 𝑦𝑖 (𝑥𝑖 −𝑥)ҧ σ𝑖(𝑥𝑖 −𝑥)(𝑦
ҧ ത
𝑖 −𝑦)
෢
𝛽1 = σ =σ = (2) (*provar)
ҧ
𝑖 𝑥𝑖 (𝑥𝑖 −𝑥) ҧ 2 σ
𝑖 (𝑥𝑖 −𝑥) ҧ ҧ
𝑖(𝑥𝑖 −𝑥)(𝑥𝑖 −𝑥)
• A expressão a que chegamos para 𝛽 ෢1 é a covariância amostral entre x e y,
dividida pela variância amostral de x (ver apêndice C). Isso faz sentido,
pois 𝛽1 é a covariância populacional entre x e y dividida pela variância de x
quando E(u)=0 e Cov(u,x)=0.
• Embora tenhamos partido da hipótese 𝐸 𝑢 𝑥 = 𝐸 𝑢 = 0 para
obtermos as expressões para 𝛽 ෢0 e 𝛽
෢1 , notem que só precisamos que
Var(x)>0 para que, a partir de uma dada amostra, obtenhamos essas
estimativas.
• A condição Var(x)>0 deve sempre valer, caso contrário não teremos
formulado um problema interessante, ou tivemos muito azar na obtenção
da amostra (ver figura 2.3).

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 26

Copyright © 2009 South-Western/Cengage
27
Learning
 Derivação das estimativas de mínimos
quadrados ordinários
• ෢1 = σ𝑖 𝑥𝑖 (𝑦𝑖 −𝑦)
As estimativas (1) 𝛽መ0 = 𝑦ത − 𝛽መ1 𝑥ҧ e (2) 𝛽
ത
são chamadas de
σ ҧ 𝑖 𝑥𝑖 (𝑥𝑖 −𝑥)
Mínimos Quadrados Ordinários (MQO) de 𝛽0 e 𝛽1 .
• Para justificar esse nome, considere um 𝛽መ0 e um 𝛽መ1 estimados a partir de
uma amostra aleatória qualquer de tamanho n. Assim, para cada valor de
𝑥𝑖 na amostra, haverá um valor estimado ou previsto de 𝑦𝑖 que
denotaremos por 𝑦 ෝ𝑖 :

෢0 + 𝛽
𝑦ෝ𝑖 = 𝛽 ෢1 𝑥𝑖 (3)
• Esse é o valor que prevemos para y quando 𝑥 = 𝑥𝑖 com intercepto e
inclinação dados. Haverá um valor estimado para cada observação na
amostra.

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 28

 Resíduos da estimação

• Chamamos de resíduo da observação i a diferença entre o valor

verdadeiro de 𝑦𝑖 e o seu valor estimado 𝑦
ෝ𝑖 :

෢0 + 𝛽
𝑢ෝ𝑖 = 𝑦𝑖 − 𝑦ෝ𝑖 = 𝑦𝑖 − 𝛽 ෢1 𝑥𝑖

• Haverá um resíduo para cada uma das n obervações da amostra.

• *ATENÇÃO: os resíduos não são iguais aos erros do modelo que
definimos na função de regressão populacional (FRP)! Os erros são não
observáveis, pois A FRP é desconhecida (não conhecemos os verdadeiros
parâmetros 𝛽0 𝑒 𝛽1 ).
• Os resíduos são observáveis, pois surgem depois de ajustada uma reta de
regressão amostral a partir das estimativas de 𝛽መ0 e 𝛽መ1 . (ver figura 2.4).

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 29

Copyright © 2009 South-Western/Cengage
30
Learning
 Mínimos Quadrados Ordinários
• Se quisermos ajustar uma reta no gráfico de dispersão dos dados
amostrais, da forma mais “ótima” possível (isto é, mais próxima das
verdadeiras obervações de yi), uma forma de fazer isso é escolher
෢0 𝑒 𝛽
𝛽 ෢1 de forma a tornar a soma dos quadrados dos resíduos em torno
da reta o menor possível (mínima).

• Por que buscar minimizar a soma de quadrados dos resíduos σ𝑖 𝑢 ෢2 e não

𝑖
simplesmente a soma dos resíduos σ𝑖 𝑢ෝ𝑖 ?
• Resposta: para uma variável aleatórioa X qualquer, dada uma amostra de
tamanho n {(𝑥𝑖 ): 𝑖 = 1, 2, … 𝑛} a soma dos desvios em torno da média
amostral σ𝑖(𝑥𝑖 − 𝑥)ҧ será sempre zero.
• ෢0 , 𝛽෢
É possível mostrar que as condições necessárias para (𝛽 1)
minimizarem a soma do quadrado dos resíduos são dadas exatamente
pelas equações (1) e (2).
• Por este motivo, (1) e (2) são chamadas de condições de primeira ordem
para as estimativas de MQO (termo que vem da otimização usada no
cálculo).
IEUFU 41041 - Estatística Econômica e Introdução à Econometria 31
 Mínimos Quadrados Ordinários
• MQO é adequado para estimar os parâmetros que aparecem na função de
média condicional: 𝐸 𝑦 𝑥 = 𝛽0 + 𝛽1 𝑥

• Uma vez determinados 𝛽෢0 𝑒 𝛽

෢1 , obtemos a reta de regressão por MQO ou
função de regressão amostral:

෢0 + 𝛽
𝑦ෝ𝑖 = 𝛽 ෢1 𝑥𝑖

• Os valores obtidos por essa reta 𝑦

ෝ𝑖 são apenas estimativas.
• Trata-se de uma versão estimada da função de regressão populacional,
que é algo fixo, mas desconhecido:

𝐸 𝑦 𝑥 = 𝛽0 + 𝛽1 𝑥

IEUFU 41041 - Estatística Econômica e Introdução à Econometria 32