O Modelo de Regressão linear

simples

y = b0 + b1x + u

1
MQO
Idéia básica da regressão é estimar os
parâmetros populacionais a partir de uma
amostra de dados.
Consideramos uma amostra aleatória de
tamanho n {(xi,yi): i=1, …,n} da população.
Para cada observação nesta amostra, temos
que:
y i = b 0 + b 1x i + u i
2
Linha de regressão populacional

y E(y|x) = b0 + b1x
y4 .{
u4

y3 .} u3
y2 u2 {.

y1 .} u1

x1 x2 x3 x4 x
3
Linha de regressão amostral

y
y4 .
û4 {
yˆ  bˆ0  bˆ1 x
y3 .} û3
y2 û2 { .

} û1
y1 .
x1 x2 x3 x4 x
4
MQO
Queremos ajustar da melhor forma possível a reta
da regressão aos dados.
Método de MQO: problema de minimização.
Iremos escolher os betas de forma que minimize
a função abaixo:

 
n n

 uˆi   y b
ˆ ˆ 2
0  b1 xi
2
i
i 1 i 1

5
MQO
Resolvendo o problema de minimização, obtemos
as condições de primeira ordem:

 
n


i 1
y i
ˆ
b 0  ˆ x 0
b 1 i

 
n

 i i 0 1i
x
i 1
y  ˆ  bˆ x  0
b

6
MQO
Da primeira condição de primeira ordem,
chegamos em:

y  bˆ 0  bˆ 1x,
or
bˆ 0  y  bˆ 1x

7
MQO
Da segunda condição de primeira ordem,
chegamos em: b̂ 0

   
n

i i
x y
i 1
 y  ˆ x  bˆ x  0
b 1 1 i

n n
x 
i i y  y   ˆ
b 1  xi  xi  x 
i 1 i 1
n n

 xi  x  yi  y   b1  xi  x 
ˆ 2

i 1 i 1
8
O estimador da inclinação da reta da regressão
amostral será:

 x i  x y i  y 
bˆ 1  i 1
n

 x  x
2
i
i 1
n

 x  x  0
2
onde i
i 1

9
Fórmula do estimador da inclinação da reta

O estimador da inclinação é a covariância

amostral entre x e y dividida pela variância
amostral de x
Se x e y são positivamente correlacionados,
a inclinação é positiva
Se x e y são negativamente
correlacionados, a inclinação é negativa.
Precisamos que o x varie na nossa
amostra!!!
10
MQO
Intuitivamente, o MQO ajusta uma reta aos
dados amostrais de tal forma que a soma do
quadrado dos resíduos seja a menor
possível.
O resíduo, û, é uma estimativa para o termo
de erro, u, e corresponde a diferença entre a
linha predita (a função de regressão
amostral) e o ponto da amostra.
11
Propriedades algébricas do MQO
A soma dos resíduos é zero.
Logo, a média dos resíduos é zero.
A covariância amostral entre os regressores
e os resíduos é zero.
A reta da regressão amostral sempre passa
pela média amostral das variáveis.

12
Propriedades algébricas do MQO
n

n  û i

 û
i 1
i  0 logo, i 1
n
0
n

 x û
i 1
i i 0

y  bˆ 0  bˆ 1x
13
MQO
Cada observação é dividida numa parte
explicada e noutra parte não explicada
y i  ŷ i  û i Definimos :

 iy  y 2
variação total dos valores observados de y
em torno da sua média (STQ)

 iŷ  y 2
variação total dos valores estimados
de y em torno da sua média(SQE)
 i variação residual ou inexplicad a dos valores de y (SQR)
û 2

STQ  SQE  SQR

14
STQ = SQE + SQR

 y  y   y  ŷ   ŷ  y

2 2
i i i i

  û  ŷ  y 
2
i i

  û  2 û ŷ  y    ŷ  y 
2 2
i i i i

 SQR  2 û ŷ  y   SQE

i i

mas sabemos que  û ŷ  y   0 i i

15
Qualidade do ajuste da reta aos
dados
Se a linha da regressão se adequa bem aos
dados amostrais.
Coeficiente de determinação: medida
resumo que diz o quão bem a reta se ajusta
aos dados.
R2: fração de STQ que é explicada pelo
modelo.
R2 = SQE/STQ = 1 – SQR/STQ

16
 Qualidade do ajuste da reta aos
dados
R2 mede a proporção ou percentual da
variação total de y que é explicada pelo
modelo.

0  R 1
2

Ajuste perfeito
Não há relação entre y e x
17
Qualidade do ajuste da reta aos
dados

18
Exemplo 1: salário e educação

19
Exemplo 2:
55 domicílios rurais da Índia.
y = despesas com alimentos
x = despesa total (proxy da renda).

20