EST 640 - MODELOS

LINEARES I
Prof. Dr. Luiz A. Peternelli
Prof. Dr. Grson R. Santos
DET - 2011
16:08:26
-Aula 09-
-Aula 09-
16:08:26
Regresso Linear Simples
-Aula 09-
3 / 21
O modelo:
- O modelo de RLS para n observaes dado por
y
i
=
0
+
1
x
i
+
i
- O termo simples indica que existe somente uma varivel
X (chamada de independente) e o termo linear vem das
derivadas parciais do modelo que no dependem dos
parmetros,
y
i

0
= 1 e
y
i

1
= x
i
.
- Um exemplo de modelo no-linear y
i
=
0
+x

1
i
+
i
, pois
y
i

0
= 1 e
y
i

1
= x

1
i
lnx
i
, x
i
> 0; x
i
= 1.
16:08:26
RLS
-Aula 09-
4 / 21
O modelo:
- Geometricamente, o
1
o coeciente angular da reta
descrita pelo modelo e muitas vezes chamado de coeciente
de regresso. Analiticamente, esse parmetro indica o que
acontece em mdia com a varivel dependente quando a
varivel independente sofre um incremento de cada unidade.
- O
0
o coeciente linear da reta ou, ainda, constante da
regresso. Analiticamente, esse parmetro indica o que
acontece em mdia com a varivel dependente na ausncia da
varivel independente.
16:08:26
RLS
-Aula 09-
5 / 21
Pressuposies:
- Adotando a apostila do curso (difere um pouco da literatura):
1. A relao entre X e Y linear;
2. X no uma V.A. (os mesmos valores sero usados em
novas amostragens, ou seja, o pesquisador controla suas
realizaes);
3. A mdia do erro nula (E[
i
] = 0 E[y
i
] =
0
+
1
x
i
);
4. Para qualquer valor de X a varincia do erro sempre
2
,
dito homocedstico (V ar[
i
] =
2
V ar[y
i
] =
2
)
(mostrar).
16:08:26
RLS
-Aula 09-
6 / 21
Pressuposies:
5. O erro de uma observao independente do erro da
outra (E[
i

j
] = 0) Por que?
6. Os erros tm distribuio normal (pressuposio
necessria para o teste de hipteses sobre os parmetros e
construo de intervalos de conana). Se os erros no
tiverem distribuio normal, quais as consequncias?
16:08:26
RLS
-Aula 09-
7 / 21
Estimao:
1. O primeiro passo de uma anlise de regresso medir o
grau de associao entre X e Y, atravs do coeciente de
correlao amostral (r ou )
r
XY
=
cov(X, Y )
_
var(X) var(Y )
=
SPD
XY

SQD
X
SQD
Y
em que SPD
XY
=

i
X
i
Y
i

i
X
i
__

i
Y
i
_
n
,
SQD
X
=

i
X
2
i

_

i
X
i
_
2
n
e SQD
Y
=

i
Y
2
i

_

i
Y
i
_
2
n
.
16:08:26
RLS
-Aula 09-
8 / 21
Estimao:
2. Para obter as estimativas dos parmetros
0
e
1
toma-se
amostras conjuntas (x
i
, y
i
), fazendo a seguinte distino
- y
i
so os valores observados;
- y
i
so os valores estimados;
- y
i
= E[Y
i
] +
i

i
= y
i

1
x
i
(erro);
- y
i
= y
i
+
i

i
= y
i
y
i
(desvio ou resduo).
16:08:26
RLS
-Aula 09-
9 / 21
Estimao:
2.
- Quanto ao mtodo de estimao vamos adotar o Mtodo
dos Mnimos Quadrados (MMQ), em que as estimativas
dos parmetros visam minimizar a soma dos quadrados
dos erros:
i
= y
i

1
x
i

Z =

2
i
=

i
(y
i

1
x
i
)
2
- Como encontrar o mnimo dessa funo? Derivando
(parcial em relao aos parmetros) e igualando a zero:
16:08:26
RLS
-Aula 09-
10 / 21
Estimao:
2.
_

_
Z

0
= 2

i
(y
i

1
x
i
)
Z

1
= 2

i
x
i
(y
i

1
x
i
)

_
2

i
_
y
i

1
x
i
_
= 0
2

i
x
i
_
y
i

1
x
i
_
= 0

16:08:26
RLS
-Aula 09-
11 / 21
Estimao:
2.
_

_
n

0
+

1
x
i
=

i
y
i

i
x
i
+

i
x
2
i
=

i
x
i
y
i

0
= y

1
x

1
=

i
x
i
y
i

i
x
i

i
y
i

i
x
2
i

i
x
i

2
n
=
SPD
XY
SQD
X
16:08:26
RLS
-Aula 09-
12 / 21
Estimao:
2.
- Obs.: Do sistema gerado, 3 resultados so teis para
vericar se as estimativas dos parmetros foram
corretamente calculadas:
(a)

i
_
y
i

1
x
i
_
= 0

i

i
= 0 (mostrar);
(b)

i
x
i
_
y
i

1
x
i
_
= 0

i
x
i

i
= 0 (mostrar);
(c)

i
y
i

i
= 0 (mostrar).
16:08:26
RLS
-Aula 09-
13 / 21
Estimao:
2.
- Obs.: Para vericar que

0
e

1
minimiza Z, devemos
examinar o sinal da derivada segunda (Vericar).
Importante: Como no foi exigido em momento algum
a independncia entre os valores observados, possvel
ajustar y
i
=

0
+

1
x
i
a um conjunto de dados
correlacionados, desde que no seja feita inferncia. Mas,
se todas as pressuposies forem satisfeitas,

0
e

1
so
no-viesados e tm a menor varincia dentre todos os
estimadores no-viesados de
0
e
1
.
16:08:26
RLS
-Aula 09-
14 / 21
Estimao:
3. Como y
i
= y
i
+
i
, conclumos que a mdia dos valores
observados igual a mdia dos valores estimados (o que
s ocorre na presena de
0
) (Mostrar).
4. O MMQ no fornece um estimador para V ar[y
i
] =
2
,
mas trabalhando com y
i
, estimamos
2
por
s
2
=

i
(y
i
y
i
)
2
n 2
=
SQ
RES
n 2
.
Lembrando que no denominador n 2 devido a
estimao acontecer em funo de 2 parmetros.
16:08:26
RLS
-Aula 09-
15 / 21
Estimao: T.H.:
5. evidente que formular hipteses sobre
1
de maior
interesse que formular sobre
0
, pois o que se espera de
uma regresso vericar se existe a relao linear.
- Ento, H
0
:
1
= 0 (no existe relao linear), supondo
que y
i
N(
0
+
1
x
i
;
2
).
-

1
e
2
tm as seguintes propriedades:
(a)

1
N(
1
,

2

i
(x
i
x)
2
);
(b)
(n2)s
2

2

2
(n2)
;
(c)

1
e
2
so independentes.
16:08:26
RLS
-Aula 09-
16 / 21
Estimao: T.H.:
5.
- Dessas propriedades conclumos
t =

1
s
_
_

i
(x
i
x)
2
t
(n2)
o que permite o procedimento de T.H. bilateral ou
unilateral.
- Na apostila do Prof. Adair temos tbm mais detalhes
sobre o T.H. para H
0
:
i
= k.
16:08:26
RLS
-Aula 09-
17 / 21
Estimao: I.C.:
6. O IC para os parmetros
i
, ao nvel de conana 1
dado por
IC :

i
t
(

2
,n2)
s(

i
)
em que var(

1
) =
s
2

i
(x
i
x)
2
e
var(

0
) = s
2
_
1
n
+
x
2

i
(x
i
x)
2
_
16:08:26
RLS
-Aula 09-
18 / 21
Estimao: I.C.:
6.
- Obs.: A interpretao de um IC merece um cuidado
especial. Por exemplo: para um
IC(

1
)
0,95
: 20 0, 50 19, 50
1
20, 50 a
interpretao que temos 95% de conana de que este
intervalo contenha
1
, no sentido frequentista, ou seja,
95% dos intervalos construdos conteriam
1
.
16:08:26
RLS
-Aula 09-
19 / 21
ANOVA:
1. uma forma de dividir a varincia total em componentes,
neste caso, devido a regresso e do resduo (y
i
= y
i
+
i
);
2. Essa partio tem como um dos objetivos vericar se a
parte da variao total explicada pelo modelo (regresso)
signicativamente diferente de zero;
3. Como pode ser mostrado em detalhes, a soma de
quadrados total de y
i
dividida em soma de quadrados
devido a regresso e a soma de quadrados de resduos;
16:08:26
RLS
-Aula 09-
20 / 21
ANOVA:
1. Na ANOVA, especicamente, as varincias so
denominadas quadrados mdios (QM), que so obtidos
pela diviso das somas de quadrados pelos respectivos
graus de liberdade;
2. Uma vez que os QM so obtidos, pode-se utilizar o teste
F para a hiptese H
0
:
1
= 0, pois sob H
0
, a estatstica
F =
QM
REG
QM
RES
F
(1,n2)
portanto a hiptese nula deve ser rejeitada se o valor
calculado superar o valor crtico.
16:08:26
RLS
-Aula 09-
21 / 21
ANOVA:
3. A ANOVA muitas vezes apresentada em forma
resumida numa tabela.
F.V. G.L. S.Q. Q.M. F
c
REG. 1 SQ
REG
SQ
REG
1
QM
REG
QM
RES
RES. n 2 SQ
RES
SQ
RES
n2

TOTAL n 1 SQ
TOTAL

- Questes: Como avaliar a qualidade do ajuste? Como
avaliar a qualidade do ajuste gracamente? Ora estamos
usando o teste F e o t, est certo isso? Qual a relao entre
eles?
16:08:26