CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
A Regressao e um metodo estatstico que permite estabelecer
relacoes entre variaveis procurando estimar (prever) uma delas, a
variavel resposta (ou dependente), quando se supoe conhecidas
outras variaveis explicativas (ou independentes).
Por exemplo, prever
o peso de uma pessoa a partir da sua altura;
o volume de vendas de um artigo atraves do investimento em
publicidade;
o custo de manutencao de uma frota de automoveis em
fun cao da idade do veculo, etc.
1
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
Nota
Nos exemplos indicados recorre-se a apenas uma variavel
explicativa ou independente (regressao simples), embora se possa
considerar mais de uma variavel explicativa (regressao m ultipla).
Nota
O nosso estudo incidira sobre a regressao linear simples.
2
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
Exemplo (8.1)
Os dados que se seguem dizem respeito `as alturas (em cm) e os
respectivos pesos (em kg) de 15 indivduos.
Altura (x) 159 161 163 167 167 168 170 170 170 172 174 177 180 181 185
Peso (y) 58 69 59 64 70 76 64 71 81 76 82 72 89 79 96
3
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
Figura: Diagrama de dispersao do peso versus altura
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
160 165 170 175 180 185
6
0
7
0
8
0
9
0
Altura (cm)
P
e
s
o

(
k
g
)
4
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
Da representa cao graca dos pontos (x
i
, y
i
), i = 1, . . . , 15,
sobressai a existencia de uma rela cao linear (nao perfeita) entre
o peso e a altura de um indivduo, pelo que faz algum sentido
ajustar aos dados o modelo linear
Y = +X +
em que:
e sao constantes desconhecidas;
exprime o erro (ou desvio, ou resduo ou rudo) de
caractersticas eminentemente imprevisveis e, portanto,
aleatorias.
5
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Introducao
Nota
A qualidade do ajustamento linear sera tanto melhor quanto menor
for a magnitude dos erros ou desvios.
Nota
O metodo dos mnimos quadrados permite estimar e sem que
seja necessaria alguma referencia `a distribui cao dos resduos.
6
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
O objectivo do metodo dos mnimos quadrados e ajustar uma recta
de equacao
y = a + bx
aos dados, onde = a e

= b, minimizando a soma dos
quadrados dos erros (ou desvios) denida por
SE =
n

i =1
e
2
i
=
n

i =1
(y
i
y
i
)
2
=
n

i =1
[y
i
(a + bx
i
)]
2
,
em que y
i
e a estimativa produzida pelo modelo y
i
= a + bx
i
para
cada valor x
i
constante da variavel explicativa X da amostra e e
i
e
o erro associado `a estimativa
7
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
As estimativas dos mnimos quadrados dos parametros do modelo
obtem-se resolvendo o sistema

SE
a
= 0
SE
b
= 0

i =1
[y
i
(a + bx
i
)] = 0
n

i =1
[y
i
(a + bx
i
)]x
i
= 0
.
8
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
As equacoes anteriores sao conhecidas por equa coes normais e a
solucao do sistema e

a = y bx
b =
P
n
i =1
(x
i
x)(y
i
y)
P
n
i =1
(x
i
x)
2
=
P
n
i =1
x
i
y
i
nx.y
P
n
i =1
x
2
i
nx
2
.
Nota
A recta dos mnimos quadrados passa pelo ponto (x, y).
9
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
Nota
O metodo do mnimos quadrados nao e um metodo estatstico
porque nao ha nenhuma suposi cao estatstica, e pode ser aplicado
sempre que se queira ajustar uma recta a um conjunto de pares de
pontos.
10
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
Voltando ao exemplo 8.1, temos
15

i =1
x
i
y
i
= 189977,
15

i =1
x
i
= 2564,
15

i =1
x
2
i
= 439048,
15

i =1
y
i
= 1106,
15

i =1
y
2
i
= 83138,
originando
a = 130.243, e b = 1.193 ,
pelo que a recta dos mnimos quadrados tem equacao
y = 130.243 + 1.193x.
11
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
Figura: Recta de regressao para o peso versus altura
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
160 165 170 175 180 185
6
0
7
0
8
0
9
0
Altura (cm)
P
e
s
o

(
k
g
)
12
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Estimacao dos Parametros do Modelo
Considerando o modelo ajustado, a estimativa para o peso de um
indivduo com 1.70 m de altura e
y = 130.243 + 1.193 170 = 72.6 kg.
Nota
O valor 72.6 kg devera depois ser interpretado como sendo a
estimativa do peso medio de um indivduo com 1.70 m de altura.
13
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Uma estatstica usada para medir a qualidade do ajustamento
linear aos dados e o coeciente de determina cao, ou seja, o
quadrado do coeciente de correla cao de Pearson.
Recorde-se que o coeciente de correlacao entre as v.a. X e Y e
dado por
=
Cov(X, Y)

Y
,
com 1 1.
14
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Se = 0, as duas variaveis sao linearmente independentes.
Se = 1, existe uma associacao linear perfeita entre X e Y.
Se 0 < || < 1, a variavel X contem alguma informa cao sobre
Y, de modo que e possvel fazer previsoes para Y.
15
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
O coeciente de correlacao pode ser estimado a partir das
observacoes da seguinte forma
r =
n

i =1
(x
i
x)(y
i
y)

i =1
(x
i
x)
2

i =1
(y
i
y)
2
=
n

i =1
x
i
y
i
nx.y

i =1
x
2
i
nx
2

i =1
y
2
i
ny
2
.
conhecido por coeciente de correla cao de Pearson.
16
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Calculando o coeciente de correlacao de Pearson para o exemplo
vem
r = 0.833,
pelo que o coeciente de determinacao toma o valor
r
2
= 0.833
2
= 0.694.
Nota
O coeciente de determinacao da-nos a propor cao da variabilidade
total que e explicada pelo modelo de regressao, e quanto mais
proximo estiver do valor 1 melhor sera a qualidade do ajustamento.
17
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Assim sendo, 69.4% da variabilidade total do peso e explicada pela
altura, enquanto 30.6% dessa variabilidade e explicada por outros
factores.
Nota
O coeciente de determinacao pode ser calculado `a custa do
declive da recta de regressao da forma
r
2
=
S
2
X
S
2
Y
b
2
.
18
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Apresentam-se algumas situacoes tpicas e os correspondentes
coecientes de correlacao de Pearson.
r = 1


r = 1


19
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
r = 0.8


r = 0.2


20
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
r = 0


r = 0


21
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Sobre o resduo aleatorio do modelo linear e habitual supor tres
hipoteses:
O seu valor medio e nulo, isto e, E() = 0;
Os resduos nao estao correlacionados e a sua variancia nao
depende de X;
O resduo segue uma distribuicao normal.
As duas primeiras condicoes sao conhecidas pelas condi coes de
Gauss-Markov, enquanto a terceira condicao sera apenas util
quando se pretender efectuar testes de hipoteses ou determinar
intervalos de conan ca para os parametros do modelo.
22
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Qualidade do Ajustamento Linear
Aplicando valores esperados `a equacao Y = +X + e
admitindo conhecido o valor da variavel explicativa X, obtem-se
E(Y|X = x) = +x.
Nota
A regressao de Y sobre X e denida por E(Y|X = x). Quando se
diz que a regressao de Y sobre X e linear, isto quer dizer que o
valor medio condicional E(Y|X = x) e uma funcao linear em x.
Por outro lado, se os desvios forem normais, entao
Y|X = x N( +x, ).
23
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Validacao do Modelo
As inferencias estatsticas sobre os parametros de um modelo de
regressao linear so fazem sentido se as condi coes de Gauss-Markov
forem satisfeitas, assim como a hipotese de normalidade dos
resduos.
q
q
q
q
q
q
q
q
q
q
q
q
q
q
q
160 165 170 175 180 185

5
0
5
Altura (cm)
R
e
s

d
u
o

(
e
i
)
24
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Validacao do Modelo
Como podemos observar na gura, os resduos do exemplo
apresentam um padrao aleatorio em torno de zero, indicador
de ausencia de correlacao entre eles.
Haveria que testar tambem a hipotese de os resduos serem
normais com valor medio zero.
25
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Para um problema de regressao e usual desenvolver testes
estatsticos sobre:
os parametros do modelo;
a capacidade explicativa do modelo.
Os testes mais correntes sao sobre os parametros e e
baseiam-se na distribui cao amostral de e

que ja vimos.
26
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros

E comum testar a hipotese do parametro ser (na populacao)

igual a um determinado valor
0
, isto e, testar
H
0
: =
0
versus H
1
: =
0
.
O criterio de rejeicao a um nvel para o teste anterior e
|b
0
|
S

S
x

n 1
> t
n2;1/2
,
onde
S
2
=
1
n 2
n

i =1
e
2
i
.
27
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Nota
A hipotese mais comum sobre e
H
0
: = 0 versus H
1
: = 0,
isto e, que nao existe regressao linear entre as duas variaveis; por
outras palavras, Y nao depende linearmente de X.
28
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
De igual modo pode interessar-nos testar hipoteses sobre o
parametro , isto e, testar
H
0
: =
0
versus H
1
: =
0
.
O criterio de rejeicao a um nvel e
|a
0
|
S

1
n
+
X
2
(n1)S
2
X
> t
n2:1/2
.
29
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Nota
Tal como no caso anterior, o teste de hipotese mais comum sobre
e
H
0
: = 0 versus H
1
: = 0,
ou seja, testar se a recta de regressao passa pela origem.
30
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Para o modelo linear estimado y = 130.243 + 1.193x indicamos
no quadro abaixo os respectivos resduos.
x
i
159 161 163 167 167 168 170 170 170 172 174 177 180 181 185
y
i
58 69 59 64 70 76 64 71 81 76 82 72 89 79 96
y
i
59.5 61.9 64.3 69.0 69.0 70.2 72.6 72.6 72.6 75.0 77.4 81.0 84.6 85.7 90.5
e
i
-1.5 7.1 -5.3 -5.0 1.0 5.8 -8.6 -1.6 8.4 1.0 4.6 -9.0 4.4 -6.7 5.5
Assim sendo,
s
2
=
SE
n 2
=
1
13
15

i =1
e
2
i
=
485.13
13
= 37.318
donde
s = 6.11.
31
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Se pretendermos testar a hipotese de nao haver regressao linear do
peso sobre a altura, isto e,
H
0
: = 0 versus H
1
: = 0,
vem
|b
0
|
s

s
x

n 1
=
|1.193 0|
6.11

(7.44

14)
= 5.435.
Para um nvel de signicancia de 5%, temos t
13;0.975
= 2.160, e
como 5.435 > 2.160, existem razoes para rejeitarmos a hipotese
nula, ou seja, existe regressao linear do peso sobre a altura.
32
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Exerccio (8.1)
Teste a hipotese de a recta de regressao passar pela origem, isto e,
H
0
: = 0 contra H
1
: = 0.
33
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Quanto `a capacidade explicativa do modelo, temos
n

i =1
(Y
i
Y)
2
=
n

i =1
[(Y
i


Y
i
) + (

Y
i
Y)]
2
=
n

i =1
(Y
i


Y
i
. .. .
=e
i
)
2
+
n

i =1
(

Y
i
Y)
2
34
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Representando por
ST =
n

i =1
(Y
i
Y)
2
variabilidade total
SE =
n

i =1
(Y
i


Y
i
)
2
variabilidade nao explicada pela regressao
SR =
n

i =1
(

Y
i
Y)
2
variabilidade explicada pela regressao
vem
ST = SE + SR .
35
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Testes de Hipoteses sobre os Parametros
Prova-se que
r
2
=
SR
ST
o que mostra que o coeciente de determinacao nos da a
percentagem da variabilidade total que e explicada pelo modelo de
regressao.
Se SR = ST, entao a regressao explica toda a variabilidade (o
modelo linear e optimo);
Se SR = 0, entao nao existe regressao linear.
36
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
O modelo de regressao linear simples pode ser expandido segundo
varias vertentes.
Uma primeira extensao consiste em adoptar relacoes nao lineares
entre as variaveis, caindo-senuma regressao linear.
Por exemplo, tome-se a relacao do tipo exponencial
Y = e
X
.
37
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
Aplicando logaritmos vem
ln Y = ln +X.
Considerando W = ln Y e

= ln obtem-se
W =

+X.
Desta forma a relacao entre W e X passa a ser linear pelo que os
resultados da regressao linear simples sao aplicaveis.
38
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
Uma vez estimados os parametros do modelo linear

e ,
obtem-se os parametros do modelo original da forma

= ln = e

.
39
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
No quadro abaixo apresentam-se alguns tipos de relacoes (nao
lineares) que sao linearizaveis atraves de transforma coes adequadas.
Relacao original Transformac oes de vari- Modelo linear
-aveis e parametros transformado
Y = +

X
Z =
1
X
Y = + Z
W = ln Y
Y = X

= ln W =

+ Z
Z = ln X
W = ln Y
Y =
X

= ln W =

= ln
Y = e
X
W = ln Y W =

+ X

= ln
40
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
Nota
Face `a existencia de varios modelos lineares transformados com
uma variavel explicativa, a escolha do melhormodelo recai sobre
o que apresentar maior coeciente de determina cao.
41
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
Exerccio (8.2)
A tabela seguinte relaciona o n umero de bacterias por unidade de
volume, presentes numa cultura, apos um intervalo de tempo dado:
Tempo em horas (x) 0 1 2 3 4 5 6
N
o
de bacterias por 32 48 66 94 133 189 276
unidade de volume (y)
Dos modelos linear ou exponencial qual o que se ajusta melhor aos
dados?
42
CAP

ITULO 8 INTRODUC

AO
`
A REGRESS

AO LINEAR SIMPLES
Extens oes do Modelo de Regressao Linear Simples
Figura: Graco do n
o
de bacterias versus tempo
q
q
q
q
q
q
q
0 1 2 3 4 5 6
5
0
1
0
0
1
5
0
2
0
0
2
5
0
tempo (h)
n

d
e

b
a
c
t

r
i
a
s
43