Regressão Linear Simples

Introdução
Análise de regressão é uma metodologia estatística que utiliza a relação entre duas ou
mais variáveis quantitativas (ou qualitativas) de tal forma que uma variável pode ser
predita a partir da outra ou outras. Exemplos:
• A população de bactérias pode ser predita a partir da relação entre
população e o tempo de armazenamento.
• Concentrações de soluções de proteína de arroz integral e absorbâncias
médias corrigidas.
• Relação entre textura e aparência.
• Temperatura usada num processo de desodorização de um produto e cor do
produto final.
• A porcentagem de acerto ou, então, bytes transferidos, podem estar
relacionados com o tamanho da cache (bytes), para um determinado tipo de
pré-carregamento.

1
 • Número de acessos ao disco (disk I/O) e o tempo de processamento para
vários programas.
• A performance de um procedimento remoto foi comparado em dois
sistemas operacionais: UNIX e ARGUS. A métrica utilizada foi o tempo
total transcorrido, o qual foi avaliado para vários tamanhos de arquivos de
dados.

A análise de regressão, assim como a anova, também representa os dados

através de um modelo linear aditivo, onde o modelo inclui um componente
sistemático e um aleatório.

Y = f (X ) + ε (1)

f descreve a relação entre X e Y. ε são os erros aleatórios. Y = variável resposta ou dependente;

X = variável independente, concomitante, covariável ou variável preditora.

2
 O caso mais simples de regressão é quando temos duas variáveis e a relação
entre elas pode ser representada por uma linha reta ⇒ Regressão linear
simples.

Cenário

Estamos interessados na relação entre duas variáveis, as quais chamaremos de X e Y.

Observamos pares de valores X e Y em cada amostra ou unidade experimental, e vamos usa-los
para dizer alguma coisa sobre a relação.

3
Como sabemos os dados podem ser obtidos a partir de duas situações:
1) dados experimentais: as observações X e Y são planejadas como o resultado de um
experimento, exemplo:
• X = tamanhos de cache e Y = porcentagem de acerto
• X= doses de starter (microorganismos [bactérias lácticas]) , Y= tempo de maturação do salame
tipo italiano.
Nesse exemplo, os valores de X estão sob controle do pesquisador, ou seja, ele escolheu as doses
e observou o resultado, Y.
2) dados observacionais: observa-se os valores de X e Y, nenhuma delas sob controle, exemplo:
• população de coliformes e população de staphilococus;
• média das alturas de plantas numa área e produção.
• O tempo para criptografar um registro com k-byte usando uma técnica para este fim foi
avaliado. X = tamanhos de registros tomados aleatoriamente e Y = tempo.

4
Problema prático: os valores observados de Y (e algumas vezes
de X) não são exatos. Devido a variações biológicas, de
amostragem e de precisão das medidas e outros fatores, só
podemos observar valores de Y (e possivelmente de X) com algum
erro. Assim, com base numa amostra de valores (X,Y) a exata
relação entre X e Y é mascarada pelos erros aleatórios.

X Fixo vs Aleatório:
• Dados experimentais: Geralmente X (doses, tempo, tamanho
da cache) é determinado pelo pesquisador → X é fixo. Y está
sujeito à variações físicas, biológicas, tipos de objetos numa
página da Web, usuários, de amostragem, de medidas → Y é
uma variável aleatória.
• Dados observacionais: geralmente X e Y são variáveis
aleatórias.
5
A distribuição normal bivariada

Com dados observacionais, geralmente X e Y são v. a. e, de

alguma forma, relacionadas.
Lembrete: uma distribuição de probabilidades dá uma descrição
formal (matemática) dos valores possíveis da população que
podem ser observados para a variável. Quando temos duas
variáveis a distribuição é denominada bivariada. A fXY(x,y)
descreve como os valores de X e Y se comportam conjuntamente.
A distribuição normal é freqüentemente uma descrição razoável
de uma população com medidas contínuas. Quando X e Y são v.
a. contínuas, uma suposição razoável é que ambas sejam
normalmente distribuídas. Entretanto, espera-se que elas se
distribuam conjuntamente. 6
 A distribuição normal bivariada é uma distribuição de probabilidades com uma função densidade
de probabilidade f(x,y) para X e Y, tal que:
•X e Y apresentam, cada uma, distribuição normal com médias µX e µY, e variâncias σ2X e σ2Y,
respectivamente;
• o relacionamento entre X e Y é medido pela quantidade ρXY tal que -1 ≤ ρXY ≤ 1.
• ρXY é o coeficiente de correlação entre as variáveis aleatórias X e Y e mede a associação linear
entre elas.
ρ XY = 1 correlação positiva perfeita
ρ XY = −1 correlação negativa perfeita
ρ XY = 0 correlação nula
Objetivo: com os dados observados (Xi,Yi), desejamos quantificar o grau de associação. Para
isso estimamos ρXY.

Comparação entre os modelos de regressão e correlação

Dois modelos:
• X fixo: ajusta-se um modelo para a média da v. aleatória Y como uma função de X fixo (linha reta).
Estima-se os parâmetros do modelo para caracterizar o relacionamento.
• X aleatório: caracteriza-se o relacionamento (linear) entre X e Y através da correlação entre elas e
estima-se o parâmetro de correlação. 7
Sutileza: em situações onde X é uma variável aleatória, muitos investigadores desejam
ajustar um modelo de regressão tratando X como fixo. Isto porque, embora o coef. de
correlação descreve o grau de associação entre X e Y, ele não caracteriza o
relacionamento através de um modelo de regressão.
Exemplo: um pesquisador pode desejar estimar a produção com base na média de
alturas de plantas da unidade experimental. O coef. de correlação não permite isso.
Ele, então, prefere ajustar um modelo de regressão, mesmo X sendo aleatório.

Isso é legítimo? Se tomarmos cuidado na

interpretação, sim.
Se X e Y são variáveis aleatórias, e nós ajustarmos um modelo de regressão
para caracterizar o relacionamento, tecnicamente, todas as análises posteriores
são consideradas como sendo condicionais aos valores de X presentes no
estudo. Isto significa que nós consideramos X fixo, embora ele não seja.
Entretanto, é válido fazer-se previsões. Dado (condicional) que se observa um
particular valor de altura de planta, ele quer obter o melhor valor para
produção. O pesquisador não está dizendo que ele pode controlar as alturas e,
assim, influenciar as produções.
Vale para os dados da amostra.
8
Causalidade versos correlação
Pesquisadores freqüentemente são “tentados” a inferir uma relação de causa e efeito entre X e Y
quando eles ajustam um modelo de regressão ou realizam uma análise de correlação. Uma
associação significativa entre X e Y em ambas as situações não necessariamente implica numa
relação de causa e efeito.
Exemplo: (Box, Hunter & Hunter, Statistics for Experimenters, p.8) O gráfico mostra a população
de Oldemberg, Alemanha, no fim de cada um dos 7 anos (Y) contra o número de cegonhas
(pássaros) naquele ano (X).

Interpretação: existe associação

entre X e Y.
Freqüentemente, quando duas v. X e
Y parecem estar fortemente
associadas, pode ser porque X e Y
estão, de fato, associadas com uma
terceira variável, W. No exemplo, X
e Y aumentam com W = tempo.

Correlação não necessariamente implica em causalidade

9
Construção de Modelos de Regressão

I. Seleção das variáveis preditoras

II. Escolha do modelo de regressão
III. Abrangência do modelo

i. O problema, em estudos observacionais, é escolher um conjunto de

variáveis que podem ou devem ser incluídas no modelo;
ii. Pode-se usar um modelo teórico; Usar aproximações por modelos
polinomiais;
iii. Geralmente é necessário restringir a abrangência do modelo para
alguns valores ou região da(s) variável(is) preditora(s).

10
Modelo de regressão linear simples
(Sem especificação da distribuição de
probabilidades para o erro)

Considere o modelo com uma variável preditora e que a função de regressão é linear. O modelo é
dado por:
Yi = β 0 + β1 X i + ε i
(2)
i = 1,2,..., n

11
Onde:

Yi é o i-ésimo valor da variável resposta;

β0 e β1 são os parâmetros (coeficientes de regressão);
Xi é o i-ésimo valor da variável preditora (é uma constante conhecida, fixo).
εi é o termo do erro aleatório com E(εi)=0 e σ2(εi)= σ2;
εi e εj não são correlacionados ⇒ σ(εi, εj)=0 para todo i,j; i≠ j; (covariância é nula).
Covariância (o resultado em qualquer experimento não tem
i=1,2,...,n. efeito no termo do erro de qualquer outro experimento)
Os dados são usados para estimar β0 e β1, isto é, ajustar o modelo aos dados, para:
• quantificar a relação entre Y e X;
• usar a relação para predizer uma nova resposta Y0 para um dado valor de X0 (não incluído no
estudo);
• calibração – ou capacidade de predição de novas observações, pode ser feita usando uma nova
amostra e comparando os valores estimados com os observados.
- dado um valor de Y0, para o qual o correspondente valor de X0 é desconhecido,
estimar o valor de X0.

12
Características do modelo:
constante
aleatório

1. Yi é uma v.a.(Yi = β0 + β1 X i + ε i )
2. E(Yi ) = E ( β0 + β1 X i + ε i ) = µi = β0 + β1 X i
3. σ 2 (Yi ) = σ 2 ( β0 + β1 X i + ε i ) = σ 2 (ε i ) = σ 2 ( variância constante)
4. Yi e Y j não são correlacionados

O modelo de regressão (2) mostra que as respostas Yi são oriundas de uma

distribuição de probabilidades com média E(Yi) = β0 +β1Xi e cujas variâncias são σ2, a
mesma para todos os valores de X. Além disso, quaisquer duas respostas Yi e Yj não
são correlacionadas.

13
A figura mostra a distribuição de Y para vários valores de X. Mostra onde cai a observação Y1.
Mostra que o erro é a diferença entre Y1 e E(Y1). Observe que as distribuições de
probabilidade apresentam a mesma variabilidade.

14
Resumo da situação: para qualquer valor Xi, a média de Yi é µi = β0 + β1Xi. As médias estão
sobre a linha reta para todos os valores de X. Devido aos erros aleatórios, os valores de Yi se
distribuem ao redor da reta.

15
Outro exemplo.
Porcentagem de acerto 44,45
42,10
44,68
46,99
46,26
48,82
50,66
47,68
52,44
53,21
51,85
55,38
16
Média:

E(Y)=27,836+0,00006423X

Para Xi=300.000 bytes observou-se Yi=46,26. O valor estimado é

dado por: 27,836+0,00006423(300.000)=47,11, portanto, o valor do
termo do erro é εi=46,26-47,11=-0,845.

17
 Significado dos parâmetros do modelo de regressão linear simples

yi = β0 + β1xi
∆y
θ
∆x=1

β1 = ∆y
∆x

β0

x x+1

β0 (intercepto); quando a região experimental inclui X=0, β0 é o valor da média da distribuição

de Y em X=0, cc, não tem significado prático como um termo separado (isolado) no modelo; β1
(inclinação) expressa a taxa de mudança em Y, isto é, é a mudança em Y quando ocorre a
mudança de uma unidade em X. Ele indica a mudança na média da distribuição de probabilidade
de Y por unidade de acréscimo em X. 18
Exemplo: os dados abaixo indicam o número de bytes transferidos (Y) e o
tamanho da cache (X).

Equação de regressão:

yˆ = 4 ,763.107 − 27 ,649 x

Faça o gráfico dos pontos e da reta

ajustada. Você acha que o modelo
adotado é razoável?

19
 y=4,763e7-27,649*x+eps
4,6e7

BYTES TRANSFERIDOS 4,4e7

4,2e7

4e7

3,8e7

3,6e7

3,4e7

3,2e7

3e7
2,2e5 2,6e5 3e5 3,4e5 3,8e5 4,2e5

TAMANHO DA CACHE

O que significa o coeficiente angular neste caso? E o coeficiente

linear?
Faça uma predição para o número de bytes transferidos para tamanho
de cache igual a 270.000 bytes.
20
Exemplo: os dados abaixo indicam o valor y do aluguel e a idade x de 5 casas.
x 10 13 5 7 20
y 4 3 6 5 2

Equação de regressão:
yˆ = 6,87 − 0,261x

Faça o gráfico dos pontos e da reta ajustada. Você acha que o modelo adotado é razoável?

O que significa o coeficiente

angular neste caso? E o coeficiente
linear?
Faça uma previsão para o valor do
aluguel para idade de 13 anos.

21
Observações:
• um modelo de regressão pode conter duas ou mais variáveis preditoras (X1, X2,...,Xp-1);
• o modelo de regressão não precisa ser uma linha reta:

Y = β 0 + β1 X + β 2 X 2 + ε
Chama-se modelo quadrático ou de 20 grau, cuja figura é uma parábola. Esse modelo, embora não
seja uma linha reta, continua sendo um modelo linear nos parâmetros. O método que será discutido
para o modelo de regressão linear simples aplica-se diretamente aos demais modelos lineares nos
parâmetros.

22
 Outro exemplo: o tempo de coleta de lixo (garbage collection time) para um
particular algoritmo foi mensurado para diversos valores de heap size.

Scatterplot (GARBAGE.STA 10v*10c)

y=1321,483-2,208*x+0,001*x^2+eps
600
GARBAGE COLLECTION TIME

500

400

300

200

100

0
400 600 800 1000 1200 1400 1600

HEAP SIZES

23
• Modelo não linear nos parâmetros. Exemplo: modelo de crescimento logístico, onde X é o
tempo.
β1
Y = 1+ β e β3X + ε
2

É necessário estudar métodos para modelos não lineares.

• Exemplo computação: modelo potência, y=bxa, onde X é a velocidade do processador e Y é

a taxa I/O.

24
 Modelos de regressão alternativos

As vezes torna-se conveniente (p.e. facilidade de cálculos) escrever o modelo

de regressão linear (2) de forma diferente, embora equivalentes. Seja X0 uma
variável dummy identicamente igual a 1. Então, temos o modelo que associa
uma variável X a cada parâmetro do modelo:
Yi = β 0 X 0 + β1 X 1 + ε i onde X 0 ≡ 1
Uma outra alternativa é usar para a v. preditora os desvios (Xi-Média(X)) ao invés
de Xi. Para não modificarmos o modelo (2), escrevemos:

Yi = β0 + β1 ( X i − X ) + β1 X + ε i
Yi = β + β1 ( X i − X ) + ε i
*
0

β = β0 + β1 X
*
0
25
 Estimação da função de regressão
Denotamos as observações (Xi,Yi) para a primeira repetição como (X1,Y1), para a segunda como
(X2,Y2), e para a i-ésima como (Xi,Yi), com i=1,2,..,n.
Exemplo: uma pesquisadora está estudando o comportamento de Staphilococcus aureus (Y) em
frango, mantido sob condições de congelamento doméstico (-18oC) ao longo do tempo (X) (dias).
Tempo 0 7 14 21 28 35
População 3,114 3,568 2,845 3,079 2,699 2,663

Notação: temos n=6 observações. O tamanho da população (ufc/cm2) é dado em log10.

Método dos mínimos quadrados

Para observações (Xi,Yi) i=1,..,n, temos o modelo

Yi = β 0 + β1 X i + ε i i = 1,.., n
Desejamos ajustar o modelo, estimando os parâmetros β0 e β1.

O método de mínimos quadrados considera os desvios de Yi em relação ao seu valor esperado

(E(Yi)):
Yi − ( β 0 + β1 X i ) 26
Elevando-se ao quadrado esses desvios e aplicando-se o somatório, temos o critério Q
n
Q = ∑ ( Yi − β 0 − β1 X i )
2
(10)
i =1

De acordo com o método de mínimos quadrados, os estimadores de β0 e β1 são os valores b0 e

b1, respectivamente, que minimizam o critério Q para a amostra (X1,Y1),..,(Xn,Yn).
6,5

5,5
e3

4,5
e1
VALOR

3,5
e2
2,5

e5
1,5
2 6 10 14 18 22

IDADE
27
Estimadores de mínimos quadrados
Os valores de β0 e β1 que minimizam o critério Q podem ser obtidos diferenciando-se (10) em
relação a β0 e β1 , portanto, obtemos:

n
∂Q
∂β 0 = −2∑ (Yi − β 0 − β1 X i )
i =1
n
∂Q
∂β1 = −2∑ X i (Yi − β 0 − β1 X i )
i =1

Iguala-se a zero as derivadas parciais, usando b0 e b1 para denotar valores particulares de β0

e β1que minimizam Q.

28
 n
− 2∑ (Yi − b0 − b1 X i ) = 0
i =1
n
− 2∑ X i (Yi − b0 − b1 X i ) = 0
i =1

simplificando e expandindo, obtemos :

n

∑ (Y − b
i =1
i 0 − b1 X i ) = 0
n

∑ X (Y − b
i =1
i i 0 − b1 X i ) = 0
n n

∑ Y − nb
i =1
i 0 − b1 ∑ X i = 0
i =1
Fazendo-se as derivadas
parciais de segunda ordem,
n n n indicará que um mínimo foi
∑ X Y −b ∑ X
i =1
i i 0
i =1
i − b1 ∑ X i =0
2

i =1
encontrado com os estimadores
b0 e b1.

Daí, obtemos o sistema de equações normais, dado por:

n n

∑Y
i =1
i = nb0 +b1 ∑X i
i =1
n n n

∑X Y
i =1
i i = b0 ∑X i +b1 ∑X i2
i =1 i =1
29
As equações normais podem ser resolvidas simultaneamente para b0 e b1(estimadores pontuais):

b1 = ∑ (i X − X i) 2
( X − X )(Y −Y )

∑ i
b0 = 1n ( ∑ Yi − b1 ∑ X i ) = Y − b1 X

Outra forma de escrevermos:

∑ X ∑Y

b1 =
∑ XY − n
( )
X2 − ∑
2

∑
X
n

30
 Exemplo: a pesquisadora deseja encontrar o modelo de regressão da
porcentagem de acertos sobre o tamanho da cache.

Tamanho da Porcentagem ( X i −X ) (Yi −Y ) ( X i −X )(Yi −Y ) ( X i −X ) 2 (Yi −Y ) 2

cache (X) de acertos (Y)

Total = 3900000 584,52 0 0 2408500 37500000000 181,438

Média = 325000 48,71

31
b1 = ∑ ( X i − X )( Yi −Y )
= 2408500
= 0 ,0000642
∑ i ( X − X ) 2 37500000000

b0 = Y − b1 X = 48 ,71 − ( 0 ,0000642 )( 325000 ) = 27 ,845

Assim, estimamos que a porcentagem de acerto da cache

aumenta cerca de 0,00006 % para cada byte do tamanho da
cache.

32
33
Saída do Statistica:

34
Exemplo: a pesquisadora deseja encontrar o modelo de regressão do tempo
sobre a população de bactérias.

Tempo (X) População (Y) (X i −

X) (Yi −
Y) (X i −
X )(Yi −
Y ) (X i −
X )2 (Yi −
Y )2

0 3,114 -17,5 0,119 -2,088 306,250 ,014

7 3,568 -10,5 0,573 -6,020 110,250 ,329
14 2,845 -3,5 -0,150 0,524 12,250 ,022
21 3,079 3,5 0,084 0,295 12,250 ,007
28 2,699 10,5 -0,296 -3,105 110,250 ,087
35 2,663 17,5 -0,332 -5,805 306,250 ,110
Total = 105 17,968 0 0 -16,199 857,5 0,569
Média = 17,5 2,9947

b1 = ∑ ( X i − X )(Yi −Y )
= −16 ,199
= -0,018890
∑ i ( X − X ) 2 857 , 5

b 0 = Y − b1 X = 2,9947 − (−0,0189)(17,5) = 3,32545

Assim, estimamos que o tamanho da população de bactérias diminui cerca
de 0,0189 ufc/cm2 para cada dia. 35
Saída do STATISTICA:

Regression Summary for Dependent Variable: POP

R= ,73274116 R²= ,53690961 Adjusted R²= ,42113702
F(1,4)=4,6376 p<,09760 Std.Error of estimate: ,25686
St. Err. St. Err.
BETA of BETA B of B t(4) p-level
Intercpt 3,325238 ,185902 17,88708 ,000057
TEMPO -,732741 ,340254 -,018890 ,008772 -2,15351 ,097596 36
Propriedades dos estimadores de mínimos quadrados

Teorema de Gauss-Markov: Se as pressuposições do modelo de regressão linear (2) forem

atendidas, os estimadores de mínimos quadrados b0 e b1 são não tendenciosos (unbised) e com
variância mínima, entre todos os estimadores lineares não tendenciosos. Primeiro, o teorema
diz que:
E(b0)=β0 e E(b1)=β1. (Demonstração adiante)

Segundo, o teorema diz que os estimadores b0 e b1 são mais precisos (isto é, as suas distribuições
amostrais tem menor variabilidade) do que quaisquer outros estimadores pertencentes a classe dos
estimadores não tendenciosos que são funções lineares das observações Y1, Y2,...,Yn. Os
estimadores b0 e b1 são tais funções lineares das observações. Considere, por exemplo, b1,

b1 = ∑ ( X i − X )(Yi −Y ) ∑
= ( X − X ) 2 = ∑ kiYi
( X i − X )Yi

∑ i ( X − X ) 2
∑ i
( Xi −X )
ki =
∑ ( X i − X )2
Como ki são constantes (pois Xi são constantes conhecidas), b1 é uma combinação linear de
Yi e, assim, é um estimador linear. Da mesma forma, b0 também é um estimador linear.
Entre todos os estimadores lineares não tendenciosos, b0 e b1 tem menor variabilidade
(demonstração adiante) em repetidas amostras nas quais os níveis de X são constante. 37
Estimação pontual da resposta média
Estimação da função de regressão
A média do modelo de regressão linear é dada por:

E (Y ) = β 0 + β1 X

Estima-se a função de regressão por:

Yˆ = b0 + b1 X
Onde Y (chapéu) é o valor estimado da função no nível X da variável preditora.
A resposta média (E(Y)), corresponde a média da distribuição de probabilidade de Y no nível X
da variável preditora. Pode-se demonstrar, como uma extensão do teorema de Gauss-Markov
que Y (chapéu) é um estimador não tendencioso de E(Y), com variância mínima dentro da classe
dos estimadores lineares não tendenciosos. Temos:
Yˆi = b0 + b1 X i i = 1,2,..., n

como sendo o valor ajustado para o i-ésimo caso.

38
Exemplo: para os dados de porcentagem de acerto na cache, os
valores estimados da função de regressão são dados por:
Yˆ = 27 ,83633 − 0 ,0000642 X
Suponha que estejamos interessados na porcentagem média
de acerto na cache para X=300.000 bytes (muitas amostras
com 300.000 bytes sob as mesmas condições que a equação
foi estimada); a estimativa pontual vale:

yˆ = 27 ,83633 + 0 ,0000642( 300000 ) = 47 ,10

Valores ajustados dos dados da amostra são obtidos

substituindo-se os correspondentes valores da variável preditora
X na função de regressão.

39
Saída do Statistica:

40
Exemplo: para os dados de staphilococcus aureus em frango, os valores estimados da função de
regressão são dados por:
Yˆ = 3,325 − 0,019 X
Suponha que estejamos interessados na população média (muitas amostras com 21 dias de
armazenamento sob as mesmas condições que a equação foi estimada) de bactérias para
X=21 dias de armazenamento; a estimativa pontual vale:c

yˆ = 3 ,325 − 0 ,019( 21 ) = 2 ,926

Valores ajustados dos dados da amostra são obtidos substituindo-se os correspondentes valores
da variável preditora X na função de regressão.
Saída do STATISTICA:
Predicted & Residual Values (staphilo.sta)
Dependent variable: POP
Observed Predictd Standard Standard Std.Err. Mahalns. Cook's
Value Value Residual Pred. v. Residual Pred.Val Distance Distance
1 3,114000 3,325238 -,211238 1,33631 -,822385 ,185902 1,785714 ,781146
2 3,568000 3,193010 ,374990 ,80178 1,459902 ,139567 ,642857 ,633439
3 2,845000 3,060781 -,215781 ,26726 -,840072 ,109264 ,071429 ,095181
4 3,079000 2,928552 ,150448 -,26726 ,585718 ,109264 ,071429 ,046269
5 2,699000 2,796324 -,097324 -,80178 -,378898 ,139567 ,642857 ,042668
6 2,663000 2,664095 -,001095 -1,33631 -,004263 ,185902 1,785714 ,000021
Minimum 2,663000 2,664095 -,215781 -1,33631 -,840072 ,109264 ,071429 ,000021
Maximum 3,568000 3,325238 ,374990 1,33631 1,459902 ,185902 1,785714 ,781146
Mean 2,994667 2,994667 ,000000 -,00000 ,000000 ,144911 ,833333 ,266454
Median 2,962000 2,994667 -,049209 0,00000 -,191581 ,139567 ,642857 ,070725
41
Modelo alternativo

Quando o modelo utilizado é:

Yi = β 0* + β1 ( X − X ) + ε i

O estimador b1 de β1 permanece o mesmo. O estimador de

β 0* = β 0 + β1 X é dado por :
b0* = b0 + b1 X = (Y − b1 X ) + b1 X = Y
Temos: Yˆ = Y + b1 ( X − X )
Exemplo: obter o valor ajustado para X=300.000 bytes de
cache..
Exemplo: para os dados de staphilococcus aureus em frango
obter o valor ajustado para X1=0 dia de armazenamento..
42
Resíduos

O i-ésimo resíduo é a diferença entre o valor Yi e o

correspondente valor ajustado Y (chapéu)i.

ei = Yi − Yˆi
Vemos que o resíduo para o primeiro caso, exemplo de
pop. de Staphilococcus, saída do statistica, é dado por:

e1 = Y1 − Yˆ1 = 3,114000 - 3,325238 = -,211238

Exemplo: para os dados de porcentagem de acerto na cache, o resíduo para o

primeiro caso vale:
e1 = Y1 − Yˆ1 = 44 ,45 - 43,886 = 0,564
43
 Distinção:

ε i = Yi − E(Yi ) → é o desvio de Y da verdadeira equação de regressão (desconhecida)

i
e assim é desconhecido.

ei = Yi − Yˆi → é o desvio de Yi do valor ajustado Yi (chapéu) na equação de regressão

estimada, portanto, é conhecido.
Os resíduos são extremamente úteis para verificar se um determinado modelo de regressão é
apropriado para os dados. Este assunto será tratado mais adiante neste curso.
0,45

0,30
para os dados de
staphilococcus aureus
em frango
0,15
Resíduos

0,00

-0,15

Regression
-0,30
-5 0 5 10 15 20 25 30 35 40 95% confid.

TEMPO 44
 Raw residuals vs. TAMANHOC
Raw residuals = -,0000 + 0,0000 * TAMANHOC
Correlation: r = ,00000
3

1
RESÍDUOS

-1

-2

Regression
-3
2,2e5 2,6e5 3e5 3,4e5 3,8e5 4,2e5 95% confid.

TAMANHO DA CACHE

45
 Propriedades do modelo ajustado: Yˆ = b0 + b1 X
n
1. ∑ e = ∑( Y − b
i =1
i i 0 − b1 X i ) = ∑Yi − nb0 − b1 ∑ X i = 0

( devido a primeira equação normal ) (Veja saida do STATISTICA)

n
2. ∑e
i =1
2
i é mínima (condição do método de MQO)
n n
3. ∑Y = ∑Yˆ
i =1
i
i =1
i (Veja saída do STATISTICA)
n
4. ∑X e
i =1
i i = 0 (ponderados)
n
5. ∑Ŷ e
i =1
i i = 0 (ponderados)

6. Ŷ = Y + b1( X − X ) = Y + b1 ( X − X ) = Y (para X = X)
( a linha de regressão sempre passa pelo ponto (X;Y ) )

46
Estimação da variância (σ 2)
A variância, σ2, dos erros, εi, no modelo de regressão (2) precisa ser estimado para obter uma
indicação da variabilidade da distribuição de probabilidade de Y. Necessário para inferências.
Lembrete: a variância de cada observação Yi para o nosso modelo de regressão é σ2, a mesma de
cada εi.
Precisamos calcular a soma de quadrados de desvios, considerando que cada Yi veêm de diferentes
distribuições de probabilidade com diferentes médias que dependem do nível de Xi; as médias são
estimadas por Yi(chapéu). Assim os desvios são os resíduos:
ˆ
ei = Yi − Yi
A soma de quadrados do erro (resíduo), SQE, é dada por:
n n
SQE = ∑ (Yi − Yˆi ) 2 =∑ ei2
i =1 i =1

Dois graus de liberdade são perdidos para estimar os parâmetros β0 e β1. O quadrado médio do
erro é dado por (QME):
QME = SQE
n−2

Temos que o QME é um estimador não tendencioso de σ2 (prova adiante) pois

E (QME ) = σ 2 47
Exemplo: para os dados de Staphilococcus aureus em frango, temos:
SQE = 0 ,2639
com 6 - 2 = 4 graus de liberdade, assim
QME = 0 ,2639 / 4 = 0 ,0659 (Estimativa da variância)
Estimativa deσ = 0 ,0659 = 0 ,2567 ufc (desvio padrão)
(Desvio padrão da distribuição de Y para qualquer X)

Exemplo: para os dados de tamanho de cache, temos:

SQE = 25,7385
com 12 - 2 = 10 graus de liberdade, assim
QME = 25,7385 / 10 = 2,57385
Estimativa de σ é 2,57385 = 1,6043% (desvio padrão)
(Desvio padrão da distribuição de Y para qualquer X)

48
Modelo de regressão com erros normais
Para construir intervalos de confiança e fazer testes de hipóteses nós devemos
considerar alguma distribuição de probabilidade para os εi. Uma distribuição
que tem um apelo prático e teórico bastante grande é a distribuição normal e
que será utilizada neste curso.
O modelo de regressão é dado por:
Yi = β 0 + β1 X i + ε i i = 1,.., n

Yi é o i-ésimo valor observado da variável resposta;

β0 e β1 são os parâmetros;
Xi é o i-ésimo valor da variável preditora (é uma constante
conhecida, fixo).
εi é o termo do erro aleatório, independentes com distribuição
49
N(0, σ ).
2
 Independentes: no sentido que eles não são relacionados de qualquer modo, por exemplo, são
provenientes de diferentes cpu’s, diferentes indivíduos, diferentes animais, etc. Os registros
num banco de dados são independentes.

Como assumimos para o modelo de regressão que os erros são normalmente distribuídos, a
suposição que os erros εi não são correlacionados, feita no modelo inicial, transforma-se na
suposição de independência no modelo com distribuição normal.

O modelo implica que Yi são variáveis aleatórias independentemente distribuídas segundo uma
normal com média E(Yi)=β0+ β1Xi e variância σ2. Para cada valor Xi, podemos pensar em todos
os valores possíveis de Yi e sobre a sua variabilidade. Esta suposição diz que, seja qual for o
valor de Xi, a variabilidade nos possíveis valores de Y é a mesma.

Para cada valor Xi, podemos pensar que todos os valores assumidos por Y podem ser bem
representados por uma distribuição normal.

50
Estimação dos parâmetros pelo método da máxima
verossimilhança
Como foi especificado uma distribuição de probabilidades para os erros podemos obter
estimadores para β0, β1 e σ2 pelo MMV.
O método de máxima verossimilhança determina como estimativas de máxima verossimilhança,
os valores de β0, β1 e σ2 os quais produzem o maior valor para a verossimilhança.

Em geral, a densidade de uma observação Yi para o modelo de regressão com erros normais,
utilizando o fato de que E(Yi)=β0+ β1Xi e variância σ2 é dada por :

fi = 1
2π σ
[
exp − 2
( σ )]
1 Yi − β 0 − β1 X i
2

A função de verossimilhança para n observações Y1, Y2,...,Yn, é o produto das densidades

individuais (é a conjunta). Como a variância σ2 dos erros é desconhecida, a conjunta é uma função
de três parâmetros, β0, β1 e σ2 :

51
 [ ]
n
L( β 0 , β1 , σ ) = ∏ ( 2πσ12 )1 / 2 exp − 2σ1 2 (Yi − β 0 − β1 X i ) 2
2

i =1

 n

= ( 2 πσ12 )n/ 2 exp − 2 σ1 2 ∑ (Yi − β0 − β1 X i )2 
 i =1 
Devemos encontrar valores de β0, β1 e σ2 que maximizam a função de verossimilhança L,
calculando-se as derivadas parciais de L com respeito a β0, β1 e σ2 e igualando cada derivada parcial
a zero e resolvendo o sistema de equações obtido. Podemos trabalhar com logeL ao invés de L, pois
ambos são maximizadas para os mesmos valores de β0, β1 e σ2 :

log e L = − n2 log e 2π − n2 log e σ 2 − 2σ1 2 ∑ (Yi − β 0 − β1 X i ) 2

As derivadas parciais do logaritmo da função de verossimilhança, são dadas por:

∂ (log e L) 1
∂β 0
= 2
σ
∑ (Y − β
i 0 − β1 X i )

∂ (log e L) 1
∂β1
= 2
σ
∑ X (Y − β
i i 0 − β1 X i )

∂ (log e L) n 1
∂σ 2
= − +
2σ 2 2σ 4
∑ (Y − β
i 0 − β1 X i ) 2
52
 Agora, fazemos as derivadas parciais iguais a zero, substituindo β0, β1 e σ2 pelos estimadores

βˆ0 , βˆ1 e σˆ 2
Obtemos:

∑ (Y − βˆ − βˆ X ) = 0
i 0 1 i

∑ X (Y − βˆ − βˆ X ) = 0
i i 0 1 i
2
∑ (Yi − βˆ 0 − βˆ1 X i )
n = σˆ 2
As duas primeiras equações são idênticas as equações normais encontradas pelo método de
mínimos quadrados. O MMV produz um estimador viesado para σ2.

Parâmetro Estimador de máxima verossimilhança

β0 βˆ 0 = b0
β1 βˆ = b
1 1

σ σ̂ 2 = ∑
2 (Yi −Yˆi ) 2
n

Os estimadores de β0, e β1 são os mesmos do método de mínimos quadrados. O estimador de

máxima verossimilhança de σ2 é viesado,ou seja,.
( n − 1 )σ 2
E( σˆ ) = 2

n 53
Comentários:
1) como os estimadores de máxima verossimilhança de β0,e β1 são os mesmos do método
de mínimos quadrados, eles tem as mesmas propriedades de todos os estimadores de
mínimos quadrados:
a) são não viesados;
b) tem variância mínima entre todos os estimadores lineares não tendenciosos;
além disso, os estimadores de máxima verossimilhança b0 e b1 para o modelo de regressão
com erros normais tem outras propriedades desejáveis:
c) são consistentes;

lim P (| θˆ − θ |≥ ε ) = 0 ε > 0
n →∞
d) são suficientes;

fY|θˆ ( y | θˆ ) = não depende de θ .

*** Fazer lista de exercícios número 1.

54
Inferência na análise de regressão
Intervalos de confiança

Testes de hipóteses:

Assumimos o modelo: Yi = β 0 + β1 X i + ε i i = 1,.., n (3)

β0 e β1 são os parâmetros;
Xi são constantes conhecidas, fixas.
εi são independentes com distribuição N(0, σ2).

55
Inferências para β 1
• encontrar intervalos de confiança para β1
•fazer testes de hipóteses com relação a β1, por exemplo:

H 0 : β1 = 0 Não há associação
entre X e Y.
H a : β1 ≠ 0

Para realizar inferências sobre β1, precisamos conhecer a distribuição amostral de b1, o estimador
pontual de β1.

Distribuição amostral de b1
O estimador pontual é dado por:
b1 = ∑ ( X i − X )(Yi −Y )

∑( X i − X )2
A distribuição amostral de b1 refere-se aos diferentes valores de b1 que seriam obtidos com
muitas amostras para um mesmo nível da variável preditora X (constante).

56
Normalidade: a normalidade da distribuição amostral de b1 segue do fato de que b1 é uma
combinação linear dos Yi.Os Yi são independentes, com distribuição normal. Uma combinação linear
de variáveis aleatórias independentes, com distribuição normal, também tem distribuição normal.
b1 como combinação linear de Yi. Média:

b1 = ∑ i( X − X i)2
( X − X )(Y −Y ) E (b1 ) = E ( ∑ kiYi ) = ∑ ki E (Yi )
∑ i
E (b1 ) = ∑ ki ( β 0 + β1 X i )
b1 = ∑ i ( Xi −∑X )2 i
( X − X )Y − ( X − X )Y

∑ i E (b1 ) = ∑ ki β 0 + ∑ ki β1 X i
b1 = ∑ i ( Xi − X∑)2 i
( X − X )Y −Y ( X −X )

∑ i E (b1 ) = β 0 ∑ ki + β1 ∑ ki X i
b1 = ∑ ( Xi − X )2i E (b1 ) = β1 (não viesado)
( X − X )Y

∑ i
b1 = ∑ kiYi Pois,

ki = ( Xi −X ) ∑k = 0 i
∑( X i − X ) 2

∑k X = 1
i i (Demonstre)
Portanto, ki são funções de Xi que são valores
fixos.

57
Variância:

(∑ k Y ) = ∑ k σ
2
σ (b1 ) = σ
2 2 2 2
(Yi )  X −X 
i i i
∑ ki = ∑  ( Xi − X ) 2 
2

σ 2 (b1 ) = ∑ ki2σ 2 ∑ i 

∑ i 2
=
1
2 2 ∑
[ − ] 2

σ 2 (b1 ) = σ 2 ∑ ki2 [ ]
k X X
∑ ( Xi − X )
i

σ 2 (b1 ) = σ 2 1
( X i − X )2 ∑ ki2 =
1
∑
∑ (X i − X)
2

Podemos estimar a variância da distribuição amostral de b1 substituindo σ2 pelo quadrado médio

residual (QME). O estimador s2(b1) é um estimador não tendencioso de σ2 (b1).

s (b1 ) =
2
(
QME
)
∑
2
X i − X

58
 Nota:
Na seção propriedades dos estimadores de mínimos quadrados dissemos que b1 tem a
menor variância entre todos os estimadores lineares não tendenciosos da forma

β̂1 = ∑ ciYi ci são constantes arbitrárias β̂1 = b1

β̂1 é não tendencioso :

E ( βˆ1 ) = E (∑ ciYi ) = ∑ ci E (Yi ) = ∑ ci ( β 0 + β1 X i ) = β 0 ∑ ci + β1 ∑ ci X i = β1
Restrições:
∑c i =0 e ∑c X i i =1

Variância de βˆ1 : σ 2 ( βˆ1 ) = ∑ ci2σ 2 (Yi ) = ∑ ci2σ 2 = σ 2 ∑ ci2

Seja ci=ki + di, onde ki são como anteriormente e os di são constantes arbitrárias.
Então:
σ 2
∑ (k i
2
+ di ) = σ
2
(∑ k
2
i
+ ∑ d i + 2∑ k i d i
2
)

Zero (Verifique)
σ 2 (b1 ) 59
 Finalmente, temos: σ 2 ( βˆ1 ) = σ 2 (b1 ) + σ 2 ∑ d i2
Observamos que a menor variância do estimador ( β̂1) é obtida quando ∑ d i = 0 .Isto
2

ocorre quando todos os di=0, isto implica que ci ≡ ki. Assim, o estimador de mínimos
quadrados b1 tem variância mínima entre todos os estimadores lineares não tendenciosos.

Distribuição amostral de (b1-β 1)/s(b1)

Como b1 tem distribuição normal, sabemos que a estatística padronizada (b1-β1)/σ(b1) é uma
variável aleatória com distribuição normal padrão. Para estimar σ(b1) usamos s(b1) e, assim
precisamos conhecer a distribuição da estatística (b1-β1)/s(b1) [estatística studentizada].

Teorema: b1 − β1
s ( b1 ) ~ t(n - 2) para o modelo (3)

Demonstração:

b1 − β1
÷ s ( b1 )
Podemos escrever a estatística como:
σ ( b1 ) σ ( b1 )
O numerador é uma variável normal padrão z. Para o denominador, temos:

60
 QME

s 2 ( b1 ) ∑
= σ2 =
( X i − X )2 QME
=
SQE
n−2
= σ 2 ( n−2) ~
SQE χ (2n−2 )
2
σ ( b1 ) σ 2
σ 2 ( n−2)
∑ ( X i − X )2

Teorema: para o modelo (3),

SQE/σ2 é distribuído como χ
Portanto, b1 − β1
s ( b1 ) ~ z
χ 2 ( n−2 )
2
com n-2 gl e é independente
de b0 e b1.
( n −2 )

Como z e χ2 são independentes pois z é uma função de b1 e b1 é independente de SQE/σ2 ~ χ2.

Assim (A definição está no apêndice):
b1 − β1
s ( b1 ) ~ t ( n − 2).
Agora podemos fazer inferências sobre β1.

61
Intervalo de confiança para β 1
Desde que (b1-β1)/s(b1) tem distribuição t,podemos fazer a seguinte afirmação probabilística:

P{t (α / 2; n − 2) ≤ (b1 − β1 ) / s(b1 ) ≤ t (1 − α / 2; n − 2)} = 1 − α

α/2=0,25 1-α α/2=0,25

=0,50
t=-1 t=1
62
 •t(α/2;n-2) representa o (α/2)100 percentil da distribuição t com n-2 g.l.
• t(α/2;n-2) = - t(1-α/2;n-2) (devido a simetria da distribuição t)
Rearranjando as desigualdades obtemos:

P(b1 − t (1 − α / 2; n − 2) s(b1 ) ≤ β1 ≤ b1 + t (1 − α / 2; n − 2) s(b1 )) = 1 − α .

O intervalo de confiança é dado por:

b1 ± t (1 − α / 2; n − 2) s (b1 )
Exemplo: considere os dados de população de Staphilococcus aureus, a pesquisadora deseja
encontrar o intervalo para β1 com confiança de 95%.

s 2 (b1 ) = QMR
= 0 , 0659
= 0,0000769
∑ (X −X ) 2 857 , 5

s (b1 ) = 0,008772
t (0,975;4) = 2,776 Usar software
− 0,019 − 2,776(0,008772) ≤ β1 ≤ −0,019 + 2,776(0,008772)
− 0,0434 ≤ β1 ≤ 0,0623 Muito importante

Interpretação: estimamos que a população de Staphilococcus “cresce” entre -0,0434 e

63
0,0623 unidade/dia.
 Exemplo: considere os dados de porcentagem de acerto na
cache, a pesquisadora deseja encontrar o intervalo para β1 com
confiança de 95%.

s 2 ( b1 ) = QMR
= 2 ,5738
= 0 ,000000000068635
∑ ( X − X )2 37500000000

s( b1 ) = 0 ,0000083
t ( 0 ,975 ;10 ) = 2 ,228 Usar software
0 ,0000642 − 2 ,228( 0 ,0000083 ) ≤ β1 ≤ 0 ,0000642 + 2 ,228( 0 ,0000083 )
0 ,0000457 ≤ β1 ≤ 0 ,0000827 Muito importante

Interpretação: estimamos que a porcentagem de acertos

aumenta entre 0,0000457 e 0,0000827 % por byte do
tamanho da cache.
64
Teste de hipóteses para β 1

Vimos que (b1-β1)/s(b1) tem distribuição t(n-2).O teste de hipótese

sobre β1 pode ser feito de maneira padrão usando a distribuição de
Student.
Teste bilateral

Hipóteses:
H 0 : β1 = 0
H a :β 1≠ 0

65
Exemplo: a pesquisadora deseja saber se existe regressão linear
entre a porcentagem de acertos na cache e o tamanho da cache,
ou seja, se β1≠0 ou não.

[Como o intervalo de confiança construído anteriormente não

inclui o valor 0 (o valor da hipótese nula), devemos rejeitar a
hipótese nula (H0). Isto é válido quando o teste é bilateral].

66
Exemplo: a pesquisadora deseja saber se existe regressão linear
entre população de bactérias e o tempo de armazenamento, ou
seja, se β1≠0 ou não.

[Como o intervalo de confiança construído anteriormente inclui o

valor 0 (o valor da hipótese nula), devemos aceitar a hipótese nula
(H0)].

Teste estatístico formal:

b1 − β1
t* = s ( b1 )

Critério do teste: estamos controlando a probabilidade de erro

tipo I (α).
Se | t * |≤ t (1 − α / 2; n − 2), não rejeita - se H 0
Se | t * |> t (1 − α / 2; n − 2), rejeita - se H 0
67
Exemplo: para os dados de porcentagem de acerto na cache,
com α=0,05, b1=0,0000642 e s(b1)=0,0000083, temos:

t =
* 0 ,0000642 −0
0 ,0000083 = 7 ,735
O valor de t de tabela vale: t(0,975;10)=2,228, como |7,735| é maior
do que 2,228 rejeita-se a hipótese nula e concluímos que existe uma
associação linear entre a porcentagem de acertos na cache e o
tamanho da cache.

68
Exemplo: para os dados de população de Staphilococcus
aureus, com α=0,05, b1=-0,019 e s(b1)=0,008772, temos:
−0 , 019 − 0
t =
*
0 , 008772 = −2,166
O valor de t de tabela vale: t(0,975;4)=2,776, como |-2,166| é
menor do que 2,776 aceita-se a hipótese nula e concluímos que não
existe uma associação linear entre a população de Staphilococcus
aureus e o tempo de armazenamento.

Valor p: é o menor valor de α para o qual rejeitamos a hipótese

nula. Se o pesquisador fixar α=0,05, então, para um valor p ≥ 0,05
não rejeita-se H0, caso contrário, rejeita-se H0. Formalmente fica:
P ( t > t * ) = valor p
Valor p é também denominado de nível descritivo ou nível de
significância observado. 69
Saída do Statistica: dados de porcentagem de acertos na cache. As
diferenças verificadas são devidas às aproximações nos cálculos.

70
* * Com o uso do Statistica, para os dados de porcentagem de
acerto na cache, encontrar a probabilidade de se rejeitar a
hipótese nula, quando ela é verdadeira.

P(| t |> 7,7525) = 0,000015

P(t < −7,7525) + p (t > 7,7525) ≅ 0,000008 + 0,000008 ≅ 0,000016

Atenção: verificar se o software dá o valor p para o teste uni

ou bilateral

71
Saída do Statistica: dados de populações de Staphilococcus a diferença verificada entre -2,166 e
-2,15351 é devido à aproximações nos cálculos.

* * Com o uso do Statistica, encontrar a probabilidade de se rejeitar a hipótese nula, quando ela é

Atenção: verificar se o
P (| t |≤ −2,166) = 0,0962
verdadeira. software dá o valor p para
P (t < −2,166) + p(t > 2,166) = 0,04812 + 0,04812 = 0,09624 o teste uni ou bilateral
72
Teste unilateral:
O pesquisador deseja, por exemplo, testar se β1 é negativo,
controlando o nível de significância α=0,05.
H 0 : β1 ≥ 0
H a : β1 < 0
Regra de decisão:

Se t* ≥ t ( α ; n − 2 ), não rejeita - se H 0
Se t* < t ( α ; n − 2 ), rejeita - se H 0

Exemplo: para os dados de Staphilococcus temos, para α=0,05,

t(0.05;4)=-2,132. Como t*=-2,166, rejeita-se a hipótese de
nulidade, portanto β1 é negativo.

(
Valor p = P t < t* ) 73
Nas publicações, indicar o nível descritivo juntamente com o valor
da estatística teste. Podemos realizar o teste estatístico para
qualquer nível de significância α, comparando o nível descritivo
com o valor desejado de α.

Comentário: pode-se testar as seguintes hipóteses:

H 0 : β1 = β10
H a : β1 ≠ β10
Onde β10 é um valor diferente de zero.

74
A estatística teste é dada por:

b1 −β10
t=
s (b1 )
Critério do teste:

Se |t*| ≤ t(1- α/2;n-2) não se rejeita H0

Se |t*| > t(1- α/2;n-2) rejeita-se H0

75
Inferências para β 0
Só tem interesse quando os níveis de X incluem X=0 (o que é raro).

Distribuição amostral de b0
O estimador pontual b0 é dado por:
b0 = Y − b1 X
A distribuição amostral de b0 refere-se aos valores diferentes de b0 que seriam obtidos com
diferentes amostras para o mesmo valor de X (constante).
A distribuição amostral de b0 é normal

Média:
E (b0 ) = β 0
Variância:
σ (b0 ) = σ  n + ( X − X ) 2 
2  1 2 X2
 ∑ i 
(Demonstração próxima página)

A normalidade é verificada pois b0 é uma combinação linear das observações Yi.

Um estimador para σ2(b0) é obtido substituindo-se σ2 pelo seu estimador pontual, QME.
Distribuição amostral de (b0-β 0)/s(b0)
Teorema:
b0 − β 0
s ( b0 ) ~ t ( n − 2) ∴ podemos usar a distribuição t para construir
os IC e fazer os testes de hipóteses.
76
Demonstração:

E( b0 ) = E( Y − b1 X ) = E( Y ) − E( b1 X )
= Y − XE( b1 ) = β0 + β1 X − Xβ1
= β0 (cqd).

77
Intervalo de confiança para β 0
b0 ± t (1 − α / 2; n − 2) s (b0 )

Exemplo: para os dados de Staphilococcus, como temos tempo=0 (X=0), podemos estar
interessados em encontrar o IC para β0.

1 X2   1 17,52 
s (b0 ) = QME  n +
2
2
= 0,0659  + 857,5  = 0,0345
 ∑ ( X i − X )  6 
s(b0 ) = 0,1858
t (0,975;4) = 2,776
3,3252 − 2,776(0,1858) ≤ β 0 ≤ 3,3252 + 2,776(0,1858)
2,8094 ≤ β 0 ≤ 3,8410

Como o intervalo de confiança não inclui o valor zero (0), rejeitamos a hipótese:
H0 : β 0 = 0
Ha : β 0 ≠ 0
78
Estimação intervalar para E(Yh)
Freqüentemente, numa análise de regressão, deseja-se estimar a
média de uma ou mais distribuições de probabilidade de Y.
Exemplo: No estudo da relação entre o tamanho da cache (X) e
porcentagem de acerto (Y), a porcentagem média de acerto para
tamanhos maiores de cache pode ser de interesse. Outro exemplo,
um agrônomo pode estar interessado na produção média para
diversas doses de um nutriente, com o objetivo de encontrar a dose
ótima.
Xh → representa o nível da variável preditora para a qual se deseja
estimar a resposta média.
A resposta média para X=Xh é representada por: E(Yh)

Sabemos que o estimador pontual Yˆh de E(Yh) é dado por:

Yˆh = b0 + b1 X h 79
 Distribuição amostral de Y(chapéu)h

Diferentes valores de Y(chapéu)h que seriam obtidos se repetidas amostras

fossem selecionadas, para X constante, e calculando Y(chapéu)h para cada
amostra.

• Distribuição normal: para o modelo de regressão com erros normais, a

distribuição amostral de Y(chapéu)h é normal. A normalidade segue
diretamente do fato que Y(chapéu)h , assim como b0 e b1, é uma combinação
linear das observações Yi.
• Média

E (Yˆh ) = E (b0 + b1 X h ) = E (b0 ) + X h E (b1 ) = β 0 + β1 X h = E (Yh )

80
• Variância
Para obter σ2(Y(chapéu)h), primeiro mostraremos que b1 e Y não são correlacionados e sob o
modelo de regressão com erros normais, independentes:
σ (b1 ; Y ) = 0
Definimos:

Y = 1
n ∑ Yi b1 = ∑ kiYi ki = Xi −X

∑( Xi − X )
2

Através do teorema A.32 (Neter et al., página 668, 1996) com ai=1/n e ci=ki e lembrando que
Yi são variáveis aleatórias independentes:

σ (Y ; b1 ) = ∑ ( )kiσ (Yi ) =
1
n
2 σ2
n ∑k i =0
Para a demonstração da variância de Y(chapéu)h vamos utilizar o modelo:

Yi = β 0* + β1 ( X i − X ) + ε i

81
 σ 2 (Yˆh ) = σ 2 (Y + b1 ( X h − X ))
σ 2 (Yˆh ) = σ 2 (Y ) + ( X h − X ) 2 σ 2 (b1 )
(Y e b1 são independentes; X n e X constantes)
σ 2 (Yi )
σ (b1 ) = σ2
σ (Y ) = = σn
2 2 2

∑ ( X h − X )2 n

∴ σ 2 (Yˆh ) = σn + ( X h − X ) 2
2
σ2
∑ ( X i − X )2

ˆ 2 1 ( X h − X )2 
σ (Yh ) = σ n + ( X − X ) 2
2
 ∑ i 
Distribuição amostral de (Yˆh − E (Yh )) / s(Yˆh )
Yˆh − E (Yh )
s (Yˆ )
~ t (n − 2)
h

Intervalo de confiança para E(Yh)

Yˆh ± t (1 − α / 2; n − 2) s (Yˆh )
82
Exemplo: vamos encontrar um intervalo com confiança de 95% para E(Yh) para tamanho de
cache X=300.000 bytes. Temos:

Yˆ300000
= 27 ,83633 + 0 ,0000642( 300000 ) = 47 ,10
s ( Yˆ ) = 2 ,5738[ +
2
h
1
12 ] = 0 ,25738
( 300000 −325000 )2
37500000000

s( Yˆ ) = 0 ,5073263
h

t ( 0 ,975 ;10 ) = 2 ,228

47 ,10 − 2 ,228( 0 ,5073263 ) ≤ E( Y ) ≤ 47 ,10 + 2 ,228( 0 ,5073263 )
300000

45 ,9697 ≤ E( Y 300000
) ≤ 48 ,2303
Interpretação: temos 95% de confiança que a porcentagem média de acertos, com 300.000 bytes
de tamanho de cache, está entre 45,9697 e 48,2003%. Um intervalo com boa precisão.

Exercício: encontrar o intervalo com confiança de 95% para E(Yh) para tamanho de cache
X=200.000. Compare as amplitudes dos intervalos.

83
Exemplo: para os dados de população de bactérias, vamos encontrar um intervalo com confiança
de 95% para E(Yh) para tempo X=14 dias. Temos:

Yˆ14 = 3,325 − 0,019(14) = 3,059

2
[
s (Yˆh ) = 0,0659 16 + (14 −17 , 5 ) 2
857 , 5 ] = 0,0119
s(Yˆh ) = 0,1091
t (0,975;4) = 2,776
3,059 − 2,776(0,1091) ≤ E (Y14 ) ≤ 3,059 + 2,776(0,1091)
2,7561 ≤ E (Y14 ) ≤ 3,3619
Interpretação: temos 95% de confiança que a população média de bactérias, com 14 dias de
armazenamento, está entre 2,7561 e 3,3619 ufc (em log base e).

Exercício: encontrar o intervalo com confiança de 95% para E(Yh) para tempo X=0. Compare
as amplitudes dos intervalos.

84
 Predição de uma nova observação
Exemplo: 1) a pesquisadora deseja predizer a porcentagem de acertos
na cache para um tamanho de cache igual a 375.000 bytes; 2) a
pesquisadora deseja predizer a população de bactérias para um tempo
específico igual a 15 dias.
Portanto, desejamos predizer uma nova observação, Y, vista como
resultado de um novo ensaio, independente dos ensaios nos quais
análise de regressão foi feita.
Notação: denotamos o nível de X para o novo ensaio como Xh e a
nova observação em Y como Yh(novo). Assumimos que o modelo de
regressão continua válido para a nova observação.
A diferença entre estimar uma resposta média, E(Yh) e fazer a
predição de uma nova observação, Yh(novo), é que no primeiro caso
estimamos a média da distribuição de Y. Agora, vamos predizer uma
85
resposta individual da distribuição de Y.
Intervalo de predição para Yh(novo)
Os limites de predição para uma nova observação Yh(nova) para um dado Xh são obtidos através do do
seguinte teorema : ˆ
Yh ( novo ) −Yh
s ( pred ) ~ t ( n − 2)
Isto para o modelo de regressão com erros normais.
Note que a estatística usa Y(chapéu)h no numerador ao invés de E(Yh). O desvio padrão estimado,
s(pred), é obtido como segue:
A diferença no numerador, Yh(novo) - Y(chapéu)h, pode ser visto como um erro de predição, com
Y(chapéu)h sendo a melhor estimativa pontual do valor da nova observação, Yh(novo) . A variância
desse erro pode ser obtida considerando que a nova observação e as n observações, sobre as quais
Y(chapéu)h está baseada, são independentes. Considerando o teorema A.31b (Neter et. Al., página
668, 1996), temos:
σ ( pred ) = σ (Yh ( novo ) − Yˆh ) = σ (Yh ( novo ) ) + σ (Yˆh ) = σ + σ (Yˆh )
2 2 2 2 2 2

s 2 ( pred )) = QME + s 2 (Yˆh ) (estimador não tendencioso)

 ( X h − X )2 
s ( pred ) = QME 1 + n + ( X − X ) 2
2 1
 ∑ i 
O intervalo fica: Yˆh ± t (1 − α / 2; n − 2) s ( pred ) 86
 Exemplo: suponha que um novo tamanho de cache seja Xh=375000 bytes,e que a pesquisadora
deseja construir um intervalo de predição com 95% de confiança para Y375000(novo).

Yˆ375000 = 27 ,83633 + 0 ,0000642( 375000 ) = 51,91133

2 ˆ
s (Y ) = 2 ,5738 +
375000
1
[
( 375000 − 325000 )2
12 ]
= 0 ,3861
37500000000

QME = 2 ,5738
t ( 0 ,975 ;10 ) = 2 ,228
s 2 ( pred ) = 2 ,5738 + 0 ,3861 = 2 ,9599
s( pred ) = 1,720436
51,91133 − 2 ,228( 1,720436 ) ≤ Y375000( novo ) ≤ 51,91133 + 2 ,228( 1,720436 )
48 ,0782 ≤ Y375000( novo ) ≤ 55 ,7445
Interpretação: podemos afirmar com 95% de confiança que o valor predito de porcentagem de
acertos, para tamanho de cache igual a 375000 bytes, está entre 48,0782 e 55,7445%.
O intervalo de predição é similar ao intervalo de estimação, a diferença é conceitual. Um intervalo
de estimação é uma inferência sobre um parâmetro e é um intervalo que procura conter o valor do
parâmetro. O intervalo de predição, por outro lado, é um conhecimento formal sobre um valor de
uma variável aleatória, a nova observação Yh(novo). 87
Exemplo: suponha que um novo tempo de armazenamento seja Xh=15 dias,e que a pesquisadora
deseja construir um intervalo de predição com 95% de confiança para Y15(novo).

Yˆ15 = 3,325 − 0,019(15) = 3,040

2 ˆ 1
[
(15 −17 , 5 ) 2
s (Y15 ) = 0,0659 6 + 857 ,5 = 0,0115]
QME = 0,0659
t (0,975;4) = 2,776
s 2 ( pred ) = 0,0659 + 0,0115 = 0,0774
s ( pred ) = 0,2782
3,040 − 2,776(0,2782) ≤ Y15( novo ) ≤ 3,040 + 2,776(0,2782)
2,2677 ≤ Y15( novo ) ≤ 3,8123

Interpretação: podemos afirmar com 95% de confiança que o valor predito de população de
bactérias, para tempo igual a 15 dias, está entre 2,2677 e 3,8123 ufc/cm2.

88
 Faixa de confiança para a equação de regressão
Útil para verificar o ajuste da equação de regressão.
A faixa de confiança (1-α) para a equação da reta correspondente ao modelo de regressão com
erros normais tem dois limites para qualquer nível de Xh, cujos valores são dados por:

Yˆh ± Ws(Yˆh )
W 2 = 2 F (1 − α ;2, n − 2)
Distribuição de F,

Yˆ = b + b X
h 0 1 h
com 2 gl no
numerador e n-2 no
denominador, com
ˆ  ( X h − X )2 
s (Yh ) = QME n + ( X − X ) 2
2 1 grau de confiança
 ∑ i  1- α

Calcula-se os valores dos limites para diversos níveis de Xh e após faz-se o gráfico.

89
 Scatterplot (CACHE.STA 9v*12c)
y=27,836+6,423e-5*x+eps
58

56

54
PORCENTAGEM DE ACERTO

52

50

48

46

44

42

40
2,2e5 2,6e5 3e5 3,4e5 3,8e5 4,2e5

TAMANHO DA CACHE

Percebe-se que os valores da linha de regressão são estimados com boa

precisão.
90
 Análise de variância da regressão
É importante para análise de regressão linear múltipla e outros modelos lineares. Para análise de
regressão linear simples não traz nenhuma novidade.

91
Partição da soma de quadrados total

Yi − Y = ( Yˆi − Y ) + ( Yi − Yˆi )
Desvio Desvio da Desvio em
total equação torno da
ajustada em equação
torno da média ajustada

Yi
•
E
T
R
Y

X Xi 92
 ( )
n n
Demonstração: ∑ ∑ i
2
(Y − Y ) = (Yˆ − Y ) + (Y − Yˆ ) 2
i i
i =1 i =1

∑ ((Yˆ − Y ) )
n

i
2
+ (Yi − Yˆi ) 2 + 2(Yˆi − Y )(Yi − Yˆi )
i =1
n n n

∑ (Yˆ − Y ) + ∑ (Y − Yˆ )
i =1
i
2

i =1
i i
2
+ 2∑ (Yˆi − Y )(Yi − Yˆi )
i =1
n n n
2∑ (Yˆi − Y )(Yi − Yˆi ) = 2∑ Yˆi (Yi − Yˆi ) − 2Y ∑ (Yi − Yˆi ) = 0
i =1 i =1 i =1
n n n
∴ ∑ (Y
i =1
− Y ) = ∑ i
(Yˆ − Y )2
+ ∑ i i
(Y − Yˆ
i =1
) 2 2

i =1

n
Soma de quadrados total: SQT = ∑ (Yi − Y ) 2
i =1
n
Soma de quadrados do erro (ou resíduo): SQE = ∑ (Yi − Yˆi ) 2
i =1
n
Soma de quadrados da regressão: SQR = ∑ (Yˆi − Y ) 2
i =1
93
(Parte da variabilidade de Yi que está associada com a regressão)
 Graus de liberdade
A SQT tem n-1 graus de liberdade; um grau de liberdade é perdido devido a restrição de que a soma
dos desvios em torno da média é zero. De outra forma: um grau de liberdade é perdido porque a
média da amostra é usada para estimar a média populacional.

A SQE tem n-2 graus de liberdade. Dois graus de liberdade são perdidos pois dois parâmetros são
estimados para obter Y(chapéu)i.
A SQR tem 1 grau de liberdade. Dois g.l. estão associados com a regressão (2 parâmetros); um deles é
perdido devido a restrição: ∑ (Yˆi − Y ) = 0.

Os graus de liberdade são aditivos: (n-1)=1+(n-2)

Quadrados médios
A soma de quadrados dividida pelos graus de liberdade é chamada de quadrado médio.

QMR = SQR
QME = SQE QMT = SQT
( n −1)
1 ( n−2)

94
 Tabela da análise de variância
Tabela da análise de variância para regressão linear simples
Causas de variação Soma de quadrados Graus de liberdade Quadrado médio
Regressão SQR 1 SQR/1
Erro SQE n-2 SQE/(n-2)
Total SQT n-1

Tabela modificada (soma de quadrados total não corrigida)

Baseado no fato de que:
SQT = ∑ (Yi − Y ) = ∑ Yi 2 − nY 2
2

SQTNC = ∑ Yi 2
Tabela da análise de variância para regressão linear simples
Causas de variação Soma de quadrados Graus de liberdade Quadrado médio
Regressão SQR 1 SQR/1
Erro SQE n-2 SQE/(n-2)
Total SQT n-1
Correção para a média SQ(devido a média)= nY 2
1
Total não corrigido SQTNC= ∑ Y
i
2
n

95
 Exercício: obtenha para os dados de porcentagem de acertos na cache a SQR e o QMR.

Exercício: obtenha para os dados de pop. de Staphilococcus a SQR e o QMR.

Esperanças dos quadrados médios

Para realizar inferências na análise de variância, precisamos conhecer as esperanças dos
quadrados médios. Os valores esperados dos quadrados médios é a média de suas distribuições
amostrais e nos mostram o que está sendo estimado pelo quadrado médio.

Teorema 2.11 (página 49, Neter et al., 1996) diz que: SQE / σ ~ χ (n − 2)
2 2

(para o modelo com erros com distribuição normal).

Das propriedades da distribuição de χ2 (apêndice) temos:

E( SQE
σ2
)=n−2
E( SQE
n−2 ) = E (QME ) = σ (O QME é estimador imparcial)
2

Para encontrar a E(QMR), partimos de:

SQR = b12 ∑ ( X i − X )
2

Sabemos que a variância de uma variável aleatória é dada por:

96
 σ ( b ) = E( b ) − ( E( b ))
2
1
2
1 1
2

⇒ E( b ) = β 1 1

⇒ σ ( b ) = ∑( )
2
1
σ2
Xi −X
2

∴ E( b ) =
1
2

∑
σ2
( Xi −X ) 2 +β 2
1

∴ E( SQR ) = E( b )∑ ( X − X ) 2
1 i
2

E( SQR ) = ( ∑ σ2
( Xi −X ) 2 + β )∑( X − X )
1
2
i
2

E( SQR ) = σ + β ∑ ( X − X )
2 2
1 i
2

∴ E( SQR
1 ) = E( QMR ) = σ + β ∑ ( X − X ) 2 2
1 i
2

Teste F para β 1
H 0 : β1 = 0
Na análise de variância testa-se as seguintes hipóteses:
H a : β1 ≠ 0

A estatística utilizada para testar essas hipóteses é dada por: F* = QMR

QME
Valores altos de F* favorecem Ha; F*=1 favorece H0; é um teste unilateral.
Para estabelecer uma regra de decisão do teste de hipóteses devemos conhecer a
distribuição amostral de F*. 97
Distribuição amostral de F*

Vamos considerar a distribuição amostral de F* quando a hipótese nula for verdadeira, isto é, sob
H0.
Teorema de Cochran: se as n observações Yi são identicamente distribuídas de acordo com
uma distribuição normal com média µ e variância σ2 e a soma de quadrados total é
decomposta em k somas de quadrados SQr , cada uma com glr graus de liberdade, então, os
termos SQr/ σ2 , são variáveis independentemente distribuídas como χ2 com glr graus de
liberdade se:
k

∑ gl
i =1
r = n −1

Na tabela da ANOVA a SQT foi decomposta em duas somas de quadrados (SQR e SQE) e os
seus graus de liberdade são aditivos.

Sob H0, de modo que os Yi tem distribuição normal com a mesma média µ =0 e mesma
variância σ2 , SQE/σ2 e SQR/σ2 são variáveis independentemente distribuídas como χ2.

Podemos escrever F* como:

SQR SQR SQE
χ 2 (1) χ 2 ( n−2 )
F =* QMR
QME = 1
SQE /( n − 2 ) = σ2
1 ÷ ( n−2 ) =
σ2
1 ÷ ( n−2 )
98
Assim, sob H0, F* é o quociente entre duas variáveis independentes com distribuição de χ2,
portanto, a estatística F* é uma variável aleatória com distribuição F(1,n-2) (apêndice-
distribuição F).
Quando rejeita-se H0,pode-se mostrar que F* segue uma distribuição de F não central.
Regra de decisão do teste de hipóteses:

F * ≤ F ( 1 − α ;1, n − 2 ) ⇒ não rejeita − se H 0

F * > F ( 1 − α ;1, n − 2 ) ⇒ rejeita − se H 0
Saída do STATISTICA: dados de porcentagem de acerto na cache.

F(95%;1,10)=4,96, portanto, F*> F e, assim, rejeita-se a hipótese nula.

Conclusão: existe uma associação linear entre porcentagem de acerto e o tamanho da cache.
Mesmo resultado do teste t.
99
Saída do STATISTICA: dados de população de Staphilococcus.

F(95%;1,4)=7,71, portanto, F*< F e, assim, não

rejeita-se a hipótese nula.

Conclusão: não existe uma associação linear entre pop. e o

tempo de armazenamento. Mesmo resultado do teste t.
100
Teste geral para o modelo linear
Três etapas:

1) Modelo completo
Este modelo é considerado adequado para os dados e chama-se modelo completo ou sem restrição
(superparametrizado). No caso de regressão linear simples temos:

Yi = β 0 + β1 X i + ε i Modelo completo

A soma de quadrados do erro do modelo completo (SQE(C)), é dada por:

SQE (C ) = ∑ [Yi − (b0 + b1 X i )] = ∑ (Yi − Yˆi ) 2 = SQE

2

2) Modelo reduzido
Vamos considerar as hipóteses:
Modelo reduzido:
H 0 : β1 = 0 Sob H0
Yi = β 0 + ε i
H a : β1 ≠ 0 101
 A soma de quadrados do erro do modelo reduzido (SQE(R)), é dada por:

SQE ( R ) = ∑ [Yi − b0 ] = ∑ (Yi − Y ) 2 = SQTotal

2

Exercício: encontre o estimador de β0 pelo método de mínimos quadrados.

3) Teste estatístico
Devemos comparar as duas somas de quadrados dos erros.

SQE (C ) ≤ SQE ( R ) Sempre

Mais parâmetros

Conclusão: se a SQE(C) não é muito menor do que a SQE(R), indica que o modelo reduzido é
adequado, isto é, não rejeita-se H0.

102
O teste estatístico é dado por:

SQE ( R ) − SQE ( C )
F* = gl r − glc ÷ SQEglc(C ) ~ F (1 − α ; glr − glc , glc )

Decisão:

F * ≤ F (1 − α ; glr − glc , glc ) ⇒ aceita − se H 0

F * > F (1 − α ; glr − glc , glc ) ⇒ rejeita − se H 0

Exercício: para os dados de porcentagem de acertos na cache, verifique a as hipóteses:

H 0 : β1 = 0
H a : β1 ≠ 0
F =* 180 ,4284 −25 ,7385
11−10 ÷ 25 ,7385
10 = 154 ,6899
2 ,57385 = 60 ,10 . **

103
Exercício: para os dados de pop. de staphilococcus,
verifique se as hipóteses:

H 0 : β1 = 0
H a : β1 ≠ 0

F =
* 0 ,569885 −0 ,263908
5 −4 ÷ 0 ,263908
4 = 0 ,305977
0 ,065977 = 4 ,64 . NS

104
 Medidas descritivas do grau de associação linear
entre X e Y.
Coeficiente de determinação (r2) r2 = SQR
SQT = 1 − SQT
SQE

0 ≤ r2 ≤1
Interpretação: é o quanto da variabilidade total dos dados é explicada pelo modelo de regressão.
Quanto maior o r2 mais a variação total de Y é reduzida pela introdução da v. preditora X no modelo.
Y
Y r2=0
r2=1
• Yˆ = b0 + b1 X •• • • ••
•
•
•
• ••
• •
• ••
••
• Yˆ ≡ Y
• •• •• •
•• •
••• •

•
X
X A v. X não ajuda na redução da
A variável preditora X é responsável por toda variação de Yi com a Reg. Linear 105
a variação nas observações Yi.
Coeficiente de correlação (r)

r = ± r2
−1 ≤ r ≤ 1
Exemplo: para os dados de porcentagem de acertos na cache, temos:

Exemplo: para os dados de população de Staphilococcus, temos:

106
Interpretações errôneas dos coeficientes de determinação e
correlação:
1) Um alto coeficiente de correlação indica que predições úteis
podem ser feitas. Isto não é necessariamente correto. Observe
se as amplitudes dos intervalos de confiança são grandes, isto
é, não são muito precisos.
2) Um alto coeficiente de correlação indica que a equação de
regressão estimada está bem ajustada aos dados. Isto também
não é necessariamente correto (veja figura a seguir).
3) Um coeficiente de correlação próximo de zero indica que X
e Y não são correlacionadas. Idem (veja figura a seguir).

107
 •
• •
• • • • •
• • •
• • • • •
• • • • •
•
• • • •
• • • •
• •
• •
• • •
• • •
• •
• •

Tem um alto valor de r; o ajuste Tem um baixo valor de r;

de uma equação de regressão porém existe uma forte relação
linear não é adequada entre X e Y.

*** Fazer lista de exercícios número 2.

108