Escolar Documentos
Profissional Documentos
Cultura Documentos
2
Modelo de regressão de primeira ordem com duas
variáveis preditoras
O modelo de regressão linear é dado por:
Yi = β 0 + β1 X i1 + β 2 X i 2 + ε i (1)
Onde Yi é a resposta no i-ésimo ensaio, Xi1 e Xi2 são os valores das duas variáveis
preditoras no i-ésimo ensaio. Os parâmetros do modelo são β0, β1, β2 e o termo do erro
é εi.
Vamos assumir que E(εi)=0, portanto, a função de regressão do modelo de primeira
ordem é:
E (Y ) = β 0 + β1 X 1 + β 2 X 2 (2)
A representação gráfica desta função é um plano no espaço. A figura, na página
seguinte, mostra este plano para a função:
E (Y ) = 10 + 2 X 1 + 5 X 2 (3)
A função de regressão na regressão múltipla é chamada de superfície de resposta.
3
Plano de resposta
Yi
•
εi
E(Yi) = 20,00
•
β0 (1,33;1,67)
4
Significado dos coeficientes de regressão:
Exercício: no modelo
Yi = β 0 + β1 X i1 + β 2 X i 2 + ... + β p −1 X i , p −1 + ε i
6
Modelo linear geral de regressão
Vamos supor que temos X1, X2,..., Xp-1 variáveis preditoras. Vamos definir o modelo
de regressão, com erros normais, em termos das variáveis preditoras:
Yi = β 0 + β1 X i1 + β 2 X i 2 + ... + β p −1 X i , p −1 + ε i (4)
Onde: β0, β1,..., βp-1, são os parâmetros;
Xi1,..., Xi,p-1 são constantes conhecidas;
εi são independentes com distribuição N(0, σ2)
i=1,2,...,n.
A função resposta para o modelo, como E(εi )=0,é dada por:
E (Y ) = β 0 + β1 X 1 + β 2 X 2 + ... + β p −1 X p −1 (5)
7
1) Temos p-1 variáveis preditoras: todas as variáveis preditoras apresentam efeito
aditivo, ou seja, não apresentam um efeito de interação entre elas (o efeito de uma
variável preditora não depende dos níveis da outra variável preditora).
2) As variáveis preditoras são qualitativas: neste caso temos variáveis como: sexo,
invalidez (normal, parcialmente inválido, inválido). Usamos variáveis indicadoras,
que recebem valores 0 e 1 para identificar as categorias de uma variável
qualitativa.
Exemplo: desejamos fazer uma análise de regressão para estimar a distância de um
hospital (Y), baseado na idade dos pacientes (X1) e sexo (X2).
=β +
O modelo deYregressão
i 0
é: β1 X i1 + β 2 X i 2 + ε i (6)
Onde:
X i1 = idade dos pacientes;
1 se o paciente é do sexo feminino
X i2 =
0 se o paciente é do sexo masculino
8
A resposta média do modelo (6) é:
E (Y ) = β 0 + β1 X 1 + β 2 X 2 (7)
Para pacientes do sexo masculino, X2=0, temos:
E (Y ) = β 0 + β1 X 1 (8)
Para pacientes do sexo feminino, X2=1, temos:
E (Y ) = ( β 0 + β 2 ) + β1 X 1 (9)
As duas funções respostas representam duas retas paralelas com diferentes
interceptos. Exercício: faça a representação gráfica das funções 8 e 9.
Outro exemplo: vamos considerar uma terceira variável no modelo, o status sobre
a invalidez dos pacientes, a qual apresenta três categorias. Em geral,
representamos uma variável qualitativa com c categorias, por meio de c-1
variáveis indicadoras. Portanto, no exemplo, vamos definir as variáveis X3 e X4
como:
9
1 se o paciente é normal
X3 =
0 se o paciente está em outra categoria
1 se o paciente é parcialmente inválido
X4 =
0 se o paciente está em outra categoria
Yi = β 0 + β1 X i1 + β 2 X i 2 + β 3 X i 3 + β 4 X i 4 + ε i (10)
Yi = β 0 + β1 X i + β 2 X i2 + ε i (11)
10
O gráfico deste modelo é uma parábola.
9
Produção em kg/parcela
1
-20 0 20 40 60 80 100 120
Doses de fósforo
11
4)Variáveis transformadas: uma transformação bastante utilizada é a
logarítmica:
Yi ' = log Yi
O modelo fica:
Yi ' = β 0 + β1 X i1 + β 2 X i 2 + β 3 X i 3 + ε i (12)
A função resposta é complexa. Porém, o modelo (12) é da forma do modelo
linear geral de regressão.
Exercício: coloque o modelo (13) na forma do modelo de regressão linear
geral (4).
Yi = 1
β 0 + β1X i 1+ β 2 X i 2
+ εi (13)
Basta fazer:
Yi ' = 1
Yi ⇒ Yi ' = β 0 + β1 X i1 + β 2 X i 2 + ε i
12
5) Modelos com efeito da interação entre variáveis preditoras. O efeito de uma
variável preditora depende dos níveis das outras variáveis preditoras. Exemplo:
Yi = β 0 + β1 X i1 + β 2 X i 2 + β 3 X i1 X i 2 + ε i (14)
Observe que fazendo-se Xi3=Xi1Xi2 obtemos o modelo linear geral
de regressão (4).
Z i1 = X i1 Z i2 = X i21 Z i 3 = X i 2 Z i4 = X i22 Z i 5 = X i1 X i 2
temos o modelo linear geral de regressão (4).
13
A figura ilustra um desses modelos mais complexos.
14
Modelo de regressão linear múltipla em termos
matriciais
A expressão do modelo linear geral de regressão é dada por:
Yi = β 0 + β1 X i1 + β 2 X i 2 + ... + β p −1 X i , p −1 + ε i (16)
Em termos matriciais, precisamos definir:
1 X 11 . . X 1, p −1 ε1
Y1 1 X β0
Y . . X 2, p −1 β
ε
21
2
2 . . . . . 1 .
Y =. X = β = . ε =
n x1
nxp
. . . . . p x1
.
.
.
n x1
. . . . . .
Yn β p −1
1 X n1 . . X n , p −1 ε n
15
Em termos matriciais, o modelo de regressão linear geral é dado por:
Y = Xβ + ε (17)
E( Y ) = Xβ σ 2 ( Y ) = σ 2I (18)
n x1 nxn
16
Exercício: uma empresa opera estúdios fotográficos para crianças em 12
cidades. A empresa deseja expandir seus estúdios para outras cidades
semelhantes e deseja investigar se as vendas (Y) podem ser estimadas através
do número de pessoas com 16 anos ou menos (X1) e a renda per capita na
cidade (X2). Os resultados foram:
17
A) Escreva o modelo de regressão linear de primeira ordem (sem efeito
quadrático e interação).
B) Faça um gráfico de dispersão (Scatterplot) entre vendas e número e outro
para vendas e renda.
C) Mostre a matriz X, os vetores Y e β para os dados do exercício.
18
Respostas:
A)
Yi = β 0 + β1 X i1 + β 2 X i 2 + ε i
B)
19
20
1 68 17 174
1 45 16 164
C)
1 91 18 244
1 48 16 154
1 47 17 182
β0
1 66 18 208
X= Y= β = β1
1 50 17 163
β2
1 52 17 145
1 49 17 145
1 38 16 137
1 88 18 242
1 73 17
191
21
β0 + 68 β1 +17 β2
β + 45 β +16 β
0 1 2
β0 + 91β1 +18 β2
β0 + 48 β1 +16 β2
β0 + 47 β1 +17 β2
β + 66 β +18 β
E(Y ) = 0 1 2
β0 + 50 β1 +17 β2
β + 52 β +17 β
0 1 2
β0 + 49 β1 +17 β2
β + 38 β +16 β
0 1 2
β0 + 88 β1 +18 β2
β0 +73 β1 +17 β2 22
Estimação dos coeficientes de regressão
O sistema de equações normais para o modelo (17) é:
X ' Xb = X ' Y (19)
23
Continuação do Exercício do estúdio fotográfico. Dados os resultados:
2149
X ' Y = 134330
36772
24
Valores estimados e resíduos
Os valores estimados são obtidos por:
Yˆ = Xb (22)
n x1
e = Y − Yˆ = Y − Xb (23)
nx1
Exercício:
H) para verificar o ajuste do modelo de regressão para os dados, é necessário
encontrar os valores estimados e os resíduos. Encontre estes resultados para os dados
da empresa de estúdio fotográfico.
25
Análise de variância
Soma de quadrados e quadrados médios
QMRegressão = SQRegressão
p −1
QMErro = SQErro
n− p
26
Teste F para regressão
Hipóteses em teste:
H 0 : β1 = β2 =... = βp −1 = 0
H a : pelo menos um βk é diferente de zero.
A estatística de teste é dada por:
F* = QMRegressão
QMErro (24)
Se F*> F(α; p-1,n-p), rejeitamos a hipótese nula, caso contrário, aceitamos a
hipótese. Não devemos esquecer de usar o valor p.
27
Exercício: interprete o teste F da análise de variância com o uso do valor p. Se a
hipótese nula for rejeitada, isto garante que podemos fazer estimação (predição)
válidas? Resp. não. 28
Coeficiente de determinação (R2)
Define-se R2 por:
R2 = SQRegressão
SQTotal = 1− SQErro
SQTotal (25)
Mede a redução da variabilidade total de Y associada com o uso do conjunto de
variáveis X1,...,Xp-1. Como na regressão linear simples, temos:
0 ≤ R2 ≤ 1
Assim, R2=0 se todas as estimativas bk=0 (k=1,...,p-1), e R2=1 quando todas as
observações Y caírem exatamente na superfície de regressão ajustada, isto é,
quando:
Yi =Yˆi para todo i.
= 1 − ( nn−−1p ) SQTotal
SQErro
Ra2 = 1 − n− p
SQTotal
SQErro
(26)
n −1 29
Um alto valor de R2 não necessariamente implica que o modelo ajustado se presta
para se fazer inferências precisas, pois apesar de um valor alto de R2, o QME ainda
pode ser grande. O modelo pode não ser exatamente linear.
bk ± t (1 − α / 2; n − p ) s(bk ) (31)
Exercício: para o exemplo da empresa de estúdios fotográficos calcule o
intervalo de confiança para β2, com confiança de 95%. Faça a
interpretação. 31
Testes de hipóteses para β k
Hipóteses:
H 0 : βk = 0
H a : βk ≠ 0 (32)
Estatística de teste:
t* = bk
s ( bk ) (33)
Critério do teste:
Se |t* |≤t(1-α/2;n-p), aceita-se a hipótese nula, caso contrário rejeita-se a mesma.
32
Estimação da resposta média e predição de uma
nova observação
Intervalo de confiança para E(Yh)
1
X
h1
Xh = .
p x1
.
X h , p −1
A resposta média estimada, correspondente ao vetor Xh, é dada por :
Os limites de predição com confiança 1-α para uma nova observação Yh(nova)
correspondente ao vetor Xh, os valores das variáveis explanatórias, são:
Exercício: a empresa deseja predizer as vendas para uma nova cidade com as
seguintes características
Cidade A: Xh1=53,1 Xh2=17,7
encontre o intervalo de predição com 95%. Faça a interpretação. Você
considera que este intervalo é satisfatório? Utilize os seguintes resultados:
ˆ = 177,034 s(pred) = 19,331 t(0,975;12 - 3) = 2,306
Yh
35
Observação: Isto serve para mostrar que apesar de termos um alto valor para o
R2=0,845, não temos precisão suficiente para fazer os intervalos de predição.
Assim, alto coeficiente de determinação, não significa que podemos fazer
predição precisa.
•
X2
X1
X1
36
Diagnóstico do modelo
Os procedimentos vistos para o modelo de regressão linear simples aplicam-se
diretamente para o caso do modelo de regressão linear múltipla.
Os capítulos 9 e 10 do livro texto apresentam muitos outros procedimentos.
Exemplo:
Empresa de estúdio fotográfico em 21 cidades.
37
Dados de 21 cidades da empresa de estúdio fotográfico:
OBS POPULACA RENDA VENDAS
1 68.5 16.7 174.4 População (X1)
2 45.2 16.8 164.4
3 91.3 18.2 244.2
Renda (X2)
4 47.8 16.3 154.6
5 46.9 17.3 181.6
6 66.1 18.2 207.5
Vendas (Y)
7 49.5 15.9 152.8
8 52.0 17.2 163.2
9 48.9 16.6 145.4
10 38.4 16.0 137.2
11 87.9 18.3 241.9
12 72.8 17.1 191.1
13 88.4 17.4 232.0
14 42.9 15.8 145.3
15 52.5 17.8 161.1
16 85.7 18.4 209.7
17 41.3 16.5 146.4
18 51.7 16.3 144.0
19 89.6 18.1 232.6
20 82.7 19.1 224.1
21 52.3 16.0 166.5
38
Matriz de diagrama de dispersão:
Observa-se uma tendência linear entre vendas (Y) e população (X1); também
entre vendas (Y) e renda (X2). Observa-se, também, uma relação linear entre X1 e
X2. Não se observa outliers, não se observa separações nos dados.
39
40
A matriz de correlação:
yi = β 0 + β1 X i1 + β 2 X i 2 + ε i
42
Exercício: dados os vetores dos valores estimados e dos resíduos. Faça os
seguintes gráficos e interprete.
1 - resíduos versus valores estimados
2 - resíduos versus X1
3 - resíduos versus X2
4 - resíduos versus X1X2 (interação)
43
Y ajustados ERROS X1X2
187.18411 -12.78411 1143.95
154.22943 10.170574 759.36
234.39632 9.8036764 1661.66
153.32853 1.271469 779.14
161.38493 20.215072 811.37
197.74142 9.7585779 1203.02
152.05508 0.7449178 787.05
167.86663 -4.666632 894.4
157.7382 -12.3382 811.74
136.84602 0.3539791 614.4
230.38737 11.512629 1608.57
197.18492 -6.084921 1244.88
222.6857 9.3142995 1538.16
141.51844 3.7815611 677.82
174.21321 -13.11321 934.5
228.12389 -18.42389 1576.88
145.74699 0.6530062 681.45
159.00131 -15.00131 842.71
230.98702 1.6129777 1621.76
230.31606 -6.216062 1579.57
157.0644 9.4356009 836.8
44
Indica que a função de regressão linear múltipla é adequada (plano)
Indica que a suposição de homogeneidade de variância é atendida
Não apresenta outliers (valores discrepantes). 45
A suposição de normalidade dos erros está satisfeita, ou seja, a
distribuição dos erros segue aproximadamente uma distribuição normal.
46
Não se observa nenhum padrão, indicando que o modelo linear é
adequado.
Homogeneidade de variâncias.
47
Não se observa nenhum padrão, indicando que o modelo linear é
adequado.
Homogeneidade de variâncias. 48
Nota-se que não é necessário a inclusão da interação X1*X2 no modelo.
49
Gráfico dos valores absolutos dos resíduos versus valores estimados: homogeneidade de
variâncias.
H 0 : β1 = 0 e β 2 = 0
H a : pelo menos um é diferente de zero.
51
Estimação de uma resposta média: 1
X h = 65,4
17,6
Interpretação: podemos afirmar com 95% de confiança, que para valor de população
igual a 65,4 e renda igual a 17,6, a venda média está entre 185,29 e 196,92.
Importante: os consultores da empresa consideram este intervalo preciso para seus
objetivos. 52
Intervalo de predição: desejam predizer as vendas para duas novas cidades com
as seguintes características:
Cidade A Cidade B
54