Escolar Documentos
Profissional Documentos
Cultura Documentos
#-Apostila Regressão Linear e Polinomial PDF
#-Apostila Regressão Linear e Polinomial PDF
PPGEP
[ (
L = ∑ y j − b0 + b1 x1 j + ... + bk xkj )]2 (2)
Usando (3) , a função a ser minimizada é:
[ ( ))]2
Observa-se que a aplicação do método dos mínimos quadrados fica
simplificada se o modelo (1) é reescrito como: ( ) (
L = ∑ yi − b0, + b1 x1 j − x1 + ... + bk xkj − xk (4)
PPGEP/UFRGS 3 PPGEP/UFRGS 4
Notação Matricial Estimativa dos Coeficientes
PPGEP PPGEP
Para lidar com o problema de regressão linear múltipla, é mais
conveniente usar notação matricial, pois assim tem-se uma
apresentação muito compacta dos dados, do modelo e dos
resultados. Em notação matricial o modelo (3) aparece Pode ser demonstrado que a aplicação do método dos mínimos
representado como: Y = Xβ + ε quadrados conduz à seguinte solução:
24 1 - 8 2 ε1
ε 15 0 0 463
27 1 - 3 - 3
2 X' X = 0 504 - 213 ;
X' Y = 345
29 1 - 8 12 ε 3 0 - 213 548 63
31 1 2 - 10 ε 4 e
25 1 7 - 6 ε 5
0,06667 0 0
33 1 0 3 ε6
PPGEP/UFRGS 9 PPGEP/UFRGS 10
26 24,69 1,31
28 30,09 -2,09
A tabela a seguir apresenta os valores observados, os valores 31 29,57 1,43
previstos pelo modelo e os respectivos resíduos: 39 38,48 0,52
38 32,48 0,52
30 28,62 1,38
rj = Yj − Y$j 25 26,02 -1,02
42 39,11 2,89
40 38,41 1,59
PPGEP/UFRGS 11 PPGEP/UFRGS 12
Resíduos x X1 Resíduos x X2
PPGEP PPGEP 10 10
6 6
2 2
Para testar se o ajuste é adequado, os resíduos poderiam ser Re
-2
Re
-2
plotados em função de Yˆ , em função de X1 ou em função de X2 . -6 -6
<=
<=
( ) ( )
-10 -10
10 14 18 22 26 30 18 22 26 30 34 38 42
X1 X2
Os resíduos também poderiam ser plotados em papel de Resíduos x Y$ Papel de Probabilidade
<=
linha 5 é, sem dúvida, um dado atípico: -6 5
1
( )
<=
( )
-10 0.1
24 27 30 33 36 39 42 -10 -7 -4 -1 2 5
Valor predito de Y Resíduos
Exemplo 10.2: (ver Montgomery (1984)) Este exemplo ilustra o uso Escolhemos ajustar o seguinte modelo ( X i = 0 )
PPGEP
da Análise de Regressão em conjunto com Projeto de PPGEP
Os dados aparecem a seguir. Vejam que os níveis dos fatores foram X' X = = 8 I4 ; X' Y =
0 0 8 0 85
codificados como -1 (nível baixo) e +1 (nível alto).
0 0 0 8 9
Ganho % X1(Temp.) X2(Pressão) X3(Concent.)
32 -1 -1 -1 E como X’X é diagonal, a sua inversa (X’X)-1=(1/8)I4 . Assim as
36 -1 -1 1 estimativas dos coeficientes resultam:
57 -1 1 -1
46 1 -1 -1 b0 51,125
b
65 1 1 -1 5,625
b= =
1
57 -1 1 1 b2 10,625
48 1 -1 1
68 1 1 1 b3 1,125
PPGEP/UFRGS 15 PPGEP/UFRGS 16
PPGEP
E o modelo de regressão é: PPGEP
Matriz de Variâncias e Covariâncias
Y$ = 51,125 + 5,625X1 + 10,625X 2 + 1,125X 3
A matriz (X’X)-1 é chamada de matriz de variâncias e
Nesse exemplo a matriz inversa é fácil de obter porque X ’X é
covariâncias. É uma matriz simétrica de ordem p x p e seus
diagonal. Há várias vantagens quando X ’X é diagonal. Os
elementos são usados na determinação das variâncias Sij2.
cálculos são mais fáceis e a estima dos coeficientes está livre de
Usando a notação:
PPGEP/UFRGS 17 PPGEP/UFRGS 18
Regressão Linear Múltipla
. . .
ao hiperplano do modelo de regressão:
. . .
(
S 2 = ∑ Y j − Ŷ j )2 (n − k − 1) ; j = 1,n
rk 0 rk 1 ... 1
PPGEP/UFRGS 21 PPGEP/UFRGS 22
PPGEP PPGEP
Testes de Hipótese
10.1) A resistência de uma cera depende da quantidade de Etil- Para construir os testes de hipótese relativos a regressão
Vinil-Acetato (EVA) e da quantidade de Parafina adicionados à múltipla, vamos supor que os resíduos εj sigam o modelo
cera. Ajuste um modelo do tipo Y = β0 + β1 X1 + β2 X2 aos dados normal com média 0 e variância S2 .
que aparecem a seguir: Há dois tipos de teste que podem ser feitos: testes individuais
sobre a significância de cada parâmetro bj e um teste global
Regressão Linear Múltipla
Regressão Linear Múltipla
para o modelo.
X1: EVA 4 4 6 6 8 8 4 4 6 6 8 8
X2: Paraf. 8 8 8 8 8 8 12 12 12 12 12 12
Y: Resist. 28,5 26, 33, 32, 35, 36, 36, 34, 37, 39, 42, 44,
Significância de cada parâmetro
4 0 1 3 7 6 2 9 9 6 2 Se os resíduos seguem o modelo normal, os parâmetros bj
também irão seguir esse modelo, ou seja:
( 2
b j → N β j ,σbj )
PPGEP/UFRGS 23 PPGEP/UFRGS 24
PPGEP PPGEP
Significância do Modelo de Regressão
Para testar a significância do modelo de regressão múltipla,
De modo que para testar as hipóteses usaremos o teste F.
H0: βj = 0 Os desvios (Yj − Y ) podem ser escritos na forma:
H1: β j ≠ 0
Usamos a distribuição de Student, calculando (Yj − Y ) = (Yj − Y$j ) + (Y$j − Y )
tj = bj / Sbj
Como sempre, a hipótese nula será rejeitada se elevando ao quadrado e somando, obtemos:
t j > tα / 2 , n − k − 1
∑ (Yj − Y ) ( ) ( )
2 2 2
= ∑ Yj − Y$j + ∑ Yj − Y
uma vez que pode ser demonstrado que o produto cruzado é nulo.
PPGEP/UFRGS 25 PPGEP/UFRGS 26
2
SQReg
r = -Teste a significância do modelo;
SYY
-Calcule o coeficiente de determinação;
O coeficiente r2
indica a percentagem da variabilidade total que
é explicada pelo modelo de regressão. Solução:
A matriz de variâncias e covariâncias é a matriz (X’X)-1 , enquanto
Se r2 =1, todas as observações estarão sobre o hiperplano que a matriz de correlações é obtida dividindo os termos da matriz
definido pelo modelo. Se r2 =0 , não há nenhuma relação entre a X’X pelos correspondentes termos da diagonal. Assim,
variável de resposta e as variáveis regressoras.
PPGEP/UFRGS 29 PPGEP/UFRGS 30
PPGEP/UFRGS 33 PPGEP/UFRGS 34
.
A suposição de normalidade dos resíduos pode ser testada por testes
X k0
gráficos (papel de probabilidade) ou analíticos (teste do Chi-quadrado,
Pode ser demonstrado que os intervalos de confiança de 100(1-α)% Kolmogorov-Smirnov, etc.).
para um valor médio e individual de Y são, respectivamente:
Valor médio: Ŷ0 ± tα / 2 ,n − k −1 S 2 (X 0, ( X ' X )−1 ) Para o teste de normalidade, usam-se os resíduos padronizados:
1
2
O fator que multiplica tα/2 corresponde ao erro de previsão. A divisão onde Ŷ j = b0 + b1 X 1 j + ... + bk X kj
desse fator por Y$0 produz o coeficiente de variação da previsão.
PPGEP/UFRGS 35 PPGEP/UFRGS 36
PPGEP PPGEP
Regressão Polinomial
Para examinar se o erro padrão da estimativa é constante, analisam-se
os gráficos O modelo aditivo Y = Xβ + ε é um modelo geral e pode ser usado
para ajustar qualquer relação que seja linear com referência aos
R j × Ŷ j e R j × X i parâmetros desconhecidos β.
Se a suposição de normalidade ou de homogeneidade não forem Veja que a exigência de linearidade refere-se a β e não a X. Assim,
satisfeitas, muitas vezes é possível contornar o problema aplicando o modelo pode ser usado para ajustar um polinômio de ordem k em
certas transformações matemáticas aos dados. uma variável:
Y = β0 + β1 x1 + β2 x2 + β3 x12 + β4 x22 + β5 x1 x2 + ε
PPGEP/UFRGS 37 PPGEP/UFRGS 38
PPGEP/UFRGS 43 PPGEP/UFRGS 44
Exercícios:
PPGEP PPGEP
10.5) Considere os dados do exercício 8.5 e use o modelo do tipo Y 10.2) Calcule o valor dos resíduos para os dados do exercício 10.1
= β0 + β1X + β2X2 para ajustar a produtividade mensal em função e a seguir analise esses resíduos plotando os gráficos:
do intervalo entre manutenções preventivas.
10.4) Considere os dados do exercício 8.2 e use um modelo do tipo
Intervalo Produtivi Y = β0 + β1 X + β2 X2 para ajustar a resistência à compressão em
dade
PPGEP/UFRGS 45 PPGEP/UFRGS 46