3 - Regressão Múltipla e Comparação

REGRESSÃO POLINOMIAL REGRESSÃO LINEAR MÚLTIPLA NOTAÇÃO MATRICIAL COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO
MÉTODOS NUMÉRICOS COMPUTACIONAIS

Ajuste de Curvas: Método dos Quadrados Mínimos Geral
Comparação Interpolação e Regressão
Guilherme Augusto Veloso
CEFET - MG
2019
Guilherme Augusto Veloso CEFET - MG
1 REGRESSÃO POLINOMIAL
2 REGRESSÃO LINEAR MÚLTIPLA
3 NOTAÇÃO MATRICIAL
4 COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO

INTRODUÇÃO
REGRESSÃO POLINOMIAL
Nas aulas anteriores, foi desenvolvido um procedimento

para deduzir a equação da reta usando o critério dos míni-
mos quadrados.
Considere a seguinte situação:

Para os dados do exemplo anterior, o ajuste de um modelo

de regressão linear simples não é satisfatório.
Nessa situação, o ajuste de uma curva seria mais adequado.
Uma alternativa é ajustar o seguinte modelo de regressão
polinomial:
Y = β0 + β1 x + β2 x 2 +

Para este modelo, a função desvio é dada por

n
X
D(β0 , β1 , β2 ) = (yi − β0 − β1 xi − β2 xi2 )2
i=1
Para gerar o ajuste conforme o método dos mínimos quadra-

dos, basta minimizar a função desvio com respeito a cada
um dos parâmetros desconhecidos.

Nessa situação, os estimadores b0 , b1 , b2 de β0 , β1 , β2 obti-

dos pelo método dos quadrados mínimos devem ser solução
do seguinte sistema:
 P P 2    P 
n xi xi b0 yi
P P 2 P 3    P
 xi x x  b1  =  xi yi 

P 2 P i3 P i4 P 2
xi xi xi b2 xi yi

EXEMPLO 1
Os dados coletados foram

x 0 1 2 3 4 5
y 2,1 7,7 13,6 27,2 40,9 61,1
O objetivo é ajustar o polinômio y = b0 + b1 x + b2 x 2 con-

siderando o método dos quadrados mínimos
A partir dos dados acima, tem-se que
P P 2 P 3 P 4
xi = 15 xi = 55 xi = 225 xi = 979
P P P 2
yi = 152, 6 xi yi = 585, 6 xi yi = 2488, 8
n=6

EXEMPLO 1: A JUSTE
Logo, os valores de b0 , b1 e b2 são solução do seguinte sis-

tema     
6 15 55 b0 152, 6
15 55 225 b1  =  585, 6 
    
55 225 979 b2 2488, 8
 
b0 = 2, 4786
A solução para este sistema é b1 = 2, 3593
 
b2 = 1, 8607
Logo, a curva ajustada é dada por:
y = 2, 4786 + 2, 3593x + 1, 8607x 2

EXEMPLO 1: A JUSTE

EXEMPLO 1: A JUSTE
Também são obtidos dos dados:

P 2
D(β0 , β1 , β2 ) = 3, 7465 yi = 6394, 52
Assim:
D(b0 , b1 ) 3, 7465
r 2 = 1− P 1 P = 1− = 0.9985
2
yi − n ( yi )2 6394, 52 − 16 152, 62
Há indícios de um excelente ajuste pois aproximadamente

99% da variação total dos dados é explicada pelo modelo.

REGRESSÃO POLINOMIAL: CASO GERAL
De uma maneira geral, a regressão polinomial é dada por:
y = β0 + β1 x + β2 x 2 + β3 x 3 + . . . + βg x g +

REGRESSÃO POLINOMIAL: CASO GERAL
Nesse caso, os estimadores de β0 , β1 , β2 , . . . , βg obtidos

pelo método dos quadrados mínimos são denotados por
b0 , b1 , b2 , . . . , bg e satisfaz a solução do seguinte sistema:
P 2 P g    P
···
P
n xi x xi
 
P 2 P i3 P g+1
b0 yi
Px x x ··· x
P
 b   x y 
P i P i3 P i4 P ig+2   1  i i
 xi2 xi   b2  =  xi2 yi 
   P
xi xi ···
 
 .. .. .. .. ..   ..   .. 
    
 . . . . .   .   . 
P g P g+1 P g+2 P 2g P g
xi xi xi ··· xi bg xi yi

REGRESSÃO LINEAR MÚLTIPLA
Uma extensão natural da regressão linear simples é quando

y é uma função linear de duas ou mais variáveis indepen-
dentes.
Por exemplo,
y = β0 + β1 x1 + β2 x2 +



n
X
D(β0 , β1 , β2 ) = (yi − β0 − β1 xi,1 − β2 xi,2 )2
i=1

dos, basta minimizar a função desvio com respeito a cada
um dos parâmetros desconhecidos.

Nessa situação, os estimadores b0 , b1 , b2 de β0 , β1 , β2 obti-

dos pelo método dos quadrados mínimos devem ser solução
do seguinte sistema:
 P P    P 
n xi,1 xi,2 b0 yi
P P 2 P   P
 xi,1 x x x   b1  =  xi,1 yi 

P P i,1 Pi,12 i,2 P
xi,2 xi,1 xi,2 xi,2 b2 xi,2 yi

EXEMPLO 2
Os dados coletados foram

x1 0 2 2,5 1 4 7
x2 0 1 2 3 6 2
y 5 10 9 0 3 27
O objetivo é ajustar o modelo de regressão linear múltipla

y = b0 + b1 x1 + b2 x2 considerando o método dos quadrados
mínimos
A partir dos dados acima, tem-se que
P P P 2
x1,i = 16, 5 x2,i = 14 x1,i = 76, 25
P 2 P
x = 76, 25 x1,i x2,i = 48
P 2,i P P
yi = 54 x1,i yi = 243.5 x2,i yi = 100
n=6
EXEMPLO 2: A JUSTE
Logo, os valores de b0 , b1 e b2 são solução do seguinte sis-

tema     
6 16, 5 14 b0 54
16, 5 76, 25 48 b1  = 243, 5
    
14 48 54 b2 100
 
b0 = 5
A solução para este sistema é  b1 = 4 
 
b2 = −3
Logo, o modelo de regressão linear múltipla ajustado é dado
por:
y = 5 + 4x1 − 3x2

REGRESSÃO LINEAR MÚLTIPLA: CASO GERAL
De uma maneira geral, um modelo de regressão linear múlti-

pla é dado por:
y = β0 + β1 x1 + β2 x2 + β3 x3 + . . . + βp xp +

REGRESSÃO LINEAR MÚLTIPLA: CASO GERAL
Nesse caso, os estimadores de β0 , β1 , β2 , . . . , βp obtidos

pelo método dos quadrados mínimos são denotados por
b0 , b1 , b2 , . . . , bp e satisfaz a solução do seguinte sistema:
 P P P    P 
Pn P x1,i P x2,i ··· P xp,i b0 P yi
2
 x1,i
P x1,i x1,i x2,i ··· Px1,i xp,i  b1   P x1,i yi 
   
2
P P
 x2,i x2,i x1,i x2,i ··· x2,i x2i  b2  =  x2,i yi 
   
  ..   ..
 
 .. .. .. .. .. 
 . . . .
P . P . .     
P P 2 P
xp,i xp,i x1,i xp,i x2,i ··· xp,i bp xp,1 yi

NOTAÇÃO MATRICIAL
De uma maneira geral, o modelo linear de regressão múlti-

pla pode ser escrito com a seguinte notação:
Y = Xβ +

NOTAÇÃO MATRICIAL
      
Y1 1 x1,1 x1,2 · · · x1,p β0 1
Y2  1 x2,1 x2,2 · · · x2,p 
  β1  2 
      
 .  = . .. .. ..   ..  + .
..
  
 .  . .
 .  . . . . .  .  .
Yn 1 xn,1 xn,2 · · · xn,p βp n
Y X β
n×1 n×(p+1) (p+1)×1 n×1

NOTAÇÃO MATRICIAL

n
X
D(β) = 2i = t = (Y − Xβ)t (Y − Xβ)
i=1

dos, basta minimizar a função desvio com respeito ao vetor
β
Nessa situação, o estimador β̂ obtido pelo método dos mín-
imos quadrados para β é dado por:
β̂ = (X t X)−1 X t Y

COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO
INTERPOLAÇÃO POLINOMIAL
Nas aulas de Interpolação Polinomial, vimos que qualquer

que seja o polinômio interpolador de grau n, ele é sempre
construído de modo a passar por todos os n + 1 pontos.
O polinômio de grau n
Pn (x ) = a0 + a1 x + a2 x 2 + . . . + an x n
tem sempre n + 1 coeﬁcientes ai com i = 0, 1, 2, . . . , n, isto

é, o número de pontos.

MODELOS DE REGRESSÃO
Em uma regressão polinomial, por exemplo, utilizando os

mesmos n + 1 pontos, pode ser construído o polinômio de
grau g
Ug (x ) = b0 + b1 x + b2 x 2 + . . . + bg x g
tal que g ≤ n
Quando existir a igualdade g = n, então o polinômio de
regressão será idêntico ao polinômio interpolador.


Em termos de Complexidade Computacional a interpolação

é um processo mais simples que a regressão, ainda mais se
for evitada a solução de um sistema linear.
A interpolação deve ser utilizada quando se necessita de
um valor intermediário em uma tabela
Por sua vez, a regressão tem que ser utilizada quando se
deseja estimar parâmetros de um modelo semideterminís-
tico e/ou prever um valor dado por esse modelo.


3 - Regressão Múltipla e Comparação

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

3 - Regressão Múltipla e Comparação

Enviado por

Direitos autorais:

Formatos disponíveis

REGRESSÃO POLINOMIAL REGRESSÃO LINEAR MÚLTIPLA NOTAÇÃO MATRICIAL COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO

MÉTODOS NUMÉRICOS COMPUTACIONAIS

Guilherme Augusto Veloso

2 REGRESSÃO LINEAR MÚLTIPLA

4 COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO

Guilherme Augusto Veloso CEFET - MG

Nas aulas anteriores, foi desenvolvido um procedimento

Guilherme Augusto Veloso CEFET - MG

Para os dados do exemplo anterior, o ajuste de um modelo

Guilherme Augusto Veloso CEFET - MG

Para este modelo, a função desvio é dada por

Para gerar o ajuste conforme o método dos mínimos quadra-

Guilherme Augusto Veloso CEFET - MG

Nessa situação, os estimadores b0 , b1 , b2 de β0 , β1 , β2 obti-

Guilherme Augusto Veloso CEFET - MG

Os dados coletados foram

O objetivo é ajustar o polinômio y = b0 + b1 x + b2 x 2 con-

Guilherme Augusto Veloso CEFET - MG

Logo, os valores de b0 , b1 e b2 são solução do seguinte sis-

y = 2, 4786 + 2, 3593x + 1, 8607x 2

Guilherme Augusto Veloso CEFET - MG

Guilherme Augusto Veloso CEFET - MG

Também são obtidos dos dados:

Há indícios de um excelente ajuste pois aproximadamente

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO POLINOMIAL: CASO GERAL

De uma maneira geral, a regressão polinomial é dada por:

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO POLINOMIAL: CASO GERAL

Nesse caso, os estimadores de β0 , β1 , β2 , . . . , βg obtidos

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA

Uma extensão natural da regressão linear simples é quando

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA

Para este modelo, a função desvio é dada por

Para gerar o ajuste conforme o método dos mínimos quadra-

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA

Nessa situação, os estimadores b0 , b1 , b2 de β0 , β1 , β2 obti-

Guilherme Augusto Veloso CEFET - MG

Os dados coletados foram

O objetivo é ajustar o modelo de regressão linear múltipla

Logo, os valores de b0 , b1 e b2 são solução do seguinte sis-

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA: CASO GERAL

De uma maneira geral, um modelo de regressão linear múlti-

Guilherme Augusto Veloso CEFET - MG

REGRESSÃO LINEAR MÚLTIPLA: CASO GERAL

Nesse caso, os estimadores de β0 , β1 , β2 , . . . , βp obtidos

Guilherme Augusto Veloso CEFET - MG

De uma maneira geral, o modelo linear de regressão múlti-

Guilherme Augusto Veloso CEFET - MG

Guilherme Augusto Veloso CEFET - MG

Para este modelo, a função desvio é dada por

Para gerar o ajuste conforme o método dos mínimos quadra-

Guilherme Augusto Veloso CEFET - MG

COMPARAÇÃO: INTERPOLAÇÃO X REGRESSÃO

Nas aulas de Interpolação Polinomial, vimos que qualquer

tem sempre n + 1 coeﬁcientes ai com i = 0, 1, 2, . . . , n, isto