Regressão não Linear

Método de Gauss - Newton

Samuel Mauro Garcia Murça

SMGM-2020
 Nota Introductoria
O papel protagonista dos métodos de regressão não linear, para
estimação da curva de tendência em serie temporais, tem sido
estudado e analisado por parte dos estudiosos e amantes desta área
do saber de tal sorte que a presente acção tem como premissa
fundamental ilustrar o método de Gauss-Newton na estimação de
parâmetros de modelos não lineares.
A engenharia está repleta de casos onde os modelos não lineares
aproximam-se a comportamentos associados aos dados, cabe realçar
os modelos e ou as famosas curvas de crescimento; Gompertz,
Logistica e etc.

SMGM-2020
 Fundamentação teórica
Regressão linear tem como objectivo determinar os parâmetros do
modelo que minimizam a soma dos quadrados dos resíduos, porém
para o caso não linear que se aborda na presente acção, ilustra uma
solução obtida de forma iterativa.
O método de Gauss-Newton é um algoritmo para minimizar a soma
dos quadrados dos resíduos entre os dados observados e os
resultados das equações não lineares. O conceito chave por detrás
desta técnica é que se utiliza uma expansão da Serie de Taylor para
expressar a equação não linear original em uma forma linear
aproximada.

SMGM-2020
 Fundamentação teórica
Passemos a descrever em seguida a equação genérica para modelos
não lineares.
𝑦𝑖 = 𝑓 𝑥𝑖 ; 𝑎0 , 𝑎1 , 𝑎2 , … 𝑎𝑛 + 𝑒𝑖

𝑦𝑖 :Valor medido pela variável dependente;

𝑓 𝑥𝑖 ; 𝑎0 , 𝑎1 , 𝑎2 , … 𝑎𝑛 : Equação que é função de variável
independente 𝑥𝑖 e função não linear de parâmetros 𝑎0 , 𝑎1 , 𝑎2 , … 𝑎𝑛 ;
𝑒𝑖 : Erro aleatório;

SMGM-2020
 Fundamentação teórica
O modelo não linear pode expandir-se em uma Serie de Taylor al redor dos
parâmetros e primeiras derivadas. Onde para o caso de dois parâmetros
facilmente obtem-se:
𝜕𝑓 𝑥𝑖 𝑗 𝜕𝑓 𝑥𝑖 𝑗
𝑓 𝑥𝑖 𝑗+1 = 𝑓 𝑥𝑖 𝑗 + ∆𝑎0 + ∆𝑎1
𝜕𝑎0 𝜕𝑎1
𝑗: Valor inicial;
𝑗 + 1: Valor predito;
𝜕𝑓 𝑥𝑖 𝑗 𝜕𝑓 𝑥𝑖 𝑗
𝑦𝑖 − 𝑓 𝑥𝑖 𝑗 = ∆𝑎0 + ∆𝑎1 + 𝑒𝑖
𝜕𝑎0 𝜕𝑎1

SMGM-2020
 Fundamentação teórica
Logo de forma matricial a equação anterior é dada por :
𝐷 = 𝑍𝑗 ∆𝐴 + 𝐸
𝜕𝑓1 𝜕𝑓1
ൗ𝜕𝑎 ൗ𝜕𝑎 ∆𝑎0
𝑦1 − 𝑓 𝑥1 0 1 𝑎𝑘;𝑗+1 − 𝑎𝑘;𝑗
𝜕𝑓2 𝜕𝑓2 ∆𝐴 = ∆𝑎1 𝜀𝑎 𝑘 = × 100%
𝐷 = 𝑦2 − 𝑓 𝑥2 𝑍𝑗 = ൗ𝜕𝑎 ൗ𝜕𝑎 𝑎𝑘;𝑗+1
𝑦𝑛 − 𝑓 𝑥𝑛 0 2 ∆𝑎𝑛
𝜕𝑓𝑛 𝜕𝑓𝑛
ൗ𝜕𝑎 ൗ𝜕𝑎
0 1
𝐷 : Vector diferença;
𝑍𝑗 : Matriz das derivadas parciais da função avaliada em j;
∆𝐴 : Vector incremento dos paramentos;
𝜀𝑎 𝑘 : Erro;

SMGM-2020
 Fundamentação teórica
Aplicando a teoria de mínimos quadrados linear ao sistema matricial
obtém-se:
𝑇 𝑇
𝑍𝐽 𝑍𝑗 ∆𝐴 = 𝑍𝑗 𝐷 ∆

Assim que o procedimento consiste em resolver a equação acima,

repetindo para os novos valores de parâmetro até que a mesma
converge, isto é, quando o erro se tornar inferior ao critério aceitável.
𝑎0;𝑗+1 = 𝑎0;𝑗 + ∆𝑎0
𝑎1;𝑗+1 = 𝑎1;𝑗 + ∆𝑎1

SMGM-2020
 Exemplo 1

DADOS 𝑓 𝑥𝑖 ; 𝑎0 , 𝑎1 = 𝑎0 1 − 𝑒 −𝑎1 𝑥 DADOS

X Y 0,9

0,25 0,28 𝜕𝑓 0,8

0,75 0,57 = 1 − 𝑒 −𝑎1𝑥 0,7

𝜕𝑎0 0,6
1,25 0,68
1,75 0,74 𝜕𝑓 0,5

= 𝑎0 𝑥𝑒 −𝑎1 𝑥 0,4 DADOS

2,25 0,79 𝜕𝑎1 0,3

0,2
0,1
0
0 1 2 3 4 5 6

SMGM-2020
 Exemplo 1
DADOS Parâmetros MATRIZ Z D Inc. dos
TRANSPOSTA DE Z ZT*Z INVERSA (ZT*Z) ZT*D Erro
X Y f Est. a0 a1 a0 a1 Resíduo Parâmentros
0,25 0,28 0,27 0,792 1,675 0,3422 0,1302 0,3422 0,7153 0,8768 0,9467 0,9769 3,2481 0,3825 0,9239 -5,2305 0,0091 0,0000 0,0000 0,00%
0,75 0,57 0,57 0,7919 1,6751 0,7153 0,1691 0,1302 0,1691 0,1219 0,0739 0,0411 0,3825 0,0676 -5,2305 44,4122 0,0036 0,0000 0,0000 0,00%
1,25 0,68 0,69 0,8768 0,1219 -0,0143
1,75 0,74 0,75 0,9467 0,0739 -0,0096
2,25 0,79 0,77 0,9769 0,0411 0,0164
0,9
0,8
0,7
0,6
0,5
DADOS
0,4
f Est.
0,3
0,2
0,1
0
0 0,5 1 SMGM-2020 1,5 2 2,5
 Exemplo 2
DADOS Parametros Matriz Z

t [ANO] POP[PESSOAS] L[N.º SUBS] f Est. β α A β α A ZT*Z INVERSA ZT*Z D ZT*D INC. ERRO
2002 18 813 702 140 000 340 641 0,593253226 2008,208673 13 890 692 -2063066,22 -197130,789 0,024523 1,95595E+14 -2,3085E+11 19392593 6,99172E-15 -6,8322E-15 -1,90342E-08 -200 641 31015455,47 2,03558E-07 0,0000343%
2003 19 321 672 350 000 604 510 0,59325343 2008,208673 13 890 692 -3011665,01 -343020,158 0,043519 -2,3085E+11 1,90601E+13 -6926292 -6,8322E-15 7,77607E-14 6,98356E-08 -254 510 1945364,577 -6,06208E-08 0,0000000%
2004 19 843 357 740 000 1 056 834 -4109466,04 -579268,987 0,076082 19392593,05 -6926291,63 9,609526 -1,90342E-08 6,98356E-08 0,192811186 -316 834 0,00014371 -0,454470143 0,0000033%
2005 20 379 128 1 611 118 1 801 714 -5031263,1 -930232,74 0,129707 -190 596
2006 20 929 364 3 054 620 2 950 886 -5132981,2 -1378726,99 0,212436 103 734
2007 21 494 457 4 961 536 4 556 745 -3700881,28 -1816503,72 0,328043 404 791
𝐴
2008 22 074 807 6 773 356 6 515 991 -721885,216 -2052301,31 0,46909 𝐿𝑡 = 257 365
2009 22 670 827 8 589 986 8 546 321 2602002,304 -1950706,95 0,615255 1 + 𝑒𝛽.(∝−𝑡) 43 665
2010 23 282 939 9 332 812 10 323 676 4748870,941 -1572735,56 0,743208 -990 864
𝜕𝐿 1
2011 23 911 579 11 871 503 11 663 950 5219180,101 -1109255,88 0,839695 = 207 553
2012 24 557 191 12 785 109 12 565 283 4545581,681 -711276,368 0,904583
𝜕𝐴 1 + 𝑒𝛽(∝−𝑡) 219 826
2013 25 220 236 13 285 198 13 125 706 3463444,308 -428837,291 0,944928 159 492
𝜕𝐿 𝐴. 𝛽. 𝑒 𝛽(∝−𝑡)
2014 25 901 182 14 052 558 13 457 337 2431402,381 -249068,549 0,968803 =− 595 221
2015 26 681 590 13 884 532 13 647 862 1620308,692 -141541,325 0,982519 𝜕∝ 1 + 𝑒𝛽(∝−𝑡) 2 236 670
2016 27 503 526 13 001 124 13 755 464 1043348,036 -79443,4147 0,990265 -754 340
𝜕𝐿 𝐴. 𝑒 𝛽 ∝−𝑡 . ∝ −𝑡
2017 28 359 299 13 323 952 13 815 648 656171,9071 -44279,5632 0,994598 =− -491 696
2018 29 256 009 13 288 421 13 849 128 405751,8162 -24584,3678 0,997008 𝜕𝛽 1 + 𝑒𝛽(∝−𝑡) 2 -560 707
2019 30 175 553 14 830 154 13 867 696 247748,4486 -13619,9721 0,998344 962 458
2020 13 877 977 149794,497 -7536,56241 0,999085
2021
16 000 000 13 883 664 89858,26606 -4167,56667 0,999494
2022 14 000 000 13 886 808 53554,82085 -2303,73562 0,99972
12 000 000
10 000 000
8 000 000
6 000 000
4 000 000
2 000 000
0
2000 2002 2004 2006 2008 2010 2012 2014 2016 2018 2020
SMGM-2020
L[N.º SUBS] f Est.
Obrigado !
SMGM-2020