24

AJUSTAMENTO PARAMTRICO POR MNIMOS QUADRADOS COM ANLISE NA ESTABILIDADE DA SOLUO

Silvio Jacks dos Anjos Garns 1 Raimundo Jos Borges de Sampaio 2 Quintino Dalmolin 2 1 CESUP-Centro de Ensino Superior Prof. Plnio Mendes Dos Santos Departamento de Geocincias Av. Cear, 333 - Bairro Miguel Couto CEP 79033-010 - Campo Grande -MS Fone (067) 382-7660 - Fax (067) 724-0809 2 UFPR - Universidade Federal do Paran Curso de Ps-Graduao em Cincias Geodsicas Centro Politcnico- Jardin das Amricas CEP 81531-990 - Curitiba -PR Fone (041) 366-2323 - Fax (041) 266-2393 RESUMO O presente trabalho tem por objetivo mostrar os problemas de estabilidade que podem surgir na soluo do problema de mnimos quadrados. Compara cinco mtodos de soluo para sistemas de equaes lineares redundantes e para o caso geral, quando as equaes residuais so no-lineares so comparados dois mtodos de soluo, um de convergncia local e outro de convergncia global. ABSTRACT The aim of this work is to discuss some problems of instability that appears when we are dealing with least square problems. It compares the
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

25

performance of five methods for the solution of overdetermined system of linear equation and two others for the solution of overdetermined system of nonlinear equations, one with properties of local convergence and another one with properties of global convergence. 1. INTRODUO O mtodo de mnimos quadrados desde sua aplicao pela primeira vez de maneira independente por Gauss (1809) e Legendre (1806), tem se transformado no principal mtodo de ajustamento de observaes. A partir de seu surgimento e at pouco tempo atrs, o mtodo tinha limitaes com relaes a aplicao em certos problemas por causa da quantidade de operaes exigidas para chegar a um resultado. Hoje, felizmente, os computadores e calculadoras eliminaram praticamente essas limitaes. No entanto, h certos cuidados que se deve tomar quando for solucionar um problema de mnimos quadrados. Quando as equaes residuais so lineares ou foram linearizadas pode ocorrer que o sistema formado seja um sistema "mal-condicionado". Nesta situao, por causa da preciso finita dos computadores ou calculadoras, a soluo encontrada utilizando um mtodo qualquer pode ser uma soluo errada. No caso de se estar num processo iterativo, a soluo correta ser um passo na direo de decrescimento da funo, mas ocorrendo uma soluo errada o passo permanecer em direo indesejada e o mtodo acabar divergindo. Este trabalho mostra de maneira resumida algumas das anlises que podem ser realizadas para detectar se o problema ou no mal-condicionado, mtodos numricos de soluo para o problema de mnimos quadrados linear e mtodos iterativos para o problema de mnimos quadrados no-linear. O problema de mnimos quadrados definido como: min f(x) = || V(x) ||2 onde: f(x) : Rn R (funo objetivo); ||()|| : norma euclidiana; V(x) : Rn Rm (funo residual). muito comum nas cincias observacionais, ponderar as equaes residuais. Quando existe essa ponderao o problema ento definido por: 2 (1.2) min f(x) = || V(x) || w onde: 2 || V(x) || w VTPV; sendo P a matriz dos pesos.
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

(1.1)

26

2. RESULTADOS DE ANLISE i) Problema de mnimos quadrados linear

O problema de mnimos quadrados dito ser linear quando as equaes residuais so lineares: V=Ax-b onde: V (mx1) A (mxn) x (nx1) b (mx1) Existncia de soluo Quando em (2.1) o vetor b pertence ao espao coluna da matriz A, o vetor dos resduos V nulo e o sistema de equaes lineares Ax=b consistente, tornando-se irrelevante aplicar o critrio de mnimos quadrados. Quando em (2.1) o vetor b no pertence ao espao coluna da matriz A, o sistema de equaes lineares Ax=b inconsistente e uma soluo aproximada solicitada. Tal soluo aproximada pode ser obtida usando o critrio de mnimos quadrados (1.1) ou (1.2) caso haja ponderao. A exemplo de se usar (1.1) tem-se: min f(x)=||Ax-b||2 (2.2) : vetor dos resduos; : matriz de coeficientes dos parmetros; : vetor dos parmetros; : vetor dos termos independentes. (2.1)

Para a soluo de (2.2) quando a matriz A tem posto completo, podem ser usados pelo menos trs caminhos: a) Pelas equaes normais de mnimos quadrados ATAx=ATb b) Pela decomposio QR Rx=QTb c) Pela pseudo-inversa x=A+b
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

(2.3)

(2.4)

(2.5)

27

Quando A no tem posto completo, solues bsicas podem ser encontradas, mas a ateno neste caso para a soluo de comprimento mnimo min f(x)=||Ax-b||2 (2.6)

sujeito a: ||x*||||x|| , x Rn (x* soluo de comprimento mnimo). A soluo para (2.6) a mesma do item c, ou seja x*=A+b Mtodos de soluo a) Pelas equaes normais de mnimos quadrados (2.7)

Muitos so os mtodos numricos para resolver a equao (2.3), dentre eles, foi usado Gauss-Jordan por sua popularidade no meio acadmico, sub-rotina "versol" pela sua aplicao nas Cincias Geodsicas e decomposio de Cholesky por sua velocidade. O mtodo de Gauss-Jordan, basicamente consiste em aplicar operaes elementares em ATA e ATb, quando ATA transformar-se na matriz identidade I, o vetor ATb transforma-se no vetor soluo do sistema. Neste mtodo deve ser utilizado algoritmos que faam permutao de linhas e colunas para aumentar a estabilidade. A inverso de ATA atravs da sub-rotina "versol", utiliza o rebaixamento do determinante atravs da regra de Chi, o algoritmo bastante compacto e simples de programar. O desenvolvimento desse mtodo encontrado em MODRO (1981). O mtodo de Cholesky puro, s pode ser utilizado para quando a matriz TA definida positiva. Isso assegurado desde que A tenha posto completo A (hiptese inical). O mtodo sem muitos detalhes como segue: 1. LLT=ATA ( decomposio de ATA no produto de duas triangulares LLT) 2. substituir ATA por LLT no sistema de equaes normais LLTx=ATb 3. Ly=ATb (resolver para y ) 4. LTx=y (resolver para x que a soluo do problema) Um algoritmo para a decomposio de Cholesky encontrado em GASTINEL (1971). b) Pela decomposio QR

B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

28

Usando as transformaes de Householder, se pode transformar a matriz A em QR, sendo Q uma matriz ortogonal e R uma matriz triangular superior. Uma maneira de ver como se obtm a soluo do problema de mnimos quadrados, substituir a matriz A pela matriz QR no sistema de equaes normais ATAx=ATb RTQTQRx=RTQTb Rx=(RT)-1RTQTb Tb Rx=Q Uma sub-rotina para essa transformao encontrado em DENIS e SCHNABEL (1983). c) Pela pseudo-inversa

A pseudo-inversa ou inversa generalizada de Moor Penrose a qual resolve (2.5) e (2.7) pode ser obtida pela decomposio de valor singular (SVD). A decomposio de valor singular de A se escreve A=UDVT, onde: U uma matriz ortogonal de dimenso (mxm); V uma matriz ortogonal de dimenso (nxn); e D definida por dii=i0, i=1,...,k; dij=0, ij. As quantidades 1 ,...,k so os valores singulares de A. A pseudo-inversa A+ a partir da decomposio de valor singular calculada por: A+=VD+UT , onde: D+ obtido por dii+ =1/i , i>0; dii+ = 0 , i=0; dij+ =0 , ij. Uma sub-rotina para calcular a decomposio de valor singular de A encontrada em PRESS et alii (1986).

Anlise na estabilidade da soluo pelo nmero de condio Chama-se nmero de condio de uma matriz A e denota-se por C(A), o produto da norma da inversa de A pela norma de A. Em notao matemtica: C(A)=||A+|| ||A||. (2.8)

Para o caso da norma da matriz ||()|| ser a norma-2, o nmero de condio o quociente do maior valor singular de A pelo menor valor singular de A, ou seja, C(A)= max: min (2.9)
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

29

O nmero de condio da matriz de coeficientes dos parmetros muito importante para anlise se um sistema ou no mal-condicionado, pois ele d a mxima ampliao que a variao relativa da soluo pode sofrer frente a uma perturbao ou no vetor de termos independentes ou na matriz dos coeficientes.

x x
*

C(A)

b b A A

(2.10)

x x* + x

C(A)

(2.11)

A anlise por (2.10) e (2.11) atravs do nmero de condio perfeitamente aplicvel ao sistema de equaes normais, lembrando apenas que C(ATA)C(A)2, ou seja, o nmero de condio de ATA da ordem do quadrado do nmero de condio de A, motivo pelo qual sempre que possvel deve-se evitar resolver o problema de mnimos quadrados atravs das equaes normais. Para o caso das equaes originais Ax=b, a anlise pelo nmero de condio pode ser feita atravs das seguintes expresses (GILL et alii 1991). Para perturbaes no termo independente

bR x C(A) x bR
V=bN onde: bR = perturbao em b no espao coluna de A; bN = perturbao em b no espao nulo de AT. Para perturbaes na matriz A sem mudana no posto da matriz

(2.12)

(2.13)

b x 2 C(A)e R + 4 C(A) 2 e N N + O(e N 2 ) x bR

(2.14)

B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

30

V e N + 2 C(A)e N + O(e N 2 ) b
sendo:

(2.15)

eR =

AR ; A

eN =
AN=KTA

AN A

AR=GTA ; onde:

G = base ortonormal do espao coluna de A; K = base ortonormal do espao nulo de AT; A= perturbao na matriz A. ii) Problema de mnimos quadrados no-linear

Quando as equaes residuais so no-lineares, estas podem ser linearizadas usando a expanso em srie de Taylor at a primeira ordem Vc(x)=V(x0)+J(x0)x onde: Vc(x)(mx1) J(x0)(mxn) V(x0)(mx1) : aproximao linear de V(x) no ponto (x0); : matriz jacobiano da funo residual; : funo residual avaliada no ponto (x0); (2.16)

x=(x-x0)(nx1) : vetor das correes aos parmetros aproximados. a) mtodo de Gauss-Newton

O mtodo de Gauss-Newton utiliza o modelo afim (2.16) a partir de um ponto de valor aproximado x0, que iterativamente deve alcanar o ponto x* que minimiza f(x). O passo do mtodo, pode ser visto como sendo a soluo do problema de mnimos quadrados linear J(xi)Txi=V(xi) onde:
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

(2.17)

31

xi=xi+1 -xi sendo: i = iterao antecedente; i+1= iterao atual. Detalhes sobre a razo de convergncia local e convergncia do mtodo pode ser encontrado em DENNIS e SCHNABEL (1983). b) mtodo de Levenberg-Marquardt

O mtodo de Levenberg-Marquardt na prtica tem caractersticas de convergncia global (converge para o mnimo local a partir de qualquer valor aproximado), o limite do tamanho do passo feito atravs do uso da regio de confiana. O mtodo fica caracterizado como: min || V(xi)+J(xi)(xi+1 - xi)||2 sujeito a: ||xi+1 -xi||c sendo c um escalar que define a regio de confiana. A soluo do problema acima (DENNIS e SCHNABEL 1983) : xi+1=xi-[J(xi)TJ(xi)+c I]-1J(xi)TV(xi) (2.19) (2.18)

onde: c=0 se c ||[J(xi)TJ(xi)]-1J(xi)TV(xi)|| ; e c>0 caso contrrio Um algoritmo para o mtodo acima encontrado em PRESS et alii (1986). 3. RESULTADOS PRINCIPAIS

Sero mostrados a seguir resultados numricos para o problema de mnimos quadrados linear e para o problema de mnimos quadrados no-linear. Problema de mnimos quadrados linear Ser mostrado com esse problema a equivalncia das solues entre o mtodo QR e o mtodo da decomposio de valor singular, e tambm que os mtodos de soluo usando as equaes normais no so consistentes uns com o outros para a preciso em que se est trabalhando. Considere o sistema (Ax=b) abaixo
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

32

1 1 1

1 1,000 001 1,000 001

x1 x2

2 = 0,000 01 4,000 01

Os valores singulares para a matriz A so: min = 5,7734886323E-07 e max = 2,4494905593. O nmero de condio para a norma-2 : C(A)=4 242 652,433. Como a unidade de arredondamento em que se est trabalhando 1E-12 e C(A)>1/ 1E 12 , no seguro resolver o problema acima atravs das equaes normais. A tabela 1 mostra as solues e a norma do resduo do problema acima para os cinco mtodos anteriormente descritos. Para ver como o problema acima mal-condicionado basta fazer uma pequena variao no elemento b1, passando de 2 para 1.999 999, a soluo mostrada na tabela 2. Mais exemplos a respeito desse assunto podem ser encontrados em GARNS (1996). Gauss-Jordan 2 6,666 665E-6 2,828 427 12 Versol 1 0 3,316 630 Cholesky 1,333 339 5 0,666 666 6 2,828 427 1 QR -7,999 963 4 9,999 963 7 2,828 427 1 SVD -8,000 029 6 10,000 002 9 2,828 427 1

x1 x2 ||V||

TABELA 1 - SOLUO DO PROBLEMA NO PERTURBADO Gauss-Jordan 0,000 000 2,000 005 2,828 426 84 Versol 0,000 000 1,000 000 3,316 629 Cholesky 5,133 335E-6 2,000 000 2,828 426 84 QR -9,199 960 11,199 959 2,828 426 SVD -9,200 034 11,200 033 2,828 426

x1 x2 ||V||

TABELA 2 - SOLUO DO PROBLEMA COM PERTURBAO Problema de mnimos quadrados no-linear Considere o seguinte problema GEMAEL(1974), DALMOLIN (1976). Foi medido a partir de um ponto P de coordenadas desconhecidas as distncias l1,l2,l3 e l4 at 4 pontos de coordenadas conhecidas P1,P2,P3 e P4. Tambm foi medido o ngulo P1PP2. Em todas as medidas conhecido o desvio padro i, i=1,...,5. Os dados esto na tabela a seguir.
B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

33

Est. P1 P2 P3 P4

X(m) 842,281 1337,544 1831,727 840,408

Y(m) 925,523 996,249 723,962 658,345

Observaes l1 244,512 m l2 321,570 m l3 l4 P1PP2 773,154 m 279,992 m 12338'01.4"

desvio padro 0,012 m 1 2 3 4 5 0,016 m 0,038 m 0,014 m 2,0"

TABELA 3 - DADOS DO PROBLEMA pede-se as coordenadas de P ajustadas por mnimos quadrados. Os resultados a serem mostrados a seguir foram obtidos atravs de um programa computacional em linguagem " turbo pascal 6.0". Foram utilizados dois valores iniciais para testar os mtodos. Primeiro com os valores (1065;825) e depois com os valores (825;1065), os resultados dos parmetros encontrados esto nas tabelas a seguir. x0 x1 x2 x3 1065,00 1 065,255 4895 1 065,255 402 1 065,255 402 825,00 825,185 719 1 825,185 719 41 825,185 719 1 TABELA 4 - CONVERGNCIA POR GAUSS-NEWTON

xp yp

Na 3a iterao ocorreu a convergncia usando o critrio ||xi+1-xi||<1e-8. x0 xp yp x1 x2 x3

1065,00 1 065,255 286 7 1 065,255 402 1 065,255 402 825,00 825,185 431 8 825,185 719 07 825,185 719 1 0,001 0,0001 1e-05 1e-06 TABELA 5 - CONVERGNCIA POR LEVENBERG-MARQUARDT

Na 3a iterao ocorreu a convergncia usando o critrio ||xi+1-xi||<1e-8. x0 xp yp x1 x2 x100 825,00 314,544 627 25 106,888 819 32 -13 474,495 020 1065,00 1 022,170 538 9 -1 333,524 914 -15 897,367 574 TABELA 6 - NO-CONVERGNCIA POR GAUSS-NEWTON

B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

34

x0 xp yp

x1

...

x15

x16

825,00 315,590 670 2 ... 1 065,255 402 1 065,255 402 1065,00 1 025,627 327 ... 825,185 719 1 825,185 719 1 0,001 0,0001 ... 1e-06 1e-07 TABELA 7 - CONVERGNCIA POR LEVENBERG-MARQUARDT

Na 16a iterao ocorreu a convergncia usando o critrio ||xi+1-xi||<1e-8 e ||f(x)||<1e-04. 4. CONCLUSES Atravs dos exemplos anteriores e teoria exposta, pode-se concluir: a) para o problema de mnimos quadrados linear deve-se evitar a formao das equaes normais sempre que o nmero de condio for superior ao inverso da raiz quadrada da unidade de arredondamento que o computador est trabalhando. A anlise para verificar o mal-condicionamento do problema atravs de pertubaes no vetor de termos independentes ou na matriz dos coeficientes deve sempre ser observado o vetor soluo e o vetor dos resduos. Sempre que possvel deve-se fazer a anlise do condicionamento atravs dos valores singulares. Se estes estiverem espaados de maneira discrepante, fica evidenciado o mal-condicionamento do problema. Para a soluo de comprimento mnimo til usar um algoritmo que permita zerar valores singulares abaixo de um determinada quantidade e que possa ser manipulada, pois se for pr-fixada para certa quantidade, pode-se no ter a soluo de comprimento mnimo, quando esta for desejada. b) para o problema de mnimos quadrados no-linear a preferncia na soluo fica por conta do mtodo de Levenberg-Marquardt por causa de sua convergencia global. Na soluo de cada iterao do mtodo de Gauss-Newton quando este for utilizado, recomenda-se usar o mtodo da decomposio QR para manter a estabilidade na soluo e por conseqncia a direo de decrescimento da funo a ser minimizada. 5. REFERNCIAS BIBLIOGRFICAS 01 DALMOLIN, Q. Ajustamento de observaes pelo processo iterativo . Curitiba, 1976. Dissertao (Mestrado em Geodsia) - Curso de PsGraduao em Cincias Geodsicas, UFPR.

B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.

35

02

DENIS, J. E; SCHNABEL, R. B. Numerical methods for unconstrained optimization and nonlinear equations. New Jersey: Prentice Hall, 1983. 378p. GARNS, S.J.D.A. Ajustamento paramtrico por mnimos quadrados com anlise na estabilidade da soluo. 1996. Dissertao (Mestrado em Geodsia) - Curso de Ps-Graduao em Cincias Geodsicas.UFPR. GASTINEL, N. Linear numerical analysis. New York: Academic Press, 1971. 350 p. GEMAEL, C. Aplicaes do clculo matricial em geodsia. 2a parte: ajustamento de observaes. Curitiba: Curso de Ps-Graduao em Cincias Geodsicas, UFPR. 1974. GILL, P. E ; MURRAY, W; WRIGHT, M.H. Numerical linear algebra and optimization. California: Addison-Wesley, 1991. vol.1, 426 p. LAWSON, C.L ; HANSON,R.J. Solving least squares problems. New Jersey: Prentice-Hall, 1974. 340 p. LUENBERGER,D.G. Introduo to linear and nonlinear programming. California: Addison-Wesley, 1973. 356 p. LUGNANI, J.B. O problema dos sistemas de equaes lineares mal condicionados e suas implicaes em geodsia. Curitiba, 1975. Dissertao (Mestrado em Geodsia) - Curso de Ps-Graduao em Cincias Geodsicas, UFPR. MODRO, N. Mtodos para inverso de matrizes : aplicaes s cincias geodsicas. Curitiba, 1981. Dissertao (Mestrado em Geodsia) - Curso de Ps-Graduao em Cincias Geodsicas, UFPR. PRESS, W. H et al. Numerical recipes the art of scientific computing. Cambrige: Cambrige University Press, 1986. 818 p. STRANG, G. Linear algebra and its application. 2. ed.. New York: Academic Press, 1976. 414 p.

03

04 05

06 07 08 09

10

11 12

(Recebido em 10/07/96. Aceito para publicao em 19/08/96.)

B. Ci. Geodsicas, Curitiba, v. 2, p.3-11, 1997.