PROBLEMAS INVERSOS MTODOS DE REGULARIZAO

Altemir Jos Borges

Problemas diretos e problemas inversos

x
b

Ax = b

A um operador que representa um modelo matemtico x a funo de entrada b um vetor de dados ? ? Problema direto Problema inverso

Problemas mal postos

A maioria dos problemas testes resolvidos neste trabalho, foram provenientes da discretizao da equao integral de Fredholm ou da de Volterra. Estas equaes so exemplos tpicos de problemas mal postos, pois no satisfazem pelo menos uma das condies de Hadamard (existncia, unicidade e estabilidade).

Ax = b
Existncia: Unicidade: Para cada b existe x tal que Ax=b. Para cada b, a equao Ax=b tem soluo nica.

Estabilidade: A soluo depende suavemente (continuamente) dos dados, isto , o operador A possui uma inversa contnua.

Problemas mal postos e problemas mal condicionados

k ( s, t ) f (t )dt = g (s)
A :U V

Ax = b ,
A : m n Problema mal condicionado (Muito sensvel a pequenos erros de entrada.)

Problema mal posto

Regularizao

Resoluo de problema mal posto

substituio por problema associado bem posto. Mtodo de regularizao mais usual: Mtodo de Tikhonov. Ideia: x = arg min ( Ax b
x n 2 ) 2

x = arg min ( Ax b 2 + 2 x 2 )
x n

onde >0 o parmetro de regularizao.

Regularizao: Anlise via SVD

Por que se deve escolher um parmetro de regularizao adequado?

x = arg min ( Ax b 2 )
x n

x = arg min ( Ax b + x
x n

2 2

2 ) 2

xLS =
i =1

uiT b

vi

b = bexato + e
r

i uiT b x = 2 v 2 i i =1 i +
r r

xLS =
i =1

uiT bexato

vi +
i =1

uiT e

vi

Regularizao

Exemplificando para o problema Shaw, n=512, rudo relativo igual a 0,1%.

 = 0.0023223 2.5 Sol. Exata Sol. Aprox. 2

1.5

0.5 ER=0.0489983 0 0 100 200 300 400 500 600

= 7.7411e005 3 Sol. Exata Sol. Aprox. 2 2 2.5

= 0.06967 Sol. Exata Sol. Aprox.

1 1.5 0 1 1 0.5 ER=0.136604 3 0 100 200 300 400 500 600 0 0 100 200 300 400 500 600

=0.480188

Regularizao

questo

fundamental

escolher

um

parmetro de regularizao tal que a soluo regularizada tenha uma norma do resduo pequena e que no seja demasiadamente distante da soluo desejada.

Fundamentos tericos

1. SVD: Faz a decomposio de uma matriz Amn (mn) em A = UV T = i ui viT ,

mxn onde U = [u1, u2 , L , un ] , V = [v1 , v2 ,L , vn ] nxn i =1 n

so matrizes com colunas ortonormais. 2. Fatorao QR: Faz a decomposio de uma matriz Amn em

A = QR ,
mxm onde as colunas de Q formam uma base para o espao coluna de A , e R mxn uma matriz triangular superior.

Fundamentos tericos

3. Condio de Picard: Para que a equao integral

b

k(s,t)f(t)dt = g(s) , c s d
a

tenha uma soluo quadrado

2

< ui , g > < integrvel, deve-se ter: , sendo i i =1 kvi ui = e vi funes singulares associadas aos valores
.

singulares i.

Fundamentos tericos

2 n 1 4. Subespaos de Krylov: K n ( A, b ) = span{b, Ab, A b,L , A b}

sendo A mxm e b m. 5. Bidiagonalizao de Lanczos:

A mxn , m n , como Usada para escrever uma matriz A = UBV T , com U mx ( n+1) e V nxn matrizes ortogonais

e B ( n+1) xn bidiagonal inferior.

Mtodos de regularizao

Diretos: obtido diretamente a Mtodos de regularizao

partir da funo que caracteriza cada mtodo.

Indiretos: obtido baseado em

esquemas que geram vetores iterativos xk .

Mtodos de regularizao diretos

Mtodos de regularizao diretos

Mtodos de regularizao diretos

GCV Generalized Cross Validation (Golub, Heat e Wahba, 1979) Ideia: Um bom parmetro de regularizao deve prever a falta ou a retirada de dados de entrada, isto , prever modificaes no vetor de dados b. Escolha: O parmetro de regularizao aquele que minimiza a funo GCV:
G ( ) = Ax b
2 , 2 # 2

tr ( I m A. A )

A# = ( AT A + 2 I ) 1 AT

inversa regularizada

Mtodos de regularizao diretos - GCV

Dificuldade: O minimizador da funo GCV pode estar localizado numa regio quase horizontal.
10
8

FunoGCV function, minimum at = 0.0021187 GCV, mnimo em =0.0021187

10

G()
10
10

10

11

10

10

10

10

10

Funo GCV, problema teste Deriv2, n=512 e rudo relativo de 5% no vetor de dados.

Mtodos de regularizao diretos

Curva-L Definio : o conjunto de pontos L = (log Ax b , log x ) .

10
12

CurvaL com parmetro de regularizao 0.09155

10

10

solution norm || x ||2

10

10

x = arg min ( Ax b + x
x n

10

2 2

2 ) 2

10

10

10

10 residual norm || A x b ||

10
2

Ideia : Escolher uma soluo regularizada associada a um parmetro na vizinhana do "canto" da curva-L.

Mtodos de regularizao diretos Curva-L

Objetivo:

Escolher um parmetro de regularizao que maximiza a curvatura da curva-L.

Dificuldade: A curva-L pode apresentar vrios cantos.

Mtodos de regularizao diretos

Ponto fixo Objetivo: Escolher um parmetro de regularizao ( ) = r ( )v ( ) que minimiza a funo onde r ( ) = Ax b
2

v ( ) = x

utilizando o processo iterativo, dado por:

0: chute inicial.

Para k1 faa:

k +1 = (k ) ,

( ) =

Ax b x

A sequncia ser calculada at um critrio de parada ser atingido.

Mtodos de regularizao diretos Ponto fixo

simples, rpido e eficiente. Vantagem: necessrio calcular somente a norma da soluo e a norma do resduo, enquanto que, por exemplo, o mtodo da curva-L necessita da SVD ou da derivada da norma da soluo.

Mtodos de regularizao diretos

Quase-otimalidade Objetivo: Escolher o parmetro de regularizao baseado na estimativa do erro

xexato x
2

= ( AA + I )

AA

T 1/ 2

que corresponde a minimizar a funo

dx d (2 )
2

Q ( ) = 2

p uiT b = f i (1 f1 ) i i =1

2 1 / 2

Mtodos de regularizao diretos Quase otimalidade

Dificuldade: A minimizao da funo Q() na prtica complicada pelo fato da funo admitir vrios mnimos locais.
10
20

Quasioptimality function, minimum at 0.1055

10

15

10

10

Q()
10
5

10

10 20 10

10

15

10

10

10

10

10

Funo Q(), problema teste Shaw, n=512 e rudo relativo de 5% no vetor de dados.

Mtodos de regularizao diretos

Mtodo da discrepncia (Morozov 1963) Ideia: A norma do resduo no deve exceder uma cota superior para o erro nos dados e 2 .
Ax b
2

=, e 2
3 2.5

Dificuldade: A norma do erro no sempre conhecida.

1.5

||e||
1

0.5

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Grfico da norma do resduo

Mtodos de regularizao iterativos

Mtodos de regularizao iterativos

Mtodos de regularizao iterativos

Ideia: Os mtodos iterativos, tais como gradientes em problemas Ax = b

conjugados, GMRES, LSQR, ou

x n

min ( Ax b

2 ) 2 geram uma sequncia de solues

x1 , x2, L que convergem para uma x = A1b ou soluo (RUIM) dos problemas, que so
aproximadas
xLS =
i =1 r
.

uiT b

vi .

Estratgia:

Parar a sequncia em certo k de modo que

.

xk aproxime a soluo desejada.

Mtodos de regularizao iterativos

Exemplificando para o problema Foxgood, n=256, rudo=0,1%

Iterao = 9 1 soluo exata soluo sem regularizao

0.8

0.6

0.4

0.2

0.2

ER=0.3333

0.4

50

100

150

200

250

300

Mtodos de regularizao iterativos

Se for colocado um critrio de parada

Iterao = 3 1.4 soluo exata 1.2 soluo tima

0.8

0.6

0.4 ER=0.0153

0.2

50

100

150

200

250

300

A iterao de parada fez o papel do parmetro de regularizao dos mtodos diretos.

Mtodos de regularizao iterativos

LSQR Least square QR LSQR semelhante ao mtodo dos gradientes conjugados para resolver Ax = b ou x = arg min Ax b
x n 2 2

A matriz A bidiagonalizada pelo processo de Lanczos,

.

A = UBV T, U e

V ortogonais. Com B bidiagonal, o

yk = arg min 1e1 Bk y
y
k

problema reescrito como resolvido pela fatorao QR.

2 2

Mtodos de regularizao iterativos

GMRES Generalized minimal residual

Ideia: A soluo

x de Ax = b aproximada por um vetor xn

ao espao de Krylov

pertencente

k n ( A, b) de modo que xn minimize a norma do resduo rn = b Axn

Mtodos de regularizao iterativos

Critrios de parada para mtodos iterativos

Morigi: O menor ndice k tal que xk '+1 xk ' = min xk +1 xk

k 0

Discrepncia:

A primeira iterao xk que satisfaa

Axk b e

ser escolhida como uma

^ x , onde

aproximao de

>1 .

Mtodos de regularizao iterativos Novo critrio

Ideia: Similarmente
2

ao mtodo do ponto fixo, que

( ) = r ( )v( ) , r ( ) = Ax b 2 , usa a funo

v ( ) = x , este novo critrio utiliza a sequncia

k , definida por
Observando que crescente,

k = rk xk , k = 1,2, L .
de um parmetro

rk decrescente e que xk

busca-se

regularizao que minimiza k . Assim escolhe-se a iterao de parada

como o primeiro ndice que minimiza k .

Mtodos de regularizao iterativos Novo critrio

Kktimo = 9 timo=9
Erro Relativo M-nimo em = 9 Mnimo dede kem kk=9 k k

10

10

10

10 10
1

10

10 k

15

20

10

10 k

15

20

Quando o mnimo de k bem definido, o critrio funciona bem e o minimizador de k o mesmo que minimiza o erro
xk ^ x
2

Quando houver um patamar, tome o primeiro k que satisfaz k +1 k < 1 onde uma tolerncia.

Resultados e concluses

Problema teste Shaw

n=256

rudo relativo=0.01

Erro relativo=0.0834

Erro relativo=0.1256

Erro relativo=0.1099

Erro relativo=0.1642

Resultados e concluses

Qual o esforo computacional? O problema Shaw, com n=1024 e rudo relativo de 0.1% no vetor de dados, foi resolvido usando um processador Semprom 2600, 1.83GHz e 1.21GB de memria RAM, com os seguintes resultados: Mtodo utilizado Ponto fixo LSQR com o novo critrio

Erro relativo Tempo gasto 0.0364 0.0476 2 minutos e 27 segundos 19 segundos

Principais referncias bibliogrficas BAZN, F. S. V. Fixed-point interations in determining the Tikhonov regularization parameter . Inverse Problems, vol. 24, 2008. BAZN, F. S. V.; FRANCISCO, Juliano B. An improved fixed-point algorithm for determining the Tikhonov regularization parameter . Inverse Problems, 2009. HANSEN, P. C. Regularization tools version 4.0 for Matlab 7.3. Numerical Algorithms, 2007, pp. 189-194.

MORIGI, S.; REICHEL, L.; SGALLARI, F.; ZAMA, F. Iterative methods for ill-posed problems and semiconvergent sequences. J. Comput. Appl. Math., vol. 193, pp. 157-167, 2006.

REGINSKA, Teresa. A regularization parameter in discrete illposed problems. SIAM, vol 17, pp. 740-749, 1996.