Valria Cristina F.

Barbosa Observatrio Nacional

U

INVERSO LINEAR: ESTIMADORES VIA NORMA L1

Neste tpico iremos ver a definio da norma L1 e seu significado fsico. Em seguida iremos falar sobre dois estimadores. O primeiro o estimador de mnimo dos resduos via norma L1 e segundo o estimador da variao total (total variation TV).

Definio da norma L n
B

Por definio, a norma l n de um vetor genrico M-dimensional v dada por:

M = v i i =1

1/ n

(1)

Portanto a norma l1 de um vetor genrico M-dimensional v dada por:

i =1

vi

(2)

Estimador via a minimizao do vetor dos resduos segundo a norma 1

Seja um vetor N-dimensional

que representa a diferena entre os

dados geofsicos observados y o e estimados (ou preditos) y C tal que

= yo yc
No tpico 6 deste curso, deduzimos o estimador de mnimos quadrados (MQ) que consiste em minimizar a soma dos quadrados dos resduos, i.e.,

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional

2 min {Q} min {|| ||2 } min pF pF pF

y Ap
2

min
pF

(y A p) (y A p)
o T o

No problema acima minimizamos o vetor dos resduos

usando

quadrado da norma L2. Isto equivale a minimizarmos a norma L2. Vimos no tpico 6 que a minimizao desta funo Q resulta no estimador dos mnimos quadrados (MQ sobredeterminado). Aqui chamaremos este estimador de

p L2 =

(A
N i =1

-1

(estimador MQ via norma L2) (3)

Neste tpico definimos a funo Q1 como a norma l1 dos resduos:

Q1 = 1 = i .

(4)

Ento iremos minimizar a funo Q1 , ou seja, minimizaremos o vetor dos resduos

(N x1) usando a norma l1 :

p 1

min { Q 1 } = min

= min
p

i =1

i.

(5)

Como = y o A p em um problema linear, ento a minimizao do vetor dos resduos

(N x1) usando a norma l1 , pode ser escrita como

p 1

min { Q 1 } = min
p

= min
p

i =1

= min y o i y c i
p

(6)

em que y c i a i-simo elemento do vetor de dados ajustados (ou calculados ou preditos), i.e, y C = A p . A condio de mnimo que a derivada da funo Q1 (equao 4) em relao ao vetor de parmetros p seja zero. diferencivel se um dos elementos de Note que esta funo no zero. Vamos ignorar este

1 ,..., N

fato e computar a derivada em relao ao k-simo parmetro em que os elementos de

pk

, nos pontos

no so zero:
2

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional

Q1 N i N = = ai sgn( i) pk i =1 pk i =1 k

(7)

em que ai k o ik-simo elemento da matriz de sensibilidade A e sgn( i) o sinal do i-simo resduo. Note que a derivada da funo Q1 (equao 4) em relao ao vetor de parmetros
p

depende

do

resduo

como

= y o y c = y o A p ento estamos diante de um problema rigorosamente nolinear. Isto porque a derivada da funo depende dos parmetros desconhecidos
p que queremos estimar.

Apesar do problema de minimizao dos resduos segundo a norma 1 ser um rigorosamente no-linear, uma das alternativas resolver atravs de um mtodo iterativo dos mnimos quadrados reponderados ( IRLS iteratively reweighted least sqaures) . Para tanto vamos reescrever o sinal do i-simo resduo como

sgn( i) =

i , i

Ento podemos reescrever a equao 7 como

N Q1 N i N 1 = = ai k sgn( i) = ai k i pk i =1 pk i =1 i i =1

(8)

Em notao matricial o gradiente da funo Q1 (equao 4) em relao ao vetor de parmetros p :

p {Q1} = A T W = A T W y o A p ,

(9)

em que W (N x N) uma matriz diagonal de pesos cujo i-simo elemento da diagonal o inverso do valor absoluto do resduo estimado na iterao anterior.
1 / | 1 | 1/ | 2 | W= O 1/ | N | N N

(9a)

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional A condio de mnimo que a derivada da funo Q1 (equao 4) em relao ao vetor de parmetros p seja zero. Ento fazendo

p {Q1} = A T W y o A p = 0
temos

A T Wy o AT WA pL1 = 0 .
Logo chegamos ao sistema de equaes:

A T WA pL1 = A T Wy o
resduos atravs da norma 1.

(10)

em que p L1 o estimador dos parmetros via a minimizao do vetor dos

Como a matriz de peso W no sistema de equao 10 depende dos resduos (i.e., depende dos parmetros), ento estamos diante de um sistema de equaes no lineares. Uma das alternativas usar o mtodo iterativo dos mnimos quadrados reponderados (IRLS). Ento, na k-sima iterao estimamos

( um vetor de parmetros pLk ) . O algoritmo comea com a soluo de mnimos 1 quadrados sobre determinado (estimador chamado neste tpico de p L 2 , veja a
equao 3). Ento, na iterao k = 1 estimamos:

( p L11) = p L 2

( em seguida, computamos o vetor de resduos (1) = y o A pL1) 1

e a matriz de

pesos W (1) (equao 9a) na iterao k=1. Ento, ainda na iterao k=1, resolvemos o sistema de equaes (equao 10):

(1 A T W ( k ) A pLk +1) = A T W ( k ) y o

( (1 para estimarmos pL2 ) e o vetor de resduos ( 2) = y o A pL2) 1

e a matriz de

pesos W ( 2) (equao 9a) na iterao k=1+1. O processo repetido at que a desigualdade

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional

( ( pLk +1) pLk ) 1 1 ( 1 + pLk +1) 1

2

em que um nmero pequeno chamado de tolerncia. Este procedimento falha quando se algum resduo for igual a zero por causa da matriz de pesos (equao 9a). A soluo definir um valor pequeno r de modo que se em alguma iterao k o i-simo resduo i( k ) for menor que r ento faz-se i( k ) = r , e consequentemente teremos que o i-simo elemento da
( diagonal da matriz de pesos W (k ) igual a wiik ) = 1 / r .

Qual o significado fsico da minimizao da Norma 1 do vetor de resduos Ao minimizarmos o vetor dos resduos segundo a norma 1 em relao ao vetor de parmetros p estamos minimizando a funo Q1 (equao 4). Ento minimizamos o sinal dos resduos. Minimizar o sinal dos resduos significa que podemos ter valores elevados dos resduos, porm o somatrio dos sinais destes resduos deve ser mnimo. Isto faz com que a minimizao da norma L1 dos resduos despreze dados observados que sejam esprios (outiliers). Dizemos que a minimizao da norma L1 dos resduos mais robusta no sentido de permitir grandes resduos (diferena entre os dados observados e os dados ajustados ou preditos). A Figura 1 mostra em pontos pretos um conjunto de observaes geofsicas. Note que h um nico dado esprio (outilier). As retas tracejadas coloridas representam retas de ajustes (dados ajustados ou preditos) minimizando-se as normas 2 resduos (reta L2) e 1 (reta L1) do vetor de

O resduo na i-sima coordenada a diferena entre o dado

observado (pontos pretos) e o ajustado (retas ajustadas via normas L1 e L2). Note que a reta ajustada via norma L2 atrada pelo ponto esprio (outlier). Ao contrrio, a minimizao da norma L1 dos resduos permite grandes resduos
Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON 5

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional pois minimiza-se o sinal dos resduos. Logo a reta ajustada via norma L1 NO atrada pelo ponto esprio (outlier).

Figura 1

Estimador da Variao Total (TV) A funo TV TV (p) (Rudin et al., 1992) definida como

TV

(p ) = B p
1

(11)

em que B uma matriz representando o operador discreto de primeiras derivadas em relao as direes horizontais de distribuio dos parmetros e denota norma l1 . Note que o produto B p representa a diferena entre

parmetros fisicamente adjacentes. Portanto, a menos de uma constante, o

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional produto

B p

quantifica uma aproximao da primeira derivada 1 da funo

TPF FPT

contnua dos parmetros. Veja o tpico 10 para relembrar os detalhes.

equao 11 representa o regularizador de Tikhonov de ordem 1 mas usando-se a norma L1. A funo TV no penalize as discontinuidades da distribuio espacial do vetor de parmetros p de um modelo interpretativo (Vogel and Oman, 1996; 1998). Ento, minimizando-se a funo TV introduziremos a informao a prior que a distribuio espacial do vetor de parmetros no ser suave, mas descontnua. Usando a definio da norma l1 , a funo TV function dada na equao 11 pode ser reescrita como

TV

(p ) =

L l =1

pi p

(12)

em que l entende-se pelo l -simo par, pi e p j de parmetros espacialmente adjacentes em relao as direes de distribuio destes parmetros e L o nmero total de pares de parmetros espacialmente adjacentes. Como a funo TV TV (p) no diferencivel quando pi = p j , em geral usa-se a aproximao

1
TP PT

Derivada de uma funo f (x) em relao a x, considerando x1 como um nmero

particular no domnio de f (x) dada como:

f (x) = lim f (x1 + x) f (x1) x0 x
Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON 7

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional

(p) (p) = [( pi p j ) + ]
TV TV L 2 l =1

1/ 2

(13)

Proposta por Acar and Vogel (1994), em que Assim a funo

um valor pequeno positivo.

associadas com a no

TV (p)

evita

dificuldades

diferenciabilidade da funo TV (p) atravs

da aproximao dos valores remove a

absolutos da funo original TV (p) por uma funo suave que discontinuidade da derivada. A funo (p)
TV

(equao 13) em geral

usada no problema vinculado no linear de minimizar

(p ) =

2 2

+ ( )

TV

(p )

Para detalhes veja a tese de doutorado do aluno do Observatrio Nacional: Cristiano Mendel Martins (Martins, C.M. 2009)

Referencias
Acar, R., and C. R. Vogel, 1994, Analysis of total variation penalty methods: Inverse Problems, 10, 12171229. Martins, C.M. 2009, Inverso gravimtrica do relevo 3d de bacias sedimentares e da variao da densidade usando informao a priori sobre o ambiente geolgico: Tese de doutorado do Observatrio Nacional. Rudin, L., S. Osher, and E. Fatemi, 1992, Nonlinear total variation based noise removal algorithms: Physica D, 60, 25968. Vogel, C. R., and M. E. Oman, 1996, Iterative methods for total variation denoising: SIAM Journal of Scientific Computing, 17, 227238.

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1

Valria Cristina F. Barbosa Observatrio Nacional

______, 1998, Fast, robust total variation-based reconstruction of noisy blurred images: IEEE Transactions on Image Processing, 7, 813-824.

Curso de Inverso de Dados Geofsicos Programa de Ps-graduao em Geofsica do ON

Tpico 29: Estimadores via Norma L1