RESTAURAÇÃO DE IMAGENS UTILIZANDO REGULARIZAÇÃO EM NORMA L1 E REDES

NEURAIS-SISTEMAS GRADIENTES COM FUNÇÕES DE ATIVAÇÃO DESCONTÍNUAS

L EONARDO V. F ERREIRA∗, E UGENIUS K ASZKUREWICZ∗, A MIT B HAYA∗

∗
Programa de Engenharia Elétrica, NACAD-COPPE / Universidade Federal do Rio de Janeiro
Caixa Postal 68516, 21.941-972
Rio de Janeiro, RJ, Brasil

Emails: leonardo@nacad.ufrj.br, eugenius@nacad.ufrj.br, amit@nacad.ufrj.br

Abstract— The problem of restoring images degraded by linear position invariant distortions and noise is solved by means of a
L1 -norm regularization, which is equivalent to determining a L1 -norm solution of an overdetermined system of linear equations,
which results from a data-fitting term plus a regularization term that are both in L1 norm. This system is solved by means of a
gradient-based neural network with a discontinuous activation function, which is ensured to converge to a 1 -norm solution of the
corresponding system of linear equations.

Keywords— gradient systems, sliding modes, neural networks, image restoration, Persidskii systems.

Resumo— O problema de restaurar imagens degradadas por distorções lineares e invariantes no espaço e afetadas por ruído
é resolvido através de uma regularização em norma L1 , que equivale a determinar uma solução em norma L1 de um sistema
sobredeterminado de equações lineares, que resulta da norma L1 do erro somado a um termo de regularização, também em norma
L1 . Este sistema é resolvido através de um sistema gradiente com o segundo membro descontínuo, que pode ser interpretado
como um modelo de rede neural com funções de ativação descontínuas, que converge para uma solução em norma L1 do sistema
de equações lineares correspondente.

Palavras-chave— sistemas gradientes, modos deslizantes, redes neurais, restauração de imagens, sistemas Persidskii.

1 Introdução restaurar uma imagem degradada equivale a resolver

A restauração de imagens degradadas é um problema
inverso, que tem por objetivo recuperar uma ima-
gem original a partir de uma versão distorcida. As
formas mais comuns de degradação de imagens são
embaçamento, provocado pelo movimento do sensor
ou do alvo durante a aquisição, refração ou embaça-
mento devido a problemas de foco ou à resolução finita
do dispositivo óptico usado para capturar a imagem
(Gonzalez e Woods, 2002).
As degradações em imagens podem ser classifi-
cadas como i) variantes no espaço, quando as dis-
torções variam no plano da imagem e ocorrem usual-
mente devido a problemas no sistema de aquisição; ii)
invariantes no espaço, quando a degradação é a mesma
em toda a imagem e ocorrem devido a, por exemplo,
problemas de foco ou movimento do sensor ou do ob-
jeto no momento da aquisição (Perry et al., 2002).
Como, em muitos casos, as degradações nas ima-
gens podem ser aproximadas por modelos lineares
e invariantes no espaço, consideramos apenas esta
classe de degradações. As distorções lineares são des-
critas matematicamente por uma classe de funções
bidimensionais conhecida como função de espalha-
mento de ponto (PSF1 ). Esta denominação é devida ao
fato que todo sistema ótico provoca algum grau de es-
palhamento (embaçamento) em cada ponto de luz que
o atravessa. O grau de espalhamento provocado deter-
mina a qualidade do sistema ótico utilizado (Gonzalez
e Woods, 2002).
Neste caso, a descrição matemática do problema
de restauração é significativamente simplificada e
1 da denominação em inglês point spread function
um sistema de equações lineares da forma:
Af = b, (1)
sendo que A ∈ Rm×n , f ∈ Rn , e b ∈ Rm . No pro-
blema de restauração de imagens, o vetor f é a imagem
restaurada, o vetor b é dado pela convolução da ima-
gem degradada com um operador de suavização, que
em geral corresponde a um filtro passa-alta, a matriz A
é composta pela matriz de degradação da imagem, que
em geral corresponde a um filtro passa-baixa, e pelo
mesmo operador de suavização usado na convolução
com a imagem degradada. As definições dos vetores f
e b e da matriz A são dadas em mais detalhes na seção
3.
Uma abordagem para resolver o sistema acima, é
minimizar a norma Lp do resíduo, isto é, resolver o
seguinte problema de otimização:
minimizar E(f ) = kAf − bkpp .
No contexto de restauração de imagens, a função
objetivo E acima é uma medida de degradação.
Devido às conhecidas vantagens das soluções em
norma L1 (Bloomfield e Steiger, 1983), formulamos
o modelo de degradação utilizando uma regulariza-
ção em norma L1 , que resulta no seguinte problema
de otimização:
minimizar E(f ) = kAf − bk1 . (2)
O vetor f ∗ que minimiza a norma L1 do resíduo
Af − b, ou seja, que resolve o problema de otimiza-
ção (2), é dito uma solução em norma L1 da equação
(1). Caso o sistema seja sobredeterminado, como o
sistema associado ao problema de restauração de ima-
gens, então existe uma solução f ∗ , em norma L1 , tal a11
b1

1
0
que no mínimo n componentes do vetor de resíduos a12
+
_
r1 a11
1
0 sgn(r1) 1
0
r∗ = Af ∗ − b são nulos (Bloomfield e Steiger, 1983), .. +
. + + R
a1n a21
1
0 .. +
µ1 1
0
ou seja, esta solução ajusta exatamente n pontos no b2
.
am1 +
x1

a21
vetor b. 1
0
+ −
a22 r2 a12
A solução do problema (2) pode ser determinada 1
0 ..
.
+
+
sgn(r2) 10
0 1
+ R
a2n a22
através de um sistema gradiente, dado pela seguinte 1
0
..
..
. ..
.
1
0 ..
.
+
+
µ2 1
0
x2
. bm am2
1
0
equação diferencial am1
..
. ..
− .
+ rm a1n
am2
T .. + sgn(rm) 1
0
ḟ = −M∇E(f ) = −MA sgn(Af − b), (3) .
amn +
a2n
+
µm
R
1
0
.. + xn
. +
amn
em que M = diag(µ1 , . . . , µn ) é uma diagonal po-
sitiva e cada componente do vetor sgn é dado em (4).
Note que o segundo membro de (3) é o gradiente gene- Fig. 1: Diagrama funcional da rede neural descrita pelo sis-
ralizado da função não-diferenciável E, dada em (2). tema gradiente (3)

= −1, se a < 0
 correspondente. Redes de Hopfield modificadas que
sgn(a) ∈ [−1, 1], se a = 0 (4) operam em paralelo são analisadas em (Figueiredo e
 Leitao, 1994). Algoritmos para restauração de ima-
= 1, se a > 0

gens em tempo real são apresentados em (Perry e
O sistema gradiente (3) pode ser interpretado Guan, 1996).
como uma rede neural com funções de ativação des-
contínuas (Forti et al., 2006), cujo diagrama funcional 2 Modelo matemático de formação da imagem
é mostrado na Fig. 1. As principais vantagens deste degradada
modelo é a convergência em tempo finito para uma
solução do sistema de equações lineares (1) se a ma- Uma imagem é formada pela propagação de energia
triz A tiver posto completo por linhas, bem como a luminosa a partir de um objeto, que passa por um sis-
possibilidade de paralelização e implementação em tema de formação ou aquisição de imagens, como as
computadores paralelos (Ferreira et al., 2005; Bhaya lentes de uma câmera ou o próprio olho humano, cons-
e Kaszkurewicz, 2006). truindo assim uma imagem do objeto original.
As propriedades de convergência do sistema gra- Uma imagem digital é armazenada sob a forma de
diente (3) são analisadas em (Ferreira et al., 2005), uma matriz, cujos elementos correspondem às intensi-
onde a convergência em tempo finito para uma dades dos tons de cinza nas posições correspondentes.
solução em norma L1 da equação (1), quando m ≤ As intensidades de tons de cinza são quantidades in-
n, é provada. Quando o sistema é sobredetermi- teiras, que variam de zero (mais escuro) a 255 (tom
nado, através de argumentos similares aos usados mais claro).
em (Ferreira et al., 2005), pode-se também provar a Sejam g(x, y) e fˆ(x, y) matrizes M × N em
convergência das trajetórias do sistema (3) para uma que estão armazenadas a imagem degradada e a ima-
solução em norma L1 do sistema (1). gem original, respectivamente. Usando a organização
lexicográfica das imagens, que consiste em empilhar
Observação 1 Como o segundo membro do sistema as linhas das matrizes g(x, y) e fˆ(x, y) em vetores-
gradiente (3) é descontínuo no conjunto {f : Af = coluna g e f̂ , respectivamente, a formação da imagem
b}, as soluções existem no sentido de Filippov degradada pode ser descrita matematicamente como
(Filippov, 1988). segue:
g = Hf̂ + n, (5)
A restauração de imagens utilizando redes neu-
rais tem sido alvo de muitas pesquisas. A idéia é tirar sendo que g ∈ RM N , f̂ ∈ RM N , n ∈ RM N é
vantagem da possibilidade de paralelização das redes o vetor de ruído e H ∈ RM N ×M N é a matriz de
neurais, bem como da possibilidade de implementação degradação, que em geral corresponde a um filtro
física, utilizando hardware de baixo custo, para pro- passa-baixa (Perry et al., 2002). A matriz H é formada
cessamento em tempo real. por um arranjo dos elementos da PSF, de tal maneira
A maioria das abordagens utilizam modificações que o produto Hf̂ executa a convolução discreta entre
da rede de Hopfield (Paik e Katsaggelos, 1992; Zhou a PSF e a imagem original fˆ(x, y).
et al., 1988; Sun, 2000a; Sun, 2000b), que determinam O efeito da aplicação uma determinada PSF em
uma solução de mínimos quadrados para o sistema de uma imagem varia com o tipo e com a dimensão da
equações lineares que descreve o problema de restau- PSF. Quanto ao tipo, a PSF é selecionada de modo
ração. O método dos gradientes conjugados também é a produzir alguma forma de degradação como, por
usado em aplicações de restauração de imagens (Chan exemplo, embaçamento da imagem original. A PSF é
e Ng, 1996; Chan et al., 1993), também determinando aplicada em cada ponto da imagem, e atua nos pontos
uma solução de mínimos quadrados do sistema linear vizinhos ao ponto central de aplicação, provocando o
efeito de embaçamento. Quanto maior a dimensão da
PSF, mais visível é a distorção produzida, pois uma
PSF de dimensão maior atua em um número maior de
pontos em torno do ponto em que é aplicada.
Considerando uma PSF quadrada, com dimensão
P × P , em que P << min(M, N ), para distorções
lineares e invariantes no espaço, a matriz H assume a
forma de uma matriz Toeplitz por blocos (Perry et al.,
2002).
Como as imagens são formadas por energia lu-
minosa, sua representação matemática deve satisfazer
às seguintes restrições de não-negatividade (Andrews
e Hunt, 1977): f̂ ≥ 0, g ≥ 0 e hij ≥ 0, onde hi,j
são os componentes da matriz de degradação H. En-
tretanto, de acordo com Fu et al. (2006) a restrição de
sinal no vetor f̂ é freqüentemente omitida em métodos
de restauração.
3 Restauração através de regularização: a
medida de degradação
Uma das dificuldades em restaurar imagens
degradadas é o mal-condicionamento da matriz
H (Andrews e Hunt, 1977). Neste contexto, a regu-
larização de Tikhonov (Tikhonov e Arsenin, 1977)
é usualmente usada para reduzir os efeitos do mal-
condicionamento de H e restaurar uma imagem
degradada equivale a resolver o seguinte problema de
minimização:
1 minimizar E(f ) = kg − Hf k1 + λkDf k1 ,
minimizar F (f ) = (kg − Hf k22 + λkDf k22 ), (6)
2
sendo que f é uma estimativa da imagem original f̂ ,
λ > 0 é um parâmetro de regularização constante e
D é um operador de suavização, que em geral corres-
ponde a um filtro passa-alta. Observe que, de acordo
com a equação (5), o termo kg − Hf k22 é o quadrado
da norma Euclideana do vetor de ruído n.
O problema (6) pode ser reescrito na seguinte
forma (Paik e Katsaggelos, 1992):
1 T
minimizar F (f ) = (f Bf − cT f ), (7)
2
T T T
em que B := H H + λD D e c := H g. Como
∇F (f ) = Bf −c, o mínimo de F , dada em (7), ocorre
quando f é solução do seguinte sistema de equações
lineares
Bf = c, (8)
onde a matriz de coeficientes B e o vetor c são da-
dos acima. O vetor f , que é uma solução de mínimos
quadrados do problema (7), é a imagem restaurada,
que é uma estimativa da imagem original, no sentido
de mínimos quadrados.
Note que a função objetivo F do problema de
otimização (6) também pode ser escrita na forma:
1‚
‚„ « „ « ‚2
‚ g − H 2
‚
F (f ) = ‚ = kb − Af k2 ,
f‚ (9)
2 ‚ 0 −λD 2
onde A ∈ R2M N ×M N e b ∈ R2M N ×1 .
A escolha do parâmetro de regularização λ é im-
portante. Se λ é pequeno, o ruído na imagem restau-
rada é suavizado, porém, a imagem perde nitidez. Por
outro lado, se λ é grande, a imagem restaurada é mais
nítida, porém o ruído não é suprimido adequadamente.
Diversas técnicas estão disponíveis na literatura para
ajustar o parâmetro λ; ver por exemplo (Galatsanos e
Katsaggelos, 1992; Kang e Katsaggelos, 1995).
Ao invés de usar a regularização de Tikhonov, que
usa norma L2 , optamos por uma abordagem alterna-
tiva de regularização utilizando norma L1 . Sabe-se
que as soluções em norma L1 são mais indicadas que
as soluções de mínimos quadrados (norma L2 ) de um
sistema de equações lineares em aplicações de proces-
samento de sinais (Cichocki e Unbehauen, 1993). As
vantages são maiores quando os dados do problema
estão contaminados por um pequeno número de out-
liers (Rosen et al., 2000), pois as soluções de norma
L1 são menos sensíveis a outliers que as soluções de
mínimos quadrados (Cichocki e Unbehauen, 1993).
Além disso, a solução de norma L1 também é mais in-
dicada quando a distribuição do ruído não é Gaussiana
(Fu et al., 2006) e quando é desconhecida (Cichocki e
Unbehauen, 1992).
Neste contexto, a medida de degradação consiste
da norma L1 do erro somada a um termo de regu-
larização, também em norma L1 . Portanto, o pro-
blema de restauração de imagens é formulado através
do seguinte problema de minimização:
(10)
onde λ > 0 é um parâmetro de regularização. Há um
interesse crescente no uso da norma L1 para resolver o
problema de restauração de imagens (Nikolova, 2004;
Kärkkäinen et al., 2005; Fu et al., 2006) e a regula-
rização em norma L1 aplicada à restauração de ima-
gens utilizada neste artigo também é discutida em (Fu
et al., 2006).
A função objetivo E(f ) do problema (10) pode
ser escrita como segue:
‚„ « „ « ‚
‚ g H
‚
E(f ) = ‚
‚ − f ‚ = kb − Af k1 . (11)
0 −λD ‚1
Isto significa que minimizar a função E(f ) em
(10) equivale a determinar uma solução de norma L1
de um sistema sobredeterminado de equações lineares.
Devido à robustez da solução em norma L1 ao
ruído, as vantagens da regularização dada em (10)
no problema de restauração de imagens são maiores
quando as imagens são corrompidas por ruído.
A função-custo não-diferenciável E pode ser
minimizada pelo sistema gradiente (3). Como o sis-
tema de equações lineares Af = b associado a (11) é
sobredeterminado, a convergência em tempo finito das
trajetórias do sistema gradiente (3) para uma solução
de (11) não pode ser garantida. Porém, a convergên-
cia assintótica sempre pode ser assegurada no caso de
sistemas sobredeterminados.
 O problema de determinar uma solução em norma
L1 para um sistema sobredeterminado de equações li-
neares é analisado por Rosen et al. (2000). Sob a
hipótese de que existe uma solução correta fc , no sen-
tido que Ac fc = bc , em que Ac e bc são a matriz de
coeficientes e os dados do problema sem erros, respec-
tivamente, é mostrado que a única solução ótima f ∗ de
(10) satisfaz f ∗ = fc , desde que o número de linhas
que contém erros da matriz aumentada [A b] satisfaça
um limite superior, dado em função da matriz A e suas
dimensões. Ainda que este limite não seja satisfeito,
sabe-se que uma solução em norma L1 de um sis-
tema sobredeterminado sempre existe (Cichocki e Un-
behauen, 1993), ou seja, existe um vetor f ∗ que mini-
miza a norma L1 do vetor de resíduos r := b − Af .
4 Implementação numérica
4.1 O problema do chattering
Como o segundo membro do sistema gradiente (3) é
descontínuo, o uso de um esquema de discretização
para integrar a equação diferencial (3) resulta em osci-
lações de alta freqüência, também conhecidas como
chattering, em uma vizinhança da superfície de des-
continuidade, que precisam ser eliminadas ou atenua-
das. Para atingir este objetivo, utilizamos a técnica
da camada limite (Utkin et al., 1999), que consiste
em aproximar a descontinuidade por uma função con-
tínua, dentro de uma pequena vizinhança da superfície
de descontinuidade.
A técnica da camada limite é aplicada
substituindo-se a não-linearidade sgn(·), em (3),
pela seguinte função:
(
a/ε, se a ∈ [−ε, ε]
ssgn(a) = (12)
sgn(a), caso contrário
O parâmetro ε > 0 é a largura da camada limite.
As propriedades de convergência do sistema gradiente
(3) com a camada limite são preservadas, pois a con-
vergência para a camada limite é garantida pelo resul-
tado provado em (Ferreira et al., 2005). Quando as tra-
jetórias do sistema estão confinadas na camada limite,
pode-se mostrar que elas convergem assintoticamente
para o conjunto ∆ = {f : Af = b}.
4.2 Computação da solução numérica do sistema
gradiente (3)
Quando a técnica da camada limite é aplicada ao sis-
tema gradiente (3), isto é, sgn é substituído pela função
ssgn, definida em (12), o segundo membro de (3) é
aproximado por
T
M∇E(f ) ≈ ∇E(fk ) = MA ssgn(Af − b)
A solução numérica do sistema gradiente aproxi-
mado é determinada através da seguinte discretização:
fk+1 = fk − αk ∇E(fk ), (13)
em que αk > 0 é o tamanho do passo.
O passo αk é calculado iterativamente, usando a
seguinte fórmula de Barzilai-Borwein (Barzilai e Bor-
wein, 1988):
(fk − fk−1 )T (∇E(fk ) − ∇E(fk−1 ))
αk = (14)
k∇E(fk ) − ∇E(fk−1 )k22
4.3 Medida de qualidade das imagens restauradas
A qualidade das imagens restauradas é medida quan-
titativamente, em decibéis, através da relação sinal-
ruído (RSR) e da variação na relação sinal-ruído
(∆RSR). Estes índices são largamente utilizados na
literatura (Paik e Katsaggelos, 1992; Sun, 2000a; Sun,
2000b). A RSR é dada por
RSR = 10 × log10 (kf̂ k22 /kf̂ − f k22 ).
A ∆RSR mede a diferença entre os valores da
RSR calculados antes e depois da restauração, e é dada
por
∆RSR = 10 × log10 (kf̂ − gk22 /kf̂ − f k22 ).
Quanto maiores os valores da RSR e ∆RSR, me-
lhor a qualidade da imagem restaurada. Um valor
negativo da ∆RSR indica que a qualidade da ima-
gem restaurada, obtida pelo método de restauração, é
inferior à da imagem degradada g. Por outro lado,
um valor positivo deste índice indica que a quali-
dade da imagem restaurada é melhor que a da imagem
degradada g.
5 Exemplo
A imagem na Fig. 2(a) foi distorcida por embaça-
mento Gaussiano com desvio padrão igual a 5.0, uti-
lizando uma PSF quadrada de dimensão 7 × 7, e por
ruído aditivo Gaussiano de média zero e variância
10−3 . A imagem degradada é mostrada na Fig. 2(b).
(a) Imagem original (b) Imagem distorcida por
embaçamento e ruído aditivo
Gaussianos
Fig. 2: Imagens original e degradada de 240 × 240 pixels
A imagem na Fig. 2(b) foi restaurada usando
o sistema gradiente (3), cuja solução é computada
como descrito na seção 4. O parâmetro de regulari-
zação usado é λ = 0.15 e a largura da camada limite,
definida em (12), é ε = 0.01.
 A imagem obtida usando o sistema gradiente (3)
é mostrada na Fig. 3(a). O valor positivo da variação
na relação sinal-ruído, ∆RSR = 2.01db, indica que a
qualidade da imagem restaurada é superior à da ima-
gem degradada.
Como comparação, também restauramos a ima-
gem degradada na Fig. 2(b) utilizando um método
dos gradientes conjugados pré-condicionado (PCG2 ),
com o mesmo parâmetro de regularização λ = 0.15.
Utilizamos o pré-condicionador circulante por blocos,
proposto por Chan et al. (1993). O PCG resolve o pro-
blema de mínimos-quadrados (6) resolvendo o sistema
de equações lineares (8), o que nos permite comparar
a solução em norma L1 , obtida pelo método proposto,
com a solução do problema (6), em norma L2 .
Diversos valores do parâmetro de regularização λ
foram usados nos experimentos e os melhores valores
foram obtidos com with λ = 0.15 tanto pelo sistema
gradiente (3) como pelo PCG. A imagem restaurada
pelo PCG é mostrada em Fig. 3(b). O valor da varia-
ção na relação sinal-ruído é menor que o obtido pelo
sistema gradiente (3), indicando que a qualidade da
imagem restaurada pelo sistema proposto (Fig. 3(a)) é
superior à da restaurada pelo PCG.
(a) Imagem restaurada pelo
sistema gradiente (3) (RSR =
19.98db e ∆RSR = 2.01db)
(b) Imagem restaurada pelo (c) Restauração obtida usando
PCG (RSR = 19.11db e o algoritmo 3 de Sun(2000a)
∆RSR = 1.14db) (RSR = 19.46db e ∆RSR =
1.49db)
Fig. 3: Imagens restauradas com λ = 0.15
Além disso, o maior valor da ∆RSR atingido pelo
sistema gradiente (3) (Fig. 3(a)) foi obtido em ape-
nas 14 iterações, enquanto que o valor deste mesmo
índice para a imagem restaurada pelo PCG (Fig. 3(b))
foi obtido em 38 iterações. Nenhuma técnica de pré-
condicionamento foi utilizada com o sistema gradiente
(3), o que sugere que a abordagem proposta, utilizando
2 Do inglês “preconditioned conjugate gradient method”
a regularização em norma L1 e o sistema gradiente (3)
para resolver o problema de restauração de imagens é
menos sensível ao mal-condicionamento do problema.
Os resultados obtidos estão resumidos na tabela 1.
Tabela 1: Índices de qualidade das imagens restauradas pelo sis-
tema gradiente (3), pelo método dos gradientes conjugados pré-
condicionado (PCG), e pelo algoritmo 3, baseado na rede de Hop-
field (RH) de Sun (2000a), usando λ = 0.15
Método RSR ∆RSR No. Iterações
Sistema Gradiente 19.98db 2.01db 14
PCG 19.11db 1.14db 38
RH 19.46db 1.49db 868
No que diz respeito ao aspecto visual das ima-
gens restauradas pelo sistema gradiente (3) (Fig. 3(a))
e pelo PCG (Fig. 3(b)), quando comparadas com a
imagem degradada (Fig. 2(b)), pode-se ver que tanto
a redução de ruído como o desembaçamento foram
obtidos com sucesso. Entretanto, note que a imagem
restaurada pelo sistema gradiente (3) é mais nitida que
a obtida pelo PCG.
Uma segunda comparação é feita com a imagem
restaurada pelo algoritmo 3 de Sun (2000a), que é
baseado em uma modificação da rede de Hopfield. Os
parâmetros do algoritmo foram escolhidos como suge-
rido em (Sun, 2000a) e o parâmetro de regularização
usado é λ = 0.15. Este algoritmo resolve o problema
(6).
A imagem restaurada usando este algoritmo é
mostrada em Fig. 3(c). O valor obtido da variação na
relação sinal-ruído, é menor que o obtido pelo sistema
gradiente (3), o que sugere que a restauração obtida
apresenta qualidade inferior à obtida pelo método pro-
posto. Adicionalmente, o algoritmo de Sun (2000a)
obteve este resultado após 868 iterações, enquanto que
o sistema gradiente obteve uma imagem de melhor
qualidade em apenas 14 iterações. Estes resultados es-
tão resumidos na tabela 1.
Do ponto de vista computacional, cada iteração
do sistema gradiente demanda menor tempo de com-
putação que o algoritmo de Sun (2000a), pois cada
iteração do sistema proposto não inclui produtos ma-
triciais, o que é uma vantagem da regularização em
norma L1 .
Finalmente, de acordo com Fu et al. (2006), a
solução de norma L1 , que é solução do problema (10),
proporciona bons resultados apenas quando uma pe-
quena porção dos pixels da imagem está contaminada
por ruído, e exemplos de restauração de imagens, onde
apenas 50% dos pixels estão afetados por ruído, são
dados em (Fu et al., 2006), obtendo bons resultados,
em que (10) é resolvido por um método de pontos
interiores. Entretanto, no exemplo discutido no pre-
sente artigo, todos os pixels das imagens estão con-
taminados por ruído e a restauração, feita através da
resolução do problema problem (10) pelo sistema gra-
diente (3), proporcionou bons resultados, no sentido
de atingir valores mais elevados da ∆RSR. Isto su-
gere que a abordagem proposta é eficiente, mesmo
quando todos os pixels da imagem a ser restaurada es-
tão contamidados por ruído. Além disso, sabe-se que
os métodos de pontos interiores não são escaláveis,
isto é, à medida que a dimensão do problema é aumen-
tada, eles tornam-se computacionalmente muito caros,
o que pode ser uma vantagem decisiva dos métodos de
gradiente para imagens de dimensões elevadas.
6 Conclusão
O problema de restauração de imagens degradadas por
distorções lineares e invariantes no espaço é resolvido
usando uma regularização em norma L1 que consiste
da norma L1 do erro somado a um termo de regulari-
zação, também em norma L1 . O problema de minimi-
zação decorrente é não-diferenciável e é resolvido por
um sistema gradiente não-suave, que pode ser inter-
pretado como uma rede neural com função de ativação
descontínua.
Mostra-se através de um exemplo que a abor-
dagem proposta é bastante efetiva. Quando com-
parado com as soluções de mínimos quadrados, obti-
das pelo método dos gradientes conjugados pré-
condicionado (PCG), as restaurações obtidas usando
a abordagem proposta apresentam melhor qualidade,
no sentido de atingir valores mais elevados da ∆RSR.
Além disso, as soluções são obtidas em um número
de iterações menor que as obtidas pelo PCG , ape-
sar de nenhuma técnica de pré-condicionamento ser
usada com o sistema gradiente. Este fato sugere que
a abordagem usando a regularização em norma L1
e o sistema gradiente (3) é menos sensível ao mal-
condicionamento do problema. Comparamos também
os resultados obtidos pela abordagem proposta com
um algoritmo baseado na rede de Hopfield, que mini-
miza uma função-custo em norma L2 , observamos que
as imagens obtidas pela abordagem proposta também
apresentam melhor qualidade.
Finalmente, outras vantagens são a capacidade de
implementação do sistema gradiente utilizando hard-
ware de baixo custo para processamento em tempo
real, bem como a possibilidade de paralelização e im-
plementação em computadores paralelos. O desen-
volvimento de uma implementação paralela eficiente
do sistema gradiente (3) é objeto de pesquisas dos au-
tores.
7 Agradecimentos
Os autores agradecem ao Conselho Nacional de
Pesquisa e Desenvolvimento Tecnológico (CNPq),
que financiou esta pesquisa através do projeto
154447/2006-4 e à Coordenação de Aperfeiçoamento
de Pessoal de Nível Superior (CAPES).
Referências
Andrews, H. C. e Hunt, B. R. (1977). Digital Image Restoration, Prentice-
Hall, Englewood Cliff.
Barzilai, J. e Borwein, J. M. (1988). Two-point step size gradient methods,
IMA Journal of Numerical Analysis 8: 141–148.
Bhaya, A. e Kaszkurewicz, E. (2006). Control Perspectives on Numerical
Algorithms And Matrix Problems, Vol. 10 of Advances in Design and
Control, SIAM, Philadelphia.
Bloomfield, P. e Steiger, W. L. (1983). Least Absolute Deviations: Theory,
Applications and Algorithms, Birkhäuser, Boston.
Chan, R. H., Nagy, J. G. e Plemmons, R. J. (1993). FFT-based preconditioners
for Toeplitz-block least squares problems, SIAM Journal on Numerical
Analysis 30(6): 1740–1768.
Chan, R. H. e Ng, M. K. (1996). Conjugate gradient methods for Toeplitz
systems, SIAM Review 38(3): 427–482.
Cichocki, A. e Unbehauen, R. (1992). Neural networks for solving systems of
linear equations – Part II: Minimax and least absolute value problems,
IEEE Trans. Circuits Syst. II 39(9): 619–633.
Cichocki, A. e Unbehauen, R. (1993). Neural Networks for Optimization and
Signal Processing, John Wiley and Sons, New York.
Ferreira, L. V., Kaszkurewicz, E. e Bhaya, A. (2005). Solving systems
of linear equations using gradient systems with discontinuous right-
hand sides: application to LS-SVM, IEEE Trans. Neural Networks
16(2): 501–505.
Figueiredo, M. A. T. e Leitao, J. M. N. (1994). Sequential and parallel im-
age restoration: neural network implementations, IEEE Trans. Image
Processing 3(6): 789–801.
Filippov, A. F. (1988). Differential Equations with Discontinuous Righthand
Sides, Kluwer Academic Publishers, Dordrecht.
Forti, M., Grazzini, M., Nistri, P. e Pancioni, L. (2006). Generalized approach
for convergence of neural networks with discontinuous or non-lipschitz
activations, Phisica D 214(1): 88–99.
Fu, H., Ng, M. K., Nikolova, M. e Barlow, J. L. (2006). Efficient minimization
methods of mixed l2 − l1 and l1 − l1 norms for image restoration,
SIAM Journal on Scientific Computing 27(6): 1881–1902.
Galatsanos, N. P. e Katsaggelos, A. K. (1992). Methods for choosing the regu-
larization parameter and estimating the noise variance in image restora-
tion and their relation, IEEE Trans. Image Processing 1(3): 322–336.
Gonzalez, R. C. e Woods, R. E. (2002). Digital Image Processing, 2nd edn,
Prentice-Hall„ Upper Saddle River.
Kang, M. G. e Katsaggelos, A. K. (1995). General choice of the regular-
ization functional in regularized image restoration, IEEE Trans. Image
Processing 4(5): 594–602.
Kärkkäinen, T., Kunisch, K. e Majava, K. (2005). Denoising of smooth im-
ages using L1 -fitting, Computing 74: 353–376.
Nikolova, M. (2004). A variational approach to remove outliers and impulse
noise, Journal of Mathematical Imaging and Vision 20: 99–120.
Paik, J. K. e Katsaggelos, A. K. (1992). Image restoration using a modified
Hopfield network, IEEE Trans. Image Processing 1(1): 49–63.
Perry, S. W. e Guan, L. (1996). A partitioned modified Hopfield neural
network algorithm for real-time image restoration, Real-Time Imaging
2: 215–224.
Perry, S. W., Wong, H.-S. e Guan, L. (2002). Adaptive Image Processing: A
Computational Intelligence Perspective, Spie Press, Bellingham.
Rosen, J. B., Park, H., Glick, J. e Zhang, L. (2000). Accurate solution to
overdetermined linear equations with errors using L1 norm minimiza-
tion, Computational Optimization and Applications 17: 329–341.
Sun, Y. (2000a). Hopfield neural network based algorithms for image restora-
tion and reconstruction – part I: algorithms and simulations, IEEE
Trans. Signal Processing 48(7): 2105–2118.
Sun, Y. (2000b). Hopfield neural network based algorithms for image restora-
tion and reconstruction – part II: performance analysis, IEEE Trans.
Signal Processing 48(7): 2119–2131.
Tikhonov, A. N. e Arsenin, V. Y. (1977). Solutions of Ill-Posed Problems, V.
H. Winston & Sons, Washington.
Utkin, V. I., Guldner, J. e Shi, J. (1999). Sliding mode control in electrome-
chanical systems, CRC Press, Boca Ratton.
Zhou, Y.-T., Chellappa, R., Vaid, A. e Jenkins, B. K. (1988). Image restora-
tion using a neural network, IEEE Trans. Acoustic, Speech, and Signal
Processing 36(7): 1141–1151.