RESTAURAO DE IMAGENS: OUTROS FILTROS E NOVAS TCNICAS

PARA FILTRAGEM DE RUDO (DENOISING)

Non-local Means
Wavelets
Block-matching 3D

POLYANA F. NUNES
HELDER C. R. DE OLIVEIRA
 Realce: mtodo subjetivo baseado em operaes que supostamente
iro melhorar a qualidade da imagem.

Restaurao: mtodo objetivo baseado no conhecimento sobre o

processo de degradao da imagem.

Mtodos de
Filtragem

Imagem Imagem Imagem
ruidosa restaurada Original
 MODELO DE DEGRADAO/RESTAURAO DE
IMAGENS

(, )

Domnio do espao

Domnio da frequncia

O QUE RUDO
O rudo em uma imagem toda informao que prejudica seu
processamento.
A maioria dos rudos em imagens digitais so advindos no momento da
aquisio e transmisso das imagens.

Rudo branco: White Noise

Randmico ou Peridico
Randmico: Domnio do Espao
Gaussiano
Gamma
Exponencial
Uniforme
Impulsivo
Rayleigh
O QUE RUDO
O rudo em uma imagem toda informao que prejudica seu
processamento.
A maioria dos rudos em imagens digitais so advindos no momento da
aquisio e transmisso das imagens.

Rudo branco: White Noise

Randmico ou Peridico
Peridico: Domnio da Frequncia
Interferncia eltrica ou eletrnica
Rudo espacialmente dependente;
Reduzido por filtragem no domnio da frequncia

Imagem com rudo

peridico
RUDO GAUSSIANO

Domnio espacial e domnio da frequncia

Aditivo
1 ()2
Independente sinal = 22
Mdia = 0 2
Varincia = 1 FDP de uma varivel aleatria
gaussiana (Y)
Y a intens. do rudo;
o valor mdio;
o desvio padro.

Imagem Original Imagem Rudo

Gaussiano
RUDO QUNTICO
Randmico
No Aditivo
Dependente sinal
Difcil de ser tratado

= =
Segue a Distribuio de Poisson
Varincia = Taxa Mdia de ftons
SNR Taxa de ftons

O rudo quntico
diminui com o
aumento do do
nmero de ftons
FILTRAGEM

Conceitos: Processamento de imagens que visa o realce e a

suavizao de imagens.
Processo de remover ou minimizar as degradaes conhecidas em
uma imagem.

TIPOS DE FILTROS
Filtragem espacial - operam diretamente sobre os pixels.
Filtragem no domnio da frequncia modificaes nas
transformadas de Fourier da imagem.

Filtro

Imagem ruidosa Imagem Filtrada

FILTRAGEM NO DOMNIO DO ESPAO
Filtros de realce
Enfatiza detalhes finos
Realam detalhes de que tenham sido borrados
So utilizadas matrizes (mscaras) de filtragem lineares e no lineares

Filtro da Mdia Aritmtica

Filtro da Mdia geomtrica
Filtro da Mediana
Filtro de Max e Min g(x,y)=T[f(x,y)]
T um operador em f, definido em uma
Filtro Passa baixa (Filtro de mdia) vizinhana de (x,y)

Filtros adaptativos (Filtros Locais)

FILTRAGEM NO DOMNIO DA FREQUNCIA
Reduo de rudo Peridico
Causado por interferncias eletromagnticas ou mecnicas
necessrio calcular uma transformada da imagem (Fourier)

Filtro da Rejeita Banda

Filtro Passa Banda
Notch Imagem Original f Espectro |F(u,v)|

IFFT
 Problemas da Filtragem
Considera apenas a presena de rudo como forma de
degradao da Imagem.

Mdia de vrias observaes (Um observao ruidosa acessvel).

Alternativa: Buscar valores livres de rudo

FILTROS LOCAIS
Filtros Locais: Estimam o valor livre de rudo de um pixel, com base
em sua vizinhana local P.

Mdias
Faz mdia de toda imagem

Wiener
Bilateral
Gaussiano
FILTRAGEM DE WIENER
Domnio da Frequncia e do Espao
Conhecimento a priori do rudo ou do sinal livre de rudo no processo
de filtragem.
Se no est disponvel, faz-se uma estimativa desses parmetros a
partir da imagem ruidosa

2
1 H u, v
, = ,
H u, v 2
S u, v
H u, v +
Sf u, v

(, )
=0 Filtro Inverso
(, )

, . .
, .
FILTRO BILATERAL
Filtro bilateral (TOMASI; MANDUCHI, 1998)

= : um fator responsvel pela normalizao dos coeficientes do filtro.

e : controlam a influncia das distncias fotomtrica

Semelhante ao algoritmo NLM, porm:

Leva em conta a distncia entre as amostras.
Compara a similaridade entre pixels (e no vizinhanas
de pixels).
ALGORITMO NON-LOCAL MEANS
Algoritmo Non-Local Means
Proposto por Buades, Coll e Morel (2005)*
Filtro Adaptativo
Preserva bordas e pequenos detalhes da imagem

Estimativa da Imagem sem rudo

Estimativa Similaridades entre i e j depende da
NL[v]() Similaridade de tons de cinza dos pixels i e j;

0 , 1
, = 1

NL[v]() = , ()
 ALGORITMO NON-LOCAL MEANS

Pesos
2

1 2,
= 2

Distncia Euclidiana
2
(, ) = ( )
2,

Adaptada, NL-Means, Buades (2004)

* Buades, A. et. al. Multiscale Modeling Simulation (2005)

 ALGORITMO NON-LOCAL MEANS

Busca por amostras em toda a imagem.

Por que comparar patches ao invs de comparar pixels individuais?
Tcnica de similaridade mais robusta
ALGORITMO NON-LOCAL MEANS

Trs Parmetros
1) Janela

2) Patch

3) Parmetro de Filtragem (h)

 ALGORITMO NON-LOCAL MEANS
1) Patch
Define-se uma vizinhana quadrada de tamanho fixo com os
vizinhos ao pixel

Patches
Buades (2005): 7x7
Mascarenhas (2013): 7x7
Marcelo/Mascarenhas (2013): 3x3

Quanto maior o patch Maior a robustez (rudo)

Contudo, ao introduzir contedo no local

no patch, a capacidade de filtragem do
algoritmo comprometida.
ALGORITMO NON-LOCAL MEANS

2) Janela
A janela est centrada no pixel atual
que est sendo calculado.
Evita a procura em toda da imagem.

Janelas
Buades (2005): 21x21
Mascarenhas (2013): 15x15
Marcelo/Mascarenhas (2013): 11x11
Adaptada, NL-Means, Buades (2004)
ALGORITMO NON-LOCAL MEANS
3) Parmetro de filtragem (h)
h: Parmetro de Controle dos Pesos/Filtragem
O quanto cai o Peso em funo da Distncia

Peso :

2

1 2,
= 2

h 0 (Filtrada = Ruidosa)
h (Imagem borrada)
ALGORITMO NON-LOCAL MEANS
MATERIAIS

Imagens mamogrficas sintticas geradas a partir de um simulador computacional

da anatomia mamria desenvolvido na University of Pennsylvania*.
6 Imagens (5 recortes cada)

100%
3 Imagens Ruidosas: 50%
25%

100%
3 Imagens Sem Rudo: 50%
5 Recortes de 25%
256 x 256

Total de 30
6 Imagens Recortes *Bakic PR, Med. Phys. (2011)
 AVALIAES QUANTITATIVAS UTILIZADAS
Parmetros de Qualidade:

PSNR*: Pico da relao sinal rudo

2
= 10 log10

1 1 1 2
= =0 =0 , (, )

SSIM**: ndice de similaridade estrutural

-1 < SSIM < 1

* Wang Z., Bovik AC, IEEE Signal Proc Mag, (2009)
** Wang Z, et al. IEEE T Image Process, (2004)
RESULTADOS

Antes da aplicao do Filtro

Auxiliar no ajuste dos parmetros do NLM

Doses PSNR (db) SSIM

100% 41,53 NLM 0,9425
NLM
50% 38,49 0,8923
25% 35,53 0,8111
Parmetros de Qualidade
(Recortes Ruidosos)
RESULTADOS

Janela 7x7
Patch 3x3

Doses PSNR (db) SSIM Parmetro (h)

50% 41,55 0,9383 h = 0,021
NLM
25% 41,47 0,9467 h = 0,050
NLM + 50% 43,18 0,9614 h = 0,021
Anscombe 25% 40,00 0,9186 h = 0,050
 25% dose +N LM 100% dose

25% dose + Anscombe

+NLM 25% dose
30
TRANSFORMADA WAVELET
Funes utilizadas para modular um sinal;
Cada funo tem suas particularidades, por isso tantas famlias de
funes:

31
TRANSFORMADA WAVELET
Basicamente dois tipos de transformada:
Decimada (DWT) subsampling:

Decomposio
1 nvel

Independente da
transformada, so
gerados 2 sub-bandas.
Onde a dimenso
(1D, 2D) do sinal.

32
 TRANSFORMADA WAVELET
No decimada (SWT): ideal para remoo de rudos pois, invariante a
translaes*;

Decomposio
1 nvel Aproximao Detalhes Horizontais

Detalhes Verticais
* Fugal, D. L.; Conceptual Wavelets, 2009; Detalhes Diagonais

33
* Fowler J. E.; IEEE Signal Processing Letters, 2005;
 TRANSFORMADA WAVELET
So tantas funes!
P: Qualquer uma vai servir ao meu propsito?
R: No!

Ex.) Considere o sinal 1D*:

34
* Donoho, D., Johnstone I., et al; J. Roy. Statist. Soc., 1995.
TRANSFORMADA WAVELET
Decompondo ambos os sinais:

35
 TRANSFORMADA WAVELET - DENOISING
Framework para denoising proposto por Donoho*:
1. Aplica a transformada wavelet ao sinal ():

= ()
2. Executa a atenuao (thresholding) dos coeficientes:

= (, )
3. Aplica a transformada inversa:

= ()

36
* Donoho, D.; IEEE Trans. on Information Theory, 1995;
 TRANSFORMADA WAVELET - THRESHOLDING
Funes de thresholding () mais populares:
Hard-thresholding:

, >
, =
0,

Soft-thresholding:

()( ), >
, =
0,

37
TRANSFORMADA WAVELET - THRESHOLDING
Mtodos para estimar o valor de threshold ():
VisuShrink (Threshold fundamental):

= 2 ln()

MAD (Median Absolute Deviation):

= (| ( )|)

38
TRANSFORMADA WAVELET - EXEMPLO
Decomposio com Daubechies-8, 5 nveis e =38 (valor
encontrado pelo MATLAB).

Sem rudo Com rudo

PSNR (db) MSSIM

Antes 27,4017 0,6553

39
TRANSFORMADA WAVELET - EXEMPLO
Decomposio com Daubechies-8, 5 nveis e =38 (valor
encontrado pelo MATLAB).

Sem rudo Com rudo Hard-thresholding Soft-thresholding

PSNR (db) MSSIM

Antes 27,4017 0,6553
Hard 30,7508 0,8579
Soft 26,5896 0,7999

40
41
 BLOCK-MATCHING 3D*
Explora a redundncia dos pixels na imagem;
Todos os blocos so verses do mesmo bloco sem rudo*;
Agrupa os blocos similares em pilhas 3D:

42
* Foi, A. et al; SPIE Electronic Imaging, 2006;
 BLOCK-MATCHING 3D
O processo de filtragem realizado em 2 etapas:
Imagem ruidosa

Pr - Estimativa

? Estimativa final

#1 Filtragem #2 Filtragem
Wavelet Wiener

43
 BLOCK-MATCHING 3D
1 Etapa: Estimativa bsica

Imagem ruidosa

44
* Foi, A. et al; SPIE Electronic Imaging, 2006;
BLOCK-MATCHING 3D 1 ETAPA
Block-matching: Busca por blocos similares.

Critrios:
Seleo para a pilha:

= {: , }

Distncia entre os blocos:

|| ||2
, = 2

Quantidade de blocos:
Janela de busca ( );
Bloco de referncia ( );

45
 BLOCK-MATCHING 3D
1 Etapa: Estimativa bsica

Imagem ruidosa

46
* Foi, A. et al; SPIE Electronic Imaging, 2006;
BLOCK-MATCHING 3D 1 ETAPA
Filtragem colaborativa: Explora a redundncia entre os blocos

1. A cada pilha so aplicadas 3 transformadas:

a. DCT aos blocos (2 );

b. Walsh-Hadamard (1 );
c. Wavelet com hard-thresholding ().

1 1
= 2 (1 ( (1 (2 ( ))))

2. Operador de hard-thresholding:

0, || 3
=
,
3. Os coeficientes que restaram so
usados como pesos na prxima etapa;

47
 BLOCK-MATCHING 3D
1 Etapa: Estimativa bsica

Imagem ruidosa

48
* Foi, A. et al; SPIE Electronic Imaging, 2006;
BLOCK-MATCHING 3D 1 ETAPA
Agregao: Os blocos so reposicionados nos locais de origem;

1. Tratamento da sobreposio dos blocos:

a. Uma estimativa para cada bloco;
b. Vrias estimativas para cada pixel.

= + , ()
, ,
= +

onde:

1
, 1
=

1,

O objetivo dos pesos dar prioridade para blocos uniformes,

sem bordas.

49
BLOCK-MATCHING 3D 1 ETAPA
Reduo dos efeitos de borda: Janela Kaiser;
Estimativa bsica:

Imagem ruidosa Pr - Estimativa

#1 Filtragem
Wavelet

50
 BLOCK-MATCHING 3D
O processo de filtragem realizado em 2 etapas:
Imagem ruidosa

Pr - Estimativa

? Estimativa final

#1 Filtragem #2 Filtragem
Wavelet Wiener

51
 BLOCK-MATCHING 3D
2 Etapa: Estimativa final

Estimativa bsica

Imagem ruidosa

52
* Foi, A. et al; SPIE Electronic Imaging, 2006;
BLOCK-MATCHING 3D 2 ETAPA
Filtragem colaborativa:
Clculo dos coeficientes Wiener no domnio 3D:

Agregao:

53
BLOCK-MATCHING 3D 2 ETAPA
Estimativa final:

Imagem ruidosa

Estimativa final

Filtro de
Pr - Estimativa
Wiener

54
BLOCK-MATCHING 3D EXEMPLOS
Imagem ruidosa. = 60 Pr-estimativa Imagem filtrada

PSNR (db) MSSIM PSNR (db) MSSIM PSNR (db) MSSIM

21,2682 0,1202 26,5022 0,6433 27,9082 0,7611

Imagem ruidosa. = 30 Pr-estimativa Imagem filtrada

PSNR (db) MSSIM PSNR (db) MSSIM PSNR (db) MSSIM

18,6947 0,2648 30,3356 0,8072 30,8458 0,8424
 Polyana F. Nunes
Helder C. R. de Oliveira
polyananunes@usp.br
heldercro@usp.br

Departamento de Engenharia Eltrica

Universidade de So Paulo - USP So Carlos

56