Extrao de caractersticas de

imagens
Descritores de cor

Descritores de imagens
Problema: computar, de forma eficiente,
valores que descrevam uma imagem (ou parte
dela)
Vetores de caractersticas (feature vectors)

Discriminativos
importante que os vetores sejam
comparveis, por alguma mtrica de
similaridade ou dissimilaridade.
2

Vetor de caractersticas
Vetores de Caractersticas (feature vectors)

buscam representar a essncia da imagem, segundo um

aspecto especfico
Cor, textura, forma dos objetos, relacionamento entre os
objetos

Representao pode ser utilizada diretamente

por algoritmos de busca e de aprendizado de
mquina (p.ex., em tarefas de agrupamento,
classificao...).
3

Representao de Imagens

Extrao de Caractersticas
sem Segmentao
Cor

Histograma

Forma

Momentos Hu
e de Zernike

Textura

Descritores de
Haralick

Invariantes:
translao,
escala e rotao

Usam Matrizes de Co-ocorrncia.

Varincia, Entropia, Energia,
Homogeneidade...

Vetor de Caractersticas
Define um espao n-dimensional

A_1

n o nmero de caractersticas ou atributos de uma relao da BD

Cada imagem passa a ser representada por seu vetor de
caractersticas. Essa viso pode ser espacial !

A_n
11

Vetores de Caractersticas: Representao

da Imagem
Extrao de
Caractersticas
Pre-processing

Imagem

Imagem Processada

Vetores de
Caractersticas

12

Representao Imagem: Cor

Vetor de Caractersticas: Histogramas

544 109 3100 490 199 .....

Imagem

2099

Feature vector
Histograma

Contagem de pixels de mesma intensidade

Custo Linear: um primeiro passo de separao
Ambguo
Alta dimenso
13

Exemplos

15

Descritores de imagens
descritor da imagem = vetor de caractersticas +
mtrica de comparao
Questo relevante: robustez da descrio com
relao :
transformaes na imagem, ponto de viso e ocluso.
transformaes nos objetos, ponto de viso e ocluso.
borramento por movimento, borramento por
desfocamento, erros de compresso, rudo.
16

Descritores: transformaes
fotomtricas e distores

17

Descritores de imagens
Detector, Extrator e Descritor?
detector: usado amplamente para denotar ferramenta
que extrai caractersticas de uma imagem, e.g. cantos,
regies, linhas.
extrator: mtodo para computar valores a partir dos
pixels da imagem, sem preocupao com deteco
falsa ou falhas na deteco.
descritor: os valores computados por um extrator que
(i) descrevem um conjunto de caractersticas de uma
imagem, e (ii) so comparveis por uma mtrica.
18

Descritores de imagens
Invariante ou Covariante?
invariante: uma funo que no muda sua
resposta sob uma certa famlia de transformaes.
covariante: comuta com as transformaes, i.e., a
resposta muda de forma consistente com a
transformao aplicada imagem.

19

Descritores: histogramas de cor

Para usar o histograma como descritor:
1 Selecionar o espao de cores (RGB, HSV, ...)
2 Quantizar o espao de cores
3 Computar o histograma
4 Selecionar uma mtrica de distncia entre
histogramas

20

21

Descritores: histogramas de cor

Quantizar o espao de cores
Transforma trs canais de cor em um canal com B
cores. Escolha comum: 64 cores.
Pode ser feito considerando os 2 bits mais
signicativos de cada canal
Para imagens naturais coloridas, 256 pode resultar
em melhor desempenho (porm, no 4x melhor).
Para imagens pequenas essa escolha (nmero de
cores) deve ser melhor estudada
22

Descritores: histogramas de cor

Selecionar mtricas de distncia entre
histogramas:
Minkowski (norma Lp)
Euclidiana (norma L2)
Manhattan (norma L1)
Chessboard (norma L)
Logartmica
outras
23

Descritores: histogramas de cor

Sejam q e d dois histogramas, com M cores
cada
Distncia Tipo-Minkowski:

, = ( )

=0

Distncia Euclidiana (kernel circular):

, =

( )2
=0

24

Descritores: histogramas de cor

Sejam q e d dois histogramas, com M cores
cada.
Distncia Manhattan (kernel losangular):
dManh(q,d)=
=0 []

Distncia Chessboard (kernel quadrado):

, = max( , )
25

Descritores: histogramas de cor

Distncia Logartmica:

<

, =
=0

( )

0 = 0
onde = 1 0 < < 1
2 + 1 . .

Previne que a soma das diferenas seja dominada por cores

muito frequentes em um dos histogramas e pouco no outro.
Prtica comum: normalizar o histograma para o intervalo [0;
255] antes de aplicar a funo de distncia.
26

Descritores: histogramas de cor

Exemplos de descritores baseados em histogramas
Global Color Histogram (GCH): computa um nico
histograma para cada imagem
Local Color Histogram (LCH): particiona a imagem em um nmero
fixo de clulas e computa o histograma de cada clula

Border/Interior Classication (BIC): computa dois histogramas

um para os pixels classificados como de borda e outro para os pixels

classificados como internos.

Color Coherence Vectors (CCV): encontra os componentes (cores)

conectados na imagem classificando pixels em coerentes ou
incoerentes (determinado por um limiar), monta um histograma com
o nmero de pixels coerentes e incoerentes de cada cor.

27

Descritores: histogramas de cor

Quantizao de imagens para gerao de descritores compactos de cor e textura.

Luciana C. Escobar, Moacir P. Ponti Jr. XXIV SIBGRAPI Conference on Graphics,
Images and Patterns, 2011, Workshop of Undergraduate Work.

28

Descritores: histogramas de cor

Vantagens

Fcil de implementar
Rpido de calcular
Representao compacta da informao de cor
Pode (e deve) ser normalizado de forma que seja
possvel comparar diferentes histogramas de imagens.
Exemplo: soma dos valores unitria.

Desvantagens

No captura informao local de objetos e da cena

Estruturas de tamanho fixo
29

Descritores: Momentos de
Cor/Intensidade
Pressuposto: distribuio de cor em uma
imagem interpretada como uma distribuio
de probabilidade.
Diferentes distribuies de probabilidade so
caracterizadas por um nmero de momentos,
p.ex., Normal = (mdia, varincia), i.e. (, 2 )
30

Descritores: Momentos de
Cor/Intensidade
Seja i um canal de cor e j um pixel de uma
imagem f com N pixels
1
1. Momento (mdia): = =1 ,

Momentos d > 1:

1
=
,

=1

1/

31

Descritores: Momentos de
Cor/Intensidade
2. Momento (desvio padro):
=

1
,

=1

Descritor da disperso em relao mdia

3. Momento (obliquidade, ou skewness):

1
=
,

=1

1/3

Descritor da assimetria da distribuio de frequncia

32

Descritores: Momentos de
Cor/Intensidade
4. Momento (curtose, ou kurtosis):

1
=
,

=1

1/4

Descritor da relao entre pico e achatamento da

distribuio de frequncia
33

Descritores: Momentos de
Cor/Intensidade
Distncia entre momentos pode ser computada pela soma ponderada das
diferenas entre os momentos de duas distribuies:
, = =1 ,1 + ,2 + ,3 + ,4

Em que:

a e b so as duas imagens sendo comparadas por seus momentos

i = 1, ..., C o nmero de canais de cor na imagem
wi so os pesos associados a cada momento

Podem ser usados diversos sistemas de cor. Em geral, utiliza-se o HSV,

ponderado de forma a dar peso maior ao canal H.

34

Outros descritores
Correlogramas de cor...

v. Huang, Kumar, Mitra, Zhu and Zabih. Image Indexing

using Color Correlograms. IEEE Proc. Conf. on
Computer Vision and Pattern Recognition, 1997, pp.
762768.

Histogramas mtricos

A. J.M. Traina et al. Efficient Content-Based Image

Retrieval through Metric Histograms,
http://link.springer.com/article/10.1023%2FA%3A102
3670521530
35

Bibliografia
Gonzalez & Woods, cap. 6

36