Processamento de Imagens

SCE 5830

Instituto de Cincias Matemticas e de

Computao
USP

Tpicos

Definies vistas na aula passada

Fundamentos
Estudo de Cores
Formatos de arquivos
Etc.

Fundamentos de Viso
Computacional e Processamento
de Imagens
Computer Imaging: Manipulao de
imagem por computador.
Aquisio e processamento de informao por
computador.
Sentido primrio: viso
Uma imagem vale por mil palavras

Domcio Pinheiro
Agncia Estado

Computer Imaging: duas reas

Manipulao de Imagens por computador

Viso
Computacional

Processamento
de Imagens

Viso X Processamento
Em aplicaes de viso computacional as
imagens processadas (sadas) so usadas pelo
computador. Em processamento de imagens,
so para consumo humano.
Historicamente, o processamento de imagens
evoluiu a partir da Eng. Eltrica (proc.
Sinais). Viso computacional foi resultado
dos desenvolvimentos em Cincia da
Computao.

Viso Computacional (VC)

Aplicaes no requerem pessoas no ciclo
visual, ie, imagens so examinadas e
manipuladas pelo computador.
O computador quem usa a informao
visual diretamente
reconhecimento e inspeo de objetos
Anlise de imagens (Image Analysis).
Feature extraction
Pattern Recognition

Aplicaes em VC
Tarefas tediosas para seres humanos
ambiente hostil
alta taxa de processamento
acesso e uso de grandes banco de dados

Encontrados em ambientes variados

controle de qualidade em sistemas de
manufatura.

Aplicaes em VC (cont.)
Ambiente mdico

Deteco automtica de tumores

sistemas de auxlio a neuro-cirurgias
Identificao de impresses digitais
Identificao de impresso DNA (DNA fingertips)

Outros

Monitorao de rodovias.
Sistemas de defesa (militares).
Viso Rob (vision-guided robot)
Croud control (controle de multido) em metr.

Metodologia de reconhecimento
(deve considerar)

Condicionamento (conditioning) : pr-processamento

Rotulao (Labeling) : a informao um conjunto de pixels
conectados. Deteao bordos, limiarizao

Agrupamento (grouping): segmentao

Extrao (extraction) : lista de propriedades
Matching (reconhecimento de padro)
Computer and Robot Vision. Haralick and Shapiro

Processamento de Imagens (PI)

Aplicaes envolvem pessoas no ciclo
visual, ie, as imagens so examinadas e
manipuladas por pessoas.
Necessidade de conhecimento do modo de
operao do sistema visual humano.

PI: principais tpicos

Restaurao (restoration)
Realce (enhancement)
Segmentao
compresso (compression)

Restaurao de Imagem
Processo de recuperao da aparncia
original de uma imagem que possui algum
grau conhecido (ou estimado) de degradao.
possvel desenvolver um modelo da
distoro se soubermos algo sobre a
degradao
Modelo degradao: aplica processo inverso
e obtm-se imagem restaurada

Realce de Imagem
Melhorar uma imagem visualmente,
baseado na resposta do sistema visual
humano.
Soluo tima depende do problema
(problem specific techniques)
exemplo:
Expandir o contraste (contrast stretching)

Restaurao X Realce
Ambos levam melhora na imagem
Mtodos de restaurao procuram modelar a
distoro e aplicar o processo reverso,
enquanto os mtodos de realce utilizam a
resposta do sistema visual humano para
melhorar a imagem visualmente.

Exemplo de Restaurao

Exemplo de Realce de contraste

Tpica operao do tipo s = T(r), conhecida como

contrast stretching.

Realce: eliminao de rudo

Compresso de Imagem
Reduo da quantidade expressiva de dados
necessria para representar uma imagem
Eliminao do que visualmente
desnecessrio
Imagens apresentam redundncia de dados.
Reduo na ordem de 10 a 50 vezes.
(wavelets -> 65 80 %)

Compresso de Imagens
Lossless compression mantm a integridade dos dados,
utilizada para dados gerais e excetuveis.
Lossy compression no mantm a integridade dos dados.
As imagens so parecidas mas no idnticas.

Lossless compression
Compresso similar ao ZIP, ARJ, etc.
Tipo Run Length Encoding (RLE): .bmp
Compressed data

Expanded data

03 04
05 06
00 03 45 56 67 00
02 78
00 02 05 01
02 78
00 00
09 1E
00 01

04 04 04
06 06 06 06 06
45 56 67
78 78
Move 5 right and 1 down
78 78
End of line
1E 1E 1E 1E 1E 1E 1E 1E 1E
End of RLE bitmap

Lossless compression

P P P P P P P A AAA V V P P P P
P P P P P P P P P P A A V V VVV

Imagem
24 bits

A A V V A AA A A A P P P P P P P
7P 4A 2 V 4P
10P 2A 5V
2A 2V 6A 7P

Operao
reversvel

Lossy Compression

FFT

DCT

Sistemas de Imagem por computador

Monitor

Cmera

Impressora
Scanner
Filme
Reprodutor
Vdeo

Sistema de
Computador

Gravador
Vdeo

Digitalizao
Sinal de vdeo analgico transformado em
sinal digital atravs da discretizao do sinal
contnuo taxa fixa.
Esse processo feito muito rapidamente.
Cmeras CCD

O resultado um vetor bi-dimensional de

dados, onde cada elemento chamado pixel.

Digitalizao: discretizao
Amostragem (sampling)
discretizao espacial
Imagens: uma matriz de pontos.

Quantizao (quantization)
discretizao da amplititude
Imagens: qual a faixa de valores que um ponto
capaz de armazenar.

Quantization
Exemplo
valores de 8 bits para representar voltagens de
0-10 V.
8 bits: 256 valores distintos
10 V / 256 = 0.039 V !
0 V = 00000000
10V = 11111111
Cada mudana de 0.039, indica um novo
binrio.

8 bpp

2 bpp

False
Contour

4 bpp

1 bpp

False
Contour

Como reduzir efeito da

quantizao ?
Halftoning
Dithering

Halftoning

Halftoning Colorido

Dithering

original

Rudo uniforme

Pixel > padro: branco

Pixel < padro: preto

Imagem resultante (binria)

Amostragem (Sampling)

Pixel !

Quantizao e Amostragem
Resoluo Espacial
Define riqueza de detalhes da imagem

Resoluo de Profundidade
Define riqueza de meios-tons
Define cores

Tamanho da Imagem

Processo de Discretizao

4x

16x

Processo de Discretizao

256 tons de cinza

95
95
150
220

80
90
20
150

80
90
100
160

80
105
130
150

640h x 480v em 256 cores

320h x 240v em 256 cores

160h x 120v em 256 cores

80h x 60v em 256 cores

40h x 30v em 256 cores

640h x 480v em 256 tons de cinza

640h x 480v em 8 tons de cinza

640h x 480v - imagem binria

Resoluo Espacial

20km/pixel

10km/pixel

1 cm = 192 pixels, ou seja, 488 dpi

Resoluo em Profundidade
8 bits
24 bits
2 bits

Problemas amostragem: Aliasing

Artefatos devido a sub-amostragem ou
reconstruo ruim
Espacial
Temporal

Aliasing espacial

Jagged edges: efeito

escada

Aliasing Temporal
Efeitos de: Flickering: Monitor filmado na TV !
Strobing (luz estroboscpica): roda do carro girando
para trs na TV ou
noite !

t1

t2
strobing

Representao de Imagem
imagem = funo bidimensional da
intensidade de luz recebida
I = f(x,y), taxa de nvel de cinza
proporcional ao brilho da imagem
Binrias (0 - Preto, 1 - Branco)
Grey-scale (monocromticas, one-colour)
Coloridas, pseudo-colours...

Propriedades de uma imagem

Vizinhana
4-vizinhana: um pixel p tem 4 vizinhos
dois horizontais e dois verticais

N4(p)

8-vizinhana: N8(p) = N4(p) Nd(p), onde

Nd(p) o conjunto dos pixels na diagonal.

Propriedades de uma imagem

Conectividade
dois pixels esto conectados se so adjacentes
segundo algum critrio de vizinhana e se seus
nveis de cinza satisfazem um critrio de
similaridade.
4-conectado: p e q so similares e q N4(p)
8-conectado: p e q so similares e q N8(p)

Propriedades: distncias
Sejam os pixels p = (x,y), q = (s,t), z = (u,v). Uma
funo de distncia D tem as propriedades:
D(p,q) 0 (D(p,q) = 0, se e somente se p = q)
D(p,q) = D(q,p)
D(p,z) D(p,q) + D(q,z)

Distncia Euclidiana D(p,q) = sqrt [(x-s)2+(y-t)2]

Distncia D4 (city-block): D(p,q) = |x-s| + |y-t|
Distncia D8 (Tabuleiro de xadrez)
D(p,q) = max(|x-s|,|y-t|)

Operaes aritmticas e lgicas

Adio: g = p+q (overflow ?)
Subtrao: g = p-q (underflow)
Correo por
corrigir escala: g = 255 * (f - fmin) / (fmax-fmin)
Truncamento: valor mx = 255 e valor min = 0

Operaes lgicas

AND
OR
XOR
NOT
simples e bastante utilizadas.
http://www.dai.ed.ac.uk/HIPR2/and.htm

Alterao das dimenses

Scaling
ampliar ou reduzir a imagem segundo um fator
(igual para horizontal e vertical, ou no)

Sizing (ou resizing)

diz-se o novo tamanho da imagem, ao invs de
especificar o fator de ampliao/reduo.
Ampliao: zoom in (um pixel, se torna 4)
Reduo: zoom out (4 pixels se tornam 1)

Transformaes geomtricas
Seja o pixel de coordenada (x,y)
Translao: (x,y) = (x+x, y + y)
Rotao : x = x cos () + y sen ()
y = y cos () - x sen ()
Espelhamento (flip): reflexo.
Warping: projeo afim conforme um dado template
ou imagem...
http://www.dai.ed.ac.uk/HIPR2/reflect.htm

Crop, cut e paste

Cropping: selecionar poro de uma
imagem (rubberband)

Percepo Visual Humana

Envolve componentes fisiolgicos e
psicolgicos
Por que estud-lo?
Projetar algoritmos de compresso (reduzir qtd
de informao, retendo informao visual)
algoritmos de realce de imagem (sabendo-se
como funciona o sistema visual, pode-se
aplicar tcnicas que melhorem as imagens).

Sistema visual humano

Energia luminosa focalizada pelas lentes do
olho nos sensores da retina
Estes sensores respondem energia
luminosa por uma reao eletro-qumica
que envia um sinal eltrico ao crebro
atravs do nervo ptico
o crebro usa esses sinais para criar padres
neurolgicos que percebemos como
imagens.

Cores
Pode ser um poderoso descritor das
propriedades de um objeto -> segmentao
Humanos podem distinguir uma ampla
variedade de nuances de cores, enquanto
que poucos tons de cinza so perceptveis
(cerca de 100)
full colour ou pseudo-cor

Percepo de Cores
Fenmeno fsico-psicolgico
1666
Isaac Newton e o prisma de cores
Do violeta (+curta) ao vermelho (+ comprida) :
violeta, azul, verde, amarelo, laranja, vermelho

O que cor
Luz refletida pelo objeto
Ondas eletromagnticas: 400 700 nm
Corpo que reflete luz relativamente
balanceada em todos os comprimentos de
onda visvel parece branco ao observador

Luz Visvel
Ondas de 380 - 825 nanmetros
10-9: milionsimo do milmetro
resposta mnima acima de 700...

Dividas em trs bandas

Azul (400 - 500 nm)
Verde (500-600 nm)
Vermelho (600-700 nm)

Espectro eletromagntico
10

24

10

22

10

20

10

16

Ultra
violeta

10

14

10

Near
InfraVerm

Visvel

10

-16

10

violeta
400

500

10

IV

10

Verde

Radio

-10

Azul

10

MicroOndas

Raios Gama
Raios X

Amarelo

-2

Laranja

600

Comprimento em Nanmetros

10

Vermelho

700

Luz Acromtica

Ausncia de cor
nico atributo: intensidade
Brilho ou nvel de cinza ou intensidade
Nvel de cinza: medida escalar de
intensidade que vai do preto (0), passa pelos
cinzas, chegando ao branco (1)

Luz Cromtica
Comprimentos de onda: espectro de energia
entre 400:700 nm (nanmetros)
3 atributos:
Radiance : (Radiancia)
Luminance : (Luminncia)
Brightness : (Brilho)

Radiancia
Quantidade total de energia que flui da
fonte de luz
Medida em Watts (W)

Luminncia
Quantidade de energia que um observador
percebe a respeito da fonte de energia.
Exemplo: luz emitida em infra-vermelho
com bastante energia (radiance) pode ser
dificilmente notada por um observador
(baixa luminncia)
Medida em Lmens (lm)

Brilho
Descritor subjetivo, difcil de se medir
Engloba a noo acromtica de intensidade
Fator chave na sensao de cor
Ver modelos de cor...

Deve ser usado em referncias no

quantitativas a sensaes fisiolgicas e
percepo de luz.

Cores RGB e Paleta

RGB -> formato baseado na tricromaticidade da
viso humana, onde temos sensores para ondas
curtas (azul), mdias(verde) e longas(vermelho).

No modelo RGB a imagem constituda por 3 planos ou

canais, de 256 nveis de profundidade. Este modelo
denominado por true color ou 24bits pelos programas
grficos (Adobe, GIMP, etc.).

Modelo RGB
Curiosidade: o homem capaz de discernir at 6
mil cores, o modelo RGB suporta 224, cerca de 16
milhes de cores

Problemas do Modelo RGB

Quantidade de memria ocupada
Nos anos 70 e 80 as placas de vdeo no eram capazes de suportar
grandes volumes de memria.
Soluo, utilizao de paletas de cores.

Cores segundo olho humano

Cor: combinao varivel das 3 cores
primrias: vermelho, verde e azul.
Padrao CIE (Comission Internationale de l
Eclairage): comisso internacional de
iluminao
Azul: 435.8 nm
Verde: 546.1 nm
Vermelho: 700 nm

Cores de Luz, no cores de pigmento !

Cores de Luz: adio

Cores primrias (R,G,B) so adicionadas,
produzindo as cores secundrias de luz
Magenta: vermelho + azul
Cyan (turquesa): verde + azul
Amarelo: vermelho + verde

Branco:
Vermelho + verde + azul
Uma secundria + sua primria oposta !

Cores por adio

Cores por adio: um exemplo tpico so os televisores

http://www.mwit.ac.th/~physicslab/applet_01/library/30-7/index.html

Cores de pigmento
Cor definida como aquela que subtrai ou
absorve uma cor primria de luz e reflete as
outras duas.
Primrias: Magenta, Cyan e Amarelo
Preto:
Combinar as 3 primrias
Uma secundria + sua primria oposta
http://www.glenbrook.k12.il.us/gbssci/Phys/Class/light/u12l2d.html

Cores por subtrao

Magenta

Cyam (turquesa)

Yellow

Cores so geradas subtraindo-se o comprimento da onda dominante da luz branca,

por isso, a cor resultante corresponde luz que refletida

Impressoras utilizam este sistema

Cor na paleta de um pintor

Perda de luminncia.
A cor vai perdendo
seu brilho.

Formao de cores por pigmentao

Fatores de Distino de Cores

Brilho, Matiz e Saturao
Brilho: noo acromtica nas cores
Matiz: onda dominante da cor, isto , o
vermelho, o laranja, etc.
Saturao: quantidade de branco adicionada ao
matiz: Maior saturao, Menor qtd de branco

Cor

Cor
Luminosidade: associada quantidade de
luz refletida por um objeto
- reflete mais -> mais branco
- absorve mais -> mais escuro (preto)
- depende do objeto
Brilho(brightness): depende da iluminao
(emissor)
Luminosidade (preto-branco) e brilho (escuro-claro)
http://www.cambridgeincolour.com/tutoriais/histogramas2.htm

Cromaticidade
Matiz + Saturao
Cor: cromaticidade + brilho.
A, B C : valores de estmulo de cada cor RGB
Coeficientes tri-cromticos:

Diagrama de Cromaticidade do CIE

Imagens coloridas
Modeladas por 3 bandas monocromticas
de dados
Cada banda
uma cor.
Dado
brilho do espectro de cada
banda
8 bits por banda
24 bpp
RGB nem sempre natural ao homem.

Imagens Coloridas
Teoria Tricromtica: possivel formar uma
cor arbitrria super-impondo trs cores
bsicas
as 3 cores primrias (R, G, B) so
projetadas numa regio comum para
reproduzirem a cor desejada;
quaisquer 3 cores podem ser primrias
desde que elas sejam independentes entre si.
Nenhuma pode ser mistura das outras duas

Modelo RGB
Preto
B (0,0,1)

Cyan
Branco

Magenta
G (0,1,0)
R (1,0,0)

Amarelo

Indexada: Pseudocolor

Indexada: True color: 3 LUT (look up tables)

Modelo Perceptual
A deep, bright orange: um laranja claro e realado (profundo)
Luminncia

Matiz
A cor:
Laranja
Onda
dominante

Alta intensidade: claro

Saturao
Alta saturao:
deep (profundo)
Diluio de luz branca
na cor

RGB (A deep, bright orange): R-245, G-110, B-20

Modelo Perceptual HSV

Formatos de arquivos para

imagens digitais
Diversos formatos

requisitos diferentes, vrios tipos de imagens

razes de mercado
software proprietrio
falta de coordenao da indstria de imagens

Computao Grfica
imagens bitmap e imagens vetores (vector
images)

Formatos
Bitmap (raster images)
I(r,c): pixel armazena o valor do brilho.

Vector images
representao de linhas, curvas e formas
armazena os pontos chaves
rendering (renderizao)

Imagem Vetorial
Consiste de uma lista de comandos grficos, que quando
executados desenham o correspondente imagem
As imagens so simples, devido ao seu processo de formao
Exemplos: Corel Draw (.cdr), Flash, windows metafile
(.wmf)

LEGAL !

 A imagem vetorial definida atravs de uma linguagem

grfica que representa a estrutura do desenho atravs de
formas geomtricas: crculos, pontos, retngulos, tringulos,
linhas, etc.
ex: desenho abaixo
circulo (10,10,300, rgb= amarela) (posio, raio, cor)
box (10,20,287,98, rgb=vermelha)
box (10,10,200,210,azul)
triangulo (10,10,40,40, 59,80,rgb=azul)
text (30,87,tipo de letra, tamanho da letra, texto que vai
aparecer, rgb)

LEGAL !

Imagem Mapa de Bits (raster)

No formato bitmap a matriz que representa a imagem
armazenada na memria.

Este formato o mais utilizado em processamento de imagens, uma vez que

permite representar imagens reais ou seja adquiridas por um processo de
digitalizao.

Exemplos: BMP, JPG, TIFF, PCX, GIF, PNG

 De que forma o pixel armazenado?

Na memria de vdeo a imagem representada como uma matriz,
onde cada elemento um pixel.

O tamanho das clulas variam de acordo com a profundidade

e nmero de cores.
Ex: uma imagem mapa de bit de 3 x 4 pixels true color
(RGB)
IMAGEM AMPLIADA

...
...
...

MATRIZ

255,255,255
0,0,0
0,0,0
0,0,0

255,0,0
0,0,0
0,0,0
255,255,255

255,255,255
0,0,0
0,0,0
0,0,0

Imagens Bitmap
BIN (raw image, sem cabealho)
PPM (raw data + cabealho simples)
PBM(binrio), PGM(grey-scale), PNM (ambos)

TIFF (Tagged Image File format) 24 bpp +

compresso (LZW, RLE, JPEG)
GIF (Graphics Interchange Format) 8 bpp +
compresso LZW.

Imagens Bitmap
JPEG: Joint Photographic Experts Group
JFIF: JPEG Interchange Format
utiliza compresso jpeg

Sun raster (Sun)

SGI (Silicon Graphics)

Formato geral de um arquivo de

imagem
Cabealho
Paleta

Dados

Imagem indexada de 256 cores

IMAGEM AMPLIADA

...
...
...
...

MATRIZ na memria do computador

PALETA de CORES
255,255,255 255,0,0
0,0,0
1

Dados da Imagem

3
1
3
3
3

2
3
3
1

3
3
3
3