D Almeida LL

unesp UNIVERSIDADE ESTADUAL PAULISTA
Campus de Presidente Prudente

Faculdade de Ciências e Tecnologia
Programa de Pós Graduação em Ciências Cartográficas
"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

PARTIR DE SEQÜÊNCIAS DE IMAGENS"
Dissertação apresentada ao Programa de Pós

Graduação em Ciências Cartográficas da
Faculdade de Ciências e Tecnologia da
Universidade Estadual Paulista, Unesp, como
parte dos requisitos exigidos para a obtenção do
título de Mestre em Ciências Cartográficas.
AUTOR: LEANDRO LUIZ DE ALMEIDA
ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI
Presidente Prudente
Julho, 2001
Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” i
"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

PARTIR DE SEQÜÊNCIAS DE IMAGENS"
Dissertação apresentada ao Programa de

Pós Graduação em Ciências Cartográficas
da Faculdade de Ciências e Tecnologia da
Universidade Estadual Paulista, Unesp,
como parte dos requisitos exigidos para a
obtenção do título de Mestre em Ciências
Cartográficas.
AUTOR: LEANDRO LUIZ DE ALMEIDA
ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI
Presidente Prudente
Julho, 2001
Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” ii
FICHA CATALOGRÁFICA
Almeida, Leandro Luiz de

Tommaselli, Antonio Maria Garcia
Geração de Imagens de Melhor Resolução a Partir de Seqüências
de Imagens
Leandro Luiz de Almeida. Presidente Prudente. UNESP/FCT,
2001. 132 p.
Dissertação (Mestrado) - UNESP, Faculdade de Ciências e
Tecnologia, Presidente Prudente, 2001.
1. Restauração;
2. Super Resolução;
3. Seqüência de Imagens.

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” iii
TERMO DE APROVAÇÃO
LEANDRO LUIZ DE ALMEIDA
“GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A PARTIR DE SEQÜÊNCIAS

DE IMAGENS"
Comissão Julgadora
Dissertação para obtenção do título de Mestre
Dr. Antonio Maria Garcia Tommaselli

Presidente da Comissão
Dr. Quintino Dalmolin

2o Examinador
Dr. João Fernando Custódio da Silva

3o Examinador

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” iv
DEDICATÓRIA
Dedico este trabalho, primeiramente a Deus e Nossa Senhora Aparecida;
Aos meus Pais, Jorge e Vera, aos meus Irmãos, Fernando e Belisa, e a minha
Avó Albertina, que sempre me apoiaram, incentivaram e sofreram para o alcance dos
objetivos e metas propostos;
A Karina que soube entender os momentos que não pude estar ao seu lado
quando mais precisava, além do apoio e confiança recebidos, inclusive da D. Dirlei,
com palavras amigas e confiantes.

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” v
AGRADECIMENTOS
Ao meu orientador Prof. Dr. Antonio Maria Garcia Tommaselli pela dedicação,
interesse e preocupação demonstrada durante o desenvolvimento deste trabalho;
Aos meus Familiares, que jamais deixaram de acreditar e de me apoiar durante
este período, em especial, ao meu Primo João Gabriel (in memorian) e ao meu Tio
Paulino (in memorian) que presenciaram o início, mas não o final deste;
Aos meus grandes Amigos paranaenses, Ademir Carniel, Claudiney, Mara,
Franz Sérgio, Vaneide, Simone, Josemar, Dagmar e Marcelo, que sempre
demonstraram apoio e preocupação;
Aos meus grandes Amigos paulistas, Toninho, Flávia, André, Patrícia Scalco,
Haroldo, Danielle, Silvio, Luciana, Moacir, Wagner, Luiz Henrique, Rodolfo e Lincoln,
que não mediram esforços nos momentos que mais precisei. Em especial, agradeço ao
Emerson, Flávio Pandur, Ronaldo e Rogério, que deram o suporte necessário para que
conseguisse êxito, principalmente, nesta reta final do trabalho;
Aos meus Amigos e Colegas de Mestrado, em especial, a Turma de 1998, que
de forma direta ou indireta, me incentivaram durante o desenvolvimento deste trabalho;
Aos Funcionários e Professores da Faculdade de Informática de Presidente
Prudente, pela colaboração prestada nos serviços necessitados;
Aos Funcionários e Professores da Unesp/FCT, pelos auxílios prestados;
Enfim, a todas as demais pessoas, mesmo que de forma discreta, contribuíram
para a realização deste trabalho.

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” vi
SUMÁRIO
Página
FOLHA DE ROSTO .......................................................................................................... i
FICHA CATALOGRÁFICA ................................................................................................ ii
TERMO DE APROVAÇÃO................................................................................................ iii
DEDICATÓRIA.................................................................................................................. iv
AGRADECIMENTOS ........................................................................................................ v
SUMÁRIO ......................................................................................................................... vi
LISTA DE FIGURAS ......................................................................................................... viii
LISTA DE TABELAS ......................................................................................................... xiii
RESUMO .......................................................................................................................... xiv
ABSTRACT ....................................................................................................................... xv
CAPÍTULO 1 – INTRODUÇÃO
1.1 CONSIDERAÇÕES PRELIMINARES ........................................................................ 01

1.2 OBJETIVOS ................................................................................................................ 02
1.3 JUSTIFICATIVA .......................................................................................................... 03
1.4 APRESENTAÇÃO DA ESTRUTURA DO TRABALHO................................................ 03
CAPÍTULO 2 – OPERAÇÕES BÁSICAS EM IMAGENS DIGITAIS
2.1 FORMAÇÃO DA IMAGEM ......................................................................................... 04

2.2 MANIPULAÇÃO DE IMAGENS DIGITAIS .................................................................. 07
2.3 OPERAÇÕES PIXEL A PIXEL ................................................................................... 10
2.4 TÉCNICAS DE AMPLIAÇÃO DE IMAGENS .............................................................. 11
CAPÍTULO 3 – RETIFICAÇÃO E RESTAURAÇÃO DE IMAGENS
3.1 REGISTRO DE IMAGENS ......................................................................................... 15

3.2 O PROCESSO PARA O REGISTRO DE IMAGENS (DOMÍNIO DO ESPAÇO) ......... 17
3.2.1 IDENTIFICAÇÃO DE PONTOS DE CONTROLE (MATCHING) ........................ 18

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” vii
3.3 TRANSFORMAÇÕES ................................................................................................ 21

3.4 TÉCNICAS DE INTERPOLAÇÃO .............................................................................. 28
3.4.1 INTERPOLAÇÃO PELO VIZINHO MAIS PRÓXIMO .......................................... 29
3.4.2 INTERPOLAÇÃO UTILIZANDO A MÉDIA .......................................................... 30
3.4.3 INTERPOLAÇÃO BILINEAR .............................................................................. 31
3.4.4 INTERPOLAÇÃO BICÚBICA ............................................................................. 32
3.5 PROCESSOS PARA GERAÇÃO DE IMAGENS DE ALTA RESOLUÇÃO A PARTIR
DE SEQÜENCIAS DE IMAGENS .............................................................................. 33
CAPÍTULO 4 – MATERIAIS E MÉTODOS
4.1 MATERIAIS UTILIZADOS NO DESENVOLVIMENTO ............................................. 43

4.2 METODOLOGIA DO TRABALHO............................................................................. 44
4.2.1 ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS
SIMULADOS ..................................................................................................... 45
4.2.2 ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS
REAIS................................................................................................................ 46
4.2.3 IMPLEMENTAÇÃO COMPUTACIONAL ........................................................... 52
CAPÍTULO 5 – EXPERIMENTOS E RESULTADOS
5.1 EXPERIMENTOS COM DADOS SIMULADOS .......................................................... 55

5.2 EXPERIMENTOS COM DADOS REAIS .................................................................... 79
CAPÍTULO 6 – CONCLUSÕES E SUGESTÕES ............................................................ 112
REFERÊNCIAS BIBLIOGRÁFICAS ................................................................................ 114
BIBLIOGRAFIA CONSULTADA ...................................................................................... 117

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” viii
LISTA DE FIGURAS
FIGURA 2.1 – Os componentes iluminância (I) e refletância (R) de uma imagem .......... 04
FIGURA 2.2 – Representação de um exemplo de imagem digital utilizando-se dados

com 8 bits, conseqüentemente com 256 níveis de brilho ........................ 09
FIGURA 2.3 – Exemplo de representação de uma imagem digital utilizando-se dados

com 24 bits .............................................................................................. 10
FIGURA 2.4 – Operações lógicas e/ou aritméticas pixel a pixel ..................................... 10
FIGURA 2.5 – Expansão de um pixel em 4(zoom 2x) utilizando a replicação ................ 11
FIGURA 2.6 – Expansão de um pixel em 4 (zoom 2x) utilizando a média ...................... 12
FIGURA 2.7 – Demonstração do processo de reamostragem através da Média ........... 12
FIGURA 2.8 – Representação de uma imagem ampliada através da Interpolação

Bilinear ..................................................................................................... 14
FIGURA 3.1 – Esquema geral para execução do Registro de Imagens ......................... 16
FIGURA 3.2 – Identificação Baseada em Área................................................................. 20
FIGURA 3.3 – Condição de colinearidade de O, p e P. oxyz, representa o sistema

fotogramétrico; OXYZ um sistema cartesiano local; f é a distância focal;
p é o ponto imagem e P é um ponto do espaço-objeto ............................ 25
FIGURA 3.4 – Imagem que representa o mapeamento utilizando a equação de

colinearidade inversa ............................................................................... 27
FIGURA 3.5 – Imagem que representa o mapeamento inverso utilizando a equação de

colinearidade ........................................................................................... 28
FIGURA 3.6 – Reamostragem: (a) Pixels na grade original; (b) Posição dos pixels
transformados sobrepostos na grade original; (c) Ajustamento da grade
transformada sobre a grade original......................................................... 29
FIGURA 3.7 – Interpolação pelo Vizinho Mais Próximo .................................................. 30
FIGURA 3.8 – Representação da sub-imagem ............................................................... 30
FIGURA 3.9 – Interpolação Bilinear.................................................................................. 31
FIGURA 3.10 – Interpolação Bicúbica .............................................................................. 32
FIGURA 3.11 – Os quatro passos para geração de imagens de super resolução .......... 38

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” ix
FIGURA 3.12 – O processo geral do algoritmo do fluxo ótico na determinação de

imagens de super resolução................................................................... 39
FIGURA 3.13 – Esquema detalhado para obter a imagem de super resolução pelo
algoritmo do fluxo ótico........................................................................... 40
FIGURA 3.14 – Esquema do software desenvolvido ....................................................... 41
FIGURA 4.1 – Visão geral das etapas de geração das imagens ..................................... 45
FIGURA 4.2 – Fluxograma do programa de Transformação Projetiva............................. 47
FIGURA 4.3 – Fluxograma do programa de Resseção Espacial ..................................... 48
FIGURA 4.4 – Processo de retificação das imagens ....................................................... 49
FIGURA 4.5 – Fusão pelo Método da Média entre os pixels das imagens que
pertencem à cena ..................................................................................... 50
FIGURA 4.6 – Processo para geração de imagens superamostradas através de

Interpolação Bilinear .................................................................................. 51
FIGURA 4.7 – Janela principal da ferramenta implementada........................................... 54
FIGURA 5.1 – Processo de geração das imagens simuladas para a geração de uma
imagem de alta resolução......................................................................... 55
FIGURA 5.2 – Processo geral, que envolve a simulação de uma seqüência de imagens
e geração da imagem de alta resolução.................................................... 56
FIGURA 5.3 – Ampliação utilizando a replicação ............................................................ 57
FIGURA 5.4 – Detalhe da imagem ampliada na FIGURA 5.3........................................... 58
FIGURA 5.5 – Erro médio quadrático entre a imagem original e a imagem gerada pela
interpolação pelo Vizinho Mais Próximo ................................................... 58
FIGURA 5.6 – Ampliação utilizando a Média Aritmética entre os pixels .......................... 59
FIGURA 5.7 – Detalhe da imagem ampliada na FIGURA 5.6........................................... 59
FIGURA 5.8 – Erro médio quadrático gerado pela diferença entre a imagem original e a
imagem superamostrada pelo método da Média Aritmética..................... 60
FIGURA 5.9 – Ampliação pela Interpolação Bilinear ........................................................ 60
FIGURA 5.10 – Detalhe da imagem ampliada na FIGURA 5.9......................................... 61
FIGURA 5.11 – Erro médio quadrático gerado pela diferença entre a imagem original e
a imagem superamostrada pelo método da Interpolação Bilinear.......... 61

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” x
FIGURA 5.12 – Imagem utilizada para gerar uma seqüência simulada de imagens a
partir de deslocamentos em x e y........................................................... 62
FIGURA 5.13 – Resultado da imagem de super resolução, por meio do modelo de

colinearidade, com base na seqüência de imagens simulada ............... 64
FIGURA 5.14 – Ampliação das regiões em destaque nas imagens representadas na

FIGURA 5.13 .......................................................................................... 65
FIGURA 5.15 – Diferença entre a imagem original e a imagem de super resolução

gerada com base na seqüência de imagens simulada pelo
Modelo de Colinearidade ...................................................................... 66
FIGURA 5.16 – Resultado da imagem de super resolução, por meio da

Transformação Projetiva, com base na seqüência de imagens
simulada, pelo método da média ............................................................. 67

FIGURA 5.16 .......................................................................................... 68
FIGURA 5.18 – Imagem de diferenças entre a imagem original e a imagem de super

resolução, gerada por meio da transformação projetiva e pelo método
da Média ................................................................................................. 69
FIGURA 5.19 – Imagem de diferenças entre a imagem gerada pelo modelo de

colinearidade e a gerada por meio da transformação projetiva e pelo
método da média .................................................................................... 70
FIGURA 5.20 – Resultado da imagem de super resolução, obtida por meio da

transformação projetiva e pelo método de minimização dos erros
(-1,0,+1), com base na seqüência de imagens simulada ....................... 72
FIGURA 5.21 – Ampliação das regiões em destaque nas imagens apresentadas na

FIGURA 5.20 ......................................................................................... 73

gerada, com base na seqüência de imagens simulada, pelo método de
minimização dos erros (-1,0,+1) ............................................................. 74
FIGURA 5.23 – Resultado da imagem de super resolução, gerada pela transformação

projetiva e com o método de minimização dos erros (-5,0,+5), com base
na seqüência de imagens simulada ........................................................ 75

FIGURA 5.23 .......................................................................................... 76

gerada pelo método de minimização dos erros (-5,0,+5), com base na
seqüência de imagens simulada ............................................................. 77

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” xi
FIGURA 5.26 – Diferença entre as imagens de super resolução geradas pelos métodos
de minimização dos erros variando entre (-1,0,+1) e (-5,0,+5), com
base na seqüência de imagens simulada............................................... 78
FIGURA 5.27 – Imagens que compõem uma cena com ruídos ....................................... 80

transformação projetiva e pelo método da média, com base na
seqüência de imagens com ruídos ......................................................... 81

FIGURA 5.28 .......................................................................................... 82

gerada com base na seqüência de imagens com ruídos, pelo método
da média ................................................................................................. 83
FIGURA 5.31 – Ampliação de parte das imagens original(a), referência(b) e da imagem

de super resolução gerada pelo método de minimização de erros
(-5,0,+5), com base na seqüência de imagens com ruídos.................... 84
FIGURA 5.32 – Seqüência de imagens originais adquiridas com a câmara digital Kodak
DC-40...................................................................................................... 85
FIGURA 5.33 – Resultado obtido pelo modelo de colinearidade e fusão pela média
aritmética dos pixels correspondentes ................................................... 88
FIGURA 5.34 – Diferença entre as imagens original e a resultante, registrada e

retificada pelo modelo de colinearidade ................................................. 89
FIGURA 5.35 – Resultado obtido pela fusão por meio da média dos níveis de brilho das
imagens pertencentes à seqüência, utilizando-se da transformação
projetiva .................................................................................................. 92

FIGURA 5.35 .......................................................................................... 93
FIGURA 5.37 – Representação visual e numérica da diferença entre as imagens

original e a resultante ............................................................................. 94
FIGURA 5.38 – Resultado obtido a partir da imagem original pela transformação

projetiva com o método de minimização de erros (-5,0,+5).................... 95

FIGURA 5.38 .......................................................................................... 96

original e a resultante ............................................................................. 98

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” xii
DC-210.................................................................................................... 99
FIGURA 5.42 – Resultado obtido pela fusão através da média dos níveis de brilho das
imagens da seqüência registradas e retificadas pela transformação
projetiva .................................................................................................. 104

FIGURA 5.42 .......................................................................................... 105

original e a resultante, por meio da fusão pela média ............................ 106
FIGURA 5.45 – Resultado obtido a partir da imagem superamostrada pela

média, conforme figura 5.42(c), pelo método de minimização de erros
(-5,0,+5) .................................................................................................. 107

FIGURA 5.45 .......................................................................................... 108

original e a resultante pela minimização de erros (-5,0,+5).................... 109

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” xiii
LISTA DE TABELAS
TABELA 5.1 – Parâmetros de translação definidos para a geração de uma seqüência

simulada de imagens ................................................................................ 63
TABELA 5.2 – Resíduos entre as coordenadas medidas e as ajustadas pela resseção

espacial..................................................................................................... 86
TABELA 5.3 – Parâmetros ajustados para o registro e retificação das imagens pelo
modelo de colinearidade........................................................................... 87
TABELA 5.4 – Resíduos entre as coordenadas medidas e as ajustadas pela

transformação projetiva nas imagens adquiridas pela câmara Kodak
DC-40........................................................................................................ 90
TABELA 5.5 – Parâmetros de transformação para o registro e retificação das imagens,

determinados pela transformação projetiva.............................................. 91

transformação projetiva nas imagens adquiridas pela câmara Kodak
DC-210...................................................................................................... 101
TABELA 5.7 – Parâmetros ajustados para o registro e retificação das imagens,

determinados pela transformação projetiva............................................... 102
TABELA 5.8 – Síntese das principais características dos experimentos ......................... 110

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” xiv
ALMEIDA, L.L.. Geração de imagens de melhor resolução a partir de seqüências de

imagens. Presidente Prudente, 2001. 132 p. Dissertação de Mestrado - Faculdade de
Ciências e Tecnologia, Campus de Presidente Prudente, Universidade Estadual
Paulista.
RESUMO
Para extrair informações a partir de imagens deve-se observar, em primeira

instância, a resolução e aplicação da mesma. Essa resolução depende, basicamente,
das características físicas do sensor responsável pela captura dessas imagens, ou
seja, a disposição das lentes, resolução radiométrica, posicionamento, dimensões do
mesmo, que determina o tamanho do pixel, dentre outros fatores técnicos. A análise
das imagens adquiridas por um sensor de baixa qualidade fica comprometida,
necessitando do auxílio de técnicas que permitam a geração de imagens de alta
resolução a partir de uma seqüência de imagens, para recuperar informações desta
cena. Isso é útil em várias aplicações, como para a identificação de placas de veículos,
identificação facial de pessoas suspeitas em imagens de circuito fechado, e também na
geração de imagens aéreas de alta resolução, a partir de uma seqüência de imagens.
Para se estabelecer uma imagem de alta resolução utilizando-se de uma
seqüência, há a necessidade de se estabelecer os parâmetros de registro das imagens
para se retificar todas em relação à de referência. No contexto deste trabalho, para o
registro e retificação, foram utilizados o modelo de colinearidade e a transformação
projetiva. Depois de estabelecida a retificação, o processo de fusão foi executado de
duas maneiras: pela média aritmética entre os níveis de brilho dos pixels e pelo método
de minimização dos erros a partir de uma imagem de alta resolução inicial. Todas
estas etapas, com exceção do registro das imagens, foram implementadas no
ambiente Borland C++ Builder 4.0. Os experimentos foram realizados com dados
simulados e reais, obtendo-se resultados satisfatórios, particularmente, com a
utilização da transformação projetiva para a execução do registro e retificação das
imagens.
Palavras-chave: Restauração; Seqüência de Imagens; Resolução; Super

Resolução.

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” xv
ALMEIDA, L.L.. Geração de imagens de melhor resolução a partir de seqüências de

imagens. Presidente Prudente, 2001. 132 p. Dissertação de Mestrado - Faculdade de
Ciências e Tecnologia, Campus de Presidente Prudente, Universidade Estadual
Paulista.
ABSTRACT
Resolution and the target application have to be considered when using

images to extract information.
The resolution is dependent on the image sensor’s characteristics: the
lens position; radiometric resolution; localization; pixel size and others. The analysis of
images obtained by a low quality sensor is troublesome, becoming necessary the use
of techniques for image restoration, for example, fusion of a sequence of low resolution
registered images. This technique can have several applications such as, identification
of vehicles, facial identification and generation of high quality aerial images.
The generation a high-resolution image using a sequence of images
requires the computation of the transformation parameters (registration) for rectification
using one of the images as a reference. In this work, the registration and the
rectification were performed using the colinearity model and the projective
transformation. After the rectification, the fusion process was accomplished using two
approaches: arithmetic mean of gray levels and error minimization using an initial high
resolution image. All proposed tasks, except the registration step, were implemented
using C++ Builder 4.0 environment. The experiments were performed using simulated
and real data, obtaining suitable results, especially using the projective transformation
for the images registration and rectification.
Keywords: Restoration; Image Sequence; Resolution; High-Resolution.

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens” 1
CAPÍTULO 1
INTRODUÇÃO
1.1. CONSIDERAÇÕES PRELIMINARES
Várias áreas do conhecimento que se utilizam de análise de imagens,

deparam com um problema muito comum, que é o das imagens com baixo nível de
resolução radiométrica (quantidade de níveis de cinza da imagem está sendo exibida
ou armazenada) e geométrica (quantidade de pixels por unidade linear), as quais
dificultam a visualização precisa dos fenômenos imageados. Essas imagens de baixa
resolução podem levar a uma decisão sem a precisão almejada.
Esses baixos níveis de resolução geométrica e/ou radiométrica são
causados por diversos fatores, sendo que alguns deles são citados abaixo:
• A resolução do sensor;
• O equipamento que irá adquirir a imagem não apresenta uma boa
qualidade ou recursos especiais que facilitam a obtenção da mesma;
• Distorção ou aberração das lentes da câmara;
• Durante a obtenção da imagem pode ocorrer um certo deslocamento
do equipamento, que afeta a qualidade da imagem;
• Efeitos naturais, como excesso ou carência de luz.
Devido a esses fatores, busca-se, através do estudo de técnicas de

Processamento Digital de Imagens e Fotogrametria, minimizar a falta de nitidez na
determinação dos alvos de interesse que necessitam ser analisados.
Esse trabalho traz um estudo sobre a análise de seqüências de imagens
de uma mesma cena, onde, através dessa análise, pode-se criar uma imagem com um
alto padrão de resolução, a partir da transformação e fusão de várias imagens. Trata-
se de uma técnica de Restauração, uma vez que se tenta estimar a função imagem
original.

Existem várias situações de seqüência de imagens de baixa resolução,

que normalmente, necessita-se observar detalhes que não são possíveis sem um
tratamento adequado aplicado à mesma, por exemplo, uma imagem capturada da
placa de um veículo em movimento.
Por outro lado, quando se dispõe de uma seqüência de imagens, em
posições próximas, seria possível realizar uma super amostragem, ou seja, melhorar a
resolução dessa imagem para que os detalhes sejam definidos claramente.
É o que o olho humano faz com imagens de TV, por exemplo, onde se
tem a sensação de uma resolução maior quando se observa uma seqüência animada
do que quando se olha quadro a quadro, ficando a impressão de uma imagem borrada,
ou seja, não nítida.
O desenvolvimento de técnicas que permitem a geração de imagens de
alta resolução a partir de uma seqüência de imagens, tem sido útil em várias
aplicações, como para a identificação de placas de veículos, identificação facial de
pessoas suspeitas ("criminosos") em imagens de circuito fechado, na geração de
imagens aéreas de alta resolução a partir de imagens de vídeo ou câmara fotográfica,
para a determinação de diagnósticos por meio de imagens médicas, e também, na
reconstrução de filmes antigos, onde se procura minimizar a quantidade de ruídos e
borramentos que aparecem em cada frame projetado.
1.2. OBJETIVOS
O objetivo desse trabalho é o desenvolvimento de uma ferramenta de

apoio aos profissionais que utilizam imagens digitais para a obtenção de imagens de
melhor resolução radiométrica e geométrica, evitando-se assim, problemas causados
pela má identificação dos alvos envolvidos.
Essa ferramenta permitirá a geração de uma nova imagem com super resolução, ou
seja, uma imagem ampliada geometricamente (tamanho) e radiometricamente (nitidez).
Isto é possível a partir de seqüências de imagens com menor resolução e pertencentes
à cena avaliada, que sofrerão transformações e interpolações tendo uma delas como
referência.

O processo utilizado para gerar a imagem de super resolução se utiliza da associação

de técnicas de Fotogrametria, Computação Gráfica e Processamento de Imagens,
buscando-se adaptar e comparar os métodos estudados.
1.3. JUSTIFICATIVA
As imagens digitais, podem não apresentar uma resolução radiométrica

e/ou geométrica satisfatórias para a análise de alvos, seja devido a fatores naturais
como excesso de luz, ou até mesmo pelas características do mecanismo que está
sendo utilizado para obter essas imagens. Por intermédio da ferramenta desenvolvida,
é possível que essas imagens de má qualidade sejam reaproveitadas, ou seja, tendo-
se uma seqüência de imagens de má qualidade, é possível que se obtenha uma com
qualidade superior às que estão sendo analisadas. O nível de brilho de cada ponto da
imagem de maior nível de resolução, é determinado pela fusão dos pontos
correspondentes nas outras imagens, todas transformadas (retificadas).
1.4. APRESENTAÇÃO DA ESTRUTURA DO TRABALHO
O trabalho está organizado da seguinte forma:

a) No capítulo dois, há uma revisão da literatura sobre os métodos utilizados para
manipular as imagens a serem analisadas, considerando-os úteis para a
implementação da ferramenta;
b) No capítulo três, encontram-se alguns processos para a realização de
retificação e restauração de imagens, descrevendo-se todas as etapas, tais
como, o processo de registro de imagens, as técnicas de interpolação mais
usuais e os métodos para a geração de imagens de super resolução com base
nas referências consultadas;
c) No capítulo quatro, é feita uma breve descrição dos equipamentos utilizados e
das metodologias empregadas;
d) No capítulo cinco, são mostrados experimentos com dados reais, utilizando-se a
ferramenta desenvolvida;
e) A elaboração de uma conclusão sobre os objetivos e resultados alcançados,
além de sugestões para novas implementações, encontra-se no capítulo seis.

CAPÍTULO 2
OPERAÇÕES BÁSICAS EM IMAGENS DIGITAIS
2.1. FORMAÇÃO DA IMAGEM
O processo de formação de uma imagem está diretamente associado aos

fatores de iluminação, das características da cena (dimensão, grau de reflexão, etc) e
do sistema ótico (lentes, espelhos, foco, etc) utilizado para aquisição.
Segundo Gonzales & Woods (1993), a aquisição de uma imagem
monocromática pode ser descrita matematicamente por uma função f(x,y) da
intensidade luminosa, sendo seu valor, em qualquer ponto de coordenadas espaciais
(x,y), proporcional ao brilho (ou nível de cinza) da imagem naquele ponto. A função
f(x,y) representa o produto da interação entre a iluminância i(x,y) – que exprime a
quantidade de luz que incide sobre o objeto – e as propriedades de refletância ou de
transmitância próprias do objeto, que podem ser representadas pela função r(x,y), cujo
valor exprime a fração de luz incidente que o objeto vai transmitir ou refletir ao ponto
(x,y). Estes conceitos estão ilustrados na figura 2.1 e na equação 2.1.
FIGURA 2.1 – Os componentes iluminância (I) e refletância (R) de uma imagem

(Fonte: adaptada de Gonzales & Woods, 1993).
Matematicamente, tem-se:
f (x,y) = i(x,y) * r(x,y) (2.1)
com: 0 < i(x,y) < ∞ e 0 < r(x,y) < 1.

Quanto mais próximos de seus limites máximos, i(x,y) e r(x,y) estiverem,

apresentarão tonalidades mais claras, e quanto mais próximos de seus limites
inferiores (zero) apresentarão níveis de brilho tendendo ao preto.
Com isso, Gonzales & Woods (1993) definem a aquisição de imagens,
como o processo que converte uma cena real tridimensional em uma imagem
bidimensional.
Um dos primeiros passos para se converter uma cena real tridimensional
em uma imagem digital é a redução de sua dimensionalidade e isso pode ser feito com
uma câmara fotográfica, câmara de vídeo ou qualquer outro dispositivo que converterá
uma cena 3D em uma representação 2D adequada.
O dispositivo de aquisição direta de imagens digitais é a câmara CCD
(Charge Coupled Device). A imagem é obtida por uma matriz de células
semicondutoras fotossensíveis, que atuam como capacitores, armazenando carga
elétrica proporcional à energia luminosa incidente. O sinal elétrico produzido é
dependente dos circuitos eletrônicos especializados, produzindo à saída, um Sinal
Composto de Vídeo (SCV) analógico e monocromático.
Para a aquisição de imagens coloridas utilizando CCD’s, é necessário um
conjunto de prismas e filtros de cor encarregados de decompor a imagem colorida em
suas componentes R (Red), G (Green) e B (Blue), cada qual capturada por um CCD
independente (Nince, 1991).
Após o processo de aquisição, o sinal analógico deve ser submetido a
uma discretização espacial e em amplitude para tomar o formato adequado ao
processo computacional.
O processo de discretização espacial pode ser chamado de amostragem e o
processo de discretização em amplitude pode ser chamado de quantização (Gonzales
& Woods, 1993).
Basicamente, a amostragem converte a imagem analógica em uma
matriz de M por N pontos, cada qual denominado pixel (ou elemento de imagem):
 f (0,0) f (0,1) Λ
... f (0, N − 1) 

f (1, N − 1) 
...
f (1,0) f (1,1) Λ
f ( x, y) =  (2.2)
 M M M M 
 
 f ( M − 1,0) f ( M − 1,1) Λ... f ( M − 1, N − 1)

Quanto maiores forem os valores de M e N , maior será a resolução

espacial da imagem, conforme 2.2.
A quantização faz com que cada um desses pixels f(x,y) assuma um valor
inteiro, na faixa de 0 a (2n – 1). Quanto maior for o valor de n, maior o número de níveis
de cinza presentes na imagem digitalizada. Neste caso, define-se, por meio de uma
abordagem matemática, que haverá um uma imagem f(x,y), onde f é um número inteiro
positivo que determina o nível de brilho a cada coordenada (x,y) que se refere à
posição deste (Gonzales & Woods, 1993).
Uma conversão analógica/digital, também conhecida como digitalização,
sob o ponto de vista eletrônico, produz um número de amostras do sinal contínuo por
unidade de tempo, indicando a taxa de amostragem.
Durante a formação da imagem, já se pode observar degradações na
mesma, causadas pelos fatores descritos a seguir, conforme Tommaselli (1998):
§ Aberrações das lentes das câmeras: podem causar um borramento na imagem,
onde, um ponto projetado aparece, de forma geral, como uma elipse. Essas
aberrações são denominadas como:
§ Aberração esférica: ocorre somente em pontos presentes no eixo
ótico;
§ Astigmatismo: um ponto aparece como duas pequenas linhas fora
do eixo ótico e em diferentes planos, ou seja, formam-se duas
imagens de um mesmo objeto;
§ Coma: é similar à aberração esférica, mas ocorre em pontos que
não estão no eixo ótico. Este fenômeno gera uma imagem que se
assemelha à de um cometa;
§ Aberração cromática: em relação às descritas acima, é a única que
não considera, apenas, a luz monocromática. Por isso, é causada
pela dispersão das componentes que formam uma cor.
§ Difração: um ponto projetado, forma um disco com anéis concêntricos;
§ Desfocalização: pode causar uma imagem borrada;
§ Arrastamento: gera um borrão na imagem;
§ Ruídos do sistema eletrônico de aquisição;
§ Resolução do sistema;
§ Distorções geométricas: ocorre com a distorção das lentes e se classificam em
radial simétrica e descentrada.

2.2. MANIPULAÇÃO DE IMAGENS DIGITAIS
O Processamento Digital de Imagens envolve a manipulação e análise de

imagens digitais com o auxílio de computadores, de modo que a entrada e a saída do
processo sejam ambos, imagens. Por isso, descreve-se a seguir, algumas das
operações realizadas com imagens, segundo os autores Richards (1986), Swain &
Davis (1978) e Gonzales & Woods (1993).
Teoricamente, as formas possíveis para se manipular imagens são
indefinidas. Gonzales & Woods (1993), apresentam de maneira geral, etapas descritas
como aquisição, processamento e armazenamento, e ainda, transmissão dessas
imagens.
Através de Richards (1986), pode-se detalhar a etapa que Gonzales &
Woods (1993) denominam como processamento, conforme descrito nos itens abaixo e
que estão diretamente ligados ao trabalho desenvolvido:
a) Registro de Imagens – compreende uma transformação geométrica que
relaciona as coordenadas de uma imagem (linha, coluna) com coordenadas de
um sistema de referência qualquer. Esse sistema de referência é, em última
instância, o sistema de coordenadas planas de uma certa projeção cartográfica,
ou ainda, uma outra imagem;
b) Retificação e Restauração de Imagens – tem como objetivo principal, a criação
de uma representação mais real possível da cena que está sendo avaliada,
utilizando-se de procedimentos que realizam a correção das distorções e
degradações encontradas na imagem;
c) Realce de Imagens – objetiva a melhoria da visualização de uma cena através
de manipulação de imagens, para subseqüente interpretação visual ou digital;
d) Fusão de Imagens – possibilita a realização de combinações entre as imagens,
com outras imagens referenciadas geograficamente à mesma área. Como por
exemplo, a fusão de imagens de diferentes resoluções pertencentes à
seqüência de imagens que determinam uma cena.
Swain & Davis (1978), detalharam as etapas de Registro, Retificação e
Restauração de Imagens, como descritas abaixo, e também, utilizadas no trabalho
desenvolvido:
a) Transformações Radiométricas – correção das anomalias devido às
características do sensor e ambiente, tais como: correção de diferenças entre

detectores, calibração radiométrica, ângulo de varredura ou iluminação, e a

correção das condições de iluminação, efeitos topográficos e atmosféricos da
cena;
b) Transformações Geométricas – alteram a geometria da imagem, onde estão
envolvidos: registro e retificação de imagens, conforme necessidade do usuário
e a correção de distorções sistemáticas que removem as distorções provocadas
pelas características do sensor e plataforma, dando a condição de se gerar uma
imagem de melhor resolução para definições de alvos específicos;
c) Apresentação dos Dados – observação dos dados em formato imagem.
Pode-se perceber que os autores, citados acima, tratam de forma muito
comum os processos aplicados sobre imagens, procurando detalhar as formas de
manipulação.
Essas manipulações sobre imagens são possíveis, pois a mesma é
organizada em linhas e colunas (matriz). Cada célula da imagem (pixel) armazena
valores de intensidade, que podem ser níveis de cinza, conforme exemplificado na
figura 2.2, ou cores (RGB), conforme figura 2.3. Os processos que envolvem a
manipulação de uma imagem podem ser realizados espacialmente, por meio de
transformações que afetam geometricamente a imagem, pois a mesma é composta por
elementos discretos (pixels) que estão definidos pela posição determinada pela linha e
coluna da célula em questão. E radiometricamente, que diz respeito à manipulação dos
níveis de brilho discretos que compõem a imagem em seu formato digital.
Mesmo as informações contidas em uma imagem que estão em forma
analógica, podem ser convertidas em valores discretos, através de digitalizadores,
como por exemplo, com a utilização de scanners.
Na manipulação e análise dos pixels, as propriedades da imagem de
maior significado podem ser definidas como:
§ A localização do ponto a ser analisado, definido por linha e coluna;
§ A resolução espacial, definida pelo tamanho do pixel; e
§ A resolução radiométrica que o sistema sensor possui.
A resolução radiométrica define o intervalo e o número aceitável de
intensidades de brilho, necessários para representar uma imagem digital formada por
pixels.

0 1 2 3 4 Linha
0 200 201 225 224 182
1 220 200 225 226 181
2 152 152 226 226 180
3 152 152 178 178 180
4 155 152 179 179 180
Coluna
FIGURA 2.2 – Representação de um exemplo de imagem digital utilizando-se dados
com 8 bits, conseqüentemente com 256 níveis de brilho.
No caso de imagens que utilizam 24 bits para representar um pixel,

obtém-se 16.777.216 variações de cores, onde a representação é mais complexa, pois
cada pixel com coordenadas espaciais (x,y) é representado pela combinação das
componentes vermelha (R), verde (G) e azul (B), formando o padrão RGB. Cada
componente deste padrão pode variar de 0 (tonalidade mais escura) a 255 (tonalidade
mais clara); com isso, pode-se determinar, através de combinações, a quantidade total
de níveis de brilho que pode ser representada em cada pixel da imagem
(aproximadamente, dezesseis milhões de cores), conforme exemplificado na figura 2.3.

0 1 2 3 Linha
0 (200,154,202) (201,150,200) (225,144,242) (225,144,242)
1 (220,153,231) (200,152,200) (225,144,242) (225,144,242)
2 (152,123,145) (152,212,200) (226,148,233) (226,148,233)
3 (152,124,146) (152,212,200) (178,148,235) (178,148,235)
4 (152,123,145) (152,212,200) (179,149,235) (179,149,235)
Coluna ( R G B) (R G B) (R G B) (R G B)
FIGURA 2.3. Exemplo de representação de imagem digital utilizando-se dados com 24
bits.
2.3. OPERAÇÕES PIXEL A PIXEL
Segundo Marques & Vieira (1999), após uma imagem ter sido adquirida,
ela pode ser vista como uma matriz de inteiros, e, portanto, pode ser manipulada
numericamente, utilizando operações lógicas e/ou aritméticas. Estas operações podem
ser efetuadas pixel a pixel ou orientadas à vizinhança. No primeiro caso, elas podem
ser descritas pela seguinte notação (2.3):
g(0) operador g(1) = GS (2.3)
Onde:
§ g(0) e g(1) são imagens (matrizes) a serem manipuladas;
§ GS é a imagem resultante do processo;
§ O operador pode ser aritmético (+, -, x, /) ou lógico (and, or, xor) binário.
Estas imagens podem ser processadas pixel a pixel, utilizando um
operador aritmético ou lógico, produzindo uma terceira imagem GS, cujos pixels
correspondem ao resultado da operação executada em cada elemento de g(0) e g(1),
conforme ilustrado esquematicamente na figura 2.4.
Operador =
g(0) g(1) GS
FIGURA 2.4 – Operações lógicas e/ou aritméticas pixel a pixel.

Quando são executadas operações aritméticas sobre imagens, deve-se

tomar especial cuidado com os problemas de underflow ou overflow do resultado. A
adição de duas imagens de 256 tons de cinza, por exemplo, pode resultar em número
maior de 255 para alguns pixels; ao mesmo tempo a subtração de duas imagens pode
resultar em valores negativos para alguns elementos. Segundo Marques & Vieira
(1999), para contornar estes problemas, existem basicamente duas alternativas:
a) Manter os resultados intermediários em uma matriz, na qual o espaço de memória
alocado para cada pixel permita a representação de números negativos e/ou
maiores que 255 e, em seguida, proceder a uma normalização destes valores
intermediários;
b) Truncar os valores maiores que o máximo valor permitido, bem como os valores
negativos, igualando-os a 255 e 0, respectivamente. A decisão depende do
objetivo que se pretende obter.
2.4. TÉCNICAS DE AMPLIAÇÃO DE IMAGENS
A ampliação e redução de imagens consistem no aumento e diminuição

das dimensões destas para efeito de visualização ou processamento. Uma das
maneiras utilizadas para que uma imagem seja ampliada é a duplicação dos valores
dos pixels na direção x ou y ou em ambas. Se o fator de ampliação não for o mesmo
para as duas direções, o aspecto da imagem será alterado.
Para que uma imagem seja ampliada com um fator 2, cada pixel é
copiado 4 vezes na imagem resultante, conforme é apresentado na figura 2.5. Convém
notar que a definição da resolução na imagem não é alterada, apenas seu tamanho
para efeito de visualização.
Reamostragem
FIGURA 2.5 – Expansão de um pixel em 4(zoom 2x) utilizando a replicação.
Para utilizar a redução de fator 2, basta que seja feito o processo inverso,

ou seja, converter um agrupamento de 4 pixels novamente em 1 pixel, através da

média, mediana ou outro método equivalente, desde que envolva os pontos de
interesse.
Uma outra maneira de ampliar a imagem é utilizando a média dos pixels
vizinhos da imagem original, ou seja, em vez de apenas tomar o pixel da imagem
original e copiá-lo para a imagem a ser ampliada, faz-se à média dos pixels vizinhos. A
figura 2.6 mostra esta outra forma de se obter uma imagem ampliada.
p1 p2
p3 p4
FIGURA 2.6 – Expansão de um pixel em 4 (zoom 2x) utilizando a média.
Para exemplificar este processo observe a figura 2.7 e o processo

descrito.
Imagem original (g) Imagem resultante (GS)

0 1 2 3 0 1 2 3 4 5 6 7 ...
0 150 200 201 200 0 168 168 167 167 ..... ..... ..... ..... .....
1 153 167 100 102 1 168 168 167 167 ..... ..... ..... ..... .....
2 153 158 100 101 2 158 158 131 131 ..... ..... ..... ..... .....
3 154 158 105 100 3 158 158 131 131 ..... ..... ..... ..... .....
4 ..... ..... ..... ..... ..... ..... ..... ..... .....
5 ..... ..... ..... ..... ..... ..... ..... ..... .....
6 ..... ..... ..... ..... ..... ..... ..... ..... .....
: ..... ..... ..... ..... ..... ..... ..... ..... .....
FIGURA 2.7 – Demonstração do processo de reamostragem através da Média.

Conforme a figura 2.7 o processo de reamostragem pode ser descrito pelas

equações (2.4), (2.5), (2.6) e (2.7):
GS(i,i)=GS(i+1,i)=GS(i,i+1)=GS(i+1,i+1) = [(g(i,i)+g(i+1,i)+g(i,i+1)+g(i+1,i+1))/4] (2.4)
GS(i+2,i)=GS(i+3,i)=GS(i+2,i+1)=GS(i+3,i+1)= [(g(i+1,i)+g(i+2,i)+g(i+1,i+1)+g(i+2,i+1))/4] (2.5)
GS(i,i+2)=GS(i+1,i+2)=GS(i,i+3)=GS(i+1,i+3)= [(g(i,i+1)+g(i+1,i+1)+g(i,i+2)+g(i+1,i+2))/4] (2.6)
GS(i+2,i+2)=GS(i+3,i+2)=GS(i+2,i+3)=GS(i+3,i+3)= [(g(i+1,i+1)+g(i+2,i+1)+g(i+1,i+2)+g(i+2,i+2))/4] (2.7)
A nova imagem (GS – figura 2.8a) é criada iterativamente, ou seja, toda a

imagem original (g – figura 2.8b) é percorrida gerando-se assim, uma imagem
ampliada (GS) duas vezes. Conseqüentemente, a imagem resultante possui o dobro
de linhas e colunas em relação à imagem original (g). Mas, por se tratar de um
processo que envolve a média entre os níveis de intensidade de brilho de cada pixel, a
imagem resultante apresenta um aspecto suavizado em relação à imagem original.
O processo mais viável para a geração preliminar da imagem
superamostrada é através da Interpolação Bilinear, conforme a figura 2.8(b), pois cada
pixel gerado na nova imagem (r) leva em consideração os seus vizinhos (n) tanto na
direção de x quanto em y. Observa-se a intensidade de brilho de cada um, realizando a
interpolação entre os mesmos com base na influência que cada vizinho promove sobre
o pixel a ser gerado. Cada pixel representado por (r) possui uma intensidade de brilho
próxima ao seu vizinho (n) menos distante.

g(i,j) GS(k,l)
n n n r r r r r r r
n n n r r r r r r r
n n n r r r r r r r
r r r r r r r
r r r r r r r
r r r r r r r
r r r r r r r
(a)
Imagem original
(b)
Imagem ampliada por Interpolação Bilinear
FIGURA 2.8 – Representação de uma imagem ampliada através da Interpolação

Bilinear.
Os passos para a determinação da imagem superamostrada podem ser
visualizados, de maneira geral, no Capítulo 4. O processo de Interpolação Bilinear está
detalhado no capítulo subseqüente, que envolve as técnicas de interpolação mais
usuais.

CAPÍTULO 3
RETIFICAÇÃO E RESTAURAÇÃO DE IMAGENS
O objetivo da restauração e retificação de imagens é a correção das

degradações ou distorções que ocorrem no processo de aquisição da cena.
Essas distorções ou degradações que geram a aquisição de imagens de
baixa resolução radiométrica, podem ser causadas, segundo Lillesand & Kiefer (1987),
pela variação na iluminação no momento da aquisição da imagem, devido às
condições ambientais, o local em que o sensor se encontra, além, das características
do mesmo.
Mas, para se aplicar qualquer tipo de técnica para a restauração dessas
imagens é necessário, anteriormente, realizar a retificação das imagens que pertencem
à cena adquirida, para se posicionar uma imagem em relação à outra, ou seja, o
registro de imagens deve ser executado.
3.1. REGISTRO DE IMAGENS
Como descrito no capítulo 2, o registro de imagens compreende uma

transformação geométrica que relaciona cada ponto de uma imagem com as
coordenadas de um sistema de referência qualquer. Esse sistema de referência é, em
última instância, o sistema de coordenadas planas de uma certa projeção cartográfica,
ou ainda, uma outra imagem que fornecerá os pontos de controle para que as outras
que fazem parte da cena, possam ser posicionadas em relação a esta que foi
determinada como a de referência.
Através do esquema demonstrado na figura 3.1 pode-se observar, de

maneira geral, as etapas para se executar o registro de imagens.

Imagens que fazem Executar a transformação,

parte da seqüência com base nos parâmetros
pertencentes à cena calculados, para determinar a
correspondência de um
determinado ponto na imagem
de Referência com as demais
Determinação do Sistema de imagens que compõem a
Referência/Imagem de cena
Referência
Determinar o nível de brilho de

cada ponto encontrado, por
Determinação dos pontos de
meio de uma técnica de
controle (apoio) e dos pontos
Interpolação adequada para o
observados nas outras
problema, levando-se em
imagens
consideração os seus vizinhos
Definir e executar a
transformação geométrica que Geração da Imagem Retificada
obtém os parâmetros de em relação a Imagem de
transformação entre as Referência, com base nos
imagens passos anteriores
FIGURA 3.1 – Esquema geral para execução do Registro de Imagens.
A principal etapa do registro de imagens é o processo de matching entre

imagens, que é a determinação da correspondência entre os pontos da imagem de
referência com os de uma outra imagem que pertence à cena, para que haja a
possibilidade de se retificar todas as imagens pertencentes à mesma cena em relação
a um referencial qualquer, que neste caso, será uma das imagens.
Devido à paralaxe existente em uma imagem, por apresentar alguma
forma de relevo (topografia), não se consegue determinar o registro com apenas uma
transformação para toda a cena, pois, dependendo da distância do sensor ao alvo,
este pode apresentar formas diferentes. Mas, no caso de uma região relativamente
plana, topograficamente, é possível determinar o registro aplicando-se uma
transformação de perspectiva, e até mesmo uma Transformação Afim.
Para imagens que representam regiões não planas, é necessário
identificar os pontos, nos quais isso ocorre nas imagens a serem analisadas para a
possibilidade de se efetuar o registro, e também, a correção geométrica deste
deslocamento (Richards, 1986).

Com isso, deve-se realizar as transformações em pequenas porções,

gerando-se uma ortoimagem da região analisada para posterior retificação e registro.
Segundo Richards (1986), duas imagens podem ser registradas uma a
outra através do registro de cada uma delas, separadamente, em relação às
coordenadas de controle definidas previamente. Uma possibilidade seria a de escolher
uma imagem como referência (imagem principal) e registrar as outras imagens
(imagens secundárias) em relação à de referência. Nestes casos, na utilização das
técnicas de correção geométrica, as coordenadas (x, y) correspondem às coordenadas
da imagem que será registrada (secundária).
3.2. O PROCESSO PARA O REGISTRO DE IMAGENS (DOMÍNIO DO ESPAÇO)
Fonseca & Manjunath (1996), conceituam registro de imagens como

sendo o processo pelo qual são definidos pontos comuns entre duas ou mais imagens
que compõem uma mesma cena. Por definição, a primeira imagem é chamada imagem
de referência, e a imagem que deve se correlacionar com essa de referência, é
chamada de imagem de busca (secundária). Essa idéia vai ao encontro de uma das
possibilidades de se executar o registro segundo Richards (1986), conforme descrito
no tópico anterior.
O processo, descrito a seguir, define o Registro de Imagens de uma
maneira mais completa, mostrando cada etapa, enquanto que o método anteriormente
relatado no item 3.1, executa, basicamente, um procedimento de matching. Mas
mesmo assim, pode-se detectar pontos comuns entre ambos.
Segundo Fonseca & Manjunath (1996), o método geral para o Registro de
Imagens pode ser decomposto nos seguintes passos:
§ Identificação de Feições (Pontos de Controle):
Identifica um conjunto de feições relevantes nas duas imagens, tais como
bordas, interseções de linhas, contornos que definem regiões, entre outras;
§ Matching de Feições:
Estabelece correspondências entre as feições; assim, cada feição na
imagem de busca (secundária) terá sua correspondência na imagem de
referência (principal). Conseqüentemente, cada feição é identificada através

da localização dos pontos que a compõe na imagem, e estes pontos

correspondentes são utilizados e definidos como pontos de controle;
§ Transformação Espacial:
Define uma função de mapeamento para a determinação dos outros
pontos restantes, utilizando-se dos pontos de controle obtidos no passo
anterior.
§ Interpolação (Reamostragem):
Interpola novos pontos, atribuindo o nível de intensidade de brilho à
imagem reamostrada, levando-se em consideração a situação dos pontos
vizinhos.
Em geral, os métodos de registro variam dependendo de sua aplicação.
Esses métodos podem combinar diferentes técnicas para a identificação de feições,
feições de matching e funções de mapeamento. A fase de maior dificuldade na
determinação do registro é a obtenção da correspondência entre dois conjuntos de
feições. Essa tarefa é primordial para a precisão do registro e o maior esforço dos
pesquisadores tem sido gasto no desenvolvimento de técnicas eficientes de matching
de feições, pois a tarefa de desenvolvimento das funções de mapeamento não oferece
muitas dificuldades. O processo de interpolação é padrão, sendo que, alguns métodos
serão demonstrados no decorrer deste trabalho.
3.2.1. IDENTIFICAÇÃO DOS PONTOS DE CONTROLE (MATCHING)
Ainda, segundo Fonseca & Manjunath (1996), essa etapa é realizada por
meio de uma extração de feições e do matching de feições, ou seja, a identificação de
alguns pontos na primeira imagem (principal), que deverão ser encontrados nas outras
imagens (secundárias), na etapa seguinte. Devido aos problemas que podem ocorrer
com as imagens, tais como, presença de ruídos, diferenças de nível de brilho,
posicionamentos e escala, a identificação dos pontos de controle não é uma operação
simples. Na verdade o que se observa na prática é que os sistemas automáticos não
conseguem atender a todas as situações e os sistemas, geralmente, apresentam
alguma solução manual e também semi-automática. Abaixo, são descritas três
maneiras de se identificar pontos para a realização do Matching:

a) Identificação Manual
Neste método, um operador define manualmente alguns pontos
correspondentes entre as imagens. As características dos pontos a serem escolhidos,
normalmente, representam lagos, rios, linhas de costa, estradas, ou outra cena
dominante, isto no caso de imagens de longa distância. Em imagens de curta distância,
o operador define pontos que se destacam como característica predominante nas
imagens. Os pontos devem ser bem distribuídos pelas imagens e o número mínimo de
pontos a serem coletados depende do número de parâmetros da função de
transformação a ser utilizada. Esta tarefa é muito tediosa e repetitiva. Além disso,
requer uma aproximação ("pontaria") entre os pontos correspondentes muito precisa, o
que em certos casos, não ocorre devido à inexistência de características explícitas
como descritas acima.
Assim, existe a necessidade de técnicas semi, ou totalmente,
automatizadas que requerem, ou não, a supervisão do usuário. Os métodos de
identificação automática podem ser divididos em técnicas: baseadas na área e
baseadas em feições.
b) Identificação Baseada em Área

Por este método, uma pequena área selecionada na primeira imagem é
comparada estatisticamente com pequenas áreas equivalentes na segunda imagem
(correlação entre imagens). A figura 3.2 mostra duas imagens, e as janelas utilizadas
no processo de correlação.

N N'
J
L
(i,j)
Si,j
K
R I
W
M M'
Im1 Im2
J-L
I-K
FIGURA 3.2 – Identificação Baseada em Área (Fonte: Fonseca & Manjunath, 1996).
Onde:
Im1: Imagem 1;
Im2: Imagem 2;
R: Imagem de referência;
W: Imagem de pesquisa (busca);
S: Matriz que estará percorrendo a imagem de referência (convolução);
M, N: altura e largura da imagem 1;
M', N': altura e largura da imagem 2;
K, L: altura e largura da janela de referência;
I, J: altura e largura da janela de pesquisa;
J – L, I – K: coordenada do ponto de maior correlação na janela de pesquisa.
A melhor correspondência de uma área representada em uma imagem

em relação à outra ocorre quando Ri,j é máximo.

Fonseca & Manjunath (1996), citam também, que os métodos de

correlação podem ser eficientemente implementados no domínio da freqüência,
utilizando a Transformada de Fourier, e ainda, algumas propriedades desta podem ser
usadas para torná-la invariante quanto à translação, rotação e escala. Dentre os
métodos de correlação existentes, pode-se citar: Correlação Cruzada, Função Erro,
Função Quociente, Função Erro Quadrático e Função Covariância Cruzada.
c) Identificação Baseada em Feições

Por este método, a operação é executada em duas etapas: na primeira é
feita uma extração de feições, e na segunda um matching de feições é realizado, com
o objetivo de localizar feições correspondentes nas duas imagens. No domínio do
espaço as feições mais utilizadas são as linhas de bordas, interseções de linhas, mas
outros atributos, tais como, textura e cor, também podem ser utilizados. No domínio da
freqüência a imagem é decomposta e representada por um conjunto de componentes
de freqüência, e a informação da borda pode ser detectada por meio das componentes
de alta freqüência (Fonseca & Manjunath, 1996).
3.3. TRANSFORMAÇÕES
As transformações são operações, freqüentemente utilizadas em

Fotogrametria, o que transformam coordenadas de um determinado sistema de
referência para outro qualquer, com base nos pontos de controle determinados
previamente.
O efeito de uma transformação pode ser uma simples mudança de
posição na imagem, sem alterar seu tamanho e a sua forma, quando se trata de
translações. A mudança no tamanho da imagem e na forma em que se apresenta, está
ligada a um fator de escala que pode ser uniforme ou não, ou seja, se for aplicado o
mesmo fator em todos os eixos a imagem não será deformada, sofrendo apenas uma
alteração de tamanho, caso contrário, a imagem apresentará distorções (Moffitt &
Mikhail, 1980).
Existem várias possibilidades de transformações e algumas delas são
abordadas no decorrer do trabalho.
Na realização do registro tradicional, essas transformações são
determinadas usando os pontos de controle adquiridos do processo de

correspondência. Em situações onde o matching de feições é difícil de ser realizado, o

mapeamento do ponto desejado pode ser conseguido através de um processo iterativo
(Brown, 1992). Nesse método, o processo de correlação de feições e a determinação
da transformação utilizada para realizar o mapeamento de um sistema para outro, são
realizados simultaneamente. O processo para a determinação da transformação ótima
entre as imagens será finalizado no momento em que o processo convergir.
Matematicamente, pode-se dizer que dados n pontos de controle em duas
imagens de uma mesma cena, [(Xi, Yi), (xi, yi)], onde i=1,..., n, a transformação
realizará o mapeamento dos pontos entre as imagens, podendo ser definida
genericamente, como em (3.1):
Xi = f(xi,yi) (3.1)
Yi = g(xi,yi)
onde (xi,yi) corresponde às coordenadas do ponto imagem na primeira imagem, e

(Xi,Yi) corresponde às coordenadas do mesmo ponto na segunda imagem, sendo esta,
a imagem que possui os pontos de controle.
A transformação afim bidimensional ortogonal (cinco parâmetros) é
freqüentemente utilizada para definir o mapeamento entre duas imagens, sendo
definida em (3.2) (Andrade, 1998):
Xi = tx + sx. (xi cos θ - y i sen θ) (3.2)

Yi = ty + sy. (xi sen θ + yi cos θ)
Na forma linear, a transformação afim geral (6 parâmetros) no plano se

apresenta conforme (3.3) (Andrade, 1998):
Xi = a1 . xi + b1 . yi + c1 (3.3)
Yi = a2 . xi + b2 . yi + c2
Ou ainda, na forma matricial, conforme a equação (3.4):

Xi a1 b1 xi c1
(3.4)
= * +
Yi a2 b2 yi c2
A transformação (3.2) é composta de duas operações de escala (s x e sy),

translação (tx, ty) e de uma rotação (θ), sendo desconsiderado o parâmetro de não
ortogonalidade entre os eixos. Já na transformação afim geral no plano (modelo linear
(3.3)), o parâmetro de não ortogonalidade, que é a mudança do ângulo formado pelos
eixos, está presente embora não esteja explicitado. Outros tipos de transformação
também são utilizados para este fim, tais como, a transformação projetiva e a
transformação perspectiva. Observa-se finalmente, que a transformação definida em
(3.2) não serve para correções de distorções não lineares em imagens. Neste caso,
segundo Fonseca & Manjunath (1996), um polinômio de grau correspondente ao nível
de distorção é necessário.
A condição projetiva entre dois planos é determinada pelas equações
lineares fracionárias que são compostas por oito parâmetros de transformação,
conforme (3.5) (adaptadas de Moffitt & Mikhail, 1980).
a1 . xi + b1 . yi + c1
Xi =
a0 . xi + b0 . yi + 1
(3.5)
a2 . xi + b2 . yi + c2
Yi =
a0 . xi + b0 . yi + 1
O modelo linear da equação (3.5) pode ser descrito conforme (3.6).
X i = xi .a1 + yi .b1 + c1 − xi . X i a0 − yi X i b0
(3.6)
Yi = xi .a2 + yi .b2 + c2 − xi .Yi a0 − yiYi b0
Conforme sugerem Fonseca & Manjunath (1996), a transformação

polinomial geral pode ser expressa como em (3.7) (adaptadas de Moffitt & Mikhail,
1980).
Xi = ao + a1.xi + a2.yi + a3.xi.yi + a4.xi2 + a5.yi2 + ... (3.7)
2 2
Yi = bo + b1.xi + b2.yi + b3.xi.yi + b4.xi + b5.yi + ...

Nas equações anteriores:

Xi,Yi: coordenadas no plano objeto ou na imagem de referência;
xi, yi: coordenadas no plano imagem;
a0, a1,..., b0, b1,..., c1, c2: parâmetros de transformação;
Outro modelo matemático que também pode ser utilizado é o composto

pelas equações de colinearidade, pois com elas pode-se mapear um determinado
ponto do espaço objeto em uma imagem.
A colinearidade pode ser definida como a condição que estabelece que a
estação de exposição, o ponto objeto e o ponto-imagem pertencem a uma mesma
linha reta (Wolf, 1983).
Conseqüentemente, as equações de colinearidade são deduzidas com
base na condição de que os pontos O, p e P (respectivamente: centro perspectivo,
ponto imagem e ponto objeto) pertença a uma reta, conforme figura 3.3.

FIGURA 3.3 – Condição de colinearidade de O, p e P. oxyz representa o sistema

fotogramétrico; OXYZ um sistema cartesiano local; f é a distância focal; p é o ponto
imagem e P é um ponto do espaço-objeto (Fonte: Andrade, 1998).
Considerando o sistema OXYZ do espaço objeto transladado, não paralelo e

com diferente escala, com respeito ao primeiro (figura 3.3), a relação matemática entre
coordenadas dos dois sistemas oxyz e OXYZ, é dada pela transformação de
similaridade no espaço.
X p  xp  X c 
  T    c (3.7)
Y
 p = λ '.M .  + Y 
y p
Zp  zp  Zc 
     
Onde:
Xp, Yp, Zp: coordenada do ponto no espaço objeto (OXYZ);
λ’: é o inverso da escala;
MT: matriz transposta de M, obtida do produto de três matrizes de rotação numa
determinada ordem;
xp, yp, zp: coordenada do ponto imagem do sistema fotográfico (oxyz);
Xc, Yc, Zc: coordenadas do centro perspectivo (OXYZ).
A transformação inversa pode ser escrita como:

 xP  X − X c 
   P  (3.8)
y
 P = λ .M . YP − Y c 
 z P   c
 Z P − Z 
Se for usada a seqüência Mz(κ).My(ϕ).Mx(ω) a matriz de rotações resulta em (3.9):
m11 m12 m13

(3.9)
M = m21 m22 m23
m31 m32 m33
Seus elementos são definidos conforme (3.10):

m11 = cos ϕ. cos χ
m12 = cos ω . sen χ + sen ω. sen ϕ . cos χ
m13 = sen ω . sen χ - cos ω. sen ϕ . cos χ
m21 = -cos ϕ . sen χ (3.10)
m22 = cos ω . cos χ - sen ω. sen ϕ . sen χ
m23 = sen ω . cos χ + cos ω. sen ϕ . sen χ
m31 = sen ϕ
m32 = -sen ω . cos ϕ
m33 = cos ω . cos ϕ
Substituindo os valores de xP, yP e zP dados pela equação (3.8) e

negligenciando o índice p (Lugnani, 1987); lembrando que M é a matriz de rotações e
que zp é a distância focal calibrada ou constante da câmara, tem-se (Andrade, 1998):
m11( X − X c ) + m12 (Y − Y c ) + m13 ( Z − Z c )

x=−f
m31( X − X c ) + m32 (Y − Y c ) + m33 ( Z − Z c ) (3.11)
m21( X − X c ) + m22 (Y − Y c ) + m23 ( Z − Z c )

y =−f
m31( X − X c ) + m32 (Y − Y c ) + m33 ( Z − Z c )

Pode-se representar a forma inversa da equação de colinearidade (3.11)

como em (3.12), conforme Andrade (1998):
m x + m 21 y + m 31 z
X = X c + ( Z − Z c ) 11
m 13 x + m 23 y + m 33 z
(3.12)
m x + m 22 y + m 32 z
Y = Y c + ( Z − Z c ) 12
m 13 x + m 23 y + m 33 z
Na figura 3.4 pode-se observar o mapeamento (em I e II) utilizando as

equações 3.12, sendo que a imagem 2 é a que contém os pontos de controle.
Portanto, qualquer ponto da imagem 1, poderá ser projetado para a imagem 2, assim
como os pontos da imagem 3.
(x,y,z)
(x,y,z)
(x,y,z)
FIGURA 3.4 – Imagem que representa o mapeamento utilizando a equação de

colinearidade inversa.
Na figura 3.5 pode-se observar o mapeamento (em I e II) utilizando a equação

3.11, onde a imagem 2 é a que contém os pontos de controle. Esse mapeamento é
necessário quando se deseja mapear a posição do ponto de controle (imagem 2) nas
demais imagens que formam a cena, como por exemplo, na imagem 1 e na imagem 3,
conforme figura abaixo.

(x,y,z)
(x,y,z)
(x,y,z)
FIGURA 3.5 – Imagem que representa o mapeamento inverso utilizando a equação de

colinearidade.
3.3. TÉCNICAS DE INTERPOLAÇÃO
Algumas transformações quando aplicadas em uma imagem, por

exemplo, ampliação (zoom), translação, rotação e/ou escala, podem causar efeitos
indesejáveis na imagem, podendo assim, na reamostragem da mesma, apresentar
baixa resolução radiométrica.
Para isso é necessária a interpolação, a qual, dependendo da técnica
utilizada, poderá causar um efeito de suavização na imagem.
A interpolação também é utilizada quando se necessita ajustar uma
imagem sobre a outra, após a aplicação das funções de mapeamento. Isso acontece
quando as grades (imagens) resultantes não são regulares, como mostra a figura 3.6.
A outra possibilidade de se utilizar uma técnica de interpolação, é para a
criação de uma imagem superamostrada, ou seja, uma imagem ampliada em relação a
sua original.
As técnicas de interpolação mais utilizadas são: a técnica do Vizinho Mais
Próximo, a Interpolação Bilinear e a Interpolação Bicúbica. Vários outros métodos
estão disponíveis (tanto no domínio do espaço, quanto no domínio de freqüências, por
meio da utilização da Transformada de Fourier), porém, a relação custo
computacional/qualidade dos resultados torna estes três métodos os mais usuais.

(a) (b)
(c)
FIGURA 3.6 – Reamostragem: (a) Pixels na grade original; (b) Posição dos pixels
transformados sobrepostos na grade original; (c) Ajustamento da grade transformada
sobre a grade original (Fonte: Atkinson et al., 1996).
Na reamostragem por vizinho mais próximo o nível de cinza de um ponto

transformado é igual ao nível de cinza do pixel mais próximo da imagem digital. No
caso da interpolação bilinear, o nível de cinza de um ponto transformado é obtido por
interpolação dos quatro pixels mais próximos. Já a interpolação bicúbica utiliza os
dezesseis pixels mais próximos de um ponto transformado para a interpolação do nível
de cinza.
3.4.1. INTERPOLAÇÃO PELO VIZINHO MAIS PRÓXIMO
Através deste método, a cor de um pixel, durante a aplicação da função

de transformação, é definida como sendo a cor do pixel definido mais próximo. A figura
3.7 mostra a determinação da cor de um pixel por esse método. Esta interpolação
trata-se do método mais simples de ser implementado, e também o mais rápido de ser
executado; porém, dependendo da aplicação o resultado obtido poderá ser o menos
preciso.
A interpolação ocorre com a verificação da menor distância entre os
pixels vizinhos como é ilustrado na figura 3.7.

g(i,j) g(i,j+1)
Matriz Digital
Nível de brilho i'
calculado
Matriz Interpolada
g(i+1,j) g(i+1,j+1)
j'
FIGURA 3.7 – Interpolação pelo Vizinho Mais Próximo.
3.4.2. INTERPOLAÇÃO UTILIZANDO A MÉDIA
Este método consiste em obter a cor do pixel através de um cálculo de

média, aplicado entre as linhas e as colunas da imagem, conforme ilustrado abaixo
através da figura 3.8 e das equações em (3.13) e (3.14). Trata-se de uma espécie de
interpolação bilinear, mas somente para grades regulares. Como se observa na figura
3.8, os elementos da imagem original são representados pelas letras (a, c, g, i),
enquanto os valores determinados pelas equações (3.13) e (3.14), são representados
pelas letras (b, d, e, f, h).
a b c
d e f
g h i
FIGURA 3.8 – Representação da sub-imagem.
Assim,
a+c g +i a+g c+i
b= , h= , d= , f = (3.13)
2 2 2 2
b+h+d + f a+ g+i+c
e= =
4 4 (3.14)
A sua implementação além de simples, apresenta bons resultados, mas

só pode ser aplicada para a ampliação de imagens, ou para a retificação onde as
malhas são regulares e com pequenos deslocamentos. Conseqüentemente, para
malhas não regulares, é inadequada para a retificação.

3.4.3. INTERPOLAÇÃO BILINEAR
A interpolação bilinear utiliza-se de três interpolações sobre quatro pontos

vizinhos, conforme a figura 3.9. Sabe-se o nível de cinza dos pontos g(i,j) e g(i,j+1) e
deseja-se encontrar o nível de cinza do ponto g(i,j’), fazendo-se, assim, a primeira
interpolação. Na segunda interpolação usam-se os pontos g(i+1,j) e g(i+1,j+1). A
terceira e última interpolação é calculada através dos pontos encontrados na primeira e
segunda interpolação.
Segundo Richards (1986), o ponto encontrado na imagem corresponde
ao apresentado na grade da figura 3.9. Duas interpolações lineares são desenvolvidas
ao longo das chamadas linhas de varredura ou linhas da imagem (scan lines) para
encontrar o valor de g(i,j’) e g(i+1,j’) como é apresentado na figura 3.9. Estas são
dadas por:
g (i, j ' ) = j ' g (i, j + 1) + (1 − j ' ) g (i, j )
g (i + 1, j ' ) = j ' g (i + 1, j + 1) + (1 − j ' ) g (i + 1, j ) (3.15)
onde: g é o valor de brilho e (i’,j’) é a posição para a qual a interpolação deve atribuir
um valor de brilho (tom de cinza). A posição é medida com o respectivo (i,j) e assume
na grade o espaçamento de uma unidade em ambas as direções. O passo final é
interpolar linearmente sobre g(i,j’) e g(i+1,j’) e o valor final interpolado pode ser dado
por:
g (i' , j' ) = (1 − i' ) { j ' g (i, j + 1) + (1 − j' ) g (i, j )}
(3.16)
+ i' { j ' g (i + 1, j + 1) + (1 − j ' ) g (i + 1, j )}
g(i,j’)
g(i,j+1)
g(i,j)
g(i’,j’) Valor de brilho

a ser calculado
g(i+1,j)
g(i+1,j+1)
g(i+1,j’)
FIGURA 3.9 – Interpolação Bilinear (Fonte: adaptado de Richards,1986).

3.4.4. INTERPOLAÇÃO BICÚBICA
A interpolação bicúbica é outro método de interpolação, mas que exige

um grande processamento computacional, por trabalhar com uma vizinhança de
dezesseis pontos e cinco interpolações. A figura 3.10 mostra como seria a vizinhança
ao usar este tipo de interpolação:
Polinômio cúbico
g(i,j)
X
X
i' Vizinhança
•
X
X
g(i+3,j+3)
j'
FIGURA 3.10 – Interpolação Bicúbica (Fonte: adaptado de Richards,1986).
Esta interpolação utiliza os dezesseis pixels vizinhos. Quatro polinômios

são calculados em quatro linhas de quatro pixels vizinhos ao ponto da imagem, como é
mostrado na figura 3.10. O quinto polinômio é então calculado para a interpolação de
um valor de brilho para a coordenada de interesse.
O algoritmo abaixo é usado para executar esta interpolação:
g(i,j’) = j’ {j’ (j’ [g(i,j+3) - g(i,j+2) + g(i,j+1) - g(i,j) ]
+ [g(i,j+2) - g(i,j+3) - 2 g(i,j+1) + 2 g(i,j) ] ) (3.17)
+ [g(i,j+2) - g(i,j) ] } + g(i,j+1)
Esta expressão é avaliada por cada uma das quatro linhas descritas na
figura 3.10 para cálculo das quatro interpolações g(i,j’), g(i+1,j’), g(i+2,j’), g(i+3,j’). Estas
são interpoladas verticalmente de acordo com:
g(i’,j’) = i’ {i’ (i’ [g(i+3,j’) - g(i+2,j’) + g(i+1,j’) - g(i,j’) ]
+ [g(i+2,j’) - g(i+3,j’) - 2 g(i+1,j’) + 2 g(i,j’) ] ) (3.18)
+ [g(i+2,j’) - g(i,j’) ] } + g(i+1,j’)

Esta interpolação pode apresentar como produto, uma imagem com

aspecto suavizado.
3.5. PROCESSOS PARA GERAÇÃO DE IMAGENS DE ALTA RESOLUÇÃO A

PARTIR DE SEQÜENCIAS DE IMAGENS
A geração de imagens de alta resolução com base em uma seqüência

necessita, primeiramente, que as imagens pertencentes à cena estejam retificadas, ou
seja, o registro de imagens deve ter sido executado, e por isso, é considerado como a
etapa primeira neste processo. A partir disso, pode-se criar uma nova imagem com
uma precisão maior e possível de ser utilizada para análises mais precisas.
Ballard & Brown (1992) apresentam e descrevem cada etapa do processo
para se realizar a restauração de imagens com base em seqüências de imagens.
Descreve, inicialmente, as transformações geométricas que podem ser aplicadas para
se determinar os parâmetros de retificação de cada imagem em relação a uma de
referência. O tamanho da imagem a ser transformada também deve ser considerado.
Deve-se realizar a superamostragem das imagens, levando-se em conta o fator
utilizado, ou seja, a imagem de super resolução poderá ter o dobro, ou mais, do
tamanho das imagens adquiridas. Os autores abordam, também o efeito das
transformações de rotação, projetiva e das que utilizam as equações de colinearidade,
discutindo as possíveis deformações que as imagens originais deverão sofrer para
serem registradas e retificadas, e posteriormente, ser executado o processo de fusão
das mesmas.
Existem inúmeros métodos capazes de construir imagens de alta
resolução, que serão discutidos a seguir:
Peleg et al. (1987) destacam que, a partir de imagens de baixa resolução,
é possível produzir uma imagem com resolução melhorada, usando os deslocamentos
conhecidos entre as imagens. Para se gerar uma simulação de uma seqüência de
imagens de baixa resolução, os autores geraram deslocamentos no momento de
aquisição pela câmara fotográfica. A partir disso, as imagens que pertencem à
seqüência a ser analisada foram submostradas utilizando-se a média ponderada de um
bloco (4x4) de 16 pixels. Neste caso, os pixels centrais foram os mais valorizados em
relação às extremidades.

O processo para a geração da imagem de melhor resolução, proposto

pelos autores, inicia-se com uma imagem superamostrada, determinada como sendo
uma aproximação inicial. Este processo é iterativo, onde os novos valores para cada
pixel são determinados, nesta imagem, após se verificar o menor erro ocasionado na
diferença entre os níveis de brilho dos pixels das imagens de baixa resolução e os
seus correspondentes na imagem de alta que está sendo estabelecida. Varia-se a
intensidade de brilho dos pixels que estão sendo analisados na imagem super
amostrada, em (-1, 0, +1), realizando-se combinações neste bloco, com o intuito de
estabelecer o brilho gerado pela menor diferença entre as imagens. Ou seja, toma-se o
primeiro pixel do bloco e subtrai-se de uma unidade, mantendo os demais como estão;
verifica-se o erro (diferença ocasionada entre as imagens de baixa em relação à
aproximação inicial); este processo é repetido somando-se uma unidade neste pixel
analisado anteriormente. A combinação que obtiver o menor erro é mantida na imagem
superamostrada.
Peleg e Irani (1991) sugeriram melhorias para o método apresentado por
Peleg et al. (1987). Os autores tomaram o registro de imagens como base para uma
boa determinação de uma imagem de alta resolução. Desenvolveram algoritmos
iterativos para se obter um melhoramento na resolução das imagens com precisão
subpixel, tanto em imagens de baixa resolução em níveis de cinza como nas coloridas.
Com os deslocamentos da imagem e o processo de imageamento conhecidos, pode-
se realizar uma fusão entre as imagens de baixa resolução, desde que pertençam à
mesma seqüência que compõe a cena, usando técnicas de interpolação e gerando-se,
assim, uma imagem de melhor resolução.
Para se obter uma imagem de super resolução ideal, deve-se estabelecer
a correspondência dos pontos nas imagens coletadas. Por isso, as imagens adquiridas
foram subamostradas com o incremento de ruídos, deslocamentos e rotações, para
geração de dados simulados.
O processo para a geração da imagem de super resolução, sugerido por
Peleg & Irani (1991), é descrito por meio das seguintes etapas:
a) Produzir imagens simuladas com os parâmetros de deslocamentos (dx,
dy), do ângulo de rotação (θ) e do ruído (η), pré-estabelecidos,
conhecendo-se, assim, a priori, o registro das imagens;

b) Executar a retificação das imagens de baixa resolução, com base na

combinação dos parâmetros identificados em (a), em relação a uma
imagem de referência;
c) Gerar uma primeira aproximação da imagem super amostrada;
d) Definição de uma função erro (diferença entre o valor de brilho do pixel
na imagem de baixa resolução em relação à de alta, a partir da primeira
aproximação);
e) Iterativamente, para cada pixel examinar a aproximação em relação à
imagem resultado. Considerar as diferenças (-1, 0, +1) sobre os níveis de
brilho e avaliar as mudanças em relação às imagens de baixa resolução e
a mudança nos valores determinados pela função erro. A combinação
que minimizar o erro, será a utilizada para se atualizar a imagem de
super resolução, anteriormente determinada como a ideal.
Gross e Ur (1992) desenvolveram uma abordagem para se gerar uma
imagem de melhor resolução, através do conhecimento a priori, dos deslocamentos
existentes nas imagens de baixa resolução que pertençam à cena. Para tanto, com
base em uma imagem específica, gerou-se várias outras imagens subamostradas,
simulando uma seqüência de imagens de baixa resolução com deslocamentos apenas
horizontais (no eixo “x”) e ruídos adicionados (“borramento” através de um filtro passa-
baixa, eliminando as altas freqüências). Toda a abordagem descrita pelos autores está
fundamentada no domínio da freqüência, ou seja, desde a geração das imagens
simuladas até o processo de reconstrução para a geração de uma imagem de super
resolução com base nesta seqüência.
Apesar de abordar um processo que se utiliza das freqüências dos sinais
gerados pela imagem, esse processo possui a mesma idéia do desenvolvido por Peleg
e Irani (1991), pois se utiliza da fusão entre as imagens de baixa resolução através da
interpolação entre as mesmas, por meio da determinação do valor de brilho do novo
pixel na imagem de alta resolução através do menor erro ocasionado após serem
analisados todos os erros gerados pela combinação entre os valores de brilho dos
pixels (-1, 0, +1), além da aplicação de um filtro de deconvolução para eliminar os
borramentos causados anteriormente. Os experimentos foram gerados utilizando-se
imagens simuladas e imagens reais, mas sempre, com os deslocamentos horizontais
conhecidos a priori.

Wiman (1992) trabalhou com o aumento da resolução de uma imagem

digital (tons de cinza) através de super amostragem. Desenvolveu um método para
obtenção de uma imagem de alta resolução por meio de imagens de baixa resolução
digitalizadas em scanners. Inicialmente, construiu-se uma imagem simulada, e após,
gerou-se pequenos deslocamentos controlados nessa imagem com o intuito de se
obter uma seqüência a partir da mesma. Os experimentos também foram realizados a
partir de uma fotografia padrão.
Nesta abordagem, o processo de geração da imagem de alta resolução
se baseia em equações que calculam os níveis de cinza dos pixels na imagem gerada
com base nas adquiridas. Em geral, as equações são bastante simples, já que se
baseiam na média aritmética e nos deslocamentos conhecidos (adotado como sendo
de um pixel pelo autor). A imagem resultado é determinada, em um primeiro momento,
possuindo o dobro de linhas e colunas em relação às adquiridas e com seus níveis de
cinza iguais a zero.
Com isso, cada imagem adquirida também é superamostrada
(inicialmente, como a imagem resultado) levando-se em conta a média aritmética entre
os quatro pixels vizinhos (bloco de 2x2 pixels) e os deslocamentos sugeridos no
momento da formação da seqüência de imagens. Com a execução deste processo
obtém-se as imagens registradas e retificadas, além de estarem superamostradas. Na
geração da imagem de super resolução, aplica-se o processo inverso, ou seja, cada
posição na imagem a ser gerada é equivalente à mesma posição nas outras imagens
superamostradas, verificando-se o erro médio quadrático dos resíduos existentes entre
essas imagens. O nível de cinza que produzir o mínimo erro será escolhido como o
nível de cinza ideal. Estes resíduos são determinados com base na imagem de alta
resolução, inicialmente aproximada.
O autor não considerou os resultados como satisfatórios, já que o método
desenvolvido é bastante limitado, pois é executado a partir de uma imagem (fotografia),
gerando-se outras em scanners, de forma totalmente controlada. Wiman (1992) sugere
estudos mais aprofundados no intuito de ampliar este trabalho com a utilização de
métodos de matching para a realização do registro das imagens, podendo-se assim,
utilizá-lo para casos reais.
Hathaway & Meyer (1999), cientistas da NASA’s Marshall Space Flight
(Hunstsville, AL), desenvolveram um software chamado VISAR (Vídeo Image
Stabilization and Registration), utilizado para melhorar a resolução de imagens com o

intuito de se realizar análises de imagens científicas, vídeos da área médica, vídeos de

circuitos fechados realizados por câmeras de segurança para identificação de intrusos,
imagens que identificam motoristas infratores, aparelhos eletrônicos, além de uma
série de outras situações que envolvem uma seqüência de imagens. Estas imagens de
uma cena, podem ser geradas por câmaras de vídeo ou fotográficas. Este software,
inicialmente, era de uso restrito aos laboratórios do FBI, sendo posteriormente, liberado
para comercialização nos diversos mercados que podem suportá-lo. O software serve
de apoio para o sistema que captura a cena (seqüência de imagens) possibilitando a
determinação de novos detalhes envolvidos na mesma, levando em consideração a
intensidade de luz existente e a velocidade (evitar o efeito de arrasto - borramentos),
no momento da aquisição. O software gera imagens de alta resolução removendo os
defeitos ocasionados pelos deslocamentos e efeitos de zoom ocorridos durante a
aquisição com base nos frames ou imagens que compõem a cena, resultando na
minimização de ruídos existentes nas imagens.
Algumas imagens geradas por este software podem ser observadas em
www.www1.msfc.nasa.gov/NEWSROOM/new/video ou www.science.nasa.gov.
Baker & Kanade (1999), apresentam uma solução para a geração de
imagens de super resolução, a partir de seqüências de imagens não-planares, não-
rígidas e sujeitas a auto-oclusões, já que, a grande maioria dos trabalhos
desenvolvidos, nessa linha, utiliza imagens planares e rígidas. Os autores, buscaram
melhorar a resolução das imagens, ou partes das mesmas, que envolviam expressões
faciais, pois há grande dificuldade na construção do modelo 3-D da face humana. Com
base no algoritmo do fluxo ótico (algoritmo para a determinação dos parâmetros de
registro e retificação entre imagens), versão de Lucas & Kanade (1981) apud Baker &
Kanade (1999), consegue-se gerar, simultaneamente, os parâmetros para retificação e
registro das imagens, e a de super resolução.
O processo geral para se obter uma imagem de super resolução pode ser
observado na figura 3.11.

FIGURA 3.11 – Os quatro passos para geração de imagens de super resolução (Fonte:
adaptada de Baker & Kanade, 1999).
No passo (1) as imagens conhecidas são registradas para encontrar os

pontos correspondentes entre as mesmas; no segundo (2) passo as imagens são
retificadas por uma transformação warp (distorção). A distorção de imagens pode ser
conceituada como um processo onde são aplicadas, sobre a imagem de entrada,
transformações geométricas produzindo, como saída, outra imagem. As
transformações geométricas são operações que definem as relações entre as
coordenadas de pontos em duas imagens. Para corrigir uma imagem, ou seja, realizar
uma transformação, é necessário determinar-se corretamente o relacionamento
espacial e as dimensões de uma imagem. Para isso, estima-se o modelo de distorção
desejado, em geral, por meio de pontos de referência na imagem original, que podem
ser marcados ou identificados automaticamente na imagem transformada (Wolber,
1990). A partir disso, o terceiro passo (3) realiza a fusão das imagens de baixa
resolução, por meio da média entre os pixels correspondentes nas mesmas, para se
determinar a de alta, e no passo (4), que é um processo opcional, pode-se utilizar
filtros de convolução para minimizar o efeito de suavização deixado na imagem
resultante. Normalmente, os trabalhos desenvolvidos julgam que o registro de imagens
é conhecido a priori.
O algoritmo utilizado por Baker & Kanade (1999), minimiza o problema da
não-rigidez que ocorre quando se analisa a face de pessoas por exemplo, pois em uma
única cena esta face pode aparecer de maneira mais “relaxada” em um frame e no
outro não. O algoritmo também permite o registro de imagens. A figura 3.12, mostra de
forma geral, como este algoritmo converte, simultaneamente, uma seqüência de
imagens em uma versão da imagem de super resolução, calculando, o fluxo ótico.

FIGURA 3.12 – O processo geral do algoritmo do fluxo ótico na determinação de

imagens de super resolução (Fonte: adaptada de Baker & Kanade, 1999).
Apesar de haver a possibilidade de utilizar um número arbitrário de

imagens, o processo descrito por Baker & Kanade (1999), utiliza sempre cinco imagens
subseqüentes, onde a terceira é a de referência.
A seqüência direta para determinação da imagem de super resolução, por
este algoritmo, é mostrada detalhadamente, na figura 3.13. Este segue as seguintes
etapas:
(1) Todas as imagens adquiridas (originais) pertencentes à cena, são super
amostradas (terão o dobro de linhas e colunas) por meio da interpolação bilinear;
(2) Para cada imagem que compõe a cena, iniciando-se da terceira para a primeira
e continuando da terceira para a última (quinta), iterativamente, são executados os três
passos abaixo (a, b, c), até a imagem de super resolução convergir ou um número fixo
de iterações ser alcançado:
a) Calcular o fluxo ótico para as duas anteriores (primeira e segunda
imagens) e para as duas seguintes (quarta e quinta imagens) em
relação à imagem de referência (terceira);
b) Utilizando os parâmetros determinados pelo fluxo ótico, retificar
(warping) as duas imagens anteriores (primeira e segunda) e as duas
posteriores (quarta e quinta) em relação à de referência (terceira);
c) Re-estimar a imagem de super resolução (terceira), realizando a fusão
das cinco imagens que se encontram no mesmo referencial, por meio
do método da média entre os pixels correspondentes.

(3) Desborrar toda a imagem de super resolução gerada, utilizando o filtro de

convolução de Wiener (Pratt, 1991 apud Baker & Kanade, 1999).
(3) Filtro
FIGURA 3.13 – Esquema detalhado para obter a imagem de super resolução pelo
algoritmo do fluxo ótico (Fonte: adaptada de Baker & Kanade, 1999).
Como trabalhos futuros, Baker & Kanade (1999), sugerem a utilização de

um algoritmo que executa o registro e a fusão das imagens simultaneamente,
denominado de Maximum a Posteriori (MAP) descrito em Hardie et al. (1997) apud
Baker & Kanade (1999). Recomendam também, estudar o relacionamento entre o
algoritmo de super resolução do fluxo ótico e imagens representadas pela “pirâmide”
Laplaciana descrita em Burt & Adelson (1983) apud Baker & Kanade (1999).
Kang et al. (2000), desenvolveram um software que visa gerar imagens
de alta resolução a partir de imagens de baixa resolução. Para isso, buscou-se
determinar o número mínimo de imagens que deveriam ser adquiridas levando-se em
consideração a minimização de custos em relação à aquisição das imagens e
equipamentos utilizados, o tempo de processamento, o mínimo de ruídos gerados e
como resultado final, uma imagem que pode ser interpretada de forma confiável. O
esquema apresentado na figura 3.14 mostra o trabalho desenvolvido, e logo abaixo, a
descrição das etapas.

FIGURA 3.14 – Esquema do software desenvolvido (Fonte: adaptada de Kang et al.,

2000).
A aquisição das imagens, para a realização dos experimentos, foi realizada com
uma câmera digital (Kodak DC50) de baixo custo, composta de um sensor CCD de 756
x 504 pixels a uma distância de 2,5 m do alvo de interesse. Através do software Aldus
Photostyler S/W, foram geradas várias imagens de dimensão 100 x 100 pixels, com
deslocamento de 1 pixel em relação à outra, para simular uma seqüência de imagens.
O algoritmo implementado é capaz de determinar os parâmetros de
deslocamentos e rotação entre as imagens de baixa resolução através do método de

matching baseado em área, por mínimos quadrados. Posteriormente, determina-se o

grau de aumento no tamanho da imagem e o valor do ruído mínimo que se deseja
obter, ou seja, a qualidade da imagem resultado em relação ao erro médio que pode
ocorrer entre a imagem de super resolução determinada e a imagem que foi
identificada no software como a de referência. A etapa para determinação da imagem
de alta resolução é executada iterativamente, até se obter a convergência em relação à
qualidade desejada. Segundo os autores, o resultado foi satisfatório levando-se em
consideração o cuidado na aquisição das imagens.
Joyeux et al. (2001), abordaram o processo de reconstrução de
seqüências de imagens degradadas com ênfase em restauração de filmes antigos em
preto e branco. O objetivo dos autores seria minimizar a quantidade de ruídos que
aparecem em uma cena com base na seqüência de imagens que compõe o filme.
Todo o trabalho foi realizado utilizando-se de processos no domínio de freqüência para
remover ruídos e borramentos encontrados nas imagens, por meio de filtros passa-
baixa e passa-alta, além das séries de Fourier.
Dentre as diferentes abordagens descritas nesta seção, pode-se verificar
que o problema comum encontrado para a geração de imagens de alta resolução
através de seqüências de imagens, está na determinação dos parâmetros para o
registro e retificação. A maioria dos autores citados, optaram pela aquisição controlada
dos dados, e a partir disso, ter os parâmetros conhecidos a priori.
Outra possibilidade observada, é a abordagem utilizando-se do domínio
da freqüência e com a utilização de filtros para a geração desta nova imagem.

CAPÍTULO 4
MATERIAIS E MÉTODOS
4.1. MATERIAIS UTILIZADOS NO DESENVOLVIMENTO
Para o desenvolvimento da ferramenta utilizou-se um computador AMD-

K6 II, 450 MHz, com disco rígido de 4.3 GB e 64 MB de memória, sendo o Windows 98
o sistema operacional. O ambiente de desenvolvimento utilizado foi o da Borland C++
Builder versão 4.0, por possibilitar melhores recursos para a manipulação de imagens
e também, por tratar-se de um software visual e na plataforma Windows, o que facilita
a utilização pelo usuário final. A linguagem de programação utilizada foi o C++, pois é a
utilizada pelo ambiente Borland C++ Builder. Foi feito uso também do software Adobe
Photoshop 5.0, por tratar-se de uma ferramenta capaz de manipular imagens
possibilitando a escolha dos métodos desejáveis para realizar os experimentos com a
ferramenta desenvolvida.
O software Microsoft Excel 2000, também foi utilizado para executar a
conversão das coordenadas (em pontos) dos pixels medidos nas imagens, onde a
origem (0,0) se encontra no canto superior esquerdo, para o referencial fotogramétrico
(em milímetros), com a origem (0,0) no centro da imagem, levando-se em
consideração a resolução da câmera (dimensões das imagens capturadas) e o
tamanho do pixel.
As câmaras digitais utilizadas para a coleta das imagens foram:
KODAK DC-40: possui lentes com distância focal fixa de 46,981 mm,
diâmetro das lentes de 7,7 mm e distância hiper focal de 1,2 m. A câmara utiliza o
processo digital para capturar, gravar e processar as imagens. O sistema de lentes
possui 5 elementos ópticos, que transmitem a luz para o CCD. As dimensões do CCD
são de 768 x 512 pixels (6,9 mm x 4,6 mm). Um buffer armazena temporariamente as
imagens digitais, que posteriormente são transferidas para o computador, através de
um cabo interligando o dispositivo de saída da câmara à porta serial do computador;
KODAK DC-210: possui lentes com distância focal variável de 29 ou 58
mm. Também utiliza o processo digital para capturar, gravar e processar as imagens,

sendo que estas, permanecem armazenadas em um PC Card (Picture Card), cartão de

imagens, que é equivalente ao cartão PCMCIA. Possui uma alta resolução 1152 x 864
pixels, possuindo também, um monitor LCD para visualização das imagens antes de
serem transferidas para o computador, o que é feito através de um cabo interligando a
câmara à porta serial do computador.
Utilizou-se também, de um aplicativo desenvolvido pelo Prof. Dr. Júlio
Kiyoshi Hasegawa (Unesp/FCT), para determinar os parâmetros da transformação
projetiva, parâmetros estes, necessários para a realização da retificação entre as
imagens que pertenciam à cena analisada. E ainda, o aplicativo que realiza a resseção
espacial, determinando os parâmetros de rotação e deslocamentos que foram usados
para a retificação das imagens, este, desenvolvido pelo Prof. Dr. Antonio Maria Garcia
Tommaselli – Unesp/FCT.
4.2. METODOLOGIA DO TRABALHO
As metodologias utilizadas para a geração das imagens de super

resolução a partir de seqüências de imagens estão descritas nas seções 4.2.1, 4.2.2 e
4.2.3.
Uma visão geral da metodologia empregada para o desenvolvimento do
trabalho pode ser vista na figura 4.1.

Aquisição da seqüência de imagens
Medir, manualmente, pontos

correspondentes nas imagens que
pertencem à seqüência
Realizar o registro das imagens em

relação à de referência
I
Retificar todas as imagens, com base m
nos parâmetros adquiridos pelo registro p
de imagens l
e
m
Executar a fusão das imagens retificadas e
e super amostradas n
t
a
d
Exibir imagem de super resolução
a
s
FIGURA 4.1 – Visão geral das etapas de geração das imagens.
4.2.1. ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS

SIMULADOS
Para um teste inicial, utilizou-se de técnicas de interpolação para gerar

uma imagem de alta resolução a partir de, apenas, uma imagem de baixa resolução.
Foram geradas seqüências de imagens simuladas, onde o conjunto foi
obtido por meio de translações, executando-se os deslocamentos a partir de uma
imagem adquirida pela câmara Kodak DC-210. Devido a isso, os parâmetros para o
registro e retificação das imagens são conhecidos antecipadamente.
Em um outro conjunto, imagens adquiridas pela câmara Kodak DC-210,
aplicou-se ruídos em todas as imagens da seqüência, por meio do software Adobe
Photoshop 4.0. Os parâmetros de deslocamentos dessas imagens são determinados
conforme descritos na seção 5.2.

4.2.2. ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS REAIS
a) Coleta das Imagens:

As imagens foram coletadas pelas câmaras digitais descritas na seção
4.1, introduzindo pequenos deslocamentos no mesmo plano das imagens para
evitar mudanças de escala, e assim, obter seqüências de imagens. Com a
câmara Kodak DC-40, as imagens foram obtidas a uma distância de 2m,
obtendo-se uma escala equivalente a 1:43, com tamanho do pixel na cena de
6mm. Enquanto que com a câmara Kodak DC-210, o primeiro conjunto de
imagens foi obtido a uma distância de aproximadamente 1m, e no segundo
experimento, a uma distância de 2,13m, obtendo-se o pixel de tamanho igual a
2,2mm (no espaço objeto) e escala equivalente a 1:73. Esta coleta pode ser
realizada também, de forma contínua por meio de câmeras de vídeo, mas seria
necessária, a utilização de software específico para a digitalização e separação
dos frames de interesse;
b) Registro e Retificação:
Para se obter o registro e, posteriormente, a retificação das imagens, foi
feita uma medição manual dos pontos correspondentes entre as imagens.
Através do software Adobe Photoshop 5.0, foram medidos vários pontos em
todas as imagens, determinando suas correspondências em relação às demais.
Para tanto, foi usado máximo nível de zoom e anotadas as coordenadas linha e
coluna, com o objetivo de se minimizar o erro de pontaria. Essas coordenadas
(em pixels) foram transferidas para o referencial fotogramétrico (em milímetros)
através de cálculos realizados por meio do software Microsoft Excel 2000, pelas
equações descritas em 4.1.
x fot = ( xi − NCol / 2) * TamPixel

(4.1)
y fot = −( yi − NLin / 2) * TamPixel
Onde:
xfot, yfot: coordenada no referencial fotogramétrico;
xi, yi: coordenada imagem (coluna, linha);

NCol: número de colunas da imagem adquirida;

Nlin: número de linhas da imagem adquirida;
TamPixel: tamanho do pixel em milímetros na imagem a ser gerada.
Com estes pontos determinados, o próximo passo é determinar os

parâmetros para a realização do registro entre as imagens. Para isso, foram
utilizados os programas de transformação Projetiva e Resseção Espacial já
citados.
A figura 4.2 mostra o fluxograma do programa que utiliza a
Transformação Projetiva para a determinação dos parâmetros para a realização
do Registro das Imagens.
Arquivo de coordenadas dos pontos de "controle"

(imagem de referência);
Arquivo de coordenadas observadas.
Determinação dos parâmetros de transformação entre

a imagem de referência e a imagem a ser registrada
pelo Método dos Mínimos Quadrados
Cálculo dos resíduos em 'x' e em 'y', referentes às

coordenadas medidas e transformadas
Gerar arquivo com os parâmetros

de transformação e resíduos
referentes a cada coordenada
FIGURA 4.2 – Fluxograma do programa de Transformação Projetiva.
A figura 4.3 mostra o fluxograma do programa que realiza a Resseção

Espacial, ou seja, calcula os parâmetros de orientação exterior da câmara,
utilizando o Método dos Mínimos Quadrados e as Equações de Colinearidade, a
partir de valores aproximados para os parâmetros e coordenadas nos espaços

imagem e objetos de pontos de “controle”, para a determinação dos parâmetros

para o Registro de Imagens.
Arquivo com parâmetros de orientação interior da

câmara e parâmetros aproximados de orientação
exterior;
Arquivo com as coordenadas dos pontos de "controle"
(X,Y,Z) - imagem de referência;
Arquivo com as coordenadas observadas (x,y).
Através do Método dos Mínimos Quadrados e do

Modelo de Colinearidade, calcular o vetor dos
parâmetros ajustados de rotação (kapa, phi, ômega) e
de deslocamentos (Xo,Yo,Zo)
Determinação dos resíduos, referentes às

coordenadas medidas e transformadas
Gerar arquivo com todos os

parâmetros palculados
FIGURA 4.3 – Fluxograma do programa de Resseção Espacial.
A execução destes aplicativos necessita da determinação da imagem de

referência, imagem esta que possui os pontos de “controle”, que são
necessários para a correspondência dos pontos nas outras imagens que
compõem a cena, conforme mostram as figuras 4.2 e 4.3.
Após os parâmetros terem sido determinados, fez-se simultaneamente, a
retificação e reamostragem das imagens que pertencem à seqüência em relação
à imagem de referência. Esta retificação foi realizada obtendo-se a
correspondência de cada pixel da imagem de referência super amostrada com a
imagem original de baixa resolução, que inicialmente, possuíam intensidades de
brilho iguais a zero. A figura 4.4 mostra, de forma geral, o processo de
retificação implementado.

Imagens da cena
Selecionar as imagens que serão

analisadas e a imagem considerada
como a de referência (imagem principal)
Gerar imagem super amostrada em preto (pixels

com intensidades de brilho iguais a zero)
Para cada imagem:

calcular as coordenadas correspondentes na imagem de baixa resolução,
usando os parâmetros calculados no registro
Para cada pixel da imagem:

interpolar bilinearmente o valor de brilho a partir dos vizinhos do pixel
projetado e atribuir este valor ao pixel na imagem de super resolução
Imagens retificadas
FIGURA 4.4. Processo de retificação das imagens.
Com base nas equações que possibilitaram o registro das imagens

(transformação projetiva ou modelo de colinearidade), determina-se à
correspondência dos pixels nas imagens de baixa resolução. Como as
coordenadas projetadas na imagem de baixa resolução estão em frações do
pixel, há a necessidade de uma interpolação entre os vizinhos para a
determinação do nível de brilho relativo ao que se deseja determinar na imagem
de super resolução. O método de interpolação bilinear foi o utilizado, levando-se
em consideração a influência de cada pixel em relação ao que deveria ser
gerado.
c) Fusão e Geração da Imagem de Super Resolução:
A etapa final do processo é a fusão dos pixels correspondentes nas
imagens retificadas que pertençam à cena em relação à de referência. Nesta
etapa obtém-se a imagem de super resolução, podendo ser realizada de duas
formas:

i. Média entre os valores de brilho dos pixels: é realizada a partir dos pixels
correspondentes determinados pelos processos de registro e retificação,
para a determinação do nível de brilho do pixel na imagem resultado, ou
seja, é realizada a média aritmética dos valores de brilho, que leva em
consideração, a somatória dos níveis de brilho de cada ponto e a
quantidade de imagens que estão sendo analisadas, conforme mostra a
figura 4.5.
Valor
FIGURA 4.5 – Fusão pelo Método da Média entre os pixels das imagens que
pertencem à cena.
ii. Processo com minimização de erros: inicialmente realiza-se uma primeira

estimação da imagem de alta resolução, por exemplo, a imagem de
referência superamostrada pela interpolação bilinear, conforme processo
ilustrado na figura 4.6. A partir da imagem de alta resolução aproximada,
projeta-se cada pixel nas imagens de baixa resolução.

Imagem
Verificar quantidade de linhas e

colunas a serem percorridas Determinar a intensidade de
brilho do pixel, levando-se em
consideração a distância que o
mesmo se encontra em relação
ao seu vizinho na direção de x
Verificar se todos os Sim Imagem Gerada
pontos foram analisados
Não Determinar a distância deste

pixel em relação ao gerado na
Determinar as coordenadas do direção de y
ponto (usando a transformação
desejada) que será analisado
para plotagem na imagem
superamostrada
Determinar a intensidade de
brilho do pixel, levando-se em
Determinar a intensidade de consideração as distâncias
brilho dos pontos vizinhos que encontradas e os níveis de brilho
serão levados em consideração de seus vizinhos em relação a
para obtenção do brilho do pixel direção de x e y
na nova imagem
Determinar a distância deste Plotar a intensidade de

pixel em relação ao gerado na brilho ao ponto que está
direção de x sendo analisado
FIGURA 4.6 – Processo para geração de imagens superamostradas através de

Interpolação Bilinear.
O valor projetado será fracionário (ao nível de subpixel) e deve-se

interpolar o valor correspondente em cada imagem de baixa. Com isso, obtém-se a
diferença entre o valor projetado e o valor observado, originando um erro. Calcula-se o
erro médio quadrático (equação 4.2) para o bloco de quatro pixels, considerando-se
todas as imagens da seqüência; varia-se para –1 o valor de brilho do primeiro pixel na
imagem de alta resolução e repete-se a projeção para o cálculo do erro; varia-se para
+1 e repete-se o cálculo. Por meio desse processo, calcula-se os erros para todas as
combinações possíveis de valores de brilho, variando no intervalo (-1, 1). A
combinação que apresentar o menor erro médio quadrático é mantida na imagem de
alta resolução.
O Erro Médio Quadrático é dado pela equação (4.2).
e =
∑ r 2
(4.2)
n − 1

Onde:
E: Erro Médio Quadrático;
r: Resíduo (diferença, em intensidade de brilho, entre o

pixel projetado e o observado);
n: Quantidade de pixels da Imagem.
4.2.3. IMPLEMENTAÇÃO COMPUTACIONAL
A implementação aborda as etapas definidas no item 4.2.2, além de

outros algoritmos desenvolvidos com o intuito de se obter experimentos de forma
controlada em imagens em tons de cinza.
Utilizou-se do conceito de matrizes dinâmicas que é disponibilizado pela
linguagem C, ou seja, as matrizes para armazenamento das imagens são criadas com
tamanhos definidos no momento da execução do sistema, evitando o desperdício de
memória e possibilitando o aumento de performance, no que se refere a
processamento das imagens. Da mesma forma, o ambiente de desenvolvimento C++
Builder, possibilita o uso de formulários (objetos tipo janela MDI – Múltiplas Instâncias
de Janelas) que podem ser criados à medida que o usuário necessite e, por isso, o
limite de imagens que se pode utilizar é definido pela quantidade de memória que o
hardware possui.
A ferramenta desenvolvida disponibiliza a abertura de arquivos de
imagens com extensão bmp (imagem de BitMap) e a gravação dos mesmos, além de
possibilitar a escolha das imagens que se deseja analisar com base no conteúdo
descrito no item anterior. Os processos disponibilizados são:
§ A conversão de imagens coloridas (padrão RGB) para imagens em tons de
cinza, onde cada pixel é decomposto em suas componentes, calculando-se o
nível de intensidade de cinza conforme equação (4.3);
Valor de brilho resultante = 0.299*R + 0.587*G + 0.114*B (4.3)

Onde:
R: Componente Red (Vermelha);
G: Componente Green (Verde);
B: Componente Blue (Azul).
§ Diferença entre imagens: gerando uma imagem diferença (níveis de brilho) e

o erro médio quadrático existente entre mesmas;
§ Função de aumento ou diminuição de Brilho;
§ Opção para interpolação utilizando a média, que foi utilizada para aplicar
efeitos de suavização na imagem, com o intuito de realizar experimentos;
§ Funções para a geração de deslocamentos em imagens, gerando-se uma
seqüência simulada, para realização de experimentos com a transformação
afim;
§ Superamostragem das imagens utilizando os métodos da média, do vizinho
mais próximo e da interpolação bilinear;
§ Processos de retificação, utilizando a transformação projetiva ou as
equações de colinearidade, onde a retificação é executada de forma
individualizada, ou seja, aplicada a uma imagem em relação à outra
(referência), gerando uma imagem retificada e superamostrada;
§ Processos para a fusão das imagens retificadas e super amostradas, ou
seja, o usuário pode retificar as imagens individualmente, e fundir apenas as
de interesse;
§ Processos de geração de imagens de super resolução com base nas
metodologias descritas na seção 4.2.1 e 4.2.2, onde o usuário determina os
parâmetros de interesse e dispara o processo que resultará na imagem de
super resolução.
A figura 4.7 apresenta a janela principal da ferramenta e uma seqüência
de imagens já definida.

FIGURA 4.7 – Janela principal da ferramenta implementada.

CAPÍTULO 5
EXPERIMENTOS E RESULTADOS
O sistema implementado foi testado com dados simulados e com dados

reais. Foram realizados vários experimentos no decorrer do trabalho, para verificar a
melhor seqüência durante a aplicação dos métodos com o intuito de se estabelecer
uma imagem com a melhor resolução. Neste capítulo são apresentados os
experimentos com maior relevância.
5.1 EXPERIMENTOS COM DADOS SIMULADOS
Para o teste inicial da ferramenta foram utilizadas imagens simuladas, ou

seja, o conjunto de imagens foi obtido simulando uma seqüência que compõe uma
determinada cena, com base em uma imagem adquirida (resolução 1152x864 pixels)
pela câmara Kodak DC-210, conforme mostra o processo na figura 5.1. Essa
seqüência foi obtida por meio da ferramenta desenvolvida, utilizando-se de translações
para gerar os deslocamentos desejados.
500 500
1000 1000
500
Simulação Restituição Imagem
1000 Imagem Original 1000
Super-amostrada
500
FIGURA 5.1 – Processo de geração das imagens simuladas para a geração de uma
imagem de alta resolução.
A geração de uma imagem de alta resolução a partir da simulação de

seqüências de imagens, pode ser obtida seguindo-se os passos abaixo descritos:
a) aplicação de deslocamentos na imagem original, ou seja, a imagem é
transladada em x e em y;

b) utilização do algoritmo de interpolação bicúbica para se obter imagens

subamostradas a partir das imagens transladadas;
c) faz-se o registro, retificação e reamostragem das imagens, para que
se possa gerar uma imagem de alta resolução.
O processo para obtenção das imagens simuladas até a geração da
imagem de alta resolução pode ser observado na figura 5.2.
S
Imagens originais
i
m
u
l
Definir deslocamentos para cada a
imagem, em relação a imagem de ç
original, e subamostrá-las ã
o
Realizar o registro e a retificação das

imagens que pertençam a mesma
cena, com base na imagem de
G
referência a ser superamostrada,
e
gerando a fusão entre as imagens
r
simultâneamente
a
ç
ã
o
Imagem super amostrada
FIGURA 5.2 – Processo geral, que envolve a simulação de uma seqüência de imagens
e geração da imagem de alta resolução.
A geração dessa imagem de maior resolução é feita através de um

processamento pixel a pixel, com a utilização da interpolação bilinear para determinar o
nível de brilho do pixel correspondente em cada imagem de baixa resolução, obtendo-
se, após isso, a fusão das imagens por meio da média aritmética dos valores de cada
posição em todas as que pertencem à seqüência.
Antes de mostrar os experimentos com uma seqüência de imagens,
serão apresentados os experimentos com ampliação simples (sem seqüência).

Foram analisadas três maneiras de se obter a ampliação

(superamostragem) da imagem de resolução de 768x512 pixels, adquirida pela câmara
Kodak DC-40:
§ através da simples replicação (repetição do nível de brilho
determinado pelo método do vizinho mais próximo) do pixel da
imagem original, na imagem a ser ampliada;
§ através da média dos pixels vizinhos (bloco de 2x2) da imagem
original e replicando este valor médio;
§ com a utilização da interpolação bilinear, verificando a influência
dos pixels vizinhos (bloco 2x2).
Obtendo-se assim um novo nível de brilho, o qual é plotado na imagem a
ser ampliada. Os resultados obtidos nos processos de superamostragem simples (sem
fusão de múltiplas imagens) implementados, são mostrados nas figuras 5.3 a 5.11.
FIGURA 5.3 – Ampliação utilizando a replicação.
O retângulo que aparece na figura 5.3 é usado para representar a região

a ser analisada com maior cuidado, ou seja, para observar os detalhes, através de
zoom, mostrado na figura 5.4.

FIGURA 5.4 – Detalhe da imagem ampliada na figura 5.3.
Na figura 5.3, e principalmente, na 5.4, pode-se observar que o efeito de

serrilhado é muito aparente, pois apenas se replica um pixel quatro vezes, dobrando o
tamanho da imagem. A ferramenta desenvolvida, possibilita a determinação do grau
de aumento que se deseja obter na imagem.
Na figura 5.5, pode-se observar o erro médio quadrático entre a imagem
original e a imagem superamostrada pelo método de interpolação de vizinho mais
próximo, a partir da imagem subamostrada anteriormente.
FIGURA 5.5 – Erro médio quadrático entre a imagem original e a imagem gerada pela
interpolação pelo Vizinho Mais Próximo.
Na figura 5.6, mostra-se o resultado obtido quando o processo utilizado é

a média aritmética entre os quatro pixels vizinhos, com a posterior replicação do valor
estabelecido pela média. Pode-se observar que ocorre um efeito de suavização na
imagem, ou seja, o serrilhado observado na figura 5.3 é minimizado.

FIGURA 5.6 – Ampliação utilizando a Média Aritmética entre os pixels.
A figura 5.7, mostra detalhes da região assinalada na figura 5.6, para que
se possa verificar a suavização ocorrida.
FIGURA 5.7 – Detalhe da imagem ampliada na FIGURA 5.6.
A figura 5.8, mostra o erro médio quadrático entre a imagem gerada e a

imagem original, onde se observa que o erro é maior que na imagem gerada pela
replicação de um pixel, conforme a figura 5.5. Isso ocorre, pois no método anterior há
pixels com a mesma intensidade de brilho, enquanto que neste método, o pixel plotado
tem intensidade de nível de brilho igual à média aritmética entre seus vizinhos,
confirmando a suavização observada na figura 5.7.

FIGURA 5.8 – Erro médio quadrático gerado pela diferença entre a imagem original e a
imagem superamostrada pelo método da Média Aritmética.
Na figura 5.9, observa-se à imagem ampliada pelo método da

Interpolação Bilinear, onde se verifica que o efeito de serrilhado é bastante minimizado,
realçando as altas freqüências existentes na imagem e com menor suavização se
comparado com o método anterior.
FIGURA 5.9 – Ampliação pela Interpolação Bilinear.
Na figura 5.10, observa-se que é o melhor resultado apresentado, pois

diminui tanto o serrilhado apresentado na figura 5.4 como a suavização na figura 5.7.
Isso ocorre, pois a interpolação bilinear leva em consideração as influências que os
pixels vizinhos exercem sobre o pixel que está sendo analisado para a geração de um
novo nível de brilho.

FIGURA 5.10 – Detalhe da imagem ampliada na FIGURA 5.9.
Na figura 5.11, pode-se confirmar a observação descrita acima, pois o

erro médio quadrático é maior do que em relação ao método replicativo e menor que o
método da média.
FIGURA 5.11 – Erro médio quadrático gerado pela diferença entre a imagem original e
a imagem superamostrada pelo método da Interpolação Bilinear.
Os experimentos a seguir, foram realizados para a criação de imagens de

alta resolução a partir de uma seqüência de imagens simuladas.
Por meio destes experimentos, observa-se que ao se aplicar a
interpolação em uma imagem apenas, alguns ruídos existentes são minimizados, mas
nada comparado à criação de uma imagem utilizando várias outras imagens que
pertencem à cena.

Experimento 1 – Seqüência com dados simulados:

Neste experimento, utilizou-se de translações para se obter uma
seqüência simulada de imagens, a partir de deslocamentos aplicados à imagem
mostrada na figura 5.12. Conseqüentemente, os parâmetros a serem utilizados pelo
registro e retificação das imagens pertencentes à cena simulada são conhecidos.
FIGURA 5.12 – Imagem utilizada para gerar uma seqüência simulada de imagens a
partir de deslocamentos em x e y.
A partir da imagem mostrada na figura 5.12 com resolução de 1152x864

pixels, adquirida pela câmara Kodak DC210, foram geradas sete imagens com base
nos deslocamentos mostrados na tabela 5.1. Após serem geradas as imagens com os
deslocamentos, essas novas imagens foram subamostradas, ficando com resolução de
576x432 pixels. A “Imagem0”, é a imagem original apenas subamostrada, e por isso
seus parâmetros são iguais a zero, também sendo definida como a imagem de
referência.
Esse experimento foi realizado para se verificar a eficiência do método
utilizado, já que dessa forma, não se têm problemas para a determinação dos
parâmetros de registro das imagens, conhecidos a priori.

TABELA 5.1 – Parâmetros de translação definidos para a geração de uma seqüência

simulada de imagens.
Parâmetros de deslocamentos
Imagens dx (pixel) dy (pixel) dx (mm) dy (mm)
Imagem0 0 0 0.000 0.000
Imagem1 1 1 0.033 0.033
Imagem2 1 0 0.033 0.000
Imagem3 0 1 0.000 0.033
Imagem4 -1 -1 -0.033 0.033
Imagem5 -1 0 -0.033 0.000
Imagem6 0 -1 0.000 -0.033
As imagens de super resolução foram então geradas utilizando o modelo

de colinearidade e a transformação projetiva, utilizando-se de dois métodos: método da
média, e método que visa a minimização de erros para a determinação do nível de
brilho ideal para o pixel analisado.
i. Modelo de Colinearidade
No caso de experimentos com dados simulados, a imagem de super
resolução gerada a partir da retificação com o modelo de colinearidade foi
considerada satisfatória, apesar de apresentar uma pequena paralaxe na imagem,
dando a sensação de uma imagem suavizada, como mostra, de forma geral, a
figura 5.13, mais especificamente, a figura 5.13c (detalhes na figura 5.14).

FIGURA 5.13 – Resultado da imagem de super resolução, por meio do modelo de

colinearidade, com base na seqüência de imagens simulada.
A figura 5.14, apresenta a ampliação da região em destaque nas imagens

5.13(a), 5.13(b) e 5.13(c), respectivamente. Essa ampliação auxilia na observação dos
detalhes apresentados nas imagens, para se verificar a eficiência do método utilizado.
Observa-se claramente, na figura 5.14(c), a suavização que ocorre em relação à
imagem original (figuras 5.13a e 5.14a). Conseqüentemente, os ruídos e o serrilhado
existentes são minimizados (figuras 5.13b e 5.14b). Esse aparente borramento, que
ocorre na figura 5.14(c), é devido à precisão que o modelo de colinearidade oferece
para a retificação das imagens que compõem a cena, pois o plano imagem é
bidimensional e o modelo é tridimensional, ocorrendo uma certa distorção na imagem
resultante.


figura 5.13.
Na figura 5.15(a), apresenta-se uma imagem de diferenças entre a
imagem original, conforme a figura 5.13(a), e a imagem super amostrada, visualizada
na figura 5.13(c). Esta imagem mostra os pixels que sofreram alteração de valor na

imagem resultante (os mais claros na figura 5.15a), e os que não sofreram alterações
(os negros, nível de brilho igual a zero). A figura 5.15(b), mostra o erro médio
quadrático calculado, levando em consideração todos os pixels da imagem resultante.
(a) Diferença entre a imagem original e a gerada
(b) Erro médio quadrático gerado

gerada com base na seqüência de imagens simulada pelo Modelo de Colinearidade.

ii. Transformação Projetiva

a. Pela Média
Este método apresentou um melhor resultado em relação ao anterior,
como mostra a figura 5.16, onde na figura 5.16(c), pode-se observar que os detalhes
em destaque apresentam-se de forma mais nítida do que por meio do modelo anterior.
Isto pode ser melhor evidenciado nas figuras 5.17 e 5.18.
(a) Imagem original (b) Imagem de referência –

imagem original subamostrada
(c) Imagem gerada

FIGURA 5.16 – Resultado da imagem de super resolução, por meio da transformação
projetiva, com base na seqüência de imagens simulada, pelo método da média.

A imagens apresentadas na figura 5.17, são as regiões que estão em

evidência na figura 5.16, sendo respectivamente, 5.17(a), 5.17(b) e 5.17(c).

figura 5.16.

Na figura 5.17(c), pode-se observar que há menos suavização do que em

relação ao método anterior, pois a transformação projetiva é mais adequada para se
realizar o registro e a retificação neste tipo de trabalho, pois, apenas se executa uma
transformação bidimensional. Com isso, houve a possibilidade de se restaurar a
imagem nos padrões da imagem original.
Na figura 5.18(a) pode-se visualizar os pixels que foram alterados,
confirmando-se assim, a suavização existente. A figura 5.18(b), mostra o erro médio
quadrático entre a imagem original (5.16a) e a imagem gerada (5.16c), apresentando
um erro menor que o gerado pelo modelo de colinearidade.
FIGURA 5.18 – Imagem de diferenças entre a imagem original e a imagem de super

resolução, gerada por meio da transformação projetiva e pelo método da média.

Na figura 5.19(a), observa-se a diferença visual entre as imagens geradas

utilizando o modelo de colinearidade, conforme figura 5.13(c), e a utilizando a
transformação projetiva 5.16(c).
FIGURA 5.19 – Imagem de diferenças entre a imagem gerada pelo modelo de

colinearidade e a gerada por meio da transformação projetiva e pelo método da média.

b. Minimização dos Erros

Este método visa obter uma imagem de alta resolução a partir de uma
aproximação inicial da mesma, e das demais imagens que formam uma cena. Para a
geração da aproximação inicial, optou-se pela imagem gerada utilizando-se o método
da média, conforme mostrada na figura 5.16(c).
A imagem mostrada na figura 5.20(c), apresenta uma suavização ainda
maior, pois é verificado o erro médio quadrático ocorrido entre todas as imagens da
seqüência e a imagem tomada como aproximação inicial, variando-se os pixels no
intervalo de –1 a +1, em um bloco de 2x2 pixels. Conseqüentemente, 81 combinações
são realizadas neste bloco, escolhendo-se aquele que apresentar o menor erro,
conforme descrito na metodologia (capítulo 4).
A suavização existente na imagem gerada a partir da imagem definida
como a aproximação inicial (5.16c) se deve, principalmente, pelo registro das imagens
apresentar um pequeno desvio padrão entre as coordenadas dos pontos
correspondentes nas imagens que pertencem à cena. A maior vantagem deste
método, está na grande qualidade de se minimizar ruídos existentes na imagem.
Foi realizado também, um experimento variando os níveis de brilho dos
pixels com os incrementos de -5, 0 e +5, e definindo como combinação ideal, aquela
que apresentar o menor erro médio quadrático. O resultado é mostrado na figura
5.23(c).

(a) Imagem Original (b) Imagem de referência – imagem

original subamostrada
(c) Imagem resultante

transformação projetiva e pelo método de minimização dos erros (-1,0,+1), com
base na seqüência de imagens simulada.
Na figura 5.21(c), observa-se claramente, a suavização ocorrida na

imagem gerada, como mostra a figura 5.20(c). Esta comparação se torna ainda mais
evidente quando observada a figura 5.17(c).

(a) Região ampliada na imagem original

figura 5.20.

O erro médio quadrático aumenta em, aproximadamente, uma unidade

em relação ao método da média, conforme mostra a figura 5.22(b). E visualmente,
observa-se, figura 5.22(a), que as diferenças são maiores nas regiões de bordas.

gerada, com base na seqüência de imagens simulada, pelo método de minimização
dos erros (-1,0,+1).

A figura 5.23(c), mostra o resultado utilizando-se o método de

minimização dos erros mas, com variação dos níveis dos pixels pelos incrementos (-5,
0, +5). A imagem resultado, teve como aproximação, a imagem gerada pelo método da
média.


FIGURA 5.23 – Resultado da imagem de super resolução, gerada pela transformação
projetiva e com o método de minimização dos erros (-5, 0, +5), com base na
seqüência de imagens simulada.


figura 5.23.

O erro médio quadrático aumentou, conforme figura 5.22(b), em relação à

combinação anterior (figura 5.20c), pois as mudanças ocorridas na imagem resultante
são maiores.
Na figura 5.22(a) observa-se visualmente a diferença entre a imagem
original e a imagem resultante pela aplicação do método minimização dos erros.

gerada pelo método de minimização dos erros (-5,0,+5), com base na seqüência de
imagens simulada.

Na figura 5.26(a), observa-se a diferença entre as imagens mostradas

nas figuras 5.20(c) e 5.23(c), geradas pelas combinações (-1, 0, +1) e (-5, 0, +5).
Confirma-se assim, que as alterações mais sensíveis ocorrem onde há maiores
freqüências na imagem.

FIGURA 5.26 – Diferença entre as imagens de super resolução geradas pelos
métodos de minimização dos erros variando entre (-1, 0, +1) e (-5,0,+5), com
base na seqüência de imagens simulada.

5.2 EXPERIMENTOS COM DADOS REAIS
Estes experimentos foram realizados com as imagens adquiridas

conforme descrito no capítulo 4. Os processos de Registro e Retificação foram
realizados utilizando os modelos mencionados na Metodologia: Resseção Espacial
(MMQ e Modelo de Colinearidade) e Transformação Projetiva.
Os experimentos foram classificados de acordo com a seqüência de
imagens que foram analisadas e com os modelos utilizados.
No primeiro experimento, utilizou-se imagens adquiridas pela câmara
Kodak DC-210 e adicionou-se, por meio do software Adobe Photoshop 5.0, um filtro
uniforme de ruídos, como mostra a figura 5.27. A figura 5.32 mostra o conjunto de
imagens adquiridas com pequenos deslocamentos na câmara digital Kodak DC40
(756x504 pixels), que pode ser observado no segundo experimento. No terceiro
experimento, a seqüência de imagens analisada é aquela apresentada na figura 5.41,
as quais foram adquiridas, também com deslocamentos, pela câmara digital Kodak
DC210 (1152x864 pixels).
Experimento 1 – Seqüência com dados reais e adição de ruídos

Neste experimento, procurou-se utilizar uma seqüência de imagens
adquiridas pela câmara Kodak DC-210 com resolução de 1152x864 pixels. Os
parâmetros para o registro e retificação das imagens foram determinados com o
programa que utiliza a transformação projetiva. Nas imagens desta seqüência, foram
aplicados ruídos, fazendo com que ocorresse um certo borramento nas mesmas,
gerando-se assim, imagens degradadas. Essas imagens foram degradadas para
simular imagens adquiridas por dispositivos de baixa qualidade, por exemplo, câmaras
de vídeo de circuito fechado.
A figura 5.27, mostra a seqüência de imagens adquiridas, subamostradas
para resolução de 576x432 pixels e degradadas.
Os parâmetros da transformação projetiva para o registro das imagens
são mostrados na tabela 5.6.
Para este experimento utilizou-se apenas a transformação projetiva com
os métodos de fusão de imagens pela média e pela minimização dos erros,
descartando o modelo de colinearidade e a transformação afim, por não modelarem
adequadamente o problema.

FIGURA 5.27 – Imagens que compõem uma cena com ruídos.

O resultado apresentado na figura 5.28(c), é bastante interessante, pois

mostra que recuperou uma grande quantidade de informações, que na figura 5.28(b)
não são determinadas claramente. Como ocorreu nos resultados mostrados
anteriormente, a suavização é observada, principalmente, nas áreas de baixa
freqüência.
(b) Imagem de referência – imagem

(a) Imagem original original subamostrada com ruídos
(a) Imagem original

transformação projetiva e pelo método da média, com base na seqüência de imagens
com ruídos.

Há ainda, muita informação que não é restaurada, mas o resultado

apresentado na figura 5.29(c), que é a ampliação de uma pequena parte da imagem
mostrada pela figura 5.28(c), é considerado satisfatório, e a melhora visual da imagem
é observada muito claramente.

FIGURA 5.28.

Por meio da figura 5.30(a), observa-se a diferença entre os pixels

atualizados e a imagem original, e a figura 5.30(b) mostra o erro médio quadrático,
entre a imagem original e a imagem gerada. Este erro apresenta um valor bastante
elevado devido ao grande nível de degradação aplicado à seqüência de imagens.

gerada com base na seqüência de imagens com ruídos, pelo método da média.
A figura 5.31, apresenta o resultado obtido com o método de minimização

dos erros aplicado nas imagens, como mostra a figura 5.28.
A combinação foi gerada variando os níveis de cinza nos valores (-5, 0,
+5), e parte da imagem resultante é mostrada na figura 5.31(c). Esta imagem foi
gerada partindo-se da imagem gerada pelo método da média como aproximação
inicial, e por isso, apresenta uma suavização ainda maior que no método anterior.

(a) Região ampliada na imagem original (b) Região ampliada na imagem de referência
FIGURA 5.31 – Ampliação de parte das imagens original(a), referência(b) e da

imagem de super resolução gerada pelo método de minimização de erros (-5,0,5), com
base na seqüência de imagens com ruídos.

Experimento 2 – Seqüência com dados reais:

A imagem que possui os pontos de “controle” é mostrada na figura
5.32(b) e, por isso, é denominada Imagem de Referência.
Para a realização dos experimentos, as imagens adquiridas foram
subamostradas, ou seja, reduzidas à metade das dimensões da imagem original, para
que se possa observar a eficiência do método utilizado, pois a imagem gerada terá a
mesma resolução geométrica da imagem original, possibilitando a verificação do erro
médio quadrático entre ambas.
DC-40.
i) Modelo de Colinearidade:
Para obtenção do registro e retificação das imagens mostradas em 5.32,
foram medidos, manualmente, 22 pontos em cada imagem levando-se em
consideração suas correspondências. Devido aos erros de medida e à variação
de profundidade existente na imagem, alguns pontos foram descartados,
aceitando-se um total de 12 pontos em cada imagem. A tabela 5.2 mostra os

resíduos existentes nas coordenadas medidas em cada imagem pertencente à

seqüência adquirida.
Com base na tabela 5.2, verifica-se que o registro não foi o ideal, pois o
tamanho do pixel adotado foi de 0.033mm e, em algumas coordenadas, obteve-
se um resíduo maior, ocasionando um erro de medida ou de modelagem maior
que um pixel.
TABELA 5.2 – Resíduos entre as coordenadas medidas e as ajustadas pela resseção

espacial.
Imagem1 Imagem3 Imagem4
dx (mm) dy (mm) dx (mm) dy (mm) dx (mm) dy (mm)
-0.056 -0.015 -0.048 0.008 0.012 0.014
-0.023 -0.036 -0.018 0.004 -0.006 -0.034
-0.010 -0.038 -0.016 0.006 0.013 -0.028
-0.007 -0.036 -0.022 -0.050 -0.012 -0.001
-0.051 0.013 -0.009 -0.027 0.018 -0.012
0.013 0.010 -0.005 0.014 -0.011 -0.046
0.027 0.028 0.032 0.004 -0.013 0.035
-0.021 0.008 0.011 0.007 -0.031 0.001
0.004 0.009 0.011 0.025 0.001 -0.002
0.042 0.009 0.007 -0.020 0.009 0.023
0.023 0.005 0.063 0.022 0.031 0.039
0.060 0.043 -0.006 0.008 -0.010 0.011
A Tabela 5.3, mostra os parâmetros de transformação (κ, ϕ, ω, X0, Y0, Z0)

das imagens pertencentes à seqüência em relação à imagem de referência, e o
desvio padrão a posteriori definindo a precisão do registro.
Devido ao tamanho do pixel ser de 0.033mm, os parâmetros para o
registro de imagens geraram um desvio padrão a posteriori, definindo o registro
como aceitável, pois é menor que um pixel. O desvio padrão não é igual a zero
devida à má pontaria na medição dos pontos e à variação de profundidade que
causa a paralaxe.

A “imagem 2” não aparece na tabela por ser a imagem de referência, e

portanto, todos os seus parâmetros são iguais a zero.
TABELA 5.3 – Parâmetros ajustados para o registro e retificação das imagens pelo
modelo de colinearidade.
Parâmetros Imagem1 Imagem3 Imagem 4
κ (rad) 0.000694 -0.026175 -0.024621
ϕ (rad) -0.011833 0.000678 0.011440
ω (rad) 0.038301 -0.008864 0.008044
X0 (mm) -0.567 -0.021 0.329
Y0 (mm) -1.792 -0.228 -1.041
Z0 (mm) 0.129 0.095 0.053
Desvio padrão a
0.0342 0.0279 0.0248
posteriori (mm)
A partir dos parâmetros apresentados na tabela 5.3, executou-se a

retificação das imagens com posterior fusão pela média entre as imagens.
Este modelo não apresentou bons resultados, pois possui uma
característica tridimensional, pois os pontos de controle foram definidos como
sendo as coordenadas medidas na imagem assumida como a de referência.
Essas imagens possuem uma alta variação de profundidade, o que acaba
resultando uma alta paralaxe entre as imagens.
O resultado obtido é mostrado na figura 5.33, onde a imagem 5.33(a) é a
imagem original, a 5.33(b) a imagem de referência e a 5.33(c) é a imagem de
super resolução gerada.
Como pode ser observado na figura 5.33(c), o resultado foi muito pobre.
Isto pode ter sido causado pela má qualidade das medidas nas coordenadas
das imagens para a realização do registro e também, devido ao método de
Resseção Espacial que não apresenta as características que se necessita.
Nesta técnica relaciona-se um referencial bidimensional com um tridimensional
como forma de se obter os parâmetros para o registro, e retorna-se para o
referencial bidimensional que é o da imagem. Isso acaba ocasionando uma
retificação ruim, pois os pontos não estarão na mesma posição que os seus

correspondentes e a fusão pela Média gera uma imagem sem condições de se

realizar qualquer análise. Devido à estes problemas, os experimentos a seguir,
não são executados por meio da resseção espacial, sendo apenas pela
transformação projetiva com o método da média e o de minimização dos erros.
Se o registro de imagens não for preciso, não há como obter uma imagem de
super resolução com qualidade para análise de alvos.
FIGURA 5.33 – Resultado obtido pelo modelo de colinearidade e fusão pela média
aritmética dos pixels correspondentes.

Este resultado também pode ser comparado e analisado pela figura

5.34(a), que apresenta a diferença entre a imagem original e a imagem
gerada, e em 5.34(b) o erro médio quadrático ocasionado. Pode-se
observar que o erro é bastante elevado em relação aos resultados
apresentados nos experimentos anteriores.

FIGURA 5.34 – Diferença entre as imagens original e a resultante, registrada e
retificada pelo modelo de colinearidade.

ii) Transformação Projetiva:

Por meio dos 22 pontos medidos anteriormente nas imagens
pertencentes à cena, obteve-se os parâmetros para o registro e retificação das
mesmas usando a transformação projetiva. Dos 22, 12 pontos foram descartados para
se obter um registro mais eficiente, ou seja, com precisão subpixel.
A tabela 5.4, mostra os resíduos entre as coordenadas medidas e as
ajustadas pela transformação projetiva. Como o tamanho ideal do pixel foi definido
como 0.033mm, verifica-se que o registro foi realizado com uma excelente precisão,
apesar da variação existente nas imagens.

transformação projetiva nas imagens adquiridas pela câmara Kodak DC-40.
Imagem1 Imagem3 Imagem4
dx (mm) dy (mm) dx (mm) dy (mm) dx (mm) dy (mm)
-0.0038 0.0028 -0.0115 -0.0024 0.0138 0.0247
-0.0114 -0.0033 0.0028 0.0052 0.0076 -0.0378
0.0080 -0.0026 -0.0130 0.0200 0.0066 -0.0244
-0.0043 -0.0195 -0.0019 -0.0256 -0.0150 0.0038
0.0039 0.0131 -0.0113 -0.0196 0.0194 -0.0071
0.0197 -0.0093 0.0099 0.0034 -0.0008 -0.0330
-0.0109 -0.0004 0.0224 -0.0120 -0.0068 0.0380
-0.0204 -0.0024 -0.0202 -0.0062 -0.0257 0.0081
-0.0084 0.0038 -0.0006 0.0150 -0.0086 -0.0200
0.0252 0.0060 -0.0181 -0.0172 0.0049 0.0153
0.0047 0.0109 0.0211 0.0228 0.0218 0.0325
-0.0022 0.0010 0.0203 0.0167 -0.0172 0.0000
Na tabela 5.5, observa-se os parâmetros de transformação necessários

para a retificação das imagens, e também, o desvio padrão a posteriori, que define a
qualidade do registro de imagens realizado, confirmando o que mostra a tabela 5.4.

TABELA 5.5 – Parâmetros de transformação para o registro e retificação das imagens,

determinados pela transformação projetiva.
Parâmetros Imagem1 Imagem3 Imagem4
a1 a[0] 0.996745 0.998451 0.998306
b1 a[1] 0.010612 -0.020214 -0.022669
c1 a[2] -0.044217 -0.063454 -0.207033
a0 a[3] -0.000364 -0.000066 0.000188
b0 a[4] -0.000559 0.000225 -0.000103
b2 a[5] 0.000783 0.027347 0.024924
a2 a[6] 1.001385 0.998602 1.001758
c2 a[7] 0.005150 -0.645935 -0.678882
Desvio padrão a posteriori 0.0109 0.0156 0.0203
§ Pela Média:
Utilizando-se este método, pôde-se observar a geração de uma imagem
de super resolução de boa qualidade, conforme mostra a figura 5.35(c). Este
resultado, pode ser melhor observado na figura 5.36.
Na figura 5.36(a), observa-se, claramente, a suavização ocorrida e a
eliminação de ruídos em relação à imagem mostrada em 5.36(b), que apresenta um
alto grau de ruídos e serrilhado.

FIGURA 5.35 – Resultado obtido pela fusão por meio da média dos níveis de brilho das
imagens pertencentes à seqüência, utilizando-se da transformação projetiva.
O resultado pode ser melhor visualizado na figura 5.36, na qual mostra-se

uma ampliação da região em destaque, mostrada na figura 5.35. A suavização ocorre,
principalmente, por haver uma grande variação de profundidade que aparecem como
borrões nas imagens, gerando assim, uma paralaxe em algumas regiões. E ainda,
devido à existência de um pequeno erro no registro de imagens, conforme mostram as
tabelas 5.4 e 5.5.


FIGURA 5.35.

A figura 5.37(a) mostra as diferenças existentes entre a imagem original e

a de super resolução, obtida da fusão pela média e retificação pela transformação
projetiva. Esta figura mostra de forma clara, as regiões de maior paralaxe ocasionadas
pela alta variação nas imagens.
FIGURA 5.37 – Representação visual e numérica da diferença entre as imagens original e

a resultante.

§ Pela Minimização dos Erros:

Neste experimento, a aproximação inicial para a imagem de super
resolução foi a imagem original. Por meio da transformação projetiva fez-se o registro e
retificação das demais imagens analisadas, combinando-se os pixels (bloco 2x2) entre
os valores (-5, 0, +5), e verificando-se o erro gerado em relação à aproximação inicial.
A combinação que gerou o menor erro foi utilizada para atualizar a imagem
aproximada, como mostra a figura 5.38(c).
(a) Imagem original (b) Imagem de referência – imagem

original subamostrada
(a) Imagem resultante
FIGURA 5.38 – Resultado obtido a partir da imagem original pela transformação

projetiva com o método de minimização de erros (-5,0,+5).


FIGURA 5.38.

A figura 5.39, apresenta a ampliação da região destacada na figura 5.38,

para se obter uma melhor análise das imagens em questão. Na figura 5.39(c), observa-
se também, um efeito de suavização, fazendo com que as letras na imagem,
praticamente, desapareçam. Em contrapartida, os ruídos existentes na imagem original
(figura 5.39a) foram minimizados, embora apareçam alguns ruídos aleatórios.
Na figura 5.40(a), verifica-se os pontos que sofreram alterações em
relação à imagem original, sendo que estes, são mais evidentes nas regiões de alta
freqüência da imagem inicial.
A grande diferença entre o método pela média e pela minimização dos
erros pode ser verificada na figura 5.40, observando-se o erro médio quadrático que
esta possui em relação à imagem original, conforme mostra a figura 5.40(b), e
comparando-o com a figura 5.37(b).
Embora o aspecto da imagem seja pior (mais suavizada) o erro médio
quadrático da imagem restaurada em relação à imagem de referência é menor neste
experimento.


original e a resultante.

Experimento 3 – Seqüência de imagens com dados reais:
FIGURA 5.41 – Seqüência de imagens originais adquiridas com a câmara digital

Kodak DC-210.
Para a realização dos experimentos, as imagens adquiridas pela câmara

digital Kodak DC210, foram subamostradas, ou seja, reduzidas à metade das

dimensões em relação à imagem original, para que se possa observar a eficiência do

método utilizado, pois a imagem gerada terá a mesma resolução geométrica da
imagem original, possibilitando a verificação do erro médio quadrático entre ambas em
relação à resolução radiométrica. A imagem referência é mostrada na figura 5.41(d).
Nas imagens mostradas na figura 5.41, foram medidos 31 pontos,
descartando-se dois, com o máximo de precisão possível, utilizando o software Adobe
Photoshop 5.0 e o máximo de zoom para a determinação da coordenada do pixel, de
modo que os resíduos foram mínimos, todos com precisão subpixel, ou seja, desvio
padrão menor que 0.03mm tanto em “x” quanto em “y”.
A tabela 5.6, mostra os resíduos existentes entre as coordenadas
medidas nas imagens apresentadas na figura 5.41, verificando-se que os mesmos
apresentam uma precisão subpixel no registro, pois estão abaixo do tamanho de um
pixel (0.03mm).


transformação projetiva nas imagens adquiridas pela câmara Kodak DC-210.
Imagem 01612 Imagem 01613 Imagem 01614 Imagem 01616 Imagem 1617 Imagem 01618
dx (mm) dy dx (mm) dy dx (mm) dy (mm) dx dy dx dy dx dy
0.0124 -0.0234 0.0057 -0.0196 0.0127 0.0249 -0.0142 -0.0043 0.0122 0.0015 0.0250 0.0071
-0.0225 -0.0319 -0.0099 -0.0227 0.0062 -0.0346 -0.0063 -0.0101 -0.0066 -0.0098 -0.0089 -0.0217
-0.0092 -0.0087 0.0133 -0.0170 0.0134 -0.0266 -0.0034 -0.0217 0.0000 0.0064 -0.0031 -0.0082
0.0326 -0.0139 -0.0210 0.0256 0.0015 0.0157 0.0075 0.0068 0.0170 0.0002 0.0255 0.0013
0.0184 -0.0261 0.0348 -0.0159 0.0141 -0.0119 -0.0029 -0.0048 0.0090 0.0122 -0.0215 0.0001
-0.0258 0.0178 -0.0083 0.0180 -0.0124 0.0138 0.0110 0.0133 -0.0138 0.0053 -0.0189 0.0227
-0.0059 0.0229 -0.0209 0.0108 -0.0185 0.0126 0.0098 0.0197 -0.0174 0.0111 -0.0259 0.0079
0.0028 0.0110 0.0064 0.0141 -0.0031 -0.0007 0.0187 0.0116 -0.0183 -0.0108 0.0071 0.0072
0.0161 0.0090 0.0102 -0.0113 0.0109 -0.0066 0.0209 0.0061 0.0293 -0.0008 0.0045 0.0109
0.0211 -0.0191 0.0073 -0.0129 0.0334 -0.0027 -0.0099 -0.0255 0.0238 -0.0032 0.0193 -0.0266
-0.0173 0.0223 0.0051 0.0280 -0.0050 -0.0063 -0.0009 -0.0067 0.0076 -0.0153 0.0069 0.0134
-0.0250 -0.0031 -0.0124 0.0013 -0.0346 0.0033 0.0011 0.0203 -0.0209 0.0119 -0.0232 -0.0111
-0.0112 0.0054 -0.0033 -0.0069 -0.0163 0.0020 0.0087 -0.0085 -0.0104 -0.0137 -0.0291 -0.0081
-0.0054 0.0121 -0.0110 -0.0134 0.0048 -0.0063 0.0056 0.0086 -0.0110 0.0035 0.0156 -0.0081
0.0058 0.0199 -0.0053 0.0226 0.0022 0.0256 -0.0132 -0.0010 0.0038 0.0089 0.0056 0.0143
0.0288 -0.0041 0.0332 0.0013 0.0308 0.0080 -0.0045 0.0038 0.0263 0.0091 0.0164 0.0100
0.0210 0.0072 0.0119 -0.0212 -0.0019 -0.0198 -0.0026 0.0027 -0.0044 -0.0167 0.0183 -0.0082
0.0041 0.0020 -0.0094 0.0230 -0.0083 0.0135 -0.0034 0.0052 -0.0156 -0.0140 0.0020 -0.0074
0.0058 -0.0078 0.0125 -0.0155 -0.0096 -0.0222 -0.0136 -0.0105 -0.0049 -0.0188 0.0090 -0.0075
0.0080 0.0083 0.0149 -0.0029 -0.0109 0.0049 0.0045 0.0055 0.0102 0.0207 0.0067 0.0068
-0.0064 0.0182 -0.0047 0.0231 0.0072 0.0277 -0.0106 -0.0001 0.0045 0.0153 0.0011 0.0102
-0.0104 -0.0057 -0.0217 -0.0051 -0.0148 -0.0009 -0.0144 0.0066 -0.0278 0.0024 -0.0150 0.0022
-0.0156 0.0032 -0.0130 -0.0031 -0.0138 -0.0104 0.0090 0.0056 0.0013 -0.0041 -0.0159 -0.0167
0.0287 -0.0031 0.0156 0.0065 0.0186 -0.0010 -0.0062 -0.0091 0.0145 -0.0086 0.0115 -0.0019
-0.0206 0.0140 0.0067 0.0017 -0.0031 0.0067 -0.0026 -0.0023 0.0017 0.0075 -0.0134 0.0007
-0.0101 0.0058 -0.0183 0.0139 0.0100 -0.0056 -0.0104 -0.0160 -0.0058 0.0040 -0.0229 0.0164
-0.0133 -0.0103 -0.0141 -0.0008 -0.0238 -0.0034 -0.0095 -0.0148 -0.0053 0.0124 -0.0222 -0.0077

Na tabela 5.7, encontram-se os parâmetros de transformação

determinados e o desvio padrão a posteriori obtido. O desvio padrão a posteriori
representa a qualidade do registro em relação às imagens analisadas, e neste caso,
ratifica-se o que mostra a tabela 5.6, ou seja, o registro foi realizado com uma precisão
adequada, em se tratando da realização de correspondência manual.
TABELA 5.7 – Parâmetros ajustados para o registro e retificação das Imagens,

determinados pela transformação projetiva.
Imagens__ 01612 01613 01614 01616 01617 01618
Parâmetros
a1 a[0] 0.996917 0.998614 0.996553 1.000949 0.997728 0.993991
b1 a[1] 0.003082 -0.004655 -0.000132 -0.000779 -0.000955 -0.000660
c1 a[2] -1.844855 -1.476753 -1.479139 -0.236624 -1.121644 -1.585430
a0 a[3] 0.001103 0.001119 -0.000134 0.000151 0.000390 0.000177
b0 a[4] -0.000049 -0.000175 -0.000087 -0.000013 -0.000086 -0.000037
b2 a[5] -0.001793 0.005677 0.001164 0.000776 0.001956 0.002475
a2 a[6] 0.998307 0.998767 0.997743 1.000784 0.998243 0.994683
c2 a[7] 0.068523 0.154977 0.039068 0.067753 0.071818 0.072891
Desvio padrão a
0.0163 0.0154 0.0150 0.0115 0.0125 0.0147
Posteriori
Esses parâmetros devem ser fornecidos ao aplicativo desenvolvido para

que o mesmo execute o processo de retificação e reamostragem da imagem analisada
em relação à imagem a ser gerada como de super resolução.
Pode-se observar os resultados obtidos nas figuras 5.42, 5.43 e 5.44.
i) Modelo de Colinearidade:
Neste experimento, não serão mostrados os resultados obtidos com os
parâmetros para o registro e retificação determinados pelas equações de
colinearidade, já que seção anterior, observou-se à ineficiência do modelo para o caso
de imagens planares. Mesmo com a tentativa de se realizar novas medidas das
coordenadas nas imagens da seqüência, buscando-se o mínimo desvio padrão, ou
seja, menor que 0.03mm (tamanho do pixel) entre os pontos medidos não se obteve

resultados satisfatórios, confirmando que este modelo é inadequado para o que se

propõe este trabalho.
ii) Transformação Projetiva:

Por meio dessa transformação, obteve-se os parâmetros de registro e
retificação das imagens a serem analisadas. Utilizou-se, também, dos métodos de
fusão pela média entre as imagens e o de minimização de erros.
No processo de minimização de erros, a imagem gerada pelo processo
de fusão que utiliza a média entre as imagens foi utilizada como a aproximação inicial
da imagem a ser gerada como de super resolução. Utilizou-se uma combinação entre
os pixels (bloco 2x2) com incrementos nos valores de (-5, 0, +5).

· Pela Média:
(b) Imagem de referência – imagem

(a) Imagem original original subamostrada

FIGURA 5.42 – Resultado obtido pela fusão através da média dos níveis de brilho das
imagens da seqüência registradas e retificadas pela transformação projetiva.
Observando a figura 5.42(c), pode-se considerar que este método retira,

e muito, os ruídos existentes, em relação à imagem original. Isto ocorre, devido ao
registro de imagens estar com uma precisão aceitável. O efeito de suavização ocorre
devido o pequeno erro presente no processo manual de medição das coordenadas.


figura 5.42.
A figura 5.43, mostra claramente, a diferença que existe entre as imagens

de super resolução e a imagem original, evidenciando as bordas existentes na imagem
e a suavização aparente. Pode-se observar que a imagem é restaurada com boa
qualidade.

A figura 5.44(a), mostra os pixels que sofreram alterações em relação à

imagem original, ou seja, nas regiões que apresentam as altas freqüências.

original e a resultante, por meio da fusão pela média.

§ Pela Minimização dos Erros:
(b) Imagem de referência –

(a) Imagem original

FIGURA 5.45 – Resultado obtido a partir da imagem superamostrada pela média,
conforme figura 5.42(c), pelo método de minimização de erros (-5, 0, +5).
Este processo, como demonstrado na figura 5.45, gera uma imagem com
resolução, radiométrica e geométrica, compatível com a imagem original, conforme
figura 5.45(c). Podendo-se visualizar de forma clara pontos que na figura 5.45(b) não
poderiam ser vistos.


figura 5.45.
Na figura 5.46(b), verifica-se o processo de suavização obtido por este

método, eliminando os ruídos existentes em relação à imagem original (5.46a).
Observando a figura 5.47(c) e a 5.44(c), chega-se a conclusão que as
imagens geradas são semelhantes. Isto porque a imagem gerada, mostrada na figura
5.45(c), foi gerada com base na imagem 5.42(c), ou seja, essa imagem foi definida
como a aproximação inicial para uma nova imagem de super resolução. E como, a
combinação foi realizada pelos valores (-5, 0, +5), obteve-se uma imagem semelhante.


original e a resultante pela minimização de erros (-5, 0, +5).

TABELA 5.8 – Síntese das principais características dos experimentos.

Resultado
Qualidade da
Descrição do experimento numérico
imagem restaurada
(EMQ)
Muito serrilhado, má
Imagem gerada a partir de uma
definição dos
única pelo Método do Vizinho Mais 8,9
elementos
Próximo
presentes
Imagem gerada a partir de uma Leve suavização em
única pelo Método da Média 15,7 relação ao método
Aritmética anterior
Maior suavização e
Imagem gerada a partir de uma eliminação dos
única pelo Método da Interpolação 11,9 ruídos,
Bilinear apresentando
melhor qualidade
Experimento 1: com uma seqüência
de imagens simulada, com Pouco borrada,
retificação realizada pelo Modelo de 9,9 minimização de
Colinearidade e fusão pela média ruídos
entre as imagens
Boa definição dos
Experimento 2a: com uma
elementos
seqüência de imagens simulada,
presentes,
com retificação realizada pela 8,6
eliminação de ruídos
Transformação Projetiva e fusão
devido à suavização
pela média entre as imagens
ocorrida
Experimento 2b: com uma Boa definição
seqüência de imagens simulada, radiométrica, maior
com retificação realizada pela suavização do que o
9,4
Transformação Projetiva e fusão das método anterior,
imagens pela minimização dos erros eliminando os ruídos
(-1, 0, +1) existentes
Experimento 2c: com uma
Maior suavização,
seqüência de imagens simulada,
acarretando perda
com retificação realizada pela
10,7 de informações
Transformação Projetiva e fusão das
devido o borramento
imagens pela minimização dos erros
gerado
(-5, 0, +5)
Grande eliminação
de ruídos,
recuperação de
de imagens real, com a introdução
informações, boa
artificial de ruídos, onde a
53,5 definição dos
retificação foi realizada pela
elementos
presentes em
imagens pela média
relação à imagem
original

Grande eliminação
de ruídos,
Experimento 2: com uma seqüência recuperação de
de imagens real, com a introdução informações, má
artificial de ruídos, onde a definição dos
retificação foi realizada pela 15,6 elementos
Transformação Projetiva e fusão das presentes em
imagens pela minimização dos erros relação a imagem
(-5, 0, +5) original devida a
maior suavização
presente
Imagem totalmente
distorcida, sem
de imagens real, com retificação
definição dos
realizada pelo Modelo de 27,5
elementos
Colinearidade e fusão pela média
presentes na
entre as imagens
imagem
Experimento 2a: com uma Imagem pouco
seqüência de imagens real, borrada, devido o
retificação realizada pela 34,2 registro não
Transformação Projetiva e fusão das apresentar boa
imagens pela média qualidade
Experimento 2b: com uma
seqüência de imagens real, com
retificação realizada pela Imagem com grande
5,1
Transformação Projetiva e fusão das suavização
(-5, 0, +5)
Experimento 3a: com uma
Imagem com ótima
seqüência de imagens real,
definição
retificação realizada pela 12,2
radiométrica,
eliminação de ruídos
imagens pela média
Imagem com ótima
definição
Experimento 3b: com uma
radiométrica,
seqüência de imagens real, com
eliminação de
retificação realizada pela
12,2 ruídos,
apresentando, o
mesmo resultado
(-5, 0, +5)
que o método
anterior

CAPÍTULO 6
CONCLUSÃO E CONSIDERAÇÕES FINAIS
Ferramentas que utilizam filtros para melhorar imagens são muito

encontradas no mercado, embora essas apenas apliquem cálculos que fazem com que
a imagem seja modificada, não apresentando resultados esperados, pois pontos
específicos dentro de uma imagem podem se tornar ainda piores com certos filtros. A
ferramenta desenvolvida não aplica filtros, mas analisa mais de uma imagem de um
mesmo local, fazendo com que um determinado pixel que não se apresenta com
qualidade em uma imagem, seja compensado por outro que se localiza em outra
imagem de baixa resolução.
Portanto, como resultado deste trabalho, foi desenvolvida uma ferramenta
que analisa seqüências de imagens de baixa resolução de uma mesma cena e gera
uma imagem de alta resolução, conhecida como uma imagem de super resolução.
Pôde-se observar, que o modelo de Resseção Espacial, com a utilização
das equações de colinearidade, neste caso, não traz resultados satisfatórios,
principalmente, por trabalhar com imagens bidimensionais.
Para que o resultado se torne satisfatório o processo de Registro de
Imagens deve apresentar boa qualidade, ou seja, o resíduo deve ser mínimo.
Da análise dos experimentos realizados, os métodos que utilizam a
transformação projetiva foram os que apresentaram os resultados de melhor qualidade
radiométrica, devido ao registro, para imagens planas, apresentar um desvio padrão
médio menor do que meio pixel. Isto é aceitável para regiões planas. O método de
Minimização de Erros leva em consideração uma aproximação inicial que vai sendo
analisada e melhorada ao longo do processo de geração da imagem de super
resolução, gerando uma sensível suavização nas regiões que representam as altas
freqüências na imagem tomada como sendo a de aproximação inicial.
No momento, esta ferramenta trabalha apenas com imagens em tons de
cinza, e o trabalho poderá ser melhorado incluindo-se funções que possibilitam a
geração de imagens de super resolução coloridas, bastando replicar o procedimento
para os vários canais. Os parâmetros do Registro de Imagens devem ser conhecidos a

priori, portanto, pode-se observar a viabilidade de se incorporar métodos que realizem

a correspondência entre os pixels comuns entre as imagens ao nível de subpixel semi
ou totalmente automático, evitando-se os erros de pontaria.
Pode-se verificar também, para a melhoria da ferramenta, a
implementação de uma função erro com base na imagem diferença para conseguir
obter mais informações em relação à imagem a ser gerada. E ainda, a incorporação de
novos modelos de Fotogrametria juntamente com técnicas de Processamento Digital
de Imagens.
Com isso, o trabalho desenvolvido pode ser melhorado e ampliado, pois a
melhoria na resolução de uma imagem pode ser observada claramente, possibilitando
assim, que “diagnósticos” realizados através de seqüências de imagens tenham
resultados mais precisos.

REFERÊNCIAS BIBLIOGRÁFICAS
ANDRADE, J. B. Fotogrametria. SBEE; Curitiba – Pr; 1998. 258p.
ATKINSON, K.B. Developments in Close Range Photogrammetry. Essex, England:

Applied Science Publishers LTD. 1980.
BAKER S., KANADE T., Super-Resolution Optical Flow. [s.l.]: CMU-RI-TR-99-36,

1999.
BALLARD, D.H.; BROWN, C.M. Computer Vision. New Jersey, USA: Prentice-Hall,
1992.
BROWN, L. G. A Survey of Image Registration Techniques. Computing Surveys;

24(4); 1992.
FONSECA, L.M. G.; MANJUNATH, B.S. “Registration Techniques for Multisensor

Remotely Sensed Imagery”; Photogrammetric Enginnering & Remote Sensing, Vol.
62, nº 9, September 1996, pp. 1049-1056.
GONZALES, R. C., WOODS, R. E., Digital Image Processing. Ed. Addison-Wesley

Publishing Company, New York: USA, 1993.
GROSS, D.,Ur, A. “Improved Resolution from Subpixel Shifted Pictures”. CVGIP -

Graphical Models and Image Processing; vol. 54, Nº 2, Março, 1992, pp. 181-186.
HATHAWAY, D., MEYER P. “NASA: Video Enhancer For Law Enforcement & More”.
Advanced Imaging: Solutions For The Electronic Imaging Professional; Maio,
1999, pp. 7.
JOYEUX, L., et al. “Reconstruction of degraded image sequences. Application to film

restoration”. Image and Vision Computing; Nº 19, France, 2001, pp. 503-516.

KANG, M.J, et al. “The Digital Image Acquisition of High-Resolution by Enhancement

the Multiple Images”. ASPRS-Proceedings - Launching the Geospational
Information Age, Washington, 2000, pdf226.pdf.
LILLESAND, T. M.; KIEFER, R. W. Remote Sensing and Image Interpretation; New

York. John Wiley & Sons. 2ed. 1987.
LUGNANI, J. B. Introdução a Fototriangulação. 1ª ed. Curitiba-Pr, Editora UFPR;

1987. 134p.
MARQUES, O. F., VIEIRA, H. N. Processamento Digital de Imagens. Rio de Janeiro:

Brasport, 1999.
MOFFITT, F. H., MIKHAIL, E. M. Photogrammetry. 3ª ed. vol. II. New York, Harper &
Row Publishers, 1980. 268p.
NINCE, U. S. Sistemas de Televisão e Vídeo. [s.l.]: LTC; 1991.
PELEG, S., IRANI, M., “Improving Resolution by Image Registration.” Graphical

Models and Image Processing. vol. 53, nº 3, 1991, p. 231-239.
PELEG, S., KEREN, D., SCHWEITZER, L. “Improving Image Resolution Using

Subpixel Offsets (Motion)”. Pattern Recognition Letters, 1987, 223-226.
RICHARDS, J. A. Remote Sensing Digital Image Analysis - In

Introduction. Berlin-Heidelberg. Springer-Verlag, 1986.
SWAIN, P. H., DAVIS, S. M. Remote Sensing: The Quantative Approach.

New York. McGraw-Hill. 1978.
TOMMASELLI, A.M.G., Fotogrametria Básica. Unesp/FCT, Presidente Prudente –

SP, 1998.

WIMAN, H. Improvement of Digital Resolution by Oversampling. ISPRS

Commision II, Washington, 1992.
WOLBER, G. "Digital Image Warping", IEEE Computer Society Press, 1990.
WOLF, P. R. Elements of Photogrammetry. 2 ed. McGraw-Hill; Singapore,

1983. 628p.

BIBLIOGRAFIA CONSULTADA
AGOURIS, P., SCHENK, T. Multiple Image Matching. Departament of Geodetic

Science and Surveying. The Ohio State University, Columbus, Ohio: USA.
ALBERTZ, J.; KREILING, W. Photogrammetrisches Taschenbuch. Karlsruhe,

Germany: Wichmann, 1989.
ANDREWS, H.C., HUNT, B.R. Digital Image Restoration. USA: Prentice-Hall, 1977.
ARTERO, A.O., MENEGUETTE, M.J. “Transformações Espaciais e Técnicas de

Interpolação Aplicadas em Imagens.” Colloquium: Revista Científica da Universidade
do Oeste Paulista, Presidente Prudente – SP: UNOESTE, vol. 1, nº 3, 1996, pp. 43-51.
DANIELSSON, P.E.; HAMMERIN, M. High-Accuracy Rotation of Images. CVGIP:

Graphical Models and Image Processing, Linköping, Sweden, vol. 54, n. 04, Julho,
1992, pp. 340-344.
FALKNER, E. Aerial Mapping: Methods and Applications. Lewis Publishers. 1994.

322p.
FOLEY, J.D. et al. Computer Graphics Principles and Practice. Addison – Wesley
System Programming Series, 1990.
HORN, B. K. P., WELDON, E. J. Direct Methods for Recovering Motion. Int. Journal
Computer Vision 2, Nº 1, 1988, pp. 51-76.
HORNER, J. L. Optical Signal Processing. Academic Press, New York, 1987.
KRAUS, K. Photogrammetry – Fundamentals and Standard Process. Ferd Dummler

Verlag, Bonn, 1993.
MASCARENHAS, N.D.A., VELASCO, F.R.D. Processamento Digital de Imagens. MCT-

INPE, 1989.

MERCHANT, D.C. Analytical Photogrammetry – Theory and Practice – Part I. Dept. of

Geodetic Science, The Ohio State University, 1998.
REEVES, et al., Manual of Remote Sensing. Falls Church, USA: American Society of
Photogrammetry, vol. I, 1975.
SCHALKOFF, R.J. Digital Image Processing and Computer Vision. John Wiley &
Sons, Inc. Singapura, 1989.
SEIXAS, J.J. Geometria das Fotografias – Fórmulas Fundamentais. Departamento

de Engenharia Cartográfica, Recife – PE: UFPE, 1978.
TOMMASELLI, A.M.G., CHAPARRO, B. Transformações de Coordenadas. Curso de

Pós Graduação em Ciências Geodésicas, Manuscrito, Curitiba – Pr: UFPr, 1984.

D Almeida LL

Enviado por

Dados do documento

Descrição original:

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

D Almeida LL

Enviado por

Direitos autorais:

Formatos disponíveis

unesp UNIVERSIDADE ESTADUAL PAULISTA

Campus de Presidente Prudente

"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

Dissertação apresentada ao Programa de Pós

AUTOR: LEANDRO LUIZ DE ALMEIDA

ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI

"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

Dissertação apresentada ao Programa de

AUTOR: LEANDRO LUIZ DE ALMEIDA

ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

Almeida, Leandro Luiz de

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

LEANDRO LUIZ DE ALMEIDA

“GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A PARTIR DE SEQÜÊNCIAS

Dissertação para obtenção do título de Mestre

Dr. Antonio Maria Garcia Tommaselli

Dr. Quintino Dalmolin

Dr. João Fernando Custódio da Silva

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

Dedico este trabalho, primeiramente a Deus e Nossa Senhora Aparecida;

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

1.1 CONSIDERAÇÕES PRELIMINARES ........................................................................ 01

CAPÍTULO 2 – OPERAÇÕES BÁSICAS EM IMAGENS DIGITAIS

2.1 FORMAÇÃO DA IMAGEM ......................................................................................... 04

CAPÍTULO 3 – RETIFICAÇÃO E RESTAURAÇÃO DE IMAGENS

3.1 REGISTRO DE IMAGENS ......................................................................................... 15

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

3.3 TRANSFORMAÇÕES ................................................................................................ 21

CAPÍTULO 4 – MATERIAIS E MÉTODOS

4.1 MATERIAIS UTILIZADOS NO DESENVOLVIMENTO ............................................. 43

CAPÍTULO 5 – EXPERIMENTOS E RESULTADOS

5.1 EXPERIMENTOS COM DADOS SIMULADOS .......................................................... 55

CAPÍTULO 6 – CONCLUSÕES E SUGESTÕES ............................................................ 112

REFERÊNCIAS BIBLIOGRÁFICAS ................................................................................ 114

BIBLIOGRAFIA CONSULTADA ...................................................................................... 117

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

FIGURA 2.2 – Representação de um exemplo de imagem digital utilizando-se dados

FIGURA 2.3 – Exemplo de representação de uma imagem digital utilizando-se dados

FIGURA 2.4 – Operações lógicas e/ou aritméticas pixel a pixel ..................................... 10

FIGURA 2.5 – Expansão de um pixel em 4(zoom 2x) utilizando a replicação ................ 11

FIGURA 2.6 – Expansão de um pixel em 4 (zoom 2x) utilizando a média ...................... 12

FIGURA 2.7 – Demonstração do processo de reamostragem através da Média ........... 12

FIGURA 2.8 – Representação de uma imagem ampliada através da Interpolação

FIGURA 3.1 – Esquema geral para execução do Registro de Imagens ......................... 16

FIGURA 3.2 – Identificação Baseada em Área................................................................. 20

FIGURA 3.3 – Condição de colinearidade de O, p e P. oxyz, representa o sistema

FIGURA 3.4 – Imagem que representa o mapeamento utilizando a equação de

FIGURA 3.5 – Imagem que representa o mapeamento inverso utilizando a equação de

FIGURA 3.7 – Interpolação pelo Vizinho Mais Próximo .................................................. 30

FIGURA 3.8 – Representação da sub-imagem ............................................................... 30

FIGURA 3.9 – Interpolação Bilinear.................................................................................. 31

FIGURA 3.10 – Interpolação Bicúbica .............................................................................. 32

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

FIGURA 3.12 – O processo geral do algoritmo do fluxo ótico na determinação de

FIGURA 3.14 – Esquema do software desenvolvido ....................................................... 41

FIGURA 4.2 – Fluxograma do programa de Transformação Projetiva............................. 47

FIGURA 4.3 – Fluxograma do programa de Resseção Espacial ..................................... 48

FIGURA 4.4 – Processo de retificação das imagens ....................................................... 49

FIGURA 4.6 – Processo para geração de imagens superamostradas através de

FIGURA 4.7 – Janela principal da ferramenta implementada........................................... 54