UNIVERSIDADE FEDERAL DE PERNAMBUCO CENTRO DE INFORMTICA

RETIFICAO CILNDRICA: UM MTODO EFICIENTE PARA A RETIFICAO DE PAR DE IMAGENS

TRABALHO DE GRADUAO

ALUNO RAFAEL ROBERTO ORIENTADORA VERONICA TEICHRIEB

22 DE JUNHO DE 2009

RESUMO
Com diversas possibilidades de aplicao em reas distintas, as tcnicas de reconstruo 3D, onde um mundo virtual modelado automaticamente a partir de imagens capturadas de cenas reais, tem sido bastante estudadas e

desenvolvidas nos ltimos anos. Com este tipo de tecnologia possvel, por exemplo, visualizar um rgo inteiro, de qualquer ngulo, apenas a partir de como elas so tratadas. imagens de radiografias, facilitando assim o diagnstico de doenas e o modo As tcnicas atuais que tornam esta tecnologia possvel baseiam-se

numa srie de atividades bem estabelecidas. Nelas, as imagens capturadas so analisadas de modo que os pontos de alto contraste, aqueles que se destacam bastante dos demais ao seu redor, so identificados. Essas features, como so

chamados, so rastreadas nas imagens seguintes e, a partir do modo como estes pontos correspondentes se relacionam pode-se encontrar a localizao espacial deles. Em seguida, uma malha em trs dimenses gerada a partir desses pontos, recriando espacialmente os objetos contidos na sequncia de imagens. Como nem todos os pontos de uma imagem destoam bastante dos demais sua volta, poucas features so selecionadas e, consequentemente, a

localizao espacial de poucos pontos encontrada, dificultando a gerao do modelo tridimensional. Para evitar este problema, uma reconstruo densa feita. Tambm chamada de dense matching, a reconstruo densa faz uso das

informaes adquiridas em todo o processo de reconstruo para achar a correspondncia entre todos os pontos das imagens. Para cada um deles feita uma busca numa regio especfica de modo a encontrar a localizao de seu correspondente nas imagens seguintes. Depois que se tm essas relaes, busca, as imagens so retificadas de forma que os pontos correspondentes a localizao espacial da imagem inteira encontrada. Para facilitar essa entre uma imagem e outra estejam na mesma altura (mesma coordenada-y) e

3 a regio de procura se resume, assim, a uma linha paralela ao eixo-x da imagem. Uma forma simples e relativamente eficiente de retificar um par de

imagens projetando ambas num plano especfico em comum. A retificao planar, como chamada, no entanto, no robusta o suficiente para retificar qualquer tipo de movimento de cmera. Uma alternativa a retificao

cilndrica, que apesar de ser mais complexa, consegue englobar qualquer movimento de cmera. Nesta tcnica, transformaes lineares levam as imagens do sistema de coordenadas cartesiano para um sistema de

coordenadas cilndrico, mapeando cada ponto da imagem num valor (r, ) pertencente superfcie do cilindro. No final, os valores (r, ) so coordenadas da imagem retificada. A retificao cilndrica simplificada foi implementada neste trabalho e

obteve bons resultados em todos os estudos de caso realizados. Na comparao com a tcnica planar, esta foi mais rpida, porm a forma cilndrica foi bem mais precisa e robusta.

AGRADECIMENTOS
Fazer um curso universitrio embarcar numa jornada de cinco anos repleta de desafios grandiosos e sacrifcios enormes. Nela a pessoa desenvolve um conhecimento tcnico estrondoso, em geral, da forma mais dura possvel. Afinal, como disse o

professor Srgio Cavalcante: s existem dois meios de um aluno aprender. Um ele recebendo dinheiro para isso e outro tomando porrada. Como eu no gosto pelo que se faz, seno o trajeto nunca ser completado. vou pagar para vocs... Chegar ao final da jornada exige muita determinao e

o sacrifcio j valeria a pena. Mas o aprendizado vai alm disso. Os desafios, as novas descobertas e o convvio com outros pessoa repense constantemente os seus atos, sua forma de ver o famoso comercial, esta experincia no tem preo.

Entretanto, se o nico ganho dessa jornada fosse o conhecimento tcnico, todo

All that you touch All that you see All that you taste All you feel. [...] All you create All you destroy All that you do All that you say. All that you eat And everyone you meet All that you slight And everyone you fight. All that is now All that is gone All thats to come And everything under the sun is in tune But the sun is eclipsed by the moon. - Eclipse, de Pink Floyd

aventureiros, cada um com suas idias e valores, fazem com que a mundo e seu jeito de interagir com a sociedade. Parafraseando o Muitos dizem que sobreviveram universidade. Confesso

que em algumas situaes eu tambm, mas no geral eu posso afirmar que eu vivi ela. Que eu aproveitei a oportunidade que me Agamenon e Jane Flvia, de, mesmo antes de passar no

foi dada pela minha famlia, em especial pelos meus pais, vestibular, poder me dedicar integralmente para conseguir iniciar esse caminho. A eles, eu serei eternamente grato por isso, e muito mais, assim como a outras pessoas que tambm contriburam no meu preparativo como aluno e pessoa, como iniciada.

Aline, Flvio, Glayce, Jane Flix e Junior. Sem eles, talvez a jornada nunca tivesse A primeira lio para a vida aprendida j nos primeiros dias a de que a

pessoa tem que ser auto-didata. Que se voc no conseguir aprender sozinho, no

conseguir completar bem essa jornada. Mas, assim como o ser humano, a

universidade tambm tem o direito de ser contraditria. Enquanto ela ensina isso,

5 tambm diz que sem ajuda dos outros que esto no mesmo barco, voc tambm no ser auto-didata, e desenvolvi esta tcnica com Age, o maior mestre de si mesmo que eu chegar ao final. Possivelmente essas foram as maiores lies que eu tive. Eu aprendi a j conheci. E eu vivi essa excelente e gratificante cooperao entre pessoas, entre

amigos. Sem os estudos em conjunto com Jesus, Marcelo, Pyetro e Renata talvez junto de pessoas como Guilherme, Jamaj, Josias, Renato e Tase, apenas para citar

eu nunca tivesse sado do CTG. Sem o trabalho em equipe, dia e noite, literalmente,

alguns, muitos dos projetos nunca teriam sido concludos.

provas e projetos, essa jornada pode ser ainda mais proveitosa dando outras

Mas como nem todo conhecimento conseguido apenas atravs de aulas,

Nelas eu pude repassar meus conhecimentos atravs de monitoria e enriquecer a minha base atravs de pesquisas cientficas.

oportunidades, que eu tambm pude aproveitar graas ao professor Silvio Melo.

e atitudes diferentes, porm complementares, como as abertas para mim pelas todos os meus companheiros de trabalho, em especial a minha equipe de projeto, com

Esse caminho tambm abre portas que do acesso a outros mundos, com vises

professoras Judith Kelner e Veronica Teichrieb do GPRT/GRVM. Elas, junto com

para que eu tenha acesso e tambm viva essas vises e atitudes to importantes na vida de uma pessoa.

Andra, Chico, Daliton, Juliane, Mrcio e Mozart, tm contribudo enormemente

na jornada diretamente. s vezes eu tambm precisei sobreviver para conseguir momentos graas ajuda de pessoas importantssimas que foram arrastadas para este

Essa experincia to ampla que influencia at pessoas que no embarcaram

concluir algumas etapas. E tenho a certeza de que s consegui suportar esses caminho, como Carol, vina, Neto, e Thas durante todo o percurso e a Man, que que eu pude.

me pegou pela mo, me guiou at o final e me ajudou a entender o mximo A todos vocs e a muitos outros que eu no pude citar, muito obrigado por me

ajudar a viver essa experincia.

SUMRIO
NDICE DE FIGURAS .......................................................................................... 8 1.
1.1. 1.2. 2.1. OBJETIVOS ............................................................................................................ 10 ESTRUTURA DO DOCUMENTO .............................................................................. 11 GEOMETRIA PROJETIVA ........................................................................................ 12

INTRODUO............................................................................................. 10

2.

CONCEITOS MATEMTICOS ................................................................. 12

a.

2.2.

b. a. c.

Projeo ortogrfica .......................................................................................... 12

MODELO DE CMERA........................................................................................... 14

Projeo perspectiva ......................................................................................... 13

b. 2.3. 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 4.1. 4.2. 4.3. 4.4. 5.1. 5.2.

Parmetros extrnsecos ..................................................................................... 16 Parmetros intrnsecos ..................................................................................... 17

3.

RECONSTRUO 3D A PARTIR DE IMAGENS .................................. 23

AQUISIO DAS IMAGENS.................................................................................... 25 SELEO DE FEATURES......................................................................................... 26 CORRESPONDNCIA E RASTREAMENTO DE FEATURES ......................................... 28

GEOMETRIA EPIPOLAR ......................................................................................... 18

Matriz de projeo............................................................................................. 17

RECONSTRUO PROJETIVA................................................................................. 30 RECONSTRUO MTRICA ................................................................................... 31 RECONSTRUO DENSA....................................................................................... 32

4.

RETIFICAO DE IMAGENS................................................................... 36

GERAO DE MALHA E TEXTURIZAO .............................................................. 34 RETIFICAO PLANAR ......................................................................................... 37

RETIFICAO CILNDRICA.................................................................................... 40 IMPLEMENTAO ................................................................................................ 48

RETIFICAO CILNDRICA SIMPLIFICADA ............................................................ 44

5.

RESULTADOS .............................................................................................. 50
TEMPLE ................................................................................................................ 53

MOVE HOUSE ....................................................................................................... 51

7
5.3. AGAMENON ......................................................................................................... 55 DESKTOP .............................................................................................................. 57 TRABALHOS FUTUROS .......................................................................................... 61

6. 7.

5.4. 6.1.

CONCLUSES ............................................................................................. 60 REFERNCIAS BIBLIOGRFICAS .......................................................... 63

NDICE DE FIGURAS
FIGURA 1: ILUSTRAO DA PROJEO ORTOGONAL ......................................................... 12

FIGURA 2: ILUSTRAO DA PROJEO PERSPECTIVA ........................................................ 13 FIGURA 3: FUNCIONAMENTO DA CMERA PINHOLE ......................................................... 14 FIGURA 4: MODELO DA CMERA PINHOLE......................................................................... 15

FIGURA 5: SISTEMA OXYZ DE COORDENADAS DE MUNDO E O O'X'Y'Z' DE COORDENADAS DE FIGURA 6: RELAO ENTRE OS SISTEMAS DE COORDENADAS DE CMERA E DE IMAGEM . 17 FIGURA 7: MODELO COMPUTACIONAL PARA VISO ESTREO ........................................... 19 FIGURA 8: PRINCIPAIS ELEMENTOS E RELAES DA GEOMETRIA EPIPOLAR ...................... 20
VRIAS LINHAS EPIPOLARES, TODAS PASSANDO PELOS EPIPOLOS ............................. 20 CMERA ..................................................................................................................... 16

FIGURA 9: VRIOS PLANOS EPIPOLARES, TODOS PASSANDO PELA BASELINE, FORMANDO FIGURA 10: REPRESENTAO DO MOVIMENTO DAS CMERAS EM SEQUNCIAS COM SHORT FIGURA 11: ORGANIZAO DOS QUADROS EM UMA SEQUNCIA DE IMAGENS USANDO FIGURA 12: UMA DAS POSSVEIS RECONSTRUES PROJETIVAS PARA A IMAGEM ............. 31
WIDE BASELINE ........................................................................................................... 29 E WIDE BASELINE ........................................................................................................ 26

FIGURA 13: RECONSTRUO MTRICA PARA A IMAGEM ................................................... 32

RETIFICAO, COM OS PONTOS CORRESPONDENTES NA MESMA COORDENADA-Y ... 33

FIGURA 14: ACIMA, AS IMAGENS ORIGINAIS. ABAIXO, AS MESMAS IMAGENS APS A FIGURA 15: RESULTADO DA ETAPA DE RECONSTRUO DENSA........................................ 34

FIGURA 16: RESULTADO DA TRIANGULAO E TEXTURIZAO DA RECONSTRUO FIGURA 17: ESQUERDA, A REPRESENTAO DE UMA IMAGEM; DIREITA, A FIGURA 18: ACIMA, UM PAR DE IMAGENS. ABAIXO, O MESMO PAR, PORM RETIFICADO,
COM PLANOS DE IMAGEM CO-PLANARES, EPIPOLOS NO INFINITO E LINHAS EPIPOLARES PARALELAS ............................................................................................ 38 REPRESENTAO DE UMA IMAGEM RETIFICADA ....................................................... 37 DENSA OBTIDA NA FIGURA 15 ................................................................................... 35

FIGURA 19: CASO ONDE A CMERA SE DESLOCOU PARA FRENTE, FAZENDO COM QUE A
PROJEO DO PONTO

FIGURA 20: SEQUNCIA DE ATIVIDADES DA RETIFICAO CILNDRICA ............................ 43

................................................................................................................................... 40

M, NA BASELINE, NUNCA INTERCEPTE O PLANO DE PROJEO

9
FIGURA 21: REPRESENTAO DA RETIFICAO CILNDRICA SIMPLIFICADA PARA UMA FIGURA 22: REGIES ONDE O EPIPOLO PODE ESTAR LOCALIZADO .................................... 45
IMAGEM ..................................................................................................................... 44

FIGURA 23: LINHAS EPIPOLARES EXTREMAS E REGIO EM COMUM ................................... 46

FIGURA 24: MENOR NGULO ENTRE DUAS LINHAS CONSECUTIVAS.................................. 47 FIGURA 26: RETIFICAO PLANAR DA CENA MOVE HOUSE ........................................... 52

FIGURA 25: PAR ORIGINAL DA SEQUNCIA CONHECIDA COMO MOVE HOUSE .............. 51 FIGURA 27: RETIFICAO CILNDRICA SIMPLIFICADA DA CENA MOVE HOUSE.............. 52 FIGURA 28: PAR ORIGINAL DA SEQUNCIA CONHECIDA COMO TEMPLE ....................... 54 FIGURA 29: RETIFICAO PLANAR DA CENA TEMPLE .................................................... 54 FIGURA 30: RETIFICAO CILNDRICA SIMPLIFICADA DA CENA TEMPLE....................... 55 FIGURA 32: RETIFICAO PLANAR DA CENA AGAMENON ............................................ 56 FIGURA 31: PAR ORIGINAL DA SEQUNCIA CONHECIDA COMO AGAMENON ................ 56 FIGURA 33: RETIFICAO CILNDRICA SIMPLIFICADA DA CENA AGAMENON ............... 57 FIGURA 34: PAR ORIGINAL DA SEQUENCIA CONHECIDA COMO DESKTOP ..................... 58 FIGURA 35: RETIFICAO CILNDRICA SIMPLIFICADA DA CENA DESKTOP..................... 58

10

1. INTRODUO

A reconstruo de objetos em trs dimenses a partir de uma sequncia de imagens um campo de estudo bastante importante da rea de viso computacional. O principal objetivo melhorar a qualidade da visualizao dessas imagens, possibilitando ao usurio observar com detalhes vrios como uma cena 3D nica, e no como um conjunto de imagens separadas. ferramenta Photosynth [1], que analisa um conjunto de

aspectos do objeto reconstrudo, j que a sequncia de imagens 2D vista Um exemplo que ilustra esta melhoria na forma de ver uma cena a

representando um determinado local e esse ambiente montado a partir da colagem de uma foto com outras. Desta forma, possvel explorar esse local navegando atravs das fotos.

imagens

Motion (SfM), usada como base para este trabalho de graduao. A maioria

baseada em uma classe de tcnicas ticas e passivas chamada Structure from

Existem vrias formas de realizar a reconstruo 3D. Uma delas

das tcnicas SfM estudadas e desenvolvidas na literatura possuem algumas momento, de uma reconstruo com poucos pontos, de forma a conhecer

caractersticas em comum [2]. Uma delas a realizao, num primeiro algumas informaes sobre a cena a ser reconstruda, para em seguida realizar uma reconstruo densa com muitos pontos, fazendo uso desse conhecimento obtido previamente. Essa reconstruo densa beneficiada por um processamento de imagens que deixa pontos correspondentes, entre um par de figuras, com a mesma coordenada-y e chamado de retificao.

1.1. OBJETIVOS

Neste contexto, este trabalho de graduao tem por objetivo estudar

profundamente e implementar a tcnica de retificao cilndrica de imagens, imagens permite a realizao de uma reconstruo densa eficiente, e ser mostrado ao longo do trabalho como ela se comporta manipulando imagens

baseada na descrita por Pollefeys [3]. Este mtodo de manipulao de

11 com diferentes nveis de complexidade, como por exemplo, em casos onde o epipolo est dentro da imagem. Ela foi escolhida com base em observaes retificao de imagens aplicadas em reconstruo 3D. realizadas durante um trabalho de anlise das principais tcnicas de

1.2. ESTRUTURA DO DOCUMENTO

O presente texto foi escrito seguindo a seguinte estrutura: no captulo 2 sero

mostrados os conceitos matemticos bsicos para o entendimento da tcnica

de retificao de imagens. No captulo 3 ser explicado como realizar uma tcnica SfM. As principais formas de retificar uma imagem sero elucidadas no captulo 4, para numa segunda parte do texto explanar com mais detalhe a tcnica focada neste trabalho. Desta feita, no captulo 5 sero expostos os resultados obtidos com a implementao da tcnica. Por fim, no captulo 6, as trabalhos futuros.

reconstruo 3D a partir de uma sequncia de imagens 2D, utilizando a

concluses deste trabalho sero discutidas, assim como as possibilidades de

12

2. CONCEITOS MATEMTICOS

Qualquer imagem, na forma como comumente usada, consiste basicamente na projeo de um ambiente em trs dimenses num plano especfico. Esta foto pode ser gerada usando uma cmera, que especifica precisamente como o

mundo 3D capturado vai ser representado por uma superfcie 2D. Para retificar uma imagem, alm de conhecer bem como essas projees so mesma cena 3D se relacionam entre si. Por isso, este captulo apresenta os de graduao. realizadas, necessrio tambm saber como duas imagens diferentes da principais conceitos matemticos que sero usados no decorrer deste trabalho

2.1. GEOMETRIA PROJETIVA

Tambm chamada de geometria descritiva, esta a rea da matemtica que lida com as propriedades e a consistncia (no sentido de mudana de sistema de coordenadas) de figuras geomtricas em relao projeo [4]. Essas perspectiva.

formas geomtricas, em geral, so projetadas de maneira ortogrfica ou

Figura 1: ilustrao da projeo ortogonal

a.

Este tipo de projeo bastante usado em arquitetura e cartografia, por Nela pode-se observar que retas que so paralelas no objeto em trs

Projeo ortogrfica

exemplo, pois preserva formas e ngulos, como pode ser visto na Figura 1. dimenses permanecero paralelas na imagem projetada. Para produzir este efeito, os pontos do objeto 3D so levados para o plano onde estes sero

13 projetados de forma que as linhas de projeo que os conectam sejam ortogonais ao plano projetivo. b. Projeo perspectiva

A projeo perspectiva mais usada em atividades cotidianas porque ela representa os objetos no plano 2D da mesma forma que o olho humano interpreta as formas que ele enxerga. Assim, as cenas capturadas usando este

tipo de projeo so mais realistas, tendo a projeo perspectiva duas importantes caractersticas que a destacam da projeo ortogrfica: objetos que esto mais distantes do plano projetivo so menores do que os mais

prximos e objetos aparentam ser menores do que realmente so porque possuem uma certa inclinao em relao ao plano. A Figura 2 exemplifica uma projeo perspectiva.

Figura 2: ilustrao da projeo perspectiva

num ponto central e desenhados no ponto onde as linhas de projeo encontram o plano projetivo. Em geometria projetiva, pode-se definir que linhas paralelas se

Essas caractersticas so obtidas se os objetos forem projetados direto

intersectam no infinito. Assim, correto afirmar que a projeo ortogrfica pode ser mostrada como uma projeo perspectiva onde o ponto central est numa distncia infinita do plano projetivo.

equivalncia. Nela pode-se dizer que no espao 3D, exceto a origem, dois

Outra definio importante da geometria projetiva a de classe de

14 pontos P e P so equivalentes se existe um nmero real no nulo que torna

equivalncia e deixar as operaes no espao projetivo to simples como no plano cartesiano, usa-se coordenadas homogneas.

a relao P = P verdadeira. Assim, para se manter essa classe de

dimenso a mais de tal forma que a seguinte equivalncia seja preservada: wx x wy y wz z w 1 .

Com este tipo de coordenadas, um ponto 3D escrito com uma

(1)

projetivo e que os pontos homogneos com w = 0 esto no plano no infinito.

Por conveno, define-se que os pontos com peso w = 1 esto no plano

2.2. MODELO DE CMERA

As cmeras convencionais usam princpios de geometria projetiva, aplicando uma projeo perspectiva do objeto a ser capturado. O tipo de cmera mais simples conhecido como pinhole e, no lugar de uma lente, possui uma imagem. A Figura 3 mostra como funciona este tipo de cmera.

pequena abertura, que por onde passa a luz que ir interceptar o plano de

Figura 3: funcionamento da cmera pinhole

uma cmera pinhole ideal. Assim como na cmera real, os raios de luz

No contexto da computao foi definido um modelo matemtico para

refletidos ou emitidos pelo objeto passam por um ponto chamado centro de

15 cmera, que representa a abertura da cmera real, e interceptam o plano de

imagem, que fica a uma certa distncia do centro de cmera, denominada distncia focal. A reta que perpendicular ao plano de imagem e passa pelo este eixo intersecta o plano de imagem e, na maioria dos casos, ele representa o centro da imagem. A Figura 4 ilustra este modelo de cmera. Desta forma, um ponto M, em trs dimenses, projetado de forma perspectiva no plano de imagem resultando no ponto m, em duas dimenses. centro de cmera chamada de eixo ptico. O ponto principal o local onde

Figura 4: modelo da cmera pinhole

de coordenadas de mundo e o plano de imagem o plano Z = 1, ou seja, a distncia focal de uma unidade. Deste modo, pode-se observar que a projeo perspectiva do ponto M(x, y, z) vai resultar no ponto m(u, v) onde:
u= x z

Neste modelo, o centro de cmera est localizado na origem do sistema

e v=

y . z

(2)

origem do sistema de coordenadas de mundo. Neste caso, necessrio definir um sistema de coordenadas local, onde a sua origem ser o centro de cmera, de forma que as caractersticas do modelo pinhole sejam preservadas. Para

Entretanto, nem sempre o centro da cmera estar localizado na

isso, deve-se aplicar transformaes lineares nos objetos de forma que eles possam ser representados no sistema de coordenadas local e projetados partir dos parmetros intrnsecos e extrnsecos da cmera. corretamente no plano de imagem. Essas transformaes so determinadas a

16 a. Parmetros extrnsecos

So estes parmetros que descrevem a posio e orientao do centro de

cmera em relao ao sistema de coordenadas de mundo. Como pode ser desloca o centro de cmera O da origem O para uma nova posio. Na figura tambm pode ser observado que, alm de uma posio diferente do centro de cmera, os eixos do sistema de coordenadas de cmera sofreram uma rotao original do sistema de coordenadas mundial. R, tambm descrita em coordenadas de mundo, em relao disposio

visto na Figura 5, existe um vetor t, descrito em coordenadas de mundo, que

Figura 5: sistema OXYZ de coordenadas de mundo e o O'X'Y'Z' de coordenadas de cmera

ponto M, em coordenadas de cmera, como o ponto M, em coordenadas de mundo. Para isso, necessrio aplicar ao ponto M as mesmas transformaes aplicadas cmera, ou seja:
R M = 0 t .M . 1

Com estes parmetros de rotao e translao possvel escrever um

(3)

de mundo, o ponto M tambm estar.

Deve-se notar que, como a matriz R e o vetor t esto em coordenadas Na situao onde se tem o ponto M em coordenadas de mundo, o

ponto M em coordenadas de cmera pode ser encontrado invertendo a matriz:

17

R T R t M= . M = 0 1 0
1

- t .M . 1

(4)

b. Parmetros intrnsecos

Os parmetros intrnsecos mostram como um ponto em coordenadas de cmera ser descrito no plano de imagem. Para isso, um novo sistema de est na borda superior esquerda da imagem e a sua unidade bsica o pixel. e um pixel na imagem dada por:
u = k u x'+ u 0

coordenadas definido: o sistema de coordenadas de imagem. Sua origem OI

Na Figura 6 pode-se observar que a relao entre um ponto de cmera e v = k v y'+ v0 ,

e a dimenso da imagem em cada sentido. O valor da diviso kv/ku chamado de aspect ratio. Assim, usando coordenadas homogneas e sabendo que f a distncia focal, tem-se que:
f 0 u0 x' u k u v = 0 f v0 . y' . kv 1 0 0 1 1 14 4 244 3 K

onde as constantes ku e kv so definidas pelo cociente entre o tamanho do pixel

(5)

(6)

Figura 6: relao entre os sistemas de coordenadas de cmera e de imagem

c.

Tendo calculado os parmetros intrnsecos e extrnsecos, pode-se determinar

Matriz de projeo

uma matriz que projeta qualquer ponto M em coordenadas de mundo num ponto m em coordenadas de imagem. Esta matriz de projeo formada,

18 primeiramente, pela transformao que leva um ponto em coordenadas de

mundo para coordenadas de cmera usando os parmetros extrnsecos. Em seguida, uma projeo perspectiva aplicada. Por fim, usa-se os parmetros composio dessas transformaes resulta na seguinte equao:

intrnsecos para encontrar as coordenadas de imagem do ponto. A

x f 0 u0 1 0 0 0 T u k u y t v = 0 f v0 .0 1 0 0 .R =K. R T . z kv 0 1 1 0 0 1 0 0 z 0 1 1444444 4 24444444 3 1 P

x y t . . z 1

(7)

2.3. GEOMETRIA EPIPOLAR

Os seres humanos, de uma forma geral, possuem uma boa noo de profundidade. Ns conseguimos distinguir bem que determinados objetos esto mais prximos que outros quando olhamos para eles. Isto se deve ao fato de possuirmos viso estreo; ou seja, cada um dos nossos olhos observa o

mundo de pontos de vista diferentes e, a partir disto, o nosso crebro consegue extrair vrias relaes geomtricas entre as imagens formadas em cada retina e, assim, reconstri o ambiente 3D de forma que possamos ambiente. perceber as diferenas de profundidade dos objetos que compem o A simulao computacional deste processo de viso para recriar o

ambiente 3D a partir de duas imagens baseada na rea da geometria chamada geometria epipolar. Ela depende apenas dos parmetros de cmera, independente da estrutura da cena [3].

cmera possui o seu prprio centro e sua prpria orientao. Deste modo, cada uma possui tambm o seu prprio sistema de coordenadas de cmera.

cmeras pinhole, como mostrado na Figura 7. Pode-se observar que cada

A modelagem da viso estreo pode ser realizada usando duas

19

Figura 7: modelo computacional para viso estreo

so bastante importantes, pois ocorrem em todos os casos de viso estreo. A primeira delas a reta que liga o centro C1 da primeira cmera com o centro

Dentre as vrias relaes possveis entre pares de imagens, algumas

C2 da segunda, chamada de baseline. O ponto de interseco desta reta com o epipolo e1 e para a segunda cmera tem-se o epipolo e2.

plano de imagem chamado de epipolo. Para a primeira cmera tm-se o Se existem dois pontos m1 e m2 na primeira e na segunda imagem,

respectivamente, que so a projeo de um ponto M em coordenadas de epipolar, como visto na Figura 8. Este plano intersecta com o plano de imagem de cada uma das cmeras formando as linhas epipolares. A Figura 8 ilustra a relao que as linhas epipolares possuem entre mundo, pode-se dizer que M, C1, C2 so coplanares, formando o plano

uma imagem e outra. Fazendo uma anlise usando o ponto m1 como raio, pode-se perceber que m1 na realidade no apenas a projeo de M, mas

referncia possvel definir um raio que parte de C1 at m1. A partir deste sim de todos os pontos que pertencem ao raio. Isto significa que impossvel determinar exatamente a posio espacial de um ponto projetado numa imagem sem que haja uma outra, capturada por uma segunda cmera em

uma outra posio. Neste exemplo, m2 seria este segundo ponto de vista de P. no ponto M. Se o primeiro raio for projetado na segunda imagem ele formar uma reta no plano projetivo, que a linha epipolar correspondente ao ponto

Desta forma, a interseco dos raios que vo de C1 m1 e de C2 m2 ocorreria

20 m1 e esta reta contm o ponto m2. O mesmo acontece se o raio de C2 m2 for

projetado na primeira imagem. Desta anlise pode ser extrada mais uma importante concluso: para todos os pontos de uma imagem, seu correspondente na outra figura estar na sua respectiva linha epipolar.

Figura 8: principais elementos e relaes da geometria epipolar

independente da coordenada espacial do ponto M, todos os planos epipolares passaro pela baseline, como mostra a Figura 9.

Todas as linhas epipolares passam pelo epipolo da imagem e,

Figura 9: vrios planos epipolares, todos passando pela baseline, formando vrias linhas epipolares, todas passando pelos epipolos

segunda imagem, que ir conter o ponto m2, pode ser achada a partir da seguinte relao:
l1=F m 1 ;

A partir de um ponto m1 na primeira imagem, a linha epipolar l1 na

onde F, chamada de matriz fundamental, uma representao algbrica da

(8)

21 geometria epipolar entre duas imagens. Ela uma matriz 3x3 de rank 2 que pode ser encontrada a partir da seguinte equao:

m2 T F m1=0 .

imagem, correspondente ao ponto m2 na segunda, a matriz fundamental tambm pode ser usada:
l2=F T m2 .

Para casos onde o objetivo encontrar a linha epipolar l2 na primeira

(9)

da imagem. Eles so definidos como os ncleos da fundamental. Ou seja:

F e1= 0

Outro papel importante da matriz fundamental calcular os epipolos e

F T e2 = 0 .

( 10 )

seja, dado que a equao da linha l1 na segunda imagem conhecida, linha epipolar l2 que contm o ponto m1, mesmo sem conhecer o ponto m2 na encontrada a partir do ponto m1 na primeira imagem, possvel encontrar a

Tambm possvel encontrar linhas epipolares correspondentes. Ou

( 11 )

segunda imagem. Isto possvel porque existe uma matriz de homografia H como o contrrio. Esta matriz encontrada a partir da matriz fundamental e dos epipolos da imagem pela seguinte equao:
H=[e2 ]X F+e2 a T ;

que mapeia todos os pontos e retas da primeira imagem na segunda, assim

onde a um vetor qualquer, no nulo, usado para garantir que a matriz H definida por:

( 12 )

seja invertvel e [e2]X a matriz anti-simtrica do epipolo da segunda imagem,

e2.z e2.y 0 = e2.z 0 e2.x . 0 e2.y e2.x

[e2]X

( 13 )

Caso a matriz de projeo seja conhecida, a homografia tambm pode ser encontrada como:

22

H -T = (P2 T ) P T ;
+ +

onde (P2 T ) a pseudo-inversa de Moore-Penrose da transposta da matriz de projeo da segunda imagem. Assim, conhecendo a matriz de homografia, as linhas epipolares e l1H T l2 .

( 14 )

correspondentes podem ser facilmente calculadas usando:

l2H T l1

( 15 )

23

3. RECONSTRUO 3D A PARTIR DE IMAGENS

Um importante tpico de pesquisa na rea de viso computacional consiste em gerar modelos digitais em trs dimenses automaticamente a partir de

imagens bidimensionais de cenas de interesse [5]. Isso se deve sua grande aplicabilidade em importantes atividades cotidianas. Recriar objetos vem despertando interesse de vrios campos de atuao por melhorar partir de uma sequncia de radiografias de um tumor, o modelo do cncer e

significativamente a qualidade da visualizao. Na medicina, por exemplo, a dos rgos ao redor deste pode ser reconstrudo em trs dimenses,

possibilitando aos mdicos um diagnstico mais eficiente [6]. Outras reas, apenas para citar algumas, tambm esto atentas aos resultados obtidos pela reconstruo 3D [7]. Um segundo motivo para a popularizao da reconstruo 3D baseada

como realidade virtual, computao grfica, engenharia civil e robtica,

em imagens 2D se deve, principalmente, ao barateamento dos equipamentos usados para o seu desenvolvimento. Enquanto anteriormente eram valor do sistema, hoje pode-se obter resultados semelhantes usando cmeras necessrios dispositivos especializados, como scanner a laser, que encareciam o de vdeo convencionais. Assim, a partir de uma sequncia de imagens uma representao em escala do modelo original gerada em 3D e, em seguida, texturizada com uma imagem da cena real de modo a aumentar o parmetros da cmera.

adquiridas movimentando livremente a cmera em torno do molde original,

realismo da mesma. Para isso, no necessrio, obrigatoriamente, conhecer os Esta tcnica de reconstruo 3D a partir do movimento livre da cmera

em torno do modelo original chamada de Structure from Motion [3]. Tambm chamada de SfM, esta tcnica bastante estudada e admite vrias formas de implementao, dependendo das informaes disponveis antes e durante o

24 processo de reconstruo, como o conhecimento prvio dos parmetros da cmera, ou do objetivo final da aplicao. Uma destas possveis formas est sendo implementada no projeto

TechPetro [8], desenvolvido pelo Grupo de Pesquisa em Realidade Virtual e Federal de Pernambuco [11]. O projeto tem por objetivo, entre outros, desenvolver um framework de reconstruo 3D utilizando o SfM como base. O

Multimdia, GRVM [9], do Centro de Informtica [10] da Universidade

uma das etapas do processo de reconstruo 3D, como pode ser visto a detalhadamente neste captulo. seguir. O pipeline de reconstruo 3D baseado em SfM descrito

presente trabalho de graduao vem contribuir com a reconstruo densa, que

1. Aquisio das imagens: as imagens so capturadas usando uma fotos).

cmera de vdeo (sequncia de vdeo) ou fotogrfica (sequncia de

2. Seleo de features: as imagens possuem pontos que se destacam features, como so chamadas, so identificadas em todas as imagens.

bastante dos pixels ao seu redor, sendo facilmente identificados. Essas

3. Correspondncia e rastreamento de features: as mesmas features possam ser rastreadas ao longo da sequncia.

encontradas nas imagens so relacionadas entre si de forma que elas

4. Reconstruo projetiva: o movimento da cmera e a posio espacial projeo.

das features so encontrados a partir de uma transformao de

5. Reconstruo mtrica: com os parmetros da cmera conhecidos, das features obtidas pela reconstruo projetiva para um sistema

possvel descobrir uma matriz de homografia que leva as posies 3D

mtrico.

25 6. Reconstruo densa: de posse de todos os parmetros da cmera,

adquiridos no processo de reconstruo das features, o dense matching,

como tambm chamado, recria praticamente todos os pontos da modelo original.

imagem para que o modelo gerado seja o mais fiel possvel forma do 7. Gerao de malha e texturizao: as informaes de cor do objeto

original so repassadas aos pontos reconstrudos para que a aparncia visual idntica.

reconstruo possua tambm, alm de uma forma semelhante, uma

3.1. AQUISIO DAS IMAGENS

Este primeiro passo consiste em capturar a sequncia de imagens que ser implementado. Para as formas mais simples do SfM necessrio que a parmetros internos da cmera so conhecidos e permanecem constantes

usada na reconstruo e depende bastante da forma como o SfM foi captura de imagens seja feita de forma bem controlada. Isto significa que os durante todo o processo de aquisio. Isto torna desnecessrio o uso de

algoritmos para descobrir o valor da matriz K, descrita na subseo 2.2.b. imagens, como trip ou trilhos, evitando movimentos bruscos e inesperados da cmera.

Alm disso, conveniente usar objetos que estabilizem a captura das

adquirir as imagens, pois este preparo pode encarecer bastante o custo da cmeras de vdeo convencionais, com a captura feita mo livre. Nesse caso,

Porm, nem sempre possvel ter um ambiente controlado para

reconstruo. Para determinadas aplicaes pode ser necessrio at o uso de as imagens podero sair tremidas, com algumas delas borradas. Alm disso, muitas dessas cmeras modernas possuem um sistema de foco automtico, Se a distncia focal varia, a matriz K tambm no permanece constante onde as lentes so ajustadas de forma que as imagens sejam sempre ntidas. durante toda a captura. Para esses casos, a reconstruo tem que ser mais

robusta, o que pode tornar necessrio o uso de um pr-processamento das

26 imagens, eliminando ou tornando ntidas as imagens borradas, ou de algoritmos de auto-calibrao, que devero descobrir o valor da matriz de parmetros intrnsecos a partir das prprias imagens. Seja em ambientes controlados ou no, as imagens podem ser

adquiridas por equipamentos diferentes, como cmeras de vdeo ou

fotogrficas. Para o primeiro caso, a posio da cmera ao longo da sequncia de imagens tende a mudar de forma mais suave. Ou seja, figuras consecutivas do conjunto tendem a variar muito pouco. Isso faz com que a baseline seja

curta, j que a distncia do centro de projeo da primeira imagem para a segunda muito pequena, sendo denominada de short baseline. Quando uma sequncia de fotos usada, a variao entre as imagens

tende a ser maior. Assim, comum que a distncia entre os centros das cmeras seja grande, caracterizando a chamada wide baseline. Cada um desses

tipos de equipamentos tem as suas vantagens e desvantagens. Por isso, em geral, usado um misto das duas, fazendo uma reconstruo com wide baseline para, em seguida, melhor-la com short baseline. A Figura 10 ilustra a

diferena entre as distncias entre os centros de projeo das imagens. Nela possvel perceber que o short baseline possui mais representaes de cmera para captura a mesma cena em comparao com wide baseline.

Figura 10: representao do movimento das cmeras em sequncias com short e wide baseline

3.2. SELEO DE FEATURES

Depois que o conjunto de imagens do objeto a ser reconstrudo foi obtido, cada uma delas analisada em busca de pontos que possam ser facilmente

27 identificados, ou seja, que se destacam dos demais ao seu redor. Dada a imagem de uma casa, por exemplo, com uma porta pintada uniformemente da cor branca, um ponto de evidncia seria a fechadura j que, diferentemente do resto da porta, ela escura. Esses pontos de grande destaque so facilmente determinados na sequncia de imagens. Ainda com o exemplo da chamados de features que, por se diferenciarem de seus vizinhos, podem ser porta, mais fcil encontrar a fechadura em duas imagens distintas e saber outro ponto branco da porta, j que eles so idnticos.

que elas correspondem ao mesmo ponto do modelo original, do que qualquer Potencialmente, cada ponto m(u, v) na imagem pode ser uma feature.

Ento, para determinar precisamente quais realmente sero escolhidos, cada pixel avaliado por um critrio conhecido como Harris Corner Detector. Ele um limiar pr-estabelecido, ento ele considerado uma feature [2]. equao: mede o quanto cada ponto de destaca dos demais. Se esse valor for maior que O critrio de Harris para um ponto m qualquer na imagem dado pela
C(m ) = det(G ) + k tr 2 (G ) ,

onde k uma constante muito pequena, na ordem de 10-2, pertencente aos reais. J G representa uma matriz composta por vetores que indicam quanto os valores dos pixels prximos m esto variando em relao a ele, tanto na

( 16 )

direo x quanto na direo y. Esses vetores, chamados de gradiente, so calculados usando os valores dos pontos de uma regio W(m) cujo tamanho, em geral, 7 x 7 e o seu centro m. Desta feita, G pode ser escrita da seguinte da imagem I com a derivada de um par de filtros gaussianos:
W( x) I 2 x G= I I W ( x ) x y

forma, com Ix e Iy sendo os vetores gradiente obtidos a partir da convoluo

W(x ) x y 2 W( x ) y

I I . I

( 17 )

28 Deste modo, o ponto m ser selecionado como uma feature se o

resultado de C(m) for maior que o limiar. Como imagens podem ter algumas reas com mais texturas do que outras, interessante dividi-las em regies e para toda a figura. determinar um limiar para cada uma dessas sub-reas, ao invs de um nico No h um limite superior ou inferior para o nmero de features em

cada regio, entretanto necessrio que haja uma distncia mnima entre eles.

Usando mais uma vez o exemplo da porta e supondo que uma fechadura escura ocupe uma rea de 5 x 5 pixels, se for usada uma janela W(m) de tamanho 11 x 11, cada um dos 25 pontos que compem a fechadura vo ser

que tiver o maior valor selecionado e os outros so omitidos.

considerados features. Para evitar problemas de rastreamento, apenas o pixel

3.3. CORRESPONDNCIA E RASTREAMENTO DE FEATURES

Existem, tambm, muitas maneiras de rastrear features numa sequncia de imagens. Dado que elas tenham sido encontradas usando Harris Corner Detector, pode-se usar, por exemplo, uma tcnica de correlao cruzada Nela, para cada feature na primeira imagem, feita uma busca para

normalizada [12].

identificar com qual ponto de destaque na segunda ela mais se assemelha. Em primeira. Se duas features, em imagens distintas, forem mutuamente as mais semelhantes, ento elas so consideradas correspondentes. O problema desta tcnica que o seu tempo de execuo cresce

seguida, o mesmo feito no sentido inverso, da segunda imagem para a

em cada imagem necessrio fazer uma busca em todas as outras figuras da sequncia, assim como a pesquisa inversa. Uma alternativa mais eficiente computacionalmente usar o Kanade-Lucas-Tomasi tracker [13]. Primeiramente, para uma sequncia de imagens, o KLT tracker, como

bastante a cada imagem adicionada no rastreamento, pois para cada feature

conhecido, detecta um conjunto de pontos de interesse, que potencialmente

29 so de fcil rastreamento nos quadros subseqentes. Como vimos na seo anterior, esta deteco tambm pode ser feita usando o Harris Corner Detector, mas com um critrio diferente.

na sua correspondente da outra. Essa transformao faz a correlao minimizando a falta de similaridade entre as duas regies.

transformao afim que mapeia toda a vizinhana da feature de uma imagem

feature, e um auto-valor para ambas as orientaes, encontrada uma

Depois de calculados os vetores gradiente em cada sentido, para cada

um short baseline para fazer o rastreamento das features, o KLT atua usando

Diferentemente da correlao cruzada, onde h a necessidade de usar

todas as imagens da sequncia. Ao invs disso, pode-se escolher quadros distintos, que marcam o incio e o fim de uma sequncia de figuras levemente rastreamento somente entre eles. A Figura 11 ilustra como feita esta organizao de quadros numa sequncia de imagens. diferentes, do conjunto de imagens, chamados de keyframes, e fazer o

wide baseline. Desta forma, no h a necessidade de executar o algoritmo entre

Figura 11: organizao dos quadros em uma sequncia de imagens usando wide baseline

determinada

Com esta informao sobre como as features se relacionam numa sequncia de imagens, pode-se usar esses

correspondentes entre dois quadros para encontrar a matriz fundamental

pontos

entre pares de keyframes utilizando um algoritmo chamado de eight-point, como descrito em [14]. Depois de achar a fundamental, ela ainda pode ser melhorada usando os quadros intermedirios.

30

3.4.RECONSTRUO PROJETIVA

sequncia de imagens, alm da matriz fundamental, j possvel recuperar a intrnsecos da cmera, esta reconstruo ser feita a partir de uma transformao de projeo, e no a partir de uma escala. Isso se deve ao fato matrizes de projeo de ambas imagens. de que existe uma decomposio da matriz fundamental capaz de obter as

De posse das features e da informao de como elas se relacionam na

estrutura 3D de uma cena. Porm, como ainda no se tem os parmetros

[t]xKRK-1, todas as matrizes de projeo P = [KRK 1 + t v T | v 4 t ] geram a e da constante v4. Entretanto, para cada valor de v e v4 haver uma matriz de

A decomposio da matriz fundamental possvel porque, como F =

mesma matriz fundamental, independente dos valores do vetor v = [v1, v2, v3]

projeo diferente. Uma das formas de decompor a matriz fundamental usar a chamada decomposio cannica, onde tenta-se fazer com que a matriz de projeo dependa apenas da fundamental, e no de v e v4. Assim, temos:

P1 = [I|0 ]

e P2 = [t ]x T F| t .

coordenadas de mundo, a partir de uma relao entre elas e os pontos correspondentes m1 e m2, em coordenadas de imagem:
1 m 1 = P1 M

Com as matrizes de projeo possvel reconstruir um ponto M, em

( 18 )

e 2 m 2 = P2 M .

diferente de M tambm achado e, consequentemente, vrias reconstrues distoro. Esta distoro se deve justamente a esse ajuste dos parmetros v e para uma determinada imagem.

Para cada matriz de projeo que pode ser encontrada, um valor

( 19 )

distintas. Todas elas esto corretas, apesar de aparentarem possuir uma v4. A Figura 12, a seguir, mostra uma das possveis reconstrues projetivas

31

Figura 12: uma das possveis reconstrues projetivas para a imagem [15]

3.5. RECONSTRUO MTRICA

Em geral, a reconstruo projetiva no realizada j que, ou os parmetros descobertos num processo chamado auto-calibrao da cmera. Assim, de posse da matriz fundamental e das informaes de cmera possvel fazer a

intrnsecos da cmera so conhecidos no momento da captura ou eles so

reconstruo da cena usando a matriz essencial, que uma matriz que fundamental, que relaciona essas correlaes de forma projetiva. A matriz essencial pode ser encontrada atravs da seguinte equao: E = K2T F K1 .

descreve a relao mtrica entre dois pontos correspondentes, semelhante

determinar tanto a posio relativa como a orientao entre as diversas posies da cmera e a localizao espacial dos pontos das imagens. A matriz essencial definida como:

A reconstruo possvel porque, a partir da matriz essencial pode-se

( 20 )

E = R [t ]x .

Value Decomposition, ou SVD, que uma decomposio em valores singulares, encontrando assim as matrizes de rotao e translao, numa determinada escala, relativas entre duas imagens [16]. Como as matrizes de rotao e translao encontradas so relativas

Desta forma, a matriz essencial pode ser decomposta usando o Singular

( 21 )

entre duas imagens e no para toda a sequncia, necessrio fazer um

32 alinhamento de todas essas matrizes para que a escala seja a mesma na

sequncia inteira. Desta feita, atribui-se que a posio da cmera para a

primeira imagem a origem do sistema de coordenadas de mundo e ela no segundo, encontra-se a rotao e a translao entre eles. Posteriormente, usando a matriz essencial que leva da segunda para a terceira imagem, encontra-se as matrizes R e t entre essas duas figuras e, em seguida, essas Este processo repetido para todas as imagens da sequncia.

possui rotao. Usando a matriz essencial entre o primeiro quadro e o

matrizes so alinhadas com as posteriores para que fiquem na mesma escala. No final, de posse da posio e orientao de todas as cmeras, assim

como dos parmetros intrnsecos, a matriz de projeo para cada pose

encontrada. Com ela, os pontos em coordenadas de mundo podem ser encontrados usando as mesmas relaes da reconstruo projetiva. A Figura 13 ilustra o resultado da reconstruo mtrica.

Figura 13: reconstruo mtrica para a imagem [15]

3.6.RECONSTRUO DENSA

Neste estgio da execuo da tcnica j se possui uma reconstruo muito boa ela foi feita baseada apenas nas features, existem poucos pontos para serem

da cena, onde o modelo reconstrudo consegue ser identificado. Porm, como exibidos, fazendo com que o modelo 3D possa no ser to detalhado. Entretanto, como j se possui todas as informaes de cmera da sequncia de imagens, possvel melhorar a qualidade do modelo aumentando o nmero de pontos reconstrudos. Esse processo chamado de reconstruo densa,

33 pois tem como objetivo achar o valor em coordenadas de mundo do maior nmero de pontos da imagem possvel, ao invs das poucas features. Esta processo, para tornar o passo mais preciso e rpido. etapa faz uso de todo o conhecimento da geometria epipolar adquirido no Primeiro, uma srie de transformaes aplicada s imagens de forma

que os pontos correspondentes estejam na mesma coordenada-y em ambos os imagem e ser melhor detalhado no prximo captulo, sendo o foco do presente trabalho de graduao.

quadros, como mostra a Figura 14. Este passo chamado de retificao da

Figura 14: Acima, as imagens originais. Abaixo, as mesmas imagens aps a retificao, com os pontos correspondentes na mesma coordenada-y

features no comeo do processo pode ser aplicada para encontrar as ser bem mais simples, j que ela se dar apenas por pixels da segunda correspondncias para quase todos os pixels. Isto s possvel porque a busca

Com as imagens retificadas, a mesma tcnica usada para selecionar as

imagem, localizados na mesma coordenada-y do ponto original na primeira figura. Alm disto, algumas outras restries podem ser adicionadas para

34 melhorar a performance da procura. Estas restries dizem que, por exemplo,

pontos na linha epipolar aparecem na mesma ordem em ambas as imagens, e que cada pixel tem um nico correspondente na outra imagem. Aps as correspondncias serem encontradas, uma nova matriz

fundamental estimada usando o algoritmo de eight-point. Ela ser composta

com as matrizes de parmetros intrnsecos, formando a matriz essencial, para

calcular o valor 3D desses pontos, utilizando as mesmas relaes das mais precisa do que a encontrada durante o rastreamento das features, j que resultado da reconstruo densa pode ser visto na Figura 15.

reconstrues mtricas e projetivas. Neste passo, a fundamental tende a ser agora existe um aumento significativo no nmero de correspondncias. O

Figura 15: resultado da etapa de reconstruo densa [5]

3.7. GERAO DE MALHA E TEXTURIZAO

Com a posio espacial de praticamente todos os pontos da sequncia inteira

de imagens, pode-se juntar trs deles para formar um plano. Juntando esses forma precisa e detalhada o objeto capturado.

planos possvel gerar uma malha 3D de boa qualidade que represente de Existem algumas formas de triangularizar uma nuvem de pontos. A

mais simples gerar o envoltrio convexo de todos os pontos 3D, ou seja, o

slido de menor rea lateral possvel que contenha todos os pontos [17]. Uma alternativa que implica num modelo mais prximo do real consiste em

Entretanto, ela pode resultar numa forma bem diferente do objeto capturado.

35 identificar locais onde a densidade de pontos maior para tentar fazer a triangulao apenas entre esses mais prximos [18]. Depois de triangularizar os pontos, uma textura baseada na original

atribuda ao modelo 3D para que este fique ainda mais prximo do real. Um malha criada e, como a matriz de projeo conhecida, projetar este ponto na

modo de texturizao consiste em encontrar o centride de cada tringulo da imagem e verificar as informaes de cor que este ponto vai possuir quando centride aparece e o valor de cor atribudo ao seu plano a mdia aritmtica

for mapeado na imagem. Este passo feito para todas as imagens onde o da cor de todos os pixels que correspondem quele centride nos vrios quadros. A Figura 16 mostra o resultado da triangulao e texturizao de uma nuvem de pontos gerada a partir da reconstruo densa. Ela tambm o resultado final de todo o processo de reconstruo.

Figura 16: resultado da triangulao e texturizao da reconstruo densa obtida na Figura 15 [5]

36

4. RETIFICAO DE IMAGENS
A retificao de imagens um passo muito importante no processo de reconstruo densa. Praticamente todos os algoritmos para esta tarefa j partem do suposto que as imagens esto retificadas [19]. Mesmo a retificao

de imagens sendo um problema clssico da rea de viso computacional, existem poucos mtodos para executar esta tarefa. De fato, at onde o autor conhece, existem apenas dois: a retificao planar e a retificao cilndrica. implementao comparativa das mesmas foi realizada. Na sequncia, o seu funcionamento descrito, bem como os principais detalhes relacionados com a implementao.

Estas tcnicas foram estudadas neste trabalho de graduao e uma

transformaes s elas de forma que as figuras obtidas possuam projees epipolares correspondentes [16]. Em outras palavras, essas imagens so

Num processo de reconstruo, retificar as imagens significa aplicar

manipuladas de forma que linhas epipolares correspondentes se tornem colineares e paralelas ao eixo-x da imagem. Desta forma, o espao de busca alm de simplesmente tornar a rea de busca numa linha horizontal. reduzido apenas uma dimenso. As vantagens de executar esta tcnica vo Ao fazer a retificao baseada na geometria epipolar das imagens,

tambm possvel garantir outras restries, acelerando e tornando mais consistente a procura por correspondncias. A primeira restrio garante que todos os pontos de uma linha epipolar aparecero na mesma ordem nas

imagens retificadas, desde que esses objetos sejam opacos. Uma outra diz que

cada ponto possui um nico correspondente nas imagens seguintes. A Figura linha epipolar que cruza a foto e os pixels coloridos determinam os pontos da imagem que formam a linha. Ainda na Figura 17 pode-se ver a reproduo da uma nica vez e na mesma ordem da imagem original.

17 ilustra isto. Nela, v-se a representao de uma imagem, com l1 sendo uma

mesma imagem, porm retificada; nela os pixels da linha epipolar aparecem

37

Figura 17: esquerda, a representao de uma imagem; direita, a representao de uma imagem retificada

determinam que o par de imagens a serem retificadas devam ser reorganizadas a partir de uma re-projeo. Os algoritmos diferem basicamente na forma como as figuras sero re-projetadas, como ser para retificar toda uma sequncia de imagens incremental. Na sequncia, os mtodos de retificao planar e cilndrica sero apresentados. mostrado a seguir. Os mtodos retificam um par de imagens e o processo

Como j foi dito, duas formas de retificao so conhecidas e ambos

4.1. RETIFICAO PLANAR

Este mtodo de retificao relativamente simples, tendo como ideia bsica quando a figura for mapeada numa regio em comum deste plano, tm-se a garantia que linhas epipolares correspondentes estaro na mesma altura.

re-projetar todas as imagens num plano em comum paralelo baseline. Assim,

para a retificao. Por simplicidade de clculos, escolhido um a partir da

Existem infinitos planos paralelos baseline que poderiam ser usados

rotao dos planos de imagem, de forma que eles se tornem co-planares. Esta

operao resulta numa nova matriz de projeo, baseada na original, e a epipolares so paralelas, como visto na Figura 18.

garantia de que epipolos esto no infinito e, consequentemente, linhas

38

Figura 18: acima, um par de imagens. Abaixo, o mesmo par, porm retificado, com planos de imagem co-planares, epipolos no infinito e linhas epipolares paralelas

que as novas sejam geradas. Elas vo diferenciar das antigas apenas na matriz de rotao e nos parmetros intrnsecos, que sero os mesmos nas duas matrizes de projeo retificadas. Por outro lado, os centros de cmera sero os duas imagens so:

necessrio o conhecimento dos parmetros de ambas as cmeras para

mesmos das cmeras originais. Desta forma, se as matrizes de projeo das

P1 = K 1 [R 1 | t1 ]

P2 = K 2 [R 2 | t2 ]

( 22 )

as novas matrizes de projeo sero:

PR1 = K R [R R | t 1 ] e PR2 = K R [R R | t 2 ],

escolhida baseada nas matrizes de parmetros intrnsecos K1 e K2 das imagens estar rotacionados. Ela escrita da seguinte forma:

onde KR ser a nova matriz de parmetros intrnsecos de ambas as cmeras,

( 23 )

originais e RR a matriz que determina como os novos planos de imagem vo

39

r1T R R = r2T , r3T

( 24 )

ser facilmente encontrados com o conhecimento das matrizes de projeo das imagens originais. Desta feita, r1 ser o novo eixo-x e este deve ser paralelo ser r3, que ortogonal r1 e r2. Assim, com z sendo o eixo-z de R1: baseline; r2, o novo eixo-y, que deve ser ortogonal r1; e por fim, o novo eixo-z

Como as imagens retificadas devem ser paralelas baseline, estes eixos podem

onde ri so os eixos que formam o novo sistema de coordenadas da cmera.

r1 =

(t 1 t 2 )
t1 t2

, r2 = z r1

e r3 = r1 r2 .

( 25 )

baseado nas matrizes K1 e K2 das cmeras originais. Em [20] recomendado usar a mdia das duas matrizes, assim:
KR =

A matriz KR pode possuir qualquer valor. Em geral escolhe-se um

(K 1 + K 2 )
2

( 26 )

transformao que vai levar a imagem obtida com P1 para a retificada, obtida e, em seguida, rotacion-la de acordo com a nova matriz de rotao calculada. Assim, como:

De posse da matriz de projeo retificada, preciso calcular a matriz de

com PR1. Esta matriz vai precisar desfazer a rotao aplicada cmera original

P1 = [Q 1 | q 1 ] , P2 = [Q 2 | q 2 ] , PR1 = [Q R1 | q R1 ] e PR2 = [Q R2 | q R2 ]
as matrizes de transformao que retificaro as imagens sero:
1 T1 = Q R1 Q 1 1 e T2 = Q R2 Q 2 .

( 27 )

( 28 )

original, ela estar retificada.

Depois que a transformao Ti for aplicada todos os pixels da imagem

40 Este mtodo de retificao de imagens bem simples, alm de possuir

uma execuo rpida, pois depende apenas do clculo de uma matriz de qualquer tipo de movimento de cmera. Para casos onde o deslocamento de retificao pode falhar.

transformao para cada imagem. Porm, ele no robusto o suficiente para uma pose de cmera em relao outra foi muito grande, o processo de Nas situaes onde o movimento da cmera foi muito brusco, os

epipolos tendem a se aproximar da imagem, gerando, graas a isto, imagens cada vez maiores. Desta feita, o resultado da retificao ser um par de imagens bastante distorcido, tornando impreciso o processo de reconstruo densa.

que ficam dentro dela. Para esses casos, que ocorrem quando a cmera d um os pontos que esto na baseline so paralelos ao plano em comum, tendo sua

Esta tcnica falha quando os epipolos se aproximam tanto da imagem

zoom na imagem, por exemplo, a imagem retificada ter tamanho infinito, pois interseco com este apenas no infinito, como mostra a Figura 19.

Figura 19: caso onde a cmera se deslocou para frente, fazendo com que a projeo do ponto M, na baseline, nunca intercepte o plano de projeo

4.2. RETIFICAO CILNDRICA

Para ambientes controlados, onde a cmera ter movimento constante, suave bastante simples e muito eficiente nestas situaes. Porm, nem sempre

e nenhum zoom ser aplicado, a retificao planar pode ser utilizada, pois

41 possvel ter estas condies. s vezes, a captura realizada mo livre, causando imperfeies como movimentos para frente, caracterizando um caso onde o epipolo est dentro da imagem. Para tratar esses casos, [21] props uma nova tcnica mais robusta e

geral para retificar um par de imagens. Ela se diferencia da retificao planar, em comum para re-projetar o par de imagens.

principalmente, por, ao invs de usar um plano em comum, usar um cilindro O mtodo consiste em determinar um cilindro de raio unitrio que tem

numa coordenada (z, ) de um sistema de coordenadas cilndrico. Desta feita, um ponto (u, v) na imagem. cada ponto (z, ) da imagem retificada usado normalmente, como se fosse

a baseline com eixo de revoluo e, em seguida, mapear cada pixel da imagem

seguida, estas linhas so projetadas no cilindro. Desta forma, como linhas

rotacionada livremente no espao at que esteja paralela baseline. Em

Para realizar este mapeamento cada linha epipolar deve ser

epipolares correspondentes sero rotacionadas em um mesmo ngulo, ao final do processo elas possuiro a mesma coordenada- na imagem final. imagem retificada, a partir da seguinte relao: Desta feita, cada ponto m na imagem transformado num ponto mR na

m R = S C TC R C m , 14243
L

( 29 )

onde m deve estar em coordenadas de cmera, R a matriz que vai rotacionar

a linha epipolar na qual o ponto m est contido at que ela fique paralela

baseline, T uma matriz de mudana de base que levar m de coordenadas de cmera para coordenadas cilndricas e S a matriz que projetar m no cilindro de raio unitrio. Caso se tenha o ponto mR, o ponto m pode ser encontrado facilmente

da seguinte forma:

42
T -1 m = RT C TC S C m R . 1 42 4 43 4 L- 1

( 30 )

YC, ZC, e um ponto de origem OC, que ser igual origem do sistema de primeira imagem ser escrita como:
TC1

O sistema de coordenadas cilndricas formado por trs vetores, XC,

coordenadas da primeira cmera. Assim, a matriz T1 de mudana de base da

X C = YC , Z C

( 31 )

Dito isto, eles sero descritos por:

XC = RT 1 (t 2 t 1 )

vetorial do vetor z = (0, 0, 1)T com XC, e ZC um vetor ortogonal XC e YC. , YC = z X C e Z C = X C YC .

onde XC um vetor que ter o mesmo sentido da baseline, YC ser o produto

( 32 )

vetores que formam a base para a matriz de transformao T2 so definidos ambas as cmeras, possvel encontrar T2 de forma mais simples:
T TC2 = TC1 R 1 R2 .

Como o cilindro de projeo comum para ambas as imagens, os

em relao aos vetores da base de T1. Assim, usando as matrizes de rotao de

( 33 )

usando dois vetores, o z, que a projeo do vetor normal do plano de imagem no plano epipolar, e o vetor p, que a projeo do ponto m no plano normal do cilindro. Eles so encontrados da seguinte forma:

encontrar a matriz de rotao RC para cada imagem. Ela pode ser calculada

coordenadas de cmera, at que ela seja paralela baseline necessrio

Para rotacionar uma linha epipolar contendo um ponto m, em

z = axis (z axis )
onde

T e p = TC B TC m ,

( 34 )

43

axis = (t 2 t 1 ) m

0 0 0 e B= 0 1 0 . 0 0 1

( 35 )

Com os dois vetores, RC encontrado como:

p z R C = p z p z . ( p z ) p ( p z ) z
T

( 36 )

projeta a linha epipolar, agora em coordenadas cilndricas, num cilindro de raio unitrio, ou seja:

O ltimo passo encontrar a matriz SC de cada imagem do par, que

1 0 0 1 B 0 k 0 TC R C m = 1 , 1 0 0 k
o que leva concluso de que k = B TC R C m .

( 37 )

Figura 20: sequncia de atividades da retificao cilndrica

cuidado maior na escolha dos vetores XC, YC e ZC, afetando a sequncia inteira de execuo. Alm disso, todos esses clculos relativamente complexos, que so realizados num espao tridimensional, devem ser feitos

Para os casos onde o epipolo est dentro da imagem, necessrio um

para cada pixel da imagem. Por isso, apesar de tratar todos os movimentos de

44 cmera, a retificao cilndrica exige um tempo de execuo altssimo, j que

toda linha epipolar deve ser rotacionada e projetada, como mostra a Figura 20.

4.3.RETIFICAO CILNDRICA SIMPLIFICADA

A retificao cilndrica, porm, pode ser bastante simplificada se as que todos os clculos sejam feitos no plano de imagem, e evitando assim operaes tridimensionais.

informaes da geometria projetiva e epipolar forem usadas, fazendo com

num sistema de coordenadas cilndrico. Entretanto, ele difere no cilindro

A ideia deste mtodo a mesma do anterior: reparametrizar a imagem

escolhido. Enquanto na implementao convencional o cilindro centrado na

epipolos e, como estes esto no mesmo plano da imagem, nenhuma operao ocorrer no espao tridimensional [22]. Como pode ser visto na Figura 21, cada linha epipolar possui um

baseline, na forma simplificada as transformaes ocorrem ao redor dos

ngulo em relao ao epipolo, assim como cada pixel dela est a uma

distncia r deste mesmo ponto. Desta forma, as linhas epipolares so reescritas horizontalmente na nova imagem. No final, o par estar retificado porque linhas epipolares correspondentes possuem o mesmo ngulo em relao ao epipolo, j que elas esto no mesmo plano epipolar.

Figura 21: representao da retificao cilndrica simplificada para uma imagem

as regies comuns ambas imagens, que so as partes que aparecem tanto

A primeira etapa a ser realizada neste tipo de retificao determinar

numa figura, quanto na outra. Para isso, necessrio encontrar as linhas

45 epipolares extremas de cada imagem, aquelas que iro possuir o maior e o podem ser facilmente encontradas conhecendo a informao sobre que regio pertence o epipolo.

menor ngulo. Essas linhas sempre passaro por algum vrtice da imagem e

Figura 22: regies onde o epipolo pode estar localizado

pode ser encontrado. Em cada uma delas, as linhas epipolares extremas vo cruzar um dos quatro vrtices. Por exemplo, caso o epipolo esteja localizado na regio 3, suas linhas epipolares mais externas sero aquelas que passaro

Na Figura 22 pode ser visto que existem nove regies onde o epipolo

pelo epipolo e os cantos a e d. Caso o epipolo esteja na regio 5, consequentemente dentro da imagem, podem ser escolhidas as linhas que vo do epipolo para qualquer um dos pares de vrtices opostos entre si, ou seja, a extremas em ambas as imagens. e d ou b e c. Este processo usado para encontrar as linhas epipolares De posse dessas linhas epipolares mais externas, encontrada a regio

em comum a ambas imagens. Para isso necessrio encontrar as linhas epipolares correspondentes s linhas extremas para ambas as imagens, como

mostra a Figura 23, onde as linhas epipolares l1max e l1min na segunda imagem, por exemplo, so as correspondentes das linhas epipolares extremas l2max e l2min da primeira imagem.

46

Figura 23: linhas epipolares extremas e regio em comum

homografia H definida a partir da geometria epipolar. Assim, elas so encontradas da seguinte maneira:
T T T T l l 2max , l l 2min , l ( 38 ) 1max = H 1min = H 2max = H l 1max e l 2min = H l 1min .

As linhas correspondentes so calculadas a partir da matriz de

seriam l2min ou l1min, j que elas so correspondentes, e l2max ou l1max. Em geral, a primeira imagem usada como referncia. Aps conhecer as linhas extremas, as imagens retificadas j podem ser

imagem em mais de uma aresta. No caso da Figura 23, as linhas escolhidas

Com isso, as duas linhas extremas so aquelas que interceptam a

construdas. Primeiro, a linha externa mnima, aquela que possui o menor correspondente a esta, na segunda figura, encontrada usando a matriz de homografia para tambm ser reescrita horizontalmente na imagem retificada.

ngulo , reescrita horizontalmente na nova imagem. Em seguida, a linha

ao redor do epipolo para que uma nova linha epipolar, que passe por outros pontos da imagem, seja encontrada. Este ngulo de rotao no pode ser

Posteriormente, esta linha epipolar extrema rotacionada em graus

grande, pois poderiam ocorrer situaes em que a linha epipolar seguinte retificada, j que nenhuma linha epipolar passaria por eles, causando assim estaria to distante que alguns pixels no seriam reescritos na imagem

uma perda de informao da imagem. Para evitar isto, escolhido o menor ngulo possvel para esta rotao que, no pior caso, ser o deslocamento de um pixel na borda oposta ao epipolo, como mostrado na Figura 24. Desta

47 forma, tm-se a garantia que todos os pixels da imagem sero, pelo menos, preservados na retificao.

Figura 24: menor ngulo entre duas linhas consecutivas

retificada. Em seguida, a linha correspondente a ela na outra foto encontrada para, tambm, ser reescrita em sua respectiva imagem retificada. Este processo de rotacionar a linha epipolar ao redor do epipolo em um

Esta nova linha encontrada ser reescrita horizontalmente na imagem

foto seguinte para tambm reparametriz-la repetido, linha a linha, at que todas as linhas epipolares at a linha extrema mxima sejam reescritas. Cada uma dessas linhas corresponde a um ngulo ao redor do epipolo, do mnimo ao mximo, na imagem retificada.

ngulo , reescrev-la na imagem retificada, achar o seu correspondente na

Como esta tcnica no suaviza as linhas, pode-se dizer que o tamanho da

determina que pixels da imagem sero extrados para cada linha epipolar.

O algoritmo de Bresenham [23], utilizado para desenhar as linhas,

linha na imagem retificada permanecer igual ao da linha na imagem original, maior tamanho entre a largura e a altura da imagem original. A altura da retificao ser , no mximo, duas vezes a soma da altura com a largura da imagem original.

assim, a figura resultado da retificao ter uma largura, no mximo, igual ao

realizar nenhuma mudana no algoritmo, pois ele j trata esta caso, o que torna ainda mais fcil a implementao desta tcnica. Alm disto, como a calculada apenas uma vez. Finalmente, todas as operaes so feitas no plano matriz de homografia a mesma para todas as linhas epipolares, ela

Nas situaes onde o epipolo est dentro da imagem, no necessrio

48 de imagem, de forma que o tempo de execuo tambm bem mais baixo se

comparado com a retificao cilndrica tradicional.

4.4.

Com base no estudo realizado foi implementada a tcnica de retificao em [15] foi concluda pelo autor.

IMPLEMENTAO

cilndrica simplificada e uma verso parcial da retificao planar disponvel A implementao da retificao cilndrica foi feita usando o Matlab

[24], verso R2007b. Nela, nenhuma biblioteca especfica deste software foi

utilizada, com exceo daquelas destinadas a carregar e salvar imagens. A

escolha pelo desenvolvimento em Matlab ocorreu graas simplicidade com escrita mais rpida de softwares com este tipo de contedo em comparao

que esta ferramenta trata os problemas matemticos, possibilitando uma com as linguagens de programao convencionais, como C++. Originalmente, se por implementar a primeira verso da tcnica em Matlab, principalmente, porque um tempo considervel foi empregado no estudo e anlise

a proposta deste trabalho previa a utilizao desta linguagem, porm optou-

comparativa das tcnicas de retificao para escolher a mais adequada ao selecionada. Desta feita, o uso do Matlab garantiria a concluso da retificao cilndrica em sua totalidade. Neste momento, o desenvolvimento de uma uma implementao que poder ser facilmente integrada ao pipeline de

problema da reconstruo densa e na posterior implementao da tcnica

segunda verso da tcnica em C++ est em andamento, no sentido de fornecer reconstruo 3D.

de imagens, o conhecimento da matriz fundamental. No estgio do processo conhecida. Entretanto, como apenas a retificao foi implementada neste

Para que a retificao cilndrica seja realizada necessrio, alm do par

de reconstruo em que o dense matching est localizado, esta matriz j

software com o objetivo de calcular a fundamental e garantir a completude da soluo.

trabalho, um script auxiliar foi adaptado de [8] e incorporado ao nosso

49 Uma implementao parcial da retificao planar descrita no captulo

4, disponibilizada em [15], foi concluda e usada para comparao de

resultados com a retificao cilndrica. Devido complexidade e falta de implementada, sendo desenvolvida apenas a sua forma simplificada.

informaes mais detalhadas, a retificao cilndrica tradicional no foi

50

5. RESULTADOS
Para comprovar a eficcia da tcnica de retificao cilndrica simplificada, foram realizados alguns estudos de caso. Alm disso, foi realizada uma comparao da retificao cilndrica simplificada com a retificao planar, de maneira que as vantagens e desvantagens de cada uma tambm pudessem ser avaliadas. Quatro casos foram analisados como forma de avaliar a retificao

aquisio obtida sem a ajuda de nenhum equipamento especial. Alm disto, os resultados tambm foram comparados com os obtidos pela retificao planar dos mesmos pares de imagens. Trs critrios foram usados neste

foi feita de forma controlada; alm de agamenon e desktop, com a

cilndrica simplificada: move house e temple, onde a captura das imagens

confronto. Um deles foi o de preciso na igualdade da coordenada-y nas duas imagens retificadas pela tcnica planar e, em seguida, as suas coordenadas-y foram comparadas com as de seus correspondentes na outra imagem. Os cilndrico simplificado e seu pixel correspondente tambm foi analisado. Os mesmos 36 pixels foram escolhidos numa das imagens retificadas pelo mtodo outros dois critrios foram o tamanho da imagem retificada gerada pelas tcnicas e o tempo mdio necessrio para as execues de cada tcnica, sem incluir o clculo da matriz fundamental quando necessrio. Todos os casos foram executados dez vezes, com seu tempo medido

imagens. Para isto, foram escolhidos aleatoriamente 36 pixels numa das

em cada uma delas, num computador possuindo um processador Athlon 3200+ com velocidade de 4,00 GHz e 1GB de memria RAM.

bastante comprometida durante a impresso, a ponto de comprometer a visualizao dos resultados, as imagens que ilustram os estudos de caso a original no seguinte endereo eletrnico: http://www.cin.ufpe.br/~rar3/tg. partir deste ponto do captulo podem ser encontradas em sua resoluo

importante mencionar que, como a qualidade das imagens pode ficar

51

5.1. MOVE HOUSE

No primeiro caso foram usados dois quadros distintos de um vdeo, ambos 25. Nela, assim como em todas as imagens que ilustram os casos de testes,

possuindo 512 pixels tanto de altura quanto de largura, como mostra a Figura foram selecionados trs pontos aleatoriamente e eles foram ligados a seus correspondentes na outra foto com o objetivo de mostrar a variao da coordenada-y de cada um deles. A filmagem foi realizada de forma controlada, onde a cmera estava parada e o que se movia era a maquete. Desta forma, garantiu-se que nenhum fator, como movimento brusco da

cmera ou variao de iluminao no ambiente atrapalhasse a aquisio das imagens. Alm disso, os parmetros intrnsecos e extrnsecos da cmera eram conhecidos.

Figura 25: par original da sequncia conhecida como move house [25]

concluiu o processo em uma mdia de 2,2706 segundos e resultou numa

O par de imagens foi retificado usando ambas as tcnicas. A planar

simplificada gerou uma imagem de 512 pixels de largura e 989 de altura em resultados da retificao planar e cilndrica simplificada, respectivamente. uma mdia de 18,2712 segundos. As Figura 26 e Figura 27 mostram os

imagem com 634 pixels de largura e 590 de altura. J a retificao cilndrica

52

Figura 26: retificao planar da cena move house

Figura 27: retificao cilndrica simplificada da cena move house

53 Neste caso, onde a captura foi controlada, a retificao planar se

mostrou mais vantajosa, resultando numa imagem aproximadamente 74% menor. Quanto maior a imagem, maior a distoro dos pixels, pois pode ser

que dois ou mais deles sejam necessrios para representar um nico ponto da imagem original, causando impreciso nos passos seguintes da reconstruo densa.

preciso. Em ambas as formas de retificao, para nenhum ponto foi entre o escolhido e o seu correspondente na outra imagem.

Ambas as tcnicas obtiveram resultados satisfatrios em termos de

encontrada uma diferena maior que dois pixels, para cima ou para baixo,

5.2. TEMPLE

No segundo caso, as duas tcnicas foram avaliadas utilizando um par de imagens extradas de uma sequncia de fotografias de uma maquete de um templo, onde cada imagem possui um tamanho de 480 por 640 pixels. As fotos tambm foram obtidas com uso de equipamentos especiais, como trilhos para diferena deste par em relao ao do primeiro caso que neste a cmera se

garantir que nenhum movimento indesejado da cmera fosse realizado. A moveu menos, fazendo com que o epipolo fique mais prximo da imagem. Este fato pode ser observado na Figura 28, onde os pontos correspondentes, praticamente j possuem a mesma altura. representados pelas duas extremidades das linhas vermelha, verde e azul, O par de imagens tambm foi retificado por ambos os mtodos,

demorando em mdia 2,7567 segundos para ser executado pela retificao

planar, o que resultou numa imagem com 783 pixels de largura e 626 de altura,

como pode ser vista na Figura 29. J a retificao cilndrica simplificada deste resultado mostrado pela Figura 30, em 12,8328 segundos na mdia.

mesmo par gerou uma imagem de 640 pixels de largura por 1029 de altura,

54

Figura 28: par original da sequncia conhecida como temple [26]

Figura 29: retificao planar da cena temple

deficincias. Mesmo tendo gerado uma 73% imagem menor, a preciso foi um

Para este par a retificao planar comeou a mostrar algumas

problema. Dos 36 pixels escolhidos para verificar a preciso nestas fotos, 28

na coordenada-y, contra 9 da retificao cilndrica simplificada. Esta Figura 29. Para este ponto a diferena na coordenada-y foi maior na imagem retificada em comparao com a original.

apresentaram uma diferena entre seus correspondentes maior que dois pixels

impreciso fica visvel se observarmos o ponto marcado pela linha verde na

55

Figura 30: retificao cilndrica simplificada da cena temple

5.3. AGAMENON

Em um terceiro caso, os mtodos de retificao foram analisados com imagens capturadas livremente pelo autor, sem nenhum equipamento especial para a aquisio ou trato especial do cenrio. Para isto, duas fotografias foram tiradas do alto de um edifcio, com a cmera capturando num movimento podem ser vistas na Figura 31.

livre. Essas imagens, com tamanho de 1024 pixels de largura por 768 de altura, Para este caso, a forma planar retificou o par de imagens em 22,8313

segundos, em mdia, resultando numa tamanho de 1954 por 1485 pixels. J a retificao cilndrica simplificada gerou uma imagem 62% menor, com 1024 32 e Figura 33 mostram esses resultados. pontos de largura e 1766 de altura em 68,1882 segundos, na mdia. A Figura

56

Figura 31: par original da sequncia conhecida como agamenon

diferena maior que dois pixels no eixo-y entre os 36 pontos correspondentes selecionados em ambas as tcnicas, o que mostra que a retificao planar no

Assim como no primeiro caso de teste, no foi encontrada uma

depende do fato da captura ser controlada para ser realizada corretamente. Porm, necessrio que a distncia entre a posio das duas cmeras no seja muito pequena, para no ocorrerem os problemas do caso anterior, e nem Entretanto, este controle muito difcil de ser obtido numa captura livre, o que torna a retificao planar uma tcnica menos robusta e flexvel.

muito grande, para no correr o risco do epipolo ficar dentro da imagem.

Figura 32: retificao planar da cena agamenon

57

Figura 33: retificao cilndrica simplificada da cena agamenon

5.4.DESKTOP

Por fim, no quarto caso foi observado como os mtodos de retificao se

comportam quando a diferena entre a posio da cmera que capturou as

duas imagens se diferencia por um movimento para frente (zoom), caracterizando uma situao onde o epipolo est dentro da imagem. Para representar esta situao, foi tirada pelo autor uma foto de uma mesa e, em seguida, sem aplicar nenhum movimento de rotao ou translao na cmera,

deslocar o plano de projeo, juntamente com o seu centro, para frente, de largura por 576 de altura e so mostradas na Figura 34. caracterizando o movimento desejado. As imagens obtidas possuem 768 pixels

foi dado um zoom. Tecnicamente, o zoom nas cmeras digitais representa

58

Figura 34: par original da sequencia conhecida como desktop

Figura 35: retificao cilndrica simplificada da cena desktop

59 Como esperado, a tcnica de retificao planar no conseguiu tratar

este caso. Por outro lado, a retificao cilndrica simplificada no encontrou

problemas para retificar a imagem de forma satisfatria. A imagem foi gerada de altura. Ela foi retificada com bastante preciso, com apenas um dos 36 coordenada-y do seu correspondente. O resultado mostrado na Figura 35. em 44,5835 segundos, em mdia, possuindo 768 pixels de largura e 1748 pixels

pontos selecionados apresentando uma distncia maior que dois pixels na

60

6. CONCLUSES
A retificao cilndrica simplificada de imagens desenvolvida neste trabalho de graduao obteve bons resultados nos trs quesitos avaliados. Se

comparada com a retificao planar, como pode ser visto na Tabela 1, a os casos. At nas situaes onde a retificao cilndrica simplificada teve algum problema de impreciso, a diferena na coordenada-y de onde o ponto passo que a planar chegou a produzir uma diferena na altura de 13 pixels.

abordagem tema deste trabalho foi superior no que tange a preciso, em todos

deveria estar para onde ele realmente ficou nunca foi maior do que 5 pixels, ao Em relao ao tamanho da imagem, em alguns casos a retificao

planar obteve resultados melhores. Porm, as dimenses da imagem retificada neste mtodo crescem medida que o epipolo se aproxima da cilndrica simplificada garantido que o resultado retificado ter um tamanho fixo mximo. Tempo de execuo 18,2712 s. 2,2706 s. 12,8328 s. 2,7567 s. 68,1882 s. 22,8313 s. 44,5835 s. Tamanho original 512 x 512 512 x 512 480 x 640 480 x 640 1024 x 768 1024 x 768 768 x 576 Tamanho retificado 512 x 989 634 x 590 640 x 1029 783 x 626 1024 x 1766 1954 x 1485 768 x 1748 Pixels errados 0 0 9 28 0 0 1 Maior erro 5 pixels 13 pixels 5 pixels imagem, podendo gerar figuras muito grandes, ao passo que na retificao

Temple Agamenon Desktop

Move House

Tabela 1: comparativo dos resultados obtidos pela retificao cilndrica simplificada (CS) e planar (P) para cada um dos casos avaliados

CS P CS P CS P CS P

retificao e da anlise dos resultados obtidos nos experimentos a de que a tratar todos os tipos de movimentos de cmera possveis. Entretanto, como o

A principal concluso extrada a partir do estudo dos mtodos de

retificao cilndrica simplificada realmente mais robusta, j que consegue processo mais lento em comparao com a retificao planar, que em

61 algumas situaes possui resultados igualmente bons, s vezes pode ser mais conveniente utilizar esta segunda abordagem. Portanto, para softwares de reconstruo onde o principal foco a

robustez, extremamente conveniente que a tcnica escolhida para a retificao de imagens seja a cilndrica. Mas, caso se deseje robustez com hbrida que analise o movimento da cmera, j que esta informao j est

desempenho computacional, o ideal o desenvolvimento de uma tcnica disponvel no estgio de reconstruo densa, e determine se o par de imagens tem condies de ser retificado satisfatoriamente pela forma planar. Caso a mtodo cilndrico ser acionado. resposta seja positiva, este mtodo ser responsvel pela retificao. Se no, o

6.1. TRABALHOS FUTUROS

Mesmo a tcnica hbrida no seria rpida o suficiente caso o desejado fosse realizar uma reconstruo densa em tempo real. Para que este requisito se torne possvel necessrio o uso de computao paralela. Atualmente, uma forma comum de conseguir este tipo de computao utilizar GPUs, sigla em ingls para unidades grficas de processamento, que suportam a arquitetura de computao paralela CUDA (Compute Unified Device Architecture) [27].

devido ao fato da retificao cilndrica ser um processo onde cada linha epipolar da imagem manipulada de forma independente das demais. Desta

O desenvolvimento deste algoritmo de forma paralela possvel

forma, pode-se fazer uso desta arquitetura para que todas as linhas sejam

manipuladas simultaneamente. De fato, possvel que se consiga reduzir o tempo de execuo para a casa dos milissegundos, tornando a retificao vivel em tempo real. Como a retificao de imagens o primeiro passo da reconstruo

densa, natural que uma das prximas atividades seja a implementao das etapas seguintes do dense matching.

62 Por outro lado, o processo de reconstruo densa tambm pode ser

realizado sem retificar as imagens. Durante a fase de pesquisa deste trabalho foram encontradas referncias, tais como [28] e [29], que mostram ser possvel

encontrar o mapa de profundidade, e posteriormente a posio tridimensional de todos os pontos de duas imagens, utilizando um descritor denso. Como o prprio nome j diz, esse descritor, chamado DAISY, descreve unicamente cada pixel da imagem. Desta forma, possvel encontrar pontos

correspondentes entre duas imagens apenas analisando esses dados. Assim, dois pontos sero classificados como correspondentes se os seus descritores forem iguais. Durante a avaliao do DAISY, foi constatado que esta tcnica, apesar

de recente, consegue resultados para a reconstruo densa to precisos quanto os obtidos usando os mtodos j tradicionais, como os descritos neste trabalho. Alm disso, os autores afirmam que, usando o DAISY, um mapa de

profundidade para uma imagem quadrada de tamanho 1024 pode ser retificao de imagem. Entretanto, foi preferido estudar e implementar as formas tradicionais por causa do contedo matemtico extremamente denso

encontrado em cinco segundos, o que bem mais rpido do que somente a

desta abordagem, que levaria bastante tempo para ser totalmente compreendido. Alm disso, existe tambm a perspectiva da reconstruo reduzindo muito o tempo de execuo, como j mencionado. densa convencional ser implementada fazendo uso de computao paralela,

63

7. REFERNCIAS BIBLIOGRFICAS
[1] Microsoft. Photosynth: Your photos, automatically in 3D. [Online]. HYPERLINK "http://photosynth.net/" http://photosynth.net/ 3D Vision.: Spring, 2006. Uncalibrated Image [2] Yi Ma, Stefano Soatto, Jana Koseck e S. Shankar Sastry, An Invitation to [3] Marc Pollefeys, "Self-Calibration and Metric 3D Reconstruction From Heverlee, 1999. Sequences," Katholieke Universiteit

Leuven,

[4] Luigi Cremona, Elements of Projective Geometry, 3rd ed. Estados Unidos: Dover Publications. [5] Marc Pollefeys, "Visual 3D Modeling from Images," University of North Carolina, North Carolina, Tutorial Notes 2000. [6] Agma Tbaina, Afonso Prado e Josiane Bueno, "3D Reconstruction of Systems, 1997.

Tomographic Images Applied to Largely Spaced Slices," Journal of Medical

[7] Ildiko Suveg e George Vosselman, "3D Building Reconstruction by Map Based Generation and Evaluation of Hypotheses," in British Machine Vision Conference, 2001.

[8] Severino Neto, Mrcio Bueno, Thiago Farias, Joo Pualo Lima, Veronica Teichrieb, Judith Kelner e Ismael Santos, "Experiences on the Implementation of a 3D Reconstruction Pipeline," International journal of modeling and simulation for the petroleum industry, 2008. [Online]. HYPERLINK

[9] GRVM. GRVM - Virtual Reality and Multimedia Research Group. http://www.gprt.ufpe.br/~grvm/

"http://www.gprt.ufpe.br/~grvm/"

64 [10] CIn..: CIn - Centro de Informtica UFPE . [Online]. "http://www.cin.ufpe.br" http://www.cin.ufpe.br "http://www.ufpe.br" http://www.ufpe.br [11] UFPE. Universidade Federal de Pernambuco. [Online]. HYPERLINK HYPERLINK

[12] Anthony Hii, Christopher Hann, Geoffrey Chase e Eli Van Houten, "Fast Computer methods and programs in biomedicine , 2006. Features," Carnegie Mellon University, 1991.

normalized cross correlation for motion tracking using basis functions,"

[13] Carlo Tomasi e Takeo Kanade, "Detection and Tracking of Point [14] Richard I. Hartley, "In Defense of the Eight-Point Algorithm," in IEEE Transaction on Pattern Recognition and Machine Intelligence, 1997. "http://www.cs.unc.edu/Research/vision/comp256/" http://www.cs.unc.edu/Research/vision/comp256/ vision. Cambridge: Cambridge University Press, 2003. [15] Marc Pollefeys. Computer Vision (comp256). [Online]. HYPERLINK

[16] Richard Hartley e Andrew Zisserman, Multiple View Geometry in computer [17] Jean-Daniel Boissonnat, "Representing 2d and 3d shapes with the Delaunay triangulation," in International Conference on Pattern Recognition, 1894. Chaine, "A geometric convection approach of 3-D

[18] Raphalle

reconstruction," in ACM International Conference Proceeding Series, 2003. Machine Vision Conference, Manchester, 2001.

[19] Daniel Oram, "Rectification for Any Epipolar Geometry," in British [20] Andrea Fusiello, Emanuele Trucco e Alessandro Verri, "A compact algorithm for rectification os stereo pairs," in Machine Vision and

65 Applications, 2000. [21] Sbastien Roy, Jean Meunier e Ingemar Cox, "Cylindrical rectification to minimize epipolar distortion," in Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition, 1997.

[22] Marc Pollefeys, "A simple and eficiente rectification method for general motion," in International Conference on Computer Vision, 1999. OpenGL.: Addison-Wesley, 2006. [Online]. [23] Edward Angel, Interactive Computer Graphics A Top-Down Approach with [24] MathWorks. MATLAB - The Language Of Technical Computing. "http://www.mathworks.com/products/matlab/" http://www.mathworks.com/products/matlab/ In Unprepared Environments.

HYPERLINK

[25] Manolis Lourakis e Antonis Argyros. Efficient, Causal Camera Tracking "http://www.ics.forth.gr/~lourakis/camtrack/" http://www.ics.forth.gr/~lourakis/camtrack/ HYPERLINK [Online].

HYPERLINK

[26] vision.middlebury.edu. Multi-view stereo evaluation page. [Online]. http://vision.middlebury.edu/mview/ HYPERLINK

"http://vision.middlebury.edu/mview/"

[27] NVidia. CUDA Zone -- The resource for CUDA developers. [Online]. http://www.nvidia.com/object/cuda_home.html "http://www.nvidia.com/object/cuda_home.html"

[28] Engin Tola, Vincent Lepetit e Pascal Fua, "A fast local descriptor for dense matching," Proceedings of Computer Vision and Pattern Recognition, Junho 2008.

66 [29] Engin Tola, Vincent Lepetit e Pascal Fua, "DAISY: an efficient dense Analysis and Machine Intelligence, Maro 2009.

descriptor applied to wide baseline stereo," IEEE Trans. on Pattern