Markless Reality Augmented (MAR)

17/06/2009

Adnis Tavares Joo Gabriel Silvia Taveiros

Roteiro

Motivao O que Realidade Aumentada(RA) O que RA sem Marcador Qual a diferena entre RA com marcador e sem marcador Tcnicas de RA sem Marcador Concluso Tendncias da rea Referncias

Motivao

Perspectivas de aplicao nas mais diversas reas, tais como construo civil, aviao e engenharias. As tcnicas de MAR tm sido muito estudadas e discutidas tanto pela academia quanto pela indstria

O que Realidade Aumentada ?

Realidade Aumentada definida usualmente como a sobreposio de objetos virtuais tridimensionais, gerados por computador, com um ambiente real, por meio de algum dispositivo tecnolgico. RA est inserida no contexto de realidade misturada

Componentes formadores de RA

O que MAR(Markless Augmented Reality)

A realidade aumentada sem marcadores se caracteriza por executar o rastreamento (tracking) da cmera, processo que permite a correta insero dos elementos virtuais na cena real, sem a insero de elementos intrusivos (chamados marcadores) ao ambiente.

O que MAR difere de RA com Marcadores

A abordagem baseada em marcadores usa marcadores sintticos tradicionais que precisam ser posicionados no mundo real a ser rastreado pelo sistema de forma a calcular sua posio e orientao. Na realidade aumentada sem marcadores qualquer parte do mundo real pode ser usada como um marcador que ser rastreado para posicionar os objetos virtuais.

Tcnicas de MAR

Baseada em Modelos

necessria a aquisio de conhecimento prvio acerca do mundo real. Este conhecimento guardado em um modelo 3D, geralmente um modelo CAD, posteriormente usado para estimar a pose da cmera . Classifica-se em 3 categorias:
Baseado

em arestas Baseado em fluxo ptico Baseado em textura

Baseada em modelos: 1. Baseada em arestas

A estimativa da pose da cmera realizada pelo relacionamento entre o wireframe do modelo 3D e as informaes das arestas da imagem do mundo real .

Baseada em modelos: 1. Baseada em arestas

Duas classificaes possveis dependentes da forma como as caractersticas das arestas so utilizadas para o rastreamento:
Baseada

na deteco explcita de arestas Baseada na amostragem de pontos nas arestas

1.1 Baseada na deteco explcita de arestas

Tem como caracterstica utilizar a correspondncia entre as arestas como um todo para realizar o rastreamento da cmera. Correspondncia se d entre as arestas extradas na cena real e as arestas projetadas do modelo 3D utilizando-se a pose prevista para a cena

1.2 Baseada na amostragem de pontos nas arestas

Tm como caracterstica fundamental a seleo de pontos de controle 3D ao longo das arestas do objeto rastreado. A partir destes pontos feito um relacionamento dos mesmos com os pontos 2D extrados das arestas a cada quadro da cena de forma a recuperar as informaes de cmera

Baseada em modelos: 2. Baseado em fluxo ptico

As informaes utilizadas para a estimativa da pose advm do movimento relativo entre os quadros da seqncia.

Baseada em modelos: 3. Baseado em texturas

Leva em considerao informaes de textura presentes nas imagens para realizar o tracking Pode ser subdividido em:
Template

Matching Interest Point Based

Template Matching

Baseada em informaes globais A fora dessa tcnica est em conseguir tratar padres complexos que seriam difceis de tratar com caractersticas locais Apresenta problemas com variaes de iluminao, ocluso e movimentos rpidos de cmera

Template Matching

Tambm chamada de sum-of-square-difference (SSD), pois tenta diminuir a diferena entre a regio da imagem e o template referenciado Procura parmetros que aproximem o template da Imagem de entrada

Template Matching

Interest Point Based

Baseia-se em caractersticas locais, evitando assim problemas de ocluso e variao de iluminao Possui bom desempenho computacional

3.2 Interest Point Based

necessrio um pr-processamento para gerar informaes que evitam problemas de drift. Essas informaes aparecem como um keyframe. Keyframe:
Guarda

os pontos 2D extrados da posio conhecida da cmera Poucos so necessrios para iniciar o tracking

3.2 Interest Point Based

3.2 Interest Point Based

Aps todos os keyframes serem gerados preciso descobrir a primeira posio da cmera Depois disso usando a distncia da Mahalanobis encontrado o keyframe que mais se aproxima do frame atual

Interest Point Based

Uma imagem sinttica criada com posio prxima ao frame usando homografia na imagem do keyframe mais prximo a imagem

Interest Point Based

Caractersticas relevantes so comparadas entre o frame atual e a imagem intermediria gerada Baseado nos resultados de compatibilidade a posio cmera pode ser estimada

3.2 Interest Point Based

3.3 Tracking By Detection

No necessitam de uma estimativa de posio inicial So invariantes a mudanas de escala e de iluminao So mais lentos do que os mtodos recursivos, por isso necessitam de muito pr-processamento

3.3 Tracking By Detection

As tcnicas podem ser divididadas em:

Edge

Based Texture Based

3.3.1 Edge Based

Usa informaes das bordas dos objetos para detect-los em uma sequncia real de imagens Essa tcnica mais robusta que as baseadas em textura, pois no afetada por mudanas na iluminao dos objetos

View Based

uma tcnica do tipo Edge Based Funciona bem para objetos no planos Tenta encontrar nos modelos de bordas prprocessados aquele mais compatvel com as bordas do frame atual

3.3.1 View Based

No pr-processamento cada face do modelo pintada com uma cor de acordo com o vetor normal a face. Cada cor representa uma coordenada (X,Y,Z), com isso obtm-se a amplitude da aresta

3.3.1 View Based

Na cena modelada so retiradas vrias imagens de forma hierrquica de vrias posies diferentes O espao de vises modificado por 3 parmetros:
Longitude
Latitude Distncia

3.3.1 View Based

3.3.1 View Based

Quando o pr-processamento encerrado, o frame atual capturado pela cmera comparado de maneira hierrquica com os modelos armazenados, para encontrar aquele que mais se aproxima da imagem de entrada

View Based

O prximo frame da cmera comparado somente com os vizinhos do modelo anterior, a busca pode crescer se no houver uma compatibilidade satisfatria

3.3.1 View Based

O mtodo se mostra bastante eficaz, deve-se ter cuidado porm com o universo de poses escolhido, pois o tempo computacional pode se tornar um problema

3.3.2 Texture Based

Tcnicas de tracking por deteco, baseadas em textura Podem ser pouco eficientes se os objetos rastreados tiverem um poder de reflexo grande

Keypoint Based

Tcnica do tipo Texture Based Utiliza algoritmos de comparao e extrao de pontos chave Pontos Chave:
So

pontos relevantes da imagem No variam com escala, iluminao e rotao

Key Point Based

No pr-processamento inicialmente so extrados keyframes, e todas a posies do modelo da cena devem ser cobertas e suas relaes com a cmera guardadas Para cada keyframe, os keypoints so extrados e guardados em um kd-tree que os guarda baseado em suas descries

Key Point Based

Na fase de tracking os keypoints so extraidos das imagens de entrada da cmera da mesma maneira que no pr-processamento Depois de extrados os keypoints, procurado na base pr-processada aquele keyframe mais compatvel com o frame atual

Key Point Based

Se o nmero de keypoints compatveis atingir o valor mnimo, a posio pode ser estimada. Seno, o frame sofre uma falha no tracking

Key Point Based

SfM/SLAM Based

Estimam o deslocamento da cmera e geometria da cena sem conhecimento a priori Conhecimento adquirido durante rastreamento
No dependem da visibilidade do objeto modelado

Mais complexos do que os Model based

Structure from Motion (SfM) based

Foco na reconstruo de questes locais Capaz de reconstruir a estrutura de uma cena em tempo real
Diferentes

nveis de detalhe Maioria das tcnicas Impe algumas restries

No precisa de aprendizagem offline

Reconstruo on the fly

Abordagens muito complexas

Real-Time Structure from Motion

Tcnica tradicional de SfM Produz bons resultados em relao a malha final gerada Mais informaes sobre a cena

Possibilita melhorias nos sistemas de MAR Ocluso de objetos virtuais por objetos reais Interao fsica entre esses objetos

API's implementam alguns algoritmos

VXL OpenCV

Real-Time Structure from Motion

Real-Time Structure from Motion

Muito processamento gasto nos algoritmos do pipeline Restries de tempo real

Modificaes no pipeline

Simplificao de algumas fases Utilizao de outros algoritmo Implementao de Nistr's (Preemptive RANSAC)

Simultaneous Localization and Mapping (SLAM)

Utilizado na Robtica para construir uma representao on the fly do ambiente e estimar o movimento dos robs Foco na preciso da localizao

Revisitar cenas anteriores sem recuperar sua estrutura Unir as reconstrues locais para produzir uma representao global

Utiliza mtodos modernos de inferncia Bayesiana sequencial e alguns sensores como sonar e cmeras

Simultaneous Localization and Mapping (SLAM)

MonoSLAM

Baseado no mtodo probabilstico SLAM

Cmera de grande abertura angular e movimento livre como nico sensor e com restries de tempo real

Algoritmo roda a 30 fps Pipeline

Estima a posio da cmera Cria um mapa esparso de pontos de referncia naturais do ambiente

MonoSLAM

Vantagens

Eficiente Baixo jitter Lida com extreme rotations, ocluso e closed loop

Desvantagens

Restrito a ambientes internos Movimentos suaves de cmera Imagem monocromtica de cmera