UNIVERSIDADE FEDERAL DE PERNAMBUCO

CENTRO DE INFORMTICA
GRADUAO EM CINCIA DA COMPUTAO

REALIDADE DIMINUDA

Diego Correia Arago

Vitor Hugo Antero de Melo

RECIFE, MARO de 2013

Abstract
This paper presents a survey on different Diminished Reality approaches.
Arising as a branch of Augmented Reality, diminished reality intends to hide elements
from the real world. Along this document will be shown based on multiple cameras or
texture synthesis, clarifying when a technique must be chosen over another. At last,
future works and areas where this technique may be applied will be discussed.

Resumo
Esta monografia apresenta um estudo sobre diferentes abordagens de Realidade
Diminuda. Surgida como um brao da Realidade Aumentada, a Realidade Diminuda se
prope a eliminar objetos de uma cena. Ao longo do documento sero mostradas
tcnicas baseadas em mltiplas cmeras ou em sntese de textura, esclarecendo quando
uma tcnica deve ser escolhida em detrimento da outra. Por fim, sero mostradas as
perspectivas para o futuro da tcnica e onde ela pode ser aplicada.

Sumrio
1 - INTRODUO............................................................................................... 1
2 - C ONCEITOS BSICOS .................................................................................... 2
2.1 - R EALIDADE AUMENTADA ............................................................................. 2
2.2 - I NPAINT.................................................................................................... 3
3 - T CNICAS.................................................................................................... 6
4 - APLICAES................................................................................................. 9
5 - C ONCLUSO............................................................................................... 11
REFERNCIAS.................................................................................................. 12

1 - INTRODUO

A rea de Realidade Aumentada estudada j h bastante tempo na literatura de

Viso Computacional. As tcnicas provenientes destes estudos permitem que objetos
virtuais sejam introduzidos de maneira coerente em cenas reais, trazendo para o usurio
novas formas de interao com o ambiente.
Uma vez que tcnicas de realidade aumentada permitem novas formas de
interao, uma ampla gama de reas pode ser beneficiada dela. Solues so pensadas
para diversas reas da atividade humana, desde o comrcio at o desenvolvimento de
sistemas de auxlio a manuteno, passando ainda por jogos eletrnicos e softwares para
monitoramento de pacientes.
Indo em direo contrria realidade aumentada, que insere objetos virtuais em
cenas reais, a Realide Diminuda uma rea proveniente daquela que vem sendo bem
debatida na literatura, e que consiste basicamente na remoo de objetos reais em cenas
reais. Aplicaes de realidade diminuda seguem as mesmas duas regras bsicas para
aplicaes de realidade aumentada: o sistema deve rastrear o objeto de interesse na
cena, de maneira que consiga recuperar a posio da cmera no ambiente, e deve
modificar a cena corretamente em tempo real.
Esta monografia apresenta os conceitos bsicos de realidade diminuda na seo
2. Neste ser explicado como funcionam as tcnicas de realidade aumentada e de
inpaint, que formam a base para a realidade diminuda. Na terceira seo sero
mostradas diferentes abordagens e tcnicas de realidade diminuda existentes na
literatura. No captulo 4 so mostradas aplicaes que utilizam realidade diminuda,
deixando claro onde ela pode ser aplicada e quais seus benefcios. Este trabalho se
encerra na quinta seo, onde as concluses deste trabalho so apresentadas.

2 - CONCEITOS BSICOS

Este trabalho tem como objetivo analisar e apresentar o ramo da Cincia da

Computao tido como realidade diminuda, mas no se pode falar deste sem antes
tratar tambm da realidade aumentada, uma vez que aquela no teria surgido sem essa.
Alm disso, necessrio tambm explicar as tcnicas de inpaint, uma vez que estas
servem como base para a realidade diminuda.

2.1 - REALIDADE AUMENTADA

Aplicaes mistas possuem elementos reais e virtuais coexistindo em um mesmo

ambiente, no qual a depender da proporo de como os elementos esto distribudos,
tais aplicaes podem ser classificadas como Realidade Virtual (RV) ou Realidade
Aumentada (RA). Enquanto que em RV o mundo gerado por um computador e a
maioria dos objetos virtual, em RA elementos virtuais so inseridos no mundo real
como se fizessem parte dele [5].
Para visualizar a informao virtual, diferentes equipamentos podem ser
utilizados, tais como head-mounted displays (HMD, espcie de culos ou capacete com
displays no lugar das lentes), tablets e celulares. Porm, para a informao virtual ser
inserida apropriadamente no ambiente real, sensores como cmeras, ultrassom, e
sensores de movimentos so utilizados pela aplicao, a fim de posicionar o objetivo
relativo ao mundo real. Aplicaes de RA baseadas em cmeras utilizam tcnicas de
viso computacional, e so mais comuns na comunidade cientfica por serem mais
baratas. Na Figura 2.1 podemos ver uma aplicao de RA sendo utilizada.

Figura 2.1. Casal utiliza HMD para jogo de Realidade Aumentada.

As tcnicas de RA esto dividas em dois grupos principais: tcnicas com

marcadores e tcnicas sem marcadores. As tcnicas com marcadores requerem que seja
adicionado um objeto sinttico no ambiente, como mostrado na Figura 2.2, na qual os
personagens da Nintendo so projetados em cima de cartes pr-definidos pela
aplicao. J as tcnicas sem marcadores, posicionam os objetos virtuais em se
baseando em padres naturais presentes no ambiente. A Figura 3 mostra exemplos
dessas duas abordagens.

Figura 2.2. Aplicao de RA com marcadores (esquerda) e sem marcadores (direita)

A Realidade Aumentada tem sido utilizada em diferentes reas, tais como

publicidade, jogos, medicina e manuteno de equipamentos. Porm, independente da
rea, o conceito de RA consiste em informaes virtuais serem adicionadas em um
ambiente no-virtual em tempo real. Esta informao pode ser de qualquer tipo, como
3

sons, modelos 3D, imagens, e vdeos, embora modelos 3D e imagens sejam geralmente
mais utilizados, inseridos em um display.

2.2 - INPAINT

Segundo Bertalmo [1], o termo inpaint surgiu da rea de restaurao de obras de

arte, onde era chamado de retocamento. Segundo ele, j na poca do Renascimento as
obras de arte medievais comearam a ser restauradas, quer fosse por motivos de
deteriorao, quanto por motivos estticos da poca. A necessidade de manipulao de
imagens aumentou com o advento da fotografia. Em tempos mais recentes temos o
simblico exemplo da remoo do russo Nikolai Yezhov em fotos oficiais da Unio
Sovitica, como pode ser visto na Figura 2.3 onde aparece com seu antigo aliado e lder
da URSS, Joseph Stalin [11].

Figura 2.3. Na imagem original (acima), Yezhov aparece ao lado esquerdo de Stalin. Ele foi removido
(abaixo) por censores aps ser considerado traidor [11].

Assim, podem-se entender as tcnicas de inpaint como processos de

reconstruo de partes perdidas ou danificadas em imagens. Visando uma definio
mais formal, tem-se que dadas uma imagem e uma regio A pertencente a ela, o
problema de inpaint consiste em modificar os valores dos pixels de A, de modo que tal
regio no mais se destaque em relao aos seus arredores. Na Figura 2.4 mostrado
um exemplo de aplicao de uma tcnica de inpaint, onde uma foto antiga de um casal
restaurada. Do mesmo modo que esta definio se aplica a imagens estticas, ela se
estende tambm para vdeos, uma vez que estes so sequncias de imagens estticas.
Um modo comum de se resolver problemas de inpaint mimetizar como os
restauradores de imagem executam seu trabalho manualmente. Bertalmo [1] diz que
eles estendem os padres das bordas da regio sendo restaurada, e vo preenchendo de
fora para dentro. Dois algoritmos bastante comuns podem ser vistos em [2] e [10].
Saindo da abordagem tradicional, existem muitas tcnicas de inpaint baseadas
em sntese de textura, e grande parte disso se deve ao trabalho de Efros e Leung [4].
Nele, Efros e Leung modelam textura como um Campo Aleatrio de Markov (CAM). O
algoritmo deles sintetiza a textura pixel-a-pixel, criando uma probabilidade de
distribuio para cada pixel p da imagem a ser sintetizada. Baseado no modelo CAM,
assume-se que o valor de p depende apenas de uma janela ao seu redor, e independe da
imagem como um todo. Apesar de mostrar timos resultados, essa abordagem muito
lenta, devido busca continuada do casamento de pixels, podendo ser executada
mltiplas vezes para o preenchimento do mesmo ponto.

Figura 2.4. Foto restaurada utilizando tcnica de inpaint

Apesar de Efros e Leung terem popularizado algoritmos de sntese de textura

como mtodos de inpaint, De Bonet lanou uma tcnica [3] alguns anos antes com o
mesmo propsito. Em [3] De Bonet lana mo de pirmides de multi-resoluo tanto na
parte de anlise quanto na de sntese. Sua ideia passar um fragmento de textura em
escala mais fina atravs de seus pais em escalas mais grosseiras. Apesar de mostrar
resultados aceitveis, ele falha em sintetizar imagens maiores que a amostra de textura,
uma vez que o fragmento em nvel de anlise repetido em nvel de sntese.
Alm de ser utilizada para restaurar partes danificadas de imagens, as tcnicas de
inpaint tambm podem ser utilizadas para remoo de objetos indesejados de uma cena,
onde a Figura 2.5 se encaixa como bom exemplo de inpaint por sntese de textura. Para
uma tcnica ser de realidade diminuda, alm da remoo ser bem feita, tambm deve-se
realizar alguns passos importantes, que so o rastreamento de objetos ou padres
indesejados na cena e a remoo destes em tempo real, assim como na realidade
aumentada.

3 - TCNICAS

Como discutido na seo anterior, a realidade diminuda uma rea originria da

realidade aumentada. Dito isto, temos que os pipelines das tcnicas destas duas reas
so bastante semelhantes. Em [13], Reis et al. mostram como o pipeline de uma
aplicao de realidade aumentada com marcadores (Figura 3.1). Recentemente, a
utilizao de marcadores em aplicaes de realidade aumentada vem sendo
desencorajada, o que modifica um pouco este fluxo. Nesses casos, ao invs de
marcadores, trabalha-se com templates, que so imagens dos objetos que devem ser
rastreados na cena. Assim, os passos de deteco e extrao de features da imagem da
cmera so adicionados antes da identificao do template.
O fluxo das aplicaes de realidade diminuda diferem em dois passos do de
realidade aumentada. Sabe-se que realidade diminuda trabalha com a excluso de
elementos de uma cena, tornando-a contrria realidade aumentada, no sentido que esta
adiciona informao realidade. Deste modo, temos que o clculo da posio e
orientao de objetos, e a renderizao destes na tela desnecessrio. No lugar destes
passos, entra a remoo dos templates identificados na cena. Esta remoo deve
acontecer de modo sem costuras na imagem, i.e., imperceptvel ao observador. Como
discutido na seo 2.2, tcnicas de inpaint podem ser utilizadas neste passo.

Figura 3.1. Pipeline para uma aplicao de realidade aumentada com marcadores.

Em [7], Leo et al. apresentam uma tcnica de realidade aumentada para fazer
modificaes geomtricas em objetos reais. Em um passo anterior insero do objeto
7

modificado na cena, o objeto real deve ser eliminado da imagem. Para este propsito,
foi usada uma tcnica de inpaint simples, e que foi resumida em uma frase: Move-se
uma mscara de tamanho 3x3 sobre a rea que o inpaint deve ser aplicado em um
movimento espiral, calculando o valor do pixel como a mdia de seus vizinhos vlidos.
Um exemplo do resultado obtido pode ser visto na Figura 3.2.

Figura 3.2. Remoo de cubo em aplicao de realidade diminuda mostrada em [7].

Devido natureza das imagens tratadas por tcnicas de inpaint, que considera
reas texturizadas, estas nem sempre so suficientes para aplicaes de realidade
diminuda. Em [9], por exemplo, Seo et al. introduzem um sistema de realidade
diminuda baseado em projeo. Este sistema emprega uma tcnica de inpaint para
sintetizar a rea onde o objeto est, e com o intuito de corrigir erros de projeo da
cmera, lana mo de tcnicas de compensao radiomtrica para realizar uma projeo
sem costuras no objeto. Pode-se observar na Figura 3.3 um pedao de papel sendo
removido da cena. Esta figura compreende as fases inicial e final do algoritmo, pulando
os passos intermerdirios onde ocorrem os erros de projeo e as devidas compensaes
radiomtricas.

Figura 3.3. Execuo do algoritmo apresentado em [9], para a devida remoo (direita) de um pedao de
papel na cena (esquerda).

Herling e Broll afirmaram que as tcnicas de realidade diminuda no eram

aplicveis em tempo real, ou ento requeriam setups complexos para o usurio. Ento,
apresentaram em [5] uma abordagem para remover objetos de um stream de vdeo que
no necessitasse de qualquer informao sobre a estrutura ou localizao dos objetos a
serem removidos, nem de nenhum pr-processamento, alm de um setup enxuto. Para a
seleo e rastreamento do objeto, lanaram mo de um algoritmo de contorno ativo.
Esta abordagem substitui a regio da imagem a ser excluda por patches (fragmentos)
do resto da imagem. O mtodo de escolha dos novos valores da regio de interesse
explicado no texto original. A Figura 3.4. mostra um resultado do algoritmo proposto
em [5].

Figura 3.4. culos em cima da mesa (esquerda) so rastreados (meio) e removidos da cena (direita). 64%
da cena (restante da mesa) foi utilizada como entrada para o algoritmo de inpaint.

Em [6], Jarusirisawad e Saito propem um mtodo para calibrar mltiplas

cmeras de mo para serem utilizadas em uma aplicao de realidade diminuda, sem a
9

necessidade de informaes dos parmetros da cmera. A calibrao dinmica das

cmeras utiliza o espao projetivo 3D definido pela geometria epipolar de duas cmeras
base. Com este espao definido, a relaes geomtricas entre as cmeras so obtidas de
acordo com os casamentos entre pontos correspondentes de vistas diferentes. Os pontos
a serem comparados so chamados de features, e so detectados e extrados utilizando o
algoritmo SIFT [14], bastante comum em aplicaes de realidade aumentada. Nesta
aplicao, os objetos so removidos da cena a partir de uma segmentao das imagens
entre o background e o foreground. A partir de informao de todas as cmeras, o
background renderizado sem os objetos indesejados.

10

4 - APLICAES

A partir dos conceitos e tcnicas apresentados neste artigo nos captulos

anteriores, podemos identificar diferentes aplicaes que utilizam a realidade diminuda
(RD). Antes de partir para a RD, vamos falar um pouco de aplicaes baseadas em
realidade aumentada (RA).
Na ltima dcada, houveram avanos considerveis em RA, surgiram aplicaes
mdicas e industriais com tal tecnologia. Alguns sistemas mostram como a realidade
aumentada tem ajudado na montagem ou manuteno de equipamentos complexos em
fbricas, bem como o treinamento de tcnicos envolvido em tais tarefas. Alm disso, a
RA se mostra til no planejamento e desenvolvimento de usinas de fora [13].
Agora podemos imaginar uma instalao complexa de uma usina, bastante
complicada, com canos, bombas e vlvulas. Quando se quer ilustrar alguma
modificao ou renovao em tal equipamento, faz-se necessrio remover objetos de
cenas ou vdeos contendo a instalao. Nesses casos, precisaramos visualizar
corretamente o plano de fundo atrs dos objetos removidos para termos um resultado
razovel. Um exemplo de tal aplicao mostrado na Figura 4.1.

Figura 4.1. Retira-se o cano vertical na primeira imagem. A segunda imagem mostra o plano de fundo e a
ltima imagem mostra uma possvel utilizao de RA.

Como outro exemplo de RD aplicada, citaremos a plataforma Miva,

desenvolvida para a CHESF (empresa brasileira de distribuio de energia), a qual
apresenta outra abordagem de RD para manuteno e suporte de equipamentos [8]. Ela
consiste em um computador vestvel, unido a um head-mounted display (HMD) e uma
luva de dados que utilizada como dispositivo de entrada, como mostrado na Figura
4.2. Neste dispositivo, um conjunto de informaes sobre as mudanas a serem feitas na
11

cena devem estar previamente armazenadas, por exemplo, em um computador desktop.

Ento, o computador vestido pelo tcnico carrega as informaes a partir de um
arquivo, e aguarda que o usurio mire nos alvos a serem removidos de cena, utilizando a
luva.

Figura 4.2. Verses do miva.

Ao apontar com a luva para algum padro que se deseja excluir, o tcnico
capaz de remover objetos indesejados da cena de trabalho, tornando a imagem vista por
ele mais confortvel e apropriada para focar em outros objetos, como ilustrado na
Figura 4.3.

Figura 4.3. Na primeira imagem o medidor central foi excludo da segunda imagem, a original

Alm dos exemplos mostrados acima, outras aplicaes consistem em apenas

remover objetos, em tempo real, vistos atravs de uma cmera, como mostrado no vdeo

12

The incredible world of Diminished Reality 1. Esses aplicativos no possuem nenhum

fim especfico alm de entretenimento do usurio, mas servem como inspirao para
softwares futuros mais elaborados e que podem servir para outros fins.

1 http://www.youtube.com/watch?v=FgTqAgYlTE&feature=player_embedded
13

5 - CONCLUSO
Neste trabalho ns apresentamos o bsico sobre a realidade diminuda, mostrando
algumas das tcnicas utilizadas atualmente e exemplos de sua utilizao. Muitas vezes
fez-se necessrio tambm mencionar a realidade aumentada, pois como explicado
anteriormente, a RD uma subrea da RA, com um pipeline muito parecido onde ao
invs de elementos serem inseridos na imagem, eles so removidos. Apresentamos o
conceito de inpaint, cujas tcnicas so muito utilizadas em realidade diminuda, onde
seriam aplicados frame a frame em um stream de vdeo. Aps os conceitos bsicos,
tivemos um enfoque especial nas tcnicas e como elas funcionam, sejam de mltiplas
cmeras ou baseadas em inpaint. Finalmente, citamos algumas aplicaes que utilizam
realidade diminuda.
Percebemos que as aplicaes existentes no campo de RD ainda so muito
rudimentares, podendo ser consideradas ainda muito bsicas no sentido de utilizao
prtica. Porm, visvel que as ideias para novas aplicaes na rea esto aparecendo
numa velocidade acelerada, dado o pouco tempo que existe esta rea de estudo. Assim
como o inpaint bastante utilizado e at essencial em softwares de manipulao ou
restaurao de imagens, as abordagens de realidade diminuda em breve podero estar
presentes em softwares de manipulao de vdeos.

14

REFERNCIAS
[1] BERTALMO, Marcelo; CASELLES, Vicent; MASNOU, Simon; SAPIRO
Guillermo. Inpainting. No publicado. Acessado em 24 de dezembro de 2012, em:
http://math.univ-lyon1.fr/~masnou/fichiers/publications/survey.pdf
[2] BERTALMO, Marcelo; BERTOZZI, Andrea; SAPIRO, Guillermo. Navier-Stokes,
fluid dynamics, and image and video inpainting. In: Conference on Computer Vision
and Pattern Recognition (CVPR), 2001. p.I-355-I-362.
[3] DE BONET, Jeremy. Multiresolution sampling procedure for analysis and synthesis
of texture image. In: Proceedings of SIGGRAPH, 1997. p.361368.
[4] EFROS, Alexei; LEUNG, Thomas. Texture synthesis by nonparametric sampling.
In: International Conference on Computer Vision, 1999. p.1033-1038.
[5] HERLING, Jan; BROLL, Wolfgang. Advanced self-contained object removal for
realizing real-time diminished reality in unconstrained environments. In:
International Symposium on Mixed and Augmented Reality (ISMAR), 2010. p.207212.
[6] JARUSIRISAWAD, Songkran; SAITO, Hideo. Diminished reality via multiple
hand-held cameras. In: International Conference on Distributed Smart Cameras
(ICDSC), 2007. p.251-258.
[7] LEO, Crystian; LIMA, Joo Paulo; TEICHRIEB, Vernica; KELNER, Judith;
ALBUQUERQUE, Eduardo. Geometric modifications applied to real elements in
augmented reality. In: Symposium on Virtual Reality (SVR), 2011. p.96-101.
[8] LEO, Crystian. Inspection of electrical equipment assisted by augmented and
diminished reality. 2012. Tese (Mestrado em Cincia da Computao) Universidade Federal de Pernambuco. Recife.
[9] SEO, Byung-Kuk; LEE, Moon-Hyun; PARK, Hanhoon; PARK, Jong-Il. Projectionbased diminished reality system. In: International Symposium on Ubiquitous Virtual
Reality (ISUVR), 2008. p.25-28.
[10] TELEA, Alexandru. An image inpainting technique based on the Fast Marching
Method. In: Journal of Graphics Tools, 2003. p.25-36.
[11] Joseph Stalin e Nikola Yezhov [imagem online]. Acessado em 26 de fevereiro de
2013, em: http://en.wikipedia.org/wiki/Nikolai_Yezhov#Execution
[12] REIS, Bernardo; TEIXEIRA, Joo Marcelo; TEICHRIEB, Veronica; KELNER,
Judith. Perspective correction implementation for embedded (marker-based)
augmented reality. In: Workshop de Realidade Virtual e Aumentada, 2008.
[13] Zokai, Siavash; Esteve, Julien, Genc; Yakup; Navab, Nassir. Multiview
paraperspective projection model for diminished reality. In: International
Symposium on Mixed and Augmented Reality, 2003. p.217-226.
[14] LOWE, David. Object recogntion from local scale-invariant features. In:
Proceedings of the International Conference on Computer Vision, 1999. p.11501157.

15