Augmented Reality

José Carlos Danado

Universidade de Évora
jcd@fct.unl.pt

1
Interfaces Humano-Máquina
 Introdução

■ A procura de uma interface está muitas vezes ligada

à tarefa a executar assim como à necessidade do
utilizador aceder a informação adicional.

■ A utilização de interfaces de realidade aumentada é

motivada por dois objectivos:

Necessidade das pessoas acederem a informação,

especialmente enquanto se movem no ambiente;

Necessidade das pessoas melhor gerirem a informação.

2
Universidade de Évora
 Introdução
Alguns benefícios
■ A utilização de um PC na metáfora comum do “desktop” nem
sempre se adequa à maioria das tarefas;

■ Realidade aumentada através da utiilização de dispositivos

móveis permite a mobilidade dos utilizadores;

■ Os dispositivos móveis permitem “ver” o que o utilizador vê,

“ouvir” o que o utilizador ouve e “sentir” a vida do utilizador na
primeira pessoa.

■ Os sistemas de realidade aumentada podem funcionar como

um “intelligent agent” entre as grandes quantidades de
informação existentes nos sistemas convencionais e os
dispositivos móveis utilizados, filtrando a informação
necessária.
3
Universidade de Évora
 Introdução

■ A maior parte das interfaces humano-

máquina com que interagimos
aparecem num ecrã separadas do
mundo real e do utilizador.

■ Não tem que ser sempre assim. SportVision

■ A realidade aumentada permite que

imagens geradas por um computador
sejam projectadas sobre a imagem
do mundo real.

■ A realidade e a virtualidade
encontram-se.
4
Universidade de Évora
 Introdução
O que é Realidade Aumentada?
■ Tecnologia que combina a “visão” que o utilizador tem do
mundo real com objectos virtuais;

■ Executada em tempo real e interactiva;

■ Os objectos virtuais parecem coexistir no mesmo espaço que

os objectos reais;

■ Permite ao utilizador analisar e trabalhar no mundo real,

enquanto recebe informação adicional sobre os objectos reais.

SportVision

5
Universidade de Évora
 Introdução

■ A capacidade de juntar objectos reais e virtuais é uma

característica de realidade auumentada também referida, por
Feiner, MacIntyre and Seligman como “knowledge
enhancement”.

Como exemplo, podemos ter um transmissor de infravermelhos

colocado num objecto de interesse e uma vez detectado, por um
receptor de infravermelhos colocado na cabeça do utilizador,
informação sobre esse objecto pode ser acedida, em tempo real,
através do acesso a uma base de dados.

6
Universidade de Évora
 Visual Displays
• Window to the World

• Esquema típico de um sistema de RA

– Utilizado para aumentar espaços públicos

7
Universidade de Évora
 Visual Displays
• Video See-Trough

• A visão que o utilizador tem do mundo é capturada por

uma câmara;
• A imagem mostrada ao utilizador é composta pela
imagem real e pelos objectos virtuais

8
Universidade de Évora
 Visual Displays
• Optical See-through

• O utilizador observa naturalmente o que se passa em

seu redor;
• A informação adicional revelada ao utilizador é
composta apenas pelos objectos virtuais.

9
Universidade de Évora
 Registration Problem

■ Quando se utilizam interfaces de Realidade Aumentada (RA)

existe uma forte relação entre o que existe no mundo real e o
que é gerado por computador.

■ Num automóvel podemos ver os sistemas de navegação que

mostram informação relativa ao local que estamos a visitar.
Contudo, a relação entre a virtualidade e a realidade é fraca.

■ Uma grande dificuldade nos sistemas de RA é assegurar

que os elementos virtuais e reais estão correctamente
alinhados, a que chamamos o registration problem.

10
Universidade de Évora
 Registration Problem

■ Quando a relação entre as duas realidades não é garantida

passamos a ter uma falha na interface.

■ O real deixa de parecer coexistir com o virtual.

■ Na imagem em baixo podemos ver a falha de

correspondência entre o virtual e o real.

11
Universidade de Évora
 Registration Problem
■ Muitas aplicações exigem uma correcta sobreposição do
virtual sobre o real.

Imagine-se uma agulha numa biopsia a um tumor, a sobreposição tem

que ser exacta para se atingir o objectivo.

■ Visual capture é um fenómeno que ocorre muito em

aplicações de realidade virtual mas que se pode tornar
prejudicial em aplicações de realidade aumentada.

Definição: é a tendência que o cérebro tem de acreditar mais no que

vê do que nos outros sentidos (ex. Tacto, audição, etc.)

12
Universidade de Évora
 Registration Problem

■ Os erros de registo são difíceis de controlar dados

os grandes requisitos de precisão de algumas
aplicações e as inúmeras fontes de erro.

■ As fontes de erro podem ser divididas em dois tipos,

segundo Azuma:
Erros estáticos – são os erros que provocam erros de
registo mesmo quando o ponto de visão do utilizador e os
objectos no ambiente se mantêm fixos;

Erros dinâmicos – são os erros que não têm qualquer

efeito até que o ponto de visão ou os objectos no
ambiente se começam a mover.
13
Universidade de Évora
 Registration Problem
■ Erros estáticos:
Distorção óptica;
Erros no sistema de localização;
Desalinhamento dos componentes mecânicos;
Parâmetros de visão incorrectos (ex: campo de visão,
parâmetros de localização sensor/olho, distância entre
púpilas, ...
■ Erros dinâmicos:
Ocorrem por causa dos atrasos, ou falhas de sistema.
➔ End-to-end system delay é a diferença temporal desde que os
sensores recolhem as medições de posição e orientação do ponto
de vista até ao momento em que são geradas as imagens
correspondentes aquela posição e orientação.

14
Universidade de Évora
 Registration Problem

■ Métodos para reduzir o efeito dos erros dinâmicos:

Reduzir o “system lag” (atraso do sistema);

Reduzir “apparent lag”;

Fazer coincidir as streams temporais (para os sistemas

Video-See Through)

Prever futuras localizações.

15
Universidade de Évora
 Primeira aplicação de RA

■ A primeira aplicação de RA surgiu nos anos 60 pela mão de

Ivan Sutherland.

■ Quarenta anos depois as interfaces de RA ainda estão na

sua infância.

■ Foram construidos protótipos que mostram a sua aplicação

em diversas áreas:
Medicina,

Treino de tarefas,

Engenharia, Ivan Sutherland,

no MIT

Gestão ambiental,
Ivan Sutherland

Entretenimento Sutherland, I.The Ultimate Display. International Federation

of Information Processing, Vol. 2, 1965, pp. 506-508.
16
Universidade de Évora
 Avanços e limitações
■ Avanços:
Ecrãs aplicados a RA;
Tecnologias de localização.
■ Limitações:
Registration Problem;
Falta de ferramentas para o utilizador interagir e modificar
os conteúdos fornecidos por um sistema de RA.
Fazem falta algumas tarefas básicas como:
➔ Manipular;
➔ Copiar;
➔ Anotar;
➔ Apagar objectos virtuais.

17
Universidade de Évora
 Princípios básicos
■ Os princípios para desenhar uma interface de RA são
semelhantes aos princípios para desenhar outra interface.
O objectivo é mapear o input do utilizador para o output do
computador utilizando uma metáfora de interacção adequada.

■ Existem 3 elementos a considerar:

Os componentes físicos da interface;
O ecrã virtual (visual, auditivo, ou outro);
As metáforas de interacção utilizadas para conectar os dois.

Elementos base de uma interacção

18
Universidade de Évora
 Princípios básicos

■ Existe uma grande variedade de dispositivos de input e/ou

output que se podem aplicar a RA. (ver seminário CUB de
AR)

■ Desafio:

Combinar os dispositvos de input/output que melhor se adequam à

tarefa,

Facilitam o seu uso e aprendizagem,

Permitem uma elevada performance do utilizador e uma inerente

satisfação.

19
Universidade de Évora
 Princípios Básicos

20
Universidade de Évora
 Princípios básicos

■ Etapas para o desenvolvimento de uma nova

interface/meio:

1. Demonstração do protótipo,

2. Adopção de técnicas de interacção a partir de outras metáforas de

interface,

3. Desenvolvimento de novas metáforas de interface apropriadas

para o novo meio,

4. Desenvolvimento de modelos formais teóricos para prever e

modelar as interacções do utilizador.

21
Universidade de Évora
 Princípios Básicos

■ No campo da Realidade Virtual (RV) tinhamos:

Sistemas para visualização de cenas virtuais (1),

Foram estudadas interfaces que utilizavam a interface WIMP aplicada

a RV (2) (ex:. 3DM),

Foram desenvolvidas interfaces como o World In Miniature, únicas

em RV (3),

Os investigadores procuram a taxonomia formal para caracterizar a

interacção em mundos virtuais que permitirá aos programadores criar

interfaces 3D de uma forma sistemática.

22
Universidade de Évora
 Princípios Básicos

■ Existe pouco suporte para criar

conteúdos em AR.

O projecto AMIRE é um Authoring

Tool que permite criar conteúdos
para RA,

O modelador de RA de Kiyokawa
utiliza um tracker magnético que
permite criar conteúdos para RA,

O projecto StudierStube utiliza uma

pen e um tablet para alterar
objectos em RA.
StudierStube
23
Universidade de Évora
 Princípios Básicos

■ Em RA existe uma relação íntima entre os objectos virtuais e

os objectos reais.

■ Isto sugere que uma direcção para um bom design pode

surgir da familiaridade e proximidade dos objectos físicos

para manipular os objectos virtuais.

■ As interfaces tangíveis são extremamente intuitivas porque a

manipulação dos objectos físicos tem uma relação de 1-1

com os objectos virtuais correspondentes e seguem um

design a que chamamos space multiplexed input.

24
Universidade de Évora
 Princípios Básicos

■ Em geral podemos classificar os dispositivos de input em:

Space-multiplexed – cada função tem um dispositivo físico único que

ocupa o seu espaço. (Ex: tangible bits) Os utilizadores não
necessitam de mapear o dispositivo de input com as várias funções
lógicas.

Time-multiplexed – cada dispositivo controla diferentes funções em

diferentes instantes no tempo. (Ex: rato)

Tangible Bits
25
Universidade de Évora
 Tangible Augmented Reality

■ A Realidade Aumentada Tangível (TAR) é construída a partir

do mesmos princípios que as interfaces tangíveis juntando o
ecrã à interface tangível/física.

■ Assim definimos interfaces de TAR como aquelas em que:

Cada objecto virtual tem um objecto físico correspondente,

O utilizador interage com os objectos virtuais pela manipulação de

objectos físicos.

■ Os objectos físicos e as interacções são tão importantes

como as imagens virtuais fornecendo uma forma intuitiva de
interagir com a interface de RA.
26
Universidade de Évora
 Tangible Augmented Reality

■ Assim, as interfaces de (TAR) podem ser produzidas através

dos mesmos princípios que as interfaces tangíveis (TUI):
Utilização de controles físicos para manipular o conteúdo virtual;

Suporte de técnicas de interacção espacial 3D;

Suporte para manipulação time-multiplexed e space-multiplexed;

Suporte para manipulação com ambas as mãos (multi-handed);

Equivalência das sugestões do objecto (affordances) com os

requisitos da tarefa;

Suporte para actividades paralelas onde múltiplos objectos podem ser

manipulados;

Colaboração entre múltiplos participantes.

27
Universidade de Évora
 Tangible Augmented Reality

■ Estes princípios possibilitam interfaces de RA muito fáceis de

utilizar, logo intuitivas;

■ A utilização de objectos físicos nestes caso permite que as

pessoas utilizem as suas aptidões adquiridas ao longo do
tempo para manipular objectos;

■ A utilização de objectos físicos serve de âncora para os

conteúdos de RA suportando naturalmente colaboração face
a face ou remota.

■ Desta forma, a forma e o que o objecto sugere (affordances)

deve ser cuidadosamente pensado quando se desenha uma
interface de RA.
28
Universidade de Évora
 Tangible Augmented Reality

■ Ulmer considera várias questões quando se seleccionam os

objectos para a interface do utilizador:
Construir objectos utilizando princípios de design industrial ou outras
técnicas de design; (ex: práticos)

Objectos que foram produzidos para outro uso mas que podem ser
introduzidos como um elemento da interface; (ex: a interface de
neurocirugia de Hinkley utiliza a cabeça de uma boneca verdadeira)

A interface tangível pode ser contruida em redor de objectos que já

são utilizados no local de trabalho. (ex:. Na interface de Mackay’s
para ajudar controladores aéreos são utilizados “flight strips” que já
são parte integrante do trabalho.

29
Universidade de Évora
 Tangible Augmented Reality

■ A utilização de objectos familiares ao utilizador pode ser determinante

para o sucesso de uma interface;

■ Algumas vezes é necessário construir objectos e fazer corresponder o

que sugerem (affordances) com a tarefa em mãos;

■ Norman sugere algumas linhas mestre para estes casos:

A importância de tornar o que o objecto sugere(affordances) vísivel;

Dar feedback;

Fornecer restrições;

■ Adicionalmente deve utilizar-se:

Mapeamentos naturais;

Um bom modelo cognitivo.

30
Universidade de Évora
 Tangible Augmented Reality

■ Zhang mostra que o tempo que um utilizador leva a resolver

um puzzle lógico é directamente dependente da

representação utilizada e das restrições implícitas.

■ A performance numa interface tangível de RA depende da

representação utilizada.

■ As interface que encapsulam as restrições de utilização nos

objectos utilizados são mais fáceis de utilizar.

31
Universidade de Évora
 Tangible Augmented Reality

■ Utilizar a representação do objecto para distinguir as suas

funções;

■ Ulmer sugere que os elementos físicos das interfaces

tangíveis podem ser descritos em termos de:

Tokens – são fisicamete manipuláveis

Reference Frames – espaços de interação físicos onde os objectos

são utilizados;

32
Universidade de Évora
 Tangible Augmented Reality

■ O número e tipo de objectos utilizados coloca restrições na

tecnologia de localização a utilizar;

■ Um dos requisitos das interfaces tangíveis de RA é o de que

os objectos virtuais devem estar associados a objectos reais.

Requer uma localização precisa dos objectos físicos que estão

associados e torna-se mais complexo quando o número de objectos a

localizar aumenta.

33
Universidade de Évora
 Tangible Augmented Reality

■ Localização baseada em visão:

Pode ser uma alternativa para localizar algumas dezenas de objectos,

sendo centrada no objecto.

Os objectos físicos podem conter marcas físicas assegurando um

bom registo das imagens.

■ Desvantagens:

Computacionalmente intensivo,

Deve ser encorajado quando o utilizador quando o utilizador deve

seguir as marcas dos objectos.

34
Universidade de Évora
 Tangible Augmented Reality

■ Sensores magnéticos e ultra-sons:

Não limitam a que o utilizador seja obrigado a seguir marcas;

■ Desvantagens:
Alcance;

Número de sensores;

Imprecisões;

■ As interfaces devem ter em conta as limitações dos

sensores.

■ Ver seminário de CUB – Serviços baseados em localização

35
Universidade de Évora
 Tangible Augmented Reality

■ O ecrã a ser utilizado também deve ser levado em conta

durante o desenho da interface, reflectindo a natureza da
tarefa e a colaboração;

■ Os Head-Mounted Displays (HMD) reduzem a visão

periférica, limitando a percepção do espaço ou dos restantes
utilizadores quando num cenário de colaboração;

■ Contudo, os HMD libertam as mãos para executar a tarefa;

■ Em alguns casos deve considerar-se a utilização de LCDs ou

PDAs.

36
Universidade de Évora
 Magic Lens
■ Uma interface que permite a um elemento da interface
semitransparente aplicar transformações no conteúdo que
está sobre esse objecto.
■ O Augmented Reality Magic Lens permite ao utilizador ver
intuitivamente o interior de um conjunto de dados virtuais;
■ Elementos da interface;

37
Universidade de Évora
 Magic Lens

38
Universidade de Évora
 Magic Lens
■ A localização dos objectos recorre à utilização do ARToolkit,
um software com algoritmos de visão que permite fazer o
tracking de marcas visuais.
■ O hardware utilizado é um capacete com um ecrã video see-
through com uma câmara acoplada.

39
Universidade de Évora
 Mixed Reality Art
■ Explora as possibilidades de interactivamente “modificar a
realidade”.
■ São adicionados elementos virtuais aos objectos reais
permitindo analisar os novos cenários;
■ Existe uma superfície de trabalho, ferramentas localizadas,
uma palete de cores e uma área para rabiscos e
experiências.

40
Universidade de Évora
 Mixed Reality Art

41
Universidade de Évora
 Mixed Reality Art

42
Universidade de Évora
 AR Pancho

43
Universidade de Évora