INTRODUÇÃO À FUNDAMENTOS DE

REALIDADE VIRTUAL E AUMENTADA

INTERAÇÃO COM AMBIENTES VIRTUAIS

Prof. Paulo César

INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE INTERAÇÃO GERAIS

• Manipulação 3D;
• Navegação;
• Controle de Sistemas e Entrada Simbólica.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 2
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D

• Apontamento;
• Manipulação Direta;
• Mundo em Miniatura (World In Miniature - WIM);
• Agregação e Integração (rotação isomórfica);
• Tratam da seleção e translação de objetos, e a rotação é mapeada diretamente do dispositivo
de entrada para o objeto virtual, o que é chamado de isomorfismo.
• Manipulação 3D para Desktop
• Rotação 3D não-isomórfica

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 3
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D – APONTAMENTO

• Permite ao usuário facilmente selecionar e manipular objetos localizados fora da

sua área de alcance
• Quando o vetor definido pela direção do apontamento interceptar um objeto
virtual, o usuário poderá selecioná-lo bastando para tanto disparar um evento.
• Exemplo: apertar um botão, comando de voz, que confirmará a seleção.
• Após o objeto ser selecionado, ele será preso no final do vetor de apontamento para que
então o usuário possa manipulá-lo.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 4
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D – MANIPULAÇÃO DIRETA

• Técnicas da mão virtual: usuário pode selecionar e manipular diretamente

objetos virtuais com as mãos com cursor 3D modelado como uma mão humana.
• A posição e a orientação do dispositivo de entrada são mapeadas na posição e
orientação da mão virtual.
• O usuário intercepta-o com o cursor e dispara um evento (ou seja, apertar um
botão, comando de voz, gestos); o objeto é preso ao cursor, podendo então ser
facilmente transladado ou rotacionado.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 5
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D – MUNDO EM MINIATURA

• Provê uma cópia miniaturizada de todo o ambiente virtual para a manipulação.

• Fácil manipulação de objetos dentro ou fora da área de alcance do usuário.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 6
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D – AGREGAÇÃO E INTERAÇÃO

• Combinação de várias outras técnicas

• Seleção através da técnica Ray-Casting e manipulação através de uma mão virtual.
• Seleção da técnica Image-Plane, e a interface troca para um modo de manipulação. O
ambiente ao redor do viewpoint do usuário é miniaturizado.

Ray-Casting: técnica que permite remover ou ignorar as superfícies escondidas numa imagem utilizando, para isso, as informações obtidas a
partir das primeiras intersecções encontradas pelos raios lançados a partir do observador.
Image-Plane: plano identificado com o plano do monitor de exibição usado para visualizar a imagem que está sendo renderizada.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 7
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

MANIPULAÇÃO 3D – MANIPULAÇÃO 3D PARA DESKTOP

• Modelagem comercial 3D e pacotes de animação, sistemas CAD, softwares de

visualização 3D de informação, e jogos de computadores.

• Diferem das técnicas mostradas anteriormente, principalmente, por causa dos

dispositivos de entrada, que em computadores desktop são basicamente teclado
e mouse, ou seja, dispositivos 2D.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 8
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 9
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO

• Locomoção Física;
• Direcionamento;
• Planejamento de Rotas;
• Baseadas em Alvo;
• Manipulação Manual;
• Travel-by-Scaling;
• Orientação do Viewpoint;
• Especificação da Velocidade;
• Controles Integrados da Câmera para Ambientes Desktop 3D.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 10
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO - LOCOMOÇÃO FÍSICA

• Usa o esforço físico que o usuário faz para transportá-lo através do mundo virtual
• Mais usadas em ambientes imersivos.

• Resumidamente, elas tentam imitar, em menor ou maior grau, o método natural

de locomoção do mundo real:
• São mais comuns em videogames e sistemas de entretenimento baseados em locomoção

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 11
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO - LOCOMOÇÃO FÍSICA

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 12
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – DIRECIONAMENTO

• Controle contínuo da direção do movimento pelo usuário

• O usuário constantemente especifica a direção da navegação absoluta

• Move ao longo do vetor [1,0,0] em coordenadas absoluta ou da navegação relativa (move
para a esquerda)

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 13
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – PLANEJAMENTO DE ROTAS

• Especificar um caminho ou rota através do ambiente e se movimentar ao longo

do caminho escolhido.
• Envolvem basicamente dois passos:
• o usuário planeja e então o sistema executa o planejamento.

TÉCNICAS DE NAVEGAÇÃO – PLANEJAMENTO DE ROTAS BASEADAS EM ALVO

• Usuário especifique o ponto final para onde deseja ir.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 14
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – PLANEJAMENTO DE ROTAS

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 15
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – MANIPULAÇÃO MANUAL

• Usam metáforas de manipulação de objetos hand-based para manipular o

viewpoint ao invés de manipular o objeto virtual.

• Estas podem ser usadas em situações onde as tarefas de navegação e de

manipulação de objetos são frequentes e intercaladas.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 16
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – MANIPULAÇÃO MANUAL

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 17
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – TRAVEL-BY-SCALING

• Permite que o usuário mude a escala do mundo virtual.

• Pode causar desconforto ou cybersickness (doença ou cansaço).

• Às vezes, necessita de um componente de interface adicional.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 18
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – ORIENTAÇÃO DO VIEWPOINT

• Orientação do Viewpoint:
• Head Tracking: A orientação vem do tracker colocado na cabeça do usuário.
• Meio natural e direto para especificar a orientação.

• Orbital Viewing:
• É uma deformação sutil da técnica acima.
• É usada para visualizar todos os lados de um objeto.

• Esfera Virtual:
• Usada em ambientes virtuais desktop.
• É similar às técnicas da Esfera Virtual e ARCBALL (técnicas de Manipulação 3D)

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 19
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – ESPECIFICAÇÃO DA VELOCIDADE

• Permite ao usuário controlar a velocidade.

• Adiciona complexidade à interface.

• Diminui a precisão de movimentos longos.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 20
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE NAVEGAÇÃO – CONTROLES INTEGRADOS DA CÂMERA PARA AMBIENTES DESKTOP 3D

• Mapeamento entre entradas 2D e movimentos 6-DOF da câmera.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 21
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

• TÉCNICAS DE CONTROLE DE SISTEMAS

• Elementos para o controle de sistemas em 2D são os seguintes: menus pull-down e pop-up,
toolboxes, palletes, radio buttons , etc.

• Menus Gráficos;
• Comandos de Voz;
• Comandos de Gestos.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 22
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE CONTROLE DE SISTEMAS – MENUS GRÁFICOS

• Fazem um a correspondência entre os menus gráficos 2D para um contexto 3D

• São mais usadas por causa da familiaridade dos menus
• Menus 2D Adaptados (Funcionam basicamente do mesmo modo que em ambientes
desktop);
• Menus 1-DOF (presos à mão do usuário);
• Menus TULIP (itens do menu são posicionados em dedos distintos mas necessita do uso de
luvas próprias.)
• Widgets 3D.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 23
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE CONTROLE DE SISTEMAS – MENUS GRÁFICOS

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 24
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE CONTROLE DE SISTEMAS – COMANDOS DE VOZ

• Uso de pequenos comandos para o sistema.

• Possibilidade de “conversas” entre o usuário e o sistema.

• Necessidade de treino do sistema.

• Problema: barulho do ambiente.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 25
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

TÉCNICAS DE CONTROLE DE SISTEMAS – COMANDOS DE GESTOS

• Permite o uso da gesticulação espontânea, gestos mímicos e simbólicos.

• Permite o uso da linguagem dos sinais e posturas simbólicas.
• Implica em maior aprendizagem por parte do usuário

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 26
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

INTERAÇÃO ESPACIAL

• Propriedades de manipulação espacial de objetos físicos.

• Realizada por gestos dinâmicos, apontadores e interfaces tangíveis.
• Vantagem: selecionar objetos virtuais em espaço 3D e transformações espaciais.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 27
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

INTERAÇÃO BASEADA EM AGENTES

• Consiste em ligações de entrada que especificam funcionalidade

• Implementado para usar posturas (gestos es táticos) ou comandos de voz.

• Exemplos: O usuário, vestindo um a luva de dados com um tracker associado,

aponta para um ícone de um menu virtual e, usando o padrão de postura da mão
aberta, seleciona a ferramenta apontada no menu.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 28
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

INTERAÇÃO DE CONTROLE VIRTUAL

• Baseada em widgets 3D que

representam uma certa
funcionalidade.

• Vantagem: implementa uma

metáfora de interação bem familiar

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 29
AUMENTADA
INTERAÇÃO COM REALIDADE VIRTUAL E AUMENTADA

INTERAÇÃO DE CONTROLE FÍSICO

• Baseada em ferramentas físicas ou painéis

de controle.
• Pode ser “estendida” para controlar não
som ente objetos físicos como também
objetos virtuais.
• Vantagem: permite a integração de
ferramentas físicas na interface do usuário.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 30
AUMENTADA
BIBLIOGRAFIA
• KIRNER, C., TORI, R., SISCOUTTO, R. “Fundamentos e Tecnologia de Realidade Virtual e Aumentada”. Livro
do Pré-simpósio VIII Symposium on Virtual Reality. 2006.
• LAVALLE, S. M., "Virtual Reality". Univerity of Illinois, 2018.
• NETTO, A. V., MACHADO, L. S.; OLIVEIRA, M. C. F. “Realidade Virtual: Fundamentos e Aplicações”.
Florianópolis: Visual Books Editora, 2002.
• AZEVEDO, E. E CONCI, A. "Computação Gráfica: Teoria e Prática", Rio de Janeiro, Editora Campus, 2003,
353p.
• BRAGA, M. “Realidade virtual e educação”. Revista de Biologia e Ciências da Terra, v.1, n.1, 2001.
• GONZALEZ, R. G., e WOODS, R., "Processamento Digital de Imagens", São Paulo, Edgard Blücher, 2000.
• JERALD, J. “The VR Book: Human-Centered Design for Virtual Reality”. (Acm Books) Paperback, 2015.
• KIRNER, C. TORI, R. “Realidade Virtual – Conceitos e Tendências. Livro Pré-Simpósio VII Symposium on
Virtual Reality”, 2004.

INTRODUÇÃO À FUNDAMENTOS DE REALIDADE VIRTUAL E

02/05/2022 31
AUMENTADA