Técnicas de Interacção e periféricos para ambientes 3D

Maria José Angélico Gonçalves

08T151A031 - Técnicas de Especificación e Modelos de Sistemas Interactivos

Curso de Doutoramento: Engenharia de SW basada en Componentes Reutilizables,
Aplicaciones en Interfaces Hombre-Maquina

1. Introdução

O processo de interacção em ambientes virtuais consiste na capacidade reactiva do

sistema em detectar e responder a cada acção do utilizador através de modificações
instantâneas no ambiente virtual (AV), ou seja, é o mapeamento das entradas do utilizador
(posições de mão, de braço, comandos de voz, etc.), capturadas por dispositivos de entrada,
que resultam em acções e comandos no AV.
A interacção em ambientes tridimensionais visa atingir três objectivos: efectuar
operações de selecção e manipulação de objectos; e permitir a navegação no ambiente
tridimensional.
Por selecção, entende-se o processo de definir, entre os objectos presentes num
ambiente tridimensional, o objecto sobre o qual se deseja operar. Por manipulação entende-
se a tarefa de alterar uma ou mais propriedades de um objecto tridimensional (posição,
orientação, tamanho/escala, forma, cor, textura, ambiente, etc.). A navegação, por sua vez,
corresponde ao processo de movimentar o utilizador, entre duas posições, no ambiente
tridimensional.
Navegação, selecção e manipulação de objectos em AV são baseadas em métodos,
Técnicas de interacção, associadas a dispositivos convencionais ou especiais.

No ponto seguinte - Estado da arte, são abordados modelos de técnicas de

interacção para a selecção, manipulação e navegação em ambientes 3D. São, também,
apresentados dispositivos de entrada – meios de interacção entre o utilizador e o AV; e
dispositivos de saída – simulação da visão humana, audição, haptic, e sistemas tácteis.
No ponto 3 são apresentadas tabelas de comparação de alguns modelos de técnicas
de interacção, em termos de vantagens e desvantagens.
No ponto 4 apresenta-se uma representação cronológica da investigação efectuada
na área, referindo os estudos efectuados, os autores e o ano em que foram desenvolvidos.

1
 Finalmente, são apresentadas as conclusões do trabalho e uma opinião pessoal
sobre o futuro da investigação nesta área.

2. Estado da arte
Ao longo do tempo, nomeadamente na última década, têm sido apresentadas várias
abordagens sobre técnicas de interacção 3D, mais ou menos apropriadas para determinado
tipo de tarefas.
2.1 Técnicas de interacção
Mine M (citado em Bastos N. ; Kelner J. (2005)) divide as técnicas de interacção
em ambientes imersivos de três formas diferentes: Interacção directa – o corpo do
utilizador actua directamente sobre o(s) objecto(s); Interacção com controlos físicos –
envolve o uso de botões, joysticks, pedais, volante do automóvel, etc. e Interacção com
controlos virtuais – representação virtual de um dispositivo físico, tais como menus 3D,
widgets, botões, etc.
Outro agrupamento de técnicas que se encontra na bibliografia estudada é a
classificação das metáforas segundo a divisão de Poupyrev et al (citado em Bastos N.,
Kelner J. (2005)), estes autores, dividem as técnicas de manipulação em ambientes virtuais
de acordo com as metáforas básicas de interacção: egocêntricas e exocêntricas. Na
interacção egocêntrica o utilizador interage com o AV dentro do próprio AV. Na
interacção exocêntrica, também conhecida como “Good’s eye view point”, o utilizador
interage com o AV fora do seu sistema de referência.
Bowman et al. (2004) classificam as técnicas em termos de divisão de tarefas
usando as seguintes categorias: selecção; manipulação; navegação (wayfinding e
walkthrough); controlo do sistema; e entrada simbólica.

2.1.1. Selecção e Manipulação de objectos

Estas técnicas consistem em fazer um mapeamento geométrico de corpos e objectos
envolvendo uma ou mais das seguintes operações: rotação, translação, escala e mudança de
propriedades como cor, textura, etc.
Poupyrev (2000) refere que existem duas abordagens diferentes para analisar a
manipulação de tarefas. A primeira refere-se à manipulação de tarefas complexas e muito
específicas, como a industria militar, medicina e outras aplicações com uma sequência de
operações muito bem definidas. Neste caso, a técnica é orientada, apenas, para a execução
daquela ou daquelas tarefas. A outra abordagem de manipulação de tarefas é baseada na

2
assumpção de que os movimentos humanos são compostas por tarefas de manipulação
simples. O desenvolvimento de técnicas de interacção para tarefas elementares resultam
em técnicas que podem ser aplicadas em qualquer tarefa de manipulação. Neste contexto e
tendo em consideração o trabalho prévio de Foley et al., e Grissom (citados em Poupyrev,
2000) -2D user interfaces – e também os estudos sobre 3D interfaces, apresentados por
Mine, 1995 e Poupyrev, 1997 (citados em Poupyrev, 2000) o autor apresenta três tarefas
básicas para a manipulação: Posição – a tarefa de posicionar um objecto desde a posição
inicial até à posição final; Selecção – a tarefa de identificar manualmente um objecto; e
Rotação – a tarefa de fazer a rotação de um objecto.
Em seguida, são apresentadas as técnicas de interacção constantes na bibliografia,
utilizando a divisão proposta por Bowman et al. (2004)
Interacção por apontamento
Esta técnica permite seleccionar e manipular objectos à distância. A selecção e
manipulação do objecto são feitas do seguinte modo: Quando o vector definido pela
direcção do apontador interceptar o objecto virtual, o utilizador selecciona-o disparando
um evento que confirmará a selecção (por exemplo: carregando num botão, através de um
comando de voz, etc.). Posteriormente, o objecto é preso no final do vector de apontamento
para que possa ser manipulado.
Ray-Casting
O utilizador aponta para um objecto e um raio virtual define a direcção do
apontamento. No caso de o raio virtual interceptar mais do que um objecto apenas o mais
próximo do utilizador é seleccionado. Coffin C., Hollerer T, (2006) apresentaram uma
técnica que permite ao utilizador manipular objectos ocultos em cenas gráficas 3D. De
forma a controlar esta forma de visão -raio-x, anteriormente estudada por Livingston et al.
(2003), o utilizador corta, interactivamente, buracos geométricos nos objectos que ocultam
outros. A combinação desta técnica com, por exemplo, a técnica Ray casting permite ao
utilizador manipular objectos ocultos.
iSith
Recentemente, Wyss et al. (2006) introduziram a técnica iSith, uma interface de
selecção e manipulação de objectos bimanual, usando dois apontadores por raio, um para
cada mão. O utilizador controla os objectos virtuais num volume de interacção aumentado,
não se restringindo ao comprimento do braço e não havendo necessidade de usar botões.

3
 Wyss (2006) refere vários estudos que comprovam que utilização das 2 mãos
(Guiard, 1987) no uso desta técnica e noutras Pieglass; Responsive Workbench, Voodoo
Dolls, etc., demonstraram serem eficazes.
Spotlight e Aperture
A técnica spotligth (Liang, 1994 citado em Poupyrev, 2000, Schmidt G. et al.,
2006) imita o apontar para objectos com uma lanterna, a qual pode iluminar um objecto
mesmo quando não é apontada directamente para ele. A direcção do apontamento é
definida do mesmo modo que na técnica Ray Casting, mas neste caso o raio virtual é
substituído por um volume cónico. Já a técnica Aperture ( Forsberg, 1996 citado em
Poupyrev 2000, Schmidt G. et al., 2006 ) é uma modificação da técnica spothlight, que
permite ao utilizador controlar interactivamente a abertura do ângulo do volume cónico,
usando periféricos com 6 graus de liberdade.
Enhanced cone selection
Steed Anthony (2006) diz que a selecção é uma parte implícita ou explicita das
técnicas de manipulação e que a selecção por raio é um caso particular da selecção por
cone. Diz, ainda, que a selecção por cone melhorada (Enhanced cone selection) é uma
extensão da selecção por cone e sombra de Liang et al. e Steed et al. Propõe um modelo
geral para a interacção, usando gestos 3D, baseado em campos de escala que variam no
tempo (time-varying saclar fields – TVSF´s) englobando um vasto conjunto de técnicas já
existentes, excepto as que apresentam múltiplas representações para a selecção do alvo,
tais como WIN e Voodoo dolls.
Image-plane
Esta família de técnicas ( Pierce e tal., 1997 citado em Poupyrev 2000) fornece ao
utilizador selecção e manipulação de objectos 3D apenas tocando e manipulando as suas
projecções 2D em uma imagem do plano virtual localizada na sua frente.
Fishing-Reel
A técnica Fishing-Reel (Bowman, 1997) permite ao utilizador seleccionar um
objecto, usando a técnica Ray Casting, e puxá-lo para perto usando um dispositivo de
entrada (i.e. um indicador, um par de botões). A técnica Fishing-Reel foi desenvolvida com
o intuito de resolver este problema da distância.
Manipulação directa
Nestas técnicas o utilizador pode seleccionar e manipular objectos com a mão. Para
isso é utilizado um cursor 3D. A posição e a orientação do dispositivo de entrada são
mapeadas na posição e orientação da mão virtual. Um utilizador selecciona um objecto

4
interceptando o cursor com o objecto e disparando um evento. Posteriormente, o objecto
fica preso ao cursor para poder ser movimentado.
“Simple” Virtual Hand
Esta técnica é um mapeamento directo do movimento da mão do utilizador no
movimento de uma mão virtual. Classifica-se, também, como sendo uma técnica de
interacção isomórfica, pois simula directamente os movimentos do utilizador.
Object in hand
Boeck J et al. (2006) apresentaram a Metáfora Object in hand que resolve alguns
problemas relacionados com o acesso aos objectos e menus no mundo 3D. É uma solução
para aceder facilmente aos objectos e aos elementos da interface através de gestos. Nesse
caso a mão não dominante é usada para seleccionar o objecto e para trazer o objecto para
perto da mão dominante. No entanto, esta solução trouxe um problema de selecção.
Go-Go
Esta técnica é semelhante à clássica mão virtual. No entanto, permite utilizar o
comprimento do braço virtual para alcançar objectos mais distantes (Poupyrev e tal., 1996
citados em Poupyrev 2000).
Mundo em Miniatura
Esta técnica denominada WIM -World-In-Miniature,- (Stoakley et al., 1995 citado
em Poupyrev 2000) cria uma cópia miniatura, portátil, do ambiente virtual. O utilizador
pode manipular indirectamente objectos virtuais interagindo com as suas representações no
WIN, utilizando 6 graus de liberdade (6DOF). Para além da manipulação, a técnica permite
a navegação. Também é muito utilizada em interfaces 3D para realidade virtual aumentada
(RA).
Técnicas de Agregação e Integração
As técnicas de agregação combinam várias técnicas em que o utilizador pode
escolher de forma explícita a técnica de manipulação desejada dentro de um conjunto
limitado de opções. Neste caso a interface utiliza uma técnica de selecção para seleccionar
o objecto e passa para uma técnica de manipulação para o manipular e vice-versa. As
principais técnicas denominam-se de HOMER (Hand-Centered, Object; Manipulation;
Extending; Ray Casting: Ray –Casting + arm extension); Scaled-Word Grab; Voodoo Dols
(Image Plane + World-in-miniature WIM).
HOMER
Nesta técnica (Bowman et al., 1997 citado em Poupyrev 2000 ) o utilizador
selecciona um objecto usando a técnica Ray Casting e, ao invés do objecto ser preso ao

5
raio, ele será preso à mão virtual do utilizador. Após isso, é feita uma troca para o modo de
manipulação, permitindo ao utilizador posicionar e rodar o objecto virtual.
Scaled-Word Grab
A técnica Scaled-Word Grab (Mine et al., 1997 citado em Poupyrev 2000) é
baseada em princípios similares à técnica descrita acima. Em primeiro lugar o utilizador
selecciona um objecto usando alguma técnica de selecção, como a Image Plane. Após a
selecção, a interface troca para o modo de manipulação e, assim, o utilizador pode
posicionar e rodar o objecto virtual no espaço. Contudo, ao invés de escalar a mão do
utilizador, como na técnica HOMER, Scaled World Grab reduz todo o ambiente virtual ao
redor do ponto de vista do utilizador.
Voodoo Dols
A técnica Voodoo Dols (Pierce et al. citado em Poupyrev 2000 e Boeck, 2006) é
uma técnica de interacção que faz uso de ambas as mãos do utilizador, combinando as
técnicas Image Plane e WIM.
Esta técnica permite manipular objectos virtuais indirectamente, usando miniaturas
temporárias, cópias portáteis dos objectos denominadas dolls, similar ao WIM. Mas ao
contrário dessa, a técnica Voodoo Dolls permite que o utilizador decida quais os objectos
do ambiente virtual que serão usados na interacção.
A técnica baseadas na representação (VooDoo Dolls) permite aos utilizadores
posicionar e orientar objectos de forma mais precisa do que a técnica de extensão do braço
Homer (Pierce J. e al. (2002)) .
Manipulação Desktop 3D
Actualmente, os sistemas interactivos de computação gráfica (CAD - Computer
Aided Design; software de visualização de informação 3D; jogos de computadores, etc.)
ainda residem em computadores desktop convencionais. As técnicas de interacção usadas
para controlo e posicionamento de objectos 3D nesses ambientes (Poupyrev et al., 2000)
diferem das técnicas apresentadas anteriormente principalmente por causa dos dispositivos
de entrada utilizados que são basicamente o teclado e mouse, ou seja, dispositivos 2D.
As principais técnicas de interacção são: Controles de Interface 2D, Widgets 3D,
Esfera Virtual e ARCBALL.

Em trabalhos mais recentes, os investigadores criaram novas técnicas de

manipulação, para domínios de aplicação específica, realidade aumentada (RA) e sistemas
multimodais. Wingrave et al. (citados em Schmidt et al., 2006) verificaram que não existe

6
um modelo que determine o comportamento dos utilizadores no AV mas sim, uma reacção
ao feedback recebido na execução das tarefas. Olwal et al.( citados em Schmidt et
al..,2006) desenvolveram algoritmos para selecção na RA. Estes algoritmos consistem na
união de uma região volumétrica virtual às partes de um corpo do utilizador. Quando o
utilizador move uma parte do corpo interage com objectos existentes no ambiente. Kolsch
et al. citados em Schmidt et al..(2006) desenvolveram um sistema que, em tempo real,
reconhece os gestos da mão e pode actuar como um único dispositivo de entrada num
sistema móvel de AR. Kaiser et al. (citados em Schmidt et al., 2006) desenvolveram
técnicas de interacção múltiplas que eliminam a ambiguidade e avaliaram a sua eficácia em
sistemas multimodais 3D em RA e realidade virtual AV.
Schmidt G. et al. (2006) apresentaram um algoritmo de selecção probabilística,
baseada no apontamento, que diminui alguns erros na selecção. Este algoritmo de selecção
escolhe a selecção final de conjunto de técnicas de selecção múltiplas, em paralelo.
Wolfgang B. (citado em Bastos N. ; Kelner J.,2005) divide as técnicas de interacção
existentes para realidade RA em interacção espacial; interacção baseada em agentes,
interacção de controlo virtual e Interacção de controlo físico
2.1.2. Técnicas de navegação
As técnicas de navegação usam gestos, posturas ou um dispositivo apontador
seguro pela mão da pessoa que viaja no ambiente virtual e são diferentes das técnicas
usada na simulação de um veículo (Zeleznik 2002 em Deligiannis L., Jacob R.,2006). Na
técnica baseada no veículo existe, normalmente, um mecanismo de direcção que permite
que o utilizador mude de direcção e consequentemente o veículo rode.
Bowman et tal. (2004) divide a tarefa de navegação em duas partes: wayfinding e
walkthrough. Navegação (walkthrough) é definida como o controle do movimento no
ambiente virtual sob o ponto de vista do utilizador. Por wayfinding, entende-se o processo
cognitivo de escolher um caminho baseado em sugestões visuais, como por exemplo a
utilização de mapas ou bússolas que auxiliam o utilizador na escolha do caminho a seguir
dentro do ambiente. A navegação é composta pelos processos de viagem (walkthrough) e
wayfinding.
As tarefas de navegação foram classificadas por Bowman et al. (2004) em três
categorias: exploração - navegação sem um objectivo específico, onde o utilizador
investiga simplesmente o ambiente; procura - envolve o movimento do utilizador para um
local específico; maneuvering – esta tarefa prevê deslocamentos pequenos, com alta
precisão, pelo ambiente. O mesmo autor, para técnicas de navegação, cita cinco metáforas:

7
movimento físico – Walking, Walking in place, Dispositivo simulando caminhar,
Bycycles, outros movimentos físicos -; manipulação do ponto de visão – Câmara na mão,
manipulação de objecto fixo - ; pilotagem – gaze- direct; apontamento; periféricos físicos -
, navegação baseada no alvo – apontar para o objecto, escolher de uma lista; introduzir
coordenadas direcção planeada – identificar o caminho (place markers in world), mover
o icon no mapa .
2.1.3.Controlo do Sistema
Bowman et al. (2004) definem controle de sistema como a acção em que um
comando é aplicado para mudar o modo de interacção ou o estado do sistema. Ou seja, as
técnicas de controlo de sistemas, tais como menus gráficos (Hand oriented menu,
converted 2D menus, 3D Widgets), comando de voz (speech recognition), comando de
gestos (Gestures e postures) e ferramentas (tools physical e tools physical) são utilizadas
para utilizar componentes 2D (menus pull down e pop up, toolboxes, palletes, radio
buttons, etc) em ambientes 3D. Kruijff E. (2000) apresenta técnicas, que denomina de
híbridas, que combinam características gerais de técnicas já existentes, tais como: “put-
thath here” combina voz, gestos, prop ou gestos com menus gráficos; controlo de sistemas
multimodais que aumentam a possibilidade de executar comandos.
2.1.4 Técnicas de Entrada Simbólica
As técnicas de entrada simbólica são baseadas em teclado (Teclado Miniatura,
Teclado Low Key Count, Teclado Chord, Teclado Pinch e Teclados Soft), em canetas
(Reconhecimento de gestos PEN-Stroke, Entrada desconhecida Pen Input – Digital Link;
em gestos (Gestos da Linguagem dos sinais, Gestos numéricos, Gestos Instantâneos) e na
fala (Reconhecimento da Fala Single-Charater; Reconhecimento da Whole-Word e
Entrada da Fala Unrecognized). (Bowman et al., 2004)

2. Dispositivos de Entrada e Saída

Neste ponto vão ser mencionados alguns dispositivos usados no AV.
Keir Paul et al. (2006) apresentaram um novo modelo - 3 motion TM, de
interacção 3D, por gestos, para manipular na mão, que resolve situações onde a
aplicabilidade dos sistemas de rastreamento tradicionais é demasiado dispendiosa ou até
impraticável devido à fonte de calibração e referência dos requisitos. O paradigma de
gestos 3D tem suscitado um interesse significativo nas áreas onde a interacção tradicional
feita com o rato e o teclado não é satisfatória, tal como nos ambientes imersivos ou na
computação móvel e utilizável.

8
 Os dispositivos de entrada são ferramentas físicas que utilizam diferentes técnicas
de interacção. Em geral, diferentes técnicas de interacção podem ser mapeadas em vários
dispositivos de entrada.
Dispositivos de Entrada Periféricos de eventos discretos – Keyboard; gloves
Pinch; ToolBelt virtual; Periféricos de eventos contínuos – Trakers: magnéticos,
mecânicos, acústicos, inertial; Visão/câmara, híbridos; datagloves; Cyberlink Combinação
de periféricos de eventos contínuos e discretos – Mouse, Joysticks, Tablets, Space
Mouse, Ring Mouse, Fly Mouse, Space Ball, Space Orb, Bat, Wand, Flex E Pinch, Lego
Interface Toolkit; Shape Tape, Cubic Mouse, e speech input) LaViola (2000).
Os dispositivos de saída existentes podem classificar-se em: monitores visuais;
saída de áudio; saída táctil e haptic. Nas aplicações do AV existem dois métodos
tradicionais para apresentar informação visual: monitores totalmente imersivos (monitor
montado na cabeça - HMD; monitor montado no braço – BOOM- monitor virtual da retina
-VRD; display; monitores semi-imersivos (SSVR – Surround Screen Virtual
Environement; Immersadesk and variants, monitor stereo); Outros tipos (Lenticular,
Volumétrico e Holográfico) LaViola (2000).

Dispositivos de navegação específicos

A implementação de uma técnica de navegação requer pelo menos um dispositivo
de entrada, intuitivo e fácil de usar (Deligiannis L., Jacob R.,2006). As interfaces tornam-
se mais complexas quando permitem múltiplos graus de liberdade. A melhor abordagem,
refere o autor, é fornecer poucos graus de liberdade ao utilizador e permitir que este
seleccione, também, os graus de liberdade para alternar entre os diferentes modos de
navegação.
O CMP-2100SR (CMP-2100 em Deligiannis L., Jacob R., 2006) é um simulador de
um carro, possui um assento que faz vibrar o utilizador, um “volante” que retorna feedback
e um HMD. A manipulação 3D é difícil de executar porque o utilizador tem de estar preso
ao assento. O periférico Car like (Zhai S. em Deligiannis L., Jacob R., 2006) estuda a
direcção do caminho. Os utilizadores têm a noção de direcção e do pedalar mas não existe
feed-back com o dispositivo. No CMP-2100 (CMP-2100 em Deligiannis L., Jacob R.,
2006) os utilizadores podem navegar utilizando um periférico – mouse-like com botões
para indicar a direcção e a velocidade da viagem mas não fornece uma forma natural de
navegação. Xtream Sport(Xtream Sports Deligiannis L., Jacob R., 2006) e Vr
snowboard(Virtual Reality snoaboard em Deligiannis L., Jacob R., 2006) são dispositivos

9
adaptados para determinado tipo de jogos mas requerem uma snowboard e não se adaptam
ao uso geral da navegação. A Cyber bike (Cyber bike em Deligiannis L., Jacob R., 2006)
consiste numa metáfora de uma bicicleta natural. A velocidade é controlada pelo pedalar.
Esta técnica força o feedback com o utilizador e permite-lhe viajar apenas como transporte
terrestre. Estes dispositivos não necessitam de muitos graus de liberdade. O VMC é um
periférico que usa passos em diferentes partes de uma plataforma circular para indicar a
direcção e a velocidade da viagem.
Deligiannis L., Jacob R. (2006) apresentou um dispositivo - Vr Scooter , baseada na
metáfora real Scooter. O dispositivo possui sensores vibro tácteis, para simular a
velocidade do movimento e uma ventoinha, para simular o vento que se sente quando a
Scooter está em movimento. As técnicas de navegação implementadas usam gestos,
posturas ou um dispositivo apontador seguro pela mão da pessoa que viaja no ambiente
virtual (Zeleznik et al., 2002 citado em Deligiannis L., Jacob R, 2006) e são diferentes das
técnicas de navegação onde um veículo é usado na implementação.

Através das técnicas identificadas, e de muitas outras, verificamos que existe um

vasto conjunto de técnicas de interacção, associadas a dispositivos de entrada e saída, que
possibilitam o desenvolvimento duma conjugação de metáforas do mundo real.

3. Tabela de comparação da investigação efectuada nesta área

3.1 Técnicas de interacção

Na tabela 1 constam as técnicas de interacção. Deu-se principal ênfase às técnicas

de selecção, uma vez que a selecção é a operação fundamental do AV (Schmidt G., 2006;
Steed, 2006)

10
 Designação da Vantagens Limitações
técnica
Simple Virtual Simples e natural Limitada à área de manipulação
Hand
Ray-Casting Os objectos podem ser seleccionados Não permite seleccionar objectos muito
a qualquer distância pequenos, objectos que estejam muito longe,
ou objectos que estejam ocultam
iSith Simples e natural; Não está restrita ao Não tem precisão do movimento;
iSith et al. (2006) comprimento do braço ;Não usa botões. Seleccionar e desmarcar o objecto ainda são
tarefas que precisam de refinamento.
Flashlight ou Permite uma selecção fácil de Esta técnica apresenta problemas quando
spotligth pequenos objectos, mesmo que estes mais do que um objecto se encontra dentro do
estejam a uma grande distância do spotlight; Posicionamento e rotação pouco
utilizador. eficaz

Aperture Permite um maior controlo sobre os Posicionamento e rotação pouco eficaz

objectos; Selecção 2D.
Image-plane Selecção fácil e intuitiva Impossibilidade de manipular objectos
remotos.
Object in Hand Acesso aos objectos e menus no Problema na selecção.
Boeck et al. (2006) mundo 3D; Usa os gestos para aceder
aos objectos e aos elementos da
interface
Ray casting com Distância controlada pelo raio Controlador de periféricos em separado .
Fishing-Reel Dificuldade em rodar o objecto
Go-Go Intuitiva e agradável; Manipulação de A distância máxima alcançável ainda é
um objecto num grande intervalo e à finita
distância
Enhanced conne Algumas estratégias de Modelo abstracto de difícil implementação
selection implementação standard aproximam-se
Steed A. (2006) do modelo formal proposto.
WIM Manipulação de um objecto, Dificuldade em manipular pequenos
utilizando 6 graus de liberdade, a objectos
qualquer distância
HOMER Selecção fácil; Manipulação à Dificuldade em agarrar um objecto e movê-
E distância, com 6 graus de liberdade lo para longe; Inconsistência no mapeamento
Scaled-Word Grab Manipulação dentro da área normal do movimento da mão do utilizador e da mão
de alcance. virtual
Voodoo Dols Manipulação num grande intervalo de Mais complexa que as outras técnicas;
distâncias e escala; O mapeamento do Requer o uso de pinch gloves
objecto é efectuado de 1 para 1
Manipulação animada de objectos
Manipulação Rotação de escala para periféricos 3D Grande confusão visual, visto que o número
Desktop 3D Facilidade da transição entre as de elementos gráficos na cena cresce.
diferentes sequências de manipulação
Tabela 1 – Técnicas de manipulação (selecção/manipulação) para ambientes virtuais
Poupyrev (2000), Steed A. (2006), Boeck et al. (2006), iSith et al. (2006)

11
3.2 Dispositivos

Nas tabelas 2 e 3 constam os dispositivos de entrada e saída bem como, as suas

vantagens e desvantagens.

Nome do dispositivo Vantagens Desvantagens

Magnetic trakers Boa escala O campo magnético é distorcido pelo uso
Não tem sinal de linha do metal
www.ascension-tec.com Preço moderado O campo magnético interfere com
www.polhemus.com
monitor
Mechanical trakers Latência baixa Grande e volumoso
Muito exacto Habitualmente usa apenas 1 sensor
www.fakespace.com
Reduz a mobilidade
Dispendioso
Acoustic trakers Não interfere com o metal Sinal de linha
Não dispendioso Sensível a certos barulhos
Inertial Traking Não interfere com o metal Sujeito a acumulação de erros
Longo alcance Sensores maiores que os sensores
www.isense.com Não precisa de transmissor magnéticos

Camera/Vision Traking Exacto Requer luz de iodo

Pode capturar grandes volumes Requer técnicas para o processamento de
www.ascension-tec.com imagens
Tem o problema da oclusão
Hybrid Traking Junta várias tecnologias que Permite adicionar componentes
www.isense.com resultam no aumento de exactidão,
RasKar et al (1998) Redução da latência, etc.
Data Gloves Comunicação por gestos e posturas
Cyber Globe
5DT Glove 16W
www.virtex.com
www.5dt.com
3 motion TM Interacção por gestos; Manipula-se
na mão
Vr Scooter Simula movimento e vento A tarefa “voar” causa confusão e
desorienta

Tabela 2 – Dispositivos de entrada em ambientes 3D

LaViola (2000), Deligiannis l. (2006), Keir Paul et al. (2006)

12
Nome do dispositivo Vantagens
HMDs Experiência imersiva; Fácil de
www.nvis.com inicializar.; O utilizador pode
www.virtualresearch.com circular; Relativamente económico;
www.stereo3d.com Stereo de boa qualidade
BOOM Melhor resolução que o anterior;
www.fakespace.com Leve; Rastreamento excelente; Fácil
de inicializar; Bom som
VRD Leve; Possibilidade de alta resolução
www.hit.washington Imersão total; Som de boa qualidade
.edu/researh/vrd/
SSVR Alta resolução; O utilizador apenas
www.fakespace.com precisa apenas de uns óculos leves
www.mechdyne.com para a visão stereo; O utilizador pode
www.tan.de mover-se à volta do periférico;
Ambiente não evasivo; Objectos
reais e virtuais podem misturar-se;
Várias pessoas podem permanecer no
espaço
Stereo Monitor Menos dispendioso no que se refere a
www.stereographics.com hardware adicional; Permite o uso de
alguns periféricos de entrada; Boa
resolução; Utilizadores podem usar o
teclado e o rato
Workbenches e Alta resolução; Para algumas
variants aplicações, a visualização é intuitiva;
www.iti-world.com Pode ser partilhado por vários
www.barco.com utilizadores
www.fakespace.com
Hapic and táctile Periféricos motionware; Fornece
Feedback estimulação vestibular; Envio de
www.vm3.com sinais para o cérebro; Dá ao
utilizador uma noção de movimento
LaViola (2000)-
Fornece uma sensação tacto entre o
utilizador e o objecto; reduz a taxa de
erro humano; Orienta espacialmente
os utilizadores; Dá indicações sobre
objectos existentes no AV; aumenta
o realismo da experiência de forma
que o utilizador fica com a percepção
de estar no ambiente natural.
Deligiannis et al. (2006)
Tabela 3– Dispositivos de saída utilizados em ambientes 3D
LaViola (2000), Deligiannis et al. (2006)-
Desvantagens
Pouca resolução e campo de visão
limitado; Não tira vantagem da visão
periférica; Boa qualidade de periféricos;
Pesado e não se ajusta à cabeça
Limitado aos movimentos do utilizador;
Não tira vantagem da visão periférica;
Boa visão
Monocromáticos; Os correntes têm baixa
resolução
Muito dispendioso; Requer bastante
espaço físico; Pode ser usado para 2
utilizadores rastrear a cabeça; A visão
stereo pode ser problemática; Objectos
físicos podem ser tratados como objectos
gráficos
Não é muito imersivo; O utilizador não
pode circular ; Não tira vantagem da
visão periférica; O stereo pode ser um
problema; Os objectos físicos oclusos
podem ser problemáticos
Movimento limitado; Na maioria dois
utilizadores podem rastrear a cabeça Não
tem ecrãs surround; Objectos físicos
podem ser tratados como objectos
gráficos; stereo pode ser um problema
Útil para a manipulação; Problemas
nestes periféricos causam desconforto ao
utilizador; Interacção mímica com o
mundo real
13
4. Representação cronológica da investigação
4.1 Técnicas de interacção
Designação da técnica Autores, ano

Simple Virtual Hand / Ray-Casting 1º protótipo“Put-That –There”, anos 80

Bolt et al. (1980)
Jacoby et al., 1994;
Mine em 1995 e
Bowman e Hodges em 1997.
Flashlight Liang et al., 1994

Aperture Forsberg et al. 1996

Image-plane Pierce, 1997

Ray casting com Fishing-Reel Bowman et al., 1997

Go-Go Poupyrev et al., 1996

WIM Stoakley et al. ,1995

HOMER Bowman et al., 1997

Scaled-Word Grab Mine et al., 1997

Voodoo Dols Pierce et al., 1999

iSith iSith et al. ,2006

Object in Hand Boeck et al.,2006

Enhanced conne selection Steed A. ,2006

Graphical menus Liang e Green, 1992

Hand oriented menu, Conner et al. , 1992
converted 2D menus, Feiner et al. 1993
3D Widgets Shaw e Green, 1995
Mine et al. 1997Salventy , 1997
Algorithms Selection AR Olwal et al.( 2003)

Hand gesture recognition System Kolsch et al. (2004)

Mutual disambiguation techniques Kaiser et al. (2003)

Pointing-based probabilistic Schmidt G. et al. (2006)

selection
Tabela4 – Representação cronológica dos estudos de selecção e manipulação
Poupyrev, (2000), Kruijff E. (2000), iSith et al. (2006), Boeck et al. (2006), Steed A. ,2006; Schmidt G. et
al. (2006)

14
5. Conclusões
Constituiu objectivo deste trabalho apresentar o estado da arte dos modelos das
técnicas de interacção no ambiente virtual e dos dispositivos de entrada e saída a elas
associados.
A selecção em ambientes 3D foi e é um tópico de investigação de grande
relevância. Em 1994 Hinckley et al. (citados em Schmit, 2006) apresentaram um estudo
onde constavam as técnicas de interacção 3D. Liang e o Green (citados em Schmit, 2006)
desenvolveram o método de selecção spotlight, que adicionou algumas vantagens,
nomeadamente a selecção de objectos pequenos e distantes, baseada no raio mas introduziu
o problema das selecções múltiplas. Mine (citado em Schmit, 2006) implementou técnicas
de selecção, juntando novas interacções. Forsberg et al. (citados em Schmit, 2006)
implementaram duas novas técnicas de selecção, aperture (uma extensão do spotlight) e
orientation, para resolver o problema da imprecisão na selecção baseada no raio, usando,
para isso, um dispositivo de entrada com 6 graus de liberdade. Pierce et al. (citados em
Schmit, 2006) implementaram novas técnicas de selecção usando o rastreamento das mãos
e projecções 2D em uma cena 3D. Bowman (1999), na sua tese de doutoramento, fez um
estudo completo das técnicas de selecção 3D, existentes na época, e introduziu uma nova
técnica para a selecção e a manipulação (Schmidt Greg et al., 2006).
Em trabalhos mais recentes, os investigadores criaram novas técnicas de
manipulação, para domínios de aplicação específica tais como, realidade aumentada (RA),
realidade mista (RM) e sistemas multimodais.
Deligiannis L., Jacob R.(2006) implementaram um dispositivo de navegação – Vr
Scooter, baseado na metáfora real Scooter. Adicionaram à scooter sensores vibro tácteis,
que simulam a velocidade do movimento e uma ventoinha que simula o vento quando a
Scooter está em movimento. Os autores concluíram que o desempenho da tarefa aumentou,
pois todos os utilizadores foram de opinião que os dispositivos acrescentados aumentaram
o realismo à experiência assim como o desempenho das tarefas de travelling.
Através das técnicas identificadas, e de outras, verifica-se que existe um vasto
conjunto de técnicas de interacção. Da análise dessas técnicas podemos concluir:
Em primeiro lugar, pretende-se que a interacção com o mundo virtual seja o mais
natural e “real” possível. Deve ser uma imitação exacta do mundo real;
Em segundo lugar, ainda não existe a técnica ideal. Todas as técnicas abordadas
apresentam vantagens e desvantagens.

15
6. Opinião pessoal sobre o futuro da investigação nesta área
Na bibliografia estudada os autores propõem para futura investigação o refinamento
dos modelos apresentados, em termos de precisão, desempenho e feedback (Wyss et al.
2006, Pierce J, Paush R 2002, Wyss et al 2006, Pierce J, Paush R 2002). Propõe-se, ainda,
testar e avaliar os mesmos na execução de tarefas mais complexas (Steed 2006, Boeck et
al. 2006,Schmidt et al. 2006). Faz, ainda, parte dos seus objectivos implementar novos
dispositivos de entrada e saída e consequentemente definir novas técnicas de interacção
para esses memos dispositivos.
Em conclusão, os autores propõem orientar a sua investigação para: Avaliação das
técnicas de interacção existentes; Criação de novos dispositivos de Entrada/saída e
implementação de técnicas de interacção para os mesmos; Integração das técnicas
existentes; Modalidades múltiplas; Implementação de técnicas para tarefas complexas; e
definição de standards e linhas de acção.
A minha opinião é que esta área é relativamente recente, pois teve origem nos anos
80, na indústria de simuladores multi-utilizadores em ambiente compartilhado, com Jaron
Lanier (Wikipédia) e, desde então, não parou de crescer. No futuro serão implementados
novos dispositivos de Entrada e Saída, centrados no utilizador, naturais, intuitivos,
económicos e que possibilitem ao utilizador uma imersão total. A acompanhar esses
dispositivos surgirão novas técnicas de interacção que acoplarão as vantagens existentes
com novas vantagens.

7. Bibliografia

Bastos N. ; Kelner J. (2005). Arquitetura para Dispositivos Não Convencionais de

Interação Utilizando Realidade Aumentada: Um Estudo de Caso,
http://www.cin.ufpe.br/~tg/2005-2/ncb.pdf.

Boeck Joan, Weyer Tom, Raymaekers Chris, Coninx Karin (2006). Using the Non-
dominant Hand for Selection in 3D. Proceedings of IEEE Symposium on 3D User
Interfaces, Alexandria, Virginia, USA, 53-58.

Bowman D. (2006) 3D Interaction Techniques for Virtual Environments: Selection and

Manipulation http://courses.cs.vt.edu/~cs5754/lectures/interaction_part1.pdf.

Bowman D. (2006) 3D Interaction Techniques for Virtual Environments: Travel

http://courses.cs.vt.edu/~cs5754/lectures/interaction_part2.pdf.

Bowman D., Kruijff E.; LaViola J.; Poupyrev Ivan (2004). 3D User Interfaces: Theory and
Practice, Addison Wesley.

16
Coffin Chris, Hollerer Tobias (2006) Interactive Perspective Cut-away Views for General
3D Scenes. Proceedings of IEEE Symposium on 3D User Interfaces 2006, Alexandria,
Virginia, USA, 25-28.

Deligiannis Leonidas, Jacob Robert J. K. (2006).The Vr Scooter: Wind and Tactile

Feedback Improve user Performance. Proceedings of IEEE Symposium on 3D User
Interfaces 2006, Alexandria, Virginia, USA, 143-150.

Ernst Kruijff (2000). System Control,

http://people.cs.vt.edu/~bowman/3dui.org/course_notes/siggraph2000/systemcontrol.pdf.

Keir Paul, Payne, Jonh Elgoyhen, Jocelyn Horner, Martyn Naef, Martin Anderson Paul
(2006). Gesture recognition with Non-refrenced Tracking. Proceedings of IEEE
Symposium on 3D User Interfaces 2006, Alexandria, Virginia, USA, 151-158.

LaViola J.(2001) Devices for 3D Interaction in Virtual Reality,

http://people.cs.vt.edu/~bowman/3dui.org/course_notes/siggraph2001/io.pdf

Pierce Jeffrey S., Pausch Randy (2002). Comparing Voodoo Dolls and Homer: Exploring
Importance of Feedback. Proceedings of Virtual Environment. CHI 2002. Minneapolis,
Minesota, USA.

Poupyrev I (2000). 3D Manipulation Techniques,

http://people.cs.vt.edu/~bowman/3dui.org/course_notes/siggraph2000/manipulation.pdf.

Schmidt Greg, Brown Dennis G., Tomlin Erik B., Swan J. Edward , Baillot Yohan (2006).
Toward Disambiguating Multiple Selections for Frustum-Based Pointing. Proceedings of
IEEE Symposium on 3D User Interfaces, Alexandria, Virginia, USA, 87-94.

Steed Anthony (2006). Towards a General Model for Selection. Proceedings of Virtual
Environment in IEEE Symposium 3D User Interfaces, Alexandria, Virginia, USA, 103-
110.

Wikipédia, http://en.wikipedia.org/wiki/Main_Page

Wyss Hans, Balch Roland, Bues Mathias (2006). ISith – Intersection-based Spatial
Interaction for Two Hands. Proceedings of IEEE Syposium on 3D User Interfaces 2006,
Alexandria, Virginia, USA, 59-61.

17