Você está na página 1de 333

 

VII WORKSHOP DE REALIDADE 
VIRTUAL E AUMENTADA 
WRVA'2010 
08 a 11 de Novembro de 2010 
São Paulo  SP Brasil 
 

Faculdade de
Computação e Informática
 
 
ANAIS WRVA'2010 
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 

São Paulo (SP), 08 a 11 de Novembro de 2010 

 
COORDENADOR 

Luciano Silva 
Universidade Presbiteriana Mackenzie ‐ MACKENZIE 
 

EDITADO POR 
Luciano Silva 
Universidade Presbiteriana Mackenzie ‐ MACKENZIE 

ii 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
006.3  Workshop de Realidade Virtual e Aumentada; 7. : 2010 : São Paulo, SP. 
W873  [Anais do] WRVA’2010 7 Workshop de Realidade Virtual e Aumentada, 08 a 11 
  de Novembro de 2010, São Paulo ‐ SP / Luciano Silva (org.). – São Paulo : 
MackPesquisa,  Mackenzie‐Faculdade de Computação e Informática : Sociedade 
Brasileira de Computação 2010. 
 
     313p. + xx 
 
      Bibliografia 
 
      ISSN 1982‐1657   
     
      1. Realidade Virtual. 2. Realidade Aumentada. 3. Linguagens – Bibliotecas. 
 
I. Silva, Luciano. II. Título. 
 
 

 
 

iii 

 
 

PROCEEDINGS WRVA'2010 
VII WORKSHOP ON VIRTUAL AND AUGMENTED REALITY 

São Paulo (SP), November 08‐11, 2010 

 
CHAIR 

Luciano Silva 
Universidade Presbiteriana Mackenzie ‐ MACKENZIE 
 

EDITED BY 
Luciano Silva 
Universidade Presbiteriana Mackenzie ‐ MACKENZIE 
 

iv 

 
WRVA'2010 
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 
 
 
Realização: 
 
Faculdade de
Computação e Informática 
 
 
 
Apoio: 
 
 

                        
 
 
 
 
 
 
 
 

 
WRVA'2010 
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 
 
 
Comitê Organizador 
 
 
Luciano Silva (Chair) ‐ Mackenzie‐SP 
Beatriz de Almeida Pacheco Fronterotta (Vice‐Chair) ‐ Mackenzie‐SP 
 
Ismar Frango Silveira ‐ Mackenzie‐SP 
Ilana de Almeida Souza ‐ Mackenzie‐SP 
Maria Amelia Eliseo‐ Mackenzie‐SP 
 

vi 

 
WRVA'2010 
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 
 
 
Comitê de Programa 
 
 
Luciano Pereira Soares ‐ Chair ‐ PUC/RJ 
José Remo Ferreira Brega ‐ Vice‐Chair ‐ UNESP/Bauru 
 
Alberto Raposo ‐ PUC‐Rio 
Alexandre Cardoso ‐ UFU 
Anderson Maciel ‐ UFRGS 
Antonio Carlos Sementille ‐ UNESP 
Arthur Augusto Bastos Buccioli – UEMG 
Asla Medeiros e Sá ‐ FGV 
Beatriz de Almeida Pacheco ‐ MACKENZIE‐SP 
Bianchi Serique Meiguinis – UFPA 
Carlos Morimoto ‐ USP 
Celso Kurashima ‐ UFABC 
Claudio Kirner ‐ UNIFEI 
Creto Vidal ‐ UFC  
Cristina Vasconcelos ‐ UFF  
Daniela Kutschat Hanns ‐ SENAC‐SP 
Edgard Afonso Lamounier Júnior – UFU 
Eduardo Albuquerque ‐ UFG 
Eliane Raimann ‐ IFET/GO 
Eunice Nunes ‐ UFMT 
Ezequiel Roberto Zorzal ‐ IFET/SP 
Fátima de Lourdes dos Santos Nunes – USP 
Glauco Todesco ‐ Universidade de Sorocaba 
Ildeberto Aparecido Rodello ‐ FEARP/USP 
Joaquim Bento Cavalcante‐Neto ‐ UFC 
José Barbosa Jr. ‐ UFU e IFET/GO 
Jose Paiva ‐ UFU 
Jucelino Araujo ‐ Iles/Ulbra 

vii 

 
Judith Kelner ‐ UFPE 
Kenedy Lopes Nogueira ‐ UFU 
Luciana Nedel ‐ UFRGS 
Luciano Silva  ‐  Mackenzie‐SP  
Liliane Machado – UFPB 
Luiz Fernando Braga Lopes – UFU 
Manuel Loaiza ‐ PUC‐Rio 
Marcelo de Paiva ‐ Faculdade Campo Limpo Paulista 
Marcio Lobo Netto ‐ USP 
Marcos Wagner Souza Ribeiro ‐ UFG ‐ Jataí 
Mario Massakuni Kubo ‐ FATEB 
Monica Oliveira ‐ UFU 
Paulo Bressan ‐ Universidade Federal de Alfenas 
Robson Siscoutto ‐ Universidade de Cuiabá 
Romero Tori ‐ USP e Senac/SP 
Rosa Maria Costa ‐ UERJ 
Selan Rodrigues dos Santos ‐ UFRN 
Veronica Teichrieb – UFPE 
Wender Antônio da Silva ‐ UFRR 
 

viii 

 
WRVA'2010 
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 
 
 
Revisores 
 
Alberto Raposo  PUC‐Rio
Alexandre Cardoso  UFU
Anderson Maciel  Universidade Federal do Rio Grande do Sul
Antonio Carlos Sementille Universidade Estadual Paulista ‐ UNESP
Arthur Augusto Bastos  Universidade Federal de Uberlândia 
Bucioli 
Asla Medeiros e Sá  Fundação Getúlio Vargas
Bianchi Meiguins  Universidade Federal do Pará 
Carlos Morimoto  USP
Celso Kurashima  Universidade Federal do ABC 
Claudio Kirner  Universidade Federal de Itajubá ‐ UNIFEI
Creto Vidal  Federal University of Ceará 
Cristina Vasconcelos  Universidade Federal Fluminense 
Daniel Trindade  Pontificia Universidade Católica 
Daniela Kutschat Hanns  CAS_SENAC SP/ FAUUSP
Edgard Lamounier  UFU
Eduardo Albuquerque  UFG
Eliane Raimann  IFGoias ‐ Jataí
Eunice Nunes  Universidade Federal de Mato Grosso
Ezequiel Roberto Zorzal  Universidade Federal de São Paulo ‐ UNIFESP
Fatima Nunes  EACH‐USP
Glauco Todesco  Universidade de Sorocaba 
Henrique Debarba  Universidade de Caxias do Sul 
Herbet Rodrigues  Universidade Federal da Paraíba 
Ildeberto Rodello  FEARP ‐ USP
Jerônimo Grandi  Universidade de Caxias do Sul 
Joaquim Bento Cavalcante‐ Universidade Federal do Ceará 
Neto 
Jose Remo F. Brega  UNESP ‐ Bauru
Jose Paiva  Universidade Federal de Uberlandia 
Jucelio C. Araujo  Iles‐Ulbra

ix 

 
Judith Kelner  CIn ‐ UFPE
Kenedy Nogueira  Universidade Federal de Uberlândia 
Leonardo Fischer  Universidade Federal do Rio Grande do Sul
Liliane Machado  Universidade Federal da Paraíba 
Lucas Teixeira  PUC‐Rio
Luciana Nedel  UFRGS
Luciano Silva  Universidade Presbiteriana Mackenzie
Luciano Soares  PUC‐Rio  ‐ Pontifícia  Universidade  Católica  do 
Rio de Janeiro 
Luiz Fernando Braga Lopes UFU
Manuel Loaiza  Tecgraf ‐ Depto. de Informática, PUC‐Rio
Marcelo de Paiva  Instituto  Fed.  de  São  Paulo/Faculdade  Campo 
Guimarães  Limpo Paulista 
Marcio Netto  EPUSP
Marcos Wagner Souza 
Ribeiro  Universidade Federal de Goiás ‐ Campus Jataí 
Marcus Alencar  PUC
Marilena Maule  UFRGS
Mario Kubo  FATEP
Monica Oliveira  UFU
Paulo Bressan  Universidade Federal de Alfenas 
Robson Siscoutto  Universidade de Cuiabá
Romero Tori  Centro  Universitário  Senac  /  Universidade  de 
Sao Paulo 
Rosa Maria Costa  Universidade do Estado do Rio de Janeiro
Selan dos Santos  Universidade Federal do Rio Grande do Norte
Thaise Costa  UFPB
Veronica Teichrieb  Centro de Informática ‐ UFPE 
Wender Silva Universidade Federal de Roraima 
 

 
SUMÁRIO 
 
 
Mensagem ‐ Presidente da CERV  ................................................................... 1 
Mensagem ‐ Comitê Organizador  ................................................................... 2 
Mensagem ‐ Comitê de Programa  ................................................................... 3 
Mini‐cursos  ............................................................................................................ 4 
Palestras  ............................................................................................................ 5 
 
 
TRABALHOS COMPLETOS/FULL PAPERS 
 
Jogos em Realidade Virtual e Aumentada                  
Chair: Ilana de Almeida Souza 

Uma Arquitetura para Integração de Sistemas Hápticos e Engines de Jogos ...........................  8 
Herbet Rodrigues, Liliane Machado, Universidade Federal da Paraíba, Brasil. 
 
Análise de um Sistema de Interação Tangível 3D para Jogos com Realidade Aumentada ...... 14 
Daniel Tokunaga, University of São Paulo, Brasil 
Silvio Sanches, Escola Politécnica da Universidade de São Paulo, Brasil 
Fernando Tsuda, Escola Politécnica da USP, Brasil 
Ricardo Nakamura, POLI‐USP, Brasil 
Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil. 
 
Livro Interativo de Xadrez Potencializado com Realidade Aumentada .................................... 20 
Raryel Souza, Universidade Federal de Itajubá (UNIFEI), Brasil 
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil. 
 
Desenvolvimento de um Jogo Tridimensional com Realidade Aumentada ............................. 26 
Kleber Silva, UNIFEI, Brasil, 
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil. 
 
 
 
 

xi 

 
Aplicações em Engenharia Elétrica 
Chair: Ismar Frango Silveira 
 
Realidade Aumentada para Auxiliar o Aprendizado de Motor Elétrico ................................. 32 
Roberto Costa Junior, Roberto Claudino da Silva, Christopher Cerqueira, Universidade  
Federal de Itajubá, Brasil 
Antonio Almeida, UNIFEI, Brasil. 
 
Ferramenta de Auxilio ao Aprendizado de Motores com o Uso de Realidade Virtual ............ 37 
Wedson Gomes, Universidade Federal de Uberlândia, Brasil 
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. 

Uso de Realidade Aumentada na melhoria do processo de ensino‐aprendizagem ............... 42 
de motores elétricos 
Fábio Henrique Monteiro Oliveira, Universidade Federal de Uberlândia, Brasil 
Eliane Raimann, IFGoias ‐ Jataí, Brasil 
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. 

Desenvolvimento de uma Arquitetura para Distribuição de Realidade


Aumentada na Web Aplicada ao Ensino de Motores de Corrente Contínua ......................... 47 
Marlus Dias Silva, Eduardo Santos, Universidade Federal de Uberlândia, Brasil 
Renato Oliveira Abreu, Instituto Federal de Educação, Ciência e Tecnologia de Goiás, Brasil 
Alexandre Cardoso, Edgard Lamounier, UFU, Brasil. 
 
Ambientes Virtuais 
Chair: Alexandre Cardoso 
 
Humano Virtual ou Virtual Humano ‐ O devir do processo de criação em  
ambientes imersivos ................................................................................................................. 54 
Luciana Louro, Donizetti Louro, Pontificia Universidade Catolica de São Paulo, Brasil. 

Museu 3I: Publicação e Visitação Online de Acervos Tridimensionais .................................... 60 
Eduardo Lucena Falcão, UFPB, Brasil 
Liliane Machado, Universidade Federal da Paraíba, Brasil. 

X3D e Integração Multimídia para Representação de um Sítio Arqueológico ........................ 66 
Daniel Pires de S∙ Medeiros, UFPB, Brasil. 
Liliane Machado, Universidade Federal da Paraíba, Brasil. 

Sistema Solar com Realidade Aumentada ........................................................... 72


Eduardo Okawa, Universidade Federal de Itajubá, Brasil 
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil 
Tereza Kirner, UNIFEI, Brasil. 
 

xii 

 
Técnicas de Interação 
Chair: José Remo Ferreira Brega 
 
Reconhecimento de Gestos com Segmentação de Imagens Dinâmicas  
Aplicadas a Libras ...................................................................................................................... 78 
Adilson Pavan, Fábio Caravieri Modesto, Anhanguera Educacional, Brasil. 
 
Controle de Navegação em Ambientes Virtuais 3D através do Rastreamento de Objetos ..... 84 
Matheus Gadelha, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil. 
 
Melhorando o desempenho do rastreamento de pontos de interesse em imagens  
através do paralelismo em GPU ................................................................................................ 90 
Crystian Leão, Universidade Federal de Pernambuco, Brasil 
Joãoo Marcelo Teixeira, CIn ‐ UFPE, Brasil 
Eduardo Albuquerque, UFG, Brasil 
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil 
Judith Kelner, CIn ‐ UFPE, Brasil. 
 
Metodologia de geração de dados de referência para rastreamentos ópticos ..................... 96 
Lucas Teixeira, PUC‐Rio, Brasil 
Manuel Loaiza, Tecgraf ‐ Depto. de Informática, PUC‐Rio, Peru 
Alberto Raposo, Marcelo Gattass, PUC‐Rio, Brasil. 
 
 
 
 
Fatores Humanos 
Chair: Fátima Nunes 
 
Estudo Comparativo sobre a Percepção de Pistas Sonoras em Ambientes Virtuais ............. 103 
Alyson Souza, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil. 
 
Conceitos de Presença ........................................................................................................... 109 
Fernando Obana, Universidade do Estado de Mato Grosso, Brasil 
Romero Tori, Centro Universitário Senac / Universidade de São Paulo, Brasil. 
 
Realidade Aumentada e Publicidade: Até onde pode ir essa relação ? ............................... 113 
Antonio Lutfi, Alberto Raposo, PUC‐Rio, Brasil. 
 
 
 

xiii 

 
Visualização 
Chair: Claudio Kirner 
 
Evaluating the CapCam: a device for thermal inspection of electrical equipment ............. 120 
Eduardo Souza, UFPE, Brasil 
Luis Arthur Vasconcelos, Universidade Federal de Pernambuco, Brasil 
João Marcelo Teixeira, CIn ‐ UFPE, Brasil 
Eduardo Albuquerque, UFG, Brasil 
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil 
Judith Kelner, CIn ‐ UFPE, Brasil. 
 
Java 3D para Sistemas de Multiprojeção utilizando Aglomerados Gráficos ...................... 126 
Diego Colombo Dias, Universidade Estadual Paulista, Brasil 
Anthony Ferreira La marca, Universidade Paulista, Brasil 
Mario Popolin, UNESP, Brasil 
Jose Brega, UNESP ‐ Bauru, Brasil 
Marcelo de Paiva Guimarães, Instituto Federal de São Paulo/Faculdade Campo Limpo  
Paulista, Brasil 
José Roberto Pereira Lauris, USP, Brasil. 
 
Uma plataforma para visualização estereoscópica horizontal ............................................ 132 
Bruno Madeira, Instituto Nacional de Matemática Pura e Aplicada, Brasil 
Luiz Velho, IMPA, Brasil. 
 
Aplicações em Realidade Virtual e Aumentada 
Chair: Liliane Machado 
 
 
Desafios e Oportunidades da Engenharia Cognitiva na Concepção de Sistemas  
de Realidade Virtual e Aumentada ....................................................................................... 137 
Eunice Nunes, Universidade Federal de Mato Grosso, Brasil 
Lucia Vilela Leite Filgueiras, Universidade de São Paulo, Brasil 
Fatima Nunes, EACH‐USP, Brasil 
Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil. 
 
Análise De Técnicas De Limiarização Adaptativa Para Realidade Aumentada  
Embarcada .............................................................................................................................. 143 
Bernardo Reis, João Marcelo Teixeira, CIn ‐ UFPE, Brasil 
Eduardo Albuquerque, UFG, Brasil 
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil 
Judith Kelner, CIn ‐ UFPE, Brasil. 
 
 

xiv 

 
 
Utilização de Realidade Aumentada num Mapa em Suporte de Papel para  
a Gestão de Crises .................................................................................................................... 148 
Luis Ponciano, Instituto Universitario de Lisboa, Portugal 
Miguel Dias, Microsoft, Portugal. 
 
PROVAR: Interface com Realidade Aumentada para Comércio Eletrônico ............................ 155 
Hipólito Douglas Moreira, Universidade Federal de Itajubá, Brasil 
Tereza Kirner, UNIFEI, Brasil 
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil. 
 
 
 
Realidade Aumentada na Educação 
Chair: Luciana Nedel 
 

Usando a Realidade Aumentada no Desenvolvimento de Software  
Educacional para Aprendizagem de Datilologia ..................................................................... 162 
Cleberson Forte, Faculdade Anhanguera de Piracicaba / FATEC Americana, Brasil, Renan 
Andrade, Roosevelt Guedes, Marco Cavallari, Faculdade Anhanguera de Piracicaba, Brasil. 
 

Aplicações de Realidade Aumentada para Ensino de Física no Instituto Federal  
de Educação, Ciência e Tecnologia de Goiás Campus Jataí ..................................................... 166 
Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás, 
Brasil,  Vanessa  Xavier  de  Camargo,  Federal  University  of  Goias,  Brasil,  Eliane  Raimann, 
Instituto  Federal  de  Goiás  ‐  Jataí,  Brasil,  Italo  Tiago  da  Cunha,  Universidade  Federal  de 
Goiás, Brasil, Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, 
Brasil. 
 
SELTRA ‐ Learning Traffic Laws by using Augmented Reality ................................................. 172 
Edison Jesus, Isabela Drummond, Universidade Federal de Itajubá, Brasil. 
 
Uso de Realidade Aumentada e Reconhecimento de Voz Como Ferramenta  
de Apoio ao Aprendizado Para Pessoas com Dislexia ........................................................... 178 
Emilia Alves Nogueira, Universidade Federal de Goias, Brasil 
Bruno  Rocha,  Rafael  Tomaz  Parreira,  Universidade  Federal  de  Goiás,  Brasil,  Thamer 
Horbylon  Nascimento,  Universidade  Federal  de  Goiás,  Brasil  Vanessa  Xavier  de  Camargo, 
Federal University of Goias, Brasil, Laurence Amaral, Universidade Federal de Goiás, Brasil, 
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil 
Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás, 
Brasil. 
 

xv 

 
Colaboração 
Chair: Judith Kelner 
 
Um Estudo sobre Manipulação Cooperativa em Ambientes Virtuais Colaborativos ........... 185 
Paulo Paiva, Instituto Federal de Educação, Ciência e Tecnologia da Paraíba (IFPB), Brasil 
Liliane Machado, Universidade Federal da Paraíba, Brasil. 
 
Ambiente Virtual Colaborativo para Auxílio no Processo de  
Ensino‐Aprendizagem em disciplinas de Algoritmo e Programação de Computadores ....... 191  
Luciana  Berretta,  Fabrizzio  Soares,  Márcio  Cunha  Fernandes,  Universidade  Federal  de 
Goiás, Brasil 
Eliane Raimann, Instituto Federal de Goiás ‐ Jataí, Brasil 
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil 
 
On Interoperability Between Online Virtual Worlds And Augmented Reality..................... 196 
Rui de Almeida, ISCTE ‐ IUL Lisboa, Portugal 
Miguel Dias, Microsoft, Portugal. 
 
Realidade Virtual na Educação 
Chair: Edgard Lamounier 
 
Uso de Realidade Virtual e Aumentada como Ferramenta Complementar  
ao Ensino das Principais Ligações entre Átomos.................................................................. 203 
Dionata Araújo, Instituto Luterano de Ensino Superior ‐ ULBRA, Brasil 
Nayara Vieira, ULBRA/Itumbiara, Brasil. 
 
Simulador para Treinamento de Operadores de Colheitadeira Axial de Grãos .................... 209 
Tales Bogoni, PUCRS, Brasil 
Benevid Felix da Silva, Giovane Maia do Vale, Ivan Luiz Pedroso Pires, Everton Valdomiro 
Pedroso Brum, UNEMAT, Brasil 
Marcio Pinho, Pontifícia Universidade Católica do Rio Grande do Sul, Brasil. 
 
Sistema de Ensino de Física Óptica Geométrica da Reflexão em Espelhos  
Usando Realidade Virtual ....................................................................................................... 214 
Rafael Tomaz Parreira, Universidade Federal de Goiás, Brasil 
Vanessa Xavier de Camargo, Federal University of Goiás, Brasil 
Bruno Rocha, Universidade Federal de Goiás, Brasil 
Emilia Alves Nogueira, Universidade Federal de Goias, Brasil 
Thamer Horbylon Nascimento, Universidade Federal de Goiás, Brasil 
Marcelo Freitas, Universidade Federal de Goiás, Brasil 
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil 
Clarissa  Xavier  de  Camargo,  Federal  Institute  of  Education,  Science  and  Technology  of 
Goiás, Brasil. 

xvi 

 
Aplicações Médicas 
Chair: Rosa Maria Costa 
 

Web‐based Augmented Reality applied to upper limb simulation ........................................ 219 
Jean Maurice G. Gagnepain, Kenedy Nogueira, Universidade Federal de Uberlândia, Brasil 
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. 
 
Visualização do Tratamento Ortodôntico Utilizando Realidade Virtual e Realidade  
Aumentada ............................................................................................................................... 224 
Daniela Uebele, Universidade Santa Cecília, Brasil 
Giuliano Moraes, FATEC de Praia Grande, Brasil 
Alexandre Cardoso, Edgard Lamounier, UFU, Brasil. 
 
Utilização de redes neurais para a classificação de sinais EMG aplicados no  
controle de próteses virtuais de mão ..................................................................................... 230 
Fernando Mattioli, Daniel Stefany Duarte Caetano, Wedson Gomes 
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil. 
 
Produção de um laboratório virtual para treinamento na utilização de  
equipamento para captação de sinal biomédico .................................................................... 236 
Marcel Nagm, Universidade Federal de Roraima, Brasil 
Fabio Parreira, Universidade Federal de Uberlândia, Brasil 
Wender Silva, Luciano Ferreira Silva, Universidade Federal de Roraima, Brasil. 
 
Desenvolvimento 
Chair: Miguel Dias 
 
Modificações geométricas aplicadas a elementos reais em aplicações de RA ..................... 242 
Crystian Leão, João Lima, Federal University of Pernambuco, Brasil 
Veronica Teichrieb, Judith Kelne,  Centro de Informática ‐ UFPE, Brasil 
Eduardo Albuquerque, UFG, Brasil. 
 
Aplicações baseadas em Grafo de Cena‐ uma abordagem estrutural para critérios  
de teste .................................................................................................................................... 247 
Adriano Bezerra, Marcio Delamaro, Universidade de São Paulo, Brasil 
Fatima Nunes, EACH‐USP, Brasil. 
 
Reconstrução de Superfícies a Partir de Pontos não‐organizados ........................................ 253 
Caio Santiago, Helton Biscaro, Universidade de São Paulo, Brasil 
 
A platform for of Spatial Augmented Reality .......................................................................... 259 
Julio Lucio, VISGRAF, Luiz Velho, IMPA, Brasil. 

xvii 

 
PÔSTERES 
 
 
Dispositivos Hápticos: Tendências No Desenvolvimento E Limitações De Uso  
Para Suporte A Ambientes Autênticos De Aprendizagem ................................................... 265 
Wilson M. Silva, UFPE, Brasil. 
 
Interface De Realidade Virtual Para Gerenciamento E Monitoramento De Redes ............... 267 
Affonso  Moia  Vieira,  Ingrid  Aigner  Ostroski,  Renan  Bergamin  Stuchi,  Bruno  Monteiro  Dos 
Santos,  Flávio  Yukio  Nakabayashi,  Raphael  Zanguettin  Parra,  Yuri  Costa  Da  Mata,  José 
Ferreira Remo Brega, UNESP, Brasil. 
 
Métodos  E  Ferramentas  Para  O  Desenvolvimento  De  Cenários  De  Um  Sistema  De 
Treinamento De Pilotos De Helicóptero ................................................................................ 269 
Mairlo Hideyoshi Guibo Carneiro Da Luz, Alexandre Carlos Brandão Ramos, Edison Oliveira 
De Jesus, Felix Mora Camiño, Universidade Federal De Itajubá, Brasil. 
 
 
Uso  Da  Realidade  Aumentada  Como  Ferramenta  Auxiliar  Ao  Vídeo  Educacional  No  Ensino 
Presencial E À Distância ............................................................................................................271 
Eduardo  Luis  Schneider,  André  Grassi,  Leonardo  Piccoli,  Daiana  Vivan,  Maria  Isabel  Timm, 
UFRGS, Brasil. 
 
Modelagem De Objetos Para Ambientes Virtuais Exteriores ................................................ 273 
Andson Felipe Pontes Belo, Thaíse Kelly De Lima Costa, UFPE, Brasil. 
 
Proposta De Um Sistema De Realidade Aumentada Para Auxiliar No Tratamento Da Doença 
De Alzheimer ............................................................................................................................ 275 
Keynes M. Kanno, Fábio H. M. Oliveira, Edgard A. Lamounier Jr., Alexandre Cardoso, Ederaldo J. 
Lopes, Universidade Federal De Uberlândia, Brasil. 
 
 
Implementação  Em  Java  De  Uma  Estrutura  De  Dados  Para  A  Representação  De  Malhas 
Elásticas Em Modelos Com Geometrias Complexas ............................................................... 277 
Mariana Porlan Navarro, Helton Hideraldo Bíscaro, Fátima. L. S. Nunes, EACH‐USP, Brasil. 
 
Visualização De Estruturas Hierárquicas Por Meio De Técnicas De Realidade Virtual .......... 279 
Daniel S. D. Caetano, Fernando E. R. Mattioli, Lucas P. Vasconcelos, Keynes M. Kanno, Lázaro V. 
O.  Lima,  Alexandre  Cardoso,  Edgard  A.  Lamounier  Jr.,  Universidade  Federal  De  Uberlândia, 
Brasil. 
 
Low Cost Equipment For First Person Augmented Reality Systems ...................................... 281 
Christopher Shneider Cerqueira, Universidade Federal De Itajubá, Brasil. 

xviii 

 
 
A Realidade Virtual Como Instrumento De Estudo De Concepções Espontâneas  
Em Dinâmica ............................................................................................................................. 283 
Leandro  Rezende  Franco,  Ruberley  Rodrigues  De  Souza,  Eliane  Raimann,  IFG,  Campus 
Jataí, Brasil. 
 
A Utilização De Um Ambiente De Realidade Aumentada No Ensino Fundamental E Médio E A 
Difusão Da Robótica Móvel – Acesso Pela Web ..................................................................... 285 
Fábio  Akira  Nazima,  Marcelo  De  Souza  Augusto  Zanetti,  Antônio  Carlos  Sementille, 
Humberto 
Ferasolli Filho, João Fernando Marar, UNESP, Brasil. 
 
Proposta De Arquitetura De Uma Ferramenta De Desenvolvimento De Software De Realidade 
Virtual Multi‐Participativo Utilizando Dispositivos Móveis Como  
Ferramenta De Interação ......................................................................................................... 287 
Alexandre Carvalho Silva, Ligia Christine Oliveira Sousa, Marcos Wagner De Sousa Ribeiro, 
Universidade Federal De Goiás, Brasil. 
Alexandre Cardoso, Edgard Lamounier, Universidade Federal De Uberlândia, Brasil. 
 
Entendendo  E  Padronizando  Ambientes  Para  Videoconferência  Em  Ambiente  De  Realidade 
Virtual ....................................................................................................................................... 289 
Rainier A. F. Sales, PUC‐MG, Brasil. 
 
Ambiente  Inteligente  Para  Visualização  De  Plantas  E  Maquetes  3d  Baseado  Em  Realidade 
Virtual Utilizando OpenGL ....................................................................................................... 291 
Alexandre Cardoso, Bruno Souto Borges, Edgard Lamounier, Hulgo Leonardo Jacinto Andrade, 
Marcos Wagner Souza Ribeiro, Pedro Moises, Roger Luz, Instituto Luterano De Ensino Superior 
De Itumbiara, Brasil. 
 
USO  DA  REALIDADE  VIRTUAL  COMO  FERRAMENTA  COMPLEMENTAR  DE  ENSINO  DA 
GEOGRAFIA ............................................................................................................................... 293 
Bruno Souto Borges, Leisson Pereira Fonseca, Pedro Moises De Sousa, Roger Armandio Luz, 
Vinícius Brás Feliciano, Instituto Luterano De Ensino Superior De ItumbiaraMarcos Wagner 
Sousa Ribeiro, Universidade Federal De Goiás, Brasil. 
 
Documentação Digital Do Patrimônio: Uma Implementação Virtual De Um Edifício Com Valor 
Histórico ................................................................................................................................... 295 
Maria  Amelia  Eliseo,  Ismar  Frango  Silveira,  Fabio  Silva  Lopes,  Beatriz  A.  Pacheco 
Fronterotta, Universidade Presbiteriana Mackenzie, Brasil. 
 
Sistemas Supervisórios Virtuais ............................................................................................. 297 
Kenedy  Lopes  Nogueira,  Keila  De  Fátima  C.  Nogueira,  Gerson  Flavio  Mendes  De  Lima, 
Edgard A. Lamounier, Alexandre Cardoso, Universidade Federal De Uberlândia, Brasil. 
 

xix 

 
Panorama Atual Da Realidade Virtual E Aumentada No Brasil ........................................... 299 
Luciana  De  Oliveira  Berretta,  Fabrizzio  Alphonsus  Alves  De  Melo  Nunes  Soares,  Deborah 
Silva Alves Fernandes, Universidade Federal De Goiás, Brasil. 
Edgard  Lamounier,  Alexandre  Cardoso  E  Marcos  Wagner  De  Souza  Ribeiro,  Universidade 
Federal De Uberlândia, Brasil. 
 
Realidade Aumentada Interativa: Um Estudo De Caso Com O Ensino Do  
Movimento Circular ................................................................................................................ 301 
Vanessa Avelino Xavier De Camargo, Bruno Moraes Rocha, Clarissa Avelino Xavier De 
Camargo, Emília Alves Nogueira, Rafael Tomaz Parreira, Thamer Horbylon Nascimento, 
Marcos Wagner De Souza Ribeiro, Joslaine Cristina Jeske De Freitas, Universidade Federal 
De Goiás, Campus Jataí, Brasil. 
 
Uso Da Realidade Virtual Como Ferramenta Auxiliar No Ensino Das Três Leis De  
Newton Da Física ...................................................................................................................... 303 
Thamer Horbylon Nascimento, Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz 
Parreira, Vanessa Avelino 
Xavier  De  Camargo,  Wanderley  De  Souza  Alencar  E  Marcos  Wagner  De  Souza  Ribeiro, 
Universidade Federal De Goiás,Campus Jataí, Brasil. 
 
 
Realidade Virtual Como Apoio No Tratamento Da Siderodromofobia ................................ 305 
Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier 
De Camargo, Thamer Horbylon Nascimento, Fabrizzio Alphonsus Soares De Melo Nunes E 
Marcos Wagner De Souza Ribeiro, Universidade Federal De Goiás, Campus Jataí, Brasil. 
 
Desenvolvimento De Uma Arquitetura Para A Distribuição De Realidade Virtual  
E Aumentada Aplicada Na Educação ....................................................................................... 307 
Keila  Nogueira,  Kenedy  Nogueira,  Edgard  A.  Lamounier,  Alexandre  Cardoso,  Universidade 
Federal De Uberlândia, Brasil. 
 
Uso De Realidade Virtual Como Ferramenta Complementar Ao Ensino  
De Problemas Matemáticos ..................................................................................................... 309 
Nayara Da Silva Vieira, Dionata Martins De Araújo, Instituto Luterano De Ensino Superior 
De Itumbiara, Brasil. 
 
Realidade Aumentada No Marketing: Merchandising De Produtos Eletrônicos Na Web ......311 
Antônio  S.  Veloso,  Carlos  Alberto  C.  Ramos,  Elizângela  S.  Moreno,  Jullyandry  Coutinho, 
Pedro Ivo L. Souza, Jacquelaine A. Machado, Faculdade Atual Da Amazônia, Brasil. 
Wender A. Silva, Universidade Federal De Roraima, Brasil. 
 
 

xx 

 
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

MENSAGEM DO PRESIDENTE DA CERV/SBC 
 
É  com  imenso  prazer  que,  em  nome  da  Comissão  Especial  de  Realidade  Virtual  da 
Sociedade  Brasileira  de  Computação  (CERV/SBC),  apresentamos  nossas  mais  cordiais 
boas  vindas  a  todos  participantes  do  Workshop  de  Realidade  Virtual  e  Aumentada 
(WRVA 2010)!  
 
Este ano, o evento está em sua sétima edição e mostra de forma contundente o avanço 
da área no território nacional, seja no mundo acadêmico ou no mundo empresarial. Este 
avanço não seria concretizado sem o esforço dos profissionais de educação e pesquisa, 
e seus respectivos aprendizes, presentes nos laboratórios de nossas universidades.  
 
Mas,  mesmo  assim,  sentimos  que  temos  ainda  um  longo  caminho  a  percorrer  no 
sentido  de  explorar  os  benefícios  que  esta  tecnologia  pode  proporcionar  aos  seres 
humanos. Dentre outras, esta é uma grande motivação para a realização deste encontro 
científico:  apresentar  e  discutir  os  desafios  da  área  para  os  estudantes  de  uma 
determinada  região  do  país,  a  fim  de  identificar  e  capacitar  os  futuros  profissionais  a 
conquistar estes desafios. 
 
Portanto,  gostaríamos  de  agradecer,  profundamente,  à  Universidade  Presbiteriana 
Mackenzie, São Paulo‐SP, não somente pela calorosa acolhida nas salas e corredores de 
sua instituição, mas também pelo suporte providenciado para a realização do workshop. 
Especificamente,  somos  muito  gratos  aos  seus  professores  Luciano  Silva,  Beatriz 
Pacheco,  Ismar  Frango  e  demais  colegas  da  Comissão  Organizadora  pelo  grandioso 
trabalho, seriedade e profissionalismo dedicados ao evento, que certamente garantiram 
o sucesso do mesmo, confirmando assim o que alguém uma vez disse: “Que ninguém se 
engane só se consegue a simplicidade através de muito trabalho”. 
 
Igualmente, a CERV/SBC, reconhece e agradece ao trabalho da Comissão de Programa, 
liderada  pelo  empenho  dos  professores  Luciano  Soares  e  José  Remo  Brega  pela 
constante  preocupação  em  preservar  a  qualidade  científica  dos  artigos  a  serem 
apresentados. Sem dúvida, são ações como estas que alavancam os ideais de ensino e 
pesquisa  de  Realidade  Virtual  e  Realidade  Aumentada  em  nosso  país.  E,  certamente, 
providencia uma posição de destaque dos trabalhos brasileiros no cenário internacional. 
 
Finalmente,  gostaríamos  de  deixar  uma  palavra  para  nossos  estudantes.  Aproveitem! 
Este evento foi preparado com muito carinho para você. 
 
Sucesso a todos! 
 
 
Edgard Lamounier Jr.  
Presidente CERV/SBC – Gestão 2010/2012 
 

1
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
 
MENSAGEM DO COMITÊ ORGANIZADOR 
 
 
As áreas de Realidade Virtual e Aumentada têm recebido, nos últimos anos, um incrível 
impulso  não  só  do  ponto  de  vista  teórico  quanto  tecnológico.  Distribuições  de 
processamento e dados, novas formas de interação, bibliotecas e frameworks cada vez 
mais complexos, ubiquidade e mobilidade são alguns dos desafios que pesquisadores e 
estudantes enfrentam em salas de aulas e laboratórios. Assim, o incentivo à produção e 
intercâmbio acadêmicos e industricias devem ser práticas constantes para avanços cada 
vez  maiores  dessas  áreas.  Neste  contexto,  o  Workshop  de  Realidade  Virtual  e 
Aumentada,  em  sua  sétima  edição,  vem  cumprir  uma  parte  muito  significativa  desta 
tarefa:  proporcionar  interações  acadêmicas  e  industriais  nos  âmbitos  nacional  e 
internacional  a  alunos  e  pesquisadores,  através  de  mini‐cursos,  palestras  e 
apresentações de trabalhos completos e pôsteres. 
 
A  Universidade  Presbiteriana  Mackenzie,  em  particular  a  Faculdade  de  Computação  e 
Informática,  tem  o  prazer  de  recebê‐los  para  quatro  dias  onde  possamos  aumentar  a 
nossa rede de interação acadêmica e industrial. O conjunto de atividades foi planejado 
de  tal  forma  a  maximizar  a  acesso  a  todas  as  atividades  do  workshop  e  reflete  um 
trabalho conjunto de inúmeros colaboradores no Brasil e no exterior. 
 
Deixamos,  inicialmente,  os  nossos  agradecimentos  a  CERV/SBC,  nas  pessoas  dos 
professores  Claudio  Kirner  (ex‐presidente)  e  Edgard  Lamounier  Jr.  (atual  presidente), 
pela  confiança  e  apoio  na  condução  deste  evento.  Ao  comitê  organizador  da 
Universidade  Mackenzie  (Ismar,  Ilana,  Maria  Amélia)  pelo  excelente  trabalho 
desenvolvido. Ao comitê de programa, liderados pelo Luciano Soares e José Remo, pelo 
exímio trabalho condução das chamadas e revisões. Nossos agradecimentos também se 
estendem  aos  revisores,  professores  que  ministrarão  cursos,  palestrantes  e 
pesquisadores e estudantes que acreditaram no evento e enviaram suas contribuições. 
 
Agradecemos,  também,  ao  Prof.  Dr.  Arnaldo  Vallim,  diretor  da  Faculdade  de 
Computação  e  Informática,  por  todo  apoio  recebido.  Finalmente,  agradecemos  ao 
Fundo  MackPesquisa,  que  custeou  integralmente  o  evento,  abrindo‐nos  diversos 
caminhos internos para resolução de questões logísticas. 
 
 
 
 
Luciano Silva – Chair do Comitê Organizador 
Beatriz de Almeida Pacheco Fronterotta ‐ Vice‐Chair do Comitê Organizador 
 
 

2
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
 
MENSAGEM DO COMITÊ DE PROGRAMA 
 
 
Em  sua  sétima  edição,  o  Workshop  de  Realidade  Virtual  e  Aumentada  vem  se 
mostrando um evento da área cada vez mais importante no cenário nacional. Desde que 
a  CERV/SBC  (Comissão  Especial  de  Realidade  Virtual  da  Sociedade  Brasileira  de 
Computação) optou pela união entre o Workshop de Realidade Aumentada (2004, 2005 
e 2006) e o Workshop de Aplicações de Realidade Virtual (2005 e 2006), realizando o  
Workshop de Realidade Virtual e Aumentada (2007, 2008 e 2009), percebemos que um 
número  crescente  de  pesquisadores  vem  participando  e  apresentando  seus  trabalhos. 
Nesta  edição,  realizada  na  cidade  de  São  Paulo,  diversos  pesquisadores  dos  mais 
diversos cantos do Brasil e até do exterior estão presentes possibilitando a disseminação 
e troca de conhecimentos, além de motivar muitos estudantes para esta área. 
 
Este  ano  foram  realizadas  71  submissões  de  artigos,  apresentando  trabalhos  nas  mais 
diversas áreas da realidade virtual e aumentada, dos quais 44 foram selecionados para 
artigos  completos  por  apresentar  um  excelente  nível  de  qualidade,  assim  tornando  o 
evento mais inclusivo. Devido ao elevado número de submissões, tivemos que expandir 
o comitê de programa em quase o dobro para podermos realizar as revisões em tempo 
hábil.  Todos  os  artigos  sofreram  pelo  menos  3  revisões,  o  que  além  de  garantir  uma 
avaliação  mais  justa  serviu  como  forma  dos  membros  do  comitê  apontarem  diversos 
pontos  que  podem  ser  melhorados  nos  artigos  e  na  pesquisa  em  si.  Também  foram 
aceitos 24 pôsteres que serão apresentados durante a semana. 
   
Gostaríamos  de  agradecer  a  todo  o  apoio  da  CERV/SBC  representado  pelo  seu 
presidente  Edgard  Lamounier,  a  Universidade  Presbiteriana  Mackenzie  e  comitê 
organizador  do  WRVA2010,  liderado  pelo  Luciano  Silva,  além  de  todo  o  comitê  de 
programa e revisores que fizeram um excelente trabalho. 
 
Esperamos que VII Workshop de Realidade Virtual e Aumentada seja muito proveitoso 
para todos os participantes e desejamos que os leitores consigam aproveitar o conteúdo 
aqui presente e que lhes ajudem a compreender melhor o mundo da realidade virtual e 
aumentada. 
 
 
 
 
Luciano Pereira Soares – Chair do Comitê de Programa 
José Remo Ferreira Brega ‐ Vice‐Chair do Comitê de Programa 
 
 
 

3
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

MINI‐CURSOS 
 
Mini‐Curso 1: Augmented Reality: Principles and Techniques 
Miguel Sales Dias (Microsoft, Portugal) 
 
In  this  mini  course,  we  will  address  the  principles  and  foundations  of  Augmented  and 
Mixed Reality and will provide an historical perspective of this area, illustrating with an 
overview  of  the  performed  R&D,  at  the  Computer  Graphics  and  Multimedia  Lab  of 
ADETTI, in Portugal. The course will then focus  in the  key enabling technologies for AR, 
namely, presentation devices, tracking and HCI. Tracking will cover with some detail the 
techniques  behind  video‐based  marker  and  texture  tracking.  HCI  will  focus  in  tangible 
augmented  interfaces  and  gesture.  The  course  will  end  with  conclusions  and  open 
issues. 
 
 
 
Mini‐Curso 2: Desenvolvendo Aplicações de Realidade Aumentada para a Web 
Cláudio Kirner (UNIFEI), Alexandre Cardoso (UFU), Edgard Lamounier (UFU), Fábio 
Henrique (UFU), Pedro Cacique (UFU) 
 
O  lançamento  do  AS3  (ActionScript  3.0),  juntamente  com  o  ambiente  de 
desenvolvimento  Flex  2.0  e  o  Flash  player  9.0,  pela  Adobe  em  2006,  possibilitou  a 
evolução das aplicações RIA (Rich Internet Applications ‐ Aplicações Ricas para Internet). 
O desenvolvimento dessas aplicações possibilitou a criação de diversas ferramentas de 
apoio  para  a  criação  de  aplicações  de  RV  (Realidade  Virtual)  na  Web,  suportadas  pelo 
FlashPlayer.  Como  passo  seguinte,  a  extensão  destas  tecnologias  proveu  condições  de 
desenvolvimento  de  soluções  de  Realidade  Aumentada  (RA)  na  Web,  com  a  utilização 
de webcam e marcadores (impressos em papel comum) e da tecnologia FLARToolkit. O 
objetivo  deste  mini‐curso  é  apresentar  tal  tecnologia  como  ferramenta  para 
desenvolvimento  de  aplicações  de  RA  para  web  e  apresentar  alguns  conceitos  básicos 
da linguagem AS3, associado ao desenvolvimento com o FLARToolkit. 
 
 
 
Mini‐Curso 3: RV e RA em Jogos ‐ Aplicações e Perspectivas 
Fátima Nunes (USP), Liliane Machado (UFPB), Rosa Costa (UERJ) 
 
O mini‐curso mostra os principais conceitos de RV e RA aplicados ao desenvolvimento 
de jogos digitais, ambiente adequado para interações não‐convecionais via RV/RA. Além 
disto, são apresentadas perpectivas e tendências de uso de RV/RA em jogos. 
 
 
 
 

4
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
PALESTRAS 
 
 
Palestra 1 : 2014K ‐ Captação e Transmissão de Alta Definição em 3D para a Copa do 
Mundo de Futebol de 2014 
Eunézio  de  Souza  (Mackenzie),  Jane  de  Almeida  (Mackenzie)  e  Joaquim  Pessoa  Filho 
(Mackenzie) 

O  objetivo  do  PROJETO  2014K  é transmitir  os  jogos  da  Copa  do  Mundo  de  Futebol  de 
2014  no  Brasil  em  resolução  4K/3D  para  cinemas  de ultra‐definição através  de  redes 
fotônicas. A  transmissão  deverá  ocorrer  dentro  do  Brasil  e  do  Brasil  para  os  cinco 
continentes.  Este  é  um projeto  colaborativo  e  experimental  de  alta  tecnologia  e  conta 
com  a  participação  de organizações  voltadas  à  pesquisa  e  inovação  tecnológica,  assim 
como do setor empresarial.  
 
 
 
Palestra 2:  Interação Em Jogos: Do Joystick À Realidade Virtual 
Luciana Nedel (UFRGS) 
 
A palestra traz um panorama histórico da interação em jogos digitais, passando desde 
interações  com  mouse/joystick  até  mecanismos  mais  complexos  de  interação  via  RV. 
Jogos  digitais  representam  um  ambiente  muito  propício  para  interação  não‐
convencional e esquemas de RA/RV têm oferecido muitas contribuições a este contexto, 
tanto acadêmicas quanto industriais.  
 
 
 
Palestra 3: Realidade Virtual e Aumentada para uma Educação sem Distância 
Romero Tori (USP/SENAC‐SP) 
 
Desde o primeiro experimento de telepresença, realizado por Ivan Sutherland na década 
de 1960, a redução de distância por meio da realidade virtual e, mais recentemente, da 
realidade  aumentada,    vem  se  tornando  cada  vez  mais  viável  e  eficaz.  No  campo  da 
educação, em que proximidade é essencial, tanto entre aluno e professor,  quanto entre 
aluno  e  colegas  e  entre  aluno  e  conteúdo,  o  emprego  de  recursos  de  RV  e  RA  pode 
contribuir  para  o  aumento  da  sensação  de  presença  e  do  engajamento  do  aluno,  não 
apenas em cursos a distância como também em atividades presenciais. Nesta palestra, 
discutiremos  os  conceitos  de  presença,  distância,  interatividade  e  flow,  mostrando 
como podem ser trabalhados em atividades de aprendizagem, com a ajuda da RV e da 
RA, para se chegar a uma “educação sem distância”.  
 
 

5
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
TRABALHOS COMPLETOS 
Full Papers 

6
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 1 
 
JOGOS EM REALIDADE VIRTUAL E 
AUMENTADA 

7
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Uma Arquitetura para Integração de Sistemas Hápticos e Engines de Jogos

Herbet Ferreira Rodrigues e Liliane dos Santos Machado


Laboratório de Tecnologias para o Ensino Virtual e Estatística - LabTEVE
Universidade Federal da Paraíba – UFPB
Cidade Universitária s/n – 58051-900 – João Pessoa – PB – Brasil
{herbet, liliane}@di.ufpb.br

Resumo serious games, principalmente com a combinação de


treinamento e ensino, é o da saúde [12]. Para os serious
O sentido do tato e a interação física estão entre os games com este foco, os mesmos devem fornecer um
aspectos fundamentais em que o ser humano precisa excelente grau de realismo a fim de que o jogador
para compreender o mundo e provocar mudanças possa interagir com o ambiente do mesmo modo que o
nele. Para os jogos, os sistemas hápticos podem faz em situações reais. Além de um sistema de
oferecer um conceito de interação de forma avançada, visualização eficiente, é importante incluir um sistema
ampliando o nível de realismo e oferecendo uma maior de interação que permita que o jogador possa sentir os
imersão no ambiente virtual. Este artigo apresenta um objetos virtuais no ambiente. Este tipo de interação é
estudo, um planejamento e o desenvolvimento de uma chamado de interação háptica e ocorre através de um
arquitetura para integrar uma engine de jogos com dispositivo que reflete força, permitindo que um
sistemas hápticos. jogador toque, sinta e manipule os objetos 3D da cena.
Abstract Aliado à Realidade Virtual (RV), o
desenvolvimento dos serious games em ambientes
The sense of touch and physical interaction are imersivos com a inclusão de dispositivos hápticos,
among the fundamental aspects that human being podem contribuir para a motivação e aprendizado do
needs to understand the world and cause changes to it. jogador. A incorporação de um dispositivo háptico
For games, haptic systems can offer a concept of possibilitaria ampliar o nível de realismo e oferecer
interaction in a sophisticated way, increasing the level uma forma mais eficiente de envolvimento, trazendo
of realism and offering greater immersion in the melhores resultados na realização das atividades de
virtual environment. This paper presents a study, a natureza tátil inseridas nos jogos. Diversos projetos de
planning and development of an architecture to RV têm comprovado que a utilização de dispositivos
integrate a game engine with haptic systems. hápticos em aplicações na saúde, para a educação e
treinamento, melhora o nível de percepção e
aprendizado efetivo ampliando a sensação de imersão
1. Introdução sentida pelo usuário [10]. Entretanto, poucos são os
incentivos da aplicação destes dispositivos em serious
Os serious games vêm sendo utilizados para games.
identificar jogos com um propósito específico, ou seja, A partir da proposta de Rodrigues et al. [18] cujo
que extrapolam a ideia de entretenimento e oferecem objetivo é o desenvolvimento de um serious game
outros tipos de experiências, como às voltadas ao relacionado ao treinamento e educação para a higiene
aprendizado e treinamento [13]. Estes jogos permitem bucal de adultos utilizando um dispositivo háptico
aos jogadores experimentarem tarefas e atividades que como forma de interação, este artigo traz como
poderiam ser difíceis de realizar repetidas vezes sejam contribuição o estudo e as etapas de planejamento,
pelo seu alto custo, tempo, logística ou por razões de integração e desenvolvimento dos módulos gráfico,
segurança [5]. De acordo com Rankin e Sampayo [17] físico e háptico do jogo proposto. Os demais elementos
estes jogos estão sendo aplicados em diversas áreas do que fazem parte do desenvolvimento do serious game
conhecimento, tais como militar, empresarial, como roteiro, conceituação artística, jogabilidade,
governamental, política, religião e artes. Entretanto, um inteligência, interface, entre outros, não serão
dos setores que tem mais se beneficiado do uso dos abordados neste artigo.

8
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

2. Sistemas Hápticos 3. Sistemas Hápticos em Jogos


A computação tem fornecido informações para os De acordo com Chang et al. [6], tecnologias
sentidos humanos da visão e da audição, como hápticas passarão a fazer parte integrante do processo
também, sistemas de áudio e vídeo têm sido de design de jogos, exigindo um planejamento criativo
aperfeiçoados por muitas décadas. Mas recentemente, o a fim de aproveitar ao máximo esta tecnologia. Os
aumento na capacidade do computador e o desejo de hábitos dos jogadores também poderão mudar a fim de
criar melhores formas de interagir com mundos virtuais incorporar o sentido do tato, o que lhes darão uma
gerados por computador têm levado ao interação mais complexa com o ambiente do jogo,
desenvolvimento de sistemas que permitam a inclusão ampliando a imersão e tornando o processo de
do sentido do tato [11]. entendimento de tomada de decisão mais completo.
A percepção do toque está relacionada a duas Jones [11] afirma que o aumento dos jogos com
componentes: tato e cinestesia. O tato permite sistemas hápticos, em que os alunos se tornam
identificar sensações como temperatura, pressão ou participantes ativos no ambiente, representa uma das
vibrações e depende da sensibilidade cutânea. Esta mais interessantes inovações na concepção de ensino e
sensibilidade varia de acordo com a região utilizada aprendizagem baseados por computador dos últimos
para realizar o contato. A cinestesia, por sua vez, anos.
refere-se à percepção das tensões aplicadas aos Como exemplo de jogos que utilizam um
músculos e juntas. Esta percepção é também chamada dispositivo háptico como forma de interação, pode-se
de propriocepção ou force-feedback (retorno de força) destacar o HaptiCast [1], um jogo 3D multiplayer que
[3] e permite identificar a rigidez de objetos. coloca os jogadores em um ambiente de primeira
Em sistemas computacionais, a identificação do tato pessoa. Ele é projetado para proporcionar ação e um
e de retorno de força depende de duas partes alto nível de interatividade utilizando o dispositivo
igualmente importantes que formam os sistemas háptico PHANToM Omni. No HapiCast, o jogador se
hápticos: os dispositivos, responsáveis por receber torna um bruxo e tem disponível alguns tipos de
ações do usuário e apresentar-lhe as propriedades varinhas mágicas. Quando o jogador usa uma varinha,
relacionadas ao toque, e as rotinas de controle, é lançado um feitiço que exibe um efeito háptico, o
responsáveis por calcular e enviar as propriedades do qual oferece uma maneira diferente de interagir com o
toque ao dispositivo. ambiente. O jogo também simula a sensação de arrastar
Atualmente os dispositivos hápticos disponíveis objetos pesados, gravidade e forças de impulso
variam em sofisticação e fidelidade. Em um extremo provocado por colisões entre objetos.
estão os gamepads com vibração e os joysticks com Outro exemplo de jogo encontrado na literatura é o
retorno de força que oferecem interatividade limitada Haptic Battle Pong [14], uma versão do jogo Pong
[11]. No outro extremo se encontram os dispositivos com suporte a dispositivo háptico. Nele, o retorno de
hápticos mais sofisticados como o PHANToM Omni força proporcionado pelo dispositivo é utilizado para
(Figura 1) da SensAble Technologies Inc. [19] e o mostrar o contato entre a bola e a raquete do jogador.
Falcon da Novint Technologies Inc. [21] que oferecem No entanto, os efeitos hápticos apresentados são
um maior nível de interatividade, pois permitem até 6 limitados, não utilizando todo potencial que um
graus de liberdade em movimentos de posição/rotação dispositivo háptico pode oferecer.
e 3 graus de liberdade em retorno de força para o O HapticCycle [7], é um jogo 3D que consiste em
usuário. uma bicicleta inserida no contexto de um jogo de
triciclos e integrada a um dispositivo de interação
háptico. O retorno háptico fornecido pela aplicação
ocorre pela simulação de resistência de acordo com o
relevo de um terreno, percebida no ato de pedalar a
bicicleta. Através dos resultados da avaliação feita
pelos desenvolvedores do HapticCycle, foi concluído
que a inclusão de uma resposta háptica na aplicação 3D
de corrida de triciclos contribuiu de forma significativa
para um aumento no nível de atratividade e diversão do
jogador, ampliando sua imersão na aplicação.
De acordo com as pesquisas realizadas e os
Figura 1. Dispositivo Háptico PHANToM Omni da trabalhos mencionados acima, observa-se que ainda são
SensAble Technologies Inc.

9
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

poucas as iniciativas voltadas para o uso de serious uma dinâmica física, bem como o acesso à informação
games com foco em treinamento e ensino com a utilizada pelos algoritmos de renderização de forças
utilização de sistemas hápticos. Dessa forma, torna-se para os dispositivos hápticos.
relevante o estudo e investigação em relação à
aplicabilidade dos sistemas hápticos como forma de 5. Proposta de Integração
interação em serious games.
A partir do estudo realizado e da necessidade de
4. Integração de Dispositivos Hápticos em desenvolver um serious game com interação háptica
Jogos para saúde com foco em treinamento e ensino é
proposto um conjunto de módulos e classes para a
Farias et al. [7] analisa que para a construção de um integração entre sistemas hápticos e uma engine de
jogo deve-se adotar um modelo de desenvolvimento jogos.
rápido e eficiente, devido à crescente rapidez com a Um jogo com retorno háptico deve considerar
qual novos jogos e tecnologias chegam no mercado. E quatro fatores para a sua implementação [2]. Esses
para alcançar este objetivo, foram criados os motores fatores são: a posição e orientação do jogador no
de jogos ou game engines. mundo virtual, a detecção de colisão do jogador com o
As game engines de jogos tem sido constantemente objeto virtual e a reação da colisão, que é transmitida
utilizadas por oferecerem gerenciamento do cenário, ao usuário através de dispositivos hápticos. A Figura 2
animação de personagens, iluminação, fluxo do código mostra como funciona a interação de um jogador com o
e suporte a diferentes plataformas [12]. Entretanto, ambiente virtual do jogo.
Farias et al. [7] e Machado et al. [12] explicam que um
problema existente na utilização destas engines é que o
desenvolvedor limita-se às mesmas formas de interação
convencionais como joysticks, não havendo um suporte
genérico a dispositivos com características diferentes
como os dispositivos hápticos, por exemplo.
Neste ponto, observa-se que para que ocorra a
comunicação entre uma engine e dispositivos hápticos
é necessário o uso de programas específicos ou APIs
(Application Programming Interface). Geralmente,
cada dispositivo possui um programa ou API própria
para sua programação.
Há alguns trabalhos sobre a integração de sistemas Figura 2. Esquema de interação de um jogo com
hápticos em motores de jogos. Nilsson e Aamisepp dispositivo háptico.
[16] explicam da importância de incorporar o háptico
em um motor 3D e um plug-in para a engine Crystal Portanto para o desenvolvimento de rotinas para
Space foi desenvolvido para demonstrar esta incorporação do toque em jogos é necessária à criação
integração. No entanto, os processos e detalhes sobre a de classes para a interação háptica, para as colisões
integração não foram bem exploradas por este projeto. físicas e para a visualização de todos os
Existem outros esforços [4] para combinar comportamentos resultantes destas colisões na cena
renderização gráfica e sistemas hápticos, mas estes não gráfica.
contêm características que são desejáveis para o
desenvolvimento de jogos, como mecanismos de 5.1 O Módulo Gráfico
inteligência artificial e controles de estados, por
exemplo. O módulo gráfico é responsável pela renderização
Outro componente importante no desenvolvimento da cena 3D visual e exibição da interface gráfica para o
de jogos com sistemas hápticos é o motor de física ou usuário.
physics engine, que simula a física para todos os A engine gráfica escolhida para o projeto foi a
objetos no ambiente virtual do jogo. Variáveis tais Irrlicht [9], uma engine 3D rápida, multiplataforma e
como massa, velocidade, inércia, fricção e forças que inclui recursos como sombreamento, z-buffering,
externas, contribuem para o realismo do jogo. Este iluminação dinâmica, carregadores de malha, sistemas
componente fornece detecção de colisões e resposta de partículas, texturização, entre outros. Esta engine é
entre objetos, permitindo que os jogadores percebam

10
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

responsável por exibir os objetos 3D na tela, bem como gráfica, inicialização do dispositivo háptico, geração
a interface gráfica do usuário. dos objetos e suas características físicas, como
também, o controle de posições, colisões e forças que
5.2 O Módulo Físico serão utilizados pela camada Lógica do jogo (camada
superior).
A engine de física escolhida para o jogo é a Newton
Game Dynamics [15], que é uma engine de física
simples com desenvolvimento em C/C++. Cada objeto
do mundo do jogo tem uma representação física e,
portanto, é capaz de exibir um comportamento físico
realista em tempo-real.
Este módulo será responsável pela identificação das
colisões ocorridas no ambiente. Estas colisões devem
ocorrer não apenas entre objetos gráficos, mas também
entre eles e objetos hápticos. Deste modo, o módulo
fornecerá as variáveis relacionadas ao ponto e
momento da colisão.

5.3 O Módulo Háptico

Neste projeto está sendo utilizado a dispositivo Figura 3. Arquitetura proposta em alto nível.
háptico PHANToM Omni da SensAble Technologies.
Este dispositivo foi selecionado por possuir as Para o jogo proposto [18] foi criado um conjunto de
características adequadas para simulações e jogos de classes. A classe Main inicializa a engine gráfica e
destreza manual. Para a utilização do PHANToM possui o loop principal do jogo. A classe
Omni, existe o pacote chamado OpenHaptics Toolkit GameManager adiciona todos os objetos que farão
[20] que oferece suporte ao dispositivo. parte da cena do jogo, como também suas posições. A
O OpenHaptics Toolkit é desenvolvida nos mesmos classe Object define todas as variáveis e métodos
moldes da API OpenGL, sendo familiar aos necessários para a interação dos objetos na cena. Já as
programadores gráficos e facilita a integração com as classes Physics e Haptics representam os módulos
aplicações OpenGL e engines existentes. A Físico e Háptico. A classe Player, uma das principais
OpenHaptics é composta de duas camadas: a API do classes do jogo, representa o dispositivo háptico na
dispositivo háptico (HDAPI) e a API da biblioteca cena do jogo. A Figura 4 mostra o Diagrama de Classes
háptica (HLAPI). A HDAPI fornece acesso de baixo em alto nível das classes criadas para esta integração.
nível ao dispositivo háptico. Já a HLAPI fornece
acesso de mais alto nível para a programação do
dispositivo, facilitando a atribuição das propriedades
hápticas. Ela permite significante reuso de código
existente no OpenGL e simplifica a sincronização dos
processos hápticos e gráficos. [20]. Embora a técnica
de renderização de força na cena gráfica pela HLAPI é
amplamente utilizada, apenas a HDAPI está sendo
usada no jogo devido à sua flexibilidade em produzir
vários efeitos de força e a sua independência com as
engines gráficas.

5.4 Arquitetura Proposta

A arquitetura em alto nível do jogo e os módulos


principais descritos anteriormente é mostrada na Figura
3. A camada central – chamada de Framework – possui
os módulos Gráfico, Físico e Háptico, no qual contem Figura 4. Diagrama de classes do jogo.
todas as classes necessárias para a inicialização da cena

11
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

A seguir será descrito com mais detalhes algumas retornar algumas informações sobre a colisão, como o
das principais funcionalidades que a classe Player ponto de contato, o vetor normal e a distância de
fornece para o restante da arquitetura. penetração de um objeto com o outro, no qual estas
informações são utilizadas para calcular o retorno de
5.5 A classe Player força resultante.

A HDAPI requer que o desenvolvedor maneje 5.6 Renderização das Forças


diretamente a renderização da força para o dispositivo
háptico [20]. Para prover renderização direta da força Há vários modos de se computar as forças que são
são requeridos algoritmos para detecção de colisão e produzidas pelo dispositivo háptico. Algumas das mais
estruturas de dados eficientes devido à alta necessidade interessantes forças de interação consideram o finalizar
de atualização para estabilizar o laço de controle do do dispositivo (ponta do braço articulado que o usuário
dispositivo háptico. Um problema de usar uma engine segura nas mãos) e seu relacionamento com os objetos
física com a HDAPI é que as forças que atuam sobre no ambiente do jogo.
um objeto, necessárias para calcular a força de retorno O vetor força é a unidade de saída do dispositivo
sobre os dispositivos hápticos, não são acessíveis háptico. Há vários modos de computar força para gerar
diretamente. A classe Player foi proposta para evitar uma variedade de sensações. Há três classes principais
estes tipos de problemas, permitindo calcular os de forças que podem ser simuladas: dependente do
retornos de força com os dados geométricos fornecidos movimento, dependente do tempo, ou uma combinação
pelo Módulo Físico, como também, o envio das forças de ambos [2].
para o dispositivo háptico via HDAPI. As forças dependentes do movimento são
A classe recebe a posição do dispositivo háptico e computadas baseadas nos movimentos do dispositivo
transforma esta posição na posição do objeto háptico [2]. Algumas delas são:
representado pelo dispositivo na cena gráfica. As
colisões detectadas pelo Módulo Físico são passadas Elasticidade: a força de elasticidade é a mais
para a classe Player para calcular a força resultante e comum. Ela pode ser computada pela lei de
enviar para o dispositivo háptico. Hooke: F = k * x, onde k é a constante de rigidez e
A Figura 6 ilustra de forma resumida o fluxo de x é o vetor de deslocamento.
dados entre a classe Player e os Módulos Físico e
Háptico. Neste caso particular, a engine física funciona Amortecedora: a principal utilidade da força
em 60Hz enquanto a interface háptica é executado de amortecedora é reduzir as vibrações, opondo-se ao
forma assíncrona em 1000Hz. movimento. Ela é proporcional a velocidade do
finalizar do dispositivo. A equação padrão para
seu cálculo é F = - b * v, onde b é a constante de
amortecimento e v é a velocidade do finalizador.

As forças dependentes do tempo, como o próprio


nome já diz, são forças computadas com uma função
dependente do tempo [2]. Algumas delas são:
Figura 6. Fluxo de dados entre os Módulos Físico e
Háptico pela classe Player. Constante: a força constante é uma força com
magnitude e direção fixa.
Pelo módulo Háptico, a posição do dispositivo é
atualizada a cada loop da HDAPI. A posição do Periódica: a força periódica é um padrão que se
dispositivo pode ser obtida usando a função repete em um intervalo de tempo, tendo um
“hdGetDoublev” com um dos seguintes parâmetros: período e uma amplitude que determina a potência
HD_CURRENT_POSITION ou da força.
HD_CURRENT_TRANSFORM. Novamente pelo
módulo Háptico, a força pode ser enviada para o Impulsiva: é uma força que é instantaneamente
dispositivo usando a função “hdSetDoublev” com o aplicada e na prática, com o dispositivo háptico,
parâmetro HD_CURRENT_FORCE. atua em pequeno intervalo de tempo.
No Módulo Físico, as colisões são interceptadas
usando a função “NewtonCollisionCollide”. Sempre A partir das informações destes dois tipos de classes
que uma colisão é detectada em um objeto, a função irá de forças, podem-se criar os algoritmos que resultarão

12
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

na sensação que o jogador irá sentir no dispositivo [7] Farias, T., Silva, D., Moura, G., Teixeira, J. M., Costa, L.
háptico durante o jogo. H., Dias, G. Teichrieb, V., Kelner, J., “Um Estudo de Caso
sobre a Construção e a Integração de Dispositivos Hápticos
com Aplicações Interativas”, Anais do Simpósio Brasileiro
6. Considerações Finais de Jogos de Computador e Entretenimento Digital
(SBGAMES 2006), Vol. 2006. Recife – PE, 2006.
Toque e interação física estão entre os aspectos
fundamentais em que o ser humano precisa para [8] Faust, M.; Yoo, Yong-Ho., “Haptic Feedback in
compreender o mundo e provocar mudanças nele [8]. Pervasive Games”, Pervasive Gaming Workshop at
Pervasive, Ireland, 2006.
Os sistemas hápticos permitem oferecer um conceito de
interação avançada para jogos, ampliando o grau de [9] Irrlicht Engine, http://irrlicht.sourceforge.net/. Acesso
realismo da aplicação. em agosto de 2010.
Neste artigo foi apresentado um estudo, o
planejamento e a definição de uma arquitetura para [10] Jones, M.G., Bokinsky, A., Tretter, T.; Negishi. A., “A
integrar sistemas hápticos e engines de jogos com o Comparison of Learning with Haptic and Visual Modalities”,
objetivo de permitir o desenvolvimento de um serious Haptics-e 3.6, 2005.
game voltado ao ensino e treinamento em saúde.
Atualmente o projeto se encontra na fase de [11] Jones, M. G., “Getting a "Feel" for Serious Games”, In
L.A. Annetta (Ed.), Serious educational games. Rotterdam,
implementação dos algoritmos de renderização de
The Netherlands: Sense Publishing, 2008, pp. 73-81.
retorno de forças para o dispositivo háptico. A
integração do dispositivo à engine já foi realizada de [12] Machado, L.S.; Moraes, R.M.; Nunes, F., “Serious
modo a permitir visualizar os movimentos do mesmo Games para Saúde e Treinamento Imersivo”, Book Chapter.
no ambiente do jogo. In: Abordagens Práticas de Realidade Virtual e Aumentada.
Porto Alegre: SBC, 2009, pp. 31-60.
7. Agradecimentos
[13] Michael, D., Chen, S., “Serious Games: Games That
Educate”, Train and Inform. Course Technology PTR, 2005.
Este projeto é financiado pelo CNPq através do
processo 133693/2009-0. [14] Morris, D., Neel, J., and Salisbury, K., “Haptic Battle
Pong: High-Degree-of-Freedom Haptics in a Multiplayer
8. Referências Gaming Environment”, Experimental Gameplay Workshop,
GDC, 2004.
[1] Andrews, S., “HaptiCast: A Physically Based 3D Game
with Haptic Feedback”, Emerging Input/Output in Games, [15] Newton Dynamics Game Engine.
Futureplay, Canada, 2006. http://www.newtondynamics.com/. Acesso em agosto de
2010.
[2] Basdogan, C., Srinivasan, M.A., “Haptic Rendering In
Virtual Environments”,Virtual Environments HandBook, Ed: [16] Nilsson, D., and Aamisepp, H., “Haptic Hardware
K.M. Stanney, Publisher: Lawrence Erlbaum Associates, Support in a 3D Game Engine”, Master thesis, Department of
2001, pp. 117-134. Computer Science, Lund University, May 2003.

[3] Burdea, G., Coiffet, P., “Virtual Reality Technology”, [17] Rankin, J.R., Sampayo S., “A Review of Serious Games
Wiley-Interscience, 2003. and Other Game Categories for Education”, SimTect 2008,
Melbourne, Australia, 2008, pp. 305-311.
[4] Conti F., Barbagli F., Morris D., Sewell C., “CHAI:An
Open-Source Library for the Rapid Development of Haptic [18] Rodrigues, H. F., Machado, L. S., Valença, A. M. G.,
Scenes”, Demo paper presented at IEEE World Haptics, Pisa, “Uma Proposta de Serious Game Aplicado à Educação em
Italy.March 2005. Saúde Bucal”, In: anais do Workshop de Realidade Virtual e
Aumentada, Santos, Brazil, CDROM, 2009.
[5] Corti, K., “Games-based Learning: A Serious Business
Application”. [19] SensAble Technologies Inc., http://www.sensable.com/.
http://www.pixelearning.com/docs/seriousgamesbusine Acesso em agosto de 2010.
ssapplications.pdf., 2006. Acesso em agosto de 2010.
[20] SensAble Technologies, Programmer’s Guide 3D Touch
[6] Chang, D., “Haptics: Gaming's New Sensation”, SDK OpenHaptics Toolkit. Versão 3.0, 2009.
Computer, Volume 35, Issue 8, 2002, pp. 84-86.
[21] Novint Technologies Inc., http://www.novint.com/.
Acesso em agosto de 2010.

13
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Análise de um Sistema de Interação Tangı́vel 3D para Jogos com Realidade


Aumentada

Daniel M. Tokunaga, Silvio R. R. Sanches, Fernando Tsuda, Ricardo Nakamura, Romero Tori
Interlab – Laboratório de Técnologias Interativas
Escola Politécnica da Universidade de São Paulo

Abstract futuros estudos de técnicas de interação, aplicadas, inici-


almente, em jogos eletrônicos de RA, mas que pode ter sua
This paper presents an analysis of a system for tangi- utilização estendida para aplicações de outros domı́nios.
ble interface based on computer vision that allows the user
to specify position and orientation informations in a natu- 2 Interfaces Tangı́veis em Jogos com Reali-
ral way. Our system is characterized by presenting stability
and robustness in relation to different manipulations of the
dade Aumentada
users. Additionally, in applications based on Augmented
Reality the device can be used for the registration of virtual O conceito de interface tangı́vel consiste na relação me-
objects, increasing the sense of presence by the illusion of tafórica direta de um objeto fı́sico com um objeto virtual,
direct manipulation of it. A game based on Augmented Rea- de forma que a movimentação de um deles (normalmente
lity was developed to evaluate this system, either due to the o fı́sico) seja reproduzida pelo objeto virtual ao qual se co-
characteristics of tangible interface, or the fact that games necta, i.e., utiliza-se interações com o mundo real (no caso,
are suitable for the testing of new interactive technologies. o cubo real mostrado na Figura 2) como metáfora para a
We intend that interaction techniques can be studied from informação manipulada no ambiente virtual (um campo de
the proposed solution, as well as other applications of the força em forma de cubo que envolve a nave, modelado para
same. o protótipo descrito na seção 6.2) [8].
A combinação de um sistema de RA com interface de
usuário tangı́vel é chamada Tangible Augmented Reality
(TAR) [4]. Por meio de uma TAR, objetos reais podem ser
1 Introdução utilizados para manipulação de elementos dentro de ambi-
entes virtuais, ainda que o usuário não seja treinado para
Interfaces não convencionais têm se mostrado um re- praticar técnicas convencionais de interação 3D [3].
curso cada vez mais comum em pesquisas industriais e Segundo Kato et al [9], a utilização de interfaces
acadêmicas que exploram o uso de tecnologia e técnicas de tangı́veis em sistemas de RA pode trazer benefı́cios ao
interação em jogos eletrônicos. Exemplos a serem citados usuário devido às propriedades fı́sicas dos objetos, que po-
são os sistemas GuitarHero, EyeToy e Wii. dem ser usadas para sugerir como o objeto virtual associ-
Em jogos de Realidade Aumentada (RA), que combinam ado ao objeto real se comporta. Essas propriedades também
elementos reais com objetos virtuais para representar perso- restringem o modo como esses objetos podem ser manipu-
nagens e compor o cenário do jogo, uma forma de interação lados.
alternativa pode ser desejável. Em um ambiente no qual o Tarefas de manipulação em sistemas imersivos, por
jogador pode visualizar sua própria imagem como um ele- exemplo, têm seu desempenho aumentado quando se uti-
mento do jogo, por exemplo, a interação feita por meio de lizam TARs [9], além do fato de os objetos poderem ser
dispositivos convencionais pode ter um aspecto pouco moti- tocados também contribuir para o aumento da sensação de
vador se comparada a uma interface que explore movimen- presença em ambientes virtuais ou aumentados [7] e, con-
tos mais naturais (como golpear um objeto com as mãos ou sequentemente, em jogos que utilizem essas tecnologias.
esquivar-se dele). Muitos trabalhos envolvendo TARs aplicadas a jogos po-
Neste contexto, o presente trabalho apresenta uma dem ser encontrados na literatura. Entre os projetos que
análise de um sistema de interface tangı́vel baseado em podem ser destacados, encontra-se o trabalho de Starner et
visão computacional, cujo objetivo é servir de base para al. [11], que consiste em um jogo multi-player no qual os

14
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

jogadores podem utilizar uma TAR baseada em visão com-


putacional para reconhecer objetos do jogo. Outro exemplo
de utilização de TAR baseada em visão computacional é o
projeto MonkeyBridge [2]. O sistema é um jogo colabora-
tivo de RA cuja interação é feita, entre outras formas, por
meio de marcadores fiduciais.
O Jumanji Singapore [14], executado em um ambiente
de RA, consiste em um ambiente no qual jogadores podem
se movimentar entre o mundo real, aumentado e virtual.
Marcadores fiduciais manuseados pelo usuário é a forma de
direcionar a movimentação do personagem no jogo.
Outro trabalho a ser destacado, voltado ao ensino de sig-
nificados de sı́mbolos, foi apresentado por Wagner e Bara-
konyi [12]. Os autores propuseram um jogo em ambiente
de RA que também utiliza TAR por meio de marcadores
fiduciais como forma de interação. Uma extensa lista de
trabalhos envolvendo jogos de RA que exploram diferentes
tecnologias de interfaces tangı́veis pode ser encontrada em
Bernardes et al. [3].

3 Problemas

Uma das principais dificuldades na utilização de técnicas


de visão computacional para rastrear objetos – e obter sua Figura 1. Precisão do processo de detecção
posição e orientação – é contornar o problema da oclusão do ARTookit, como uma função da distância
(perda de visibilidade do marcador). da câmera em relação ao seu ângulo de
A não identificação do objeto (ou marcador, no caso da rotação no eixo Y.
solução proposta) pode ser provocada por diversos moti-
vos como: posicionamento das mãos do usuário, que cobre
parte da marca; distância do objeto em relação a câmera; autores mostram que os erros sistemáticos do ARToolkit,
iluminação insuficiente ou mal distribuı́da no ambiente; ou em relação à distância do marcador na faixa entre 20 e 70
pouca qualidade do dispositivo de captura. Como con- cm são baixos e o desvio padrão entre 20 e 50 cm é pe-
sequência, ações dentro do jogo – como movimentação de queno. Em relação aos ângulos de rotação no eixo Y , os
personagens – podem ser interrompidas. erros sistemáticos são menores na faixa entre 30◦ e 40◦ , e o
Além dos problemas citados, fatores mais sutis surgem desvio padrão é pequeno na faixa entre 40◦ e 85◦ .
como empecilhos à aplicação de técnicas desse tipo. Bibli-
otecas de software que se baseiam em marcadores fiduci-
ais [6, 5, 13], por exemplo, estimam posição e orientação 4 Solução Proposta e Desenvolvimento do
dessas marcas com precisão e desempenhos aceitáveis para Sistema
grande parte das aplicações. No entanto, essas ferramentas
ainda se mostram instáveis, pois suas funções retornam di- Como forma de minimizar os problemas citados e de tor-
ferentes valores de coordenadas mesmo quando o marcador nar a solução utilizável em jogos eletrônicos, o sistema de-
reconhecido não é movimentado. No contexto de um jogo, senvolvido faz uso de vários marcadores fiduciais com o ob-
tal instabilidade pode ser suficiente para causar prejuı́zo ao jetivo de aumentar a estabilidade no processo de reconheci-
jogador. O último problema citado é tratado no presente mento. Seis diferentes marcas, correspondentes a cada face
trabalho. do cubo mostrado na Figura 2, são utilizadas.
Uma análise do processo de detecção do ARToolkit [6], A aplicação de marcadores fiduciais nas faces de um
uma das bibliotecas mais conhecidas, pode ser encontrada cubo é uma estratégia que têm sido bastante explorada em
no trabalho de Abawi et al. [1]. Sua precisão, exibida sistemas baseados em visão computacional. Grande parte
como uma função da distância da câmera em relação ao seu desses sistemas utiliza esse recurso para obter redundância
ângulo de rotação no eixo Y , pode ser visualizada na Figura (mais de uma marca associada a um único objeto) e, as-
1. sim, minimizar a interrupção do processo de obtenção das
Como pode ser observado, os resultados obtidos pelos coordenadas nas quais um objeto virtual será inserido [10].

15
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

5 Testes Realizados

Como forma de validar o sistema, foram realizados tes-


tes para verificação a precisão e desempenho da interface.
Para isso, o protótipo desenvolvido, que será detalhado na
seção 6.2, foi modificado para possibilitar o registro das co-
ordenadas necessárias para os cálculos.
Para realização dos testes foi montado um ambiente que
Figura 2. Marcadores fiduciais aplicados so-
permitisse a medição da estabilidade e o desempenho de
bre cada face do cubo (seis marcadores).
maneira controlada e com repetibilidade. Foram tomados
cuidados com o posicionamento da câmera e do cubo, com
o controle da iluminação do ambiente e com caracterı́sticas
do dispositivo de captura, como compensação automática
No sistema desenvolvido, as coordenadas de todas as faces de iluminação. Fatores como esses poderiam influenciar
visı́veis colaboram para sua estabilidade. o resultados dos testes. O cubo foi fixado à distância de
40 cm da câmera de vı́deo, ambos fixados em tripés, como
A matriz de transformação (dados de posição e rotação) mostrado na Figura 4.
do cubo é obtida a cada quadro de vı́deo pelo cálculo da
Foram capturados em torno de 600 quadros com
média das matrizes de transformação de cada marcador fi-
resolução 640x480 pixels para cada bateria de testes, a uma
ducial, fazendo com que os valores finais sofram meno-
taxa de aproximadamente 30 quadros por segundo. Os equi-
res variações quando comparados aos valores de posição
pamentos utilizados foram um laptop com processador Intel
e rotação obtidas de um único marcador. Para que isso
Core 2 Duo T7250 2 GHz, equipado com 4 GB de memória
aconteça, o sistema é configurado de modo que o centro –
RAM, placa de vı́deo Nvidia GeForce 8400M GS 128 MB
posição (0, 0, 0) – de cada marcador representem a mesma
e Windows 7 (versão 64 bits). A câmera utilizada para cap-
posição, o centro do cubo. Consequentemente, os eixos (X,
tura das imagens foi uma Logitech QuickCam Pro 5000. A
Y e Z) dos marcadores visı́veis representam um único sis-
estrutura utilizada pode ser visualizada na Figura 4.
tema de coordenadas, como mostrado na Figura 3.

Figura 4. Estrutura utilizada nos testes de de-


Figura 3. Média das rotações dos marcadores sempenho e estabilidade.
visı́veis é utilizada para obter a orientação.

Devido à caracterı́stica fı́sica do cubo, uma, duas ou três 6 Resultados


faces podem estar visı́veis à câmera em determinado quadro
de vı́deo. Quanto maior o número de faces visı́veis, maior
estabilidade é alcançada, pois as orientações das marcas em Nesta seção são apresentados os resultados dos testes
relação à câmera, além de serem as mais próximas a ideal descritos na seção 5 e o protótipo desenvolvido para ava-
(Figura 1), podem ser utilizadas no cálculo. liar a interface de interação tangı́vel baseada no cubo.

16
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

6.1 Estabilidade da interface

Inicialmente foram mantidas três faces visı́veis, como


mostrado na Figura 5, e respeitou-se a denominação indi-
cada na mesma Figura. Em seguida, ocultou-se outras faces
para manter visı́veis, duas e uma face respectivamente.

Figura 6. Valores médios e máximos dos er-


ros de posição.

Figura 5. Imagem do cubo, com três faces


visı́veis, sobre o tripé.

Considerou-se todas as combinações de faces possı́veis


(ABC, AB, BC, AC, A, B e C). Para cada combinação,
foram registrados os valores das coordenadas de posição
Figura 7. Valores médios dos erros de
e rotação das faces identificadas, a cada quadro captu-
rotação.
rado, além do tempo de processamento. Foram registradas
também a variação das coordenadas P rt , do centro cubo (no
tempo t), e Ryt , da rotação do eixo Y do cubo em relação às
coordenadas obtidas do quadro anterior (tempo t−1), como Quando duas faces são reconhecidas, percebe-se que o
mostrado na Equação 1 e 2. Desta forma, é possı́vel quan- erro diminui, principalmente nos casos em que as faces AB
tificar a instabilidade em relação às coordenadas reais da e BC são reconhecidas. Por esse motivo, acredita-se que a
posição e da rotação do cubo. Como consequência, pode-se postura do marcador da face B contribua de forma significa-
obter um valor relacionado à acurácia do sistema. tiva para a melhoria dos resultados. Os valores médios dos
erros das faces AB e BC se mostraram menores em relação
P rt = |Pt − Pt−1 | (1) à face B reconhecida isoladamente.
É importante observar que a influência da iluminação e
dos objetos presentes na cena capturada foram fatores con-
Rrt = |Ryt − Ryt−1 | (2)
siderados durante a realização dos testes. O uso de um ob-
A precisão do sistema aumenta nas situações em que jeto de determinada cor para a oclusão das faces do cubo,
duas e três faces são capturadas, o que contribui para a por exemplo, pode interferir no mecanismo de ajuste de
diminuição dos valores médios e máximos dos erros, como branco (white balance) da câmera, comprometendo a va-
pode ser visualizado na Figura 7. A menor precisão quanto lidade dos resultados obtidos. Alguns dispositivos de cap-
ao reconhecimento de duas faces em relação a três pode ser tura, como as webcams utilizadas nos testes, utilizam a cor
atribuı́da ao problema da inclinação das marcas em relação branca como base para ajustes automáticos para compensar
ao ponto de vista da câmera [1]. variações de iluminação. Assim, para que não ocorram es-
Nos casos em que apenas uma face é reconhecida, nota- tas influencias não desejáveis durante o teste, a iluminação
se que a face B apresenta maior estabilidade em relação às do ambiente de teste foi mantida, e todos os parâmetros
demais. Sua variação média do erro é menor em relação ao do teste como as da câmera e do cubo foram mantidos
valor das faces A e C. Essa diferença pode ter relação com estáticos, de forma a não influenciarem a iluminação du-
a inclinação do marcador ou com os diferentes padrões dos rante o teste.
centros das marcas. O tempo de processamento de cada quadro também foi

17
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

um aspecto do sistema analisado durante a realização dos


testes. Os tempos médios de processamento do quadro (em
milissegundos) quando três, duas ou uma face é reconhecida
são apresentados na Figura 8.

Figura 9. Ambiente de RA em que o jogo é


executado.

Figura 8. Tempo médio de processamento do


quadros (em milissegundos).
O final do jogo ocorre quando a barra de sobre-
vivência chega ao valor mı́nimo. Asteroides destruı́dos
transformam-se em fragmentos que destroem outros aste-
Como pode ser observado, a queda de desempenho é
roides em suas rotas de colisão.
considerável quando mais faces (mais marcadores) são re-
conhecidos. Quando compara-se o tempo de processamento
do quadro no qual apenas uma face é reconhecida aos tem-
pos obtidos quando duas ou três faces são visı́veis à câmera,
o desempenho do sistema cai 83,41%, no primeiro caso e
170,12% no segundo.
Este comportamento era esperado devido ao custo com-
putacional dos algoritmos de reconhecimento de padrões
implementados na biblioteca ARToolkit. Esta queda de de-
sempenho, porém, não causou impacto no desempenho ge-
ral do jogo, que manteve uma taxa de quadros por segundo
satisfatória, limitada pelo dispositivo de captura.

6.2 Sistema aplicado no protótipo

Diante da viabilidade técnica demonstrada pelos resulta- Figura 10. Efeitos de explosão.
dos dos testes, foi desenvolvido um protótipo, baseado no
jogo clássico “Asteroids1 ”, com o objetivo de integrar efeti-
O cubo deve permanecer visı́vel à câmera de vı́deo du-
vamente o sistema a um jogo eletrônico de RA (Figura 9).
rante todo tempo de execução do jogo. Caso contrário, a
No jogo, o usuário deve movimentar o cubo para provo-
nave permanece imóvel no ambiente e pode ser atingida
car colisões com os asteroides que possuem a mesma cor da
por asteroides. Movimentos de translação do cubo – em
nave (objeto virtual gerado sobre o cubo). Foram modela-
qualquer direção – provocam o deslocamento da nave pelo
dos dois tipos de “campos de força” para envolver a nave,
ambiente e movimentos de rotação disparam a ação de ca-
um esférico e outro em forma de cubo (para que houvesse
muflagem, que torna a nave vermelha (rotação sobre o eixo
correspondência direta com a forma do cubo real). A co-
Z, no sentido horário) ou azul (rotação sobre o eixo Z, no
lisão faz com que o jogador ganhe pontos e incremente sua
sentido anti-horário).
barra de sobrevivência. Por outro lado, a colisão com as-
teroides de cor diferente da nave faz com que a barra de A simplicidade da integração do sistema com o jogo
sobrevivência seja decrementada. mostrou a viabilidade de sua utilização em outros jogos,
embora o código fonte ainda não esteja organizado como
1 http://www.asteroidsgame.net um componente de software totalmente independente.

18
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

7 Conclusões e Trabalhos Futuros Augmented Reality Games, pages 228–246. Lapland Uni-
versity Press, Laplan, 2008.
No presente trabalho foi realizada uma análise de um [4] M. Billinghurst, H. Kato, and I. Poupyrev. Collaboration
with tangible augmented reality interfaces. In HCI Interna-
sistema baseado em visão computacional para ser utilizado
tional, pages 234–241, 2001.
como interface tangı́vel em jogos eletrônicos executados em [5] M. Fiala. Artag, a fiducial marker system using digital te-
ambientes de RA. Um protótipo também foi desenvolvido chniques. In CVPR ’05: Proceedings of the 2005 IEEE
para testes e aplicação prática. Computer Society Conference on Computer Vision and Pat-
O sistema permite aprimorar a estabilidade numérica das tern Recognition (CVPR’05) - Volume 2, pages 590–596,
estimativas de posição e orientação do cubo e, quando apli- Washington, DC, USA, 2005. IEEE Computer Society.
cado em jogos eletrônicos, possibilita interação, por meio [6] HIT Lab. Artoolkit. Disponı́vel em
de visão computacional. http://www.hitl.washington.edu/artoolkit/, 2010. Acessado
Os resultados obtidos mostraram que maior robustez no em jan. 2010.
processo de detecção é alcançada quando um número maior [7] H. G. Hoffman. Physically touching virtual objects using
tactile augmentation enhances the realism of virtual envi-
de marcas está presente na cena. Embora exista impacto no
ronments. In VRAIS ’98: Proceedings of the Virtual Reality
desempenho do sistema, existe um ganho na estabilidade da Annual International Symposium, page 59, Washington, DC,
posição e orientação em que os objetos virtuais – ou perso- USA, 1998. IEEE Computer Society.
nagens do jogo – são gerados (sempre sobrepostos ao cubo). [8] H. Ishii and B. Ullmer. Tangible bits: towards seamless in-
A partir dessa avaliação, a forma de manuseio do cubo pelo terfaces between people, bits and atoms. In CHI ’97: Proce-
jogador é um fator importante, sendo desejável que mais de edings of the SIGCHI conference on Human factors in com-
uma face do mesmo permaneça visı́vel a câmera de vı́deo. puting systems, pages 234–241, New York, NY, USA, 1997.
Pretende-se, como trabalhos futuros, realizar testes com ACM.
usuários e disponibilizar o sistema para que técnicas de [9] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and
interação possam ser estudadas a partir da solução desen- K. Tachibana. Virtual object manipulation on a table-top
ar environment. In Augmented Reality, 2000. (ISAR 2000).
volvida. Outros tipos de marcadores (por exemplo, um cubo
Proceedings. IEEE and ACM International Symposium on,
com faces coloridas) podem ser testados. A organização do pages 111–119, 2000.
código fonte como um componente de software indepen- [10] V. F. Pamplona, L. A. F. Fernandes, J. L. Prauchner, L. P.
dente também se faz necessária para facilitar sua integração Nedel, and M. M. Oliveira. The image–based data glove.
em outros jogos e demais aplicações que envolvam interfa- In SVR 2008: Proceedings of The X Sympoisum on Virtual
ces tangı́veis. and Augmented Reality, pages 204–211, Porto Alegre, RS,
Brasil, 2008. Sociedade Brasileira de Computação.
[11] T. Starner, B. Leibe, B. Singletary, and J. Pair. Mind-
Agradecimentos warping: towards creating a compelling collaborative aug-
mented reality game. In IUI ’00: Proceedings of the 5th
Os autores agradecem à CAPES, pelas bolsas de estudo international conference on Intelligent user interfaces, pa-
de Daniel M. Tokunaga e Silvio R. R. Sanches, e a FA- ges 256–259, New York, NY, USA, 2000. ACM.
PESP, pelo apoio financeiro. Esta pesquisa é parte do pro- [12] D. Wagner and I. Barakonyi. Augmented reality kanji le-
jeto TIDIA-Ae, financiado pela Fundação de Amparo à Pes- arning. In ISMAR ’03: Proceedings of the 2nd IEEE/ACM
quisa do Estado de São Paulo (Processo n◦ 2005/60618-1). International Symposium on Mixed and Augmented Reality,
page 335, Washington, DC, USA, 2003. IEEE Computer So-
ciety.
Referências [13] D. Wagner and D. Schmalstieg. Artoolkitplus for pose trac-
king on mobile devices. In Proceedings of 12th Computer
[1] D. Abawi, J. Bienwald, and R. Dorner. Accuracy in opti- Vision Winter Workshop (CVWW’07), pages 139–146, 2007.
cal tracking with fiducial markers: an accuracy function for [14] Z. Zhou, A. D. Cheok, T. Chan, and Y. Li. Jumanji singa-
artoolkit. In Mixed and Augmented Reality, 2004. ISMAR pore: an interactive 3d board game turning hollywood fan-
2004. Third IEEE and ACM International Symposium on, tasy into reality. In ACE ’04: Proceedings of the 2004 ACM
pages 260–261, Nov. 2004. SIGCHI International Conference on Advances in computer
[2] I. Barakonyi, M. Weilguny, T. Psik, and D. Schmalstieg. entertainment technology, pages 362–363, New York, NY,
Monkeybridge: autonomous agents in augmented reality ga- USA, 2004. ACM.
mes. In ACE ’05: Proceedings of the 2005 ACM SIGCHI
International Conference on Advances in computer enter-
tainment technology, pages 172–175, New York, NY, USA,
2005. ACM.
[3] J. L. Bernardes Jr, R. Tori, R. Nakamura, D. Calife, and
A. Tomoyose. Extending Experiences: Structure, analy-
sis and design of computer game player experience, chapter

19
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Livro Interativo de Xadrez Potencializado com Realidade Aumentada

Raryel Costa Souza e Claudio Kirner


DMC – Depto. de Matemática e Computação – UNIFEI (Universidade Federal de Itajubá)
raryel.costa@gmail.com, ckirner@gmail.com

Resumo regras com o máximo de clareza, o uso da ferramenta


com a orientação de um instrutor é altamente
O aprendizado das regras do jogo de xadrez é recomendável.
difícil. Tradicionalmente, o livro e apresentações por A justificativa para o uso da realidade aumentada
instrutores tem sido usados, mas algumas inciativas (RA) em vez da realidade virtual(RV) é que, a última
tem procurado novas formas de ensino e tem a desvantagem de exigir do usuário um
aprendizagem de xadrez, explorando vídeos, equipamento intermediário para interagir (como por
realidade virtual e realidade aumentada. Esse exemplo o mouse). Na realidade aumentada, por ela
trabalho apresenta uma aplicação de realidade trazer a aplicação para o ambiente real, a interação
aumentada para ser usado no ensino de xadrez, tanto pode ser feita usando os movimentos naturais do corpo
por alunos como instrutores. Faz-se uso de animações (por exemplo, movimentando um marcador com as
3D combinadas com instruções sonoras e visuais mãos), o que acaba sendo bem mais intuitivo. [5,11]
permitindo ao aluno um melhor entendimento das Os objetivos do trabalho desenvolvido são,
regras do jogo se comparado a forma tradicional de basicamente, que o ambiente de realidade aumentada
ensino (quadro-negro e livros). Também são inclusos possibilite que o usuário possa fazer um curso básico
exercícios de fixação em que o usuário tem liberdade sobre o xadrez. Para isso ele receberá instruções
para interagir com a aplicação fazendo uso de áudio-visuais e posteriormente fará exercícios de
marcadores específicos para cópia, transporte e fixação. Ao final do curso deve haver a possibilidade
apagamento de objetos virtuais. Para complementar de o usuário jogar xadrez em RA com um amigo.
foi incluso um módulo que permite que o usuário Na seção 2 serão abordados alguns trabalhos
jogue xadrez livremente com um amigo. relacionados, enquanto que nas seções de 3 a 4 fala-se
sobre o ambiente de ensino desenvolvido, abordando,
1. Introdução respectivamente, o ambiente de realidade aumentada e
o ambiente de apoio constituído do livro e vídeos. Na
O xadrez é um jogo de tabuleiro, mas devido ao seção 5 apresentam-se as conclusões do trabalho
estrategismo e raciocínio exigidos do jogador, ele desenvolvido.
acaba sendo muito mais que isso. Justamente por essas
características que ele tem sido usado como uma 2. Trabalhos Relacionados
ferramenta pedagógica em escolas do mundo todo, em
algumas ele acabou se tornando uma disciplina [7]. Dentre as aplicações computacionais de xadrez já
Entretanto, a forma de ensino tradicional são o existentes, a maior parte se foca ou totalmente no jogo
quadro-negro e livros, o que, por vezes, acaba não de xadrez em si ou totalmente no ensino. Não se
oferendo clareza suficiente, sendo cansativo e pouco encontrou, até o momento, nenhuma aplicação, da área
motivador ao aluno. de RV e RA que abordasse esses dois aspectos em
Com a intenção de se oferecer uma forma diferente conjunto.
de se ensinar o básico do xadrez, de forma interativa Entre alguns trabalhos semelhantes na área tem-se
(com exercícios) e dinâmica (com animações 3D) foi um que oferece um jogo de damas com realidade
criado um ambiente de ensino constituído do LIXPRA aumentada [12] que possa ser jogado entre um humano
(Livro Interativo de Xadrez Potencializado com e o computador. O programa, desenvolvido usando
Realidade Aumentada) e vídeos. A ideia aqui é de ARToolKit, reconhece o tabuleiro e as peças
tanto fornecer ao aluno uma ferramenta de estudo para posicionadas sobre ele a cada jogada. Com essas
usar em sua casa (podendo fazer exercícios e rever as informações, o computador pode realizar sua jogada
explicações), como para o instrutor em suas aulas. contra o oponente real. Há também um trabalho
Mesmo com todos os esforços para transmitir com as

20
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

semelhante, só que destinada a dispositivos móveis Foram encontrados alguns vídeos no YouTube [2,3]
[6]. de trabalhos aplicações de realidade aumentada que
O Distributed Augmented Chess [1] tem lidam especificamente com o jogo de xadrez. Neles
características semelhantes ao jogo de damas com foram colocadas funções que fazem o ajuste do
realidade aumentada, entretanto, envolvendo posicionamento das peças após a movimentação,
algoritmos bem mais complexos nas jogadas do detecção de captura de peça, detecção de movimentos
computador (devido aos vários tipos de movimentação ilegais, entre outros. Um deles fez uso de ARToolKit
das peças do xadrez e às regras em número bem maior [2].
do que o jogo de damas). Ele também detecta o
tabuleiro e as peças, obtendo assim os dados para que 3. Desenvolvimento do ambiente com
o computador faça sua jogada. A aplicação também realidade aumentada
inclui recursos colaborativos, permitindo assim que se
façam partidas via rede local ou internet. Ao contrário
do jogo de damas, o rastreamento óptico foi feito de
3.1. Ferramentas usadas
forma personalizada pelos próprios desenvolvedores:
A aplicação foi desenvolvida com o SACRA
eles não fizeram uso do ARToolKit.
Também se encontrou um trabalho sobre um jogo (Sistema de Autoria Colaborativa com Realidade
Aumentada) [8,9,10]. O SACRA foi desenvolvido
de damas chinesas [4] (indevidamente chamado por
muitos de xadrez chinês), mas que também foi com a intenção de facilitar que usuários leigos de
computação, que tinham muitas vezes dificuldades
desenvolvido em realidade aumentada. O interessante
é que se faz uso de várias câmeras para detecção dos para instalar e configurar o ARToolKit, pudessem usar
e desenvolver aplicações com realidade aumentada.
marcadores usados, de forma que problemas de
obstrução sejam solucionados. Uma inovação nesse Com o uso dessa ferramenta dispensa-se o uso de
programação: toda a aplicação é desenvolvida através
trabalho foi o uso de um controle remoto adaptado
para indicar que o usuário quer movimentar uma peça da edição de arquivos de texto que configuram os
objetos virtuais a serem colocados em cena. A
(ao invés do tradicional, que é deixar o marcador
parado numa posição por um certo intervalo de desvantagem disso é que surgem várias limitações na
criação da aplicação, como por exemplo, não ser
tempo). Nessa aplicação também é feita a detecção de
movimentos inválidos. possível fazer um teste se uma resposta foi dada
corretamente ou que uma movimentação ilegal no jogo
Outra aplicação encontrada é uma representação
moderna [13,14] do histórico autômato de xadrez de xadrez foi feita, se ocorreu um xeque, etc.
Os objetos virtuais e as animações foram
denominado “Chess Turk”, criado por volta de 1789.
Ele era um “autômato” mecânico, em tamanho real, de desenvolvidos usando o Vivaty Studio [15], uma
ferramenta que permite a modelagem visual dos
um turco que ficava sentado numa mesa e jogava
xadrez com as pessoas. No início da apresentação as objetos 3D. O uso dessa ferramenta acelera em muito
o desenvolvimento de animações se comparado com a
portas da mesa de xadrez eram abertas para mostrar o
mecanismo interno, mas ninguém podia ver o jogador modelagem textual em código VRML (Virtual Reality
Modeling Language).
de xadrez que ficava escondido dentro da mesa. Esse
jogador era quem controlava o turco (que não era
autômato coisa nenhuma) através de um mecanismo 3.2. Estruturação
mecânico complexo, permitindo grande precisão na
movimentação dos braços do mesmo. A implementação do SACRA foi feita de tal forma
A aplicação moderna em realidade aumentada que, a partir de uma lista circular de arquivos com
permite que o usuário não apenas conheça a história e código VRML, usando um marcador denominado
o mistério a respeito do autômato, mas também jogue controle, é possível alternar entre as cenas geradas
contra o Turco Virtual (que agora é um verdadeiro por cada arquivo.
autômato). Usam-se recursos pesados de rastreamento Para permitir que um áudio seja novamente
óptico, permitindo que o usuário dispense dispositivos executado após seu término é usado o marcador de
complexos de interação, basta usar suas próprias mãos inspeção. Ele praticamente desativa a cena, e após
e um touchpad para fazer as jogadas. O jogo mais uma interação com ele, a cena é ativada desde o
prossegue naturalmente até certo ponto, depois disso o início, o que resulta na repetição do som.
jogador humano perde o controle sobre a Dessa forma, basicamente, cada um dos módulos é
movimentação de suas peças e o jogo corre cada vez formado por um conjunto sequencial de cenas (geradas
mais rápido até que o Turco Virtual vença (a intenção por um ou mais arquivos VRML), podendo ser
dos desenvolvedores foi mostrar o perigo de algum dia alternados pelo uso do marcador de controle.
o homem perder o controle sobre a tecnologia). Resumidamente, pode-se dizer que o marcador de
controle permite o avanço em profundidade no módulo

21
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

enquanto que o de inspeção funciona como o “replay” das peças sobre os respectivos nomes (ver figura 3).
das cenas. Ao fim é apresentada a solução do exercício.
Na figura 1 apresenta-se uma captura de tela da
3.3. Módulos do LIXPRA cena inicial do módulo sendo usado, está sendo
aproximado o marcador de controle da esfera azul
O livro interativo de xadrez desenvolvido aborda escura para avançar para a próxima cena.
alguns dos aspectos básicos desse jogo: o nome das Na figura 2, a cena que aparece após a aproximação
peças, o posicionamento, a movimentação, a captura e do marcador de controle.
os xeques. Cada um desses temas é abordado em um
módulo diferente. Para auxiliar no entendimento,
usam-se animações 3D combinadas com explicações
em áudio sobre as regras do jogo.
Para auxiliar a navegação de usuários iniciantes no
ambiente de RA são apresentadas, em alguns casos,
instruções de como proceder (os marcadores usados,
onde colocá-los, etc). Em instruções muitos longas
optou-se por instruções sonoras, para as mais breves
usou-se recursos visuais, dessa forma permite-se que
algumas partes da aplicação possam ser usadas até
mesmo por pessoas com dificuldades visuais ou
auditivas. Figura 2 - Segunda cena 2 do módulo “Nomes
Os módulos são seis no total: Nomes das Peças, de Peças”
Posicionamento, Movimentação, Captura, Xeque e
Jogo. Devido as próprias características do SACRA
(herdadas do ARToolKit), para cada módulo é
utilizado um marcador de referência diferente.
Ao fim de alguns módulos há exercícios de fixação.
Neles, o usuário tem grande grau de liberdade para
interagir, podendo escolher a ordem em que vai fazer
o exercício, para onde movimentar os objetos virtuais,
entre outros. A interação com os objetos virtuais é
feita através de marcadores designados
especificamente para uma função (cópia, apagador,
transporte, entre outros).

Figura 3 – Exercício de colocar as peças


sobre os respectivos nomes

Figura 1 - Cena inicial do módulo “Nomes


das Peças”

3.3.1. Nomes das Peças. Nesse módulo são


apresentados as peças, em modelos tridimensionais, e
os respectivos nomes. Assim que se termina a
apresentação das peças há um exercício de fixação: o Figura 4 - Posição dos cavalos no tabuleiro
usuário, fazendo uso de outros marcadores (cópia,
transporte e apagador), deverá posicionar cada uma

22
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

3.3.2. Posicionamento. Aqui se apresenta o detalhamento. Ao fim das demonstrações há um


posicionamento de cada uma das peças no tabuleiro exercício de perguntas e respostas sobre as regras de
(na figura 4, uma captura de tela da posição dos movimentação apresentadas (ver figura 7).
cavalos), acompanhando, é claro explicações em áudio
sobre as regras sobre o posicionamento. Ao fim há um
exercício de fixação semelhante ao do módulo
anterior. A diferença aqui é que, em vez de colocar as
peças sobre os nomes, o usuário deverá posicionar as
32 peças sobre o tabuleiro (veja a figura 5 e 6). Após o
término é apresentada a solução do exercício.

Figura 7 – Exercício de perguntas e respostas

3.3.4. Captura. A captura de peças no xadrez


também possui algumas particularidades, nesse
módulo se faz uma breve demonstração (com
animações e áudio) de cada uma delas.
Figura 5 – Exercício de posicionar as peças
no tabuleiro 3.3.5. Xeque. Após o ensino do nome das peças,
movimentação e captura o usuário já pode entender
melhor o xeque, algo intrinsecamente relacionado com
o objetivo do jogo de xadrez, que é dar o xeque-mate
no rei adversário. Aqui, a combinação entre animação
3D e as explicações (ver figura 8) de forma sonora e
visual de um caso de xeque (ver figura 9), e outro de
xeque-mate (ver figura 10), permitem que o
entendimento seja facilitado e muito em relação a
outras formas de apresentação do tema (como livros e
quadro-negro).

Figura 6 – Resposta do exercício de


posicionamento

3.3.3. Movimentação. Nessa seção são apresentadas


animações em loop sobre a movimentação de cada
uma das peças. As explicações em áudio são bem mais
extensas do que nas partes anteriores já que cada peça
do xadrez possui regras específicas de movimentações.
Algumas possuem casos especiais que exigem maior Figura 8 – Instruções sobre o xeque

23
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

4. Desenvolvimento do Ambiente de Apoio


Como complemento ao ambiente de realidade
aumentada foram gravados vídeos da utilização de
cada um dos módulos de uma forma bem mais
resumida (e sem as explicações em áudio com as
regras envolvidas).
Entre as vantagens do vídeo cita-se o fato de ele
dispensar que o usuário tenha que se preocupar com
questões de iluminação do ambiente (que afetam o
rastreamento óptico) e não requerer programas
especiais para ser executado. Essa última vantagem é
importante, pois no caso de ocorrem problemas de
Figura 9 – Exemplo animado de xeque compatibilidade do SACRA com possíveis versões
mais novas dos sistemas operacionais e bibliotecas,
pode-se ainda continuar o uso (restrito, é claro) do
ambiente de ensino de xadrez. Caso isso venha a
ocorrer a solução poderá ser o uso de uma máquina
virtual com uma versão mais antiga do sistema
operacional.
Já as desvantagens da utilização de vídeos é o fato
de serem estáticos, não permitirem a interação (o
grande ênfase da realidade virtual e aumentada).
Assim, perde-se boa parte do potencial educativo
(fornecido através dos exercícios e do jogo de xadrez
implementados em RA).
O LIXPRA também funciona como um livro
normal de xadrez, já que além dos marcadores de RA,
há textos e ilustrações apresentando as regras do jogo
Figura 10 – Exemplo animado de xeque-mate de xadrez. Os temas abordados são praticamente os
mesmos da parte interativa do livro.
3.3.6. Jogo. Para que o usuário possa também O pacote do LIXPRA, o manual de utilização e os
começar a fazer suas primeiras partidas, de vídeos se encontram disponíveis para download no
preferência, com um instrutor ou jogador experiente site http://www.ckirner.com/sacra/aplica/xadrez/.
(porque, fazendo uso do SACRA não é possível testar
se a movimentação das peças foi feita corretamente), 5. Conclusão
há um módulo em que ele pode jogar livremente. (ver
figura 11). Através desse trabalho foi apresentado um
ambiente completo de ensino do básico sobre o xadrez,
desenvolvido usando recursos de realidade aumentada.
A aplicação possibilita ao usuário a interação
(permitindo avançar para a próxima cena, atuar
livremente em exercícios de fixação e atuar num jogo
de xadrez em RA) e o aprendizado dinâmico (através
de animações 3D). Para complementar também foi
criado um ambiente de apoio constituído de um livro
de xadrez e vídeos do funcionamento da aplicação de
RA.
Devido a facilidade de uso do SACRA, foi possível
implementar o ambiente de ensino de xadrez com
realidade aumentada e até mesmo o jogo de xadrez em
RA com relativa rapidez. Algumas limitações do
SACRA impediram que, por exemplo, fossem feitos
testes se um usuário acertou uma resposta de exercício
Figura 11 – Jogo de xadrez com realidade ou se movimentou uma peça incorretamente durante o
aumentada jogo. Devido a algumas falhas do SACRA, algumas

24
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

animações não funcionaram de forma perfeitamente Augmented Reality. Petrópolis – RJ. 28 mai. 2007.
bem, ocorrendo desaparecimentos dos objetos em cena Disponível em:
por alguns segundos, mas nada de muito grave que <http://www.ckirner.com/download/livros/Realidade
afetasse o uso do LIXPRA. %20Virtual%20e%20Aumentada-2007.zip>. Acesso
Como contribuição do trabalho desenvolvido pode- em: 25 jul. 2010.
se citar a criação de uma ferramenta diferente para ser
[6] LUZ, Lucas Faria da. Jogo de Damas usando
usada no ensino de xadrez, dando ao aluno a
Realidade Aumentada. Disponível em:
possibilidade de estudar sozinho em sua casa (e
<http://www.fileden.com/files/2010/4/23/2837301/UL
fazendo exercícios) e ao instrutor de apresentar as
BRA-TCC2-lucas_luz.pdf>. Acesso em: 17 ago. 2010.
regras do jogo de uma forma mais clara, dinâmica e
interativa. [7] OLIVEIRA, Cléber Alexandre Soares de; CASTILHO,
Como trabalhos futuros pode-se citar a criação de José Eduardo. O Xadrez como Ferramenta Pedagógica
uma versão do ambiente de RA voltado para usuários Complementar na Educação Matemática. Disponível em:
mais experientes, com menos explicações em áudio. <http://www.matematica.ucb.br/sites/000/68/00000069.pdf>
Também planeja-se desenvolver a aplicação usando a . Acesso em: 15 out. 2010 .
biblioteca FLARToolKit, o que possibilitará a
superação das limitações encontradas com o SACRA, [8] SACRA HOMEPAGE. Disponível em:
a inclusão de recursos mais complexos e o uso de <http://www.ckirner.com/sacra>. Acesso em: 18 ago. 2010.
menos marcadores. A aplicação também poderá ser
usada sem a necessidade de instalar nenhum software [9] SANTIN, Rafael; KIRNER, Claudio. ARToolKit:
extra no computador, bastando ao usuário acessar uma Conceitos e Ferramenta de autoria
página na internet e possuir o plugin de Flash colaborativa. Disponível em:
<http://www.ckirner.com/sacra/ARTK-tutor-CK-final.pdf>.
instalado no navegador.
Acesso em: 19 ago. 2010.

6. Agradecimentos [10] SANTIN, Rafael. Sistema de autoria em ambiente


colaborativo com realidade
Agradecimentos a FAPEMIG pela bolsa PIBIC de aumentada. Disponível em:
iniciação científica que possibilitou o desenvolvimento <http://www.ckirner.com/sacra/SACRA-diss.zip>. Acesso
desse trabalho. em: 19 ago. 2010.

[11] TORI, Romero; KIRNER, Claudio; SISCOUTTO,


7. Referências Bibliográficas Robson. Fundamentos e Tecnologia de Realidade Virtual
e Aumentada. Livro do pré-simpósio: VIII Symposium
[1] ABRAHAM, Frederico Rodrigues; BRAGA, Otavio. on Virtual Reality. Belém – PA. 02 mai. 2006. Disponível
Distributed Augmented Chess System. Disponível em: em:
<http://www.tecgraf.puc- <http://www.ckirner.com/download/capitulos/Funda
rio.br/~mgattass/ra/trb03/Fre&Otavio/>. Acesso em: 17 mentos_e_Tecnologia_de_Realidade_Virtual_e_Aum
ago. 2010. entada-v22-11-06.pdf>. Acesso em: 21 ago. 2010.
[2] Augmented reality chess game. Disponível em: [12] TRINDADE, Daniel Ribeiro. Jogo de Damas em
<http://www.youtube.com/watch?v=vTB8q2UAEuE>. Realidade Aumentada. Disponível em:
Acesso em: 17 ago. 2010.
<http://www.tecgraf.puc-
[3] BUCCIO, Marco. Augmented Reality Chess. Disponível
rio.br/~mgattass/ra/trb08/DanielRibeiro/pagina/Realid
em: <http://www.youtube.com/watch?v=W94CEyVGrm0>. ade%20Aumentada%20-%20Daniel%20Ribeiro
Acesso em: 17 ago. 2010. %20Trindade.html>. Acesso em: 21 ago. 2010.

[4] COOPER, Nicholas; KEATLEY, Aaron; DAHLQUIST, [13] Vienna University of Technology . The Virtual
Maria; MANN, Simon; SLAY, Hannah; ZUCCO, Joanne; Showcase: An innovative augmented reality display
SMITH, Ross; THOMAS, Bruce H. Augmented Reality system. Disponível em: <http://studierstube.icg.tu-
Chinese Checkers. Disponível em: graz.ac.at/virtualshowcase/>. Acesso em: 17 ago. 2010.
<http://citeseerx.ist.psu.edu/viewdoc/download?
doi=10.1.1.102.9448&rep=rep1&type=pdf>. Acesso em: 17 [14] Vienna University of Technology. Turkish Chess-
ago. 2010. Player. Disponível em:
<http://www.ims.tuwien.ac.at/~flo/vs/chessplayer.htm
[5] KIRNER, Claudio; SISCOUTTO, Robson. Realidade l>. Acesso em: 17 ago. 2010.
Virtual Aumentada: Conceitos, Projeto e Aplicações.
Livro do Pré- Simpósio: IX Symposium of Virtual and [15] VIVATY STUDIO HOME PAGE. Disponível em:
<http://developer.vivaty.com>. Acesso em: 06 mai. 2010.

25
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Desenvolvimento de um Jogo Tridimensional com Realidade Aumentada

Kleber Anderson Corrêa e Silva, Claudio Kirner


DMC – ICE - UNIFEI
E-mail: kleber7777@gmail.com, ckirner@gmail.com

Resumo Olausson [8], este valor deve chegar em US$ 65


bilhões até o ano de 2013.
A indústria dos jogos eletrônicos tem apresentado
crescimento considerável nos últimos anos. A Esta expansão reflete também no mercado
ampliação da faixa etária dos jogadores, a criação nacional. Mesmo durante a crise de 2008, o setor
significativa de jogos casuais e novos equipamentos apresentou crescimento de 31% na área de software e
com maior acessibilidade são fatores importantes para 8% na parte de hardware [6]. E a expectativa é que este
este novo cenário. O grande fator de imersão presente crescimento continue.
na interação com aplicações em Realidade Aumentada
mostra seu potencial no setor do entretenimento A partir deste cenário, este trabalho teve como
eletrônico. Este trabalho teve como objetivo criar um finalidade: compreender as possibilidades presentes no
jogo tridimensional com Realidade Aumentada na qual processo de desenvolvimento de jogos tridimensionais,
o usuário controle o posicionamento do cenário com as assim como as dificuldades e restrições a serem
próprias mãos, através de um marcador, com maior encontradas.
naturalidade. Toda a experiência adquirida, o código
fonte inclusive, será compartilhada através do site Graças ao aprimoramento dos ambientes de
promocional. desenvolvimento, melhoramento dos recursos
computacionais e a diversificação dos usos, o estudo
nesta área tem se mostrado promissor. Buscar uma
Abstract nova forma de interação com o jogo foi um dos
objetivos deste trabalho.
The electronic games industry has been
considerable growth in recent years. Extending the age
range of players, the creation of casual games 2. Trabalhos relacionados
increasing and new equipments with greater
accessibility are important factors for this new Freire [5] faz uma analogia do termo jogo com o de
scenario. The big factor of immersion that has in the brincadeira e brinquedo, porém ressalta que a diferença
interaction in Augmented Reality’s applications shows está na elaboração de regras e na distinção entre
its potential in the sector of electronic entertainment. ganhadores e perdedores durante a prática deste. Já
This paper aimed to create a three-dimensional game Antunes [5] acredita que, além da simples disputa entre
with Augmented Reality that the user will control the um grupo de pessoas, exista um estímulo ao
positioning of the scene with his own hands, with a aprimoramento cognitivo e aos desafios da vida.
marker, more easily. The whole experience, including
source code, will be shared through the promotional Os jogos podem apresentar uma série de benefícios
site. ao usuário, tais como desenvolvimento de raciocínio,
auxílio na alfabetização, geração de regras e
estratégias, ampliação cultural, memorização e muitos
1. Introdução outros. O prazer na prática deve ser espontâneo. Para
tal, o desenvolvimento dos jogos deve atender certas
Desde 2003, a indústria de jogos eletrônicos já exigências: facilidade de interação, recompensa por
tinha superado o mercado dos filmes americanos em metas alcançadas, acessibilidade, regras claras e, por
faturamento. Na ocasião, o setor tinha acumulado US$ fim, atrativo para o reuso.
30 bilhões durante o período fiscal [4]. Segundo

26
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

A indústria dos jogos iniciou-se com exemplares este seria o instrumento mais funcional para o jogador.
exclusivamente bidimensionais. Todos os objetos O grande diferencial está na adoção de um marcador
possuíam dimensão definida por sua altura e largura. O para definir o local de projeção do cenário e, assim,
movimento se restringia a aplicação de translação permitir mudar o ângulo de visão com um simples
sobre a tela. As restrições na criação dos cenários, movimentar do cartão.
representados como planos, assim como a baixa
capacidade gráfica restringia a complexidade das 3. Desenvolvimento do jogo
ações, representação visual e regras. Com esta
simplificação, os jogos eletrônicos obtiveram grande 3.1. Descrição
sucesso entre o público mais jovem.
O jogo desenvolvido se chama Slidetrix. O objetivo
A evolução do processamento gráfico tornou dele é testar à lógica e agilidade do jogador. A base do
possível a criação de ambientes virtuais jogo é composta por vinte e quatro cubos espalhados
tridimensionais. A adição de profundidade nos sobre a superfície de numa matriz 3x3x3, conforme a
cenários e personagens controláveis gerou novas Figura 02, vazada no eixo central vertical. Entre os
possibilidades: novos pontos de visualização, maior cubos existe um espaço vazio. Esta característica é
mobilidade sobre o cenário, assim como, detalhamento importante para permitir a mobilidade das peças no
deste. jogo. Sempre que uma peça for clicada, se houver um
espaço vago em sua vizinhança ela poderá mover para
Recentemente, uma série de jogos, tanto para esta nova posição.
computador quanto para consoles, estão unindo os
modelos tridimensionais com ambientes reais. O uso
da Realidade Aumentada mostra-se não apenas como
uma novidade visual, ela contribui ao criar formas de
controle mais simples e intuitivos. O jogo EyePet [10]
para Playstation 3, por exemplo, utiliza uma câmera de
vídeo para projetar um mascote virtual na sala do
jogador. A Figura 01 (a) mostra que os usuários podem
interagir adicionando elementos gráficos na redondeza
do animal. Trata-se de um grande avanço, se
comparado com os primeiros jogos com bichos
virtuais.

A Figura 01 (b) apresenta um exemplar da Torre de


Hanoi [11], jogo este que considera a ordem lógica na Figura 02: Cubos na base principal
transição dos discos através dos pinos para alcançar o
objetivo final. Neste caso, a movimentação dos Além dos cubos espalhados pela base do jogo,
elementos do jogo é realizada por um marcador. novos cubos, com cores aleatórias, surgirão na tela.
Eles são chamados de invasores. O ponto de
surgimento e o caminho percorrido por essas peças
acontecem em uma estrutura guia localizada tanto na
parte superior quanto na inferior da base do jogo. Na
guia, o jogador pode ter uma melhor noção sobre o
início e o fim da trajetória das peças invasoras.
Existem oito direções possíveis, Figura 03, a se
percorrer: para frente, para trás, para a esquerda ou
para a direita, com movimentos para cima ou para
Figura 01: Jogos com Realidade Aumentada: (a) EyePet, (b) Torre de
Hanoi baixo. Cabe ao jogador defender cada uma dessas
regiões.
O presente jogo utilizará como premissa grande
parte dos conceitos presentes nos jogos para
computadores atuais. Boa parte da interação utilizará o
mouse por considerar que, para as regras definidas,

27
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

3.2. Ambiente de desenvolvimento

Visando distribuir o jogo da forma mais simples


possível, foi definido que este projeto utilizaria a
ferramenta FlartoolKit [9]. Trata-se do projeto feito
pelo japonês Saqoosha que adaptou o NyARToolkit
[7] , ambiente de criação de Realidade Aumentada, de
Java para ActionScript 3.0. Com isso, utilizando-se de
um programa que permite criar aplicações em Flash,
todo o processo pode ser criado, tanto o layout visual
quanto a lógica de programação.

Figura 03: regiões de ataque dos invasores A grande vantagem para o usuário final é: ele
precisa possuir apenas o plugin de Flash incorporado
Todos os cubos presentes, tanto os localizados na ao seu navegador e uma webcam. Nada mais. Esta
base quanto os adversários, devem possuir uma das vantagem reflete também para o desenvolvedor no ato
três cores: vermelho, amarelo ou verde. A ordem das da distribuição do aplicativo criado.
cores é o fator primordial para a solução do problema.
Através de técnicas de visão computacional, o
As peças invasoras aparecem na tela sempre em aplicativo criado utiliza uma câmera para reconhecer
grupo de três. Após elas completarem todo percurso, os elementos do ambiente real. O marcador impresso é
para que o jogador consiga eliminá-las, ele deve usado como base de referência, recebendo uma
colocar os cubos da base, que estão na região atacada, imagem virtual. O rastreamento óptico do marcador
na mesma seqüência de cores das invasoras, conforme serve para calcular e ajustar a posição dos objetos
mostrado na Figura 04. Feito isso, os cubos inimigos virtuais.
são eliminados. O desafio proposto é eliminar todas as
peças invasoras em um tempo limite para cada fase. Durante o processo de criação, três versões do
FlartoolKit foram testadas. O constante aprimoramento
da ferramenta traz novidades e melhoramentos a cada
novo lançamento. A última atualização, 5.3, foi a que
apresentou melhores resultados, sendo esta a versão
empregada no trabalho final.

Para criação dos elementos virtuais foi utilizado


uma biblioteca auxiliar de modelagem. O
Papervision3D [12] é uma ferramenta, em código
aberto, para criação de ambientes 3D. Carlos Ulloa,
seu criador, iniciou o projeto devido à falta de suporte
na criação de objetos tridimensionais por parte do
Figura 04: eliminando peças invasoras Flash. Inicialmente, os programadores tinham que
adicionar elementos na tela de forma a gerar uma
A cada novo desafio vencido, a dificuldade perspectiva que transmitisse a ilusão do 3D. Com a
apresentada fica cada vez maior: seja com um maior capacidade de criar objetos tridimensionais reais,
número de peças inimigas, com um menor tempo de rapidamente o Papervision3D obteve respeito entre os
resolução ou o aumento da velocidade em que as peças programadores. No presente projeto, como os objetos
invasoras se apresentam. não apresentavam grande complexidade, apenas
figuras primitivas em forma de cubo foram utilizadas.
Existe ainda, em fases mais avançadas, a retirada Quanto à textura, nem todos os objetivos poderiam
da estrutura guia, o que dificulta o processo a ser alcançados com os recursos padronizados do
identificação do posicionamento final das peças Papervision3D. Portanto, três opções foram utilizadas:
invasoras. Quanto mais rápido for resolvido o desafio,
maior será a pontuação de bônus ofertada. • Materiais primitivos: texturas providas pelo
Papervision3D foram usadas para elementos

28
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

mais simples, sem grande complexidade iluminação do local também influi: projetar a câmera
visual. diretamente contra luz intensa pode dificultar o
• Imagens vetoriais: através do painel de edição reconhecimento do cartão de identificação.
Além desta característica, o ajuste do
do Adobe Flash CS4 [1], foi possível criar
posicionamento da câmera deve ser levado em conta.
imagens mais sofisticadas. Seja com Para isso, uma estrutura de teste foi criada, apresentada
elementos geométricos 2D ou texto e salvá-las na Figura 05. Após colocar o marcador no campo de
como um formato especial, chamado visão da câmera, surgirá na tela um cubo central
MovieClip, para sua impressão em cada face informativo que mostrará a posição correta quanto ao
dos cubos. Esta adoção foi fundamental para seu lado frontal e superior do cenário virtual. Além
maior interação dos objetos com o disso, duas faixas de graduação indicam a largura e
altura reservada para a completa visualização do jogo.
Actionscript.
• Imagens bitmap: Em alguns casos, onde a
criação de elementos mais sofisticados foi
necessária, foi preciso da adição de outras
ferramentas de edição gráfica. Para a criação
do logotipo, o software Adobe Photoshop [2]
foi usado para modelagem, criação e edição.
A imagem foi salva, com padrão JPEG ou
PNG, e importada ao ambiente Flash.

A integração de todas as bibliotecas com o


Actionscript 3.0 foi bem sucedida. Definir todo o
projeto utilizando estrutura de programação orientada a Figura 05: ajustando posição do marcador
objeto foi importante para dar estabilidade, clareza e
controle. Um grande problema para os Feito o processo de calibragem, o jogador deve
desenvolvedores que utilizam o ambiente Flash para pressionar o botão “espaço” do teclado para iniciar o
construir seus aplicativos é a falta de suporte a jogo. Uma pequena animação é apresentada que
Threads. Considerando os problemas de velocidade culminará na criação do menu principal, conforme a
encontrados, este recurso teria sido de grande ajuda. Figura 06. A interação com este se dá através do clique
Para contornar este problema, um controle mais rígido do mouse. Além opção destinada ao jogo em si, um
sobre os elementos armazenados na memória e objetos pequeno tutorial de ajuda e outro com informações
anexados ao “palco central” do FlartoolKit foi sobre o desenvolvedor estão à disposição. O jogador,
fundamental. ao clicar na opção “Play” do menu, inicia-se o jogo. A
direita será mostrado um painel com informações do
3.3. Jogo desenvolvido jogo: nível, pontuação, tempo e número de invasores
restantes. Estas informações são atualizadas
O primeiro passo do jogador ao entrar no site é constantemente. Além disso, apresenta um pequeno
imprimir o marcador. A escolha por um único cartão menu que, ao ser pressionado, pausa o jogo e permite o
de referência foi com objetivo de tornar a interação a usuário acessar o tutorial, iniciar novamente ou,
mais simples e prática possível. Sobre este marcador simplesmente, retornar ao jogo.
são projetados todos os elementos virtuais. O simples
girar da folha torna possível modificar o ângulo de O processo de controle do jogo baseia-se em dois
visão do cenário. elementos: o marcador e o mouse. O marcador para
controle do posicionamento do cenário e o mouse para
Após carregar toda a aplicação flash no navegador ativar ações e o movimento do cubo desejado. Seria
do usuário, existe a necessidade habilitar o acesso a possível a troca da função do mouse por outro cartão,
webcam, em uma tela de autorização. Segundo testes com função de inspeção, porém, a interação não seria
durante o desenvolvimento, câmeras com menos de 01 tão amigável, intuitiva. Além disso, evita-se uma
megapixel apresentaram baixo desempenho: a taxa de confusão no processo de manipulação dos marcadores.
renderização dos objetos não se mostrou satisfatória. A

29
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Um dos fatores que podem atrapalhar a experiência FlartoolKit em nossa língua, este projeto pode
do jogo é a lentidão. Durante os testes, foi verificada contribuir para novos projetos.
uma queda de velocidade, na taxa de quadros por Existem pontos negativos, observados durante o
segundo, em momentos em que foram apresentados processo de criação, tanto para usuário quanto para
muitos objetos anexados ao cenário principal. Em desenvolvedor: exigência de uma câmera com uma boa
máquinas mais antigas, a jogabilidade pode ser resolução, necessidade de uma máquina com níveis
prejudicada. Como o flash não possui um tratamento medianos de poder computacional, lentidão de
nativo dos elementos básicos tridimensionais, esta processamento na presença de muitos objetos virtuais e
queda de processamento é constatada. Espera-se que, o baixo nível de tratamento de erros no ambiente de
com o avanço da tecnologia flash, estes problemas desenvolvimento do IDE Flash. Todas estas restrições
possam ser sanados. deverão ser reduzidas, gradativamente, com o
aprimoramento das tecnologias envolvidas. Nenhum
desses itens impediu a realização do projeto.

Como contribuição para trabalhos de futuros


desenvolvedores, sugere-se o uso de opções de
texturas para complementar visualmente aos elementos
tridimensionais criados em Papervision3D. Embora
existam boas opções nativas, adquirir um resultado
profissional exige prática. Utilizar alternativas, com
imagens vetoriais ou bitmap, pode gerar bons
resultados.

5. Referências bibliográficas
Figura 06: menu principal
[1] Adobe Flash CS4, disponível em:
A experiência adquirida na elaboração deste www.adobe.com/products/flash/
trabalho está disponibilizada no site promocional [2] Adobe Photoshop, disponível em:
(http://www.ckirner.com/jogos/slidetrix), incluindo: www.adobe.com/products/photoshop
jogo, código fonte, referências e dicas relacionadas. [3] Antunes, Celso, “Jogos para a estimulação das múltiplas
inteligências”, Vozes, Rio de Janeiro, 1998.
[4] Assis, Diego, “Game supera cinema como opção de
4. Conclusão entretenimento em 2003”, disponível em:
http://www1.folha.uol.com.br/folha/ilustrada/ult90u40114.sh
O jogo Slidetrix permite ao usuário controlar o tml, 31/12/2003.
cenário virtual de uma forma mais livre e simples. A [5] Freire, J.B, “Educação de corpo inteiro”, Scipione, São
interação entre marcador e câmera mostrou-se bastante Paulo, 1994.
eficiente. Os recursos tradicionais da informática [6] Gandra, Alana, “Mercado de jogos eletrônicos cresce no
(mouse e teclado) foram necessários para manter a Brasil apesar da crise”, disponível em:
http://www.inovacaotecnologica.com.br/noticias/noticia.php
eficácia no controle do jogo. Alguns elementos podem
?artigo=mercado-de-jogos-eletronicos-cresce-no-brasil-
ser aperfeiçoados ou implementados em uma versão apesar-da-crise&id=, 03/03/2009.
futura: mais opções de cores, novos graus de desafios, [7] NyARToolkit, disponível em:
armazenamento da pontuação dos jogadores, anexar http://nyatla.jp/nyartoolkit/wiki/index.php
uma trilha e efeitos sonoros, etc. [8] Olausson, “Games Software Business to Approach $65
Billion Worldwide by 2013, says Strategy Analytics”,
A atuação do FlartoolKit no ambiente Flash disponível em: http://www.industrygamers.com/news/games-
mostrou-se bem sucedida. A facilidade de aprendizado, software-business-to- approach-65-billion-worldwide-by-
desenvolvimento e distribuição online de uma 2013-says-strategy-analytics/, 07/05/2010.
[9] Saqoosha, FlartoolKit, disponível em:
aplicação com Realidade Aumentada através deste
http://saqoosha.net/en/flartoolkit/start-up-guide/
formato foi de grande valia. Disponibilizar o código [10] Sony Computer Entertainment Europe, EyePet,
fonte no site (http://www.ckirner.com/jogos/slidetrix), disponível em: http://www.eyepet.com/.
condição pré-estabelecida para a distribuição gratuita [11] Torre de Hanoi, disponível em:
de aplicações com esta ferramenta, tende a ser usado http://www.realidadevirtual.com.br/
como referência para pesquisas futuras. Considerando [12] Ulloa, Carlos, Papervision3D, disponível em:
o baixo número de fontes informativas sobre o http://blog.papervision3d.org

30
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 2 
 
APLICAÇÕES EM ENGENHARIA ELÉTRICA 

31
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Realidade Aumentada para Auxiliar o Aprendizado de Motor Elétrico

Costa-Junior, R.A.; Silva, R.C. ; Cerqueira, C.S.; Almeida, A.T.L.


Universidade Federal de Itajubá (UNIFEI)
(rcosta62br,claudino,tadeu.lyrio@unifei.edu.br, bodusb@gmail.com)

Resumo Com a evolução dos computadores e principalmente


do hardware de imagens (placas de vídeos e câmeras) é
Com a Realidade Aumentada é possível integrar possível realizar uma simulação do funcionamento do
teoria e experimentação em aulas práticas, utilizando motor, muito além de simples desenhos esquemáticos e
as bibliotecas virtuais. O ensino de Motores Elétricos animações. Atualmente a Realidade Aumentada (RA)
é importante no aprendizado técnico industrial, dada se destaca, pois permite mostrar as atividades da
sua utilização. Para ilustrar a teoria envolvida torna- prática de motores. RA é uma variante da Realidade
se essencial a prática didática em laboratório. Neste Virtual (RV), que é definida como um sistema que
trabalho é apresentada uma ferramenta de auxilio ao complementa o mundo real com objetos virtuais
aprendizado de motores elétricos que demonstra os gerados por computador, coexistindo no mesmo
componentes individuais e o motor em movimento. espaço [9].
Também compara trabalhos relacionados que
empregam Realidade Virtual e Aumentada. O presente artigo apresenta um exemplo de como a
RA pode ser utilizada para gerar uma ferramenta de
auxilio ao aprendizado de MIT, salienta seu potencial
de utilização e apresenta as vantagens e desvantagens
1. Introdução desta tecnologia no processo de aprendizagem.
O motor elétrico é o meio mais indicado para a
A Seção 2 apresenta o princípio de funcionamento e
transformação de energia elétrica em mecânica, em
componentes do MIT, a Seção 3 apresenta trabalhos
termos industriais, para o acionamento das mais
relacionados com o ensino de motores elétricos
variadas cargas como bombas, compressores, sistemas
utilizando RV e RA. Na Seção 4 são abordadas as
de elevação de peso entre outros. Existe uma ampla
características e a teoria da Realidade Aumentada e na
variedade de motores elétricos disponíveis
Seção 5 é apresentado o Sistema de Autoria
comercialmente, dividida em dois grupos: motores de
Colaborativa com Realidade Aumentada – SACRA
corrente contínua e motores de corrente alternada,
empregado neste trabalho. Na Seção 6 apresenta-se a
sendo que estes podem ser síncronos ou de indução.
ferramenta de Auxílio ao aprendizado de MIT com a
Os motores de indução trifásicos (MIT) são os mais utilização da técnica de Realidade Aumentada.
utilizados industrialmente para acionar máquinas de Conclusões e encaminhamentos para futuros trabalhos
qualquer potência em razão de sua robustez, custos e, são apresentados na Seção 7.
simplicidade operacional e de manutenção. Seu
conhecimento para manuseio, desenvolvimento e
manutenção torna-se tão essencial quanto a velocidade 2. Apresentação e funcionamento do MIT
das inovações. Detalhes de construção, componentes, Um motor de indução é o motor de construção mais
conexões, como operam os campos eletromagnéticos simples e é composto de duas partes: estator, parte fixa
compõem os estudos que englobam conceitos teóricos mais externa e, rotor a parte girante. O estator possui
e práticos em disciplinas e treinamentos de MIT [10]. três conjuntos de bobinas que permitem a criação do
Conceitos práticos trabalhados em laboratório campo girante e a existência de um ou mais pares de
didático enriquecem a aprendizagem ao materializar a pólos o que define a velocidade síncrona. O rotor
visão da teoria. Por outro lado, os riscos de trabalhar possui uma gaiola (ou enrolamentos, dependendo do
com os equipamentos e mesmo o custo do laboratório, tipo) que permite a circulação de corrente e um núcleo
não permitem um amplo acesso aos motores no de chapas magnéticas.
aprendizado.

32
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Na Figura 1 tem-se uma vista em corte de um MIT, transforma o aprendiz em uma pessoa ativa no
destacando os componentes básicos. processo, entre outras vantagens. Com os avanços da
RV, a técnica de ensino foi aprimorada com o uso da
RA e disponibilizada em site de Cardoso na
Universidade Federal de Uberlândia [14].
O sistema de demonstração de um motor elétrico
virtual começa esperando que o usuário escolha uma
das opções: Close All, Closed Engine, Internal Engine
Parts, Internal Engine Parts 2, Rotor e Open Engine
Expand. Ao escolher a uma das opções que não seja a
Closse All, o usuário coloca o marcador na frente da
câmera e tem a imagem do motor com a forma da
opção escolhida. Em cada uma destas opções o usuário
Figura 1. Vista em corte de um MIT. pode escolher se deseja ou não ver o motor com
O princípio de funcionamento do MIT esta ilustrado animação e conforme roda o marcador, tem-se uma
no diagrama da Figura 2. O campo magnético criado vista do motor de outros ângulos.
nas bobinas do estator está girando, o rotor acompanha
seu movimento devido à indução de correntes nas
barras e o surgimento de um campo resultante
4. Realidade Aumentada e MIT
correspondente. RA “é um sistema que suplementa o mundo real
com objetos gerados por computador, parecendo
coexistir no mesmo espaço e apresentando a
propriedade de combinar objetos reais e virtuais no
ambiente real” [9]. A ligação entre a RV e a RA está
no espectro que começa no mundo real e termina na
RV. Entre os extremos, existe a Realidade Misturada,
onde elementos do mundo real se misturam com
elementos do mundo virtual.
A Realidade Misturada é a união do ambiente real
Figura 2. Princípio de funcionamento do MIT. com o ambiente virtual utilizando o computador como
interface, sendo particularizado de duas maneiras: A
Observe-se nessa breve apresentação e princípio Virtualidade Aumentada, onde existe predominância
funcionamento do MIT a abstração necessária na de elementos virtuais no ambiente misturado, e a RA,
assimilação dos conceitos. onde os elementos reais predominam sobre os virtuais
Mesmo com as visualizações esquemáticas de [1], [11]. Tem-se então que a RA é uma
componentes e seu funcionamento, compreender o particularização da Realidade Misturada.
inter-relacionamento de componentes e fenômenos RA proporciona ao usuário interagir de forma
durante o funcionamento ainda fica difícil e demanda segura e agradável, eliminando em parte a necessidade
grande esforço do aprendiz. de treinamento, pelo fato de trazer elementos virtuais
para o mundo real. Isto é possível pela combinação de
3. Realidade Virtual e Máquinas Elétricas técnicas de visão computacional, computação gráfica e
RV é considerada como a experiência imersiva e realidade virtual, gerando como resultado uma correta
interativa baseada em imagens gráficas 3D geradas em sobreposição de objetos virtuais no ambiente real [1],
tempo real por computador, ou seja, é uma simulação [2], [3], [5] e [8].
gerada por computador, de um mundo real ou apenas As idéias de ferramenta auxiliar com RA proposta
imaginário. Cardoso et al. em [4] e [6] propôs o uso da nesse trabalho iniciam com um objeto real utilizado no
RV como ferramenta auxiliar de ensino para máquinas Laboratório de Máquinas Elétricas da Universidade
elétricas na graduação. Federal de Itajubá, LME-UNIFEI, mostrado na Figura
Nos trabalhos, demonstra-se o quanto essa técnica 3. Na Figura 4, tem-se o mesmo motor com um
auxilia no ensino de máquinas elétricas, permitindo marcador que é um inicializador da técnica de RA. Na
experimentos virtuais, facilidade no entendimento da Figura 5 mostra-se um exemplo de aplicação
parte teórica. A visualização imersiva da máquina desenvolvida em RA, onde os objetos virtuais são

33
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

justapostos ao mundo real. Assim os dois mundos, tangível de RA. A interface disponibilizou técnicas de
virtual e real, coexistem. interação, com base nas propriedades dos marcadores:
visibilidade, posição e orientação [13].
SACRA permite a interação com objetos virtuais
associados a marcadores e pontos cadastrados em
relação a um referencial. Estes referenciais são dados
por um marcador de referência. A interação com
objetos virtuais é realizada por marcadores com
funções especializadas, denominados marcadores de
ação. SACRA usa marcadores de ação e de referência,
que devem estar devidamente cadastrados, seguindo
uma ordem estabelecida por suas ações.
Os marcadores apresentam comportamentos que
Figura 3. Motor trifásico de indução. estão associados aos possíveis estados identificáveis do
sistema de rastreamento. Nesse caso, é possível
identificar: a presença do marcador na cena; a distância
do marcador em relação a outros marcadores ou
objetos virtuais e a orientação do marcador e o seu
ângulo de rotação. Esses comportamentos podem ser
utilizados em conjunto, ampliando o tipo de interação
como aliar a detecção da distância e da rotação. No
SACRA, os pontos cadastrados são posições extraídas
das transformações relativas entre um determinado
marcador de referência visível na cena e o marcador de
inspeção.
Figura 4. MIT com o marcador de RA.
6. Ferramenta de Auxilio ao Aprendizado
Na proposta de uma ferramenta auxiliar no
aprendizado de MIT que possa ajudar nas atividades
didáticas do LME-UNIFEI, foi elaborado um ambiente
de RA, utilizando o SACRA para sua montagem. O
sistema pode ser representado por uma “máquina de
estados” composta de cinco estados, observada na
Figura 6.

Figura 5. MIT com o motor virtual.


As figuras estimulam as aplicações de RA pela
mistura dos objetos reais com os virtuais, criando um
ambiente motivador, atrativo e lúdico.

5. SACRA
Para a composição da Figura 5, foi utilizada a
ferramenta de software construída a partir da biblioteca
ARToolKit [7], que prevê a utilização de dispositivos
de baixo custo, como a webcam.
Na interação do usuário com o SACRA [12] foram
utilizados marcadores (placas de papel quadradas Figura 6. Diagrama de funcionamento do SACRA
contendo um símbolo), que atuaram como interface

34
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O diagrama da Figura 6 apresenta uma aula MIT (Painel de controle, Estator e Rotor), conforme
introdutória de MIT demonstrando seus componentes e vai ocorrendo a desmontagem do motor. Em seguida é
funcionamento. Os estados são acionados com o informado que o usuário pode passar para o próximo
marcador de base, aqui considerado como sendo o passo com o marcador de controle.
marcador de referência do SACRA, dos marcadores de
State 4: Motor Explodido. Neste estado é
controle e inspeção (marcador de ação do SACRA),
apresentada a vista explodida do MIT (Figura 9) e
conforme a Figura 7:
pedido ao usuário que verifique as partes e identifique
o cabeamento do painel de controle. Novamente com o
marcador de controle ele pode ir para o passo 5.

(a) (b) (c)


Figura 7. Marcadores do sistema: (a) de base, (b) de
inspeção. (c) de controle,
Ao colocar o marcador de base na frente da webcam
será iniciado o programa, neste instante, com o
marcador de inspeção ou clicando na tecla <a>
aparecerá o motor elétrico virtual mostrado na Figura
8. Este é o inicio da sequência de estados,

Figura 9. Estado 4 – Motor Explodido

State 5: Fechamento do Motor. Finalmente é


apresentada uma animação do fechamento do motor
com um áudio explicando as etapas de construção do
MIT. E através do marcador de controle é reiniciada a
aplicação.
A montagem deste trabalho utilizou as imagens
armazenadas no repositório Google SketchUp
Warehouse animando-as com Blender. Isso permitiu
elaborar o script de exportação do VRML97 para cada
Figura 8. Estado 1 – Motor Parado componente do MIT e em seguida para reativar as
animações empregou-se o Vivaty. O áudio foi gravado
State 1: Motor Parado. Aqui é exibido um modelo e os ruídos filtrados utilizando a ferramenta Audacity.
do MIT e um áudio contendo a descrição do modelo e
apresentando as partes externas e, solicita ao usuário 7. Conclusões
que rotacione a imagem do modelo e identifique as No trabalho são abordadas três situações distintas
partes. É também informado, via áudio, que o usuário para aprendizagem de máquinas elétricas, uma usando
pode usar o marcador de controle para ir para o passo Realidade Virtual, e outras duas usando Realidade
seguinte. Aumentada. Todas têm a vantagem de ser uma
State 2: Motor Funcionando. Neste estado é alternativa lúdica de iteração do aprendiz com o
exibido o MIT com seu eixo em rotação, juntamente ambiente computacional, além das facilidades que
com um som gravado de um motor real do todas agregam com a interligação com a WEB.
LME/UNIFEI. Novamente ao colocar o marcador de A diferença entre as duas técnicas de Realidade
controle o usuário terá o passo 3. Aumentada está na forma da interação do usuário com
State 3: Motor Explodindo. Agora é apresentada a ferramenta. Cardoso em [14] utiliza a iteração com o
uma animação da desmontagem do motor e através do computador no clique do mouse para os estágios
áudio são apresentadas as principais partes internas do desejados. Nesse trabalho apresenta-se o uso de

35
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

marcadores e teclado para uma sequência de etapas de [3] BOMAN, D. K. “International Survey: Virtual
aprendizado, além de inovar empregando áudio como Environment research”, IEEE Computer, 28(6):57-65.
forma de ilustração e orientação para o aprendiz. Junho/1995.

A ferramenta proposta tem a vantagem de motivar o [4] DELAIBA, V. H. B. LAMOUNIER JR, E. A. “Estudo e
desenvolvimento de ambientes virtuais, como ferramenta de
usuário com a experiência de visualização e suporte para aplicação direta no estudo de motores elétricos e
funcionamento de um aparelho virtual, forte na eficiência energética.” Projeto FAPEMIG C-007/2006 .
visualização imersiva, economia no custo de um
ambiente para prática em MIT. [5] FEINER, S. et al., “Knowledge-Based Augmented
Reality”, Communications of the ACM, 36(7):52-62.
Ilustra características e processos dos objetos reais Julho/1993.
para os virtuais, visualização iterativa com MIT, [6] JUNIOR, A.B.A., CARDOSO A. e LAMOUNIER JR, E.
permitindo ao aprendiz conectar o conteúdo da A., “Estudo de Máquinas Elétricas Auxiliado por Técnicas
literatura específica com a prática minimizando a de Realidade Virtual”, Anais do WRVA 08, Bauru, 2008.
necessidade do motor real em funcionamento.
[7] KATO, H., BILLINGHURST, M., AND POUPYREV, I.
Outra vantagem destacável é o custo computacional “ARToolKit version 2.33 Manual”, Novembro/2000.
desse tipo de ferramenta didática e a facilidade de [8] KIRNER, C., AND TORI, R., “Introdução à Realidade
concepção de aplicativos, justificando essa abordagem Virtual, Realidade Misturada e Hiper-realidade”. In: Claudio
pelo desenvolvimento deste tipo de interface. Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos,
Tecnologia e Tendências. 1ed. São Paulo, 2004, v. 1, p. 3-20.
Como trabalhos futuros, em concepção no âmbito
do Projeto CNPq/FAPEMIG, “Ambiente Temático [9] KIRNER, C.; SISCOUTO, R.. “Fundamentos de
Interativo com Realidade Aumentada” e, colaboração Realidade Virtual e Aumentada”. In: Kirner, C.; Siscouto, R..
com a atividade didática do LME-UNIFEI, serão (Org.). “Realidade Virtual e Aumentada: Conceitos, Projeto
e Aplicações”. 1 ed. Porto Alegre – RS: Sociedade
agregados mais efeitos sonoros e textuais nos
Brasileira de Computação - SBC, 2007, v. 1, p. 2-21.
equipamentos com a entrada de novos marcadores de
ação, ou clique em teclas, iteração do usuário com o [10] KOSOW, I. L. "Máquinas Elétricas e Transformadores".
equipamento virtual, colocando uma certa inteligência Editora Globo, 1982.
no sistema para perceber “o quê” o usuário deseja de [11] MILGRAM, P. et. al. ,“Augmented Reality: A Class of
informação. Neste caso compensa rever as sugestões Displays on the Reality-Virtuality Continuum”.
de C. Kirner sobre HiperRealidade [2]. Telemanipulator and Telepresence Technologies, SPIE,
V.2351, 1994.
Essa nova etapa proposta permite o aprofundamento
dos conteúdos de MIT, bem como a virtualização dos [12] SANTIN, R., KIRNER,C. “ARToolKit: Conceitos e
Ferramenta de Autoria Colaborativa”, In: SISCOUTO, R., R.
equipamentos do LME-UNIFEI nas iterações de RA.
COSTA, (Org.), Realidade Virtual e Aumentada: Uma
Abordagem Tecnológica, SBC, Porto Alegre, 2008, pp. 178-
8. Observações 276.
[13] SANTIN, R., “Sistema de Autoria Colaborativa com
Este trabalho foi realizado no âmbito do Projeto Realidade Aumentada”, Dissertação de Mestrado em Ciência
“Ambiente Temático Interativo com Realidade da Computação, Universidade Metodista de Piracicaba,
Aumentada”, financiado pelo CNPq (Proc. 2008.
58842/2009-7) e FAPEMIG (Proc. APQ-03643-10). [14] URL: www.alexandre.eletrica.ufu.br/trabalhos.htm

9. Referências
[1] AZUMA, R. T., “Tracking Requirements Augmented
Reality”, Communications of the ACM, 36(7):50-51,
July/1993.
[2] BAJURA, M.; NEUMANN, U., “Dynamic Registration
Correction in Video-Based Augmented Reality Systems”,
IEEE Computer Graphics & Applications, 15(5):52-60,
Sept/1995.

36
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

FERRAMENTA DE AUXÍLIO AO APRENDIZADO DE MOTORES COM O


USO DE REALIDADE VIRTUAL

Wedson Gomes Jr., Alexandre Cardoso e Edgard Lamounier Jr.


Universidade Federal de Uberlândia – Faculdade de Engenharia Elétrica
CEP: 38400-902, C.P. 593, Uberlândia – MG – Brasil
(wedgom@gmail.com, alexandre@ufu.br, lamounier@ufu.br)

Abstract Vários autores concordam ao relatar que existem


diversas razões para se usar a Realidade Virtual na
The objective of this work is to explore Virtual educação [3]. Dentre elas destacamos: maior
Reality (VR) techniques to support the teaching of DC motivação dos estudantes (usuários), maior poder de
and induction motors. The virtual environment allows ilustração para alguns processos e objetos, dá
the user to operate each part of the engine, separately, oportunidades para experiências e permite que haja
including all detail parts. This strategy, not only interação, e desta forma estimula a participação ativa
contributes to the electric motor learning process, but do estudante.
also allows a safety environment to its potential users. A Realidade Virtual é uma grande aliada no
Keywords: Virtual Reality, Electrical Motors. aprendizado, como descrito anteriormente. Quanto ao
Resumo aprendizado da área de Engenharia Elétrica, existem
vários conceitos que não podem ser observados
O objetivo deste trabalho é explorar técnicas de visualmente de forma tradicional. Por exemplo: o
Realidade Virtual (RV) para apoiar o ensino de campo elétrico de uma bobina, o fluxo de elétrons em
motores de corrente contínua e motores de indução. O um condutor e o funcionamento interno de um motor.
ambiente virtual desenvolvido permite ao usuário, Atualmente, muitos dos laboratórios de Engenharia
operar cada peça do motor, separadamente, e com Elétrica em instituições de ensino superior (IES) não
todos seus detalhes. Esta estratégia além de contribuir possuem um número significativo de motores para
para o processo de aprendizagem de motores elétricos, estudo dos alunos. De fato existem casos da instituição
permite também um ambiente de segurança para seus possuir apenas um motor para uma turma de alunos,
usuários em potencial. sendo raríssimos os casos onde existe um motor para
Palavras Chave: Realidade Virtual, Motores cada aluno.
Elétricos. Este trabalho pretende utilizar Realidade Virtual,
para construção de uma ferramenta de auxilio didático,
para apresentar o funcionamento de motores elétricos
de corrente contínua e motores elétricos de indução.
1. Introdução Uma vez que os mesmos procedimentos podem ser
simulados com um alto índice de realidade em
O conhecimento acumulado ao longo da laboratórios virtuais [4].
humanidade é transmitido através de padrões e normas Um grande benefício oferecido pela Realidade
pré-estabelecidas, centrado no professor, sendo o aluno Virtual é que o conhecimento intuitivo do usuário a
apenas um elemento desse processo[2]. Este processo respeito do mundo físico pode ser utilizado para
de transferência de conhecimento é feito através de manipular o ambiente virtual, possibilitando ao usuário
aulas expositivas, transmissão oral de informações e a manipulação de informações através de experiências
livros-texto. próximas do real. Isso porque, no ambiente virtual, é
O uso de Realidade Virtual para o apoio do possível criar a ilusão de mundo que na realidade não
aprendizado se dá como um instrumento de evolução existe, através da representação tridimensional para o
da educação. O grande potencial da Realidade Virtual usuário [1].
está na possibilidade de manipulação virtual de
objetos, permitindo experiências com o conhecimento
de forma imersiva e interativa; ou seja, auxiliando no
aprendizado de uma forma inovadora [2].
1.1. Motores de Corrente Contínua

37
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

As máquinas de corrente contínua podem ser


utilizadas tanto como motor quanto como gerador.
Porém, uma vez que as fontes retificadoras de potência
podem gerar tensão contínua de maneira controlada a
partir da rede alternada, pode-se considerar que,
atualmente, a operação como gerador fica limitada aos
instantes de frenagem e reversão de um motor.
O motor de corrente contínua é composto de duas
estruturas magnéticas:
• Estator (enrolamento de campo ou ímã
permanente);
• Rotor (enrolamento de armadura).
O estator é composto de uma estrutura Figura 2 - Sistema de Comutação [6]
ferromagnética com pólos salientes aos quais são
enroladas as bobinas que formam o campo, ou de um
ímã permanente. A Figura 1 mostra o desenho de um Os métodos de ensinos tradicionais são poucos
motor CC de 2 pólos com enrolamento de campo [6]. intuitivos para o aluno que está conhecendo pela
primeira vez o funcionamento de cada peça de motor
de corrente contínua, e apresenta certa dificuldade em
visualizar o funcionamento de um motor sem poder
separar as peças e observar o funcionamento
independente de cada parte.
Além de observar é pouco provável que o aluno
tenha a oportunidade de reproduzir casos onde os
parâmetros de entrada como frequência e tensão
possam ser modificados, e visualizando o que ocorre
com o motor.

1.2 Motores de Indução

Enquanto, nos motores de corrente contínua o


estator e o rotor precisam ser alimentados, nos motores
de indução apenas o estator deve ser alimentado, e o
rotor recebe energia por indução, daí o nome de motor
de indução, podemos também utilizar os motores de
indução como motor ou como gerador.
Existem vários tipos de motores de indução como o
Figura 1 - Motor Corrente Contínua [6]
motor de rotor bobinado, o motor com rotor em curto-
circuito ou em gaiola de esquilo[7].
O rotor é um eletroímã constituído de um núcleo de Ao ser observado, a carcaça do motor e a parte
ferro com enrolamentos em sua superfície que são interna, concluímos muitas semelhanças entre os dois
alimentados por um sistema mecânico de comutação motores apesar de esses terem características bastante
(Figura 2). Esse sistema é formado por um comutador, distintas.
solidário ao eixo do rotor, que possui uma superfície A Figura 3 apresenta um motor de indução aberto
cilíndrica com diversas lâminas às quais são apresentando cada parte que compõe um motor de
conectados os enrolamentos do rotor; e por escovas indução. Podemos notar que se torna confuso
fixas, que exercem pressão sobre o comutador e que diferenciar cada parte e a função da mesma no
são ligadas aos terminais de alimentação. O propósito funcionamento do motor.
do comutador é o de inverter a corrente na fase de Podemos notar que existem varias diferenças entre
rotação apropriada de forma a que o conjugado os dois tipos de motores, e um comparativo entre os
desenvolvido seja sempre na mesma direção. dois pode vir a reforçar os conceitos e diferenças sobre
cada um dos motores.

38
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O software permite que o usuário mova todas as


peças dos dois motores, como apresentado na Figura 5.
Além de poder visualizar, é possível manipular as
peças de forma individual.

Figura 3 - Motor de Indução [7]

Com os problemas de laboratórios e escassez de


equipamentos didáticos uma proposta seria o uso de
ambientes de Realidade Virtual para retratar as
diferenças e peculiaridades de cada máquina.
Os resultados destas avaliações mostram ganhos,
em termos de aprendizagem, superiores a diversas
outras formas de interação, visando educação mediada
por computador [1]. Figura 5 - Motores Abertos

2. Ambientes de Realidade Virtual para Além da função de “abrir” os motores ainda é


Motores Elétricos possível arrastar e manipular cada componente dos
motores, como apresentado na Figura 6, podendo assim
A partir dos problemas e dificuldades apresentadas visualizar todas as diferenças entre os dois tipos de
anteriormente, foi desenvolvido um ambiente de motores em questão.
comparação entre os dois tipos de motores: o motor de
corrente contínua e o motor de indução.
Além da modelagem e disponibilidade dos motores,
foi criada também uma página web, interagindo com o
VRML, pois se obteve melhor visualização dos dados
descritos. O software é apresentado na Figura 4.

Figura 6 - Manipulação de peças

Podemos deixar a carcaça do motor invisível através


de um controlador de transparência do sistema, como
apresentado na Figura 7.

Figura 4 - Ambiente de RV para motores

39
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 9 –Sistema que utiliza javascript no VRML


para Visualização dos Dados [9]
Figura 7 - Partes principais dos motores

Foram adicionados ao projeto, algumas vídeo aulas


onde é possível o aluno relembrar os conceitos vistos
em sala de aula, antes de manipular os motores. Como
mostrado na Figura 8
Figura 10 - Quadro de Dados de um Sistema
Utilizando Javascript [9]

Para solução deste problema, de visualização dos


dados, uma página web foi desenvolvida. A linguagem
escolhida foi o ASP.NET, da Microsoft. Está
linguagem consegue interagir com o VRML no sentido
de buscar e apresentar para o usuário, de forma
organizada e padrão, os dados do sistema.

Figura 8 - Vídeos Aulas [10]

3. Interação VRML com ASP.NET


Foi criada uma página web afim de obter uma
melhor visualização dos dados numéricos, pois VRML
não suporta tal funcionalidade: isto é possível por meio
de integração com o Javascrip. Os campos de texto
criados com o Javascrip, não se ajustam Figura 11 - Apresentação dos dados
automaticamente ao tamanho o dado a ser apresentado.
Na Figura 9 é apresentado um exemplo de um sistema
onde os dados apresentados se tornam ilegíveis, se No motor de indução temos a opção de alterar a
tornando um efeito indesejado, estes dados são frequência de funcionamento do motor de 4 pólos e o
apresentados com maiores detalhes na Figura 10. mesmo reproduz a velocidade de rotação em RPM.
Pode -se notar também que o eixo do motor realiza as
rotação na velocidade síncrona obtida, como se fosse

40
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

um motor real, sendo assim o motor virtual se Contém informações sobre aplicações de Realidade
aproxima bastante do motor real neste aspecto. Virtual, pesquisa e publicações do pesquisador,
tutoriais sobre VRML e artigos indicados para
leitura. Disponível em:
4. Conclusões e Trabalhos Futuros <http://www.alexandre.eletrica.ufu.br> Acesso em
Mar./2008
O emprego de RV para desenvolvimento de
ambientes virtuais é muito eficiente, porque permite [6] SIEMENS. Motores de Corrente Contínua.
Unidade Automação e Controle – Acionamentos e
que o aluno explore todos os detalhes de um
Motores Elétricos. Disponível em:
experimento, de forma mais natural e intuitiva. Assim, <http://www.siemens.com.br/motores>. Acesso
ele pode observá-lo de diversos ângulos atentando-se a em: 25 ago. 2010.
pequenos detalhes que vão auxiliá-lo a compreender
melhor o conteúdo estudado. Sua grande diferença com [7] FRANCISOCO, António. Motores de indução
Trifásicos. Disponível em:
outros ambientes de simulação é que todo ambiente é
<http://www.estv.ipv.pt/PaginasPessoais/lpestana/
desenvolvido em 3 dimensões ao contrário dos demais maquinas%20el%C3%A9ctricas%202/aulas%20te
estudos, que são desenvolvidos em 2 dimensões %C3%B3ricas/Motores_inducao_tri.pdf>. Acesso
reduzindo a qualidade do aprendizado [1]. em: 25 ago. 2010.
Além disso, o uso de VR permitiu que este ambiente
[8] VRMLPAD, Parallellgraphis. O site disponibiliza
possa ser compartilhado via internet, pois, os browsers
diversos programas computacionais de grande
utilizados hoje em dia dão suporte a esta tecnologia. É utilidade para desenvolvimento de ambientes
necessário apenas que seja instalado nas estações o virtual em VRML, inclusive o programa
plug-in do “Cortona” para a simulação dos ambientes. VRMLPad, ExtrusionEditor. Disponível em:
Este tipo de interação auxilia os alunos no <http://www.parallellgraphics.com>. Acesso em
desenvolvimento de habilidades computacionais e de Ago./2010
domínio de periféricos [8]. [9] SOUZA, Eduardo. Sistema de Bombeamento
Como trabalho futuro pretende –se realizar testes Simulação de uma máquina girante associada a
com professores e alunos, adicionando atividades e uma moto-bomba, com possibilidade de abrir,
exercícios educacionais com os motores virtuais, mudar a vazão, o tempo de funcionamento e
adicionar mais funções e representar outros elementos visualizar parâmetros elétricos e mecânicos
de Engenharia Elétrica utilizando Realidade Virtual e decorrentes da alteração. Disponível em:
páginas web feitas em outras plataformas. O uso de <http://www.alexandre.eletrica.ufu.br/delaiba/princ
Realidade Aumentada para aplicações semelhantes, ipal.wrl>. Acessado em Ago./2010
será também investigado. [10] BARRETO, Gilmar. Motor de Indução Princípio
de Funcionamento. Disponível em:
5. Referências <http://www.youtube.com/watch?v=t_BzJZwOL6
Y>. Acessado em Ago./2010
[1] CARDOSO, Alexandre; KIRNER, Claudio;
LAMOUNIER, Edgard e KELNER, Judith.
Tecnologia para o desenvolvimento de Sistemas de
Realidade Virtual e Aumentada. 2. ed. Recife:
Editora Universitária - Ufpe, 2007. 210 p.
(9788573154009).
[2] MILTON, Vieira Junior. Educação em engenharia:
estudo de metodologias pedagógicas e
desenvolvimento de um software aplicado ao
ensino de estabilidade de sistemas de energia
elétrica. Mestrado UNESP: Ilha Solteira – SP. 2007
[3] CASAS, Luis A; BRIDI, Vera; FIALHO,
Francisco. Construção do Conhecimento por
Imersão em Ambientes de Realidade Virtual. VII
Simpósio Brasileiro de Informática na Educação,
Belo Horizonte – MG. 1996.
[4] SHERMAN, R. Wiliam. Experiences with Virtual
Reality applications. Proceedings of the 24th
annual conference on Computer graphics &
interactive techniques 1997.
[5] CARDOSO, Alexandre – Página do Pesquisador.

41
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Uso de Realidade Aumentada na melhoria do processo de ensino-aprendizagem


de motores elétricos

Fábio Henrique M. Oliveira1, Eliane Raimann2 , Edgard A. Lamounier Jr.1 , Alexandre Cardoso1
1
Universidade Federal de Uberlândia
Uberlândia-MG, Brasil
2
Instituto Federal de Educação, Ciência e Tecnologia de Goiás - Campus Jataí
Jataí-GO, Brasil

{ufu.oliveira, elianeraimann}@gmail.com, {lamounier, alexandre}@ufu.br

Abstract gumas aplicações incluem: laboratórios virtuais de física


e química, sistemas distribuídos para educação a distância,
This work presents an application of Augmented Reality, educação de excepcionais e etc [13].
for visualization and manipulation of three phase induction A RA é uma particularização de um conceito mais geral,
motor for educational purposes. The display of motors such denominado Realidade Misturada, que consiste na sobrepo-
is the interior of is not a trivial task, since most of then are sição de ambientes reais e virtuais, em tempo real, através
closed. This prevents the study of their internal parts for de dispositivos tecnológicos [10].
better understanding. In this work, a motor may be dis- Os sistemas de RA podem ser classificados conforme o
played, with the use of Augmented Reality, allowing mani- tipo de display utilizado, envolvendo visão ótica ou visão
pulation and interaction in 3D. por vídeo, dando origem a quatro tipo de sistemas: sistema
de visão ótica direta, sistema de visão direta por vídeo, sis-
Resumo tema de visão por vídeo baseado em monitor e sistema de
visão ótica por projeção [4].
Este trabalho apresenta um aplicação de Realidade Au- No desenvolvimento deste trabalho optou-se pelo sis-
mentada, para visualização e manipulação de um motor de tema de visão direta por vídeo baseado em monitor, por ser
indução trifásico com fins educacionais. O estudo destes o sistema mais acessível a escolas e faculdades atualmente.
motores principalmente em seu interior não é uma tarefa A utilização de Realidade Virtual (RV) e RA com fins
trivial, já que a maioria são fechados. Isso impede o estudo educativos tem merecido destaque e tem sido avaliada de
de suas partes internas para melhor compreensão. Neste forma intensiva nos últimos anos. Os resultados destas ava-
trabalho, um motor pode ser visto com o uso da Realidade liações mostram ganhos, em termos de aprendizagem, su-
Aumentada, permitindo manipulação e interação 3D. periores a diversas outras formas de interação visando edu-
cação mediada por computador [6].
1. Introdução Cardoso et.al [6], [7] apontam como principais vanta-
gens da utilização de técnicas de RV/RA para fins educaci-
onais, os seguintes itens:
A educação é um processo de exploração, descoberta,
observação e construção do conhecimento a partir da inte- • Grande poderio de ilustrar características e processos,
ração com o mundo [13]. O uso da computação como ferra- em relação a outros meios multimídia.
menta de educação, tem se tornado a cada dia indispensável
para a melhoria da qualidade e dinamismo como alternativa • Permite experimentos virtuais, na falta de recursos, ou
ao ensino tradicional [13]. As técnicas computacionais bem para fins de educação virtual interativa.
como as estratégias possíveis para sua utilização são bas- • Permite ao aprendiz refazer experimentos de forma
tante variadas. A Realidade Aumentada (RA) merece des- atemporal, fora do âmbito de uma aula clássica.
taque, pois vem conquistando mais espaço e adeptos [13].
A área de educação tem muito a ganhar com a RA, tanto Esta pesquisa é motivada pelas dificuldades no processo
no ensino convencional quanto no ensino à distância. Al- de estudo/aprendizagem do tópico motores elétricos e a ca-

42
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

rência de aplicações portáveis com boa usabilidade. Algu- 2. Materiais e métodos


mas destas dificuldades são a visualização de peças internas
e o estudo de seu funcionamento através de simulações. A O desenvolvimento do trabalho foi dividido em duas par-
indisponibilidade do objeto de estudo acentua estas dificul- tes, modelagem geométrica tridimensional (3D) e constru-
dades. Desta maneira, esta pesquisa apresenta um ambiente ção da aplicação para visualização, manipulação e interação
de RA para simular a manipulação de motores elétricos in- com os modelos 3D.
dustriais (amplamente estudados nos cursos de engenharia
elétrica, mecânica e pelas empresas do ramo ou correlacio-
2.1 Modelagem geométrica 3D
nadas), concentrando-se no desenvolvimento de uma apli-
cação com boa portabilidade e interface facilitada para es-
tudantes e professores. Inicialmente, foi determinado que a modelagem geomé-
Diversos autores, tais como Santos [12], Junior [9] e trica seria efetuada com base em um produto comercial, fa-
Araújo [3] abordaram sistemas utilizando RV e/ou RA com cilitando assim, a visualização das formas desse motor e
fins educativos e treinamento utilizando um estudo de caso a aquisição de dados técnicos do mesmo. Observa-se que
similar ao apresentado neste trabalho. Entretanto, este tra- esse aspecto é extremamente importante, pois ambientes
balho apresenta contribuições quanto a disponibilidade para virtuais demandam uma certa riqueza de detalhes. Desta
varias plataformas (que tenham o Flash Player disponível) e forma, a modelagem geométrica deve valorizar os compo-
uma interface mais amigável possuindo dicas e comentários nentes principais do motor, como o rotor, o estator, entre
sobre cada funcionalidade do sistema. outras partes.
Sendo assim, foi escolhido o modelo de motor trifásico
É importe ressaltar alguns tópicos em relação a estes tra-
W21 produzido pela WEG, empresa especializada na fabri-
balhos, o primeiro faz uso da RV aplicada a um sistema
cação e comercialização de motores elétricos, transforma-
motor-ventilador abordando o estudo de motores trifásicos,
dores e geradores [2].
apresentando os princípios de funcionamento, análise e si-
mulação de seu comportamento mecânico e elétrico. Para Para efetuar a modelagem geométrica foi utilizado o soft-
isso, é utilizado um plugin chamado Cortona, que permite a ware Blender3D1 . Para modelar a parte externa do mo-
interação com o tema através do browser. O segundo apre- tor, ou seja, as partes visíveis do motor quando fechado,
senta um ambiente virtual similar a um ambiente real de ge- foram utilizadas imagens comumente chamadas de blue-
ração de energia elétrica em uma hidrelétrica. Por meio de prints2 como referência. As blueprints utilizadas foram ce-
técnicas de RV, o usuário tem a possibilidade de observar o didas pela WEG Brasil.
funcionamento de estruturas da usina. O terceiro apresenta Desta forma, considerando as informações que foram co-
uma aplicação de RV e RA, tendo como foco o estudo do letadas, tanto no catálogo do motor quanto na visualização
campo magnético criado por um motor de indução monofá- de motores similares, foi modelado o motor virtual. A Fi-
sico durante seu funcionamento. Neste trabalho, o campo gura 1 mostra o motor 3D modelado com um corte para
magnético pode ser visualizado pelo usuário com o uso de visualização interna.
RV ou RA. O modelo 3D passou por várias fases de modelagem geo-
Os trabalhos descritos anteriormente apresentam algu- métrica até atingir o formato ideal, ou seja, o mais próximo
mas limitações como: do real ponderando detalhes versus custo computacional.
Finalizada a modelagem geométrica, fez-se o mapeamento
• Indisponibilidade para vários sistemas operacionais, de texturas no motor, mais conhecido como mapeamento
devido a ausência de plugin ou instalação local, se res- UV3 . Este mapeamento foi posteriormente utilizado como
tringindo ao sistema operacional (SO) compilado. referência na codificação da aplicação. Neste processo são
associadas figuras a partes do motor representando sua tex-
• Deficiências de usabilidade, tais como interfaces tura ou cor. Este processo é necessário devido ao formato de
pouco intuitivas e ausência de explicação sobre as fun- arquivo COLLADA4 , utilizado para importação no Papervi-
cionalidades. sion3D (motor para renderização 3D utilizado neste traba-
1 Blender é um software de modelagem e animação 3D de código aberto
• Utilização de apenas um sentido, a visão.
[5].
2 São imagens desenhadas (normalmente em alta resolução) de todos os
Desta forma, este trabalho segue no sentido de aprimo- ângulos necessários para uma boa visualização do objeto requerido[14].
rar os métodos de ensino e aprendizagem relacionando-os 3 Método de texturização que cria um mapa que serve como referência

ao desenvolvimento de ambiente virtuais. Complementar- para aplicar texturas pintadas em softwares, como Gimp ou Photoshop [5].
4 COLLAborative Design Activity, é um padrão de exportação e impor-
mente, os procedimentos aqui utilizados propiciam a apli- tação de arquivos criado pela Sony e usado como padrão para o console
cação de RA associada à Internet. Note que nenhum dos Playstation 3. O formato utiliza XML como padrão e suporta além de mo-
trabalhos citados utilizou RA para web. delos detalhados, animações e iluminação [1].

43
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 1. Motor virtual 3D cortado.

Figura 2. Interface do sistema.


lho), que possui esta restrição para colorir o objeto ou parte
dele.
Para cada visualização do motor foi feita uma exporta-
ção para o formato COLLADA, utilizando o Collada plugin
1.4.0 que vem acoplado na instalação do Blender.

2.2 Protótipo implementado

Neste trabalho, foi desenvolvido um protótipo de aplica-


ção que possibilita ao usuário visualizar, manipular e inte-
ragir com um motor virtual 3D. As ferramentas utilizadas
na construção do protótipo foram:

• Eclipse SDK.

• Plugin Adobe Flex


R
Builder 3
TM
. Figura 3. Função imprimir marcador.

• Biblioteca FLARToolKit.
TM
• Biblioteca Papervision3D .

O sistema recebeu o nome de ARNET e foi desenvolvido


com tecnologias que permitem disponibilizá-lo na Internet,
necessitando do Flash plugin e uma webcam para sua exe-
cução. A interface do sistema pode ser visualizada na Fi-
gura 2.

2.2.1 Funcionamento do sistema


Ao iniciar o sistema pela primeira vez é necessário impri-
mir o marcador para manusear os objetos 3D. Para isto basta
clicar no botão Print Marker, gerando a abertura de um ar-
quivo pdf para impressão do marcador. A Figura 3 mostra
Figura 4. Painel de opções para visualização.
o botão para impressão do marcador e ao lado o marcador.
Com o marcador impresso o usuário pode seguir para o
próximo passo, que é selecionar a visualização desejada do
motor, no painel Display Options, mostrado na Figura 4.

44
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O painel possui cinco tipos de visualizações e uma outra virtual estiver em funcionamento. O indicador Zoom altera
opção para limpar todas as outras. Cada opção possui um o tamanho do objeto visualizado, podendo aumentá-lo ou
texto explicativo que pode ser visto ao posicionar o mouse diminuí-lo. E por último o botão Back que desfaz todas as
sob a mesma por alguns segundos. Ao selecionar uma op- alterações feitas no objeto, retornando-o ao seu estado pri-
ção o sistema mostra uma tela de loading enquanto o objeto mário. Todas as funções descritas sobre a Figura 6 só terão
3D está sendo carregado. Isso é necessário para manter o efeito se alguma visualização do motor estiver carregada.
pleno funcionamento do sistema, sabendo que não é possí- A Figura 7 ilustra o botão que realiza a inversão da ima-
vel a implementação de threads5 no Action Script 3 (AS3), gem capturada pela câmera, função necessária para algumas
linguagem de programação utilizada pelo Adobe Flex Buil- câmeras que capturam as imagens invertidas por padrão.
der. Com o objeto carregado já é possível a manipulação do
mesmo através do marcador, como pode ser visto na Figura
5.

Figura 7. Botão que inverte a imagem da câmera.

Ao clicar no botão o usuário ira perceber imediata-


mente uma inversão horizontal da imagem. Como o sis-
tema aborda o estudo de um motor de indução trifásico, a
fim de demonstrar uma aplicação de RA, tem-se a descri-
ção do motor visualizado conforme a Figura 8. Os dados
técnicos foram extraídos do catalogo de motores da WEG
[2].

Figura 5. Interface do sistema com um objeto vir-


tual carregado.

A Figura 6 ilustra o menu de opções para controlar e


interagir com o objeto visualizado.

Figura 6. Controles do objeto 3D. Figura 8. Descrição sobre o motor abordado no


sistema.

Na Figura 6 tem-se quatro funcionalidades distintas,


cada uma fazendo ou desfazendo uma ação no objeto 3D.
O botão Animate tem por função animar o modelo, que no
caso faz o motor funcionar produzindo rotação e emitindo 3. Discussão dos resultados
som. Já o botão Stop Animation tem a função de parar a ani-
mação, logo os efeitos deste botão só serão vistos se o motor O sistema ARNET foi apresentado a um grupo de doze
5 Linhade execução, é uma forma de um processo dividir a si mesmo usuários, sendo dez alunos e dois professores das áreas de
em duas ou mais tarefas que podem ser executadas concorrentemente [8]. engenharia da computação e elétrica. Primeiramente, foi

45
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

explicado a esses usuários o objetivo do sistema e, em se- • Permitir a detecção de múltiplos marcadores, possibi-
guida o grupo testou separadamente o sistema. Após a exe- litando interações diferentes das já implementadas.
cução do sistema, os usuários responderam a um questio-
nário baseado nos preceitos da ISONORM 9241-10 Usabi- • Melhorar o sistema de ajuda, com implementação de
lity6 . dicas e um tutorial de utilização apresentado durante a
A avaliação geral pode ser visualizada na Figura 9 que primeira execução do sistema.
demostra o gráfico de avaliação geral do sistema. • Realizar testes de aprendizagem entre outros.

Referências

[1] Collada. Disponível em: <http://www.collada.org/>. Acesso


em: maio/2010.
[2] Weg brasil catálogo. Disponível em:
<http://www.weg.net/files/products/WEG-motores-
eletricos-baixa-tensao-mercado-brasil-050-catalogo-
portugues-br.pdf>. Acesso em: maio/2010.
[3] J. C. Araújo. Uso de realidade virtual e aumentada na vi-
sualização do fluxo do campo magnético em um motor de
Figura 9. Opinião geral sobre o sistema. indução monofásico. Master’s thesis, UFU, 2008.
[4] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and
B. MacIntyre. Recent advances in augmented reality. IEEE
O gráfico da Figura 9 demonstra que 60% dos usuários Computer Graphics and Applications, 21(6):34–47, 2001.
que avaliaram o sistema ficaram satisfeitos e 40% ficaram [5] A. Brito. Blender 3D: Guia do Usuário. Novatec Editora,
2008.
muito satisfeitos com o mesmo, na avaliação geral do sis-
[6] A. Cardoso, C. Kirner, E. Lamounier, and J. Kelner. Tec-
tema. nologias para o desenvolvimento de sistemas de realidade
virtual e aumentada. Recife: Ed. Universitária da UFPE,
4. Conclusões e trabalhos futuros 2007.
[7] A. Cardoso and E. Lamounier. Aplicações na Educação e
Durante o desenvolvimento deste trabalho, constatou- Treinamento, chapter 9, pages 343–357. Realidade Virtual e
Aumentada Uma abordagem tecnológica, SBC, 2008.
se que existem diversas iniciativas para ajudar professores,
[8] G. Coulouris, J. Dollimore, and T. Kindberg. Sistemas
alunos e profissionais da área quanto aos estudos sobre os distribuídos-conceitos e projeto. Bookman, 1999.
motores elétricos. Também foi constatada a existência de [9] A. Junior, B. Afonso, L. Junior, and A. Edgard. Associando
motores virtuais modelados de acordo com a necessidade Realidade Virtual ao funcionamento de uma usina hidrelé-
de cada trabalho. trica. Horizonte Científico, 1(8), 2008.
A RA tem demonstrado ser uma poderosa ferramenta de [10] C. Kirner and R. Siscoutto. Fundamentos de Realidade Vir-
apoio a educação na visualização e interação com objetos tual e Aumentada. Realidade Virtual e Aumentada: Concei-
e ambientes das mais diversas naturezas. A análise visual tos, Projeto e Aplicações, pages 9–21, 2007.
e a sensação de presença do objeto virtual são alguns dos [11] J. Prumper. Test it: ISONORM 9241/10. In Proceedings
of HCI International (the 8th International Conference on
maiores benefícios trazidos por esta tecnologia.
Human-Computer Interaction) on Human-Computer Inte-
Portanto, a maior contribuição deste trabalho foi criar um raction: Ergonomics and User Interfaces-Volume I-Volume
protótipo para visualização, manipulação e interação com I, page 1032. L. Erlbaum Associates Inc., 1999.
um motor de indução trifásico, explorando a arquitetura da [12] E. S. Santos, A. C. Delaiba, C. A., and E. A. Lamounier.
Internet. Sendo um protótipo com boa portabilidade, bem Eficiência energética em sistemas industriais sob a óptica da
receptível a mudanças tecnológicas e de fácil acesso. Esta realidade virtual. WARV, 2007.
técnica não tem sido usada por iniciativas semelhantes, até [13] R. Tori, C. Kirner, and R. Siscoutto. Fundamentos e tecno-
a escrita deste artigo. logia de realidade virtual e aumentada. Porto Alegre: SBC,
Como continuação deste trabalho, considera-se impor- 2006.
[14] M. Ware. Cyanotype: the history, science and art of photo-
tante os seguintes itens:
graphic printing in Prussian blue. NMSI Trading Ltd, 1999.
• Permitir a inserção de objetos 3D de acordo com a ne-
cessidade do usuário.
6 Conjunto de normas que permite avaliar a capacidade de um sistema

interativo de oferecer a seu usuário a possibilidade de realizar tarefas de


maneira eficaz e agradável [11].

46
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

DESENVOLVIMENTO DE UMA ARQUITETURA PARA DISTRIBUIÇÃO DE


REALIDADE AUMENTADA NA WEB APLICADA AO ENSINO DE
MOTORES DE CORRENTE CONTÍNUA

Marlus Dias Silva, Eduardo de Souza Santos, Renato Oliveira Abreu


Alexandre Cardoso, Edgard Lamounier
Universidade Federal de Uberlândia, Uberlândia, MG, Brasil
{marlusdias, eduardo}@mestrado.ufu.br, renato.abreu.info@gmail.com, {alexandre, lamounier}@ufu.br

Abstract ceito para o âmbito da Realidade Aumentada, observa-se


que distribuir um ambiente que implemente aplicações de
This work deals with the development of an architecture RA se torna muito interessante à medida que usuários em
for distribution of Augmented Reality by Web. One of the diversas posições geográficas podem interagir, em tempo
great advantages of this architecture is the ability to run the real, com uma interface mais intuitiva e que favorece a co-
application directly into a Web browser through the use of laboração, facilitando de forma expressiva o aprendizado.
Flartoolkit, Paperpervision3D, and Flash Player for run- Dessa forma, é de suma importância buscar tecnologias
ning applications created with Flex 4.0 environment. The que permitam a distribuição de ambientes virtuais, que es-
validation of the work was done through a case study, which tejam alinhadas com as atuais necessidades tecnológicas.
was used in the developed environment for the teaching of Nesse âmbito, pode-se destacar as aplicações desenvolvidas
DC motors. From this case study, we obtained the evalua- no ambiente Flex 3.0, que tem evoluido de forma muito rá-
tion of students and professionals in education, and data for pida e com uma ótima aceitação tanto por desenvolvedores
analyzing the performance of the developed architecture. quanto no mercado consumidor.
O lançamento do ActionScript 3.0 (AS3), juntamente
com o ambiente de desenvolvimento Flex e o Flash Player
9.0, pela Adobe em 2006, abriu caminho para a evolução
1 Introdução das aplicações RIA (Rich Internet Applications - Aplica-
ções Ricas em Internet). O desenvolvimento dessas aplica-
Com o advento da Educação a Distância (EaD), a ne- ções possibilitou a criação de ferramentas de apoio para a
cessidade de prover ambientes que facilitem o aprendizado criação de aplicações de Realidade Virtual (RV) para a web,
se mostra ainda mais importante, já que alunos dessa mo- suportadas pelo Flash Player. Como passo seguinte, a ex-
dalidade de aprendizado possuem poucas ferramentas que tensão destas tecnologias proveu condições de desenvolvi-
possam estimular a experimentação, dificultando seu apren- mento de soluções de Realidade Aumentada (RA) para web,
dizado e, portanto, causando defasagens em relação à edu- com a utilização de uma webcam e marcadores (impressos
cação de um aluno da modalidade presencial [12]. em papel comum) e da tecnologia FLARToolkit.
Observa-se que a utilização da Realidade Aumentada Neste contexto, este trabalho tem como objetivo mos-
(RA), que é definida como uma fusão entre o mundo real trar uma arquitetura de distribuição de objetos com de Re-
e objetos virtuais, criando um cenário no qual as informa- alidade Aumentada (RA) na web, permitindo que vários
ções contidas no mundo real são incrementadas com objetos usuários, conectados a um servidor, possam interagir com
virtuais gerados por computador [2], pode oferecer infor- o mesmo objeto virtual que no caso específico é um motor
mações sensitivas mais ricas, facilitando a associação e a de corrente contínua.
reflexão sobre o tema que está sendo ensinado [8], possibi- Além da possibilidade de criar aplicações de RA na web,
litando que o usuário possa lidar de forma mais confortável o ambiente de desenvolvimento Flex 4.0 oportuniza a uti-
com conceitos abstratos e contra-intuitivos [9]. lização das aplicações desenvolvidas em qualquer plata-
Segundo [13], um sistema distribuído “é uma coleção de forma, sendo transparente para o usuário, já que não se
computadores independentes que se apresentam aos usuá- necessita da instalação da aplicação. Logo, essa aplicação
rios como um sistema único e coerente”. Levando este con- utiliza tal ambiente para o desenvolvimento do front-end,

47
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

possibilitando que o aluno/professor, utilize as aplicações transparente, necessitando somente de uma webcam e um
em qualquer navegador que possua o plugin Flash Player navegador com o Flash Player instalado.
com a versão 9 ou superior instalado, permitindo sua uti-
lização em sistemas operacionais Windows, Linux, Solaris
3 Ferramentas utilizadas
ou Macintosh. Além da vasta gama de sistemas operacio-
nais, observa-se que o Flash Player 9, possui uma taxa de
utilização de aproximadamente 99% nos computadores dos As ferramentas utilizadas para o desenvolvimento da ar-
mercados maduros (Estados Unidos, Reino Unido, Alema- quitetura são apresentados nas seções abaixo :
nha, França e Japão) e cerca de 97% nos mercados emer-
gentes [1]. 3.1 Engine 3D
Com o intuito de abordar o desenvolvimento e utiliza-
ção da arquitetura desenvolvida, este trabalho será dividido Atualmente existem diversas engines para desenvolvi-
da seguinte forma: a seção 2, trata dos trabalhos correlatos, mentos de ambientes 3Ds em AS3, como Away3D, Paper-
mostrando a importância da utilização de RV e RA na edu- vision3D e Sandy, logo, é de suma importância definir qual
cação, bem como ferramentas de distribuição dessas tecno- desses conjuntos de bibliotecas serão utilizados no projeto,
logias. A terceira seção relata as ferramentas utilizadas no visto que, dependendo do tipo de aplicação que será desen-
desenvolvimento da arquitetura proposta. A seção número volvida, a má escolha da engine pode causar um desempe-
4, mostra as definições da arquitetura proposta. A Seção nú- nho ruim do sistema como um todo.
mero 5 aborda o estudo de caso proposto, por fim, na sexta Por este motivo, baseado no grau de atividade e avalia-
sessão são mostrados os resultados e perspectivas para tra- ção das engines pelos desenvolvedores, optou-se por utilizar
balhos futuros. o Papervision3D, que surgiu em 2005 e, desde então, vem
sendo atualizado pelos desenvolvedores e pela vasta comu-
2 Trabalhos Relacionados nidade de utilizadores.
Essa engine possui um conjunto de classes que possibi-
Devido às possibilidades de aplicação no ensino, a dis- lita o tratamento de colisão de forma automatizada, engines
tribuição de objetos virtuais para ambientes de Realidade para a simulação de física (simulação de fluídos e partícu-
Aumentada, tem sido bastante explorada. O trabalho de las) possibilitando gerar mundos virtuais com uma maior ri-
[6], por exemplo, apresenta uma interface para a distri- queza de detalhes, aproveitando todos os benefícios da Ori-
buição de objetos virtuais utilizando realidade aumentada entação a Objetos. E, além disso, torna possível a importa-
ção de objetos modelados em ambientes de modelagem 3D,
como ferramenta de apoio de ensino na área fisiologia ve-
getal. A arquitetura utilizada foi cliente/servidor utilizando como Blender e 3D Studio Max, e exportados nos formatos
o CORBA(Common Object Request Broker Architecture) Collada (COLLAborative Designer Activity), MD2(Quake
2) e 3DS(3D Studio).
para a comunicação entre os clientes que executam o AR-
Toolkit. Outro ponto de destaque, consiste na integração com
Em [8] uma ferramenta de distribuição de ambientes vir- outra biblioteca AS3, chamada FLARToolkit, que é seme-
tuais para apoio a projetos multidisciplinares de ensino. Fo- lhante ao ARToolkit e, portanto, possibilita o desenvolvi-
ram desenvolvidos dois protótipos: um na na área biológica mento de aplicações de Realidade Aumentada pela web.
e outro na área de química. Para a distribuição foi utilizado
o CORBA, utilizando arquitetura cliente/servidor. 3.2 FLARToolkit
No trabalho de Distribuição de Realidade Virtual e Au-
mentada [10], os autores desenvolveram uma arquitetura O FLARToolkit é um conjunto de classes desenvolvidas
que viabiliza a distribuição de objetos virtuais no formato em AS3, que juntamente com o Papervision3D possibilita
VRML, para todos os participantes através de uma rede de o desenvolvimento de aplicações de Realidade Aumentada.
computador, utilizando sockets para a transferência de ar- Para executar aplicações utilizando o FLARToolkit o cliente
quivos. O software desenvolvido por [10] tem um grande deve instalar no navegador o Flash Player versão 9 ou su-
apelo educacional possibilitando os usuários visualizarem perior, e permitir o acesso do plugin à webcam.
os objetos virtuais tanto em RA como em RV. O ARToolKit é uma biblioteca em linguagem C que per-
De forma semelhante aos trabalhos citados, este traba- mite aos programadores desenvolver aplicações de Reali-
lho utiliza a arquitetura cliente/servidor, no entanto, com a dade Aumentada [4]. Desta forma, para executar aplica-
utilização de tecnologias diferentes, visto que deseja-se dis- ções utilizando o ARToolkit o usuário deverá ter instalado
tribuir o ambiente de Realidade Aumentada, utilizando o e configurado o mesmo em seu computador, podendo cau-
ambiente de desenvolvimento Flex, permitindo que os cli- sar algum desgaste para usuários menos experientes. Em
entes possam utilizar a ferramenta desenvolvida de forma contrapartida, uma aplicação que utiliza o FLARToolkit será

48
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

disponibilizada como um arquivo “.swf”, que é executado Para a comunicação entre os módulos a arquitetura uti-
no Flash Player do navegador web. liza à Internet e seus protocolos. No caso do software em
questão será utilizando o protocolo TCP/IP para a comuni-
3.3 BlazeDS cação entre os módulos cliente e servidor, e seus respectivos
usuários conectados na aplicação.
O BlazeDS é um middleware que se localiza entre o cli-
ente e o servidor, ele é responsável por estabelecer a comu- 4.1 Módulo Servidor
nicação entre ambos, utilizando para isso objetos remotos.
A aplicação cliente pode ser desenvolvida em linguagem de O Módulo Servidor (Figura 2), tem como finalidade ge-
programação Flex/Flash(Action Script 3) ou Ajax e o servi- renciar as conexões dos clientes e possibilitar a distribuição
dor obrigatoriamente tem que ser desenvolvido na lingua- dos objetos virtuais no Ambiente de Realidade Aumentada
gem de programação Java [3]. dos clientes. Outra característica do servidor é possibilitar a
Através das chamadas de procedimento remota RCP, o sincronização das animações executadas pelos clientes atra-
desenvolvedor fica responsável em codificar as interfaces vés de um protocolo.
remotas, e o BlazeDS realiza a comunicação entre o cliente
e o servidor utilizando seus protocolos
Módulo Servidor
Logo, o BlazeDS foi escolhido por possibilitar a utili- Servidor Web
(GlassFish)
zação com aplicações desenvolvidas em Flex e suportar as JAVA

vantagens oferecidas por RCP.


JAVA Action Script 3

4 Arquitetura do sistema BlazeDs Server

O propósito dessa seção é a apresentação de uma arqui- Internet TCP/IP


tetura de Realidade Aumentada que viabilize a interconexão
com uma gama de computadores por meio da Internet, pos-
Figura 2. Arquitetura do Módulo Servidor.
sibilitando a interação e a distribuição de objetos virtuais
em tempo real, com os computadores conectados no sis-
tema. Para tal efeito, a arquitetura foi montada baseada no
Para que o Módulo Servidor consiga enviar, processar e
modelo Cliente/Servidor como mostra a Figura 1.
receber informações do cliente o mesmo é dividido em duas
camadas: a camada do BlazeDS e a camada do Servidor
Servidor Web
Glassfish
Web.
A camada onde está localizado o BlazeDS Server como
BlazeDS Server
pode ser observado na Figura 2 é responsável por receber os
dados enviados pelos os clientes na linguagem de progra-
Internet TCP/IP
mação Action Script. Em seguida ela deve converter para a
... linguagem de programação JAVA e repassar para o servidor
BlazeDS Client BlazeDS Client BlazeDS Client Web GlassFish, onde as mensagens recebidas serão proces-
Camada de Comunicação Camada de Comunicação Camada de Comunicação sadas.
FLARToolkit FLARToolkit FLARToolkit O servidor Web GlassFish recebe as mensagens na lin-
Web browser Web browser Web browser
guagem de programação JAVA, as processa e envia a res-
Cliente 1 Cliente22
Cliente Clienten3
Cliente
posta para a Camada do BlazeDS, onde essa é convertida
em ActionScript e enviada aos clientes por intermédio da
Internet.
Figura 1. Arquitetura do Sistema Proposto.
4.2 Módulo Cliente
A arquitetura foi desenvolvida utilizando várias camadas
de software, tanto no lado do cliente quanto do lado do ser- O Módulo cliente possuí várias camadas de software na
vidor, com o propósito de facilitar a manutenibilidade do Arquitetura Proposta como é mostrado na Figura 1, tais ca-
software em questão, possibilitando que desenvolvedor no madas são descritas abaixo:
caso de uma manutenção, necessite apenas de modificar a A camada do Web browser, é a camada de visão da arqui-
camada de seu interesse, não havendo risco de inserir códi- tetura do lado do cliente. Essa camada possibilita ao usuá-
gos defeituosos nas demais camadas da arquitetura. rio visualizar o ambiente de Realidade Aumentada. Todas

49
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

as ações e interações do usuário com o Ambiente de Rea-


lidade Aumentada são repassadas para a camada abaixo do
FLARToolkit.
A camada onde está localizado o FLARToolkit é a res-
ponsável por possibilitar o desenvolvimento de aplicações
de Realidade Aumentada. Algumas partes do código origi-
nal da biblioteca foram modificados para viabilizar a comu-
nicação dessa camada com as demais camadas do sistema. (a) Motor Fechado. (b) Motor aberto.
A camada de comunicação é responsável por rece-
ber as interações realizadas pela camada do FLARToolkit, Figura 3. Interface gráfica do RANET.
processá-las e encaminha-las para a camada do BlazeDs
Client. Ela também é responsável por fazer o sentido in-
verso: ao receber uma mensagem da camada BlazeDS, pro- foi necessário definir algumas regras na criação das anima-
cessar a mensagem recebida e aplicar as alterações cabíveis ções, a principal, consiste em obedecer uma linha tempo
e repassar para a camada do FLARToolkit. pré-definida, conforme é mostrado na a Tabela 1. Com
A camada de distribuição BlazeDS Client é uma camada a criação da animação, o objeto virtual deverá ser expor-
de software responsável pela comunicação entre os módu- tado para o formado Collada (dae) e adicionado no software
los cliente e servidor. Os eventos recebidos pela camada do (RANET).
FLARToolkit são enviados para o servidor através da Inter-
net, onde as mesmas serão processadas no lado do servidor
Tabela 1. Regras definidas para a linha do tempo das ani-
e reenviadas para os clientes. As mensagens recebidas são mações.
repassadas para a camada o FLARToolkit que é responsável
por posicionar/adicionar objetos virtuais na cena.
Faixa de Tempo Descrição
5 Estudo de Caso 80 Faixa destinada a primeira animação
160 Faixa destinada a segunda animação
Um motor de corrente contínua converte a energia elé- 240 Faixa destinada a terceira animação
trica em energia mecânica, o que o diferencia dos demais 320 Faixa destinada a quarta animação
motores é que ele deve ser alimentado com corrente de ten- 400 Faixa destinada a quinta animação
são contínua. Essa tensão contínua pode ser adquirida atra-
vés de pilhas e baterias, no caso de motores pequenos, ou
de uma rede alternada após retificação, no caso de motores
maiores. Os principais componentes de um motor de cor- 6 Conclusões e Trabalhos Futuros
rente contínua são o estator e rotor [14].
Para o estudo de caso, foi desenvolvido no ambiente Flex Foram realizados testes de latência e escalabilidade para
uma interface gráfica (Figura 3) para avaliar a arquitetura validar a eficiência da arquitetura desenvolvida.
apresentada. Juntamente com o software RANET, que im- Para a verificação e validação do software RANET foi
plementa a arquitetura proposta, é possibilitado aos usuá- elaborado, um questionário baseado nos preceitos da ISO-
rios interagir com o objeto virtual presente na cena. Desta NORM 9241/10 que trata da usabilidade de software [11].
forma, todas as ações realizadas pelo usuários através dos Este questionário foi elaborado no formato de um checklist
menus interativos serão repassadas para todos os usuários onde os usuários puderam informar suas opiniões.
conectados ao sistema.
Dessa forma, o usuário pode inserir um motor de cor- 6.1 Latência
rente contínua virtual sobre o marcador, possibilitando a in-
teração dentro de uma gama de ações pré-definidas. Segundo [5] latência é o tempo decorrido após uma ope-
No estudo de caso do motor de corrente contínua foram ração de envio ser executada e antes que os dados comecem
definidas algumas animações de interesse para a aula, as a chegar em seu destino. Ela pode ser medida como o tempo
quais foram modeladas em um editor 3D. Essas animações necessário para transferir uma mensagem. No caso do ex-
simulam o funcionamento do motor com 3, 6 e 9 volts. É perimento foi utilizados pacotes de 4 bytes.
possível visualizar e separar as peças com o motor em fun- Segundo [7] se o ambiente distribuído existe para emular
cionamento como mostra a Figura 3b. o mundo real, deve operar em termos da percepção humana.
Visando a utilização de objetos virtuais gerados em qual- Este desafio torna-se maior em sistemas que utilizam redes
quer modelador 3D, como o Blender, 3DS MAX e Maya, a longa distância.

50
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Dessa forma a latência na comunicação não será o parâ-


metro principal de análise de desempenho do modelo pro-
posto, mas servirá como suporte para analisar a escalabili-
dade (capacidade de aumento na quantidade de usuários).
Logo, a análise de escalabilidade foi realizada em três eta-
pas:
• Primeira etapa: foi feito um teste para medir o tempo
que o pacote enviado pelo cliente demora para chegar
até o servidor;
Figura 5. Escalabilidade.
• Segunda etapa: utilizou-se o servidor e 3 clientes, me-
dindo o tempo de envio do pacote de um cliente para o
servidor e do servidor para outro cliente;
em seis clientes. A escalabilidade foi testada, aumentando
• Terceira etapa: utilizou-se o servidor e 6 clientes, me- esta quantidade para 12, 18, 24 e 30 clientes, respectiva-
dindo o tempo de envio do pacote de um cliente para o mente. O Resultado obtido pode ser observador através da
servidor e do servidor para outro cliente; Figura 5.
Como pode ser observado a latência do sistema com 30
usuários atingiu o patamar de 1,5 segundos, não afetando o
desempenho do software em termos de usabilidade e quali-
dade da visualização.

6.3 Testes de Usabilidade

O sistema foi apresentado a 35 alunos do ensino médio


(tecnológico) e a 5 professores ambos da área de informá-
tica.
Figura 4. Latência de Comunicação. Foi explicado a esses usuários qual a finalidade do sis-
tema. Logo após foram separados 4 grupos. Cada grupo era
composto por 10 usuários, sendo um tutor e 9 alunos. Após
A Figura 4 mostra os resultados obtidos. Como pode ser a realização do experimento todos responderam a um ques-
observado o protótipo se comportou satisfatoriamente com tionário de avaliação do sistema. A seguir, são apresentados
a quantidade de usuários à que foi submetido. alguns resultados relevantes dessa avaliação.
Para o teste de escalabilidade será utilizado os valores
obtidos no teste de latência. 6.3.1 Quanto à finalidade do uso da ferramenta

6.2 Escalabilidade

A escalabilidade é interpretada como sendo a capaci-


dade do sistema em aceitar novos clientes, numa mesma
máquina ou em máquinas diferentes [7]. Segundo [7] sis-
temas que envolvem operadores humanos devem entregar
pacotes com a mínima latência e gerar gráficos texturizados
3D a uma freqüência de 30 a 60 Hz, para garantir a ilusão
de realidade. Este desafio torna-se maior em sistemas que
utilizam redes a longa distância, conforme mencionado an-
teriormente. A latência da rede pode ser reduzida, até certo Figura 6. Gráfico: Finalidade da Ferramenta.
ponto, por meio da utilização de enlaces (links) dedicados.
Todavia, uma maior largura de banda não é necessariamente
a melhor solução. Como pode ser notado no gráfico da Figura 6 observa-se
A escalabilidade foi medida em função do resultado da que a maioria das pessoas consideraram-se satisfeita com o
análise de latência na seção 6.1, levando-se em conta a de- sistema. Porem algumas pessoas ressaltaram que para ope-
gradação do tempo de comunicação com o aumento do nú- rar o software, as pessoas necessitam de certo conhecimento
mero de clientes. Os testes iniciais foram feitos com base de informática.

51
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

6.3.2 Quando à colaboração entre os usuários é per- o software RANET possui um grande apelo pedagógico
ceptível sendo uma ferramenta de grande auxilio na área da ciência
e educação.

7 Trabalhos Futuros

Como trabalhos futuros pode-se integrar ao módulo do


cliente comandos de voz para que as animações sejam exe-
cutadas através de comandos sonoros. E adaptar o software
para que o mesmo aceite múltiplos objetos virtuais na cena.

Referências
Figura 7. Gráfico: Colaboração entre Usuários.
[1] Adobe. Flash player penetration, 2009. Disponível em:
<http://www.adobe.com/products/player_census/
No gráfico da Figura 7 observa-se que a maioria dos flashplayer/>. Acesso em: 13 agosto. 2009.
[2] R. T. Azuma. Recent advances in augmented reality. IEEE
usuários avaliaram a colaboração entre os usuários perceptí-
Computer Graphics and Applications, 21:34–47, 2001.
vel, ficando muito satisfeito com o protótipo. Porém alguns [3] BlazeDS. Blazeds developer guide. Disponível
usuários comentaram que o software poderia suportar mais em:http://livedocs.adobe.com/blazeds/1/blazeds_devguide/
objetos virtuais na cena. Tal procedimento será sugerido Acesso em: 15 mar. 2010, 2010.
como trabalho futuro. Outra sugestão foi a possibilidade de [4] A. Cardoso and L. Jr. Realidade Virtual: Uma Abordagem
implementar uma trava com o objetivo de forcar aos usuá- Prática. SVR, 2004.
rios que não estão com a trava, apenas assistirem a distri- [5] G. Coulouris. Distributed systems: concepts and design.
Addison-Wesley Longman, 2005.
buição, o que possibilitaria o uso do protótipo como uma
[6] W. A. da Silva. Uma arquitetura para distribuição de ambi-
ferramenta interessante no caso de educação à distância. entes virtuais de realidade aumentada. Master’s thesis, Uni-
Alguns usuários mostraram-se insatisfeitos porém não versidade Federal de Uberlândia, 2008.
justificaram suas respostas. [7] M. W. de Souza Ribeiro. Arquitetura para Distribuição de
Ambientes Virtuais Multidisciplinares. PhD thesis, Univer-
6.3.3 Quanto à aprendizagem (houve aquisição de co- sidade Federal de Uberlândia, 2006.
[8] M. W. de Souza Ribeiro. Arquitetura para distribuição de
nhecimento?)
ambientes vituais multidisciplinares. PhD thesis, Universi-
O gráfico da Figura 8 demostra que a maior parte dos usuá- dade Federal de Uberlândia, 2006.
rios ficaram muito satisfeitos com a questão da aprendiza- [9] C. Filhoais and J. Trindade. Física no computador: O com-
putador como uma ferramenta no ensino e na aprendizagem
gem, que o estudo de caso através do software RANET pro-
das ciências físicas. Revista Brasileira de Ensino de Física,
porcionou. Porém alguns professores da área de informá- 25, 2003.
tica, comentaram que o software poderia além do controle [10] K. Nogueira, K. Nogueira, E. Lamounier, and A. Cardoso.
da animação, e a possibilita de alterar o objeto virtual visu- Uma arquitetura para a distribuição de realidade virtual e
alizado na cena o software poderia possibilitar a inserção de aumentada. 6o Workshop de Realidade Virtual e Aumentada,
vários objetos virtuais na cena. 2009.
[11] J. Prümper. Test it: ISONORM 9241/10. In Proceedings
of HCI International (the 8th International Conference on
Human-Computer Interaction) on Human-Computer Inte-
raction: Ergonomics and User Interfaces-Volume I-Volume
I, page 1032. L. Erlbaum Associates Inc., 1999.
[12] L. F. Silva. Ambientes distribuídos em Realidade Virtual
como suporte a Aprendizagem Cooperativa para a Resu-
lução de Problemas. PhD thesis, Universidade Federal de
Uberlândia, 2009.
[13] A. TANENBAUM and M. Steen. Sistemas Distribuídos:
Princípios e Paradigmas, 2008.
[14] P. TÉCNICA. MOTORES DE COR-
Figura 8. Gráfico: Aquisição de Conhecimento. RENTE CONTÍNUA. Disponível em:
www.siemens.com.br/medias/FILES/2910_2006050514190
8.pdf Acesso em: 14 mar. 2010.
Através dos gráficos apresentados, pode-se concluir que

52
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 3 
 
AMBIENTES VIRTUAIS 

53
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Humano Virtual, Virtual Humano – O Devir do Processo de Criação


em Ambientes Imersivos

Luciana Louro
Pontifícia Universidade Católica de São Paulo
lcorrea.louro@gmail.com

Donizetti Louro
Pontifícia Universidade Católica de São Paulo
donlouro@gmail.com

Resumo Introdução
Este artigo investiga as implicações
Este trabalho investiga um possível processo teóricas acerca da análise do processo de criação
sistêmico e complexo no desenvolvimento de um dos residentes1 do Second Life (S.L)2.
gênero de personagem de ambiente virtual: o
Antes de abordar o processo de criação é
residente do Second Life (SL). Para tentar validar
importante diferenciar a personagem de sua
essa hipótese, esta pesquisa fará um estudo de caso,
caracterização, definindo, assim, esses dois termos
à luz da teoria de Mikhail Backhtin (2006),
distintos. Pode-se definir uma personagem como
complementada pela noção de sistema complexo de
sendo “um habitante da realidade ficcional, de que
Mario Bunge [7][8] que fundamentam a análise do
a matéria de que é feita e o espaço em que habita
personagem residente Liberato Lindman, que vive
são diferentes da matéria e do espaço dos seres
no SL desde 2003.
humanos” [5].
Palavras-chaves: avatar, virtual reality, processo Caracterização, por outro lado, é tudo
criativo, personagem, sistema complexo, teoria aquilo que se pode perceber ao observarmos uma
literária. personagem: sua aparência, movimentação,
atitudes, comportamento, indumentária, voz,
trejeitos, história de vida, qualidades, fraquezas e
assim por diante [11]. Ela pode, portanto, ser
Abstract elaborada antes ou depois da redação de um
roteiro. Alguns estudiosos descrevem,
This paper investigates a possible systemic process detalhadamente, o processo criativo,
and complex on development of a character´s kind fundamentando-se em situações específicas,
in a virtual reality environment: a resident in vivenciadas por cada equipe de criação. Porém,
Second Life (SL). To try to validate this hypothesis, eles não propuseram uma definição geral para o
this research will make a case study in light of the processo em questão [20], [16]. Assim, tomando
theory of Mikhail Backhtin (2006), complemented por base a concepção ficcional da personagem [5],
by the notion of complex system of Mario Bunge propõem-se definir como caracterização o processo
[7][8] which underlie character analysis of resident de criar uma personagem a partir de um conceito
Liberato Lindman, who lives in SL since 2003. autônomo e fictício, estabelecido por um roteiro
pré-existente ou não, definindo seus aspectos
Keywords: avatar, metaverse, character, creative visuais, estéticos e sua própria narrativa particular,
process, complex systems, literary theory. inserida no enredo principal, com o objetivo de
ilustrar, graficamente, por meio da computação
estética e afetiva, sua personalidade, dando-lhe
uma aparência de existência real.

1 Avatares (para definição de avatar, vide item 5) que simulam a


vida real dentro de um mundo criado pelo computador. Este
artigo vai se referir a esses avatares como residentes para
estabelecer uma coerência em relação à nomenclatura utilizada
no Second Life [9].
2 O Second Life é um universo virtual criado, após dez anos de
planejamento, em 2003 por Philip Rosedale. É um mundo
dentro do ciberespaço que imita a vida real, tendo governos,
nações, tribunais e cidadãos que são chamados de residentes
que coexistem por meio de seus avatares [9].

54
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 22010

Uma vez delimitada o tipo de 1- A Teoria de Bakhtin: uma


caracterização a ser estudado, é preciso selecionar personagem analisada como um
a teoria literária que norteará sua análise. produto final.
Escolheu-se a teoria de Mikhail Bakhtin3 [3]
devido à sua intenção de elaborar uma análise Segundo Brait [6] Bakhtin fundamentava a
fundamentada na estética4 da personagem, relação do autor com a personagem “num processo
enxergando-a como um produto final, de comunicação interativa” [6] entre o autor e o
independente de seu criador-autor, estabelecendo, “eu” de sua criação. Neste sentido, para Bakhtin
assim, um conceito autônomo [6]. No entanto, a [3], a elaboração de uma personagem é um processo
teoria bakhtiniana, que enxerga a personagem de escolhas do autor, ancoradas em valores
como um projeto finalizado, pode apresentar pessoais. Engloba-se aqui, com efeito, as escolhas
alguns obstáculos quanto à análise do processo de relativas aos traços, perfil, acontecimentos na vida,
criação dos residentes do SL. A dificuldade nesta laços afetivos e, por fim, o conjunto de
análise repousaria sobre o fato de que o processo características que forma produto final de uma
de criação desses avatares5 nunca termina. Eles personagem. A teoria bakhtiniana tem, assim,
nascem no SL e seus autores vão gradualmente como pressuposto de criação uma história com um
criando suas próprias narrativas, sem previsão de ciclo completo.
quando ou como essas vão terminar. Assim, o processo criativo é estudado a
posteori. Bakhtin [3] também acredita que esse
Depara-se, portanto, com um novo tipo de estudo deva levar em conta a evolução própria das
produção narrativa, na qual, o criador vive personagens. Desta maneira, o filósofo defende que
ativamente sua personagem, não se separando dela o ponto de partida para a análise do processo de
ao fim da criação, conforme acontece nas criação, não devem ser as características ou
narrativas tradicionais, estudadas por Bakhtin [3]. opiniões pessoais do autor. O estudo deve,
As narrativas dos residentes do SL são criadas para consequentemente, se concentrar na “forma do
promover a mobilidade [12] de uma vida paralela tratamento do acontecimento, a forma do seu
dentro um sistema social virtual. Seria, então, vivenciamento na totalidade da vida e do mundo”,
esse um processo sistêmico complexo de criação ou seja, no resultado final das escolhas do autor.
de uma personagem? O conceito de Bakhtin [3] de Assim Bakhtin [3] ressalta que é preciso se reportar
uma personagem finalizada apresentará à personagem finalizada e autônoma.
dificuldades para a análise de um residente do SL?
Se sim, seria possível ampliar a teoria de Bakhtin Mas, conforme já foi adiantado na
[3] pela noção de sistema complexo de Mario introdução, a aplicabilidade da teoria bakhtiniana na
Bunge [7][8]? análise dos residentes do SL, objeto de estudo de
caso desta pesquisa, pode apresentar dificuldades
pelo conceito de uma criação finalizada e autônoma
Para aventar estas respostas é preciso, defendida pelo autor. Assim, caso se confirme este
primeiramente, estabelecer o conceito do processo problema, cogita-se a hipótese de ampliar a teoria
de criação literária de uma personagem sob o olhar bakhtiniana com uma visão sistêmica do processo
bakhtiniano [3] (1), bem como a noção de sistema de elaboração de personagens abertas,
complexo, segundo Bunge [7] (2). Com considerando-o, consequentemente, um sistema
fundamento nestas teorias acima citadas, será complexo. No entanto, para estudar esta
realizado um estudo de caso, por meio de análise da possibilidade é necessário, antes, definir o conceito
entrevista com Jean Liberato, que possui um de sistema complexo segundo Mario Bunge [7][8]
residente no SL desde 2003 (3). que será utilizado no presente estudo.

3 Mikhail Mikhailovich Bakhtin (1895 - 1975) foi um linguista 2- A Teoria de Sistemas Complexos
russo. Seu trabalho é considerado influente na área de teoria segundo Mario Bunge
literária, crítica literária, sociolinguística, análise do discurso e
semiótica. Bakhtin [3] se destacou pela sua visão sistêmica da Para Bunge [8] um sistema é “um objeto
linguagem, na qual a lingüística não poderia ser vista cujas partes ou componentes se relacionam com
separadamente de seus fatores externos, como contexto do pelo menos outro componente”. O autor dá,
falante, momento histórico etc [6]. igualmente, grande ênfase ao papel do ambiente
4 Para Bakhtin [3] a palavra estética é usada para indicar o
para definir o conceito de sistema complexo por
acabamento ou o aprimoramento da personagem [6]. Assim
esta análise se fundamentará neste conceito estético meio da tripla ordenada, ambiente, componentes,
bakhtiniano. relação, conforme é possível constatar na fórmula a
5 Avatar vem do sânscrito Aval, que significa "Aquele que seguir publicada em seu livro “A World of
descende de Deus", ou simplesmente "Encarnação" (Dasgupta, Systems”, (Um mundo de sistemas), [7]:
1992). O significado da expressão expandiu para além do
estritamente religioso em 1859, no Livro “A vida de John
Milton” de John Donne. Já o termo como identidade virtual de
um usuário surgiu, pela primeira vez, em 1992 no romance
Snow Crash de Neal Stephenson (2000). Sua proliferação, Onde : SA (ó, t) = sistema; CA (ó, t)=
porém, pode ser atribuída ao Second Life, um mundo virtual
estrutura interna ou componentes ou um conjunto
online multiplayer [9].

55
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 32010

de qualquer coisa.; EA (ó, t)= ambiente; SA (ó, t)= Pode-se admitir uma hierarquia nestes
relação. parâmetros que funcionaria da seguinte forma: todo
sistema é composto por um conjunto de elementos,
Desta maneira um sistema complexo
ou seja, possui uma composição; estes elementos
consiste em um conjunto de qualquer coisa que,
estabelecem uma conectividade entre si, formando
além de se relacionar com “pelo menos outro
uma rede de relações ou estrutura; esta estrutura,
componente” [8], como no caso dos sistemas
por sua vez, é aberta, gerando, consequentemente,
simples, também se relaciona com o ambiente que o
subsistemas, acarretando a integralidade; destes
envolve. Para ser um sistema complexo, estes
subsistemas emergem propriedades coletivas,
elementos devem, igualmente, formar uma tripla
confirmando a funcionalidade que implica na
ordenada, ou seja, devem sempre estar dispostos na
organização [21]. Levando em conta a hierarquia
ordem estabelecia pela fórmula acima citada, a
acima descrita [21], pode-se supor que a
saber: conjunto de qualquer coisa, ambiente e
complexidade estaria associada à diversidade, à
relação.
informação e à entropia de cada parâmetro. No
É importante sublinhar que esta pesquisa entanto, “ontologicamente o aspecto mais
somente pretende se fundamentar nas idéias de fundamental é o da diversidade” [21] que constitui,
Bunge sobre sistemas complexos a fim de por fim, “um forte indício de complexidade” [21].
conjeturar uma ampliação da noção de personagem Finalmente, optou-se por considerar complexo todo
de Bakhtin [3], para o estudo teórico dos residentes sistema que apresente a diversidade em seus
do SL. Assim, a fórmula, aqui apresentada, será parâmetros.
usada somente como um guia. Não se considerou
Uma vez a teoria de sistemas complexos de
necessário, portanto, uma demonstração algébrica
Bunge sintetizada, é possível retomar a questão
da hipótese aventada neste artigo. Optou-se, enfim,
central deste artigo: a visão bakhtiniana de uma
por simplificar, com intuito de facilitar uma
personagem como um produto final pode apresentar
posterior análise teórica, a definição da tripla
dificuldades na análise de um residente do SL? Se
ordenada bungeana [7], da seguinte maneira:
sim, seria possível complementá-la pela teoria de
sistemas complexos de Bunge [7][8]? A fim de
procurar respostas será feito, a seguir, um estudo de
caso do residente do SL Liberato Lindman, à luz
Onde: S= sistema; (m)= conjunto de dos teóricos acima citados.
qualquer coisa; A= Ambiente; R= Relação
3 - O estudo de caso de Liberato
Bunge [8] afirma, igualmente, que os
sistemas podem ser divididos em naturais, “cujos Lindman
componentes assim como os vínculos entre eles
pertencem à natureza, isto é, não são obras do Em primeiro lugar, será feita uma
homem [8] ” e artificiais, que são a “união de todos explanação da metodologia de coleta dos dados,
os sistemas não naturais[8].” Este estudo considera para em seguida, proceder à análise das respostas
uma personagem um conceito fictício [5] e, do questionário. Este questionário foi elaborado
consequentemente, uma criação do homem. Logo, com o intuito de proceder a uma pesquisa de
foco de interesse aqui está na análise dos sistemas natureza qualitativa6. A primeira parte constitui um
artificiais que se dividem em: conceituais, conjunto de questões relativas ao trabalho de
materiais, semióticos e técnicos. O primeiro parece designer de personagens em ambientes de imersão.
ser o mais interessante para este trabalho, pois, A segunda parte é relativa ao processo de criação e
assim como a personagem [5], ele é “composto por à evolução do Avatar escolhido pelo autor para
conceitos [8].” interagir no SL, o vampiro Liberato Lindman.

Uma vez a definição e o tipo de sistema Neste momento, optou-se por se fundamentar
escolhido, é preciso se inclinar sobre a concepção nas teorias do designer de games Steve Meretzky
de complexidade que será adotada para nortear este [16]. Ele elaborou um roteiro de perguntas para o
trabalho. Segundo Vieira [21] não existe uma autor responder a fim de traçar o perfil da
definição ontológica da complexidade. Mas, ainda personagem a ser criada. Esta parte do questionário
segundo o autor [21] é possível encontrar um foi, portanto, formada a partir das perguntas
caminho para esta definição por meio da análise dos retiradas deste roteiro, com o objetivo de desenhar a
parâmetros sistêmicos propostos por Mario Bunge personalidade da personagem estudada. Foi,
[7], [8]. A fim de aprofundar a questão optou-se por também, pedido ao entrevistado que respondesse a
complementar estes, com os parâmetros propostos segunda etapa de questões de duas maneiras
por Kenneth George Denbigh [10], Humberto
Maturana [15], [14] e Edgard Morin [17], a saber:
composição [7], conectividade [10], estrutura [7], 6 Sendo o principal objetivo deste trabalho a investigação da
aplicabilidade da teoria literária de Bakhtin [3] no processo de
integralidade [10], [15] funcionalidade [14] e criação de uma personagem do SL, por meio de uma análise
organização [17]. aprofundada de um Residente, optou-se por este tipo de
investigação científica, pois nas pesquisas qualitativas a
preocupação maior é compreensão e interpretação os fenômenos
observados em determinado grupo.

56
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 42010

diferentes, primeiro de acordo com o planejamento Consequentemente, o nascimento8 de um


inicial e depois, de acordo com a história atual de avatar no SL, pode, em um primeiro momento, se
seu avatar do SL (desde que ele iniciou sua vida no encaixar na perspectiva bakhtiniana [3] de
Second Life até hoje). personagem definida e acabada. No entanto,
contrariando o preceito de uma personagem
Tendo estabelecido as bases metodológicas finalizada de Bakhtin [3], um Residente é feito para
da coleta de dados deste estudo de caso, é preciso traçar sua própria história, mudar sua aparência e
proceder à análise do questionário à luz das teorias escrever uma narrativa oral9 em permanente
de Bakhtin [3] e Bunge [7][8]. movimento. Por exemplo, em 2003 o vampiro
Liberato Lindman não tinha predileção por nenhum
Para Bakhtin [3] a elaboração de uma tipo de comida (Jean Liberato, 2010). Mas em
personagem é um processo axiológico que termina 2010, ele já havia adquirido o hábito de se
em uma personagem finalizada ou em um alimentar de sangue e almas de suas vítimas,
acontecimento estético. Outro ponto desta teoria é a comprado um dragão de estimação e variado suas
recomendação de um estudo a posteori do processo indumentárias de acordo com os eventos sociais dos
criativo [3] (vide item 8). No entanto, no caso de quais participava (Jean Liberato, 2010). É possível,
um Residente do SL a evolução pode transbordar a então, perceber que a personagem evoluiu,
teoria bakhtiniana, pois se trata de um processo permanecendo dependente da consciência de seu
criativo permanente, sem um fim pré-definido. No criador. Para Bakhtin [3], o autor criava todas as
caso desta possibilidade se confirmar, conjectura-se situações de mudanças na vida da personagem,
a aplicação da teoria geral de sistema de Bunge previa todos os fatos e depois se desvencilhava
[7][8] como um caminho para a ampliação da teoria dela, deixando-a ter uma vida autônoma no mundo;
bakhtiniana na análise deste novo tipo de processo a sobrevida após sua criação dependeria do
criativo. Assim será dado procedimento à descrição imaginário dos leitores e não de novas
das características estéticas da personagem deste circunstâncias e escolhas de seu criador. Já no SL o
estudo de caso, o vampiro residente do SL Liberato autor se funde com a personagem, não separando
Lindman . Em seguida será feito uma análise, à luz sua consciência de sua criação. Neste caso é
das teorias de Bakhtin [3] e Bunge [7][8] do possível considerar que a teoria de Bakhtin oferece
processo de elaboração de personagens do SL. neste quesito uma dificuldade de aplicação. Pois o
autor, ao invés de se separar de sua personagem no
O Residente Liberato Lindman é alto, calvo, final do processo criativo como prevê Bakhtin [3],
tem os olhos prateados, a pele branca e um porte se transforma em usuário, fazendo escolhas
atlético (vide figura 1). O consultor de SL explica segundo as opções de outros usuários (ou autores,
que seu avatar foi criado com a intenção de se ou atores) e de acordo com o ambiente no qual ele
tornar um grande empresário no metaverso, está inserido. Estar-se-ia, então, diante de um
inspirando-se na história da chinesa Unshe Chung 7. processo sistêmico complexo de criação? Se sim,
Desta maneira, no início, Liberato Lindman tinha poderíamos ampliar a teoria de Bakhtin [3] com a
preferência por roupas sociais, optando por ternos noção de sistema complexo de Bunge [7] para a
de marca e seu principal lazer era patrocinar festas, análise de um residente do SL?
com DJs renomados. A figura abaixo ilustra os
aspectos estéticos iniciais do Residente aqui Na tentativa de responder a estas questões,
estudado. conjecturou-se que as relações entre o usuário do
Residente Liberato Lindman com o conjunto de
outros habitantes do SL e o ambiente deste
metaverso, podem formar uma tripla ordenada que,
entre outras coisas, definiria suas novas
características.

Consequentemente, se considerarmos que: S


= sistema = processo de criação de uma
Figura 1: Liberato Lindman como empresário
personagem aberta no metaverso; (m )= conjunto de
Quanto ao processo criativo inicial qualquer coisa= conjunto de usuários do Metaverso;
Liberato (2010) o considera simples: as pessoas
podem usar avatares pré-customizados e, ao longo
de suas vidas virtuais, é possível adquirir 8 As pessoas que criam avatares no Second Life se referem ao
“acessórios de aparência e vestimentas (...) no processo de criação neste mundo como “nascimento”, pois
mercado de bens virtuais (roupas, cabelos, corpos, consideram que estão nascendo para um novo mundo, com uma
peles, tatuagens. etc” (Liberato, 2010, questão 1). vida virtual paralela [9].
9 Entende-se aqui por narrativa oral a definição dada por Walter
Benjamin. Para ele, narrar significa intercambiar experiências.
Em outras palavras, o padrão de representação que se
7 Chinesa, radicada na Alemanha, Anshe Chung, nome real, convencionou chamar “narrativa” pode ser entendido como uma
Ailin Graef, é uma megaemprendedora do SL que acumulou “técnica” (ou práxis) para a comunicação de experiências. Para o
uma fortuna que ultrapassa a marca de um milhão de dólares. Ela autor, essa técnica estaria vinculada às tradições orais, que se
se dedicou desde 2004 à construção virtual de terrenos, perderiam na medida em que há um empobrecimento das
residências e até edifícios comerciais [1]. experiências pessoais [4].

57
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 52010

A= Ambiente= Metaverso ; R= Relação= Relações Diante deste contexto, seria possível


entre os Usuários e Relações entre Usuários e analisar tal processo por meio da teoria de Bakhtin
Metaverso, então: [3]? Como foi exposto no item 2, o autor russo,
defendia que a análise da personagem deveria partir
de seu todo acabado e, por conseqüência,
independente da consciência do autor. No entanto,
Partindo desta hipotética aplicação da isso não é aplicável quando a personagem é uma
equação de sistemas de Bunge [7], podemos aventar representação virtual da consciência do autor, se
que: S= processo de criação do residente Liberato modificando de acordo com suas experiências, seu
Lindiman; (m)= conjunto de Residentes do SL; A= imaginário e, principalmente, a inferência de outras
SL; R= Relações entre Liberato Lindman, então, personagens e situações allheias à sua vontade.
ter-se-ia novamente a mesma equação.
Desta forma, propõem-se aqui uma
Pode-se, por conseguinte, pensar que o
ampliação da visão Bakhtiniana de personagem
processo de criação de uma personagem aberta em
pelo conceito de sistema complexo [7], abrindo a
um ambiente de realidade virtual, como no caso do
possibilidade de estudar seu processo criativo de
Liberato Lindman, objeto deste estudo, é sistêmico.
maneira dinâmica. Para isso o estudo de uma
Mas poderíamos considerá-lo complexo? Para isso
personagem como o avatar Liberato Lindman,
é necessário aplicar os parâmetros de sistema
precisaria partir de sua criação inicial até a sua
complexo (vide item 2) à estrutura do processo
atualidade.
criativo do residente aqui estudado.
O processo criativo do Residente em
questão é composto por três elementos: seu autor,
os outros residentes do SL e pelo ambiente do SL,
ou seja, possui uma composição; conforme o
depoimento de Jean Liberato (2010), o autor de
Liberato Lindman, existe uma constante
conectividade entre ele, os outros residentes do SL Figura 2: mini-dragão de estimação de Liberato Lindman:
e o próprio ambiente do metaverso, formando uma
rede de relações ou estrutura; esta estrutura, por sua
vez, é aberta, gerando, consequentemente, Considerações Finais
subsistemas, como por exemplo, o animal de
estimação comprado por Jean Liberato, o que A presença de uma característica
acarreta a integralidade; destes subsistemas sistêmica no processo criativo de um residente do
emergem propriedades coletivas, como ilustram os SL é factível, pois todos os parâmetros de um
novos poderes oriundos de sua inserção nos RPGs, sistema complexo estão presentes na evolução e
confirmando a funcionalidade que implica na criação da personagem. Assim, esta personagem
organização. pode ser considerada complexa e inacabada, em
oposição às personagens tradicionais dos romances
A quantidade de residentes, a variedade de que são, segundo Bakhtin [3], acabadas em seu
ambientes e efeitos visuais dentro do SL e as todo.
inúmeras possibilidades de relações advindas desta Paralelamente a estas estruturas,
estrutura, demonstram que a diversidade encontra- ancoramos e ampliamos nossas reflexões com os
se em todos os parâmetros do sistema, do processo trabalhos de computação afetiva de Rosalind Picard
criativo de Liberato Lindman, demonstrando, então, [19]10. Avançando na representação numérico-
um forte indício de complexidade neste sistema topológica utilizada em arte computacional
(vide [21] item 2). Por fim, é interessante observar interativa, temos que criar rupturas em nossa leitura
outra característica importante do processo criativo do mundo físico, pois o aspecto que caracteriza tais
de um Residente, a permanência: a narrativa de mundos como inéditas a cada representação é que
Liberato Lindman não termina, a menos que ele sua finalização realiza-se ao vivo. Assim, Louro &
morra no SL. Na verdade, esta busca pela Fraga, discorrem sobre a amplificação do processo
permanência que, é segundo Vieira [21], um dos sensorial devido ao fato de acontecerem
comportamentos padrões de sistemas complexos, correspondências isomórficas entre os estados
reitera o processo de embricamento evolutivo de perceptivos de quem está criando e os estados
softwares e inteligência artificial. potenciais imanentes do campo criado, os quais
afloram durante o processo de interação, induzindo
a emergência de repertórios inovadores [13].

Suponha-se, portanto, que o processo de


10 Computação Afetiva (“Affective Computing” em inglês) é
criação de uma personagem aberta, como no o campo da Inteligência Artificial que pesquisa sobre emoção
exemplo de Liberato Lindiman, funcione nos em computadores. Picard define Computação Afetiva como
moldes de um sistema complexo. “computação que está relacionada com, que surge de ou
deliberadamente influencia emoções”.

58
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 62010

Jacques Aumont [2] nos fala da capacidade Referências Bibliográficas


das imagens em incluir "sinais" destinados ao
espectador, que lhe permite adotar uma posição de [1]Assis, Diego (2006).
leitura conveniente. Ele destaca, desta forma, o Empresária Chinesa é a Primeira Milionária de "Second
papel da ação da imagem sobre o espectador. Life"
Enfim, podemos atribuir vários tipos de http://g1.globo.com/Noticias/PopArte/0,,AA1367716-
7084,00.html, consultado no dia 03/07/2010.
interpretação a um filme ou game, mas existem
[2] Aumont, Jacques (1993) A Imagem. Papirus.
mecanismos de controle que organizam a atividade Campinas.
interpretativa. Contudo, nem por isso deixam de [3]Bakhtin, Mikahil. (2006). Estética da Criação Verbal.
conferir ao espectador o papel de dar significação à Martins Fontes. São Paulo.
obra. E, Charles Peirce [18], em um fragmento de [4]Benjamin, Walter (1993). Trad. Sérgio Paulo Rouanet.
"Consciência da Razão", publicado em "The New Brasiliense. Experiência e pobreza em Magia e Técnica,
Elements of Mathematics", afirma que: Arte e Política. São Paulo. Pág.116.
[5]Brait, Bethy (2010). A personagem. São Paulo.
“as expressões abstratas e as imagens são Editora Ática.
relativas ao tratamento matemático. Não há [6]_____________ (2005). Bahkhtin, Conceitos Chave.
nenhum outro objeto que elas possam Editora Contexto. São Paulo.
representar. As imagens são criações da [7]Bunge, Mario (1979) A World of Systems. D. Reidel
inteligência humana conforme algum propósito, Publishing Company. Holland, pp. 1- 8.
e um propósito geral só pode ser pensado como [8]___________(2001) Dicionario de Filosofía. Siglo
Veinturo editores. México, pp. 1- 196, 2,3- 199.
abstrato ou em cláusulas gerais. E assim, de
[9]Damiani, Edgard B. (2007). Second Life: guia de
algum modo, as imagens representam, ou viagem. Novatec Editora. São Paulo.
traduzem, uma linguagem abstrata, enquanto, [10]Denbigh, Kenetth G (1975). An inventive Universe.
as expressões são representações destas formas. New York
A maioria dos matemáticos considera que suas [11] Glenn, Rane (2009) Blizzard Insider. Creative
questões são relativas aos assuntos fora da devolpment: an inside look.
experiência humana. Eles reconhecem os signos http://www.worldofwarcraft.com 10/11/09 às 10h00.
matemáticos como sendo relacionados com o [12] Leão, Lucia (2004). Derivas: Cartografias do
mundo do imaginário, assim, naturalmente fora Ciberespaço. Annablume. São Paulo.
[13] Louro, Donizetti; Fraga, Tania. (2008) Thinking
do universo experimental. (...) Toda a imagem é
Responsive Morphologies for Computer Art. Emerging
considerada como sendo a respeito de algo, não forms of computer art. Europia: Paris. 1 ed. Paris:
como uma definição de um objeto individual Europia, 2008, v. 1, p. 107-113
deste universo, mas apenas um objeto [14] Maturana, Humberto (1997). A ontologia da
individual, deste modo, verdadeiramente, realidade. Ed. UFMG. Belo Horizonte.
qualquer um é de uma classe ou de outra.” [15]_________________(1991). "The origin of the
theory of autopoietic systems," Ed. In Fischer, h. r.
Nesta direção, torna-se evidente a Frankfurt.
contribuição interdisciplinar envolvendo teoria [16] Meretzky, Steve (2001). “Building Character: An
Analysis of Character Creation”. Article disponível no
literária, sistemas complexos e computação estética
GamaSutra Website: www.gamasutra.com, consultado no
e afetiva como meio de aproximações na sintaxe do dia 06/04/2005.
processo criativo de personagens em ambientes de [17] Morin, Edgard (1986). La connaissance e la
realidade virtual. Logo, pode-se aceitar como connaisance: antropologie de La connaisance. Éditions
provável a hipótese de que o processo criativo de Seuil. Paris
um Residente do SL é sistêmico e complexo. [18]Peirce, Charles Sanders (1976). The New Elements
Assim, a proposta de analisá-lo dinamicamente, of Mathematics, Ed. Carolyn Eisele, pp 1- NEM 4:13.
levando em conta sua situação inicial e final parece [19]Picard, Rosalind (2000). Affective Computing. MIT,
ser apropriada. Cambrigde, New York, pp. 27.
[20] Rollings, Andrew & Adams, Ernest (2003). “On
Game Design”. New Riders. Indianapolis.
[21]Vieira, Albuquerque Jorge (2006). Complexidade e
Conhecimento Científico. Artigo consultado no endereço
eletrônico:
http://www.unicamp.br/fea/ortega/NEO/JorgeVieira-
Complexidade-Conhecimento.pdf (02/04/2010 às 18h00).

Lista de imagens
http://slurl.com/secondlife/body/137/124/22, consultado
no dia 21/07/2010, às 15h00.
http://slurl.com/secondlife/body/137/124/22, consultado
no dia 21/07/2010, às 15h50.

59
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Museu 3I: Publicação e Visitação Online de Acervos Tridimensionais

Eduardo de Lucena Falcão e Liliane dos Santos Machado


Laboratório de Tecnologias para o Ensino Virtual e Estatística
Universidade Federal da Paraíba - CCEN
eduardolfalcao@gmail.com, liliane@di.ufpb.br

Resumo comerciais. Deste modo, também é possível a


construção de museus virtuais tridimensionais com o
O presente artigo tem como objetivo apresentar objetivo principal de disseminação cultural.
parte do desenvolvimento de um museu virtual
tridimensional imersivo, interativo e itinerante. O 2. Museus Virtuais Tridimensionais
diferencial do mesmo em relação a outros já existentes
é a possibilidade do visitante escolher quais obras de Museus virtuais 3D são ambientes virtuais que
arte deseja visualizar enquanto navega no museu. buscam representar tridimensionalmente museus reais
Outra funcionalidade inovadora é a aplicação do ou imaginários. A partir deste conceito, foram
curador, com a qual qualquer pessoa que possua uma encontrados na literatura alguns museus virtuais
peça tridimensional no formato X3D pode enviá-la tridimensionais. O Museu Arqueológico Virtual de
para a base de acervos, tornando-a disponível para Herculano (http://www.capware.it) e o Museu Virtual
exposição no museu. Islâmico (http://www.discoverislamicart.org/) têm
como características comum a preservação de
Abstract patrimônio histórico-cultural. Além destes, foram
encontrados os:
This paper aims to present part of the development  museuM: tem como diferencial a forma de
of an immersive, interactive and itinerant three- disponibilização (aparelhos móveis);
dimensional virtual museum. The advantage of it in  Museu Virtual 3D – SoftVali: tem como
relation to other existing ones is the possibility of the objetivo auxiliar a educação, e possui uma
visitor chooses which artwork wants to view while aplicação para o curador;
browsing the museum. Another innovative feature is  Museu Nacional do Rio de Janeiro: objetiva
the application of the curator, in which anyone with a preservação do patrimônio histórico-cultural
three dimensional piece in X3D format, can send it to brasileiro.
the Base Collection making it available to the museum.
2.1. museuM [7]
1. Introdução
O museuM utiliza o paradigma m-Learning (mobile
Com a constante evolução tecnológica, o uso de learning) para utilizar a mobilidade dos dispositivos
técnicas de Realidade Virtual (RV) tem aumentado móveis para disponibilização de um museu virtual
expressivamente tanto no meio comercial como no tridimensional. No museuM é possível visualizar obras
científico. Conceitos relacionados à visualização de arte 3D disponibilizadas nas salas do museu, e suas
tridimensional e interatividade, são utilizados para respectivas descrições. O museuM foi construído
prover ao usuário ambientes virtuais tridimensionais utilizando a plataforma J2ME (Java 2 Micro Edition) e
com maior imersão. a biblioteca gráfica 3D M3G (Mobile 3D Graphics),
Segundo [1], a RV é uma simulação na qual a para prover ao usuário a vantagem de poder acessar tal
Computação Gráfica é utilizada pra criar um mundo de ambiente tridimensional de qualquer lugar, ou até
aparência realista. Esses mundos são denominados mesmo estando em movimento, fazendo-se necessário
ambientes virtuais. Neste contexto, podem ser citados apenas telefones celulares ou PDAs. A Figura 1 abaixo
ambientes virtuais tridimensionais para suporte a exibe uma visão ampla de uma das salas do museuM.
educação[2,3], entretenimento[4], treinamento[5],
preservação do patrimônio histórico[6], e fins

60
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

dinossauros, similares aos expostos no museu real. A


Figura 3 exibe a exposição de um dinossauro 3D no
MNRJ.

Figura 1 – Vista interna de uma sala do


museuM.

2.2. Museu Virtual 3D – SoftVali [8] Figura 3 – Exposição de um dinossauro 3D no


MNRJ.
O Museu Virtual 3D – SoftVali é uma proposta de
museus virtuais tridimensionais para auxílio a 3. X3D
educação. Neste museu a tridimensionalidade é
abordada pelo espaço físico do mesmo, possuindo X3D (eXtensible 3D) é o padrão definido pelo
apenas quadros em suas exposições. O fator grupo Web3D para distribuição de conteúdos
interessante é que neste museu existe uma aplicação na tridimensionais e interativos, principalmente através da
qual o usuário escolhe quais imagens deseja visualizar. Internet [10]. Ele é utilizado para construir ambientes
Estas exposições são armazenadas em um banco de virtuais tridimensionais complexos, sendo um padrão
dados para que posteriores visitantes possam visualizar aberto que permite descrever em um arquivo formas e
a exposição de outras pessoas. Este museu tem como comportamentos destes ambientes.
objetivo ser utilizado por estudantes do Ensino O antigo padrão internacionalmente aceito era o
Fundamental em atividades de sala de aula. A Figura 2 VRML (Virtual Reality Modeling Language).
exibe uma exposição no Museu SoftVali. Inicialmente este formato de arquivo conseguia
descrever apenas simples cenários estáticos, e aos
poucos foi ganhando novas funcionalidades e mais
interatividade. Devido a esta necessidade de evolução
surgiu o X3D. Nesta evolução foram aproveitados os
principais conceitos introduzidos pelo VRML,
utilizando suas idéias básicas e promovendo a
ampliação delas com a incorporação de novas
funcionalidades. A principal mudança está no novo
formato de codificação adotado: O XML.
O XML (Extensible Markup Language) é um
padrão bastante conhecido e robusto, que proporciona
maior facilidade para integrar tais aplicações 3D com a
Web. Além disto, desenvolvedores de aplicativos que
Figura 2 – Exemplo de exposição no Museu utilizam o X3D passaram a poder utilizar ferramentas
SoftVali. de suporte ao XML, como a API (Application
Programming Interface) JDOM que ajuda a ler e gerar
2.3. Museu Nacional do Rio de Janeiro [9] arquivos XML através da linguagem Java. Com esta
mudança, o X3D possui agora uma arquitetura
O Museu Nacional do Rio de Janeiro (MNRJ) foi modularizada, permitindo uma maior extensibilidade e
reconstruído tridimensionalmente para exposições flexibilidade [11]. Deste modo as aplicações podem ser
através da Internet. Como vantagens têm-se além do mais facilmente desenvolvidas pela possibilidade de
fácil acesso ao mesmo, a preservação do patrimônio não precisarem implementar de uma vez todas as
histórico. Para tal, são disponibilizadas modelos funcionalidades definidas nas especificações do X3D.
tridimensionais de fósseis de vertebrados, e

61
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

As especificações do X3D [12] são uma série de autor possa acessar e alterar o grafo de cena enquanto
documentos produzidos pelo grupo Web3D que ele é executado [14]. Este acesso permite ao autor
definem e detalham geometrias e comportamentos do obter informações sobre os nós e campos do grafo de
padrão [10]. Dentre os conteúdos abordados nas cena, notificar e receber eventos destes nós, e alterar
especificações, existem documentos apropriados para a seus valores para realizar modificações no ambiente
explicação da codificação de um arquivo X3D, (em tempo de execução), tornando-o interativo.
incluindo vários aspectos como: tipos de campos, tipos Deste modo, os browsers X3D desenvolvem suas
de nós, expressões que definem rotas, etc. Um fator próprias APIs em conformidade com os documentos
interessante é que as funcionalidades primitivas (como especificados por [14] para prover tais serviços aos
nós e campos) são especificadas de forma neutra, criadores de ambientes virtuais tridimensionais X3D.
tornando-as independente de qualquer formato de Este acesso ao grafo de cena pode ocorrer de forma
codificação e browser. externa ao arquivo X3D, por linguagens de
A visualização de ambientes virtuais X3D é programação ou de script como JAVA e ECMAScript,
realizada através de browsers específicos que ou de forma interna, apenas possível por linguagens de
consistem em aplicações capazes de interpretar e script.
processar os arquivos X3D, apresentando os modelos Adicionalmente, o autor pode obter dados sobre as
tridimensionais, animados ou não, e permitindo configurações do browser e manipulá-las a partir de
interações do usuário com os objetos. Estes browsers, aplicações externas. A SAI provê métodos para que o
comumente chamados de navegadores ou players, desenvolvedor seja capaz de instanciar browsers X3D
podem se apresentar como plugins ou applets em com as configurações desejadas a partir de linguagens
navegadores Web, como o Internet Explorer ou de programação. Como exemplo pode ser citado o
Mozilla Firefox, ou como aplicações independentes browser Xj3D, que foi desenvolvido na linguagem de
[11]. programação Java, e disponibiliza a API SAI para que
Nós X3D são os elementos fundamentais que criadores de ambientes virtuais X3D que utilizarem o
compõem o grafo de cena. Cada nó é formado por uma Xj3D como browser possam ter acesso ao grafo de
seqüência dos campos que o representa. Estes nós e cena e configurações do browser.
seus agrupamentos descrevem as funcionalidades Muitos programas que utilizam ambientes virtuais
disponibilizadas pelo X3D utilizadas para descrição e X3D precisam de uma diferente interface gráfica que
comportamentos dos objetos nos ambientes virtuais. se adapte às necessidades de sua aplicação. Este é um
Os campos servem para especificar os atributos e dos motivos pelo qual o Xj3D é bastante utilizado no
características dos nós X3D. âmbito acadêmico [16, 17] (pesquisas científicas, teses
A interatividade de uma cena X3D pode ser de mestrado), pois provê uma fácil readaptação da
caracterizada por mudanças de posição, orientação, interface gráfica do usuário através da integração de
tamanho, cores ou outras características pertinentes aos sua API SAI com o pacote Swing de Java.
campos do nó X3D, resultando em uma animação.
Eventos e rotas são as funcionalidades do X3D que 4. O Museu Virtual 3I
permitem adicionar tais comportamentos a objetos do
ambiente virtual de forma simples. Para interações O Museu Virtual Tridimensional 3I (Imersivo,
mais complexas são utilizados o nó Script e a API SAI Interativo e Itinerante) consiste de um ambiente virtual
(Scene Access Interface) que permite o controle do que representará um museu com capacidade de
grafo de cena através de linguagens de programação exposições itinerantes. Para tal, o visitante terá a
[14]. oportunidade de escolher (enquanto navega no
ambiente) quais peças 3D deseja visualizar em sua
3.1. SAI (Scene Access Interface) exposição. As peças escolhidas serão carregadas e o
usuário terá a oportunidade de interagir com as
Os objetivos da maioria dos ambientes virtuais mesmas. Outro fator interessante é que qualquer pessoa
tridimensionais são de prover ao usuário um grau de pode ser o “curador” do museu, e adicionar novas
imersão que o faça esquecer que está em uma obras no acervo do museu (banco de modelos 3D).
simulação [15]. Seja na representação de ambientes
reais ou imaginários, tais mundos possuem alto grau de 4.1. Arquitetura Proposta
complexidade para representar os comportamentos dos
mesmos. Neste contexto, a SAI proveniente do X3D Através da Figura 4 pode-se observar a Arquitetura
apresenta-se como alternativa para estas finalidades. do Museu Virtual 3I proposta. Esta arquitetura é
A SAI é o conjunto de serviços padrão composta por três módulos: Aplicação - Visitante do
especificados pelo grupo Web3D, que são Museu, Aplicação – Curador do Museu, e Base de
disponibilizados pelos browsers X3D para que um Acervos. Dessa maneira o museu dará ao visitante a

62
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

capacidade de criar suas próprias exposições novas peças à Base de Acervo, e listar todas as obras
itinerantes, em tempo-real de navegação. para editá-las ou excluí-las.

4.2. Desenvolvimento

Para o desenvolvimento do módulo da Aplicação –


Visitante do Museu foram definidas duas etapas:
 modelagem tridimensional do museu;
 desenvolvimento da aplicação e interface
gráfica a ser utilizado pelo visitante.
A modelagem tridimensional do museu virtual foi
concebida como primeira atividade a ser executada.
Para isso foi utilizado o Blender, que é um software
livre e de código aberto para modelagem 3D, e que
possui exportador para o formato X3D. Como o museu
será disponibilizado na Internet, a modelagem foi
otimizada em um nível que a qualidade gráfica do
ambiente virtual não inviabilizasse o uso devido o
tamanho de sua carga. Deste modo, foram utilizadas
texturas com pequeno tamanho de carga, mas que
provêem uma aparência realista ao ambiente.
Adicionalmente foram utilizadas as tags especiais
DEF/USE referentes ao X3D, em todos os objetos
tridimensionais que se repetiam, para evitar replicação
desnecessária de código, e conseqüentemente aumentar
a velocidade de transmissão via Internet dos modelos
tridimensionais.
Para a interface gráfica da Aplicação – Visitante do
Museu será utilizada a linguagem de programação Java
em conjunto com a API SAI proveniente do browser
Xj3D, para obter uma instância do visualizador e
incorporá-lo à interface gráfica desenvolvida com a
API Swing. Nesta aplicação o visitante terá acesso a
um menu que listará todas as obras da Base de Acervos
de Peças 3D. Deste modo, o usuário poderá escolher
quais peças tridimensionais deseja visualizar na
exposição, e as mesmas serão carregadas em tempo de
execução.
Figura 4 – Módulos da Arquitetura do Museu Para o desenvolvimento do módulo da Base de
Virtual 3I. Acervos de Peças 3D foram definidas três etapas:
 estudo de Sistemas de Gerenciamento de
A Aplicação – Visitante do Museu apresenta uma
Bancos de Dados adequados (SGBD);
Interface Gráfica para o usuário navegar no museu
 implementação da comunicação entre o SGBD
virtual. Nesta interface o usuário navegará no ambiente
e módulos Aplicação – Visitante do Museu e
virtual 3D do museu, e paralelamente serão
Aplicação Curador do Museu;
apresentados menus no qual o visitante poderá listar
todas as obras disponíveis no acervo e escolher as que  adição das primeiras peças à Base de Acervos.
mais lhe interessarem para carregar no ambiente. Tais Para a comunicação da Base de Acervos de Peças
peças serão carregadas sobre as pilastras, e assim o 3D com a Aplicação – Visitante do Museu será
usuário poderá interagir com as mesmas. desenvolvido uma relação cliente-servidor, no qual o
A Base de Acervos é responsável pelo cliente (visitante) enviará as requisições das peças 3D a
armazenamento de todas as peças pertencentes ao serem expostas, e o servidor (Base de Acervos) enviará
museu, bem como as informações relacionadas às as obras requisitadas ao cliente. Através da SAI, tais
mesmas. peças serão carregadas no Museu Virtual 3I em tempo
Já a Aplicação – Curador do Museu apresenta uma real. A comunicação da Base de Acervos com a
Interface Gráfica na qual o curador poderá adicionar Aplicação – Curador do Museu será desenvolvida de

63
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

forma análoga: através da rede o Curador poderá processo de adequação da peça, envia-se a obra para o
adicionar novas obras na Base de Acervos, assim como acervo clicando no botão “Enviar Peça para o Acervo”.
excluí-las, ou carregá-las para uma possível A Figura 7 apresenta uma captura de tela da interface
atualização. gráfica desta aplicação.
Após a conclusão de todas as implementações e
configurações no módulo da Base de Acervos, serão
adicionadas as primeiras obras de arte no mesmo, para
que o Museu Virtual 3I esteja disponível para as
primeiras exposições.
No desenvolvimento do módulo da Aplicação –
Curador do Museu foi definida a seguinte etapa:
 desenvolvimento da aplicação e interface
gráfica a ser utilizado pelo curador;
A interface gráfica da Aplicação – Curador do
Museu será desenvolvida analogamente à interface
gráfica do Visitante do Museu, sendo utilizadas as
mesmas ferramentas. Nesta aplicação, o curador Figura 5 – Entrada do Museu Virtual 3I.
poderá carregar sua própria obra de arte, visualizando-
a no browser Xj3D embutido na aplicação. Neste
visualizador será carregado o ambiente virtual do
Curador do museu, que possuirá uma pilastra e um
painel textual. O Curador terá a capacidade de ajustar
sua obra de arte sobre a pilastra, escalonando e
transladando-a, até que a mesma se adéqüe
perfeitamente ao ambiente. Além disto, será possível
adicionar um texto descritivo ao painel textual, com
uma imagem ilustrativa, para que o visitante possa
obter mais informações sobre a peça exposta. Com
todos os ajustes efetuados, a peça poderá ser enviada à
Base de Acervos, tornado-se disponível à exposição no Figura 6 – Vista interna do Museu Virtual 3I.
Museu Virtual 3I.

5. Resultados
Como resultados parciais foram obtidos
aproximadamente 70% do Museu Virtual 3I modelado.
Para que o visitante sinta-se imerso em um museu,
foram utilizados objetos que freqüentemente compõem
um museu como: parede de tijolos envelhecidos, piso
de taco, escadaria, esculturas de arte, colunas, etc. A
Figura 5 exibe a entrada do museu com os itens
anteriormente citados. Já a Figura 6, mostra o visitante Figura 7 – Interface gráfica da Aplicação –
no primeiro piso, visualizando a parte interna do Curador do Museu.
museu.
Atualmente, a Aplicação – Curador do Museu
possui uma única opção implementada: adicionar peça. 6. Considerações Finais
Nesta opção o Curador poderá carregar o arquivo de
seu computador no visualizador acoplado (Xj3D), e Pode-se observar que o Museu Virtual 3I aproveitou
ajustar o correspondente modelo tridimensional à algumas características importantes de outros trabalhos
pilastra. Para isso, devem-se preencher os campos correlatos, como a capacidade de adicionar novas obras
translação e escala, e clicar no botão “Atualizar no acervo (curador), e capacidade de interação que o
Cenário” para verificar a nova posição da peça. Além visitante terá com a peça tridimensional.
disto, o Curador poderá adicionar um texto descritivo Adicionalmente, no Museu 3I o visitante terá a
sobre a obra, e carregar uma imagem ilustrativa da oportunidade de escolher quais peças deseja visualizar
mesma, que serão dispostos no painel textual na sua exposição, ao mesmo tempo em que navega no
posicionado ao lado da pilastra. Ao final de todo esse museu.

64
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O projeto Museus Virtuais 3I está em [6] Marques, M.A.; Costa, T.K.L.; Machado, L.S.; Nettos,
desenvolvimento. Como próximas etapas, foram C.X.A. (2009) Representação do Sítio Arqueológico da Pedra
definidas a finalização da comunicação entre os de Ingá com Realidade Virtual. In: Anais do Workshop de
módulos Aplicação - Curador do Museu e Aplicação - Realidade Virtual e Aumentada, Santos, Brazil.
Visitante do Museu com a Base de Acervos, [7] Marçal, E., Santos, R., Vidal, C., Andrade, R., Rios, R.
modelagem tridimensional do museu, e finalização da (2005) “museuM: Uma Aplicação de m-Learning com
implementação da Aplicação – Visitante do Museu. Na Realidade Virtual”, em Seminário Integrado de Software e
Aplicação – Curador do Museu, visa-se implementar Hardware (SEMISH).
mais duas opções: excluir peça, e listar acervo.
Após a conclusão das etapas anteriormente citadas, [8] Seára, E. F. R., Benitti, F. B. V., Raabe, A. (2005) “ A
tem-se como objetivo a disponibilização do Museu Construção de um Museu Virtual 3D para o Ensino
Virtual 3I via Internet, mais especificamente através de Fundamental”, em INFOCOMP (Journal of Computer
uma applet. Para tal, a Base de Acervos contará Science).
inicialmente com duas seções de obras tridimensionais,
uma de objetos arqueológicos, e outra contendo [9] Monnerat, M.C., Romano, P. S. R., Grilo, O. N.,
estruturas da anatomia facial. Haguenauer, C., Azevedo S. A. K., Cunha, G. G. (2008)
Finalmente, uma avaliação mais precisa do Museu “Exposição virtual de vertebrados fósseis do Museu Nacional
3I será realizada com o objetivo de verificar a da UFRJ”, em Congresso Brasileiro de Pesquisa e
Desenvolvimento em Design.
usabilidade e aceitação entre diversos usuários de
perfis diferentes. [10] Brutzman, D., Daly, L., (2007) “X3D: 3D Graphics for
Web Authors”. Morgan Kaufmann Publishers.
7. Agradecimentos
[11] Web3D Consortium, “X3D – FAQ (Frequented Asked
Este trabalho insere-se no contexto do sub-projeto Questions)”. Online:
Arte Itinerante com Museus Virtuais vinculado ao http://www.lsi.usp.br/~lsoares/x3d/faq.html. Acesso em:
agosto/2010.
projeto Virtualidade Imersiva e Interativa baseada em
Cloud Computing financiado pelo Ministério da [12] Web3D, “X3D Public Specifications”. Online:
Cultura através do edital XPTA.Labs. www.web3d.org/x3d/specifications. Acesso em agosto/2010.

8. Referências [13] Web3D Consortium – Public X3D Wiki, “Player


support for X3D components – Web3D.org”. Online:
[1] Burdea, G. C., Coiffet P. (2003) “Virtual Reality http://www.web3d.org/x3d/wiki/index.php/Player_support_f
Technology”, Wiley-Interscience John Wiley & Sons, p. 1–8, or_X3D_components. Acesso em julho/2010..
Second Edition.
[14] Web3D, “Extensible 3D (X3D). Part 2: Scene access
[2] Falcão, E.L.; Machado, L.S. (2010) Um Laboratório interface (SAI). ISO/IEC 197752.2: 2009”. Online:
Virtual Tridimensional e Interativo para Suporte ao Ensino http://www.web3d.org/x3d/specifications/ISOIECFDIS1977
de Física. In: Proc. Congresso da Sociedade Brasileira de 52.2X3DSceneAccessInterface/index.html. Acesso em
Computação - Workshop sobre Informática na Escola, agosto/2010.
p.1285-1293. Belo Horizonte.
[15] Eco, Umberto. “Travels in Hyper-Reality”, Trans. W.
[3] L. S. Machado, T. K. L. Costa, R. M. Moraes, “A 3D Weave, London: Picador, 1986.
Intelligent Campus to Support Distance Learning”, em Proc.
of Information Technology based Higher Education and [16] Costa, T. K. L., Machado, L. S., (2008) “Uma Estrutura
Training (ITHET'2006), Sydney, 2006. para a Representação de Ambientes Reais Através de
Ambientes Virtuais Dispostos na Internet”. Em Proc. X
[4] S. Kumar, J. Chhugani, C. Kim, D. Kim, A. Nguyen, Symposium on Virtual and Augmented Reality (SVR). João
P.Dubey, C. Bienia, Y. Kim, “Second Life and the New Pessoa, Brazil.
Generation of Virtual Worlds”, em IEEE Computer, Volume
41, Number 8. 2008. [17] Meiguins, B. S., Sousa, M. P. A., Guedes, L. A., Garcia,
M. B., Meiguins, B. S. (2002) “Ambientes Virtuais
[5]G. Burdea, P. Coiffet, “Virtual Reality Technology”. John Tridimensionais para Simulação de Experiências da Física
Wiley e Sons, Nova Iorque, 1994. Fundamental”, em XIII Simpósio Brasileiro de Informática
na Educação, SBC.

65
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

X3D e Integração Multimídia para Representação de um Sítio Arqueológico

Daniel P. S. Medeiros, Liliane S. Machado


Laboratório de Tecnologias para o Ensino Virtual e Estatística
Universidade Federal da Paraíba - CCEN
{danielpires,liliane}@di.ufpb.br

Resumo pessoas das mais distantes localidades através da


Internet, bem como adicionar elementos extras a eles.
A necessidade de preservação do patrimônio Com o objetivo de reconstruir espaços de
histórico aliada à difusão cultural tem sido importância arqueológica, as áreas de computação e
motivadores de projetos que recriam ambientes arqueologia tem se unido em projetos de diferentes
utilizando técnicas de Realidade Virtual. O X3D é finalidades, tais como: divulgação do patrimônio
uma ferramenta que possibilita o desenvolvimento cultural, registro virtual do passado, simulação de
destes ambientes virtuais, além de permitir expandir a teorias e estudos arquitetônicos.
representação do real com a inclusão de elementos Várias são as ferramentas gráficas capazes de
multimídia, como textos, imagens e sons. Este representar virtualmente ambientes reais. Pode-se citar
trabalho apresenta aspectos da reconstrução virtual do motores gráficos, como o Ogre3D [1] e Panda3D [2],
sítio arqueológico Itacoatiara do Ingá, evidenciando a muito utilizadas em jogos e que contém diversas
integração de conteúdo multimídia no ambiente virtual técnicas de Computação Gráfica que facilitam a
utilizando o X3D. implementação do ambiente virtual (AV). Outra
ferramenta também utilizada na confecção dos AVs é
o X3D, padrão aberto de representação de ambientes
Abstract virtuais , que possui navegadores que além de possuir
The necessity of registry of historical heritage
as características encontradas nos motores gráficos,
combined with the cultural diffusion has been the
possibilitam a disponibilização de conteúdo pela Web.
motivation of projects that recreate environments
Marques et al. [3] apresentou um estudo sobre
through Virtual Reality techniques. X3D is a tool that
projetos ligados ao uso da RV para arqueologia e uma
enables the development of virtual environments and
proposta de reconstrução do Sítio Arqueológico
allows increasing the representation of reality with the
Itacoatiara do Ingá, na qual pretendia-se reunir
inclusion of multimedia elements such as text, images
elementos multimídia à representação virtual do sítio.
and sounds. This paper presents aspects of the virtual
No presente artigo é relatado o desenvolvimento deste
reconstruction of the archaeological site Itacoatiara do
ambiente virtual utilizando X3D. Neste contexto, são
Ingá, highlighting the integration of multimedia
apresentados detalhes da incorporação dos elementos
content in the virtual environment using X3D.
multimídia com o X3D, do tratamento de imagens
para obtenção de realismo e outros detalhes sobre a
1. Introdução incorporação de imagens e vídeos ao ambiente.

A utilização da Realidade Virtual na


2. Concepção
arqueologia tem sua importância quando observadas
as possibilidades de representação de ambientes reais
O Sítio Arqueológico Itacoatiara do Ingá é um dos
no formato virtual. Particularmente, alguns sítios
mais importantes sítios arqueológicos do país e do
arqueológicos já não existem mais, outros correm
mundo e está localizado no município de Ingá, no
riscos de deixarem de existir e alguns situam-se em
interior da Paraíba, sendo tombado pela União, através
locais remotos e de difícil acesso. Além da difusão
do Instituto do Patrimônio Histórico e Artístico
cultural desses ambientes, a sua representação a partir
Nacional - IPHAN.
de ambientes de RV permite torná-los acessíveis a

66
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O sítio é constituído por um terreno rochoso e Com intuito de preservar o patrimônio histórico
que possui inscrições rupestres cravadas nas rochas. e cultural do sítio arqueológico foi idealizado um
Sua mais importante peça é a formação rochosa ambiente virtual que representasse o sítio em toda sua
conhecida como Pedra do Ingá, que possui 16 dos seus extensão [3]. Além da representação virtual do sítio foi
23 metros de extensão coberto de figuras insculpidas, proposta a inclusão de informações importantes a
além de diversas figuras espalhadas por todo o sítio. A respeito do mesmo através de diferentes mídias, como
origem dessas inscrições é ainda desconhecida e pela textos, imagens e vídeos. Deste modo, o ambiente
sua complexidade e mistério existem diferentes teorias virtual passa a representar não apenas o ambiente real,
e mitos que rondam a pedra e a origem das gravuras. mas adiciona a este materiais complementares com
Mitos populares falam a respeito de tesouros informações relacionadas a tradição popular,
escondidos no interior da pedra que nunca foram arqueologia e geografia do local.
encontrados. A respeito das insculturas, alguns
pesquisadores que visitaram a região atribuem as 3. Desenvolvimento
gravuras a aborígines que lá viviam. Já os ufanistas
atribuem a autoria a extraterrestres que Para a implementação do sistema foram estudadas
confeccionaram as pedras através de raio laser. As diversas ferramentas. O objetivo principal era permitir
Figuras 1 e 2 mostram algumas gravuras encontradas a navegação no cenário virtual, bem como permitir a
no sítio. interação com seus diversos elementos. Foram
consideradas motores de jogos, como Panda3D e
Ogre3D, pela facilidade de tratamento gráfico,
navegabilidade e interatividade. Entretanto, a
necessidade de disponibilização do conteúdo pela Web
era um dos requisitos do projeto, razão pela qual foi
escolhida o X3D.
X3D (Extensible 3D) é o padrão adotado
internacionalmente para 3D na Web[4]. Ele é utilizado
para construir ambientes virtuais tridimensionais
complexos (também chamados de cenas). Ele é um
padrão aberto que permite descrever em um arquivo
formas e comportamentos de um ambiente virtual. As
Figura 1 – Visão Lateral da Pedra de Ingá formas são descritas por figuras geométricas e os
comportamentos da cena podem ser controlados
internamente pelo arquivo X3D e externamente por
linguagens de programação ou script.
A escolha do X3D como ferramenta de
implementação deveu-se também ao suporte das mais
diversas mídias e formas de interação, inclusive
contendo APIs que adicionam diversas
funcionalidades às já existentes como a H3D, que
possibilita a integração de dispositivos hápticos à cena
X3D[5].
Outra etapa relacionada ao projeto foi a
Figura 2 – Figuras na parte superior da pedra definição da plataforma de execução, ou seja, do
browser X3D a ser utilizado. Browsers X3D consistem
Apesar da sua importância, a infra-estrutura de em aplicações capazes de interpretar e processar as
acesso do sítio encontra-se em estado precário, sem os cenas (arquivos X3D), apresentando os modelos
devidos investimentos na sua conservação. Além tridimensionais, animados ou não, e permitindo
disso, têm-se os fatores naturais que também interações do usuário com os objetos[6]. A escolha
cooperam para a degradação do local. Fatores esses do browser deve ser feita de acordo com as
como a poluição do rio Ingá, localizado dentro do sítio necessidades do Ambiente Virtual a ser construído.
e que em épocas de cheia chega a cobrir a pedra Com isso, foi definida a utilização do browser Xj3D
completamente, causando erosão da sua superfície. [7], software de código aberto que possibilita a

67
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

integração do ambiente com scripts na linguagem de Logo após essa etapa pontos importantes do sítio,
programação Java. como o rio e a pedra de Ingá, que dá nome ao sítio,
As seções seguintes tratarão com mais detalhes foram localizados no cenário. Para o modelo da pedra
os aspectos relacionados à implementação com o X3D. cogitou-se realizar o escaneamento da pedra em toda a
sua extensão utilizando um scanner 3D. Uma
3.1. Modelagem do Cenário vantagem dessa abordagem é a quantidade de detalhes
conseguidos. Embora apresente precisão, este processo
Antes da concepção do cenário foi feita uma coleta tornou-se inviável pelo tamanho do modelo gerado,
prévia de dados do terreno do sítio e então se deu visto que a pedra tem uma extensão superior a 2
início o processo de sua modelagem. Para obtenção do metros. Outra opção cogitada foi utilizar a técnica de
relevo do local, partiu-se de um modelo numérico de escultura do Blender3d. Nesta técnica realiza-se a
terreno com informações de altitude do terreno modificação ponto a ponto e por curvas do modelo em
representadas através de curvas de nível (Figura 3). um processo minucioso e detalhado. Embora a pedra
ficasse com aspecto realista, o modelo gerado também
ficou demasiadamente grande, o que poderia
impossibilitar a visualização do mesmo em
computadores populares, bem como dificultar o
tráfego do ambiente pela rede.
Estudando técnicas alternativas, chegou-se à
técnica chamada Normal Mapping [8].Esta técnica,
muito utilizada no desenvolvimento de jogos,
possibilita a diminuição da quantidade de polígonos
na malha do objeto através da associação de texturas,
Figura 3 – Modelo numérico de terreno e curvas que funcionam como um mapa de incidência da luz na
de altitude. superfície, criando um efeito de profundidade. Esta
técnica é implementada no X3D através do nó
Com o modelo numérico e as curvas de nível MultiTexture, que especifica a aplicação de diversas
utilizou-se um software de modelagem para juntar os texturas em um mesmo objeto [9]. Para obter o efeito
pontos e transformá-los em uma malha poligonal. O do Normal Mapping no X3D é necessário ativar o
Blender3d [8] foi escolhido para esta tarefa pois, além modo “DOTPRODUCT3”,como primeiro argumento e
de ser livre, possui todas as ferramentas necessárias “MODULATE” no segundo. O primeiro argumento é
para a modelagem de um ambiente virtual do porte do seguido então pela url da imagem contendo o mapa de
presente projeto. Outra característica importante na normais que deverá ser aplicado no objeto e no
escolha do modelador foi a possibilidade de exportar segundo a imagem contendo a textura que será
os modelos em diversos formatos, inclusive no formato combinada à primeira para obter o efeito desejado.
X3D. Após a geração da malha do terreno foram Outra alteração necessária no arquivo X3D é a
aplicadas as texturas ao modelo exportado. O modelo inclusão do nó MultiTextureCoordinate de modo a
texturizado foi testado no browser Xj3D. A Figura 4 conter todos os nós TextureCoordinate presentes no
mostra o modelo do terreno já renderizado no Xj3D. arquivo X3D, que contem as coordenadas de textura
de cada imagem definida no nó MultiTexture, sejam
elas o quanto for.Um exemplo de como isso é feito
pode ser observado nas figuras 5 e 6.

Figura 5 – Represent

Figura 5 – Representação do Nó Multitexture

Figura 4 – Modelo de Terreno no Browser X3D

68
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 6 – Representação do Nó
MultiTextureCoordinate

Para a obtenção do mapa normal do objeto foi


confeccionada uma textura com as inscrições da pedra
de Ingá e então foi utilizado o plugin “NormalMap”
do GIMP [10] e aplicada ao modelo. Uma imagem
contendo as texturas utilizadas e o modelo final
texturizado pode ser vista na figura 7.

(c)
Figura 7 – (a) Mapa de Normais (b) Textura
Aplicada no Objeto
(c) Modelo Final Texturizado no Xj3D utilizando
a técnica de Normal Mapping.

3.2. Sensores

A utilização de sensores foi adotada para permitir a


geração de eventos de acordo com a ação do usuário
(a) no ambiente. Exemplos de sensores utilizados são o
ProximitySensor, sensor que gera eventos ao chegar
próximo de um determinado objeto, e o TouchSensor,
que gera eventos ao receber um clique de mouse do
usuário sobre um determinado objeto. Esses sensores
estão sendo utilizados para que o usuário possa
visualizar as informações a respeito do sítio de forma
interativa. Assim, eles estão sendo empregados para
ativar a exibição de diferente mídias, como imagens e
vídeos. Na figura 8 é possível observar uma mostra de
uma das mensagens que será exibida através de
eventos gerados por sensores.
(b)

Figura 8 – Exemplo de janela de mensagem textual


acionada a partir de um sensor no X3D.

69
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

3.3. Exibição de Vídeos ambientes, já que é capaz de integrar diversas mídias


em ambientes virtuais tridimensionais dispostos na
Para a exibição de conteúdo interativo no formato Web.
de vídeos, está sendo utilizado o Java Media Este trabalho apresentou aspectos da
Framework [11], que possibilita que aplicações implementação em X3D de uma proposta de
escritas em Java possam ter suporte a diferentes reconstrução do sítio arqueológico de Itacoatiara de
formatos de áudio e vídeo na aplicação. Para exibição Ingá. Neste caso, foram mostradas formas de agregar
de vídeos no Xj3D é criado um painel Java sobreposto técnicas de modelagem, exibição e interação em um
à cena gráfica. Neste caso, é impedida a navegação do único ambiente.
usuário pelo ambiente virtual durante a exibição do
vídeo. Os vídeos apresentados remetem a entrevistas 5. Referências
com relatos sobre o local do sítio arqueológico.
Este trabalho insere-se no contexto do sub-
3.4. Navegação projeto Arqueologia Interativa vinculado ao projeto
Virtualidade Imersiva e Interativa baseada em Cloud
Para uma navegação no cenário com maior Computing financiado pelo Ministério da Cultura
liberdade de movimentação por parte do usuário foi através do edital XPTA.Labs.
inicialmente utilizado no X3D o modo de navegação Os autores agradecem a Pablo Rosa pela
“GAME”. Neste modo, tal qual os jogos em primeira geração do modelo numérico do terreno.
pessoa do tipo FPS (First Person Shooter), é possível
oferecer movimentação ao usuário por meio dosbotões
do teclado e movimentação da câmera através de 6. Referências
movimentos do mouse. Embora mais imersiva, essa
forma de navegação pode limitar a interação do [1] OGRE3D - A 3D library for OpenGL and/or Direct3D.
usuário com o ambiente virtual, pois como o mouse é [Open source, LGPL], Online : www.ogre3d.org/, Último
utilizado para movimentar a câmera, ele não pode ser Acesso em 28/08/2010.
utilizado para a interação com objetos do cenário. Esta
[2] Panda3D – A Free3D Game Engine , Online:
limitação é imposta pela implementação do X3D. Uma www.panda3d.org . Último Acesso em 28/08/2010.
solução encontrada foi a utilização do modo “WALK”
que, diferentemente do modo "GAME", não atribui [3] Marques, M.A.; Costa, T.K.L.; Machado, L.S.; Nettos,
funções de câmera ao mouse. Deste modo,este C.X.A. (2009) Representação do Sítio Arqueológico da
dispositivo fica livre para tarefas de seleção dos Pedra de Ingá com Realidade Virtual. Anais do Workshop de
objetos no cenário. Realidade Virtual e Aumentada, Santos, Brazil. CDROM ,
2009.
4. Conclusão
[4] Brutzman, D., Daly, L. “X3D: 3D Graphics for Web
Authors”. Morgan Kaufmann Publishers., 2007.
Com a crescente preocupação na preservação do
patrimônio histórico e cultural torna-se importante a [5] [H3D, 2010] H3D.org, Open Source Haptics. Online:
utilização de conceitos de Realidade Virtual para a http://www.h3dapi.org/. Último acesso em : 26/08/2010.
reconstrução desses ambientes de maneira virtual. Um
importante fator na reconstrução desses ambientes é a [6]Falcão, E.L.; Machado, L.S.; Costa, T.K.L. Programando
possibilidade de preservá-los em formato digital e em X3D para Integração de Aplicações e Suporte
Multiplataforma. Book Chapter. In: Machado, L.S.;
distribuí-los facilmente através de diversos meios,
Siscoutto, R.A. (Org.) Tendências e Técnicas em Realidade
inclusive utilizando a internet, o que possibilita a
Virtual e Aumentada, Cap 2, p. 35-63. SBC,2010.
pessoas de diferentes localidades o acesso a estes
ambientes virtuais. [7] AD Hudson, J Couch, SN Matsuba . The Xj3D Browser:
Um ponto adicional na concepção desses community-based 3D software development- ACM
ambientes é a possibilidade de integrar diferentes tipos SIGGRAPH, 2002.
de mídias interativas, contendo informações relevantes
que normalmente não são encontradas nessas [8]Brito, A., Blender3D : Guia do Usuário . Ed. Novatec. 1a
localidades. Por este motivo , o X3D se mostra como Edição,2004.
uma ferramenta potencial para implementação destes

70
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

[9] Web3D - Extensible 3D (X3D), ISO/IEC 19775-1:2008,


18 Texturing component, Online:
http://www.web3d.org/x3d/specifications/ISO-IEC-19775-
1.2-X3D-
AbstractSpecification/Part01/components/texturing.htm,
Ultimo acesso em 27/08/2010.

[10] GIMP – The GNU Image Manipulation Program –


Online : www.gimp.org , Último Acesso em : 25/08/2010.

[11] S. Sullivan , L. Winzeler, D.Brown, J. Deagen,


Programming with the Java Media Framework. New York:
Wiley Books, 1998.

71
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Sistema Solar com Realidade Aumentada

Eduardo S. Okawa, Claudio Kirner, Tereza G. Kirner


ICE / DMC / UNIFEI - Universidade Federal de Itajubá
dudu.unifei@gmail.com, ckirner@gmail.com, tgkirner@gmail.com

Resumo 2. Trabalhos relacionados


O Sistema Solar é um ambiente cheio de mistérios, Existem diversos trabalhos que utilizam RV e RA,
que tem sido estudado por astrônomos e especialistas abordando o Sistema Solar.
ao longo do tempo, usando telescópio e material O Sistema Solar Virtual [3] foi um projeto
especializado. No entanto, o usuário comum costuma desenvolvido por professores e alunos da 5ª série do
ter um acesso bastante restrito a essas informações, ensino fundamental, que consistiu em se criar um
limitando-se a textos, figuras e, mais recentemente, a Sistema Solar com RV, incluindo avatares e outros
vídeos e aplicações de realidade virtual. A realidade objetos tridimensionais (3D). Houve grande integração
aumentada amplia esse escopo, permitindo a entre alunos e professores na elaboração do projeto,
visualização tridimensional do Sistema Solar em cujo intuito era propiciar o estudo dos planetas, de
miniatura, usando interações intuitivas no ambiente do maneira não convencional.
usuário. Esse trabalho apresenta o desenvolvimento do Outro trabalho utilizando RV para explorar
SOL-RA, uma aplicação de realidade aumentada para conceitos da astronomia é descrito em [8]. O trabalho
apoiar a exploração do Sistema Solar, para incluiu a criação de uma página na Internet, que
professores, estudantes e interessados. A aplicação foi disponibilizou informações para o estudo dos corpos
implementada por meio da ferramenta SACRA e integra celestes, permitindo interação com os objetos 3D,
recursos de imagem, som, animação e interação com construídos com a linguagem VRML. Além disso, o
múltiplos marcadores. Desta forma, o Sol-RA atinge trabalho fornece informações sobre o desenvolvimento
seu propósito, que é visualizar demonstrações, do protótipo apresentado, sua finalidade, interface,
propiciar explorações, disponibilizar exercícios de utilização e questões de ensino-aprendizagem.
fixação e apoiar trabalhos colaborativos sobre o tema. A maioria das aplicações com RA fazem uso de
marcadores. Entre elas, há um livro com o marcador
1. Introdução impresso [4], utilizando RA para mostrar as órbitas de
cada planeta e suas dimensões, porém sem interação do
O estudo dos planetas vem fascinando as pessoas, usuário com os objetos. Outro trabalho, descrito em [5],
desde o início da humanidade, e neste contexto, o permite uma interação do usuário com os planetas,
Sistema Solar apresenta grande interesse. limitando-se, no entanto, ao posicionamento dos
Tradicionalmente, o estudo do Sistema Solar tem planetas no sistema solar.
sido realizado por astrônomos e especialistas, usando O “Discover the Planets“ [6], que também aborda o
telescópios e equipamentos especiais. Para o usuário Sistema Solar com RA, mostra os corpos celestes e o
comum, existem recursos de texto, imagem e vídeo, que sol sobre um marcador, de maneira pouco interativa.
favorecem o entendimento da estrutura e Nesta aplicação, destacam-se dois pontos positivos: a
comportamento dos planetas. possibilidade de se obter informações sobre os planetas,
Algumas iniciativas com o uso do computador quando estes são acionados, e de se visualizar o
incluem aplicações com multimídia, Realidade Virtual tamanho relativo de um planeta em relação a outro,
(RV) e, mais recentemente, Realidade Aumentada quando estão próximos.
(RA). O uso da RA permite uma visualização e O Sistema Sol-RA, discutido neste trabalho, difere
interação do usuário de maneira natural e intuitiva. dos demais aqui apresentados, na medida em que:
Este trabalho tem como objetivo apresentar o  Faz reuso de marcador, mostrando cenas
desenvolvimento de um Sistema Solar Interativo com estáticas e animadas em sequência, que podem
Realidade Aumentada (o Sol-RA), usando recursos de ser acionadas por outro marcador;
imagem, animação, som e interação com múltiplos  Utiliza som para esclarecer e ajudar o usuário na
marcadores. Trata-se de uma aplicação educacional, que interação com o sistema e para informar sobre a
visa contribuir para o aprendizado do Sistema Solar. cena que está sendo visualizada;

72
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 Propicia a fixação do aprendizado, com a aproximação do marcador “Inspeção” para a ativação


exercícios interativos em 3D, que podem ser do objeto e do som de um ponto. Os planetas poderão
salvos, visualizados e revisados posteriormente; ser estáticos ou animados, de acordo com a definição do
 Contém um livro que complementa informações desenvolvedor.
sobre o Sistema Solar, incluindo marcadores em
suas folhas e permitindo diferentes interações
com o cenário 3D visualizado;
 Possibilita a escolha de diferentes níveis de
utilização, como Nível Iniciante e Avançado.

3. Sistema de Autoria Colaborativa com


Realidade Aumentada

O SOL-RA foi desenvolvido com o suporte do Sistema


de Autoria Colaborativa com Realidade Aumentada
(SACRA). Esta é uma ferramenta para desenvolvimento
rápido de aplicações de RA, envolvendo imagens, sons
e animação, sem a necessidade de programação. A
ferramenta é baseada no software ARToolKit [9] [11] e
permite a utilização de múltiplos marcadores, divididos
em duas categorias [1],[2]: marcadores de ambiente e
marcadores de ações (inspeção, controle, status,
apagamento, cópia, transporte e rastro), conforme
ilustra a Figura 1. Além disso, existe um marcador de
referência (Ref1), que permite trabalhos colaborativos
entre diferentes usuários que estejam usando o mesmo
marcador, em outros computadores. Figura 2. Sequência de planetas

O SACRA suporta também alguns comandos por


teclado. Desta forma, é possível, com um conjunto
reduzido de marcadores e teclas, construir e utilizar
aplicações relativamente sofisticadas de RA.
O conjunto de marcadores disponíveis no SACRA
auxilia tanto o desenvolvedor quanto o usuário final. O
marcador “Inspeção” faz a ativação do objeto que se
encontra no marcador de Referência, onde aparecerá o
objeto 3D. O marcador “Controle” faz a mudança de
um objeto que está sendo visualizado pelo próximo. O
marcador “Cópia” duplica o objeto. O marcador
“Transporte” leva o objeto para qualquer área dentro do
campo de visualização da webcam. O marcador
“Apagador” apaga os objetos, quando acontece a
colisão entre sua esfera e a esfera do objeto que se quer
Figura 1. Ferramenta SACRA [7]
apagar. O marcador “Status” mostra alguns dados
importantes do objeto, como a distância do objeto ao
Para desenvolver aplicações, o usuário deverá
ponto central [1], [2].
preencher pastas com arquivos de modelos 3D, sons e
textos de configuração por ele elaborados.
O SACRA utiliza pontos virtuais no ambiente, 4. Visualização e interação
associados a cada um dos objetos 3D e sons, que podem
ser ativados pelo marcador “Inspeção”. Além disso, 4.1. Uso de marcadores soltos
permite a associação de uma lista de objetos 3D com
seus respectivos sons a um ponto, de forma a ativá-los Os marcadores apresentados na Figura 3, foram os
em sequência, com o marcador “Controle”. mais utilizados no projeto. Com eles, pode-se interagir
A Figura 2 apresenta uma lista de planetas que são de forma eficiente com os objetos em 3D. Eles são,
mostrados um a um sobre o marcador, quando respectivamente: “Ref2” (onde aparecerá o objeto),
acionados pelo marcador “Controle. A Figura 4 ilustra “Inspeção” (ativa o objeto), “Controle” (muda para o

73
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

próximo objeto), “Transporte” (transporta o objeto) e utilizando o “Controle” mais uma vez, a visualização
“Cópia” (copia o objeto). retornará para o primeiro elemento, que é o Sol.

4.2. Livro com realidade aumentada

O Sistema Sol-RA compreende um livro para estudo


do Sistema Solar, potencializado com RA. Em cada
folha do livro há um marcador impresso e, ao redor do
marcador, ficam as informações de cada planeta. Após a
leitura das informações por parte do usuário, é possível
ver o planeta da página sair de dentro do livro, ativado
pelo marcador “Inspeção”. Para fazer a ativação, deve-
se colidir a esfera do marcador “Inspeção” com a esfera
do marcador de “Referência” impresso no livro.
Usando-se o “Controle”, é possível ativar a placa virtual
de informação e o som. O áudio fornece informações
Figura 3. Marcadores Ref2, Inspeção, Controle,
sobre o planeta em questão e guia o usuário nos
Transporte e Cópia.
procedimentos de interação com o Sol-RA. Todos os
planetas apresentam informações, em placas virtuais
A ativação do “Ref2 (marcador que retem o objeto)
dispostas ao lado de cada planeta. Para poder observar o
é feita pelo marcador “Inspeção”. Para isso, é
objeto em movimento, é necessário utilizar o marcador
necessário a colisão da esfera azul com a esfera cinza,
“Controle”; caso se queira repetir a operação, será
conforme mostrado na Figura 4. Esse processo ativará
necessário aproximar o marcador “Inspeção” duas vezes
o objeto dentro do marcador.
para desativar e ativar a cena. As páginas finais do livro
apresentam exercícios de fixação de conteúdo, usando
os marcadores “Inspeção” e “Controle”.
As Figuras 6, 7, 8 e 9 ilustram o funcionamento da
aplicação de RA dentro do livro.

Figura 4. Ativando o marcador Ref2.

Na Figura 5, o planeta Terra está ativo e em


movimento.

Figura 6. Marcador Inspeção acionando o marcador


Ref2 impresso no livro.

Figura 5. Ref2 depois de ser ativado.

Para visualizar os próximos objetos, utiliza-se o


marcador “Controle”. Após ter acionado todos os astros,

74
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Se ele desejar verificar a resposta global, ele


deverá repetir a operação para cada esfera, antes
de voltar a mostrar o eixo com todos os planetas
e fazer a comparação dos dois conjuntos.

 Jogo de Perguntas e Respostas. Neste caso,


conforme a Figura 9, será apresentado um
planeta qualquer e três opções, em forma de
caixa, na cor vermelha, para o nome do planeta.
Com o marcador “Controle”, deve-se clicar
(aproximar) sobre a caixa vermelha correta. Para
a verificação da reposta, é necessário clicar no
ponto identificado como resposta, dentro do
retângulo azul.
Figura 7. Sol com as placas informativas.

Figura 9. Jogo de perguntas e respostas

Figura 8. Sol em movimento dentro do livro. 5. Discussão do Projeto


4.3. Exercícios de fixação da aprendizagem O projeto consiste em apresentar, de forma
interativa, todos os planetas do sistema solar, iniciando-
Os exercícios de fixação têm o intuito de fazer com se pelo Sol e finalizando pelo planeta anão [10]. Os
que o usuário exercite o conhecimento obtido, de forma meios utilizados para aprendizagem são o livro com
interativa e dinâmica, o que contribui para uma RA, o áudio e os objetos em 3D, por meio dos
aprendizagem eficaz. Para isso, foram desenvolvidos marcadores. O projeto Sol-RA procurou integrar
um Jogo da Memória e um Jogo de Perguntas e ferramentas, como RV, RA, áudio, animação e
Respostas. exercícios interativos, com foco na aprendizagem.
Inicialmente o projeto pretendia apenas mostrar os
 Jogo da Memória. No jogo da memória, após a planetas, mas foi visto que já existem demonstrações
ativação do marcador “Ref2” com o marcador deste tipo. Percebeu-se, então, que seria necessário
“Inspeção” ou com uma tecla de atalho, serão aprimorar as idéias. O projeto foi ganhando consistência
mostrados os planetas em um eixo, de forma com a incorporação de mais funções, tais como a
ordenada, com uma esfera em frente a cada um. inserção de informações dentro da modelagem, por
Ao se usar o marcador “Controle” no eixo dos meio de marcadores 3D e sonorização. Foram incluídos
planetas, eles desaparecerão. Em seguida, ao se também outros elementos para a aprendizagem, que são
usar o marcador “Controle” sequencialmente, em os exercícios, importantes para a fixação do conteúdo.
cada esfera, serão apresentados todos os Para trazer mais consistência ao trabalho, foi
planetas, cabendo ao usuário parar naquele que desenvolvido um livro, com informações adicionais
ele achar que é o correto para a posição. Se ele sobre o tema, com marcadores dentro dele, unindo
quiser conferir se a resposta individual está assim ainda mais o real e o virtual. Além disso, foram
correta, ele poderá acionar o eixo dos planetas, criadas versões dos ambientes virtuais para visualização
fazendo-os aparecer para realizar a comparação. com RV (Figura 10).

75
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

7. Informações sobre o Projeto


Este trabalho foi realizado no âmbito do projeto
“Ambiente Temático Interativo com Realidade
Aumentada”, com bolsa de iniciação científica,
financiado pelo CNPq (Proc.558842/2009-7) e
FAPEMIG (Proc. APQ-03643-10).

8. Referências
[1] R. Santin, “SACRA - Sistema de Autoria em Ambiente
Colaborativo com Realidade Aumentada”, Dissertação –
Figura 10. Sistema solar em realidade virtual. Ciência da Computação, UNIMEP, Piracicaba, 2008.

Considerando-se que existem diferentes tipos de [2] SACRA, “Software, tutoriais e aplicações”. Disponível
usuários, com expectativas distintas, foram em: <http://www.ckirner.com/sacra>. Acesso em: 22 ago.
disponibilizadas três opções de utilização do Sol-RA: 2010.
 Sol-RA Iniciante: O módulo iniciante contém
textos 3D e sons, que dão informações sobre o [3] Ciências na Escola, Sistema Solar Virtual. Disponível em:
sistema solar e guiam o usuário na utilização do < http://www.slideshare.net/coelhoelectrico/sistema-solar-
virtualx3d>. Acesso em: 25 ago. 2010.
Sol-RA com os marcadores.
 Sol-RA Avançado: Corresponde à versão [4] Augmented Reality Science Book, Solar System,
iniciante sem as instruções de utilização, Diponível em: <http://vimeo.com/13102880>. Acesso em: 25
tornando a aplicação mais confortável para quem ago. 2010.
já conhece o sistema.
 Livro Sol-RA: É um livro que contém o estudo [5] Mindspace solutions, Solar System Builder. Disponível
sobre o Sistema Solar, compreendendo desde em:<http://www.mindspacesolutions.com/html/solar_builder.
curiosidades até informações mais complexas. html>. Acesso em: 25 ago. 2010.
Ele faz uso de marcadores impressos em suas
páginas, de onde sairão os objetos 3D e os sons. [6] Dailymotion, Discover the Planets - Augmented Reality.
Disponível em:
<http://www.dailymotion.com/video/xbhzjo_imaginality-
6. Conclusão discover-the-planets-au_tech>. Acesso em: 25 ago. 2010.

Este trabalho abordou o desenvolvimento do [7] C. Kirner, R. Santin, “Interaction, Collaboration and
Sistema Solar com Realidade Aumentada (Sol-RA), Authoring in Augmented Reality Environments”, Proceedings
explorando textos, sons, imagens, animações e of XI Symposium on Virtual and Augmented Reality, Porto
exercícios para fixação de aprendizagem sobre o tema. Alegre: SBC, 2009, p. 210-220.
O projeto utilizou a ferramenta SACRA como base
para o seu desenvolvimento, o que permitiu utilizar [8] K.S. Aquino, W.A. Silva, E.A. Lamounier, M.W. Ribeiro,
marcadores para mostrar e interagir com os cenários 3D A. Cardoso, N. Fortes, “Uma ferramenta para o auxilio ao
ensino da astronomia para alunos do ensino fundamental
estáticos e animados.
utilizando a Realidade Virtual como tecnologia”. Disponível
A integração de recursos foi importante para a em: <http://www2.fc.unesp.br/wrva/artigos/50125.pdf>.
obtenção de ambientes mais interativos e motivadores, Acesso em 25 ago. 2010.
para o usuário final.
A principal contribuição do projeto refere-se à [9] R. Santin, C. Kirner, “ARToolKit: Conceitos e Ferramenta
integração de recursos (textos, sons, imagens e de Autoria Colaborativa”, In: Siscouto, R., R. Costa (Org.),
animações) e sua utilização para fornecer informações Realidade Virtual e Aumentada: Uma Abordagem
sobre o Sistema Solar. Complementarmente, buscou-se Tecnológica, SBC, Porto Alegre, 2008, p. 3-13.
apoiar o usuário na manipulação do sistema, facilitando
a utilização nas fases iniciais. [10] E. Martioli, O rebaixamento de Plutão. Disponível em:
Como continuação do projeto Sol-RA, pretende-se <http://www.comciencia.br/comciencia/?section=8&edicao=2
7&id=310>. Acesso em: 23 ago. 2010.
implementar novas interações, pontos de vista
específicos e novos exercícios de fixação. [11] M. Billinghurst, and H. Kato. Collaborative Augmented
O sistema Sol-RA será disponibilizado para uso Reality, Communications of the ACM, Jul. 2002, p. 64-70.
livre e espera-se que ele ajude professores, alunos e
demais interessados a entender melhor o Sistema Solar
e facilitar a aprendizagem sobre este tema.

76
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 4 
 
TÉCNICAS DE INTERAÇÃO 

77
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Reconhecimento de Gestos com Segmentação de Imagens Dinâmicas


Aplicadas a Libras

Adilson Roberto Pavan


Fábio Alexandre Caravieri Modesto
Anhanguera Educacional
adilson.pavan@gmail.com
fabiomodesto@uol.com.br

Resumo de palavras simples, mas até o momento foi possível


identificar bons resultados, pois o classificador
O objetivo desse projeto é criar uma metodologia responsável por rastrear o sinal referente à letra “C” já
capaz de realizar o reconhecimento de gestos, onde a está totalmente funcional e preciso.
ideia é extrair características da mão segmentada, a
partir de imagens dinâmicas capturadas de uma 2. Introdução
webcam e identificar padrões de sinais utilizados pelos
usuários de Libras. O aplicativo desenvolvido com a Pesquisas relacionadas à visão computacional e
metodologia descrita anteriormente será capaz de reconhecimentos de gestos vêm ganhando grande
capturar as imagens e, com a utilização de filtros espaço na comunidade cientifica. Com a evolução
específicos de processamento de imagens, identificar tecnológica dos computadores e dispositivos como
as características de cada gesto realizado. Os dados câmeras, a capacidade de processamento e captura de
identificados serão comparados a padrões pré- imagens com alta qualidade facilita no
estabelecidos no aplicativo com o objetivo de desenvolvimento de diversos tipos de pesquisas, além
identificar os sinais e reproduzir em forma de texto os disso, os preços acessíveis desses dispositivos
sinais identificados. Com a criação desse mecanismo possibilitam estudos e projetos em diversas áreas como
será possível desenvolver ferramentas para diversas robótica, educação, entretenimento, medicina, indústria
áreas como educação, entretenimento e facilitar a e várias outras.
comunicação dos usuários de Libras. Alem disso, pode Além da evolução dos dispositivos e da capacidade
ser utilizada como uma ferramenta de auxilio na de processamento dos computadores, muitas
alfabetização da própria Língua Brasileira de Sinais. bibliotecas de visão computacional foram
desenvolvidas com o objetivo de facilitar e otimizar a
1. Objetivo captura, análise e manipulação das imagens, sendo que
uma das mais conhecidas e escolhida para o
O desenvolvimento desse projeto tem como desenvolvimento deste projeto é a OpenCV [4],
objetivo criar uma técnica precisa para o rastreamento desenvolvida pela Intel, é uma biblioteca gratuita que
dos sinais de Libras, combinando a utilização de oferece mais de 500 (quinhentas) funções de
bibliotecas de visão computacional gratuitas com manipulação, segmentação, rastreamento e
dispositivos de captura de imagens de fácil acesso reconhecimento de padrões [7].
como uma webcam, gerando assim um baixo custo Atualmente existem vários trabalhos relacionados a
computacional e tornando a técnica aplicável em reconhecimento de gestos e, com a utilização da
diversas áreas. biblioteca OpenCV, tornou-se possível o
A expectativa é que o sistema seja capaz de rastrear desenvolvimento de técnicas de rastreamento em tempo
todas as letras (sinais) do alfabeto, mas como o real, dentre as quais identificou-se que a abordagem
processo de criação dos classificadores exige muitas mais comum é a segmentação da Área de Interesse
amostras e tempo de processamento a pesquisa se (Region Of Interest - ROI) através do algoritmo
limitara a principio em letras suficientes para formação CamShift (Continuously Adaptive Mean-SHIFT), que

78
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

captura a imagem original e realiza a distribuição de identificação dos sinais. O processo de segmentação
cores em um modelo de histograma, criando um padrão utilizará apenas o algoritmo de Sobel, pois a utilização
de cor a ser rastreado [3]. Após a segmentação pelo de classificadores torna desnecessário extrair o fundo
histograma – que para o caso do rastreamento da mão com o algoritmo CamShift, o que reduz
como área de interesse o mais comum a ser utilizado é consideravelmente os ruídos, pois realizando-se a
a cor da pele – existem vários algoritmos disponíveis análise diretamente na imagem segmentada a
na biblioteca de detecção de bordas, tendo como um quantidade de decisões do classificador será menor e
dos mais utilizados o algoritmo de Sobel [3]. Com a dessa forma o processamento será mais rápido e
borda da imagem extraída pelo algoritmo de Sobel a preciso. Além disso, a quantidade de imagens
última etapa é realizar a comparação com um template necessárias para realizar o treinamento de cada sinal
pré-definido através de uma técnica conhecida como será bem menor.
Shape Matching [3] que é responsável por encontrar
semelhanças entre as imagens capturadas e o template, 3. Metodologia
respeitando certa taxa de erro.
Toda a técnica descrita no parágrafo anterior faz O desenvolvimento do algoritmo de reconhecimento
parte de uma pesquisa realizada por [1] que será baseado em contornos e em classificadores,
demonstrou bons resultados na segmentação e no possibilitando um melhor desempenho para o
rastreamento dos gestos, porém existem técnicas rastreamento em tempo real. Sendo assim, será
similares que também apresentam resultados utilizado a biblioteca OpenCV (Open Computer
satisfatórios, mas que para a comparação das Vision), criada pela Intel e disponível para utilização
características extraídas utilizam métodos de sem limitações.
classificação dos dados através de parâmetros definidos A utilização da biblioteca facilitara muito o
em um vetor, onde o autor [8] armazenou os mesmos desenvolvimento do aplicativo final, pois reúne todos
em uma base de dados e posteriormente os utilizou os recursos necessários para cada etapa do
para análise dos gestos. reconhecimento como, por exemplo, algoritmos para
Outra proposta interessante é a utilização de detecção de bordas, captura de imagens da webcam e
classificadores [3], proposto inicialmente por [9], comparação com as características definidas nos
através da qual o sistema é capaz de identificar com classificadores. As etapas de reconhecimento consistem
velocidade os objetos, pois não depende de imagens basicamente em capturar as imagens dinâmicas pela
em seqüência ou de um padrão de cores como em webcam, utilizar o classificador criado por [5],
outras técnicas. O sistema utiliza a informação presente responsável por realizar o reconhecimento da mão
nas imagens capturadas em tons de cinza para realizar fechada para definir a área de interesse, aplicar o
o rastreamento. Esta técnica exige o treinamento do algoritmo de Sobel, responsável por extrair o contorno
classificador com muitas imagens para que se atinja da imagem e realizar a análise com os classificadores
uma precisão satisfatória, ela cria uma cascata de treinados para identificar os sinais de Libras.
características em que a análise é realizada pelas A etapa mais importante para atingir a qualidade
diferenças de intensidade entre regiões distintas. O desejada é a criação dos classificadores mencionados
processo de treinamento, como mencionado acima, anteriormente (ultima etapa), pois os mesmos serão
exige muitas imagens e capacidade de processamento responsáveis por analisar as imagens após a aplicação
para desenvolver um classificador preciso e robusto. do filtro de Sobel, mas para atingir a precisão desejada
A proposta inicial para esse projeto era utilizar será necessário realizar o treinamento de cada sinal
técnicas como as mencionadas na pesquisa de [1]. com um número considerável de imagens. Esse
Entretanto, durante o desenvolvimento foi possível processo, entretanto, será muito mais simplificado em
identificar uma abordagem mais simplificada comparação aos classificadores disponíveis pela
garantindo-se atingir resultados precisos e concretos, a própria biblioteca, pois as imagens utilizadas no
partir da utilização de classificadores e detectores de treinamento já estão segmentadas pelo algoritmo de
bordas para realizar o rastreamento. O sistema utilizará Sobel, o que elimina um considerável número de
um classificador criado por [5] que realiza o características.
reconhecimento da mão fechada, em que o usuário
poderá definir a área de interesse para executar os 4. Desenvolvimento
sinais de Libras. Após a definição, será aplicado o
algoritmo de Sobel para extrair as bordas das imagens O sistema será totalmente baseado na utilização de
por meio da utilização dos classificadores Haar para classificadores e na detecção de contornos. Desta

79
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

forma, antes de aprofundar em cada etapa do processo, comparadas a características armazenadas em uma
é necessário entender a metodologia básica envolvendo arvore de decisões, que é desenvolvida através de um
a técnica da cascata de classificadores. algoritmo de treinamento e um conjunto de imagens
A pesquisa foi desenvolvida em etapas com o das quais são extraídas características especificas do
objetivo de facilitar e garantir a qualidade desejada, objeto a ser rastreado.
pois como o processo será realizado de uma forma Para realizar o treinamento do classificador é
mais simplificada em relação a outras técnicas necessário reunir um conjunto de imagens contendo o
mencionadas anteriormente, a etapa mais importante e objeto de interesse, em diversas condições de
que definirá a precisão do mecanismo é a criação dos iluminação e em posições diferentes. Este conjunto é
classificadores que serão utilizados para realizar o chamado de amostras positivas. Após a criação das
rastreamento dos sinais. Durante essa seção serão amostras positivas, é necessário reunir outro conjunto
apresentadas as informações básicas de cada etapa e o de imagens aleatórias onde o objeto de interesse não
andamento das pesquisas que ainda não foram esteja incluído. Este outro conjunto é chamado de
finalizadas, pois como será demonstrado a seguir o amostras negativas. Com a criação das amostras
sistema já é capaz de rastrear um sinal com precisão, positivas e negativas é necessário apenas executar o
mas ainda é necessário repetir o processo de algoritmo de treinamento que criara uma cascata de
treinamento dos classificadores para os demais sinais classificadores, onde todas as características do objeto
de Libras. serão armazenadas para posteriormente serem
utilizadas na análise da imagem.
4.1. Cascata de Classificadores O termo “cascata” é utilizado porque o algoritmo de
treinamento cria uma série de classificadores que são
A cascata de classificadores [9] é uma analisados em seqüência, até que um padrão seja
funcionalidade da biblioteca OpenCV que é identificado. A Figura 2 mostra uma parte da cascata
responsável por identificar vários tipos de objetos em de classificadores que está disponível na biblioteca e
uma imagem, mas que ficou conhecida principalmente que é utilizada para realizar o rastreamento da face.
pelo reconhecimento da face como mostra o programa
de exemplo FaceDetect disponível na biblioteca e a
Figura 1.

Figura 2 – Exemplo de uma cascata de classificadores


armazenada em um arquivo XML que é utilizada na
detecção de objetos pelas funções “cvLoad” e
Figura 1 – Imagem extraída do livro “Learning “cvDetectHaarCascade”.
OpenCV” [3] onde é possível observar o rastreamento
da face utilizando a cascata de classificadores. 4.2. Captura da Imagem
A técnica utilizada no classificador consiste em uma A proposta do projeto é criar uma interação
análise de imagens em tons de cinza, em que as humano-computador (IHC) utilizando recursos de
diferenças de intensidade de regiões distintas são visão computacional, excluindo dispositivos como o

80
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

teclado ou o mouse, utilizando especificamente algoritmo escolhido para realizar essa etapa da
imagens capturadas de uma webcam. Sendo assim, uma pesquisa é o operador de Sobel, que realiza uma análise
das etapas mais importantes é a captura da imagem, na imagem original a fim de localizar diferenças de
pois é a forma de entrada dos dados que serão tratados intensidades muito grandes entre regiões vizinhas e,
e analisados para realizar o reconhecimento dos sinais. assim, retornar essas regiões destacadas em uma escala
A utilização da biblioteca OpenCV facilita esta etapa, de tons de cinza, o que caracteriza as bordas do objeto.
pois possui recursos de captura de imagens de uma Com a aplicação desse tipo de filtro, obtêm-se
webcam ou de arquivos de vídeos através da utilização resultados muito bons, como mostra a Figura 4. Porém,
de comandos como cvCaptureFromCAM e sem a utilização de algoritmos de segmentação por cor
cvCaptureFromAVI. de pele como o CamShift, o resultado contem muitos
ruídos, que poderiam prejudicar a detecção dos sinais.
4.3. Seleção da Região de Interesse - ROI Mas como a proposta dessa pesquisa é realizar o
rastreamento através de classificadores treinados a
As pesquisas relacionadas à visão computacional e a partir de imagens, em que o algoritmo de Sobel já tenha
reconhecimento de gestos utilizam como uma das sido aplicado, pode-se afirmar que o reconhecimento é
principais técnicas a aplicação de filtros e análise das mais rápido, mais preciso e mais robusto quando
imagens a partir de uma área segmentada, ou seja, comparado aos resultados obtidos a partir da aplicação
utiliza determinados critérios para identificar uma de outras técnicas.
região de interesse na imagem original, o que reduz
consideravelmente a quantidade de processamento para
identificar o objeto desejado.
Considerando várias técnicas abordadas
anteriormente para realizar a segmentação da região de
interesse, esse projeto tem como característica a
utilização de um classificador [5], que realiza o
reconhecimento da mão fechada, selecionando assim a Figura 4 – A esquerda uma imagem original extraída de
ROI. Porém, para que uma nova ROI seja determinada, uma webcam e a direita a mesma imagem após
é necessário limpar a mesma através da ação de um aplicação do algoritmo de Sobel.
botão e iniciar novamente o reconhecimento utilizando
o classificador, como mostra a Figura 3. 4.5. Treinamento do Classificador

A última etapa e mais importante para que a


aplicação final seja precisa e robusta é iniciar o
treinamento dos classificadores que serão responsáveis
por realizar o reconhecimento dos sinais. Como já
descrito na seção “cascata de classificadores”, será
necessário reunir amostras positivas e negativas para
que o algoritmo de treinamento crie uma cascata de
características e a utilize para realizar o rastreamento
dos sinais. O levantamento bibliográfico teve grande
importância nessa etapa do projeto, pois existe pouca
documentação e exemplos sobre esse assunto,
principalmente relacionado ao classificador
responsável por rastrear a face que está disponível na
Figura 3 – Região de interesse selecionada pelo biblioteca, pois não foi possível localizar nenhum
classificador da mão fechada e ao lado o botão detalhe de como o mesmo foi treinado. Estima-se que
“Limpar Segmentação” que é responsável por limpar o cerca de 5.000 amostras positivas e negativas tenham
ROI. sido utilizadas. Os classificadores que serão
desenvolvidos nesse projeto utilizarão um número
4.4. Detecção de Bordas muito menor de amostras, pois como já mencionado
anteriormente, serão treinados a partir de imagens às
A principal característica da técnica envolvida na quais o algoritmo de detecção de bordas já tenha sido
detecção de bordas é a localização de diferenças de
intensidade luminosa entre regiões vizinhas. O

81
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

aplicado, o que reduzira consideravelmente o número


de características para realizar o rastreamento.
A coleta das amostras será realizada através da
utilização de uma ferramenta chamada Positivies
Builder [2] que auxiliará na separação e seleção dos
objetos de interesse, pois para a criação do
classificador é necessário informar as coordenadas x e
y de inicio do objeto, além de informar o tamanho do
mesmo na imagem. O algoritmo de treinamento utiliza
um arquivo onde são relacionadas todas as imagens
com seus respectivos caminhos, as posições iniciais e o
tamanho dos mesmos, para que a coleta das
características seja iniciada, além de utilizar também
outro arquivo com o caminho das amostras negativas
Figura 6 – Detecção do sinal referente à letra “C”
para que um padrão seja criado entre as imagens que
através do classificador criado com as amostras após a
contem o objeto de interesse e as aleatórias onde os
aplicação do filtro de Sobel.
objetos não estejam incluídos. A Figura 5 mostra a
configuração armazenada em um dos arquivos
utilizados pelo algoritmo de treinamento. Entretanto, 5. Representação 3D com OpenGL e
como essa etapa exige muito tempo apenas um comparação com técnicas de marcadores
classificador foi criado até o momento, mas através
dele já é possível demonstrar que a técnica é totalmente A representação do sinal rastreado foi feita
viável e precisa. O objetivo nesta etapa do projeto é inicialmente em forma de texto, mas para demonstrar a
criar um classificador para cada letra do alfabeto, mas utilização de outras formas foi construída uma mão 3D
como o processo exige um número considerável de simples utilizando a biblioteca OpenGL. O sistema
amostras a prioridade será criar letras ou sinais captura o centro das coordenadas do sinal realizado e
suficientes para a formação de palavras simples. passa as mesmas através de um arquivo XML, com o
objetivo de sincronizar essas coordenadas com o
aplicativo responsável por construir o objeto 3D. A
Figura 7 mostra essa comunicação entre as
coordenadas rastreadas e a construção do objeto 3D
após o clique no botão “Gerar 3D”.

Figura 5 – Exemplo de arquivo que será utilizado pelo


algoritmo de treinamento para coletar as características
das amostras positivas.

Após muitos testes com as amostras e configurações


dos parâmetros de treinamento, foi possível construir
com sucesso um classificador preciso e robusto para o
reconhecimento do sinal referente à letra “C”. A Figura
6 demonstra a detecção do sinal e sua representação em
forma de texto.

Figura 7 – Representação em 3D do sinal rastreado

A criação dessa técnica de rastreamento demonstra


que é possível utilizar os classificadores da mesma
forma que os marcadores utilizados em outras
bibliotecas como o ARToolkit.

82
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

6. Resultados haartraining-object-detection.html>. Acesso em: 15 maio


2010.
A pesquisa e desenvolvimento da aplicação final [3] BRADSKI, Gary; KAEHLER, Adrian. Learning
demonstraram bons resultados, pois o sistema já é OpenCV: Computer Vision with the OpenCV Library. 1. ed.
capaz de reconhecer uma área de interesse, realizar a United States Of America: O’Reilly Media, 2008. 576 p.
detecção das bordas e rastrear o sinal de Libras
referente à letra “C”. [4] INTEL. OpenCV FAQ: Open Source Computer Vision
O objetivo final da pesquisa é desenvolver mais Library. Disponível em: <http://software.intel.com/en-
classificadores para que palavras completas sejam us/articles/intel-integrated-performance-primitives-intel-ipp-
formadas, mas com a quantidade de amostras positivas open-source-computer-vision-library-opencv-faq/>. Acesso
em: 10 mar. 2010.
(992) e negativas (224) utilizadas para a criação do
classificador referente à letra “C”, pode-se perceber [5] J. Wachs, H. Stern, Y. Edan, M. Gillam, C. Feied, M.
que os demais sinais após serem treinados nos mesmos Smith, J. Handler. A Real-Time Hand Gesture Interface for
parâmetros serão muito precisos e robustos como o Medical Visualization Applications. Applications of Soft
criado até o momento. Computing : Recent Trends. Springer Verlag, Germany,
Séries: Advances in Soft Computing ,Tiwari, A.; Knowles,
7. Considerações Finais J.; Avineri, E.; Dahal, K.; Roy, R. (Eds.),2006. vol. 36, pp.
153-163.
Esta pesquisa demonstrou uma técnica de [6] LIBRAS. Portal de Libras destinado à comunidade surda,
reconhecimento de gestos, em que o objetivo é rastrear familiares, profissionais e pessoas interessadas em aprender.
sinais de Libras a partir de imagens capturadas de uma Disponível em: <http://www.libras.org.br/>. Acesso em: fev.
webcam. O aplicativo já é capaz de capturar as 2010.
imagens, realizar a segmentação através de detectores
de bordas e analisar as características com os [7] OPENCV. OpenCV Wiki: Tutoriais e exemplos de
classificadores responsáveis pelo rastreamento dos sua utilização. Disponível em:
sinais de Libras. <http://opencv.willowgarage.com/wiki/>. Acesso em:
A pesquisa demonstra uma melhoria significativa 17 fev. 2010.
em relação a outras técnicas abordadas neste trabalho,
sendo que a principal característica para obter [8] RIBEIRO, Hebert Luchetti. Reconhecimento de
resultados concretos é a utilização de classificadores gestos usando segmentação de imagens dinâmicas de
treinados, a partir de imagens segmentadas que mãos baseadas no modelo de mistura de Gaussianas e
proporcionam velocidade e precisão no cor de pele. 2006. 144 f. Dissertação (Mestrado) -
reconhecimento dos sinais. Curso de Engenharia Elétrica, Departamento de Escola
de Engenharia de São Carlos, Universidade de São
8. Referências Paulo, São Carlos, 2006.

[1] BARBOSA, Bernardo; SILVA, Júlio. Interação Humano [9] VIOLA, Paul; JONES, Michael. Robust Real-time
- Computador usando Visão Computacional. Revista Teccen: Object Detection. In: SECOND INTERNATIONAL
Edição Especial, Rio de Janeiro, v. 2, n. 1, p.9-16, mar. 2009. WORKSHOP ON STATISTICAL AND
COMPUTATIONAL THEORIES OF, 2., 2001,
[2] BARNES, David. OpenCV HaarTraining - Object Vancouver. Anais... . Vancouver: Second International
Detection with a Cascade of Boosted Classifiers Based on
Workshop On Statistical And Computational Theories
Haar-like Features. Disponível em: <:
http://www.quotientrobotics.com/2010/04/opencv- Of Vision, 2001. p. 1 - 25.

83
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Controle de Navegação em Ambientes Virtuais 3D


através do Rastreamento de Objetos

Matheus Abrantes Gadelha Selan Rodrigues dos Santos


matheusabrantesgadelha@gmail.com selan@dimap.ufrn.br

Departamento de Informática e Matemática Aplicada — DIMAp


Universidade Federal do Rio Grande do Norte — UFRN
Campus Lagoa Nova, 59072-970, Natal/RN, Brasil

Resumo O deslocamento é provavelmente a interação mais exe-


cutada em ambientes virtuais, pois em praticamente todos
O deslocamento através de ambientes virtuais é uma das ambientes virtuais o usuário precisa ser capaz de se mover
atividades primárias em sistemas de realidade virtual. Um pelo ambiente 3D para percebê-lo de diferentes perspecti-
bom dispositivo para dar suporte ao deslocamento precisa vas e estabelecer sua presença dentro desse ambiente. O
ser simples, possuir uma baixa carga cognitiva e corres- deslocamento é uma tarefa secundária, o que significa que
ponder às expectativas de navegação dos usuários. Estudos os usuários o utilizam apenas para alcançar outras partes
empı́ricos sobre interfaces tridimensionais (3D) procuram do ambiente e efetuar a tarefa primária, como por exem-
embasar o design de novos mecanismos de navegação mais plo buscar um objetivo ou mesmo familiarizar-se com a
próximos da forma natural de interação do usuário. Pode- organização espacial do ambiente [3].
se afirmar que um dos objetivos é conseguir executar tare- Atualmente, existem muitas alternativas para proporci-
fas de interação em ambientes 3D de maneira mais eficiente onar uma experiência realista ao navegar por um ambiente
do que o atual paradigma WIMP (Windows, Icons, Menu, virtual, como por exemplo rastreadores de posição, mou-
Pointing device) de interação, o qual foi originalmente con- ses tridimensionais e dispositivos apontadores 3D como o
cebido para um ambiente bidimensional (2D). Neste artigo Wiimote. Contudo, muitos destes dispositivos necessitam
propomos um dispositivo de navegação de baixo custo, ba- de muito espaço fı́sico e/ou são soluções proprietárias com
seado em visão computacional utilizando uma webcam e a custo elevado [11]. Nosso desafio, portanto, foi desenvol-
biblioteca OpenCV. Para aferir a usabilidade do dispositivo ver uma solução que pudesse proporcionar uma melhor ex-
proposto, realizamos um estudo de caso com 23 participan- periência de navegação e ter um custo reduzido, preferenci-
tes através de um ambiente virtual de teste. almente reutilizando elementos já presentes na maioria das
configurações atuais de computadores pessoais.
O objetivo desse estudo foi propor um dispositivo de des-
1. Introdução locamento em ambientes virtuais, denominado Fingertrax,
com as seguintes caracterı́sticas: (i) apresentar um baixo
Os sistemas de Realidade Virtual (RV) são caracteriza- custo; (ii) ter fácil adaptação ao modelo atual de compu-
dos pelo alto grau de imersão que apresentam ao usuário tador pessoal; (iii) propiciar um desempenho na tarefa de
e o seu sucesso está atrelado a esse fator [5]. Para atingir deslocamento, pelo menos, tão eficiente quanto a utilização
essa meta, sistemas de RV necessitam fornecer realismo aos de mouse e teclado em ambientes virtuais de mesa; e (iv) ser
seus utilizadores, o que torna indispensável prover ambien- um mecanismo de utilização simples e fácil. Para ava-
tes virtuais tridimensionais e dispositivos que proporcionem liar a eficácia do Fingertrax, realizamos testes experimen-
uma interação de qualidade com esses ambientes. tais com participantes visando comparar sua utilização em
Em ambientes de RV, a interação do tipo navegação uma aplicação de teste na qual a navegação é uma tarefa
ainda pode ser dividida em deslocamento e wayfinding [2]. secundária. O parâmetro de referência considerado foi ob-
O deslocamento engloba a movimentação e a orientação do tido através da realização da mesma tarefa por um grupo de
usuário no ambiente, enquanto o wayfinding relaciona-se à controle, utilizando o mouse e teclado.
construção do mapa cognitivo do ambiente virtual (AV). A próxima seção irá apresentar trabalhos relacionados

84
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ao problema encontrado. A Seção 3 descreve a interface de pode ser feito ou que ele é simplesmente indesejado. Este
controle do dispositivo, enquanto que a Seção 4 descreve é o caso, por exemplo, de um AV colaborativo no qual o
os aspectos da implementação do Fingertrax. A Seção 5 usuário precisa se conversar com outros participantes.
aborda o ambiente de testes e configurações experimentais Uma caracterı́stica comum a todos os mecanismos de
utilizadas, cujos resultados são discutidos na Seção 6. Por navegação encontrados é a necessidade da utilização de dis-
fim, a última seção conclui o estudo. positivos de entrada e saı́da pouco acessı́veis. A utilização
de dispositivos já consolidados facilita a propagação do
2. Trabalhos Relacionados mecanismo de navegação, na medida em que o acesso ao
mesmo depende de menos fatores.
As técnicas de navegação e deslocamento em ambientes
virtuais têm se utilizado de inúmeras abordagens para ten- 3. Interface de Navegação
tar proporcionar uma melhor experiência para o usuário ou
suprir uma necessidade de uma aplicação especı́fica. Pode- O sistema de controle de navegação proposto utiliza uma
mos categorizá-las em diferentes áreas como manipulação webcam comum, que em geral já está disponı́vel em com-
direta do ambiente utilizando gestos, manipulação indireta putadores portáteis e possui uma baixo custo para aquisição
utilizando dispositivos de mão, identificação de gestos cor- se comparado, por exemplo, a um rastreador 3D.
porais e reconhecimento de comandos de voz. Para efeitos de simplificação e definição do escopo deste
Técnicas para mover e orbitar objetos especificados fo- estudo, estamos considerando apenas o deslocamento de
ram apresentadas, por exemplo, em [13, 8, 12]. Contudo, uma câmera virtual restrito ao plano, com representação
essas técnicas geralmente requerem uma grande quantidade egocêntrica (primeira pessoa).
de aprendizado para o usuário conseguir utilizá-las com de- O modelo de navegação em ambiente virtual 3D de
senvoltura, além de sempre ser necessária a utilização de mesa mais utilizado combina dois periféricos: mouse e te-
algum dispositivo em suas mãos, o que impede a execução clado. Neste paradigma, o mouse e teclado são utiliza-
de outras tarefas. dos em conjunto para controlar, respectivamente, o desloca-
Uma abordagem mais geral e menos comumente ex- mento (translações) e orientação (rotações) da câmera vir-
plorada é o mapeamento de movimentos corporais direta- tual. Este modelo ganhou popularidade nos anos 90, ao ser
mente para o ambiente de navegação. Fuhrmann et al. [7], introduzido para controlar navegação egocêntrica em jogos
por exemplo, desenvolveu um sistema em que a orientação eletrônicos populares, como o Wolfstein 3D [9]. Sendo as-
da cabeça determina a direção e velocidade da navegação. sim, utilizamos esse paradigma, doravante denominado de
Essa técnica apresenta a vantagem de não necessitar de ne- M&T, como modelo base para nossa interface de controle.
nhum equipamento extra a não ser o rastreador de cabeça. O teclado é responsável pela movimentação do usuário
Porém, a sistema possui a desvantagem de interpretar movi- no ambiente, batizado de movimentação “w-a-s-d”. Neste
mentos habituais da cabeça do usuário como comandos de sistema o controle sobre a direção de deslocamento é feita
navegação. relativa ao vetor de visão (look-at) do usuário. O pressio-
Uma técnica alternativa [14] que também é baseada em namento das teclas “w” (ou “↑”) e “s” (ou “↓”) provocam
rastreamento de cabeça é controlar a navegação fazendo o o deslocamento da câmera de um certo montante, ∆F , para
usuário “caminhar” sem sair do lugar. A velocidade do frente e para trás, respectivamente, na direção do vetor de
movimento está associada com a velocidade dos passos do ~
visão (lookat). O pressionamento das teclas “a” (ou “←”) e
usuário, mas a direção do movimento continua associada à “d” (ou “→”), provocam o deslocamento lateral da câmera
posição da cabeça. De uma maneira geral, é possı́vel no- de um certo montante, ∆S, para esquerda e direita. A Fi-
tar que os estudos que propõem sistemas de navegação ba- gura 1 ilustra este mapeamento.
seados no mapeamento de movimentos corporais normal- A mudança na orientação da câmera virtual é realizada
mente são baseados na utilização dispositivos de rastrea- através de deslocamentos relativos do mouse. Deslocamen-
mento 3D. Estes mecanismo possuem duas desvantagens: tos horizontais de mouse, δmousex , para esquerda ou direita
normalmente são caros (e.g. rastreadores magnéticos ou são mapeados para deslocamento angular horizontal (azi-
óticos), e requerem espaço fı́sico amplo para sua instalação mute), θcamera , do mundo virtual. Deslocamentos verti-
e utilização. cais de mouse, δmousey , para cima ou baixo são mapeados
A outra categoria é de sistemas de navegação basea- para deslocamento angular vertical (elevação), φcamera , do
dos em reconhecimento de voz. A fala permite que o mundo virtual.
usuário indique parâmetros de navegação e pode ser utili- A interface de controle definida para o sistema Fingertrax
zada em conjunto com os gestos para proporcionar contro- é baseada no uso de uma webcam. Além destes dispositivos,
les de navegação mais imersivos [6, 10]. Entretanto, exis- o usuário deve utilizar um anel plástico em um dos dedos.
tem algumas situações em que o reconhecimento de fala não Fingertrax utiliza algoritmos de visão computacional para

85
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 2: Mapeamento dos movimentos do anel rastreado


Figura 1: Esquema de deslocamento do usuário em am- para o controle da câmera virtual.
biente virtual utilizando o sistema de teclas “w-a-s-d”. Ob-
serve que a direção do movimento é definida com base na
orientação do avatar, ou seja, o vetor de visão. Tabela 1: Interfaces para controle de câmera.

Câmera Virtual Fingertrax M&T


capturar e rastrear a posição do anel, de maneira a mapear θcamera (azimute) δanelx δmousex
os movimentos (relativos) da mão do usuário para ações de φcamera (elevação) δanely δmousey
navegação. Optamos pela adoção de um anel devido simpli- ~
∆F · lookat δanelz ‘w’/‘↑’ ou ‘s’/‘↓’
cidade e conforto de uso. Antes de iniciar a navegação no
ambiente virtual o usuário deve calibrar o dispositivo para ∆S · ~h — ‘a’/‘←’ ou ‘d’/‘→’
o reconhecimento do anel ou do objeto desejado. Uma tela
com a imagem sendo capturada irá aparecer e o usuário deve
colocar o objeto a ser mapeado dentro da área designada na
tela.
4. Descrição e Implementação
Após a fase de calibração, temos um sistema de coorde-
nadas para o anel rastreado (SCA), capaz de identificar des- Fingertrax é um software responsável por auxiliar o
locamento ao longo dos três eixos coordenados, Xa , Ya e usuário na calibração e por transformar as imagens captu-
Za . Similarmente ao mouse, os deslocamentos são tomados radas pela câmera em comandos de navegação.
de maneira relativa ao SCA: δanelx , δanely e δanelz . Para A captura do fluxo de vı́deo, a manipulação dos qua-
capturar o movimento definimos um valor de ativação do dros e alguns algoritmos para a identificação de elemen-
movimento, que funciona da seguinte forma: se a distância tos da imagem foram elaborados utilizando a biblioteca
relativa de um movimento ultrapassar o valor de ativação, o OpenCV [4].
movimento capturado é considerado. Esse mecanismo visa As técnicas utilizadas serão divididas esquematicamente
tratar a imprecisão natural do algoritmo de rastreamento, em duas partes: identificação do objeto e calibragem do dis-
evitando que movimentos naturais involuntários da mão do positivo.
usuário fossem considerados.
Desta forma, o Fingertrax faz o seguinte mapeamento: 4.1. Identificação do objeto
(i) deslocamento horizontal do anel é mapeado para azi-
mute, θcamera ; (ii) deslocamento vertical do anel é mape- A identificação do objeto é fundamental para o funcio-
ado para elevação, φcamera ; e (iii) deslocamento em pro- namento do Fingertrax. Para identificar o objeto fazemos
fundidade do anel é mapeado para para deslocamento da uso do histograma de cor da imagem capturada. Um his-
~
câmera ∆F , para frente para trás, na direção de lookat. tograma classifica aspectos de uma imagem para determi-
Note que para a versão atual do Fingertrax o desloca- nar correlações entre imagens ou partes de imagens. A
mento lateral de câmera foi eliminado, haja visto que esta é operação com histogramas que utilizamos é responsável
uma movimentação relativamente pouco usada por usuários pelo casamento de padrões e a consequente identificação do
iniciantes. A Figura 2 ilustra os controles associados à objeto na imagem.
movimentação do anel rastreado, enquanto que a Tabela 1 Primeiramente, obtemos o histograma do padrão a ser
compara os mapeamentos realizados pelo Fingertrax e M&T. encontrado na imagem, no nosso caso, esse padrão corres-

86
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ponde ao objeto que estamos utilizando (anel de plástico). 5. Metodologia


Depois, utilizamos o histograma do padrão em conjunto
com o histograma da imagem capturada e, utilizando
funções da biblioteca OpenCV, identificamos (ou não) o A hipótese primária (H1 ) que testamos com este estudo é
padrão desejado na imagem. Após essa identificação, cri- a seguinte: o sistema Fingertrax terá um desempenho equi-
amos uma elipse em volta da área provável da existência valente ou superior à utilização do sistema M&T. A justifi-
do padrão. O centro dessa elipse será interpretado como a cativa para H1 reside no fato do Fingertrax utilizar apenas
posição do objeto. um dispositivo de entrada (o dedo rastreado) com 3 graus
de liberdade (os três eixos de movimentação), em contraste
com a necessidade de utilização coordenada de dois dispo-
4.2. Calibragem do dispositivo sitivos de entrada (mouse, 2 graus de liberdade, e teclado, 1
grau de liberdade) no caso do tratamento M&T.
Calibrar o dispositivo significa descobrir qual será o ob-
jeto que deveremos buscar nas imagens. O software de
calibragem exibe na tela a imagem sendo capturada pela 5.1. Materiais
câmera. Nessa imagem é desenhado um quadrado de bor-
das pretas, sem coloração interna, e o que estiver dentro dele O ambiente de testes foi desenvolvido na linguagem de
será considerado um padrão a ser buscado pelo programa. O programação C++ utilizando a biblioteca OpenGL. O am-
usuário deve posicionar sob o quadrado o objeto que deseja biente é formado por uma grande arena quadrada repleta de
utilizar como padrão e pressionar uma tecla. alvos que devem ser atingidos pelo usuário. Os alvos são
Outra maneira de efetuar essa etapa é fazer com que esferas que, quando atingidas, mudam da cor vermelha para
o usuário selecione com o mouse (como se estivesse de- a verde. Existem 200 alvos no ambiente e o seus tamanhos
senhando um retângulo) o objeto que deve ser tido como e posições são atribuı́dos randomicamente.
padrão. Ambas as opções foram implementadas. Ao final É importante salientar que o usuário sempre verá uma
dessa etapa, será desenhada uma elipse ao redor do objeto grande quantidade de alvos devido ao tamanho reduzido da
rastreado, identificado por seu histograma de cor. Na Fi- arena em comparação à quantidade de alvos gerados. Os
gura 3, podemos observar o programa para calibrar o dispo- tiros são representados por pequenas esferas pretas e são
sitivo em execução. disparados a partir do centro da tela quando a tecla barra
de espaço é pressionada. A movimentação pode ser feita
utilizando o sistema M&T ou o Fingertrax.
A tarefa de acertar a maior quantidade possı́vel de al-
vos no menor tempo possı́vel foi a forma que encontramos
para fazer com que o deslocamento funcionasse como ta-
refa secundária. Para forçar o participante a navegar pelo
ambiente, criamos uma neblina que esconde a maior parte
dos alvos—desta forma os alvos tornam-se visı́veis a partir
de uma distância mı́nima. Para evitar o computo de acertos
devido a tiros aleatórios que pudessem acertar alvos distan-
tes, o disparo deixa de ser válido após uma distância limite.
A Figura 4 exibe uma captura de tela do ambiente experi-
mental.
Figura 3: Calibração do dispositivo de navegação Os testes foram feitos em um computador com pro-
cessador Intel Pentium 4 3.00 GHz, 3 GB de memória
Após a identificação e calibração, o sistema utiliza o al- RAM, placa de vı́deo NVIDIA GeForce 6200 TurboCache
goritmo Continuously Adaptive Mean Shift (CamShift) [1], e câmera digital de 1,3 megapixels.
disponı́vel no OpenCV através da função cvCamShift.
Originalmente projetado para rastrear faces humanas, o 5.2. Métodos
CamShift é um algoritmo robusto, eficaz, leve e ade-
quado para rastrear distribuições, como por exemplo carac-
terı́sticas de cor. Como nosso objetivo era produzir um sis- O experimento foi realizado com um grupo de 23 pes-
tema capaz de rodar em computadores com baixo poder de soas na faixa etária de 18 a 25 anos. Todos possuı́am alguma
processamento e rastrear um objeto bem definido (em ter- experiência na utilização do mouse e teclado para tarefas de
mos de cor), o CamShift mostrou-se adequado. navegação em ambientes virtuais.

87
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

pior pontuação tratamento padrão foi 23 alvos, e com o tra-


tamento experimental foi 9.

Figura 4: Screenshot do ambiente de testes utilizado no ex-


perimento

Figura 5: Média de acertos em cada dispositivo. M&T na


esquerda e Fingertrax na direita.
5.2.1 Procedimento Experimental

No inı́cio do experimento, todos usuários ouviam uma A quantidade de alvos errados foi menor quando os
explicação acerca da utilização do Fingertrax, seguida de usuários utilizaram o M&T ao invés do Fingertrax (ver Fi-
uma rápida demonstração de aproximadamente 2 minutos. gura 6). O indivı́duo que mais errou utilizando o mouse e
Após essa etapa, o usuário dispunha de uma sessão de trei- teclado, o fez 58 vezes. A maior quantidade de erros com
namento de 5 minutos de duração, na qual devia executar o Fingertrax foi 52. Contudo, o indivı́duo que menos errou
exatamente as mesmas tarefas do teste: locomover-se pelo usando o mouse e teclado, o fez 4 vezes. Usando Fingertrax,
cenário e acertar a maior quantidade de alvos possı́vel. O a menor taxa de erros foi de 7.
treinamento foi incluı́do com o intuito de reduzir a van-
tagem que M&T possuem por serem dispositivos cultural-
mente consolidados.
No final do treinamento, o experimento se iniciava de
fato. O participante tinha 2 minutos para acertar a maior
quantidade de alvos possı́vel utilizando o tratamento ex-
perimental (Fingertrax). O mesmo participante efetuaria
o mesmo procedimento novamente (design intra-sujeito),
dessa vez, utilizando o tratamento padrão (M&T). A or-
dem dos tratamentos foi invertida para metade dos parti-
cipantes. O design experimental intra-sujeito foi escolhida
para aumentar a amostragem do experimento, levando em
consideração que a utilização de um tratamento não inter- Figura 6: Média de erros em cada dispositivo. M&T na es-
fere no desempenho do segundo tratamento na repetição do querda e Fingertrax na direita.
experimento.
A navegação M&T seguia exatamente o modelo tradicio- Finalmente, a taxa de acerto dos usuários em cada dispo-
nal, contudo, estava desprovida de movimentos laterais efe- sitivo é apresentada na Figura 7. O indivı́duo com a maior
tuados pelas teclas “a” e “d”. No fim do experimento, os taxa de acerto com mouse e teclado acertou 92,16% dos
dados obtidos foram a quantidade de tiros certeiros e erra- seus tiros. A maior taxa de acerto com o Fingertrax acertou
dos de cada usuário. 78,79% dos tiros.

5.2.2 Resultados
6. Discussão

Os resultados obtidos mostraram que os usuários quando Os resultados mostraram uma superioridade ampla do
utilizaram o tratamento padrão acertaram, em média, mais mouse em todos os quesitos avaliados. Contudo, o de-
alvos do que quando utilizaram o tratamento experimental sempenho do dispositivo proposto foi suficiente para atestar
(veja a Figura 5). O indivı́duo de melhor pontuação com sua usabilidade e, apesar do pobre desempenho em relação
o tratamento padrão acertou 61 alvos, enquanto a melhor ao mouse, deve ser considerado uma alternativa para a
pontuação do tratamento experimental foi de 40 acertos. A navegação em ambientes virtuais.

88
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Referências

[1] Computer vision face tracking for use in a perceptual user


interface. 2(2):12–21, 1998.
[2] D. A. Bowman, D. Koller, and L. F. Hodges. A methodo-
logy for the evaluation of travel techniques for immersive
virtual environments. Journal of the Virtual Reality Society,
3(2):120–131, June 1998.
[3] D. A. Bowman, E. Kruijff, J. J. L. Jr., and I. Poupyrev. A
introduction to 3-D user interface design. Presence: Teleo-
perators and Virtual Environments, 10(1):96–108, February
2001.
Figura 7: Média da taxa de acertos em cada dispositivo. [4] G. Bradski and A. Kaehler. Learning OpenCV: Computer
M&T na esquerda e Fingertrax na direita. Vision with the OpenCV Library. O’Reilly Media, 1st edi-
tion, September 2008.
[5] G. C. Burdea and P. Coiffet. Virtual Reality Technology.
O desempenho superior do mouse e teclado pode ser Wiley-IEEE Press, 2nd edition, June 2003.
justificado pela familiaridade que os usuários tem com sua [6] P. R. Cohen, M. Johnston, D. McGee, S. Oviatt, J. Pittman,
utilização. O primeiro contato com Fingertrax utilizado para I. Smith, L. Chen, and J. Clow. Quickset: Multi-modal
navegação foi no momento do experimento, ou seja, a ex- interaction for distributed applications. In Proceedings of
the Fifth International Multimedia Conference, pages 31–
periência do usuário limitou-se ao seu uso durante a sessão
40, 1997.
de treinamento. Em contrapartida, o mouse vem sendo uti- [7] A. Fuhrmann, D. Schmalstieg, and M. Gervautz. Strolling
lizado há anos como dispositivo de interação. through cyberspace with your hands in your pockets: Head
Outro fator interessante é pouca precisão do disposi- directed navigation in virtual environments. Proceedings
tivo. A utilização de algoritmos de visão computacional of the 4th EUROGRAPHICS Workshop on Virtual Environ-
para rastrear o anel, e o movimento trêmulo natural da mão ments, 1998.
do usuário acabam gerando alterações na posição do ob- [8] C. Hand. A survey of 3d interaction techniques. Computer
jeto rastreado. O dispositivo foi desenvolvido levando em Graphics Forum, 16(5):269–281, 1997.
consideração esses dois fatores e, para evitar um movimento [9] id Software. Wolfenstein 3D. http://www.
idsoftware.com/games/wolfenstein/
não intencional da câmera, foi criado a “zona neutra”, na
wolf3d/, último acesso em outubro, 2010.
qual movimentação da mão não gera deslocamento no AV. [10] J. J. LaViola, Jr., D. A. Feliz, D. F. Keefe, and R. C. Ze-
Esse fato acarretou uma diminuição na precisão do dispo- leznik. Hands-free multi-scale navigation in virtual environ-
sitivo, pois pequenos deslocamentos intencionais poderiam ments. In I3D ’01: Proceedings of the 2001 symposium on
não ser considerados. Interactive 3D graphics, pages 9–15, New York, NY, USA,
Com relação à fadiga de uso, não foi possı́vel medir seu 2001. ACM.
efeito, pois o tempo total de uso do Fingertrax por sessão [11] L. S. Machado. Interação em realidade virtual e reali-
foi pequeno (2 minutos). dade aumentada, volume 1 of Livros de minicursos do Bra-
zilian Symposium on Virtual and Augmented Reality 2010
(SVR2010), chapter 2 – Dispositivos Não-Convencionais
7. Considerações Finais para Interação e Imersão em Realidade Virtual e Aumen-
tada, pages 23–34. SBC, Canal6 editora, May 2010.
[12] M. R. Mine, F. P. Brooks, Jr., and C. H. Sequin. Mo-
A interface de navegação Fingertrax atingiu os objetivos
ving objects in space: exploiting proprioception in virtual-
iniciais de ser capaz de adaptar-se ao modelo de computa-
environment interaction. In SIGGRAPH ’97: Proceedings
dor pessoal vigente e possuir um mecanismo de funciona- of the 24th annual conference on Computer graphics and
mento bastante simples. Contudo, ele apresentou um de- interactive techniques, pages 19–26, New York, NY, USA,
sempenho inferior ao mouse e teclado nos testes compara- 1997. ACM Press/Addison-Wesley Publishing Co.
tivos. Isso se deve não apenas ao treinamento dos usuários, [13] M. Sayers, S. Wilson, and J. McNeill. Navigational tools
mas a questões relativas a implementação do sistema, como for desktop virtual environment interfaces. Virtual Reality,
o tratamento de pequenos movimentos. 8(1):131–139, 2004.
Tendo em vista que grande parte dos problemas encon- [14] M. Usoh, K. Arthur, M. C. Whitton, R. Bastos, A. Steed,
trados na utilização do Fingertrax deve-se à baixa precisão M. Slater, F. P. Brooks, and Jr. Walking, walking-in-place,
flying, in virtual environments. In Proceedings of SIG-
do algoritmo de visão computacional utilizado, futuramente
GRAPH 99, pages 359–364, 1999.
devemos avaliar outros algoritmos de visão computacional.
O objetivo é aprimorar o rastreamento sem aumentar signi-
ficativamente o tempo de processamento.

89
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Melhorando o desempenho do rastreamento de pontos de interesse em


imagens através do paralelismo em GPU

Crystian Wendel M. Leão¹, João Marcelo X. N. Teixeira¹, Eduardo S. Albuquerque²,


Veronica Teichrieb¹, Judith Kelner¹

¹Centro de Informática ²Instituto de Informática


Universidade Federal de Pernambuco Universidade Federal de Goiás
{cwml, jmxnt, vt, jk}@cin.ufpe.br eduardo@inf.ufg.br

Resumo dos rastreadores existentes não oferece desempenho


satisfatório por apresentarem implementações
O rastreamento de pontos de interesse é uma etapa sequenciais e pouco otimizadas em CPU. Para
fundamental de muitos algoritmos de Visão solucionar esse problema crítico de desempenho,
Computacional. Neste trabalho é proposta uma outras plataformas passaram a ser utilizadas como
adaptação do Ferns, um conhecido rastreador de ambiente de execução desses algoritmos. Uma delas é
pontos de interesse em imagens, de forma a aproveitar a Graphics Processing Unit (GPU), que pode ser
a capacidade de processamento paralelo fornecida utilizada de maneira genérica, com programação
pelas GPUs atuais. Foi realizada uma análise em todo semelhante à linguagem C, através da arquitetura de
o código fonte original da implementação do CUDA (Compute Unified Device Architecture) [1].
algoritmo de forma a identificar regiões críticas e Muitos algoritmos já foram implementados pela
quais delas eram passíveis de paralelização. Em comunidade nessa plataforma, e obtiveram ganhos
seguida, implementou-se a fase de rastreamento de satisfatórios com a abordagem paralela, o que validou e
pontos de interesse em GPU e os resultados obtidos sedimentou a utilização da GPU como alternativa de
foram comparados com os valores de referência em plataforma de execução. Em [2], uma versão paralela
CPU. As vantagens da nova versão são enumeradas e do rastreador Kanade-Lucas-Tomasi (KLT) é proposta
justificam sua utilização, sempre que houver uma GPU e com ela é possível rastrear até 512 pontos chave
com suporte à CUDA disponível. simultaneamente em tempo real. Em [3], foi criada
uma versão paralela do Scale Invariant Feature
Transform (SIFT) e, para imagens com resolução de
1. Introdução 640x480, é possível conseguir um desempenho de 27,1
A capacidade de reconhecer pontos de interesse quadros por segundo ao se utilizar uma placa de vídeo
em imagens geradas a partir de diferentes pontos de NVIDIA GeForce 8800 GTX. Em [4], um rastreador
vista representa o foco de muitos algoritmos de Visão bayesiano através de filtro de partículas foi
Computacional. A área de pesquisa em Realidade implementado e obteve um ganho de desempenho de
Aumentada (RA) se utiliza de vários desses algoritmos 20 vezes, quando comparado à implementação original
com o objetivo de sobrepor informações virtuais no em CPU. Por fim, em [5], um filtro de partículas é
ambiente real do usuário [1]. Especificamente em utilizado para rastrear faces, e é capaz de detectar até 6
aplicações de RA sem marcadores, onde a carga delas a uma taxa de 28 quadros por segundo, usando
computacional é mais intensa, quando comparado à uma resolução de 1024x768 pixels.
RA com marcadores, é de importância fundamental a Visto que há uma tendência de melhoria de
utilização de algoritmos capazes de identificar de desempenho através da utilização de algoritmos
forma correta regiões de textura na vizinhança de paralelos, o objetivo deste trabalho é modificar um
pontos chave das imagens capturadas. Além disso, conhecido rastreador de pontos de interesse em
outro requisito bastante importante nesse caso é o imagens, o Ferns [6], para que seja possível executá-lo
desempenho em tempo real. O usuário deve receber em paralelo na GPU. O escopo deste artigo se limita à
retorno instantâneo da aplicação, e a grande maioria implementação da fase de rastreamento do algoritmo e
os resultados obtidos com a adaptação realizada,

90
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

comparando o desempenho com a versão de referência valor de probabilidade para cada classe, para cada um
em CPU. dos possíveis resultados do conjunto de testes, ou seja,
O restante do artigo está organizado da seguinte valores.
forma: a seção 2 fornece os conceitos básicos Através de uma abordagem bayesiana semi-
necessários ao entendimento do rastreador usando ingênua, é possível agrupar os testes em conjuntos
Ferns. A seção 3 detalha a arquitetura CUDA utilizada pequenos, e assumir independência entre eles. Com
e as vantagens oferecidas pela mesma. A seção 4 lista isto tem-se
como se deram as alterações no algoritmo original e ∏ (4)
quais pontos específicos foram atacados, no que diz onde os N testes foram divididos em grupos
respeito à paralelização. Por fim, as seções 5 e 6 com testes, e representa o resultado obtido
realizam uma análise dos resultados obtidos com a dos testes do K-ésimo Fern. Utilizando esta
versão implementada e apontam possíveis melhorias e abordagem, é necessário armazenar apenas
trabalhos futuros, respectivamente. valores.
Em uma visão geral, o algoritmo pode ser dividido
2. Ferns em duas partes: treinamento e reconhecimento. Na
etapa de treinamento, o objetivo é construir as
A técnica Ferns foi desenvolvida por Vincent distribuições de probabilidade das classes para cada
Lepetit como sucessão à técnica Randomized Trees, e resultado possível de cada Fern. Essa etapa acontece
ambas tratam o problema do casamento de padrões da seguinte maneira: são geradas várias homografias da
como um problema de classificação [6]. Ele prova, em imagem a ser reconhecida, e de cada uma delas são
seu trabalho, que patches (pedaços de uma imagem) extraídos vários pontos chave. Cada um destes pontos
podem ser classificados se utilizando apenas de testes chave, os quais se sabe a qual classe pertencem, pois a
binários aleatórios de luminância entre pixels, homografia foi gerada pelo algoritmo, é utilizado para
agrupados em estruturas chamadas de Ferns, que gerar a distribuição de probabilidade, sendo os pontos
particionam o espaço entre todos os patches possíveis. chave detectados com maior frequência escolhidos
No trabalho, Lepetit trata todas as aparições possíveis como as classes. A Figura 1, disponível em [7], mostra
dos patches como classes, e os Ferns moldam uma um exemplo do treinamento quando se utiliza apenas
distribuição de probabilidade sobre estas classes. Um três Ferns, cada um deles com três testes. A Figura 2,
grupo de testes não consegue ser discriminativo o também disponível em [7], ilustra o resultado do
suficiente, mas utilizando vários grupos de Ferns, é treinamento.
possível obter bons resultados.
Dessa forma, dado um patch qualquer, o algoritmo
tenta encontrar a classe correspondente a este patch.
Considere todas as classes, e
os resultados dos testes em cada um dos
testes binários. Formalmente, procura-se por
̂ , (1)
onde C é uma variável aleatória que representa a
classe. De acordo com a fórmula de Bayes, pode-se
deduzir que
Figura 1. Cada cor representa uma classe. A
. (2) figura mostra um patch, conhecidamente da
Assumindo uma distribuição uniforme para e classe vermelha, passando por cada Fern. Ao
dado que o denominador representa um fator de escala, final, a probabilidade de um patch da classe
que independe da classe em questão, pode-se entender vermelha passar pelo primeiro Fern e retornar
o problema como a solução de 5 como resultado é incrementada, e assim
sucessivamente.
̂ (3)
A fórmula anterior pode ser interpretada da
seguinte maneira: para cada classe, obtém-se a
probabilidade de dado um patch pertencente a mesma,
os resultados dos testes serem iguais aos observados, e
seleciona-se a maior destas probabilidades. O problema
desta abordagem é a necessidade de armazenar um

91
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

uma vez que milhares de threads podem ser executadas


paralelamente na GPU. Este trabalho faz uso da versão
1.1 de CUDA, uma vez que ela dá suporte a operações
atômicas, artifício utilizado durante o desenvolvimento
da versão paralela do algoritmo. Qualquer versão
superior a esta também será suportada.

4. Implementação
A metodologia de desenvolvimento adotada nesse
projeto consistiu em inicialmente realizar uma análise
de desempenho sobre o código de referência utilizado
[8]. O código está escrito em C++ e utilizou-se o
Figura 2. Ao final do treinamento teremos as
Microsoft Visual Studio 2008 para compilá-lo. Através
distribuições de probabilidade montadas. da busca por possíveis “gargalos” na execução do
Na fase de reconhecimento, basta passar o patch algoritmo original, verificou-se que aproximadamente
em questão por cada Fern, e somar as distribuições de 99% do tempo é gasto em três etapas: construção da
cada Fern, para cada uma das classes. Finalmente, a pirâmide gaussiana (17,04%), extração de pontos
distribuição com maior valor é escolhida. A Figura 3 chave (11,78%) e classificação dos mesmos utilizando
ilustra este processo. Ferns (70,30%). Uma análise posterior constatou que
todas essas três etapas apresentavam características
favoráveis à paralelização (sequência bem definida de
operações, poucos desvios no fluxo de dados,
independência entre os dados processados etc.). Sendo
assim, este trabalho focou na implementação e
otimização dessas três etapas em GPU.

4.1. Construção da pirâmide gaussiana

A etapa de construção da pirâmide gaussiana tem


como objetivo preparar a imagem para a extração de
pontos chave. Inicialmente, dada uma imagem de
entrada, cria-se uma borda em volta da mesma, apenas
replicando os pixels da primeira e última linha, e da
Figura 3. Para análise, temos que passar o primeira e última coluna. Em seguida, cria-se uma
patch por todos os Ferns, e somar as nova imagem a partir da suavização gaussiana da
distribuições associadas com cada resultado mesma, com kernel de tamanho 7x7. Essas duas
de cada Fern, e ao final apenas escolher a imagens compõem o primeiro nível da pirâmide. Para
classe com maior probabilidade. criar o 2º nível, realiza-se uma sub-amostragem na
imagem não suavizada através da aplicação de uma
suavização gaussiana, com kernel de tamanho 5x5, e
3. CUDA descartando, após isto, todas as linhas e colunas pares,
CUDA é uma arquitetura de computação paralela obtendo assim uma imagem com metade da largura e
de propósito geral da NVIDIA, lançada em novembro altura da anterior. Com esta imagem menor, aplica-se a
de 2006, que permite que GPUs da NVIDIA (aquelas a mesma suavização com o kernel 7x7 do passo anterior.
partir da série 8) sejam utilizadas para resolver Ao final da etapa tem-se 2 imagens, onde
problemas computacionais variados. representa o nível máximo da pirâmide criada.
CUDA permite que linguagens de alto nível, como A geração da pirâmide gaussiana em GPU toma
C, sejam utilizadas para programação em GPU, de como ponto de partida a imagem com a borda
maneira simples. Para uma aplicação qualquer ter construída em CPU (o tempo gasto com essa
vantagem na sua implementação em CUDA, ela deve construção é inferior a 1% do tempo total). Além disso,
necessariamente ser paralelizável. Quanto maior o grau o algoritmo de convolução em paralelo utilizado é
de paralelismo da aplicação, melhor será a ocupação e aquele disponibilizado no SDK de CUDA, com
o consequente aproveitamento do hardware gráfico, modificações mínimas. O kernel trabalha com imagens

92
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

cujos valores de largura e altura sejam múltiplos de 48 valores representa a probabilidade do patch analisado
para ser executado. Para tornar o tamanho da imagem pertencer a uma das classes. Após passar por todos os
de entrada genérico, adiciona-se uma segunda borda à Ferns, somam-se as probabilidades associadas com os
imagem, de cor preta, de forma que a imagem se resultados, para no final se ter uma única distribuição
adeque às restrições do algoritmo. A sub-amostragem com valores, onde é o número de classes. Por
implementada em GPU utiliza a mesma convolução do fim, seleciona-se a maior destas probabilidades, e a
passo anterior, porém com kernel de tamanho 5x5. classe associada a ela é a escolhida.
Essa etapa foi paralelizada como um todo, sendo a
4.2. Extração de pontos chave análise de cada patch executada em uma thread
diferente.
A etapa de extração de pontos chave da imagem Durante a inicialização, as distribuições de
tem por objetivo selecionar os patches mais prováveis probabilidade previamente calculadas na fase de
de pertencerem à imagem a ser rastreada, para treinamento são copiadas para a memória da GPU,
posterior utilização na etapa de classificação com assim como os endereços dos pixels dos testes de cada
Ferns. A implementação de referência faz uso do Fern. Os valores dos endereços dos pixels dos testes,
YAPE (Yet Another Point Detector), um extrator de que estão armazenados como deslocamento em X e
pontos chave convencional [9]. deslocamento em Y, são transformados em um valor de
Para cada imagem suavizada nos diferentes níveis deslocamento absoluto dentro da imagem, de acordo
de pirâmide em GPU, calcula-se a sua laplaciana. A com a largura da mesma, para uma otimização nos
partir de comparações e cálculos considerando a 8- testes.
vizinhança de cada pixel, determina-se se o mesmo Na etapa de classificação existe bastante demanda
será considerado um ponto chave. por leitura de memória global para obtenção dos
Para cada ponto selecionado, armazena-se um valores das probabilidades. Por essa razão, utilizou-se
score que representa o quão forte o ponto chave é em memória de textura, para um melhor desempenho, já
relação aos demais. Esta etapa de extração de pontos que a mesma é acessada em blocos de dados e é
chave é completamente realizada em GPU, e o acelerada por uma cache auxiliar.
processo é paralelizado como um todo, ou seja, cada Após a classificação, os pontos são copiados de
pixel é testado se é um ponto chave em uma thread volta para a memória da CPU, e o algoritmo no host
separada, e à medida que novos pontos são executa o restante das operações.
encontrados, eles são salvos em um vetor. Através de
operações atômicas, esses pontos são salvos 5. Resultados
sequencialmente na memória da GPU.
Após a extração dos pontos, eles são ordenados de Todos os testes realizados foram executados em
acordo com o score, com a ajuda de um algoritmo de uma máquina com as seguintes configurações: Core 2
ordenação em GPU pertencente ao SDK de CUDA, Quad Q9400, 2,66 GHz, com 4 GB de RAM, Windows
mais especificamente o Radix Sort. 7 Professional 64 bits, e uma placa de vídeo NVIDIA
GeForce 9800 GX2.
4.3. Classificação dos pontos chave utilizando A entrada do algoritmo, em todos os testes,
Ferns correspondeu a um vídeo que acompanha a distribuição
do código de referência do Ferns [8], no qual uma
A etapa de classificação nos Ferns é a mais pessoa expõe para a câmera, em variadas poses, um
custosa do processo, e tem por objetivo classificar um mousepad com uma imagem de um gato, como mostra
patch da imagem em uma das classes obtidas na etapa a Figura 4. Todos os tempos de execução medidos se
de treinamento. referem ao tempo médio quando o algoritmo é
Conforme explicado anteriormente, armazena-se executado com essa entrada específica, e analisa todos
valores de distribuições de probabilidade, os seus frames. A resolução deste vídeo é de 720x480
onde é a quantidade de classes, é a quantidade de pixels.
testes por Fern e é a quantidade de Ferns, e
pares de endereços de pixels, que representam os testes
binários de cada Fern. Cada ponto chave obtido é
passado por cada Fern, executando assim testes,
e de acordo com o resultado obtido nos testes, obtém-
se valores de distribuições de probabilidade. O
processo é repetido para cada Fern. Cada um destes

93
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 5. O tempo relativo de cada uma das


Figura 4. Quatro quadros do vídeo usado nos etapas no algoritmo original, em CPU, e na
testes, disponível em [8]. versão adaptada para GPU.
Os autores consideraram os resultados iniciais
obtidos com esse trabalho satisfatórios tanto com Tempos de execução
relação ao tempo de execução, pois houve uma redução
considerável, quanto à classificação dos pontos chave 70 63,6
em si, pois os resultados foram absolutamente iguais 60
àqueles do algoritmo original. Vale salientar que este
50
trabalho se encontra em sua primeira fase de
otimização. 40 GPU
Na primeira etapa, construção da pirâmide 30
15,33 16,27
gaussiana da imagem, obteve-se um tempo médio de 20 13,48
10,12 CPU
6,59
6,59 ms, contra 13,48 ms em CPU. Apesar do 10
algoritmo de convolução paralela ser bastante eficiente 0
em relação a sua versão em CPU, o fato de se utilizar 1ª Etapa 2ª Etapa 3ª Etapa
imagens pequenas nos últimos níveis da pirâmide,
acarreta em tempos similares entre CPU e GPU. 1ª Etapa 2ª Etapa 3ª Etapa
Na segunda etapa, extração de pontos chave, Speedup 104,55% 51,48% 290,90%
obteve-se um tempo médio de 10,12 ms, contra 15,33 Figura 6. Na parte superior, o tempo de
ms em CPU. Esta etapa também é bastante custosa por execução em milissegundos de cada uma das
acessar bastante memória global da GPU, assim como etapas em CPU e em GPU. Na parte inferior, o
por utilizar operações atômicas, que degradam ganho percentual de velocidade em cada uma
consideravelmente o desempenho da GPU. das etapas.
Na terceira e última etapa, classificação dos pontos
chave utilizando Ferns, implementada em CUDA, 6. Conclusões e trabalhos futuros
obteve-se um tempo médio de 16,27 ms, contra 63,60
ms em CPU, com uma média de 921 pontos chave Este trabalho propôs uma implementação paralela
analisados por quadro. do Ferns, um rastreador de pontos de interesse bastante
Comparando o tempo de execução como um todo, utilizado em aplicações de RA e Visão Computacional.
a taxa de quadros média do algoritmo em CPU, que era Através da análise realizada por meio de testes
de aproximadamente 9,8, foi melhorada para 21,16, o envolvendo a implementação de referência, verificou-
que representa uma melhora considerável no tempo de se que a versão implementada pelos autores apresentou
resposta para o usuário do sistema de RA. as seguintes vantagens:
A Figura 5 ilustra a fatia de tempo relativa de cada
uma das etapas do algoritmo em CPU e em GPU. A
 Aumento de desempenho – ganho de 290% na
Figura 6 mostra a melhoria conseguida em cada uma
etapa de classificação e ganho de até 115% no
das etapas, comparando os resultados em GPU com os
tempo total em comparação à versão original
tempos em CPU.
em CPU;
 Redução da carga de processamento da CPU –
o host fica livre para processar as informações
da aplicação, usando o rastreador

94
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

implementado em GPU apenas como uma Workshops, 2008, pp. 1-7.


biblioteca;
 Economia de memória da CPU – as [3] SiftGPU: A GPU Implementation of Scale Invariant
distribuições de probabilidade são agora Feature Transform (SIFT).
armazenadas na memória da GPU http://www.cs.unc.edu/~ccwu/siftgpu/, 2010.
(aproximadamente 280 MB), o que acelera o
acesso e diminui a utilização de memória no [4] Geoffrey Ulman, "Bayesian Particle Filter Tracking with
host. CUDA," George Mason University, 2010.

Pretende-se, como trabalhos futuros, implementar [5] Oscar Mateo Lozano and Kazuhiro Otsuka, "Real-time
o algoritmo por completo em GPU, ambas as fases de Visual Tracker by Stream Processing," Journal of Signal
treinamento e rastreamento. Além das novas partes a Processing Systems, vol. 57, no. 2, 2009, pp. 285-295.
serem implementadas, existem muitas otimizações que
podem ser feitas, envolvendo a não utilização de [6] Mustafa Özuysal, Michael Calonder, Vincent Lepetit, and
operações atômicas, melhor utilização dos kernels Pascal Fua, "Fast Keypoint Recognition using Random
Ferns”, TPAMI 32(3), IEEE Computer Society, Washington,
disponíveis, e aplicação da memória de textura sempre
2010, pp. 448-461.
que possível. Além disso, pretende-se implementar
suporte à plataformas multi-GPU e utilizar o conceito
[7] A Semi-Naive Bayesian Classifier for Fast Patch
de threads persistentes, de forma a balancear melhor a Classification.
carga de processamento entre as diferentes threads na http://cvlab.epfl.ch/alumni/oezuysal/ferns.html, 2010.
placa de vídeo. Outro trabalho futuro, que seria uma
contribuição para este trabalho é a implementação do [8] Ferns: Planar Object Detection Demo.
algoritmo para CPU Multi-core, e realizar uma http://cvlab.epfl.ch/software/ferns/index.php, 2010.
comparação de desempenho com a versão em GPU.
[9] Vincent Lepetit and Pascal Fua, "Towards Recognizing
7. Referências Feature Points using Classification Trees," Swiss Federal
Institute of Technology, Lausanne, Switzerland, 2004.
[1] T. Farias et al., "High Performance Computing: CUDA as
a Supporting Technology for Next Generation Augmented [10] R. Azuma et al., "Recent advances in augmented
Reality Applications," in Livro dos Minicursos do SVR 2008. reality," Computer Graphics and Applications, IEEE, vol. 21,
Recife: Gráfica e Copiadora Naciona, 2008, pp. 91-116. no. 6, Nov. 2001, pp. 34 -47.

[2] C. Zach, D. Gallup, and J.-M. Frahm, "Fast gain-adaptive


KLT tracking on the GPU," IEEE Computer Society
Conference on Computer Vision and Pattern Recognition

95
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Metodologia de geração de dados de


referência para rastreamentos ópticos

Lucas Teixeira, Manuel Loiaza, Alberto Raposo, Marcelo Gattass


Tecgraf, Departamento de Informática, Pontifícia Universidade Católica do Rio de Janeiro
{lucas,manuel,abraposo,mgattass}@tecgraf.puc-rio.br

Resumo padrões em formato de xadrez, os quais possuem


formatos que permitem a sua identificação de uma
Neste trabalho apresentamos uma metodologia forma rápida e com altas taxas de acerto em uma área
para geração de dados de referência para algoritmos de rastreamento. Porém, esses tipos de marcações e
de rastreamento óptico. Nós definimos um tipo de padrões não possuem pontos de referência suficientes
marcador especial para tal tarefa, propomos duas para mensurar a qualidade de um rastreador projetado
maneiras de fazer a medição da posição 3D dos para funcionar em ambientes extensos. Por este
marcadores e apresentamos um algoritmo para motivo, muitas vezes, é preciso espalhar no ambiente
localizar os marcadores na imagem semi- um número grande destes padrões para poder manter
automaticamente. Nós resultados apresentamos uma um rastreamento preciso dentro do cenário.
comparação entre as duas maneiras de realizar a Nossa proposta para mensurar a qualidade do
medição dos pontos 3D no cenário real e um caso de rastreamento é desenvolver um método composto por
uso usando um marcador ARToolKitPlus. duas etapas. Uma primeira etapa consiste em medir
alguns pontos manualmente na área de rastreamento,
1. Introdução usando para isto uma estação total, equipamento muito
utilizado na engenharia civil para medir com precisão a
Na área de realidade virtual e aumentada uma posição 3D de pontos específicos num cenário real. A
ferramenta fundamental tem sido os sistemas de segunda etapa consiste em capturar o mesmo ponto no
rastreamento óptico. Este tipo de sistema tem o espaço para o qual fizemos a medição com a estação
objetivo de processar, identificar e rastrear total e, usando os sistemas de rastreamento óptico,
constantemente um conjunto de características, reprojetar a posição 3D do ponto na imagem da câmera
naturais ou artificiais, encontradas dentro de um usando os parâmetros de calibração fornecidos pelo
cenário específico. É justamente baseado nessas sistema de rastreamento. O erro que desejamos medir
características que a correspondência e o mapeamento para usar como base de comparação é a distância em
3D da posição de diversos objetos no cenário são pixels do ponto correto medido visualmente na
realizados. Esse mapeamento e a sua precisão são as imagem com o ponto reprojetado pelo sistema de
chaves mestras para poder adicionar os elementos rastreamento. Esse erro pode ser usado como uma
virtuais no cenário real com maior qualidade visual e métrica para mensurar a qualidade de um sistema de
coerência espacial. O resultado esperado é que esses rastreamento óptico.
objetos virtuais sejam confundidos com os reais, No entanto, esta técnica apresenta o problema de ter
enquanto o usuário navega pelo cenário e o vê através que realizar de forma manual a marcação dos pontos
das imagens capturadas e posteriormente processadas de referência na imagem para depois compará-los com
de uma câmera de vídeo. os pontos projetados pela calibração da câmera
No entanto, garantir a corretude de um sistema de fornecida pelo sistema de rastreamento. Supondo que
rastreamento óptico é bastante difícil, principalmente um vídeo de teste com duração de 10 segundos tenha
quando a área de rastreamento é muito longa. sido capturado a uma taxa de 30 frames por segundo,
Pensando nisso alguns métodos baseados em padrões se existirem 10 pontos visíveis na imagem seria
fiduciais têm sido propostos. Como exemplo deste tipo necessário marcar cerca de 3000 pontos manualmente.
de método podemos citar a reconhecida biblioteca de Além do trabalho de marcação, a possibilidade de uma
realidade aumentada “ARToolkit” ou clássicos marcação errada é diretamente proporcional ao número

96
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

de pontos a serem marcados. Por esse motivo, na avaliar qualquer tipo de rastreamento de câmera, pois a
metodologia proposta neste trabalho, também é cena ou os tipos de marcadores filmados não cobrem
implementada uma técnica para detectar pontos na todos os tipos de rastreamento, mesmo porque
cena de forma semi-automática. Para isso propomos constantemente estão surgindo novas técnicas para
um novo tipo de marcador e um algoritmo capaz de modelar tanto padrões [3] como algoritmos de visão
acompanhá-lo durante a navegação na cena. Após o computacional criados para detectar esses novos
marcador ter sido detectado uma primeira vez em um padrões [4].
quadro específico, o algoritmo proposto o rastreará Recentemente, Zimmerman et al [6] apresentaram
durante os próximos quadros nos quais ele esteja um banco de dados com três seqüências de imagens e
presente, só precisando ser reiniciado quando ele sair e seus correspondentes movimentos de câmera. Todos os
voltar ao campo de visão da câmera que o esteja dados gerados foram feitos de forma manual pelos
rastreando. autores usando alguns marcadores em forma de cruz.
Este artigo está organizado da seguinte forma. A Esses marcadores foram colados em torno de texturas
seção 2 apresenta trabalhos relacionados. A seção 3 ou em objetos da cena que foram marcados
descreve o método proposto. A seção 4 apresenta os manualmente na imagem. Essas seqüências têm cerca
resultados. A seção 5 apresenta algumas conclusões. de 12000 imagens no total. Essa estratégia é a mesma
utilizada na nova metodologia proposta. A diferença é
2. Trabalhos Relacionados que nós fornecemos uma forma de marcar os pontos de
referência na imagem de forma rápida e com a
A verificação de um sistema de rastreamento óptico possibilidade de erro na identificação reduzida. Essa
é normalmente realizada de forma muito limitada. Para redução é decorrente do fato do usuário marcar os
isso é necessário uma outra forma de medir a posição pontos em apenas poucos quadros.
da câmera ao longo do tempo. Atualmente, as únicas
formas de se fazer isso é usar um sistema mecânico
como o da FARO mostrado na figura 1 ou usando um
sistema óptico como o da VICON mostrado na figura
2, que garantem erro de medição de décimos de
milímetro a uma distância maior de 50cm entre a
câmera e os pontos medidos. Usar marcadores tipo
ARToolKit é inviável pela sua limitada precisão e por
ocuparem uma área muito grande da cena.
Ambos os sistemas são precisos, mas têm áreas de
utilização muito pequenas. O braço extensível da
FARO tem um alcance de 1.8 a 3.7 metros dependendo
do modelo e o sistema VICON tem uma área útil ,em
alta precisão, de cerca de 0.5 a 2 metros quadrados.
Outra forma mais genérica para verificar se um
algoritmo de rastreamento está correto é usar uma base Figura 1: Sistema mecânico de geração de dados de
de dados onde à posição da câmera tenha sido referência da FARO. Fonte: [1]
previamente calculada. Lieberknecht et al [1]
apresentam uma base de dados com a posição da
câmera já calculada mecanicamente. No entanto, esta
3. Ambiente de teste
base de dados só serve para algoritmos de rastreamento
Nessa sessão será descrito como montar o ambiente
baseados em texturas, pois suas imagens são passeios
de teste utilizado neste artigo. Os requisitos para nosso
de câmera olhando para uma textura planar.
método de teste são: um tipo especial de marcador,
Outra base de dados muito utilizada é a Middlebury
iluminação ambiente sem mudanças bruscas e
[2]. Além de usar imagens sintéticas, eles conseguiram
suficientemente constante, que permita encontrar
criar pontos de referência bastante densos usando uma
nossos marcadores na imagem com alto grau de
textura fluorescente escondida atrás dos objetos da
corretude. Além disso, é preciso medir a posição dos
cena. Esse mesmo grupo fez uma segunda base de
marcadores no ambiente. Então será descrito um
dados para reconstrução baseada em imagens estéreis
método de medição simples e um outro método de alta
usando um scanner a laser. No entanto, todas as formas
precisão. Posteriormente será explicado como
de base de dados conhecidas nunca são suficientes para
organizar o processo de testes.

97
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

nível. No entanto tem uma imprecisão maior e não é


aplicável a cenas em que os marcadores não sejam co-
planares. A segunda é altamente precisa e mais geral,
usando um equipamento de topografia que mede
pontos 3D. Em compensação esse segundo método é
caro por usar um equipamento especializado e de
difícil acesso.

Figura 2: Sistema óptico da VICON para geração de


dados de referência. Fonte: VICON

3.1. Marcadores

Nossos marcadores são esferas de isopor brancas


coladas em um pedaço de cartolina preta, como
mostrado na figura 3.
O centro da esfera branca é o nosso ponto de
referência, dessa forma é possível calcular esse ponto Figura 3: Marcadores utilizados para esse trabalho.
de qualquer posição e perspectiva da câmera em que a
esfera possa ser visualizada. O contraste entre a cor do
marcador branco e a base de cartolina preta ajuda a
reconhecer e ressaltar quadro a quadro os nossos
marcadores dentro da cena, sendo facilmente
distinguidos na imagem. A captura do centro da esfera
como ponto de referência se baseia na seguinte
característica: a esfera vista na imagem a partir de
qualquer perspectiva vira um círculo cujo centro é
sempre um ponto que se somado ao raio da esfera
resulta no centro da esfera.
O pedaço de cartolina preta que é colado na esfera
também permite uma segmentação mais correta da
esfera, pois na maioria dos ambientes as paredes ou os
móveis são de cor clara podendo atrapalhar o
reconhecimento de nossos marcadores.
Os tamanhos da esfera e da cartolina dependem da
distância em que a câmera está dos marcadores. De
Figura 4: Modo de medição simples dos marcadores
forma geral, espera-se que a esfera cubra pelo menos
simples, à esquerda e a estação total à direita.
4x4 pixels na imagem e que a cartolina preta seja
suficiente para olhar a esfera lateralmente e ainda
3.2.1 Método Simples
assim formar uma borda preta ao redor da esfera.
O método simples usa equipamentos de marcenaria
3.2. Medição dos marcadores e construção. Uma régua de 1 metro, uma trena, um
nível e fita crepe, como mostrado na figura 4. Com
A medição dos marcadores em geral é uma tarefa esses instrumentos é possível espalhar marcadores ao
muito sensível a erro. Abaixo vamos descrever duas longo de paredes consecutivas e ter uma precisão
formas de medição. A primeira é simples e barata de se razoável na medição dos marcadores.
fazer, pois usa equipamentos comuns como réguas e

98
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

O método se baseia em colocar o eixo Y do sistema rastreamento em análise quanto pelo nosso algoritmo
de coordenada paralelo ao eixo gravitacional para de acompanhamento de marcadores. O quarto passo é
possibilitar encontrar o eixo X usando o nível. Então testar se o algoritmo de rastreamento funciona nesse
começamos marcando um ponto na parede que será a vídeo gravado, se as esferas têm um tamanho de pelo
origem do sistema de coordenada. Em seguida, menos 4x4 pixels na imagem e se há um mínimo de
marcamos pontos na mesma altura(Y) que a origem do esferas por quadro do vídeo, caso algum desses testes
sistema de meio em meio metro em X usando a régua e falhe volte para o segundo passo.
o nível. Depois unimos esses pontos com fita crepe. O sexto passo é usar o aplicativo que implementa o
Essa fita será o eixo X. Usando a régua e o nível, nosso algoritmo de acompanhamento de marcadores
medimos a distância do marcador até a fita, que é a para marcar os pontos de entrada e saída. Esses pontos
coordenada Y do marcador. Por fim medimos com a serão mais bem explicados na próxima sessão. Com
trena a distância do ponto de intercessão da régua com esses pontos e o vídeo, o algoritmo é capaz de gerar
a fita até o ponto de origem, essa distância é a uma lista de marcadores para cada quadro do vídeo
coordenada X do marcador. contendo a posição na imagem de cada um dos
Para continuar a medição em paredes consecutivas, marcadores visíveis. O sétimo passo é fazer a medição
elas precisam ser perpendiculares, assim é só trocar a da posição 3D dos marcadores. Essa é, sem dúvida, a
coordenada X por Z. ou vice-versa, dependendo de tarefa mais demorada de se fazer, então só deve ser
qual coordenada estava variando na parede anterior. realizada quando todas as outras tiverem ocorrido com
sucesso e não seja necessária nenhuma modificação na
3.2.2 Método de Alta Precisão posição dos marcadores.

O método de alta precisão usa um equipamento 4. Algoritmo de Acompanhamento dos


chamado estação total (figura 4). Esse instrumento foi Marcadores
desenvolvido para área de topografia. Ele pode ser
considerado um avanço do teodolito digital. O O algoritmo de acompanhamento dos marcadores é
teodolito digital é um equipamento que é capaz de o responsável por descobrir a posição do marcador no
medir a rotação no eixo gravitacional e no eixo frame corrente a partir da posição do marcador no
perpendicular a ele. A estação total é esse mesmo frame anterior. O algoritmo proposto usa um algoritmo
equipamento somado a um medidor de distâncias a de fluxo óptico para fazer isso. Além disso, usamos
laser. Com essas duas rotações e a distância até o ponto uma estratégia para segmentar os marcadores e extrair
de interesse ele é capaz de calcular a coordenada 3D de o centro do círculo que representa a esfera na imagem.
um ponto num sistema de coordenada previamente
informado.
4.1 Visão Geral
Para fazer a medição basta apontar o equipamento
para o centro da esfera que ele informará a posição 3D
Será descrito, primeiramente, o processo geral do
do ponto. Subtraindo essa posição da posição da
algoritmo e depois daremos detalhes sobre cada um
estação total, que também é fornecida pelo
dos sub-algoritmos.
equipamento, temos o vetor de intersecção na esfera.
Para o nosso algoritmo, a primeira etapa é o usuário
Então para encontrar o centro da esfera basta adicionar
marcar no vídeo os pontos de entrada e saída dos
o valor do raio da esfera na direção desse vetor.
marcadores. Um ponto de entrada é a posição em que
um marcador está no quadro corrente. É necessário
3.3. Processo de teste marcar um ponto de entrada toda vez que no quadro
anterior o marcador em questão não esteja visível. Um
O processo de teste é um resumo do passo a passo ponto de entrada é composto pela coordenada X e Y
para usar nossa metodologia de testes. Os passos não do marcador no quadro K e pelo ID do marcador
precisam ser executados exatamente na ordem que são (Ptsentrada(K)={X,Y,K,ID}). Já um ponto de saída é o
descritos. No entanto, a ordem que propomos é mais quadro em que um marcador desapareceu, sendo que
eficiente segundo nossos casos de teste. no quadro anterior ele estava presente
O primeiro passo é montar a cena de teste e (Ptssaída(K)={K,ID}).
verificar se o algoritmo de rastreamento em análise Todavia, é muito difícil marcar todos os pontos de
funciona nessa cena. O segundo passo é escolher o entrada e saída do vídeo olhando imagem por imagem.
tamanho das esferas para os marcadores e posicioná- Então para isso o processo de marcação interage com o
los na cena de teste. O terceiro passo é gravar o vídeo processo de acompanhamento dos marcadores, que
de teste que será usado tanto pelo algoritmo de

99
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

será explicado abaixo. Basicamente, o usuário marca bastante inferior. Nós usamos o fluxo óptico fornecido
os pontos de entrada no quadro 1 e aciona o pelo OpenCV, que implementa uma versão piramidal
acompanhador dos marcadores que vai atualizando a do rastreador de pontos Lucas Kanade[5].
posição dos marcadores ao mesmo tempo em que
avança o vídeo. Quando o usuário chegar a um quadro
em que entrou um novo marcador, ele pára o avanço
do vídeo e marca o ponto na imagem. Em seguida liga
o avanço do vídeo novamente. O mesmo é feito para
os pontos de saída. Quando o usuário chegar ao final
do vídeo todos os pontos de entrada e saída vão estar
marcados. Após esse procedimento basta executar o
acompanhamento do vídeo desde o quadro 1 até o final
salvando a lista de pontos (posições dos marcadores na
imagem) a cada quadro, como mostrado na figura 5.
O processo de acompanhamento inicia com a lista
de pontos vazia no quadro i=1. Então ele entra num
ciclo que o primeiro passo é adicionar os pontos de
entrada que foram marcados no quadro(i). Caso já
exista um ponto para o marcador daquele ID , ele é
substituído. Já os pontos de saída são usados para
eliminar da lista de pontos aqueles com os mesmos
IDs.
Em seguida, cada ponto da lista tem suas
coordenadas corrigidas usando um algoritmo para
encontrar o centro de um círculo. Abaixo este
algoritmo será explicado com mais detalhes.
Após a correção, os pontos são salvos para o Figura 5:processo de acompanhamento
usuário usar como pontos de referência. Se o quadro
atual não for o último, ele calcula o fluxo óptico, que 5. Resultados
informa a posição dos pontos do quadro atual no
próximo quadro. Com essas novas posições os pontos Para validar nossa metodologia vamos
retornam ao início do ciclo. primeiramente comparar o modo de medição simples
com o de alta precisão para analisar a faixa de erro na
4.2 Correção dos Pontos medição no modo simples. Em seguida vamos analisar
o número de marcações que o usuário precisa fazer
A correção dos pontos é feita, primeiramente, para conseguir o rastreamento em uma cena típica. Por
binarizando a imagem. Todos os pixels na imagem em fim vamos fazer um estudo de caso com um marcador
tons de cinza abaixo de um liminar viram pretos e do ARToolKitPlus para analisar o nível de erro de
acima brancos. Depois identificamos na imagem todos reprojeção desse toolkit.
os grupos de pixels unidos com mais de 4 pixels e Nossa implementação do algoritmo de
menos de 100 pixels. Cada grupo recebe o nome de acompanhamento dos pontos foi desenvolvido usando
Blob. Então procuramos o blob mais perto de cada a biblioteca OpenCV. Nossa câmera é uma unibrain
marcador e com no máximo 8 pixels de distância do Fire-I, na resolução de 320x240 a 30fps. Nossa
ponto atual. Caso exista esse blob, calculamos qual o Estação total é uma Sokkia 530RK3 e tem um erro
maior círculo que cabe dentro desse blob e o centro menor que 5 mm.
desse círculo passa a ser o ponto corrigido.
5.1 Diferença entre os modos de medição
4.3 Fluxo Óptico A nossa avaliação sobre os modos de medição foi
feito dispondo 8 marcadores ao longo de uma parede.
Fluxo ótico é uma técnica que calcula para onde Então usamos os dois métodos de medição para
cada pixel da tela se deslocou entre dois quadros do descobrir a posição dos marcadores na parede. Na
vídeo. No nosso caso estamos interessados apenas nos tabela 1 podemos ver os resultados.
pontos da lista. Sendo assim o gasto computacional é Como podemos ver na tabela, o erro médio foi de
2.22 cm. Sendo assim, quando for usar o método

100
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

simples de medição é importante usar distâncias método para gerar dados de referência com relativa
maiores até a parede, onde esse erro não é facilidade.
significativo. Por exemplo, se tivesse um marcador de Como trabalho futuro, seria interessante investigar a
ARToolKit de 5 centímetro próximo a uma esfera possibilidade de detectar os pontos de entrada e de
branca que foi medida com um erro de 2.2 cm. Esse saída automaticamente.
erro seria inaceitável.

id Xs Xp ∆X Ys Yp ∆Y erro
1 38 37.5 0.5 10 10.1 -0.1 0.51
2 14.5 16.5 -2 -6.1 -6.5 0.4 2.04
3 51.4 51.4 0 -40.5 -43.5 3 3.00
4 56 55.7 0.3 45.5 45.4 0.1 0.32
5 64.7 64.6 0.1 -10.5 -13.2 2.7 2.70
6 82 82.4 -0.4 18.3 18.7 -0.4 0.57
7 99.5 99.5 0 -27.5 -29.9 2.4 2.40
8 115.1 112.7 2.4 47 47 0 2.40
média 2.22

Tabela 1 : Valores em cm. O par Xs e Ys são o


ponto medido com o modo de medição simples e o Figura 7: Gráfico de erro de reprojeção médio em
par Xp e Yp no modo de alta precisão. ∆X e ∆Y são cada um dos quadros do vídeo. Os erros que
as variações nas medidas em cada um dos eixos. atingem o topo do gráfico significa que o
Erro é a distancia euclidiana entre os pontos. ARToolKit não conseguiu calibrar a câmera.

5.2 Caso de uso Agradecimentos: à Petrobras que é a principal


Nós usamos um marcador do ARToolKitPlus para financiadora do Tecgraf/PUC-Rio e à Fabiola Maffra
ilustrar o funcionamento da nossa metodologia. Na pela ajuda na montagem do caso de teste e revisão do
figura 6 podemos ver o quadro 336 à esquerda e o artigo
quadro 641 à direita. Na figura 7, o gráfico do erro de
reprojeção para o vídeo de teste. Nesse teste foi 7. Referências
necessário marcar apenas 9 pontos.
[1] S Lieberknecht, S Benhimane, P Meier, N Navab, "A
dataset and evaluation methodology for template-based
tracking algorithms," IEEE / ACM ISMAR 2009
[2]. S. Baker,D. Scharstein, J.P Lewis, S Roth, M.J
Black. , R. Szeliski: “A database and evaluation
methodology for optical flow”. ICCV. 2007
[3]M. Loaiza, A. Raposo and M. Gattass “A Novel
Optical Tracking Algorithm for Point-Based Projective
Figura 6 Vídeo de teste. Os pontos vermelhos são os Invariant Marker Patterns”, ISVC 2007
centros das esferas e os azuis são os pontos 3D [4]L. Teixeira ,M. Loaiza, A. Raposo and M. Gattass
reprojetados. “Augmented Reality Using Projective Invariant
Patterns”, ISVC 2008
[5] J. Bouguet. Pyramidal implementation of the
6. Conclusões e Trabalhos Futuros Lucas-Kanade feature tracker: description of the
algorithm. Technical report, OpenCV Document, Intel
A metodologia se mostrou plenamente capaz de Microprocessor Research Labs, 2000.
fornecer os dados necessários para o teste de [6] K. Zimmerman, J. Matas, and T. Svoboda.
algoritmos de rastreamento de uma forma geral. Os Tracking by an optimalsequence of linear predictors.
marcadores utilizados são minimamente invasivos na PAMI, 31(4):677–692, April 2009.
cena e fornecem ótima precisão, sendo assim uma
opção para aqueles que estiverem procurando um

101
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 5 
 
FATORES HUMANOS 

102
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Estudo Comparativo sobre a Percepção de Pistas Sonoras em Ambientes


Virtuais

Alyson Matheus de Carvalho Souza Selan Rodrigues dos Santos


alysonmatheus@gmail.com selan@dimap.ufrn.br

Departamento de Informática e Matemática Aplicada — DIMAp


Universidade Federal do Rio Grande do Norte — UFRN
Campus Lagoa Nova, 59072-970, Natal/RN, Brasil

Resumo publicados nos anais menos de 10 artigos relacionados


a som [6,7,8,9]. Isso comprova o fato que esta área de
O trabalho apresentado neste artigo tem como pesquisa de RV está sendo pouco explorada aqui no
objetivo estudar os diferentes sistemas de som Brasil.
disponíveis para aplicações de Realidade Virtual. Nesse artigo, utilizamos três diferentes sistemas de
Tentamos explicar as diferenças encontradas entre exibição de som em busca de identificar qual deles
estes sistemas e a partir daí oferecer diretrizes de melhor atende a necessidade de uma aplicação de
como eles devem interagir com a aplicação de RV. Em Realidade Virtual de mesa desenvolvida para testar a
seguida, apresentamos a realização dos experimentos capacidade do usuário de diferenciar sons diversos e
de teste para fones, caixas estéreo e mono. Por último, descobrir sua localização espacial.
explicamos o porquê da eficiência de cada dispositivo, A hipótese primária, H1, a ser testada é a de que,
assim como discutimos o motivo de termos chegado a por se tratar de um sistema de Realidade Virtual de
conclusões sobre qual o melhor método para a tarefa mesa, onde não há movimentação do monitor, o fone
especificada. será a melhor solução para cumprir a tarefa de maneira
eficiente. A hipótese secundária, H2, que investigamos
é que as caixas estéreo apresentam melhor desempenho
1. Introdução que a configuração mono, uma vez que tal sistema
apresenta uma pista auditiva a mais, em relação à
A Realidade Virtual (RV), que busca inserir o renderização em mono.
usuário em um ambiente virtual através de estímulos Para testar as hipóteses levantadas, realizamos
aos sentidos do mesmo, tem evoluído de maneira testes com usuários utilizando o design entre-sujeitos,
rápida e constante quanto à visão. A maioria dos testando os três sistemas de som. Nesse experimento
sistemas de RV se preocupa em enfatizar o sentido da buscamos medir o tempo que era necessário para o
visão, buscando gerar tanto imagens mais realistas e/ou cumprimento das tarefas, assim como a taxa de erro
em estereoscopia, bem como oferecer mecanismos para dos usuários e o caminho que eles percorriam. O
possibilitar a imersão no mundo virtual, através do uso objetivo era encontrar diversos sons vindos de lugares
de head-mounted displays (HMD) ou mesmo CAVEs. diferentes no espaço, no menor tempo possível, com a
Em contrapartida, a renderização sonora tem sido menor taxa de erro que os usuários conseguissem.
pouco explorada nos sistemas de RV tradicionais. Foram feitos testes com usuários de ambos os
Tendo em vista o grande papel que nossa audição tem sexos, numa faixa etária entre 18-27 anos. Os
no nosso senso de localização e presença, faz-se participantes obtiveram um resultado que satisfez a
necessário estudar e desenvolver mecanismos que hipótese primária mas refutou a hipótese secundária. A
possibilitem a integração do estímulo auditivo nas validação dos resultados foi feita através do método
aplicações de RV. O objetivo é provocar uma sensação ANOVA.
de imersão ainda maior, assim como uma maior Este artigo está organizado da seguinte maneira: a
facilidade no cumprimento de tarefas que exigem uma Seção 2 apresenta alguns trabalhos relacionados, a
percepção sonora precisa por parte do usuário da Seção 3 introduz alguns conceitos fundamentais para a
aplicação. compreensão do trabalho e do experimento realizado; a
Ao analisarmos a última edição do WRVA e as Seção 4 descreve os detalhes de implementação,
três últimas do SVR — as duas maiores reuniões da enquanto que a Seção 5 detalha os experimentos
área de RV no Brasil — é possível perceber que foram realizados; a Seção 6 analisa os resultados obtidos e a

103
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

última seção contém nossas considerações finais e Sua única vantagem é ter o menor custo
algumas indicações de trabalhos futuros. computacional. Sua utilização de maneira eficiente
termina ficando restrita a pouquíssimos tipos de
2. Trabalhos Relacionados aplicação. Para um melhor efeito sonoro, deveremos
nos utilizar do som estereofônico.
O trabalho que foi utilizado como base para O som estereofônico, ou estéreo, é uma
escrevermos esse artigo foi o Virtual Audio Systems reprodução de um som usando dois ou mais canais de
[2]. Neste artigo, Kapralos et al. discutem as diferentes áudio independentes, emitidos através de uma
pistas auditivas que podem ser simuladas virtualmente configuração simétrica de alto-falantes de uma maneira
para criarmos efeitos sonoros consideravelmente mais que seja criada a impressão que o som é ouvido de
imersivos para o usuário dos sistemas. Além disso, eles direções variadas, como na audição natural. Ou seja,
descrevem o funcionamento da audição humana e as podemos enganar o cérebro do usuário a perceber
maneiras que temos de simular efeitos que nossa objetos como estando posicionados em qualquer lugar
audição percebe no mundo real. que desejarmos de um plano transverso (horizontal) a
Já em [5], os autores tratam também de como partir do centro da cabeça do usuário. Com isso já
diferentes configurações em relação ao som podem começamos a ter vantagens na elaboração do áudio de
afetar o desempenho de usuários em um sistema de nossa aplicação de RV.
Realidade Virtual. No trabalho, eles procuram utilizar Como já foi dito, um sistema que possua dois ou
diferentes frequências sonoras para guiar um usuário mais canais é considerado um sistema de som estéreo,
através de um caminho em um ambiente virtual. A porém, atualmente, a palavra estéreo costuma ser
idéia se assemelha bastante a tarefa solicitada em nosso utilizada apenas para sistemas que se utilizam de
experimento. Ambos requeriam que o participante apenas dois canais de áudio. A partir de três canais,
identificasse a localização da fonte sonora posicionada passamos a chamar esse sistema de sistema de som
em um ambiente virtual (AV). Porém, no trabalho surround.
deles, todo o experimento foi conduzido utilizando
apenas fones de ouvido e um dispositivo de
rastreamento para a cabeça do usuário. A utilização de
diferentes sistemas sonoros poderia ter alterado o
resultado do experimento, assim como a satisfação dos
participantes em terem realizado o experimento.

3. Conceitos Básicos
Antes de iniciarmos a discussão do trabalho em si,
colocaremos algumas definições necessárias para o
entendimento do mesmo. Primeiramente, discutiremos
quatro tipos de som, dos quais dois serão utilizados no
trabalho. Em seguida, discutiremos a utilização de alto-
falantes ou fones de ouvido.
Figura 1: Configuração de um sistema de som 22.2 a
3.1 Sons Mono, Estéreo, Surround e 3D ser utilizado em um cinema. Como podemos ver, há
três camadas de áudio para gerar o efeito de altura.
O som monaural, ou mono, é o tipo mais básico de No exemplo da foto há também duas torres de falantes
som. Nesse tipo de sistema, só há um canal de áudio. simples, que visam melhorar ainda mais o som. Fonte:
Como a emissão é feita sempre igualmente para todos www.highdefforum.com
os alto-falantes, nosso cérebro é privado de sua
capacidade de utilizar-se de pistas sonoras como a Em sistemas de som surround temos um número
diferença de tempo e intensidade entre a chegada do maior de canais, a fim de obter uma maior fidelidade
som a um ouvido ou ao outro para posicionar uma na reprodução do áudio gravado. Podem ser
fonte de áudio no espaço. encontradas variações partindo do som 3.0, com 3
Sendo assim, não podemos enganá-lo de modo a canais para 3 alto-falantes, até o som 22.2 (Figura 1),
fazê-lo entender o posicionamento de uma fonte virtual que tem 24 canais e o mesmo número de alto-falantes,
em um espaço qualquer do mundo virtual. Por isso, sendo 2 destes subwoofers, responsáveis por emitir
esse tipo de som é o que tem menor efeito imersivo. frequências sonoras mais baixas. Há também a

104
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

possibilidade de utilização de fones de ouvido para o vamos trabalhar com sons emitidos através de fones de
som surround, através da mixagem de canais para que ouvido. Caso a aplicação permita o usuário se
o som seja reproduzido apenas nas duas saídas do fone. movimentar e o movimento da cabeça do usuário não
Em sistemas de som surround mais potentes, como o seja bem rastreado, podemos ter uma infidelidade da
22.2, ou com fones de ouvido, podemos também informação sonora, pois os fones se movimentarão
simular a altura da fonte sonora no ambiente virtual, junto à cabeça do usuário e o som será emitido do
saindo assim de um sistema de coordenadas 2D para mesmo jeito, como se a cabeça dele tivesse na posição
um 3D em relação ao som. Com isso, surge o efeito que estava inicialmente.
sonoro que denominamos som 3D. No caso de alto-falantes, desde os sistemas mais
Um dispositivo de áudio 3D permite ao simples até os mais complexos, podemos utilizá-los em
usuário perceber a posição de uma fonte de áudio, grupo. As pessoas imersas no ambiente poderão se
sendo emitida através de um número fixo de alto- mover a vontade, pois os falantes estão fixos e não irão
falantes ou de um par de fones de ouvido, como vindo interferir na localização do som. O problema na
de uma localização arbitrária em um espaço verdade é onde fixar estes alto-falantes. As calibrações
tridimensional. A tecnologia de som espacializado (ou dos sistemas de som se tornam mais complicadas à
3D) vai muito além das técnicas de som estéreo e medida que eles avançam. Um simples sistema de som
surround, por permitir que uma fonte de áudio tenha 5.1, que tem apenas seis caixas de som, já apresenta
atributos como esquerda - direita, frente - trás, cima – dificuldades na hora de sua montagem.
baixo [1]. Ou seja, para o áudio tridimensional, nós Além da dificuldade de calibração, o preço de
podemos definir exatamente de que local no espaço sistemas mais potentes é bastante elevado. A gama de
estará vindo o som simulado pela aplicação, incluindo frequências sonoras que podem ser atingidas com os
se está vindo de cima ou de baixo, da frente ou de trás alto-falantes é sem dúvida bem maior que as que se
do usuário, criando assim um nível de realismo consegue com fones de ouvido, pois as caixas podem
extremamente alto. variar de tamanho e profundidade. Outro problema que
em alguns casos pode ser grave no caso dos alto-
3.2 Alto-falantes x Fones de Ouvido falantes é o não isolamento do usuário em relação ao
ambiente. Com isso, o áudio fica sujeito a ruídos e a
A escolha da utilização de alto-falantes ou fones de barulhos exteriores, o que pode fazer com que o
ouvido também tem uma grande importância na hora usuário termine perdendo um pouco da experiência real
de definirmos a aplicação que estaremos trabalhando. que o dispositivo que está utilizando o áudio propõe.
Cada um tem diferentes capacidades, vantagens e
desvantagens. Isso é o que será discutido nesta seção. 4. Metodologia
Não importando o tipo de fone utilizado, teremos
um isolamento dos ouvidos em relação a sons externos, Nesta seção descrevemos o desenvolvimento do
o que favorece muito a imersão do usuário no ambiente programa utilizado para fazer os testes, assim como o
virtual. Além disso, não é necessário se preocupar formato que foi adotado para os experimentos de
muito com calibração, pois basta atentarmos para qual validação da hipótese. Por fim, falaremos sobre a
é o lado esquerdo e o direito do fone. Também é uma realização do experimento.
vantagem do fone o preço. Bons fones de ouvido
podem ser adquiridos por um valor bem menor do que
um sistema de alto-falantes surround. 4.1 Desenvolvimento do sistema
Porém, há também as desvantagens. Os fones de
ouvido devem ser vestidos, o que os torna um O objetivo principal do trabalho apresentado neste
dispositivo intrusivo. Também, a utilização prolongada artigo é o de comparar sistemas de som distintos em
de fones de ouvido ou o volume excessivamente alto relação à eficiência de cada um deles. Para atingir este
dos mesmos pode trazer malefícios à saúde. Outro objetivo, desenvolvemos um sistema de Realidade
problema é que fones de ouvido funcionam apenas Virtual de Mesa onde usuários seriam capazes de testar
para um usuário. Caso mais de um usuário queira se os diferentes sistemas de som em uma configuração de
beneficiar da aplicação, teríamos grandes problemas igualdade para todos e assim, a partir dos dados
para emitir o som corretamente para todos. Além disso, colhidos destes experimentos, seríamos capazes de
a comunicação interpessoal fica prejudicada, pois o chegar a alguma conclusão sobre estes sistemas de
isolamento já citado de sons externos faz com que o som.
usuário não escute o que os outros dizem. O programa de teste foi desenvolvido usando a
Por fim, o problema mais grave surge quando versão gratuita do Unity [4], que oferece várias
funcionalidades tanto em relação à parte visual quanto

105
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

em relação a áudio. O Unity foi escolhido para o dois canais de áudio, formando apenas um que foi
experimento por ser um programa de fácil utilização, o emitido em uma caixa em frente ao usuário. Além
que diminuiu consideravelmente o tempo de desse sistema, utilizamos um par de caixas de som para
aprendizado dele em relação a ferramentas mais emitir o som estéreo. O terceiro método utilizado foi o
adequadas e complexas, como OpenAL ou Fmod. fone de ouvido estéreo.
Um cenário quadrangular, somente com chão e
paredes, foi desenvolvido no Blender, assim como um 4.2 Design do experimento
cubo, que serviu como modelo para os emissores de
som no cenário. Além desses objetos, utilizamos o O formato experimental escolhido para esse
First Person Controller (FPS), oferecido pelo Unity. trabalho foi o intra-sujeitos. Esse formato foi escolhido
Esse Prefab, como o nome indica, é um controlador primeiramente para podermos aproveitar melhor o
em primeira pessoa, que o usuário, através de WASD + número pequeno de pessoas que tínhamos disponíveis
Mouse, move no cenário. O FPS também é o para testes. Também, por se tratar de uma análise
responsável por ser o Audio Listener da cena. Ou seja, subjetiva, que pode variar de maneira significativa de
ele que capta os sons emitidos e reproduz na saída de pessoa para pessoa, utilizar esse design experimental
áudio. O FPS foi posicionado no centro do cenário e as nos dava uma maior segurança em relação à variância
quatro caixas foram posicionadas de maneira de erro associada a capacidades individuais.
equidistante na frente, atrás e dos lados do controlador. Para diminuir ao máximo o chamado carryover
Cada uma dessas caixas era uma Audio Source. (capacidade do usuário de levar a experiência adquirida
Quando o usuário movia o controlador, o áudio era em um teste para o próximo), a ordem a qual os
captado de maneira diferente e assim reproduzido de participantes faziam os experimentos foi variada, de
maneira diferente nos alto-falantes. Isso dava ao maneira que, no final, tivéssemos o mesmo número de
usuário as pistas sonoras que eram necessárias para pessoas executando cada combinação. Também é
identificar cada uma das caixas. Toda a parte lógica da importante dizer que, obedecendo a um dos princípios
aplicação foi feita utilizando scripts do Unity, ou novos do formato experimental utilizado, os cenários foram
scripts, desenvolvidos em C#, uma das linguagens criados de maneira a serem diferentes entre si, porém,
aceitas pelo Unity. com igual dificuldade.
As faixas sonoras utilizadas no experimento são de Antes de começar o experimento, os usuários leram
nossa autoria. e assinaram termos de consentimento, concordando em
participar do teste e também liberando a utilização de
seus resultados para essa pesquisa. Em seguida, os
usuários responderam um questionário de experiência
prévia, para termos maior controle sobre como tratar os
resultados de cada usuário. Depois disso, eles foram
submetidos ao experimento de verdade.
Para começar o experimento, os usuários
primeiramente fizeram um treinamento auditivo para
reconhecer cada instrumento que faria parte da música
tocada no experimento real. Depois que se julgaram
capazes de identificar cada um dos instrumentos, eles
passaram a um cenário de teste onde havia apenas duas
Figura 2: Screenshot do programa de testes. Na caixas para serem marcadas, sem som algum.
imagem, o cubo verde representa um instrumento que O objetivo dessa parte era familiarizar os usuários
o usuário já marcou. A sinalização na parte inferior com o controle WASD e também com a marcação de
indica em vermelho qual instrumento deve ser caixas. O WASD é um sistema clássico de controle de
encontrado e as caixas embaixo mostram quais câmera em primeira pessoa, popularizado na década de
instrumentos já foram pedidos e então marcados pelo 90 em jogos como Wolfstein 3D e DOOM. Neste
usuário. sistema de controle as teclas W e S movimentam a
câmera, respectivamente, pra frente e para trás. As
Um problema encontrado no desenvolvimento da teclas A e D realizam deslocamentos laterais de câmera
renderização sonora foi que o Unity só é capaz de e o mouse controla a orientação da câmera. Para
reproduzir som estéreo. Com isso, não conseguimos marcar uma caixa, o usuário deveria se aproximar dele
uma maneira justa de reproduzir o som em sistemas de e então clicar com o botão esquerdo do mouse. Uma
som mais complexos, como o Surround 5.1. A emissão vez marcada, a caixa ficava em uma cor diferente,
de som mono ainda foi possível graças à mixagem de

106
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

mostrando que ela já tinha sido selecionada. O mantidas, trocando-se apenas a ordem em que os
instrumento o qual a caixa controlava continuava a instrumentos eram pedidos e a posição deles no espaço.
tocar normalmente. Quando o usuário se considerava Uma vez concluída essa tarefa, partíamos para a parte
pronto, ele mesmo dava início ao experimento real. final do experimento.
Na parte final do experimento o participante
preenchia um formulário subjetivo relatando sua
experiência com o sistema. Nesse formulário foram
colhidas sugestões, críticas e também o mais
importante: a estratégia usada pelo usuário para a
localização dos sons no ambiente virtual. Com essas
informações, junto às obtidas no primeiro formulário, a
interpretação dos dados seria sem dúvida mais
coerente.

4.3 Realização do experimento


Figura 3: Screenshots do treinamento. Na parte Os experimentos foram realizados em dois dias, em
superior, duas imagens da parte do treinamento onde uma sala fechada, com condicionador de ar e luz
os usuários aprendiam a reconhecer cada instrumento. artificial, de modo a manter as condições ambientais
O som do instrumento tocava e o nome aparecia na para os experimentos sempre iguais.
tela, em vermelho. Nas figuras de baixo, o treinamento O computador utilizado para os experimentos foi
de marcação das caixas. um Notebook com placa de áudio Realtek, com suporte
a Virtual Surround Sound, processador AMD Turion™
Como já foi dito, o usuário começava no centro de X2 RM-72 de 64 bits, com 2.1GHz em cada núcleo,
um quadrado que tinha as quatro caixas como vértices. placa de vídeo ATI Radeon™ HD 3200 e 4 GB de
Cada caixa emitia o som de um instrumento que fazia memória RAM, rodando o Windows 7 Ultimate X64.
parte da música. Uma caixa de texto ficava no centro Essa configuração permitiu o experimento rodar com
inferior da tela, indicando qual instrumento o usuário uma taxa mínima de 200 frames por segundo, sendo
deveria encontrar. Uma vez que ele encontrasse o uma qualidade mais que satisfatória para o
instrumento requisitado (a marcação poderia ser experimento.
correta ou não), o instrumento requisitado era alterado. Os testes foram feitos com 24 voluntários, sendo 19
Após marcar a última caixa, a aplicação era homens e 5 mulheres, com idades entre 18-27 anos.
finalizada e um log individual era salvo. O arquivo de Todos os usuários que participaram do experimento
log gerado continha o nome do participante, o tempo possuíam experiência prévia com utilização de teclado
que ele levou para concluir a tarefa, qual caixa ele e mouse, sendo 67% deles jogadores assíduos de jogos
marcou como qual e o caminho percorrido pelo usuário de computador, todos eles fãs de músicas e 25% deles,
dentro da aplicação. O caminho salvo no log foi instrumentistas.
construído através da captura da posição do usuário no
plano, em intervalos de meio segundo.
Após concluir o primeiro experimento, o sistema de
5. Análise dos Resultados
som era trocado (como foi dito, respeitando uma ordem
definida de modo a igualar o número de usuários de Os resultados obtidos foram analisados através de
cada uma das permutações) e então o usuário era uma ANOVA Fator Único, comparando o tempo que
submetido ao segundo programa de teste. O segundo foi levado pelos participantes para concluir cada tarefa.
programa funciona da mesma maneira que o primeiro, A ANOVA gerou um p = 0,049 e um F = 3,15,
porém, sem a fase de treinamento, visto que o usuário sendo 3,12 o F crítico. Com esses dados, podemos
já utilizou o sistema no primeiro teste. Nesse segundo afirmar que houve de fato uma variância entre os
teste, a ordem que os instrumentos eram pedidos foi resultados obtidos e que não foi apenas uma variação
diferente, assim como o posicionamento de cada som aleatória, mesmo que os dados tenham ficado tão
no ambiente. A configuração do experimento manteve- próximos do limite
se a mesma. Em relação ao tempo, 46% dos participantes
Com a conclusão do segundo teste, o sistema de obtiveram o melhor resultado com o fone, 37% com a
som era novamente trocado, dessa vez para o que caixa mono e os 17% restantes, com o sistema estéreo.
faltava e então o usuário começava um terceiro teste. Isso deu uma vantagem ao fone em relação ao tempo
Novamente, as configurações do experimento foram médio. O tempo médio do fone foi de 66,31 segundos,

107
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

enquanto o mono, que ficou em segundo lugar teve onde vinha o som.
uma média de 80,51 e o sistema estéreo 88,09. Baseado nisso, concluímos que, para um
experimento como esse, não traria tantas vantagens ao
desenvolvedor buscar caixas de som. O fone faria tudo
que lhe é necessário e deixaria o usuário mais
satisfeito.

7. Trabalhos Futuros

Na área de trabalhos futuros, desejamos trabalhar


com diferentes sistemas de som e uma plataforma mais
adequada, como OpenAL. Já que o experimento
mostrou que é possível fazer testes deste tipo, nos
interessamos agora por trabalhar com sistemas de som
Figura 4: Média e desvio padrão obtidos nos mais avançados, utilizando Surrounds 5.1 e 7.1que já
diferentes sistemas de áudio. estão no mercado a preços acessíveis.
Também seria interessante começar a trabalhar com
A taxa de erro também foi medida, porém, a som 3D. Aprofundar os estudos nessa área pode trazer
variação foi mínima. Para o fone, a taxa de erro média contribuições para a comunidade.
foi de 20%. Para as caixas estéreo, 19%. Para a caixa Por fim, seria interessante estender nossos estudos
mono, 22%. para outros tipos de objetivo, diferentes de localizar
fontes sonoras.
6. Conclusões
8. Referências
Os resultados que foram obtidos no experimento
realizado comprovaram a hipótese de que o fone seria a [1] Cohen, M., & Wenzel, E. (1995). The design of
melhor opção para esse experimento. Por se tratar de multidimensional sound interfaces. In W. Barfield & T.
Furness (Eds.), Virtual Environments and Advanced
uma aplicação de Realidade Virtual de mesa, onde não
Interface Design (pp.291–346). New York: Oxford
há a movimentação da tela, o fone não teria uma de University Press.
suas grandes desvantagens citada na Seção 3.2, que é a
perda de orientação. Sem esse problema, o fone é uma [2] B. Kapralos, M. R. Jenkin, E. Millos, Virtual Audio
alternativa bastante interessante em relação às caixas Systems, Presence, Vol. 17, No. 6, December 2008, 527–549.
de som, pois nele fica mais fácil distinguir de qual
direção o som está vindo. [3] Gatehouse, R. W. (Ed.) (1982). Localization of Sound:
Já a segunda hipótese levantada não foi Theory and Applications. Groton, CT: Amphora Press.
comprovada. O sistema mono terminou vencendo o
[4] www.unity3d.com, acessado em 27/08/2010.
sistema estéreo. Imaginamos que isso aconteceu pois,
segundo o questionário aplicado após o teste, a [5] Walker, B. N., & Lindsay, J. (2006). Navigation
estratégia preferida pelos usuários quando se utilizando performance with a virtual auditory display: Effects of
das caixas de som foi a de se aproximar de cada caixa e beacon sound, capture radius, and practice. Human Factors,
perceber qual instrumento ficava mais forte (ou mais 48(2), 265-278.
alto) em cada uma delas. Assim, não era necessário
perceber de que lado vinha cada som, só importando o [6] http://sites.unisanta.br/wrva/st.asp#st1, acessado em
volume. Assim, o sistema estéreo perdia a grande 18/10/10.
vantagem em relação ao mono. Outra coisa que foi a
favor do sistema mono foi que, graças ao [7] Proceedings of the X Symposium on Virtual and
Augmented Reality - SVR2008; Vol.: 1
conhecimento dos usuários que não seria possível
identificarem de que lado viria o som, os usuários [8] Proceedings of the XI Symposium on Virtual and
partiam diretamente em direção as caixas que emitiam Augmented Reality - SVR2009; Vol.: 1
os instrumentos. Com isso, a movimentação dos
usuários no sistema mono foi bem mais “ativa” que no [9] Proceedings of the XII Symposium on Virtual and
estéreo, o que pode ter ajudado a diminuir o tempo, já Augmented Reality - SVR2010; Vol.: 1
que menos tempo era gasto parado, tentando ouvir de

108
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Conceitos de Presença
F. Y. Obana, R. Tori
Escola Politécnica da Universidade de São Paulo
obana@unemat.br, romero.tori@poli.usp.br

Resumo Muito pesquisadores têm tentado definir um


conceito claro de presença, porém como o conceito é
Vários estudos sobre presença têm sido realizados multidisciplinar, diferentes áreas utilizam diferentes
em vários campos de pesquisa como engenharia, palavras para se referir ao mesmo conceito
ciência da computação, psicologia, ciência cognitiva, (telepresença, presença social, autopresença, presença
comunicação, filosofia, telecomunicação e mediada e presença virtual).
teleoperação. Este interesse se deve ao fato de que um Este artigo faz uma revisão dos conceitos de
elevado senso de presença é considerado essencial presença encontrados na literatura e sugere que todos
para a eficiência de psicoterapias, para a performance estes conceitos podem se resumir a dois, presença e
em treinamentos simulados (realidade virtual) e para presença social.
uma grande variedade de outras aplicações em
ambientes virtuais, principalmente de realidade virtual 2. Conceitos de presença
e realidade aumentada. Apesar do interesse dos
pesquisadores em pesquisas sobre presença ainda não O termo telepresença foi utilizado pela primeira vez
existe um conceito bem definido e amplamente aceito por Minsky, em 1980, [1] para se referir à tecnologia
sobre o que é presença. Este artigo faz uma revisão de teleoperação que proporcionava aos usuários uma
dos conceitos de presença e as características que a “presença remota” em um local diferente por meio de
definem e sugere que todos estes conceitos e palavras sistemas de realimentação que permitem ao usuário
diferentes podem se resumir a duas nomenclaturas “ver e sentir o que está acontecendo” lá.
(presença e presença social) e suas respectivas O termo presença teve sua origem do termo
definições. telepresença, a passou a ser utilizado a partir de 1992,
após a edição do jornal Presence: Teleoperators &
1. Introdução Virtual Environments, publicado pelo Massachusetts
Institute of Technology (MIT)[2].
Estudos sobre presença têm sido realizados em Um dos artigos mais citados nas literaturas
vários campos de pesquisa como engenharia, ciência encontradas é o de Lombard; Ditton, At the heart of it
computação, psicologia, ciência cognitiva, all: The concept of presence [3], neste artigo os autores
comunicação, filosofia, telecomunicação e estabelecem seis conceituações diferentes, mas inter-
teleoperação. Este interesse se deve ao fato de que um relacionadas de presença.
elevado senso de presença é considerado essencial para • Presença como riqueza social;
a eficiência de psicoterapias, para a performance em • Presença como realismo;
treinamentos simulados (realidade virtual) e para uma • Presença como transporte;
grande variedade de outras aplicações em ambientes • Presença como imersão;
virtuais, principalmente de realidade virtual e realidade • Presença como o ator social dentro do meio;
aumentada. • Presença do meio como ator social;
De forma semelhante, várias pesquisas têm sido Lombard e Ditton [3] definem formalmente que
realizadas tendo como tema a presença social tentando Presença é “a percepção ilusória de não mediado”, ou
compreender o que ela é e como aumentar o senso de seja, o usuário não percebe ou reconhece um meio
estar com outras pessoas em ambientes de realidade durante sua comunicação e se comporta como se o
virtual e realidade aumentada. A presença social é de meio não existisse. De acordo com os autores esta
interesse de todas as aplicações que envolvam algum definição abrange todas as seis conceituações citadas.
tipo de interação social, para colaboração com usuários Porém, a presença nesta visão, não pode acontecer a
humanos remotos, para ensaios virtuais de menos que uma pessoa esteja usando um meio.
representação e para praticar a fala em público com Para Loomis [4], a presença pode ser descrita como
uma audiência virtual. um estado de consciência: a percepção da sensação de

109
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

algum estímulo distante, ou de um modo geral, de social e autopresença. Lee ainda define que “presença é
algum ambiente. um estado psicológico no qual objetos virtuais (quase
Garau [5] em sua tese de doutorado trabalha com autênticos ou autênticos) são sentidos como objetos
três conceitos de presença: presença, presença social e reais de forma sensorial ou não sensorial” e concluí seu
copresença, e define que presença é a sensação de artigo definindo três subtipos de presença:
“estar lá” (imersão), presença social como “estar junto” • presença física – quando se atua sobre objetos
e copresença como “estar junto em um ambiente com mediação da tecnologia ou quando os
compartilhado”. objetos são criados artificialmente pela
Esta relação está ilustrada na figura 1, de acordo tecnologia
com a ilustração a copresença aparece em meios • presença social – quando se atua com atores
tecnológicos onde existem simultaneamente presença e sociais com mediação da tecnologia ou quando
presença social. atores sociais são criados artificialmente pela
Presença Copresença Presença Social tecnologia
• auto presença – quanto a própria percepção é
mediada pela tecnologia ou criada
Mundo Real E-mail artificialmente pela tecnologia.
Face a Face A “Teoria da Presença Social” elaborada por Short
Realidade Virtual Multi-user
et al. (1976) apud Santos (2008) [11], concentra a
Ambiente Virtual Dungeon
investigação na forma como os meios conseguem com
Entretenimento Compartilhado Telefone
local sucesso dar aos usuários a sensação de proximidade e
pintura
Videoconferência
Chat
intimidade que normalmente é sentida na presença
física.
cinema Videofone
Riva (2009) [12] sugere que a presença é um estado
TV Carta
psicológico que tem a função de controlar, através da
separação inconsciente, as ações e interações sociais
Figura 1 – Classificação de presença física, copresença e presença internas e externas, próprias e de outros.
social [6]. Os termos em negrito foram adicionados por [7] Rizzo (1998) [13] discute a relação entre nível de
presença e as necessidades médicas de pacientes que
Schroeder [8] definiu presença como “estar em um sofrem de algum tipo de fobia e concluí afirmando que
lugar diferente do que você está fisicamente”, e esta este tipo de informação é muito importante no projeto e
situação pode acontecer mesmo sem a utilização de um desenvolvimento de ambientes de realidade virtual
meio tecnológico, por exemplo, podemos nos imaginar para o tratamento da saúde mental de pacientes com
passeando em uma praia paradisíaca quando de fato este tipo de distúrbio psicológico.
estamos trabalhando em um escritório. Rothbaum et al. [14] e Garcia-Palacios et al. [15]
Nowak e Biocca [9] definem: obtiveram sucesso no tratamento de fobias utilizando
• presença como a medição da sensação que uma ambientes de realidade virtual, de acordo com os
pessoa tem de estar dentro de um ambiente autores parte desse sucesso se deve ao fato de que os
virtual, a sensação de “estar lá”; pacientes se sujeitam mais ao tratamento em ambientes
• copresença como a sensação de conexão entre de realidade virtual do que em ambientes reais.
duas pessoas;
• presença social como a habilidade do meio em 3. Análise
conectar pessoas.
Minsk [1], Lombard e Ditton [3], Garau [5], Nowak
Lee [10] descreve que muitos pesquisadores têm e Biocca[9] e Lee [10] definem presença como a
tentado definir um conceito claro de presença, mas que sensação de “estar lá” em um ambiente virtual, desta
apesar destes estudos três conceitos sobre presença forma associando a presença com a utilização de
permanecem sem solução. A primeira é que diferentes tecnologia, isto de deve ao fato destes autores estarem
escolas utilizam diferentes palavras para se referir ao considerando a definição de Lombard e Ditton [3] que
mesmo conceito (telepresença, presença mediada e definiu presença como “a percepção ilusória de não
presença virtual). A segunda é que existe pouca teoria mediado” e entenderam que a mediação só pode
sobre o que é experiência virtual e como ela é diferente acontecer com a utilização de tecnologia.
de outros tipos de experiências com humanos. A Já Riva [12] define presença como um estado
terceira é que como resultado da pobre explicação psicológico e como tal pode acontecer com ou sem a
sobre experiência virtual a literatura existente tem utilização de tecnologia.
pouca coerência quando tenta definir presença física,

110
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Considerando que tudo o que sentimos e A autopresença pode ser classificada como um caso
percebemos é captado pelo sistema sensorial humano, particular de presença social, onde a outra pessoa ou
formado por cinco sentidos: visão, olfato, paladar, entidade é o próprio usuário.
audição e tato que nos fornecem informações do Este trabalho propõe que sejam utilizados,
mundo através do meio ambiente, têm se então que independentemente do uso ou não de tecnologia,
mesmo as interações naturais são mediadas. Por somente os conceitos de presença e presença social,
exemplo, só enxergamos porque temos como meio a definindo-os como:
luz, só ouvimos porque temos como meio o ar. Sendo Presença - a sensação que uma pessoa tem de estar
assim também pode-se considerar a existência de em um lugar real ou virtual. Pode-se considerar que
presença tendo como meio de comunicação o ambiente estar fisicamente e psicologicamente em um lugar do
natural, sem a utilização da tecnologia. mundo real proporciona a maior percepção de presença
Minsk [1], Lee [10], Santos [11] e Lombard e possível.
Ditton [3] deixam claro que a presença só existe com Presença social - a sensação que uma pessoa tem de
mediação tecnológica, já para Loomis [4], Garau [5], estar com outra pessoa ou entidade em um ambiente
Schroeder [8], e Riva [12] a presença é um estado real ou virtual. O maior nível de presença social pode
psicológico que ocorre independentemente da ser obtido entre pessoas que se encontram fisicamente
utilização de tecnologia. e psicologicamente no mesmo lugar do mundo real.
As definições de presença de Nowak e Biocca [9], e Com estas definições tem-se então que os maiores
Lee [10] fazem uma mistura entre características valores de presença podem ser encontrados no mundo
internas e externas (do meio) do usuário e execução de real e conforme a mediação faz uso de recursos
uma ação com objetos ou entidades criados tecnológicos têm-se então menores níveis de presença
tecnologicamente. ou presença social. Fato esse verificado nas
Com todas as definições de presença, descritas experiências realizadas por Rothbaum et al. [14] e
anteriormente, sugere-se então que a presença seja Garcia-Palacios et al. [15], onde os pacientes
considerada como um estado psicológico que ocorre aceitavam fazer o tratamento em ambientes de
independente da utilização de tecnologia e da execução Realidade Virtual por sentirem menos a imersão ou a
de ações entre objetos ou entidades tecnológicas ou presença de outras entidades do que se estivessem em
reais. Fica claro, no entanto, que características um ambiente real.
externas como verissimilhança do ambiente virtual e Espera-se que com essas duas definições possam
tempo de resposta do meio melhoram a percepção de ser realizadas pesquisas sobre presença que
presença. possibilitem a comparação de resultados, dificultada
hoje pelas várias definições de presença.
4. Considerações finais
5. Referências
Apesar de várias pesquisas, sobre presença, estarem [1] M. Minsky, “TELEPRESENCE,” OMNI magazine,
sendo realizadas ainda existem muitas definições sobre Jun-1980.
presença sendo utilizadas, algumas possuem descrições [2] Y. R. Araujo, Telepresença: interação e interfaces.
diferentes e um mesmo significado e algumas Editora da PUC-SP, 2005.
[3] M. Lombard e T. Ditton, “At the heart of it all: The
descrições e significados diferentes. concept of presence,” Journal of computer-mediated
Os termos mais encontrados na literatura foram communication, vol. 3, n. 2, p. 20, 1997.
presença, presença física, presença social, copresença e [4] J. M. Loomis, “Distal attribution and presence,”
auto presença. Presence: Teleoper. Virtual Environ., vol. 1, n. 1, pp.
Pelas definições encontradas presença e presença 113-119, 1992.
física tem a mesma definição, a sensação de estar em [5] M. Garau, “The impact of avatar fidelity on social
um lugar real ou virtual e podem ser chamados interaction in virtual environments,” University
somente de Presença. College London, 2003.
Presença social é a sensação que uma pessoa tem [6] W. A. Ijsselsteijn, J. Freeman, e H. De Ridder,
“Presence: Where are we?,” Cyberpsychology &
de estar com outra pessoa ou entidade em um ambiente
Behavior, vol. 4, n. 2, pp. 179–182, 2001.
real ou virtual. [7] C. Heeter, “Reflections on real presence by a virtual
Copresença é definido como a sensação de estar person,” Presence: Teleoperators & Virtual
junto com outra pessoa em um ambiente Environments, vol. 12, n. 4, pp. 335–345, 2003.
compartilhado, ou seja, é um ambiente onde se percebe [8] R. Schroeder, “Copresence and interaction in virtual
a presença e a presença social. Fato que se percebe, por environments: An overview of the range of issues,” in
exemplo, em uma sala de aula. Presence 2002: Fifth International Workshop, pp.
274–295, 2002.

111
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

[9] K. Nowak e F. Biocca, “The effect of the agency and


virtual image of virtual humans on users’ sense of
presence, copresence, and social presence,” 2003.
[10] K. M. Lee, “Presence, explicated,” Communication
Theory, vol. 14, n. 1, pp. 27–50, 2004.
[11] M. L. Santos e others, “A proximidade mediada: um
estudo experimental em ambientes de aprendizagem
online,” 2008.
[12] G. Riva, “Is presence a technology issue? Some
insights from cognitive sciences,” The Guildway, Old
Portsmouth Road, Artington, Guildford, GU3 1LP,
United Kingdom, pp. 159-169, 2009.
[13] A. A. Rizzo, M. D. Wiederhold, e J. G. Buckwalter,
“Basic issues in the use of virtual environments for
mental health applications,” Studies in health
technology and informatics, pp. 21–42, 1998.
[14] B. O. Rothbaum, L. Hodges, S. Smith, J. H. Lee, e L.
Price, “A controlled study of virtual reality exposure
therapy for the fear of flying,” Journal of consulting
and Clinical Psychology, vol. 68, n. 6, pp. 1020–1026,
2000.
[15] A. Garcia-Palacios, H. G. Hoffman, S. Kwong See, A.
Tsai, e C. Botella, “Redefining therapeutic success
with virtual reality exposure therapy,”
CyberPsychology & Behavior, vol. 4, n. 3, pp. 341–
348, 2001.

112
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Realidade Aumentada e Publicidade: Até onde pode ir essa relação?

Antonio N. Lutfi, Alberto B. Raposo


Departamento de Informática, PUC-Rio
antonio.lutfi@gmail.com, abraposo@inf.puc-rio.br

Resumo A RA está hoje no meio dessa transição. A indústria


da informática e seus subconjuntos a utilizam com mais
Este artigo apresenta uma análise do uso atual de desenvoltura e as áreas mais leigas tecnologicamente a
Realidade Aumentada (RA) em ações publicitárias, utilizam de maneiras mais limitadas. Essas limitações
seus defeitos, qualidades e pontos a serem derivam justamente do vão academia-mercado e
melhorados; usando teóricos da publicidade como tendem a serem reduzidas com a minimização deste
base para avaliação. Toma a relação entre as duas vão.
áreas como exemplo específico de comunicação entre O objetivo desse artigo é explorar como o mundo
Pesquisa acadêmica e Mercado. está deixando se aproveitar da RA de ponta em
aplicações em tempo real; o quanto o estado da arte em
Abstract pesquisa está à frente do estado da arte mercadológico
e como o segundo pode se aproximar mais do primeiro
This paper presents an analysis of the current com o aumento de comunicação entre eles.
Augmented Reality applications in Advertising, its Especificamente, essa análise será realizada numa área
flaws, qualities and points to be improved; using que vem se destacando pela aplicação de RA e que é
advertising theorists as base for the evaluation. It takes notória por seu uso de meios de comunicação variados:
the relationship between the two fields as an example a publicidade.
of communication between the Academic Research A publicidade tem como principal objetivo
field and Market. persuadir seu alvo a ter um comportamento compatível
com a intenção de quem a aplica. Ou seja, convencer a
comprar. Esses objetivos, bem como outros conceitos
fundamentais da área, serão explicados mais
1. Introdução detalhadamente na seção seguinte. Mais a frente, serão
estudadas as vantagens e desvantagens que o uso da
Para toda tecnologia nova, existe um vão entre a RA traz ao cumprimento desses objetivos.
área de pesquisa acadêmica e o mercado. As aplicações
desenvolvidas hoje seguem uma linha de criação em
um modelo voltado ao produto: o desenvolvedor tem
2. Conceitos e Objetivos da Publicidade
uma ideia que ele julga interessante e aplicável ao
público e a executa, como um inventor clássico. Esse Para se entender publicidade, é preciso entender o
método está muito mais próximo da área de pesquisa conceito de propaganda. “Propaganda é definida como
do que da mercadológica. Sabe-se que, de acordo com forma propositada e sistemática de persuasão que visa
a visão atual do Marketing, o desenvolvimento de um influenciar (...) públicos-alvo através da transmissão
produto deve vir depois de uma segmentação de controlada de informação parcial (que pode ou não ser
mercado e de uma seleção de um nicho. A oferta é feita factual)” [1]. O termo publicidade é usado,
depois da identificação da demanda, e não o contrário. comumente, em referência a propaganda com fins
Tal inversão é inevitável a qualquer novidade comerciais.
acadêmica, é parte da fase que evidencia tal novidade Quando se fala em produto, não se está fazendo
ao mundo. Uma vez que ela é conhecida, pessoas com referência somente a algo tangível, mas também a
visão superior de mercado a modificam e a serviços.
aperfeiçoam para a venda e o uso. A publicidade conta com a atenção, a memorização
e a persuasão como meios de atingir seu publico alvo.

113
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Os dois primeiros fixam o produto anunciado na exibição em público, muitas vezes próximo do local de
memória do público alvo e o terceiro o convence a aquisição do produto anunciado.
adquirir tal produto. Uma peça publicitária deve Um bom exemplo de ação offline é o aplicativo
utilizar-se dos três de maneira ótima. desenvolvido pela Lego, usando um marcador impresso
Uma peça publicitária é um elemento que tem como nas caixas de seus produtos para mostrar um modelo
objetivo tal persuasão. Pode ser um comercial de TV, animado do brinquedo já depois de montado4. Essa
um outdoor ou, em relevância ao assunto estudado, campanha faz ótimo uso dos três recursos publicitários
uma aplicação em RA. – atenção, memorização e persuasão – pois o
Uma campanha publicitária é um conjunto de peças comprador, mesmo que não previamente interessado no
publicitárias que anunciam o mesmo produto, ou produto, tem o impulso de testar a aplicação e pode ser
conjunto de produtos. Um outdoor e um comercial de persuadido a comprar ao ver o modelo montado em sua
TV, ambos tratando de um novo refrigerante, são um frente.
exemplo de campanha. As ações online, por sua vez, são ações que
Uma ação publicitária é um modo genérico de se dependem de uma conexão com a internet e
referir a uma peça ou campanha. equipamento de captura de vídeo próprios do alvo da
Um cliente ou anunciante é quem deseja utilizar a publicidade (como webcam ou celular com câmera).
publicidade para vender um produto. Geralmente uma Apesar da maioria das ações online usarem
empresa. marcadores apenas como estabelecedores de posição
Uma agência de publicidade (agência) é uma para os objetos ou animações desenhadas, já existem
empresa contratada por um cliente para montar as diversas aplicações publicitárias que permitem ao
peças e/ou campanhas. usuário interagir com a parte virtual e algumas que até
O alvo é a quem o produto, e por consequência a usam o movimento do próprio marcador como
publicidade, se destina: é o consumidor. dispositivo de entrada.
Como exemplo de ação nessa linha, a Citroën
3. Publicidade e RA lançou uma ação para promover o carro DS3 onde
usuários usam um marcador como volante em um jogo
3.1. Estado da Arte onde se dirige uma versão virtual do carro5. A Adidas
também lançou uma ação similar6, com uma curiosa
Um dos primeiros exemplos de publicidade com RA diferença. O marcador que serve como dispositivo
foi um modelo 3D de um carro, o Scion XD, controlador do jogo é o próprio tênis, ou seja, a ação
apresentado em uma feira de automóveis nos EUA1. A não tem nenhum efeito persuasivo, já que para acessá-
peça publicitária era uma simples aplicação com um la o produto já tem que ter sido adquirido.
marcador que representava o carro anunciado e uma A campanha “We are Autobots”7 faz uso de
câmera colocada a uma distância suficiente para que o algoritmos de reconhecimento facial para desenhar
carro coubesse na tela em tamanho real e pessoas capacetes de personagens mecânicos da franquia
pudessem interagir com ele. As empresas automotivas cinematográfica Transformers sem utilizar marcadores.
logo seguiram o exemplo. O Nissan Cube2 contava com
um catálogo de customizações visualizáveis em 3D 3.2. Tendências
através de marcadores; e a Volvo fez um modelo 3D de
um iate de corrida também visualizável com um A tendência da RA ,de um modo geral, é deixar de
marcador3. usar marcadores e convergir juntamente com outras
Depois disso ficou comum o uso de RA em tecnologias a aplicativos mais completos, com destaque
publicidade e, até recentemente, as campanhas e peças para dispositivos móveis. Em publicidade isso não será
que se utilizaram dela não passavam muito além de exceção, será o próximo passo. Um aplicativo desse
aplicações simples com marcadores. tipo já existe: o Stella Artois – Le Bar Guide [2]. Ele é
As ações de publicidade podem ser classificadas, de um aplicativo que funciona em conjunto com o GPS e
acordo com seu local de atuação, em online e offline. câmera do iPhone, exibindo na tela direções e distância
Ações offline são ações onde a aplicação de RA e o para diversos bares que servem a cerveja Stella Artois.
equipamento necessário para sua execução ficam em
4
http://www.youtube.com/watch?v=PGu0N3eL2D0
1 5
http://www.youtube.com/watch?v=NoS5gZb6Mz8 http://www.ds3.citroen.com/
2 6
http: //www.nissanusa.com/cube/ http://www.adidas.com/conceptstores
3 7
http://www.vcc.com.my/oceanrace http://www.weareautobots.com

114
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Uma vez escolhido o bar desejado, a rota até ele é do efeito “novidade” e o quanto de fato deriva de uma
exibida na tela de mapa do GPS. Este aplicativo, além melhoria prática na área de inserção.
de tudo, é uma rede social aonde os usuários avaliam Claude Hopkins [7] diz que “a curiosidade é um dos
os bares por diversos critérios, como atendimento e maiores incentivos humanos” e é responsável pelo
clientela. sucesso de vários produtos. O mistério acerca de algo
Esse nicho de mercado já está sendo visado. Um dos novo é um atrativo quase irresistível para o ser
exemplos mais significantes de exploração desse nicho humano. Nesse aspecto, a publicidade em RA atual dá
é o Junaio [3], um AR Browser desenvolvido para aos curiosos tudo que eles desejam. Ela é uma
iPhone e Android. O Junaio é um browser em RA que tecnologia cujo funcionamento é de difícil
usa tecnologias integradas para exibir informações compreensão para um leigo; o que faz com que seu
sobre objetos capturados na tela. A grande vantagem resultado seja hipnótico.
do Junaio é que ele já está sendo desenvolvido com Depois que a primeira ação em RA obteve sucesso
API aberta, voltada para desenvolvimento de em despertar curiosidade, as empresas publicitárias
aplicações publicitárias. Ele promete ser fácil de usar e viram uma nova abertura e seguiram o exemplo.
de se desenvolver aplicativos, sem conhecimento No entanto, a curiosidade despertada por essas
profundo de funcionamentos específicos de RA ou de ações nem sempre é acerca do produto anunciado, mas
programação em geral; a programação será em sim da tecnologia em si. Várias peças publicitárias não
plataformas tipo PHP. passam de um marcador sendo sobreposto com o
Embora ainda não totalmente pronto e em fase de modelo 3D do produto. Depois da segunda ou terceira
testes, o Junaio já tem alguns exemplos interessantes ação publicitária que participa, o usuário acaba se
desenvolvidos por parceiros. Durante a Copa do cansando, pois todas são tecnicamente similares.
Mundo de Futebol de 2010, a operadora de celular Um exemplo da pressa em se utilizar a tecnologia
Vodafone, da Alemanha, usou a plataforma do Junaio nova é a mencionada peça publicitária da Adidas, onde
[4] para apontar estabelecimentos que exibiriam os o marcador, usado como controlador de jogo, está na
jogos e, se o usuário estivesse no estádio, dar língua do tênis. A menos que o dono do tênis queira
informações e estatísticas sobre o jogo (Figura 1). tirá-lo do pé depois de usá-lo e manuseá-lo próximo ao
rosto, a aplicação será executada no máximo uma única
vez, assim que o tênis for tirado da caixa (Figura 2).

Figura 1: Direções para exibição de jogos


(esquerda) e informações em tempo real no
estádio (direita) [4]. Figura 2: Peça publicitária da Adidas: usuário usa
tênis como joystick.
4. Análise da Relação Publicidade e RA
De acordo com Dirksen e Kroeger [8], a
Apesar de alguns exemplos mais avançados publicidade, juntamente com a venda direta e
mostrados na seção anterior, a maioria das aplicações promoção de vendas, é uma face da Criação de
em RA para a publicidade se encaixa no paradigma Demandas. Mais do que dizer que o produto existe e
Magic Mirror: marcador + webcam [5]. Embora a RA ofertá-lo, é dever da publicidade criar a sensação da
em si não seja uma tecnologia recente [6], sua inserção necessidade do produto anunciado por parte do alvo. A
no mercado é. Sendo assim, é difícil afirmar o quanto maioria das ações publicitárias em RA que existem
do sucesso e popularidade conquistados por ela deriva hoje falha nesse aspecto. Um usuário realmente
interessado em comprar um notebook não vai comprá-

115
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

lo baseado somente no modelo virtual dele; inclusive, algum apelo para ela, é de se esperar que ela se irrite e
nesse caso específico, a aparência é o que menos mude de canal. Uma ação publicitária que necessite da
importa. De qualquer maneira ele terá de ler as interação do alvo, como é o caso das que usam RA,
especificações técnicas. É possível até que ele ignore diminui muito esse fator de intrusão. A pessoa que
totalmente a ação em RA e vá direto a essas aceita a proposta da ação interativa, o faz por sua livre
informações. A mesma regra se aplica às ações que e espontânea vontade. Por mais que o resultado da
anunciam carros, por exemplo. interatividade seja decepcionante, o gasto de tempo
Quando uma revista ou outro meio impresso livre foi voluntário, o que minimiza impactos negativos
disponibiliza um marcador de RA para ser utilizado em ao humor.
uma aplicação online, ela requer do usuário um
trabalho que muitas vezes ele não está disposto a fazer. 5. Pontos-chave para o Futuro
Se esse marcador for de uma ação publicitária, será
uma ação menos vista do que uma impressa de forma Embora ainda largamente ineficaz e baseada em
convencional. Muitos leitores de revistas não são seus tentativa e erro, a publicidade já começa a mostrar
donos, como é o caso de pessoas em bibliotecas e em traços de melhor utilização da RA. As subseções a
salas de espera. Tais leitores não absorverão a intenção seguir discutem quatro aspectos específicos a serem
da ação, que pagou o espaço ocupado pelo marcador à considerados no futuro da RA em publicidade.
toa.
Essa corrida publicitária que se deu inicialmente 5.1. Equilíbrio dos três aspectos da publicidade
com a RA evidenciou uma contradição dupla: quem
está realmente interessado na aquisição do produto não A análise dos exemplos comuns da publicidade com
satisfaz sua curiosidade sobre ele na publicidade RA evidencia, por suas ações excessivamente simples,
utilizando RA, e quem está somente curioso com a RA que estão muito mais focados na atenção do que na
não dá muita atenção ao produto. memorização ou persuasão.
O que os publicitários ainda não acertaram é o A memorização, no início do uso de RA em
limite de informação que se pode transmitir em uma publicidade, também era algo garantido. Qualquer
ação em RA para que ela permaneça uma peça empresa que use meios diferentes e inovadores de
publicitária eficaz e auto-contida. Sendo assim, publicidade acaba sendo lembrada por isso, mesmo que
aplicações em RA com essa estrutura convencional a ação em si não seja necessariamente de qualidade.
atual – webcam e marcador – são ideais para ações que Hoje em dia nem isso mais é uma garantia. As ações
necessitem de pouca informação, seja com intenção de excessivamente similares acabam sendo um lugar
venda de um produto simples, seja um simples anúncio comum e caindo no esquecimento.
de uma promoção. Porém, o defeito maior nas ações em RA é a
Um tipo de publicidade que se enquadra nessa aparente falta de preocupação com a persuasão,
categoria é a promoção da marca (brand advertising). aspecto principal; para o qual os outros dois realmente
Produtos ou marcas de conhecimento praticamente são destinados.
universal, Big Mac ou Coca-cola, embora tenham A ação publicitária de sucesso usa os três aspectos
necessidade de utilizar a publicidade constantemente, de maneira otimizada. É dever do publicitário conhecer
podem fazê-lo sem a preocupação em informar o a tecnologia que lhe serve para ser capaz de formular
expectador sobre o produto ou a marca. As peças ações que se utilizem bem dela.
publicitárias em RA comuns hoje são eficazes para a
publicidade de marca. Um aplicativo que simplesmente 5.2. Objetos virtuais como amostras
desenhe um logo 3D de uma marca famosa sobre um
duplamente grátis
marcador pode suprir essa necessidade de publicidade
constante, com pouca informação.
Hopkins [7] enfatiza o uso de amostras grátis como
Uma crítica recorrente à publicidade é sua intrusão
fator de persuasão da publicidade: “o produto por si
na vida das pessoas. Essa intrusão se dá, geralmente, na
mesmo deve ser seu melhor vendedor. Não o produto
publicidade de produtos destinados à vida cotidiana,
sozinho, mas acrescentado (...) da atmosfera que você o
que se foca em atingir a pessoa em seu tempo livre.
cerca”.
Uma pessoa em casa vendo um programa na TV, por
A questão central das amostras grátis é que elas só
exemplo, é exposta a uma quantidade grande de
são grátis para o consumidor. O custo para o
comerciais em relação ao tempo de exibição do
anunciante é bem alto quando comparado aos das
programa em si. Como somente um entre muitos tem
campanhas que não distribuem amostras. O que

116
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

melhor, então, do que amostras virtuais inseridas no no computador. Se o jogo der suporte a vários
mundo real? O anunciante só arcaria com os custos do jogadores, basta uma criança aparecer com um na
desenvolvimento da aplicação. De certa forma ele escola que todos os seus amigos também vão querer. A
pagaria por somente uma amostra. criança nunca está preocupada em por quanto tempo
Esta é uma área ainda não explorada na publicidade ela irá aproveitar algo antes de deixá-lo de lado.
com RA e que poderia render ótimos frutos. Poderiam Sendo assim, parece que a publicidade simples em
ser feitas amostras de coisas até hoje impossíveis. Uma RA deveria se dirigir massiva e explicitamente ao
aplicação Magic Lens que permitisse a uma pessoa ver público infantil.
o resultado de uma obra em sua casa antes dela ser
feita, ou se ver dentro de um carro ainda não lançado, 5.4. Diminuindo o Vão Academia-Mercado
por exemplo. Aplicações Magic Mirror, embora mais
limitadas, também renderiam ótimas amostras; por A publicidade não é uma área tecnológica por
exemplo, mostrar a um paciente em potencial os natureza. Embora dependa da boa utilização da
resultados futuros de uma cirurgia plástica que ele tecnologia para obter sucesso, é essencialmente não
deseje. científica, realiza seus objetivos levando em conta
O uso de RA para esse tipo de amostra traz a muitos fatores subjetivos do comportamento humano.
possibilidade, até hoje impossível ao consumidor, de Já a Informática acadêmica é o oposto. Uma área
uma amostra personalizada. Atualmente, justamente totalmente voltada à tecnologia, com critérios práticos
pelo custo que o anunciante tem com elas, elas são e objetivos. O comportamento humano quase não tem
sempre padronizadas. lugar na avaliação estritamente lógica de pesquisa.
Por essa diferença essencial, o vão entre essas duas
5.3. Mercado Infantil áreas é uma consequência inevitável. Ele é responsável
por muitas das tentativas de pouco ou nenhum sucesso
A maior parte da análise feita na Seção 4 a respeito publicitário. Há, no entanto, formas de diminuí-lo. Para
de como o consumidor reage racionalmente à melhor compreendê-lo, é preciso entender que ele é
publicidade; e como a publicidade atual em RA falha composto por um fator de comunicação e um fator
em dar a ele o que ele precisa para comprar, contam temporal. O primeiro diz respeito a essa diferença de
com uma coisa: o consumidor é um adulto consciente. natureza inerente às duas áreas. Já o segundo se refere
Porém, o público alvo da publicidade não é ao tempo decorrido desde a invenção da tecnologia
necessariamente quem compra o produto, mas sim estudada em meio acadêmico até sua inserção no
quem o usa e tem influência sobre aquele que o mercado em questão.
compra. O mercado infantil é composto em sua No caso da RA usada em publicidade hoje, o fator
totalidade por pessoas que contam somente com sua temporal do vão foi considerado como sendo de nove
capacidade persuasiva para conseguirem o que querem anos (1999 – criação do ARToolKit [9] a 2008 –
dos pais. Uma criança não tem a capacidade de primeiras ações de publicidade envolvendo RA com
ponderar sobre as vantagens e desvantagens de um marcadores).
produto, ela simplesmente o quer ou não. A área de pesquisa, embora as considere, não tem as
Com isso em mente, anunciar para crianças consiste demandas de mercado como prioridade. A Publicidade,
em impressioná-las o suficiente para que convençam pelo outro lado, não tem um bom olho para tecnologias
seus pais a comprar. Um modelo 3D animado, que cujas aplicações não estejam inseridas no mercado. A
pareça estar interagindo com ela, embora não suficiente Publicidade fica então a mercê de alguns poucos
para um adulto comprar um notebook ou um carro, visionários e da lenta inserção da tecnologia em outras
impressiona muito uma criança. áreas para sua descoberta. E, por ser uma área que
Um exemplo claro da falta de aproveitamento do trabalha quase sempre em urgência, nem sempre há
público infantil é o já criticado tênis da Adidas de RA. tempo de avaliá-la antes de usá-la.
Um adulto sabe que vai usar o aplicativo em RA Ambos os fatores são minimizados com a mediação
pouquíssimas vezes e depois usar o tênis normalmente. que começa a ser feita hoje por empresas de tecnologia
Sendo assim, ele pondera sobre as qualidades do tênis com visão mercadológica, como é o caso da Metaio.
antes de adquiri-lo. Se essa campanha fosse voltada Com acesso ao que existe de ponta em pesquisa,
para o público de crianças, em um período como o empresas desse tipo analisam as demandas de mercado
Natal, o resultado sem dúvidas seria melhor. Pouco de forma mais precisa.
importa para a criança se o solado ou o amortecimento Para futuras tecnologias, com objetivo de se ter um
são adequados; o que interessa é usar o tênis para jogar vão temporal menor, é interessante que a publicidade,

117
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ou qualquer outro ramo, se ocupe de estudar os Com isso em mente, diversas empresas começam a
avanços tecnológicos não só em suas aplicações de se formar, ou a alocar mão de obra para atender a
mercado, mas em sua fonte primordial de pesquisa. demanda da publicidade com RA. Aquelas que
Por outro lado, se a área de pesquisa tivesse seus observaram com cautela as relações entre as duas áreas
trabalhos mais disponíveis em meios dominados por prosperarão.
leigos, seria um ganho geral. De certa forma é Essa comunicação mediada é proveitosa tanto para a
interessante que ela fizesse uma melhor publicidade de RA quanto para a publicidade. A primeira passa a ter
si mesma. Isso geraria não só um interesse menos acesso às demandas de mercado, e muito
tardio por parte do mercado na tecnologia; como esse provavelmente, maior capital para realização de suas
interesse, muitas vezes, se traduziria em fundos para a pesquisas. Já a segunda se beneficia com suas
própria pesquisa. É um ganho mútuo. demandas supridas e seus produtos funcionando com
uma tecnologia mais perto do estado da arte.
6. Conclusão
7. Referências
“A comercialização da pesquisa (...) é muito mais
fruto de prospecção do que de alquimia” [10]. Tal frase [1] R. A. Nelson. A Chronology and Glossary of
resume a essência de uma das questões centrais deste Propaganda in the United States, Greenwood, 1996.
artigo: a falta de acesso à tecnologia de ponta por
[2] Anheuser-Busch Inbev. Stella Artois – Le Bar Guide.
setores não relacionados à pesquisa. O que é
Disponível em <http://itunes.apple.com/us/app/
comercializado ao público como tecnologia de ponta id335624129>. Acesso em jun 2010.
nunca é nenhuma novidade para o campo da pesquisa.
Tal falta de acesso se dá, principalmente, por uma [3] Metaio. Junaio. Disponível em <http://www.metaio.com/
falha de comunicação entre as áreas de mercado e de products/junaio/>. Acesso em jun 2010.
pesquisa, por culpa dos dois lados. A Academia não se
expõe e o Mercado não sabe o que pedir. [4] Metaio. Junaio® displays Public Viewing and Match
Muitas empresas pregam que um gerente ou Statistics with Augmented Reality. Disponível em
administrador deve conhecer as funções de seus <http://newsletter.metaio.com/index.php?id=1053>. Acesso
em jul 2010.
subordinados, para que suas ordens sejam claras,
precisas e, principalmente, possíveis e eficazes. O [5] J. Grosjean, and S. Coquillart, “The Magic Mirror: A
mesmo se aplica às áreas usuárias de tecnologia. Metaphor for Assisting the Exploration of Virtual Worlds”,
Enquanto um cliente não tiver conhecimento básico Spring Conference on Computer Graphics, 125-129, 1999.
sobre o funcionamento da tecnologia que está
contratando ele está fadado à ineficácia. [6] R. Azuma, Y. Baillot et al. “Recent advances in
Desconhecimento técnico, em muitos casos, pode levar augmented reality”, IEEE Computer Graphics and
ao uso ineficiente ou inadequado da tecnologia. Saber Applications, 21 (6), 2001, pp. 34-47.
precisamente suas possibilidades e limitações e como
[7] C. Hopkins, Scientific Advertising, Crown Publishers Inc,
pedir o que se quer são o que fazem a diferença entre
New York, v.4, 1966.
um cliente que consegue uma aplicação plenamente
funcional de um que; ou quer mais do que pode, ou [8] C. J. Dirksen, and A. Kroeger, Advertising Principles and
consegue menos do que poderia. Problems, Richard D. Irwin Inc. Homewood, Illinois, ed.4,
A relação entre Realidade Aumentada e Publicidade 1973.
se encontra hoje em uma situação do segundo tipo. A
publicidade até trai seus próprios propósitos por [9] H. Kato et. al, ARToolKit – Augmented Reality Toolkit.
consequência da falta de conhecimento em RA. Disponível em: <http://www.hitl.washington.edu/artoolkit>.
Situações desse tipo talvez sejam o atual processo Acesso em jun 2010.
natural da popularização da tecnologia. Sendo ou não,
tal ineficácia inicial evidencia onde há espaços para [10] B. Buxton “Forward into the Past”, Time Magazine, 3
melhoras. Espaços que se preenchidos por pessoas Out. 2004. Disponível em <http://www.time.com/time/
covers/1101041011/nextessay.html>. Acesso em jun 2010.
qualificadas rendem uma aceleração notável neste
processo, bem como as recompensam generosamente.

118
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 6 
 
VISUALIZAÇÃO 

119
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Evaluating the CapCam: a device for thermal inspection of electrical


equipment

Eduardo Antonio Souza1 ; Luis Arthur Vasconcelos1 ; João Marcelo Teixeira2 ; Eduardo
Simões de Albuquerque3 ; Judith Kelner2 ; Veronica Teichrieb2
1 2 3
Centro de Artes e Centro de Informática Instituto de Informática
Comunicações Universidade Federal de Universidade Federal de
Universidade Federal de Pernambuco Goiás
Pernambuco {jmxnt, jk, vt} eduardo@inf.ufg.br
{souza.ead, lalv4401} @cin.ufpe.br
@gmail.com

Abstract with the CapCam, a helmet in which are embedded


a webcam and a thermal camera, enabling the user
This paper presents a methodology for both to visualize real world and thermal imaging
improvement of the CapCam prototype and its field overlapped. Furthermore, to visualize this imaging,
tests, whose goal was to evaluate its usability and the user must wear a HMD – Head Mounted
functionalities together with end users (engineers, Display, a device that has an optic display, either
technicians, among others). The CapCam is a monocular or binocular.
portable and head-wearable device, which aims at To integrate both hardware (mivaTherm and
adding relevant information to the task of thermal HMD) considering aid to thermal inspection, the
inspection in industries, using Augmented Reality CapCam has been designed. This system uses AR
(AR) concepts. After going through the process for technology to overlap thermal and real images, in
generating solutions, whose foundation was laid order to provide the user the capability to identify
down by the research of similar products, the most malfunction through thermal vision and keep the
satisfactory solution was selected and applied. real world perception. Through the HMD, the user
Finally, tests were carried out with a group of can see the image filmed by the embedded webcam
users, in order to assess the product’s adequacy to overlapped by the thermal vision provided by the
ergonomic and technical needs by using different also embedded thermal camera on the top of the
evaluation methods. The results show that the helmet (Figure 1).
CapCam is a well-designed solution for several
ergonomic problems, besides being efficient to
some tasks.

1. Introduction

When it comes to electric power transmission,


there are issues that must be corrected periodically
– such as failing connections, rusting or abrasion.
In order to inspect these issues, both electronic and
human resources are needed in continuously
performed tasks. Figure 1. CapCam’s screenshot: overlapped thermal
Thermal vision, for instance, is a robust tool for and real images.
inspection of such equipment, due to its capacity to
identify any malfunction by monitoring the Therefore, the goal of this paper is to evaluate
temperature. For supporting the thermal vision task, the usability of the CapCam regarding the
it was developed the mivaTherm, a mobile and inspection task. However, in general, it is almost
autonomous system which provides support for the impossible to specify the usability of a system
execution of virtual and Augmented Reality (AR) without first defining its actors such as the users,
applications [1]. the tasks that will be performed with it, among
In order to free users’ hands, mivaTherm was other issues. In order to identify the actors it is
customized to perform thermal inspections along necessary to perform field tests.

120
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ISO 9241-11 suggests that measures of usability with the embedded system) of the equipment being
should cover: repaired. It makes use of motion tracking, mobile
• Effectiveness, the ability of users to computing, wireless networking and 3D modeling
complete tasks using the system; to improve both quality and efficiency of the task
• Efficiency, the level of resources being performed [5].
consumed in performing tasks;
• Satisfaction, user’s subjective reactions to
using the system [2].
The CapCam device had already been tested
before, although not with final users or on the field.
As result of this first evaluation, it was ascertained
that its main deficiency was its fixation to the
users’ head [3]. Other demands to improve the
prototype were defined. The proposed upgrades
were (1) improve the fixation system; (2) provide
greater adaptability of the CapCam to other HMD
models and (3) enhance usability.
At last, in this paper, it proposes to evaluate the
CapCam regarding (1) difficulty of wearing it, (2)
fixation to users’ heads, (3) discomfort caused on Figure 2. ARMAR’s screenshot. The 3D model of the
the user, (4) functionalities, (5) acceptance by users equipment to be mounted is shown by the AR
and (6) fatigue due to having it worn for long time. device, along with the instructions of what the user
This paper is divided in sessions that show the has to do.
steps in the development of the CapCam. In
section 2 the related work that provided basis to the Meanwhile, research aimed at making portable
project’s concept and intents are to be shown. and wearable devices have also produced important
Then, in section 3, the case study of the CapCam results in the last years (Figure 3). The need of
will be explained and detailed, firstly, being connected to the world through the internet
(subsection 3.1) the methodology used and then the has motivated the development of this type of
description of the process (subsection 3.2). Having devices. By making this technology available, other
explained the process, the results will be shown and applications of wearable devices have been
explained in section 4. In section 5, some suggested, studied and developed. The miva
considerations will be discussed and the future platform is a reliable platform of wearable devices
works will be proposed. which takes advantage of AR in order to design
virtual interfaces, improving human-machine
interaction considerably [1].
2. Related Work

AR is a field of technology which is being


applied to a multitude of problem solving and to
innovative products and services. It is being used
from advertising to aiding on complex tasks – such
as industrial equipment maintenance – going
through education and medicine. The main
principle of AR is to supplement reality with virtual
assets by the use of digital devices, through three-
dimensional imagery transmitted to the user in real
time. It is common to use some peripherals, such as
HMDs, objects to help tracking and devices to be
integrated [4].
Several software and hardware have been
developed integrating AR in order to help users
perform complex tasks. A notable example is the
case ARMAR – Augmented Reality for Figure 3. Wearable computer interface, the miva,
Maintenance And Repair (Figure 2). It uses AR to being used.
improve the usability and productivity of
maintenance personnel. The user wears a HMD, Furthermore, there have been found advantages
which enables to visualize automatically of merging in real and virtual images, specifically
recognized elements (by using a camera together thermal vision. A case study shows that combining
thermal and real images can help face recognition,

121
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

(Figure 4) and this way, it could help identifying researched and analyzed in order to identify their
and specifying problems and the equipment in positive and negative aspects. Searches must be
which these problems are occurring [6]. made using keywords related to the main concept
of the project and a database with similar products
must be created, pointing out its characteristics and
exemplifying through images, if possible [7]. This
comparison is very important in order to use
effective and attainable technologies.
Throughout the tests, two methods were used to
extract relevant information from the users. The
first one was (2) task analysis, which is the
Figure 4. From left to right: real image, thermal image identification of several representative tasks that
and combined image. This combination makes the the system will be used to accomplish [8], in such a
face recognition a much more robust tool. way that the system blends in smoothly to the
world and task of the user, in order to be
In order to aid maintenance personnel, the successful. The second one was the (3) thinking
ARMAR used a HMD to provide AR to the user. aloud method – under this method, users verbalize
This has been proven efficient, since this kind of their thoughts as they enter consciousness; hence,
task requires the user to have his/her hands free to they are able to follow their normal sequence of
operate any tools in order to fix the equipment. thoughts while they verbalize [9].
This solution has also been analyzed in other It was also required from the users to show their
products, designed for other uses, and was also position toward the CapCam in a more objective
proven efficient. Attaching devices to head-worn way. That stated, a questionnaire was designed,
equipment is used in many different areas: cycling, applying several methods: (4) a Likert scale – a
parachuting and mining are a few examples. Also, scale commonly employed in questionnaires with
it was useful to integrate the necessary equipment several statements (Likert items) for which the
to the task of inspection – the helmet – to the respondent must indicate a degree of agreement or
thermal vision functionality. disagreement [10] – and (5) the SUS – System
The CapCam integrates many assets, Usability Scale – composed of ten Likert items,
functionalities and technologies related to all of which scores and gives a global view of systems’
these related works. Its goal is to support the user usability [11]. The (6) semantic differential scale –
in tasks such as thermal inspections, providing an in which the respondents indicate their attitude
improvement on the users’ quality of work. towards the object, using an itemized scale – was
also used [12].
3. Case Study The testes were done using the CapCam, which
has a webcam Microsoft VX-6000 and a thermal
This section presents the case study, which is camera Irisys 1011 embedded. Also, the user wore
the description of the steps that were taken by a HMD Liteye monocular LE-750A.
CapCam developers in order to evaluate the
usability of the prototype. 3.2 Evaluation Process
The methods used in the evaluation design are to
be explained. The pre-evaluation step (analysis of The analysis of similar concepts was focused on
similar concepts), the test itself (task analysis, helmets that were made to be very well fixed on
thinking aloud method) and the concepts used on a users’ heads; among them, were found bike, war
post-test questionnaire answered by the users and construction hard helmets. It was noticed that
(Likert scale, SUS and semantic differential scale) war helmets used press-studs in order to make the
are the phases that the team has gone through in helmet fastened. This material was used to attach
order to realize the evaluation. the liner to the hard helmet, which made it ready to
The evaluation process is described next, use: comfortable and steady.
divided in Methodology, which contains the It was chosen to attach a different HMD from
methods and equipment used, and the Evaluation which was used on the first round of tests with the
Process, which describes the process itself. CapCam [3]. This was due to the need of broader
adaptability of the helmet with other models of
3.1. Methodology HMDs available on the market. The display used
on this round of tests was a monocular one attached
Before realizing the tests, it was performed (1) to the helmet’s side, with a screw.
an analysis of similar concepts, a method in which It is important to notice that the only differences
products with similar goals and target audience are between the evaluated prototype and the previous
one are defined by the new inner liner and its

122
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

fixation system, and the monocular HMD used this about the task, and not about the process itself,
time. since satisfaction is one of the three parameters for
To evaluate the CapCam, four phases were usability.
proposed: casual interview, realization of the task At last, the questionnaire was applied to the
(thermal inspection), prototype testing and three subjects, so that some aspects (that were
questionnaire responding. already evaluated subjectively) could be graded and
The casual interview was made in order to the objectively measured. The questionnaire was
team members get acquainted to the users, and so, composed of three steps, each one based on a
preliminary information about the task and aspects different method previously explained. Firstly, the
related to it could be obtained. This information is SUS was answered; then, five Likert items helped
important, for it reflects the users’ attitude towards quantify specifically some aspects that SUS
the task. covered generically. At last, a semantic differential
The test was conducted at Chesf’s Bongi scale was used to quantify the aspects of the
substation in Recife, Brazil and three typical end CapCam more casually by the users.
users collaborated on it. The task the CapCam was
designed to aid was thermal inspection on 3.2. Results
substations. This task consists in identifying
malfunctioning equipment – indicated by the According to the answers of the users, the SUS
presence of hotspots. That is the main reason why score was calculated. The average score given by
thermal vision is such a robust tool for the task. the respondents was 71.6. Rating this score, the
Even though this task has low complexity, it CapCam can be classified as Good, among the
demands long time to be completed, which means proposed by Bangor (2009). This classification was
it is hardly performed with urgency. In this phase, consistent with the users’ answers on this extra
the task was analyzed in order to comprehend the item suggested by Bangor.
whole sequence of ideas and subtasks the users In order to grade the other five Likert items that
have to accomplish before finishing the main task. were unrelated to the traditional SUS rating, an
The next step consisted in performing the same arbitrary and intuitive scalar quantity rating was
task a second time using the CapCam; so the created: each level of agreement to the statement
usability and users’ satisfaction could be compared was rated by 1 point, which means that 5 points is
to the method the thermal inspections are done up the greater grade for each statement for an
to this date. The task analysis was also performed individual user. The last statement, though, used a
at this point, in a way that the CapCam could be different evaluation: the lower the score, the better
evaluated about providing the support needed in all it was. Thus, the total grade given by the
of the subtasks. respondents was subtracted from the max grade
Throughout both of the fore mentioned phases, overall (15) in order to maintain cohesion to the
the thinking aloud method was also applied, in evaluation, as shown in Figure 5.
order to acquire data related to the users’ thought

Figure 5. Bar chart, showing the sum of the scores of the answers the users gave to the statements on a Likert
scale. Being the score from 1 to 5 for each user, the maximum sum of points is 15.

123
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figure 6. User’s answers to CapCam’s characteristics on a semantic differential scale.

In the next phase on the questionnaire – that to his head size, for he couldn’t find the knob on
used the semantic differential scale – the results the back of the helmet – which was thought to be
were very positive. The answers given by each user easy, as the liner is the same currently used by the
are shown in Figure 6. company. The HMD had an adjustable lock on the
The equipment that was beneficial to the side of the helmet, where it was attached, to which
realization of the task (as it is currently performed) the users were not acquainted. This means the
was analyzed and several needs and difficulties previous training is very important for the users to
were ascertained. The equipment used were (1) understand all the functionalities of the CapCam.
helmet – mandatory for the entrance on the The new fixation system was approved by all of
substation – (2) rubber boots, for electric isolation, the three users. Each one of them felt completely
(3) thermal camera and (4) psychrometer, to confident and comfortable to move their heads in
measure relative humidity. Among those, the focus any ways. Along the inspection using the CapCam,
of the analysis was the thermal camera and its the users continued to commend this characteristic.
relation to the user. The camera currently used is Nevertheless, the system does not take thermal
the ThermaCAM S60 and even though it is photographs and send them to the company’s
considered light compared to other thermal cameras database, which is a main subtask that must be
(it weights two kilograms), it inflicts discomfort done. Some suggestions were given by the users
and pain on the users’ wrists after some time of along the process, for example, a control panel that
use. would be attached to the user’s chest, in order to
As a result from the task analysis, it was noticed keep hands free. An issue regarding the cameras
that all along the inspection, it is demanded that the attached to the CapCam was noticed: they do not
users visualize many hotspots in position high have the same technical specifications (e.g., lenses,
above eye level, and so, the users need to lift the focal length), which means they were not and most
camera. To do that, the user would have to raise likely cannot be suitably aligned so the images get
his/her whole arm, which would cause pain in the overlapped.
users’ shoulders; besides, raising the whole arm The thermal camera used on the CapCam
makes the thermal camera’s monitor difficult to be represented a technical barrier: it needs to be small
seen, because it is located at the top of the camera. and light (to fulfill the requirements of the
If the camera is raised using only the wrist, as were CapCam), but it has low resolution, reach and
done by the users on the test, it inflicted pain by accuracy. According to one of the users, the low
continuous repetition. This may be due to the task resolution thermal image overlapping (over the real
the camera is designed to: it was not designed to be world image) lessens even more the quality of the
a hand-camera, but to rest on a tripod, registering inspection. Also, there was a drawback from using
images along extended periods of time. the CapCam, analogous to the currently used
Regarding the CapCam, there was some cameras. In order to visualize equipment highly
difficulty on wearing the helmet, because there are above the level of the eye, the users had to lean
too many wires on the back of the helmet and the their heads to the back exhaustively. This is due to
HMD on the front, which makes the user wear it both the cameras are proportionally much above
slowly and uncertain. For the same reason, one of the level of the eye. In other words, it causes
the users had some difficulty adjusting the helmet discomfort to keep leaning the head backwards
much too many times.

124
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

[2] BROOKE, J. SUS: A Quick and Dirty Usability


4. Considerations and Future Works ScalE, in Jordan, P., Weerdmeester, B., Thomas, A. and
Mclelland, I. (ed.) Usability evaluation in industry,
Taylor and Francis, 1996.
After the field tests, it is possible to identify in
which aspects the CapCam is efficient and those in [3] CAVALCANTI, A.; BREYER, F.; TEIXEIRA, J.
which it needs improvement. Nevertheless, it was M.; TEICHRIEB, V.; KELNER, J. CapCam um
proved that CapCam is a well-fit product to the Dispositivo Portátil e Vestível para Aplicações de RA
tasks it aims at. para Suporte à Inspeção Termal de Equipamentos.
After the first round of tests, the issues that the Workshop de Realidade Virtual e Aumentada, Bauru,
2008.
first version of the prototype presented were
analyzed and corrected. The fixation issues were [4] AZUMA, R. T. A Survey of Augmented Reality,
completely solved. Even so, the thermal camera Presence: Teleoperators and Virtual Environments, vol.
attached to the CapCam was considered a vital 6, no. 4, 1997.
problem, due to the low quality of image it
provides the user. To use a camera like the [5] HENDERSON, S.; FEINER, S.; Augmented Reality
ThermaCAM S60 is also not feasible because of its for Maintenance and Repair (ARMAR), United States
cost – over US$ 100.000 – and its size and weight, Air Force Research Lab, Technical Report 86500526647,
which makes it impossible to be attached to the 2007.
helmet. From this point on, the project may take
[6] HEO, J.; KONG S. G.; ABIDI, B. R.; ABIDI, M. A.;
two different directions: (1) become a helmet to aid Fusion of Visual Thermal Signatures with Eyeglass
the maintenance of inside equipment or (2) a Removal for Robust Face Recognition, Department of
product to support outside inspections, but not Electrical and Computer Engineering, University of
being the main and only thermal vision equipment. Tennessee, 2004.
Both alternatives have several different solutions
and possible adjustments on the current prototype. [7] NEVES, A. M. M.; CAMPOS, F. F. C.; BARROS, S.
Unfortunately, a solution that would cover both G.; CAMPELLO, S. B.; ARAGÃO, I; CASTILLO, L.
ways is yet to be technical and financially XDM Métodos Extensíveis de Design. Anais 8º
Congresso Brasileiro de Pesquisa & Desenvolvimento
available.
em Design. São Paulo: Senac SP, 2008.
For the first alternative, the camera does not
need to be highly accurate, because the technician [8] LEWIS, C.; RIEMAN, J.; Task-Centered User
would only need to spot the problem and then fix it. Interface Design, A Practical Introduction. Boulder:
Small adjustments would need to be done, like the University of Colorado, 2008.
organization of the wires on the back of the helmet.
In order to attend the needs of the second, the [9] ERICSSON, K. A.; SIMON, H. A. Protocol
project would have to return a few steps on its Analysis: Verbal Report as data. Colorado: Mit Press,
conceptions. Some functionalities – shooting 1993.
photographs, sending them to the database in real [10] LIKERT, R. A technique for the measurement of
time – would need to be covered and technical attitude. Archives of Psychology, 1932, vol. 22, no. 140,
difficulties – the thermal camera – would need to pp. 1-55.
be researched again. However even considering a
considerable higher cost, the tasks on which the [11] BANGOR, A.; KORTUM, P.; MILLER, J.
CapCam could aid would be much broader. Determining what individual SUS scores mean: Adding
Even though some drawbacks were found along an adjective rating scale, Journal of Usability Studies,
the evaluation of the CapCam, it is possible to vol. 4, no. 3, May, pp. 114-123.
ascertain that it presented very good results as a
[12] BRANDALIZE, L. T. Modelos de medição de
product. It adds many fundamental aspects of a percepção e comportamento: Uma revisão. In:
product designed for inspections: comfort, usability Laboratório de Gestão, Tecnologia e Informação –
and safety; furthermore, it proposes innovative uses UFSC, Florianópolis, 2005.
for a technology that is of no trivial
implementation.

5. References
[1] TEIXEIRA, J. M.; SILVA, D.; MOURA, G.;
COSTA, L. H.; TEICHRIEB, V.; KELNER, J. miva:
Constructing a Wearable Platform Prototype, Recife,
2007.

125
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Java 3D para Sistemas de Multiprojeção utilizando Aglomerados Gráficos

Diego Roberto Colombo Dias, Anthony Ferreira La marca, Mário Popolin Neto, José Remo
Ferreira Brega
Universidade Estadual Paulista – LSTR

Marcelo Paiva Guimarães


UNASP

José Roberto Pereira Lauris


USP

diegocolombo.dias@gmail.com, anthonymarca@fc.unesp.br, mariopopolin@fc.unesp.br,


remo@fc.unesp.br, marcelodepaiva@gmail.com, jrlauris@fob.usp.br

Resumo modelagem do AV, mais próximo será do universo real


[2].
O desenvolvimento de aplicações de multiprojeção, Um sistema multiprojeção proporciona maior
durante muito tempo restrito a poucos, devido seu alto imersão ao usuário, podendo ser implementado em
custo, hoje pode ser desenvolvido com a integração de sistemas fortemente acoplados ou aglomerados gráficos
tecnologias de baixo custo. A libGlass, baseada em (AG). Os AG diferem dos tradicionais sistemas
aglomerados gráficos, permite o desenvolvimento de fortemente acoplados em alguns aspectos, como, por
aplicações que necessitem efetuar troca de exemplo, o fato dos tradicionais dividirem a tarefa em
informações entre nós de um aglomerado de pequenas tarefas, as quais são distribuídas para os nós e
computadores. A integração com aplicações logo após o processamento das mesmas é que a
desenvolvidas em Java 3D possibilita então a sincronização acontece. Os AG, por sua vez, tem como
distribuição de dados, necessários às transformações objetivo oferecer uma visão múltipla do mesmo
de ambientes virtuais, entre diferentes nós de um conjunto de dados, ou seja, cada nó processa apenas os
aglomerado, dando a ilusão de um único sistema ao dados referentes à sua parte de interesse, gerando assim
usuário. a imagem apenas daquela parte.
Este artigo apresenta uma solução para a realização
1. Introdução de multiprojeções utilizando o Java 3D e a libGlass,
possibilitando assim, que sistemas de baixo custo
A Realidade Virtual (RV) é a forma mais avançada possam ser criados utilizando-se apenas computadores
de interface do usuário com o computador até agora pessoais.
disponível em um ambiente sintético tridimensional Na primeira seção são abordados conceitos gerais
[1]. Essa interação com o ambiente tridimensional sobre Java 3D. Na mesma seção, é apresentada a
permite ao usuário visualizar o ambiente sobre libGlass, biblioteca baseada em AG. Por último, são
qualquer ponto de vista, movimentar-se dentro dele, e apresentados exemplos com detalhes sobre a
interagir com seus objetos virtuais, tudo isto em tempo implementação, o tratamento do compartilhamento de
real. Ao interagir com um ambiente virtual (AV) dados entre os nós e métodos que realizam as
tridimensional, o computador detecta e reage as ações transformações no AV.
do usuário, respondendo a estas ações com
modificações no ambiente. Quanto melhor a

126
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

2. Java 3D objeto Appearance descreve a aparência dos objetos,


com relação à cor, textura etc.
A Java 3D é uma API desenvolvida pela Sun Por último, o objeto ViewPlatform, que representa a
Microsystem para renderizar grafos de cena utilizando visão do usuário dentro do AV, sendo referenciado por
a linguagem Java. A renderização pode ser feita um objeto View, especificando os parâmetros
utilizando o OpenGL ou DirectX, ficando à cargo do necessários à renderização da cena do ponto de vista do
código Java, a descrição da cena e a lógica de usuário.
programação, permitindo ao desenvolvedor criar e Um objeto importante para o desenvolvimento desse
manipular formas geométricas em 3D [3]. trabalho é o Canvas3D, responsável por encapsular
Um ponto forte do Java 3D, é a possibilidade de todos os parâmetros associados com a janela de
desenvolver aplicações puramente em Java, renderização da cena. O objeto Canvas3D é anexado ao
independente do tamanho do AV que o desenvolvedor a um objeto View.
necessite renderizar. Outra característica de sistemas
desenvolvidos em Java 3D, é a independência de 3. Glass
plataforma, isto é, qualquer sistema operacional, que
possua suporte a JVM, é capaz de executar aplicações Segundo Guimarães [5], o desenvolvimento
Java 3D [4]. acelerado de arquiteturas de redes e dos computadores
Um AV possui objetos geométricos com os quais o pessoais propiciou avanços significativos na área de
usuário pode interagir. Este ambiente é denominado processamento de alto desempenho. Os sistemas
VirtualUniverse, sendo esse a classe raiz que contém fortemente acoplados passaram a ser substituídos por
todos os outros elementos do AV; elementos não aglomerados, que são caracterizados por uma coleção
geométricos também podem ser anexados ao de nós interconectados através de uma rede local,
VirtualUniverse, sendo responsáveis por controlar ou oferecendo ao usuário a ilusão de um único sistema.
influenciar o ambiente. Os AG diferem dos tradicionais em alguns aspectos,
A Figura 1 apresenta a estrutura de um grafo de como por exemplo, o fato dos tradicionais dividirem a
cena Java 3D. tarefa em pequenas tarefas, as quais são distribuídas
para os nós e logo após o processamento das mesmas é
que a sincronização acontece. Os AG por sua vez, tem
como objetivo oferecer uma visão múltipla do mesmo
conjunto de dados, ou seja, cada nó processa apenas os
dados referentes à sua parte de interesse, gerando assim
a imagem apenas daquela parte.
Além disso, os nós dos aglomerados tradicionais
são, na maioria das vezes, idênticos, o que pode ser
uma boa opção analisando que há apenas uma tarefa
que é executada em diversos nós. Entretanto, em
ambientes de RV o foco é um pouco distinto, haja vista
que as aplicações requerem muitas tarefas variadas
Figura 1. Grafo de Cena do Java 3D [4]. para serem realizadas, o que, muitas vezes, necessita de
dados pequenos quando comparado com os dados dos
Um VirtualUniverse possui, no mínimo, um objeto aglomerados tradicionais.
Locale. O objeto Locale define uma região geográfica Outro aspecto fundamental nesta diferença de
dentro do grafo de cena. Um BranchGroup serve como aglomerados tange a questão de tempo real. Os AG
raiz para subgrafos, chamados de brach graphs, sendo devem realizar as tarefas em tempo real, enquanto que
o único objeto que pode ser anexado diretamente a um os tradicionais realizam em forma de lote. A
objeto Locale. interatividade e a geração de imagens em tempo real
O nó Behavior contém o código para manipular a das aplicações gráficas requerem que as tarefas sejam
matriz de transformação associada à geometria dos executadas respeitando-se alguns limites de tempo. Por
objetos do AV. O nó TransformGroup está relacionado exemplo, as aplicações de multiprojeção precisam ser
à posição, orientação e escala dos objetos do AV, capazes de receber uma entrada, processar os dados e
sendo relativo ao objeto Locale. O nó Shape3D refere- enviar para a saída (monitores ou projetores), mais de
se a dois objetos: Geometry e Appearance. O objeto 15 vezes por segundo, enquanto que as aplicações que
Geometry descreve a geometria dos objetos do AV; o

127
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

utilizam os aglomerados tradicionais não possuem esta Protocolo encapsula bibliotecas, escondendo as
necessidade [5]. diferenças entre os protocolos de comunicação TCP,
A libGlass consiste em um conjunto escalável de UDP, MPI, VIA, entre outros. O plugin de
componentes que podem ser utilizados pelas Compartilhamento é responsável pela distribuição de
aplicações, que são construídas reutilizando-se, valores de objetos para os nós do AG. As Barreiras
conforme a necessidade, os componentes que estão gerenciam o sincronismo no AG. O plugin Evento
disponíveis, habilitando assim, a execução dos serviços permite ao desenvolvedor utilizar dispositivos não
oferecidos pela biblioteca. convencionais para a interação com o AV, como
Apesar de a biblioteca ter como objetivo agilizar e celulares ou Palms, que mesmo possuindo um poder
facilitar o processo de desenvolvimento de aplicações menor de processamento, pode enviar estímulos ao AV
de RV, ela pode ser utilizada para desenvolver sem interferir no desempenho da aplicação. O plugin
qualquer aplicação baseada em aglomerado. Além Alias permite diferentes visões aos usuários, com
disso, pode ser utilizada para portar aplicações de RV diferentes posições de câmeras no mesmo ambiente.
já desenvolvidas para sistemas fortemente acoplados As aplicações Glass podem usar diferentes
para serem executadas em AG sem a necessidade de protocolos sem que a biblioteca seja modificada ou
refazer todo o projeto. recompilada, esse componente possui uma infra-
A Figura 2 apresenta uma visão geral dos seus estrutura de empacotamento e desempacotamento de
componentes. Inicialmente, tem-se o arcabouço, que é mensagens, que suporta todos os tipos básicos (integer,
composto pelos componentes: Instanciação, Protocolo float, string, entre outros). Este tipo de comportamento
e os Plugins. O componente Instanciação tem por garante a interoperabilidade entre sistemas
objetivo inicializar as aplicações conforme a operacionais. Assim, pode-se, por exemplo, executar
arquitetura interna da libGlass, que permite criar alguns nós da mesma aplicação no Linux e outros no
aplicações Cliente ou Servidor. O componente Windows ou no Mac OS [5].

Figura 2. Arquitetura Glass [5].

A libGlass possui dois grupos de aplicações, sendo Aplicações de Suporte que auxiliam o desenvolvimento
eles: i) as Aplicações Glass criadas pelos aplicações.
desenvolvedores e os programas exemplos; e ii) as

128
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Os nós que manuseiam os dados de entrada dos Dessa maneira, é necessária a especificação de seus
dispositivos não precisam estar executando as métodos, pois existem diferenças entre as
aplicações, contudo eles devem receber as entradas, implementações utilizando OpenGL e o Java 3D.
processar e enviar os resultados para os nós que estão
executando a aplicação. Os eventos devem ser 5. Descrição da aplicação Exemplo
recebidos por todos os nós interessados, caso isso não
aconteça, incoerências no ambiente podem ocorrer. Nesta seção, são apresentados os passos de
O tratamento correto dos dados de entrada é de desenvolvimento de uma aplicação em Java 3D
extrema importância para as aplicações de utilizando a libGlass no compartilhamento de dados de
multiprojeção, pois o ponto de vista de cada imagem posicionamento do AV. Um AV no formato X3D é
deve ser preciso para que não ocorra incoerência na utilizado com estudo de caso. O loader Xj3D [9] foi
imagem. escolhido para gerar o grafo de cena X3D à aplicação
Os tipos comuns de dados podem ser criados e Java 3D.
manipulados. Entretanto, pode-se escolher outras Primeiramente, devem ser criados os objetos do tipo
bibliotecas para trabalhar em conjunto com a libGlass, Cliente Glass, Barreiras, Compartilhamento e Alias. O
por exemplo, a API Java 3D. objeto Cliente Glass é responsável por instanciar a
Ainda, as aplicações podem utilizar diversos aplicação Glass como um nó do AG. O objeto Barreira
dispositivos de multriprojeção, como: CAVERNAS possibilita o sincronismo entre os nós do aglomerado.
Digitais, capacetes de visualização e monitores; e Os objetos Compartilhamento são responsáveis pelo
vários dispositivos de interação, como: mouse, compartilhamento de dados das coordenadas do AV.
rastreadores e dispositivos de sensação ao toque. Por último, os objetos Alias, responsáveis por controlar
Estes tipos de ferramentas são aquelas que auxiliam os pontos de vista do AV. A Figura 3 apresenta a
o desenvolvimento de aplicações Glass. definição dos objetos.

4. Trabalhos Correlatos
O grupo LSTR realiza pesquisa em áreas como:
Realidade Virtual, Realidade Aumentada, Sistemas de
Multiprojeção e Visualização Científica.
Alguns trabalhos correlatos foram publicados em Figura 3. Declaração dos objetos Glass.
outros eventos, entre eles:
 Dias [6], apresentou um trabalho relacionado A Figura 4 apresenta o método de inicialização da
no WRVA 2009. O trabalho consiste em uma aplicação Glass.
ferramenta utilizada para visualização de
arcadas dentárias. As bibliotecas utilizadas
foram: a libGlass e o OpenGL [7]. A
aplicação foi desenvolvida utilizando a
linguagem C++, nativa às duas bibliotecas
utilizadas.
 Dias [8], apresentou trabalho no WIM 2010,
evento satélite do XXX CSBC. O trabalho
consiste de uma ferramenta de Visualização
Científica para Estruturas Dentárias em geral.
Esta ferramenta foi desenvolvida utilizando a
linguagem C++.

Neste trabalho, é efetuada a integração entre


bibliotecas desenvolvidas em linguagens diferentes: a
libGlass desenvolvida em C++; e o Java 3D, que
utiliza sintaxe Java. Portanto, é apresentada uma forma
Figura 4. Método de Inicialização da Glass.
de desenvolvimento de aplicações de multiprojeção
utilizando a linguagem Java.
Se o método glassInitialisation for executado sem
parâmetro de entrada, o nó será executado como

129
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Servidor, isto é, ele será responsável por gerenciar os ambiente, as novas coordenadas geradas são
outros nós do AG. Dessa maneira, o nó Servidor deve compartilhadas pelos objetos Glass, para que os outros
ser o primeiro a ser instanciado. Os objetos Glass são nós também possam ser alterados.
instanciados logo após a definição do tipo de nó. O
nome entre aspas, por exemplo, “anglex”, representa o
nome que o objeto compartilhado tem perante os nós.
O protocolo de rede utilizado entre os nós do
aglomerado é o TCP, sendo este implementado como
plugin da libGlass.
A Figura 5 apresenta a definição dos pontos de vista
do AV. Foram utilizados dois pontos de vistas, gerando
assim duas projeções simultâneas.

Figura 8. Método de Translação da aplicação.

A classe responsável por desenhar o AV é a


Canvas3D. O método preRender é chamado durante
Figura 5. Associação de pontos de vista.
todo o período em que a aplicação é executada. Este
método deve ser sobrecarregado para que todos os nós
Sempre que o ambiente receber algum estímulo do
do AG possam desenhar seu objeto Canvas ao mesmo
usuário, os objetos compartilhados devem ser
tempo. A Figura 9 apresenta a sobrecarga do método
atualizados. O método data_changed será sempre
preRender.
executado quando necessário.

Figura 6. Método de atualização de dados dos objetos Glass.

Quando os objetos são atualizados, todos os nós


devem ser sincronizados. Por isso, o método my_sync
possui uma chamada ao objeto Barreira datalock, Figura 9. Método executado antes da renderização das
responsável pelo sincronismo dos dados. cenas.

A Figura 10 apresenta um exemplo de execução da


aplicação Java 3D com suas coordenadas
compartilhadas.

Figura 7. Método de sincronismo dos objetos


Glass.
O método responsável por alterar as coordenadas X,
Y e Z do AV, é o getTransform, método
sobrecarregado da classe MouseTranslate. Toda vez
que o usuário necessitar modificar o estado do

130
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

7. Referências
[1] HANCOCK, D. Viewpoint: virtual reality in search of
middle ground. IEEE Spectrum, 1995.

[2] KIRNER, C.; SISCOUTTO, R. Fundamentos de


Realidade Virtual e aumentada. In: KIRNER, C.;
SISCOUTTO, R. Realidade Virtual e aumentada:
Conceito, Projeto e Aplicações. Porto Alegre: Editora SBC,
2007.

[3] SELMAN, D. Java 3D Programming. Manning, 2002.

[4] SUN MICROSYSTEM. The Java 3D API


Specification. 2000.
Figura 10. Execução da aplicação exemplo.
[5] GUIMARÃES, M. P. Um ambiente para o
desenvolvimento de aplicações de Realidade Virtual
6. Conclusão baseadas em aglomerados gráficos. São Paulo: [s.n.], 2004.

O uso de sistemas de multiprojeção, antes limitado a [6] DIAS, D. R. C. et al. Sistema de Realidade Virtual para
poucos devido aos altos custos dos dispositivos, hoje Estruturas Dentárias. In: 6º WORKSHOP DE REALIDADE
pode ser implementado utilizando-se apenas VIRTUAL E AUMENTADA - WRVA, 2009, Santos. Anais
computadores pessoais e projetores. do WRVA 2009, Santos, 2009.
A API Java 3D tende a facilitar o desenvolvimento
[7] OpenGL. The Industry's Foundation for High
de aplicações de Realidade Virtual, devido a sua
Performance Graphics: from games to virtual reality,
independência de plataforma e o alto poder de mobile phones to supercomputers. 2010. Disponível em:
produtividade que a linguagem Java proporciona ao <http://www.opengl.org/about/overview/>. Acesso em: 5
desenvolvedor. ago. 2010.
A libGlass, sendo uma biblioteca livre de custos,
apresentou um bom resultado com relação à proposta [8] DIAS, D. R. C. et al. Sistema de Multiprojeção para o
deste artigo: gerar um AV com multiprojeções de baixo Auxílio ao Ensino de Odontologia. In: XXX CONGRESSO
custo. DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO -
O desenvolvimento de aplicações utilizando essas CSBC, 2010, Belo Horizonte. Anais… Belo Horizonte,
2010. Disponível em: <http://www.inf.pucminas.br/sbc2010
tecnologias apresentadas são de fácil implementação,
/anais/index.htm>. Acesso em: 6 ago. 2010.
bastando apenas à modificação de alguns métodos da
API Java 3D. [9] Xj3D. 2009. Disponível em: <http://www.xj3d.org/>.
Acesso em: 5 ago. 2010.
Agradecimento
Este trabalho foi financiado pelo Conselho Nacional de
Desenvolvimento Científico e Tecnológico – CNPq,
sob concessão No. 477708/2008-0

131
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Uma plataforma para visualização estereoscópica horizontal

Bruno Eduardo Madeira Luiz Velho


Instituto Militar de Engenharia Instituto Nacional de Matemática Pura e Aplicada
Praça Gen. Tibúrcio 80 Laboratório Visgraf
Urca, Rio de Janeiro, RJ Estrada D. Castorina 110
madeira@ime.eb.br Horto, Rio de Janeiro, RJ
lvelho@impa.br

Abstract

Neste artigo é descrita uma arquitetura de hardware e


software desenvolvida com o objetivo de exibir imagens es-
tereoscópicas sobre superfı́cies horizontais. A arquitetura
oferece recursos para fazer o acompanhamento da cabeça
do usuário usada na correção do par estereoscópico, e re-
cursos de interação tangı́vel por meio de uso de fiduciais.

Figura 1. Em (a) é apresentada uma imagem


deformada preparada para ser vista na hori-
zontal, e em (b) tem-se sua visualização.
1 Introdução

O objetivo do projeto foi o desenvolvimento de um sis-


OpenGL, isso pode ser feito escolhendo-se apropriada-
tema composto por hardware e software capaz de exibir ob-
mente os parâmetros da função glFrustum.
jetos virtuais posicionados sobre uma superfı́cie plana dis-
As principais contribuições do projeto foram testar a
posta horizontalmente.
visualização estereoscópica em tela horizontal e o desen-
A principal motivação para o projeto é a criação de um volvimento de uma plataforma para criação de aplicativos
vı́nculo de apoio entre os objetos virtuais e a superfı́cie de especı́ficos para essa forma de visualização.
exibição, proporcionando uma melhor aceitação cognitiva
Observamos que, nas seções a seguir, excetuando-se a
quando comparada com a exibição de objetos virtuais que
Figura 7, tem-se que nas fotografias dos protótipos exibindo
aparecem flutuando na frente de telas dispostas na vertical.
imagens, apenas uma das imagens do par estereoscópico
Este tipo de sistema não tem despertado muito inter- aparece. Isso foi feito com a intenção de melhor ilustrar o
esse nos pesquisadores de realidade virtual. As únicas re- efeito tridimensional proporcionado ao observador quando
ferências sobre trabalhos semelhantes encontradas pelos au- este olha a cena através de um óculos 3D.
tores foram as patentes [4] e [1].
A diferença fundamental entre criar pares de imagens
estereoscópicas visualizáveis na horizontal e pares visu- 2 Estrutura fı́sica
alizáveis na forma convencional, feita com telas verticais, é
a aplicação de uma transformação geométrica que deforma Foram desenvolvidos dois protótipos: um mais simples,
a projeção. Esta transformação deve ser tal que faça com que pode ser transportado, e outro mais sofisticado, mon-
que o objeto visto do ponto de vista do observador seja tado de forma permanente no laboratório Visgraf do IMPA.
equivalente a imagem proveniente de um objeto sobre a su- O protótipo transportável é composto por um monitor
perfı́cie, como ilustra a Figura 1. CRT posicionado de forma horizontal sobre uma estrutura
Esse tipo de deformação pode ser facilmente gerado de aço e madeira e por um óculos estereoscópico, como
em computação gráfica através do cisalhamento verti- mostra a Figura 2.
cal da pirâmide de visão. Por exemplo, no caso do O protótipo fixo é composto por um projetor estere-

132
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

4 Funcionamento dos protótipos

O protótipo fixo possui um sistema para fazer o acom-


panhamento da posição da cabeça do usuário e outro
para fazer o acompanhamento de fiduciais utilizados para
interação.
A posição da cabeça é estimada utilizando-se as coorde-
nadas da projeção, feita sobre a câmera infravermelha de
um controle do videogame Wii, de um LED infravermelho
fixado à cabeça do usuário. Dessa forma, a imagem é atual-
izada em tempo real compensando o movimento do obser-
Figura 2. Protótipo estereoscópico trans- vador.
portável. Já o acompanhamento de fiduciais permite uma forma de
interação natural com os objetos virtuais (Figura 4). Esses
fiduciais são filmados pela câmera fixada ao teto, sendo
então identificados e acompanhados pela biblioteca AR
oscópico fixado ao teto do laboratório, uma mesa que re- ToolKit.
cebe a projeção, um óculos estereoscópico, uma câmera O protótipo móvel é mais simples. Ele não realiza o
de vı́deo, uma placa de captura de vı́deo, um controle do acompanhamento da cabeça do usuário, obrigando-o a se
videogame Wii e um emissor de luz infravermelha, como manter parado numa posição previamente estabelecida, e
mostra a Figura 3. também não oferece mecanismos de interação baseada em
fiduciais.

Figura 3. Em (a) o projetor estereoscópico e Figura 4. Um marcador é utilizado para mover


câmera de vı́deo fixados ao teto e em (b) vê- o carro virtual. Vê-se que a imagem exibida
se a mesa, o óculos 3D, o controle do Wii e muda conforme o observador se move em
sua respectiva barra com emissores infraver- relação à mesa.
melhos.

5 Programas adaptados
3 Bibliotecas utilizadas
Foram realizadas adaptações de programas para os dois
protótipos. O enfoque dado foi na área de jogos tridimen-
Os softwares dos protótipos foram em sua maioria im-
sionais, tendo sido adaptados os jogos de código aberto:
plementados em linguagem Python.
Warzone 2100 e CannonSmash.
A parte de Computação Gráfica foi resolvida usando a A escolha dos jogos não foi feita ao acaso. O jogo War-
biblioteca para desenvolvimento de jogos Panda3D. zone 2100 consiste de um combate terrestre travado em um
Para o reconhecimento e acompanhamento de fiduciais cenário montanhoso. Esse tipo de cenário visto na forma
foi utilizado a biblioteca AR ToolKit, que já está integrada estereoscópica horizontal produz a sensação de que o com-
ao Panda3D. bate se passa sobre uma maquete, tornando a visualização
Para realizar a leitura dos sensores do controle do Wii foi mais natural que a proporcionada pela versão original do
utilizada a biblioteca CWiid. jogo (Figura 5).
Foram também realizadas adaptações de jogos 3D de Embora a versão modificada seja interessante devido ao
código aberto para a plataforma, como descrito na seção 5. relevo do cenário, ela apresenta dois inconvenientes para o
Nestes jogos, o ajuste da saı́da gráfica foi feito caso a caso. efeito estereoscópico:

133
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

No caso da Linguagem C, foi criada uma biblioteca es-


crita sobre OpenGL para exibir objetos sobre os protótipos.
Um dos testes feito com essa biblioteca é apresentado na
Figura 7.

Figura 5. Em (a) a versão original do jogo


Warzone2100. Em (b) a versão modificada do
jogo sendo exibida na forma estereoscópica
horizontal.
Figura 7. Visualização estereoscópica feita
com a biblioteca escrita sobre OpenGL.
• Existe uma descontinuidade de altura nas bordas da
imagem, pois o relevo do cenário apresenta em geral
uma altura nas bordas diferente da tela horizontal; Os resultados interativos mais interessantes foram obti-
dos com o desenvolvimento em Python de aplicações com-
• O jogo necessita que o cenário deslize (scroll), tendo plexas baseadas no pacote Panda 3D. Como ilustrado pelas
em vista que ele é muito maior que a região de Figuras 4 e 8.
projeção. Este deslizamento dos objetos 3D sobre a
tela não corresponde a algo natural no mundo real.

Para testar o efeito estereoscópicos sem esses problemas


foi escolhido o jogo Cannon Smash, que representa uma
partida de tênis de mesa.
A eliminação dos problemas é possı́vel, pois o cenário de
uma partida de tênis de mesa pode ser mantido fixo dentro
da região de exibição, além disso, o piso do cenário pode
ser nivelado com a tela, eliminando a descontinuidade de
altura nas bordas do modelo projetado (Figura 6, letra (b)).

Figura 8. Aplicação interativa desenvolvida


com Panda 3D.

Além de terem sido desenvolvidas e adaptadas


aplicações tridimensionais interativas, foi desenvolvida
também uma metodologia para criar vı́deos estereoscópicos
fotorrealistas visualizáveis em telas dispostas na horizontal.
Figura 6. Em (a) a versão original do jogo Os vı́deos foram testados em um monitor LCD com
Cannon Smash. Em (b) a versão modifi- suporte a exibição estereoscópica. Ele será usado na
cada do jogo sendo exibida na forma estere- construção de um novo protótipo móvel que substituirá o
oscópica horizontal. protótipo móvel baseado em tecnologia CRT. A Figura 9
ilustra o resultado.

7 Conclusões
6 Programas desenvolvidos
Para algumas aplicações, a utilização de visualização
Além dos jogos adaptados, foram desenvolvidas estereoscópica sobre superfı́cies horizontais oferece uma
soluções para a implementação de sistemas em Linguagens maior naturalidade para o usuário do que a visualização es-
C e Python. tereoscópica tradicional. Quando ela é utilizada em con-

134
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Figura 9. Quadros de uma animação sendo


exibida em um monitor disposto na horizon-
tal.

junto com mecanismos de interação tangı́veis tem-se uma


amplificação da sensação de realidade oferecida ao usuário.

Referências

[1] S. Aubrey. Process for making stereoscopic images which


are congruent with viewer space. United States Patent,
(6,614,427), February 2000.
[2] J.-B. de la Rivière. 3d multitouch: When tactile tables meet
immersive visualization technologies. SIGGRAPH Talk, July
2010.
[3] A. Macy. Process and method of effective angular levitation
of printed images and the resulting product. United States
Patent, (1,592,034), September 1924.
[4] O. C. Wester. Anaglyph and method. United States Patent,
(6,389,236), February 2000.
[5] J. R. Yoshiki Takeoka, Takashi Miyaki. Z-touch: A multi-
touch system that detects spatial gesture near the tabletop.
SIGGRAPH Talk, July 2010.

135
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

 
SESSÃO TÉCNICA 7 
 
APLICAÇÕES EM REALIDADE VIRTUAL E 
AUMENTADA 

136
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Desafios e Oportunidades da Engenharia Cognitiva na Concepção de Sistemas


de Realidade Virtual e Aumentada

Eunice P. dos Santos Nunes1,2, Lucia V. L. Filgueiras1, Fátima L. S. Nunes1, Romero Tori1
1
Interlab – Laboratório de Tecnologias Interativas – Escola Politécnica/USP
Av. Prof. Luciano Gualberto, nº 380 – 05508-010 – São Paulo – fone (11) 3091-5282
2
Instituto de Computação – Universidade Federal de Mato Grosso (UFMT)
Av. Fernando C. da Costa, no 2367 – 78060-900 – Cuiabá-MT – fone: (65) 3615-8791
{eunice.poli,lfilguei,fatima.nunes,tori}@usp.br

Abstract objetivo de entender questões relacionadas ao uso de


computadores e aos métodos para se tomar decisões
The way as computer interface is designed may mais corretas quanto ao design, entre outras [10].
affect how people perceive, access, learn and A cognição envolve diversos tipos específicos de
remember things during task management. This processos, tais como: atenção, aprendizado, memória,
cognitive process includes reasoning, attention, percepção e reconhecimento, tomada de decisões,
learning, memory, perception, decision-making, raciocínio, planejamento, resolução de problemas,
planning, reading, speech and listening. Changes in leitura, fala e audição. No entanto, muitos desses
technology over the last years have demanded an processos cognitivos são interdependentes e vários
interdisciplinary reflection on the relationship between podem estar envolvidos em uma dada atividade [11].
interaction-human-computer in light of which O sistema cognitivo produz "ação inteligente", isto
Cognitive Engineering has been a target of researches é, seu comportamento é orientado, baseado na
in the conception of computer systems based on the manipulação de símbolos e a interface é projetada de
cognitive system of its users. In this context, Cognitive forma a usar o conhecimento do mundo (conhecimento
Engineering is recommended as a possible approach heurístico) para orientação durante a interação com um
for conceiving Virtual Reality (VR) and Augmented sistema [6].
Reality (AR) systems. Following this approach, this A estratégia da abordagem cognitiva para apoiar o
paper presents research that has been developed in the design de sistemas interativos está concentrada na
areas of VR and AR that exploring the cognitive elaboração de modelos cognitivos que permitam aos
aspects of their users in the interaction-human- designers entender os processos cognitivos humanos
computer process, what interaction resources are que atuam na interação com sistemas computacionais.
being used in this approach, and some challenges are Com tais modelos, é possível realizar experimentos e
pointed out in this line of research. fazer previsões sobre o grau de dificuldade dos
usuários em aprenderem a usar os sistemas e reter este
1. Introdução conhecimento durante o tempo necessário [11].
De acordo com Norman & Draper [10] os modelos
As mudanças no ambiente tecnológico criaram uma cognitivos descrevem os processos e estruturas mentais
demanda para se pensar a relação interação homem- (recordação, interpretação, planejamento e
computador de forma interdisciplinar e diante disso, a aprendizado, etc) que podem indicar para
Engenharia Cognitiva tem embasado pesquisas na pesquisadores e projetistas quais as propriedades que
concepção de sistemas de computador que consideram os modelos de interação devem ter, de maneira que a
os aspectos cognitivos dos seus usuários. interação possa ser desempenhada mais facilmente
Engenharia Cognitiva é uma ciência aplicada, que pelos usuários. Como esta abordagem adota uma
busca empregar o que se sabe sobre cognição no design perspectiva centrada nos aspectos cognitivos dos
e na construção de artefatos computacionais com usuários, o projeto feito com base nesses aspectos é
chamado de Projeto de Sistemas Centrado no Usuário.

137
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Uma das teorias mais conhecidas desse é a Engenharia A Figura 1 mostra o processo de design na
Cognitiva que se baseia no pensamento, ou seja, na abordagem da Engenharia Cognitiva.
forma como o usuário interpreta e interage com o
sistema [14].
Neste trabalho, procura-se discutir a concepção de
sistemas de Realidade Virtual (RV) e Realidade
Aumentada (RA) sob a perspectiva da Engenharia
Cognitiva, visto que estes sistemas buscam a interação
homem-computador mais próxima da realidade do
usuário.
Seguindo esta abordagem o presente trabalho
apresenta pesquisas que têm sido desenvolvidas nas
áreas de RV e RA que se preocupam com os aspectos
cognitivos dos usuários no processo de interação
homem-computador, como esses aspectos têm sido
explorados; quais recursos de interação têm sido
utilizados, e como a abordagem da Engenharia
Cognitiva desde a fase de concepção do sistema
poderia contribuir para um sistema centrado no
usuário.
Este trabalho está estruturado da seguinte maneira: a
seção 2 apresenta os conceitos sobre Engenharia
Cognitiva. A seção 3 apresenta pesquisas nas áreas de
Realidade Virtual e Realidade Aumentada Figura 1. Modelo de interação da Engenharia
desenvolvidas com a perspectiva da Engenharia Cognitiva [14]
Cognitiva, e a seção 4 apresenta as discussões e
conclusões deste trabalho. Isso significa dizer que as pessoas elaboram e
trabalham sobre a realidade através de modelos
2. Engenharia Cognitiva mentais ou representações que montam a partir de
percepções provenientes dessa realidade. Esses
A Engenharia Cognitiva foi concebida por Donald modelos, que condicionam totalmente o
Norman em 1986 [10] como uma tentativa de aplicar comportamento do indivíduo, constituem a sua visão
conhecimentos de Ciência Cognitiva, Psicologia da realidade, que é modificada e simplificada pelo que
Cognitiva e Fatores Humanos ao design e construção é funcionalmente significativo para ele. Os modelos
de sistemas computacionais. Os principais objetivos de mentais relativos a um sistema interativo, por exemplo,
Norman eram: i) entender os princípios fundamentais variam de indivíduo para indivíduo, em função de suas
da ação e desempenho humano que são relevantes para experiências passadas, e evoluem no mesmo indivíduo,
o desenvolvimento de princípios de design; ii) elaborar em função de sua aprendizagem.
sistemas que sejam agradáveis de usar e que envolvam Partindo do princípio da Engenharia Cognitiva, o
os usuários de forma prazerosa [14]. objetivo do designer é desenvolver uma aplicação que
Norman & Draper [10] definem que inicialmente o facilite ao usuário trabalhar com modelos mentais que
designer cria o seu modelo mental do sistema, sejam mais naturais a ele. Para que isto seja possível,
chamado “modelo de design”, fazendo a seguir a Norman & Draper [10] argumentam que o designer
implementação formando a imagem do sistema. precisa entender o processo através do qual o usuário
Posteriormente, o usuário interage com essa imagem e interage com a interface do sistema e para isso propõe
cria seu próprio modelo mental da aplicação, chamado a Teoria da Ação para apoiá-lo.
de “modelo do usuário”, por meio do qual formulará A Teoria da Ação determina que a interação
suas ações e objetivos, traduzindo-os em termos de usuário-sistema deve ser feita através de um ciclo de
comandos e funções do sistema. Percebe-se, assim, que ações. Esse ciclo se divide em dois Golfos, o Golfo de
a Engenharia Cognitiva focaliza centralmente a Execução (Formulação da Intenção, Especificação da
interação usuário-sistema, enfatizando o produto final Sequência das Ações, Execução) e o Golfo de
do processo de design, o sistema, e o modo como o Avaliação (Percepção, Interpretação, Avaliação), como
usuário o entende. ilustra a Figura 2.

138
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Mas apesar das pesquisas nesta área estarem


avançadas, a sua implementação ainda é considerada
um grande desafio. A seguir são apresentados alguns
projetos de pesquisa selecionados neste trabalho, que
buscam demonstrar como a comunidade científica de
RV e RA têm caminhado no âmbito da Engenharia
Cognitiva, especificamente em relação aos fatores
humanos, buscando identificar nesses trabalhos quais
os elementos cognitivos relevantes ao problema em
estudo em cada pesquisa, a fim de identificar a
importância da Engenharia Cognitiva na concepção de
sistemas de RV e RA.

3.1. Sistemas de Realidade Virtual

Wallet et al. [16] propõem o uso de RV em uma


ferramenta de reabilitação cognitiva para pacientes
Figura 2. Etapas da Teoria da Ação [14] com diagnóstico de Parkinson, Alzheimer e lesões
cerebrais. O objetivo da pesquisa foi investigar a
O designer do sistema pode ajudar o usuário a influência do ambiente virtual 3D (passivo x ativo),
atravessar estes golfos diminuindo a distância de uma para simular um passeio nas ruas de uma cidade já
ponta a outra. Para isto ele deve definir quais são as vivenciada pelo paciente. Esta simulação estimula o
ações e estruturas mais adequadas para comandar as usuário a transferir para o ambiente virtual (AV) os
funções do sistema, escolher os elementos de interface conhecimentos geográficos espaciais já adquiridos no
que melhor comunicam a informação desejada e optar passado e que foram perdidos devido às limitações
por feedbacks significativos. Quanto mais próxima da advindas do diagnóstico.
tarefa e das necessidades do usuário estiver a interface O AV proposto foi implementado com base na
oferecida pelo designer, menos esforço cognitivo será cognição espacial, que se refere à capacidade cognitiva
exigido do usuário para interagir com o sistema [10]. de mover-se em um ambiente sem se perder. A
Dessa forma a Engenharia Cognitiva se concentra principal conclusão deste estudo é que a transferência
no processo de interação usuário-sistema, deixando a de conhecimento espacial pode ser impulsionada pela
etapa projetista-sistema em segundo plano. Assim, ela aprendizagem ativa e neste sentido o AV proposto
enfatiza o produto deste processo, que é o sistema, e a contribuiu para a reabilitação cognitiva dos pacientes
interpretação do usuário sobre o produto [14]. em estudo.
Em outras palavras, a Engenharia Cognitiva oferece Em outro projeto Wallet et al. [17] aplicaram o
subsídios para se definir a interação usuário-sistema, experimento em dois ambientes, um virtual e um real.
cognitivamente adequada para uma determinada O ambiente real foi uma área próxima de um Hospital
população de usuários. e para o ambiente virtual 3D foi criada uma réplica do
ambiente real. Para manipular o modo de exploração
3. Concepção de sistemas com a no ambiente virtual sob a condição passiva, os
perspectiva da engenharia cognitiva participantes apenas visualizaram o percurso sem
qualquer interação, enquanto que na condição de ativo
A partir de uma revisão bibliográfica acerca do eles usaram um joystick para interação. O objetivo foi
tema, observa-se que várias pesquisas têm sido avaliar o efeito da exploração passiva versus ativa na
realizadas envolvendo as tecnologias de Realidade transferência de conhecimentos geográficos, de acordo
Virtual e Realidade Aumentada aplicando os diversos com a complexidade do trajeto. Os resultados da
conhecimentos que envolvem a Engenharia Cognitiva, pesquisa demonstraram resultados similares nos dois
como Ciência Cognitiva, Psicologia Cognitiva e ambientes.
Fatores Humanos ao design e construção de sistemas Zanbaka et al. [19] propuseram um experimento
computacionais. Tais conhecimentos buscam a entre vários indivíduos comparando quatro diferentes
concepção de ambientes virtuais mais próximos da situações de movimentação em um ambiente virtual
realidade dos usuários e com melhoras significativas imersivo e os seus efeitos sobre a cognição dos
nas questões de usabilidade e interação homem- indivíduos nos caminhos tomados no ambiente. Após a
computador. movimentação e navegação no ambiente, os
participantes responderam a um conjunto de questões

139
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

baseadas em Bloom et al. [2], a fim de avaliar sua mostraram a importância de se utilizar a abordagem da
cognição no ambiente virtual imersivo em relação ao Engenharia Cognitiva para a concepção de sistemas de
conhecimento, compreensão e aplicação, considerando RM, em vez de transferir as diretrizes tradicionais de
os processos mentais superiores. usabilidade para interação homem-computador no
Segundo Vygotsky [15], os processos mentais domínio em questão.
superiores (pensamento, linguagem, comportamento) Nesse mesmo caminho Nilsson & Johansson [9]
têm origem em processos sociais. O desenvolvimento apresentaram a concepção de um protótipo que utiliza
cognitivo do ser humano não pode ser entendido sem técnicas de RA também com base na Engenharia
referência ao meio social, ou seja, é necessário Cognitiva, e inclui um estudo de usabilidade que foi
converter as relações sociais em funções mentais. testado por doze participantes profissionais médicos e
O objetivo da pesquisa de Zanbaka et al. [19] foi enfermeiros. O objeto usado no estudo foi um Trocarte,
investigar as diferenças na percepção e compreensão instrumento cirúrgico que serve para praticar uma
de um AV imersivo, comparando-se a exploração do punção em um paciente. Todos os participantes tinham
mesmo por meio de duas formas de interação: usando alguma experiência como o instrumento e foram
um joystick comum e caminhando sobre o espaço observados realizando a tarefa virtual.
virtual de uma forma natural. Visto que em um O trabalho teve como objetivo principal discutir a
ambiente virtual 3D uma navegação eficiente constitui usabilidade e aceitação do usuário em relação ao uso
um aspecto fundamental para alcançar uma interação do protótipo como instrumento de ensino e os
homem-computador condizente com o ambiente resultados obtidos serviram como base para a discussão
virtual, que tem como objetivo principal simular da concepção de sistemas de RA sob a perspectiva da
situações reais. Engenharia Cognitiva. A análise dos resultados indicou
Também na literatura são encontrados diversos que, embora existam alguns problemas ergonômicos a
estudos que buscam a avaliação da cognição em serem resolvidos, a aceitação neste grupo de usuários
ambientes virtuais voltados para o ensino, como em foi elevado, uma vez que um instrumento como o
[5], no qual os autores desenvolveram um framework, Trocarte representa uma ferramenta utilizada para uma
utilizando técnicas de hipermídia adaptativa visando a tarefa de alto risco, mesmo quando usada por
adaptação de um ambiente virtual de aprendizagem de profissionais qualificados.
apoio a EaD, considerando os estilos cognitivos Alguns artigos que abordam a importância da visão
predominantes dos alunos de um curso a distância. cognitiva que está alinhada com a teoria da Engenharia
Cognitiva também têm sido alvo de estudos, como em
3.2. Sistemas de Realidade Aumentada Siegl et al. [13], que apresentam o Projeto Europeu de
Visão Cognitiva (European Cognitive Vision Project)
Nilsson & Johansson [8] desenvolveram um que utiliza tecnologia de RA para selecionar objetos
protótipo para simular uma técnica da área médica, em uma sala, posicionados fora do alcance do braço.
denominada Diatermia, que usa um transmissor de Este trabalho foi concebido seguindo a teoria de
ondas curtas (HF) com o objetivo de provocar o sistema de visão cognitiva proposto por Christensen &
aquecimento de tecidos internos do corpo. Este Nagel [4]. Para tal foi sugerido um sistema wearable
protótipo foi desenvolvido utilizando técnicas de que consiste em dois subsistemas independentes,
Realidade Misturada (RM) - Mixed Reality. O permitindo mobilidade e podendo ser aplicado tanto
desenvolvimento do protótipo tratou as questões de em ambientes internos quanto externos. O aplicativo
usabilidade do sistema sob a perspectiva da Engenharia funciona como uma retroalimentação, visto que
Cognitiva, com a finalidade de encontrar uma permite o sistema aprender assistindo um ser humano
abordagem alternativa para interação dos usuários com realizar determinadas tarefas.
sistemas de RM de forma mais natural possível. Os resultados da pesquisa mostraram que a
Um estudo qualitativo foi realizado com os tecnologia de RA proporcionou uma interação homem-
usuários em um hospital, no qual os profissionais computador adequada partindo do princípio da teoria
testaram o protótipo como um equipamento médico do sistema de visão cognitiva, pois modelou o
voltado para o ensino da técnica. Os resultados processamento da memória visual humana com a
indicaram que os participantes deste estudo não memória ativa [13].
consideraram o sistema RM como um dispositivo de Bannat et al. [3] & Wallhoff et al. [18] propõem
computador tradicional, mas sim como um instrumento um framework multimodal de adaptação de um sistema
pessoal interativo. Durante o estudo, os usuários de produção em uma fábrica de automóveis de acordo
apontaram algumas questões fundamentais em matéria com os aspectos cognitivos dos funcionários do setor
de design e usabilidade no uso do protótipo, que de produção mediante a complexidade da montagem
manual das peças. Pela observação dos hábitos naturais

140
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

dos funcionários em uma fila de produção, tais como Reabilitação Espacial (2004,2008)
os fatores humanos de emoção, reconhecimento de Cognitiva
Avaliação da Processos Zanbaka et
gestos, monitoramento e rastreamento de movimento percepção e mentais al. (2005)
dos olhos e outros, o processo de produção pode ser compreensão de superiores
RV
rastreado e, portanto, ser acompanhado e adaptado um AV imersivo
dependendo do contexto. Avaliação da Estilos Geller;
cognição em AV cognitivos Tarouco;
Este sistema utiliza técnicas de RA, equipado com de EaD predominantes Franco
sensores e atuadores, integrados e incorporados ao (2004)
ambiente físico. Eles diferem de outros sistemas deste Discussão dos Processo de Nilsson;
tipo por capturar os aspectos cognitivos dos aspectos de Engenharia Johansson
usabilidade Cognitiva (2006,2007)
funcionários durante o período de trabalho no setor de
Avaliação da Visão cognitiva Siegl et al.
produção e, assim, possibilitar a capacidade de interação homem- (2007)
adaptação do sistema técnico de acordo com os computador
RA
aspectos cognitivos observados e capturados durante Framework Observação dos Bannat et al.
um período de observação. A adaptação do sistema multimodal de aspectos (2008);
adaptação de um cognitivos Wallhoff et
para o usuário é o principal tema de investigação do sistema de al. (2007)
trabalho dos autores. Portanto a máquina cognitiva produção
observa o trabalhador, reconhece ações relevantes e
reage à situação de acordo com o contexto. Uma vez 4. Discussões e conclusões
que esta é uma tarefa de alta complexidade que
consiste de vários módulos com diversos graus de Analisando os trabalhos relacionados nesta revisão
liberdade, um estudo de caso de produção virtual foi bibliográfica sobre ambientes virtuais 3D, observa-se
estabelecido e estudado, obtendo sucesso nos que vários estudos têm sido realizados destacando-se
resultados da pesquisa. os Fatores Humanos no processo de desenvolvimento
de sistemas interativos.
3.3. Sumarização No entanto, apesar das pesquisas nesta área estarem
avançadas, um grande desafio no campo da interação
A tabela 1 sumariza os trabalhos apresentados nas homem-computador tem sido projetar interfaces de
seções 3.1 e 3.2, classificando-os conforme o foco, usuário para tecnologias emergentes que ainda não têm
abordagem teórica e autores. Tais trabalhos mostram estabelecidos diretrizes de design ou modelos de
como conhecimentos de fisiologia e psicologia podem interação ao introduzir formas completamente novas
contribuir para o projeto de sistemas interativos para os usuários perceberem e interagirem com a
centrados no usuário e a importância de se considerar tecnologia e o mundo ao seu redor. Visivelmente, as
os diversos fatores humanos no desenvolvimento de tecnologias de RV e RA são tecnologias emergentes
ambientes virtuais de RV e RA. que carecem de pesquisas no campo da interação
Para implementação dos fatores humanos alguns homem-computador.
modelos cognitivos têm sido utilizados com sucesso A cognição não é definida como um processo
em sistemas de RA e o ponto de partida tem sido as psicológico, exclusivo para os seres humanos, mas
questões da percepção humana, cognição espacial, como uma característica de desempenho do sistema, ou
visão cognitiva, capacidade cognitiva e as limitações seja, a capacidade de manter o controle. Qualquer
dos usuários, entre outros [12]. sistema que pode manter o controle tem potencial
Mas em RV o que se observou na revisão cognitivo ou cognição [7]. Sendo assim, as teorias da
bibliográfica foi que os AVAs têm sido desenvolvidos Engenharia Cognitiva vêm contribuir para o Projeto de
na sua maioria para investigar a cognição dos usuários Sistemas Centrado no Usuário e diversos Modelos
após o uso do sistema. Dessa forma, há uma lacuna a Cognitivos estão disponíveis, como ACT-R e SOAR
ser preenchida quando se busca sistemas de RV [1]. Esses modelos cognitivos buscam simular o
seguindo a abordagem da Engenharia Cognitiva, isto é, desempenho cognitivo e o comportamento de um ser
sistemas de RV com Projeto de Sistemas Centrado no humano durante a execução de uma tarefa.
Usuário. Neste cenário, esta pesquisa constatou que a
Tabela 1: Abordagens teóricas utilizadas no comunidade científica das áreas de RV e RA ainda
desenvolvimento de sistemas de RV e RA deixam a desejar quando o assunto é Projeto de
Sistemas Centrado no Usuário. Considerando-se os
Técnica Foco Abordagem Autores trabalhos encontrados no decorrer da pesquisa, notou-
AV teórica se que muitos sistemas de RA têm se preocupado em
Sistema para Cognição Wallet et al.

141
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

desenvolver ambientes virtuais com base nos fatores [11] Preece, J. Design de Interação: além da interação
humanos, mas em RV o que se encontrou foi apenas homem-computador. Porto Alegre: Bookman, 2005.
uma preocupação em se utilizar os ambientes virtuais [12] Ritter, F. E., Gordon D. Baxter, Gary Jones, e Richard
como forma de avaliação da cognição dos usuários e M. Young. 2000. Supporting cognitive models as users.
não como condição para se projetar a interação ACM Trans. Comput.-Hum. Interact. 7, no. 2: 141-173.
usuário-sistema. doi:10.1145/353485.353486.
[13] Siegl, H., M. Hanheide, S. Wrede, e A. Pinz. 2007. An
augmented reality human-computer interface for object
5. Referências localization in a cognitive vision system. Image and Vision
[1] Begosso, L. C.; Filgueiras, L. V. Human error simulation Computing 25, no. 12 (Dezembro 3): 1895-1903.
as an aid to HCI design for critical systems. In Proceedings doi:10.1016/j.imavis.2006.04.027.
of VII Brazilian Symposium on Human Factors in Computing [14] Souza, C.S.; Leite, J.C.; Prates, R.O.; Barbosa, S.D.J.
Systems (Natal, RN, Brazil, November 19 - 22, 2006). IHC Interação Humano-Computador: Perspectivas Cognitivas e
'06, vol. 323. ACM, New York, NY, 120-127. DOI= Semióticas. In: Fuks, H. (Org.). Anais do XIX Congresso da
http://doi.acm.org/10.1145/1298023.1298040. Sociedade Brasileira de Computação. Vol. 2: Jornadas de
[2] Bloom, B. S.; Englehart, M. D.; Furst, E.J.; Hill, W.H.; Atualização em Informática. Rio de Janeiro: Edições
Krathwohl, D.R. Taxonomy of Educational Objectives: EntreLugar, 1999, pp. 420-470.
Cognition Domain. New York: McKay, 1956. [15] Vygotsky, L. S. A formação social da mente. 2ª. Ed. São
[3] Bannat, A.; Gast, J.; Rigoll, G.; Wallhoff, F., "Event Paulo: Martins Fontes, 1988.
analysis and interpretation of human activity for augmented [16] Wallet, G., H. Sauzéon, J. Rodrigues, e B. N'Kaoua.
reality-based assistant systems," Intelligent Computer Transfer of spatial knowledge from a virtual environment to
Communication and Processing, 2008. ICCP 2008. 4th reality: Impact of route complexity and subject's strategy on
International Conference on pp.1-8, 28-30, the exploration mode. Fedora Document.
URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4 http://www.jvrb.org/archiv/1757/index_html?set_language=e
648347&isnumber=4648340 n&cl=en, 2004.
[4] Christensen, H.I.; NAGEL, H.H. Cognitive Vision [17] Wallet, Grégory, Hélène Sauzéon, Jérôme Rodrigues, e
Systems. ERCIM News no. 53 (2003), 17–18. Bernard N'Kaoua. 2008. Use of virtual reality for spatial
http://www.ercim.eu/publication/Ercim_News/enw53/EN53. knowledge transfer: effects of passive/active exploration
pdf. mode in simple and complex routes for three different recall
[5] Geller, M.; Tarouco, L. M. R.; Franco, S. R. K. Educação tasks. In Proceedings of the 2008 ACM symposium on
a Distância e Estilos Cognitivos: Construindo a Adaptação de Virtual reality software and technology, 175-178. Bordeaux,
Ambientes Virtuais. In: VII Congresso Iberoamericano de France: ACM. doi:10.1145/1450579.1450616.
Informática Educativa, Monterrey, México, 2004. [18] Wallhoff, F.; Ablassmeier, M.; Bannat, A.; Buchta, S.;
[6] Hollnagel, Erik; David D. Woods. Cognitive Systems Rauschert, A.; Rigoll, G.; Wiesbeck, M., "Adaptive Human-
Engineering: New wine in new bottles. International Journal Machine Interfaces in Cognitive Production Environments,"
of Man - Machine Studies. Multimedia and Expo, 2007 IEEE International Conference
http://www.ise.ncsu.edu/nsf_itr/794B/papers/Hollnagel_Woo on , vol., no., pp.2246-2249, 2-5 July 2007
ds_1983_IJMMS.pdf. URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4
[7] Hollnagel, E.,Woods, D.D. Joint Cognitive Systems. 285133&isnumber=4284553
Foundations of Cognitive Systems Engineering. Boca Raton, [19] Zanbaka, C. A.; Lok, B. C.; Babu, S. V.; Ulinski, A. C.;
FL: CRC Press, Taylor & Francis Group, 2005. Hodges, L.F. Comparison of Path Visualizations and
[8] Nilsson, Susanna, e Björn Johansson. 2006. A cognitive Cognitive Measures Relative to Travel Technique in a
systems engineering perspective on the design of mixed Virtual Environment. IEEE Transactions on Visualization
reality systems. In Proceedings of the 13th European and Computer Graphics, vol. 11, no. 6, pp. 694-705,
conference on Cognitive ergonomics: trust and control in Nov./Dec. 2005.
complex socio-technical systems, 154-161. Zurich,
Switzerland: ACM. doi:10.1145/1274892.1274923.
[9] Nilsson, S.; Johansson B. 2007. Fun and usable:
augmented reality instructions in a hospital setting. In
Proceedings of the 19th Australasian conference on
Computer-Human Interaction: Entertaining User Interfaces,
123-130. Adelaide, Australia: ACM.
doi:10.1145/1324892.1324915.
[10] Norman, D. A.; Draper, S. W. User Centered System
Design – news perspectives on human-computer interaction.
New Jersey: Lawrence Associates, 1986.

142
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Análise de técnicas de limiarização adaptativa para realidade aumentada


embarcada

Bernardo Reis1, João Marcelo Teixeira1, Eduardo Simões de Albuquerque2, Veronica Teichrieb1,
Judith Kelner1
1 2
Centro de Informática Instituto de Informática
Universidade Federal de Pernambuco Universidade Federal de Goiás
{bfrs, jmxnt, vt, jk}@cin.ufpe.br eduardo@inf.ufg.br

Resumo paralela de diversos procedimentos, devido à


implementação feita diretamente em hardware.
Os sistemas embarcados atuais apresentam Contudo, estes dispositivos também possuem
características que permitem executar aplicações de grandes limitações quando comparados com
realidade aumentada. Tendo em vista que muitas computadores de mesa, como pouco recurso de
destas aplicações processam imagens em preto e memória, o que reduz o poder de processamento, e a
branco na implementação de procedimentos de visão dificuldade de desenvolver para estes dispositivos.
computacional, este artigo analisa algoritmos de Normalmente a utilização de linguagens de baixo
limiarização adaptativa do ponto de vista de sistemas nível, pouca abstração e particularidades de cada
embarcados. O foco principal é na implementação fabricante são dificuldades adicionais para a utilização
para um framework de realidade aumentada desses dispositivos.
embarcada. Focando essas dificuldades citadas, este artigo
analisa algoritmos de visão computacional com o
1. Introdução objetivo de definir os que melhor se comportam em
aplicações de RA desenvolvidas para dispositivos
A Realidade aumentada (RA) faz uso de algoritmos embarcados. Os algoritmos analisados são baseados na
de visão computacional para sobrepor informações técnica de limiarização adaptativa de imagens. Esta
virtuais – 2D ou 3D, textual ou visual – em cenários do técnica foi escolhida porque as imagens em preto e
mundo real, para ampliar a percepção do usuário e sua branco são o ponto de partida da maioria dos
interação com o ambiente real. Um dos objetivos procedimentos de visão computacional necessários
principais de uma aplicação de RA é que os objetos para RA. Nesse contexto específico, uma limiarização
virtuais adicionados na cena se integrem com o mundo bem feita facilita o reconhecimento dos marcadores
real sem que os usuários percebam esta distinção. Para utilizados para registrar o mundo real nas aplicações de
atingir esta integração, algoritmos de visão RA com marcadores.
computacional sofisticados são necessários [1]. Esta Este artigo está organizado da seguinte maneira: a
técnica tem sido bastante difundida nos mais diversos seção 2 explica o ambiente onde serão implementados
campos de atuação, como medicina, treinamentos, os algoritmos, com seus pontos positivos e negativos;
reparos, entre outros. na seção 3 é definida a metodologia de análise dos
Uma especialidade dessa área é a RA embarcada, algoritmos; na seção 4 os algoritmos são explicados e
que envolve a utilização de dispositivos embarcados analisados do ponto de vista de projeto de sistemas
[2]. Estes dispositivos têm a vantagem de serem embarcados; e a seção 5 apresenta conclusões e
pequenos, portáteis e consumirem pouca energia, trabalhos futuros.
possibilitando assim o desenvolvimento de aplicações
móveis ou vestíveis, características necessárias para 2. Ambiente de desenvolvimento
muitas aplicações de RA. Em alguns desses
dispositivos, como nos Field-Programmable Gate O desenvolvimento de aplicações para sistemas
Arrays (FPGAs), é possível inclusive a execução embarcados pode ser bastante custoso,
comparativamente à realização da mesma tarefa para

143
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

um ambiente desktop. Isto ocorre devido colorida para uma imagem em escala de cinza. Isto
principalmente à própria natureza desta plataforma, também é importante devido à quantidade reduzida de
que é voltada para aplicações específicas, onde o memória disponível para armazenar estas imagens, já
melhor desempenho sempre é desejável. que uma imagem colorida de 320x240 pixels com 6
Para alcançar este desempenho, abstrações são bits por cor consome 1382400 bits, enquanto uma
normalmente evitadas, a ponto de serem definidas imagem binária similar necessita apenas de 76800 bits.
inclusive as interconexões entre flip-flops. Além disso, Entretanto, como o módulo existente no ARCam
os dispositivos embarcados são de tamanho reduzido, executa uma limiarização básica, que não leva em
com o intuito de serem portáteis ou de ocuparem pouco consideração aspectos da imagem, é necessária uma
espaço físico em um ambiente. Isto resulta em um análise sobre outras técnicas que aprimorem esta
baixo consumo de energia, que é tanto desejado, como limiarização. No módulo atual é utilizado apenas um
necessário, já que dispositivos móveis possuem limiar fixo para determinar se o pixel é preto ou
capacidade limitada de bateria. branco. Isto leva a um funcionamento inadequado do
Alguns dispositivos, como FPGAs, permitem a sistema em situações com pouca iluminação ou com
programação específica de cada “fatia” de hardware baixo contraste, como ilustrado na Figura 1, onde parte
que compõe seu núcleo, possibilitando que mais de da face não é segmentada do plano de fundo da
uma tarefa seja executada simultaneamente, isto é, com imagem.
paralelismo real (físico).
O desenvolvimento para sistemas embarcados
normalmente envolve a utilização de bibliotecas
específicas do fabricante – comum em celulares ou
microcontroladores – ou linguagens de baixo nível,
ambas as soluções com uma íngreme curva de
aprendizado.
Estas características, contudo, adéquam-se muito
bem às necessidades das aplicações de RA. Porém, as
restrições da plataforma dificultam o desenvolvimento
dessas aplicações. O sistema ARCam, apresentado na
próxima subseção, propõe algumas alternativas para Figura 1. Exemplo de limiarização problemática.
solucionar este problema.
Uma possível solução é a utilização de técnicas de
2.1 ARCam limiarização adaptativa, que usam diversas
características da imagem para permitir a distinção
entre as partes claras e as partes escuras da imagem.
Augmented Reality Camera (ARCam) é um
Este trabalho analisa alguns destes algoritmos e avalia
framework para o desenvolvimento de aplicações de
quais deles poderão ser integrados ao pipeline do
RA embarcada em FPGAs [3][4]. O framework possui
ARCam.
um conjunto de módulos que executam os principais
algoritmos de visão computacional necessários em RA.
Com este conjunto de módulos é possível implementar 3. Metodologia de análise
todo o pipeline de RA, desde a captura da imagem de
entrada da câmera (sensor de imagem acoplado ao O processo de análise desta pesquisa tem como base
FPGA) até a exibição da imagem processada em um fatores qualitativos para avaliar a viabilidade de
display. implementação dos algoritmos de limiarização.
Esses módulos se conectam em forma de cascata, e Contudo, não será avaliada a qualidade da
um componente de memória é utilizado para limiarização, e sim a adaptabilidade dos algoritmos
intermediar a transferência de dados (imagens) entre para sistemas embarcados em RA.
um módulo e outro. A maior parte desses módulos Do ponto de vista de sistemas embarcados serão
executa algoritmos de processamento de imagem, consideradas as seguintes métricas: a facilidade de
como filtragem, convolução, detecção de bordas, paralelização dos procedimentos, o que pode viabilizar
detecção de quadrados, e necessitam que a imagem de a utilização de um algoritmo que sequencialmente
entrada esteja em formato binário (preto e branco). Por consuma mais tempo de processamento; a
isso, um módulo que execute limiarização na imagem complexidade das operações envolvidas, já que
proveniente da câmera é requerido. Este módulo algumas operações podem demorar muito para serem
executa a limiarização depois de converter a imagem executadas ou suas implementações podem ocupar um
número excessivo de elementos lógicos; e uma

144
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

estimativa da quantidade de memória requerida, tendo Este método não apresenta resultados
em vista ser bastante escassa em dispositivos qualitativamente bons comparados aos outros métodos
embarcados. de limiarização adaptativa, contudo é simples e rápido.
Para a análise da viabilidade de utilização dos Ele requer alguma memória para armazenar o
algoritmos no framework ARCam as métricas serão histograma da imagem, mas necessita apenas de
definidas considerando diversos fatores relativos ao poucos elementos lógicos, devido à baixa
comportamento do módulo a ser implementado e os complexidade dos cálculos envolvidos. Apesar de ser
possíveis impactos que poderão ocorrer nos demais essencialmente sequencial, é possível incluí-lo no
módulos do framework. Exemplos desses fatores são: pipeline do ARCam sem introduzir atraso relevante na
qual o tipo de leitura em memória a ser utilizado; qual execução, uma vez que a imagem proveniente da
o método de limiarização a ser otimizado quando da câmera é captada através de um fluxo também
identificação de marcadores de RA, entre outros. sequencial. Este fato caracteriza este método como
uma boa opção para RA embarcada.
4. Limiarização adaptativa
4.2. Método de Riddler
A limiarização adaptativa é uma técnica que analisa
diversos aspectos da imagem para definir se Para definir o valor do limiar, o método de Riddler
determinado pixel será considerado preto ou branco. et al. [6] utiliza um modelo gaussiano de duas classes.
Esta técnica possui uma literatura repleta de A cada iteração, um valor de limiar é escolhido
algoritmos, desde soluções simples (que requer pouco baseado na média do valor das classes de plano de
custo computacional) até a solução ótima de imagem e de fundo. Quando o módulo da diferença
limiarização local. Os algoritmos baseiam-se em entre o valor de limiar de duas iterações seguidas é
características variadas da imagem, como o formato do pequeno o suficiente, então o seu valor é definido.
histograma, a entropia do histograma, atributos Esse processo iterativo possui uma implementação
espaciais, entre outros. custosa quando integrado ao framework do ARCam.
Na próxima subseção estes algoritmos são Isto ocorre porque o fluxo de imagem da câmera não
analisados para verificar a viabilidade de sua permite que a mesma seja lida repetidas vezes, nem há
implementação no pipeline do ARCam. memória suficiente para armazenar a imagem em mais
de um lugar.
4.1. Método de Rosenfeld No entanto, é possível adaptá-lo, considerando que
quadros consecutivos de vídeo não tenham uma
O método de Rosenfeld et al. [5] utiliza o formato composição muito diferente (plano de imagem e de
do histograma para definir o valor do limiar da função. fundo). Em vez do módulo iterar sobre a mesma
O histograma é subtraído de sua própria envoltória imagem, o fluxo convencional da câmera é utilizado e
convexa e o vale mais profundo desta diferença é o limiar é aproximado a cada quadro. Além disso, as
definido como este limiar. A envoltória convexa é o operações utilizadas por este algoritmo não são
polígono convexo que inclui todos os pontos, como complexas e não há necessidade de alocar muitos
ilustrado na Figura 2. recursos de memória. Este método também pode ser
uma boa solução para RA embarcada.

4.3. Método de Kapur

Kapur et al. [7] consideram que uma imagem é


formada por duas classes de objetos, sendo elas o plano
de fundo e o da imagem. Quando a soma das entropias
de cada classe alcança seu valor máximo, os autores
consideram que a imagem está limiarizada da melhor
maneira possível. Dessa forma, o algoritmo de Kapur
define o limiar como o argumento máximo da soma
das entropias.
O processo de otimização é simples, mas tem uma
execução comparativa muito lenta em relação ao fluxo
Figura 2. Exemplo de histograma e envoltória convexa de imagens da câmera. Somado a isso, a função da
do histograma. entropia, que será maximizada, possui operações que

145
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

demandam muitos elementos lógicos do FPGA. Estes durante a implementação este tempo seja maior do que
dois fatores tornam a implementação inadequada para o esperado, ainda é possível paralelizá-lo sem alocar
ser utilizada no contexto do ARCam. muitos elementos lógicos, por exemplo, calculando os
momentos em paralelo. Esta solução poderá ser
4.4. Método de Otsu considerada uma boa opção para o ARCam.

O método de Otsu [8] é considerado um dos 4.7. Método de Beghdadi


melhores métodos para limiarização adaptativa de
imagens, porém sua qualidade vem diretamente aliada Beghdadi et al. [12] exploram uma correlação
ao custo de complexidade. Otsu sugere que espacial dos pixels através da entropia de blocos. A
minimizando a soma das variâncias entre classes do imagem é subdividida em blocos de tamanhos variados
plano de imagem e de fundo, é possível encontrar um e para cada bloco é calculada a probabilidade do bloco
limiar global ótimo. conter pontos brancos e pretos. O valor do limiar é
Este é mais um algoritmo que requer otimização e encontrado maximizando a função de entropia de
ainda possui uma função bastante complexa. Esta probabilidade dos blocos. O tamanho dos blocos deve
complexidade não pode ser aproveitada no framework ser suficiente para expressar o conteúdo da imagem,
do ARCam devido à falta de precisão das operações que é proporcional à complexidade do cálculo do
em ponto-fixo, padrão de cálculo utilizado no ARCam. limiar.
Portanto, este algoritmo não é apropriado para o É possível paralelizar esse método calculando as
ARCam. entropias de cada bloco ao mesmo tempo. Contudo,
obter resultados corretos quando os marcadores de RA
4.5. Métodos de Pun estiverem muito próximos do dispositivo de captura,
requer um tamanho grande dos blocos acarretando uma
O primeiro método de Pun [9] leva em consideração complexidade de cálculos e inviabilizando a utilização
que o histograma em escala de cinza da imagem é desse método em aplicações de RA embarcada.
formado por símbolos estatisticamente independentes,
e por isso o limiar ideal pode ser definido 4.8. Método de Cheng
maximizando a razão entre a entropia a posteriori e a
entropia da imagem. Cheng et al. [13] utilizam entropia fuzzy e o
O segundo método define o limiar baseado em um histograma da imagem para definir o limiar escolhido.
parâmetro de anisotropia que depende da assimetria do O histograma é dividido em regiões fuzzy escuras e
histograma [10]. Pun deriva este método levando em claras de acordo com uma função S definida em [14].
consideração que imagens reais possuem poucos Essa função é baseada nos valores dos pixels e na
contornos bem definidos. média de uma região de 3x3 pixels. O valor do limiar é
Uma implementação eficiente do primeiro método definido através de uma busca exaustiva variando os
de Pun em hardware requer muitos elementos lógicos parâmetros de S a fim de maximizar a entropia das
devido à complexidade dos cálculos. Já o segundo somas do plano de imagem e de fundo, o que é feito
método possui uma abordagem simples e que requer utilizando um algoritmo genético.
pouca memória. Além disso, é possível otimizá-lo para Este método possui técnicas complexas cujas
detecção de marcadores estimando o coeficiente de implementações demandariam muitos elementos
anisotropia e pode ser adotado no escopo do ARCam. lógicos. Entretanto é desejado que o módulo de
limiarização seja pequeno o suficiente para haver
4.6. Método de Tsai espaço para outros módulos no FPGA. Além disso,
este algoritmo é baseado em uma busca exaustiva que
Tsai [11] considera a imagem em escala de cinza pode levar um tempo inaceitável para aplicações de
como uma versão borrada da imagem em preto e RA embarcada.
branco ideal. O autor considera que o limiar está ideal
quando os três primeiros momentos da imagem em 4.9. Sumário da avaliação
escala de cinza são iguais aos mesmos atributos da
imagem em preto e branco. A Tabela 1 apresenta um sumário da avaliação
Apesar do processo de otimizar os atributos ser qualitativa apresentada nesta seção. Os pesos adotados
exaustivo, os cálculos necessários são simples, o que para avaliar qualitativamente vários métodos de
viabiliza o procedimento considerando que o tempo limiarizacão adaptativa, no contexto do framework do
disponível é o tempo de captura de um quadro. Caso

146
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ARCam foram: 1 – inaceitável; 2 – ruim; 3 – razoável; 6. Agradecimentos


4 – bom; 5 – muito bom.
Os autores gostariam de agradecer ao MCT e ao
Tabela 1. Quadro comparativo dos métodos CNPq por terem custeado esta pesquisa (processo
507194/2004-7).
Rosenfeld

Beghdadi
Conceito 7. Referências
Riddler

Cheng
Kapur

Pun1
Pun2
Otsu

Tsai
[1] R. Azuma, A Survey of Augmented Reality. Presence,
1997, pp. 355-385.
Facilidade de [2] J.M.X.N. Teixeira, V. Teichrieb e J. Kelner, Embedded
2 2 2 2 1 2 4 4 1
paralelização Augmented Reality: Finding an adequate escape pod to real
time augmented reality applications, Lambert Academic
Complexidade
4 4 2 1 2 3 3 3 1 Publishing, 2009.
das operações [3] J.P. Lima, G. Guimarães, G. Silva, J.M. Teixeira, E.
Uso de Xavier, V. Teichrieb e J. Kelner, “ARCam: an FPGA-based
2 4 1 1 2 4 4 2 1 Augmented Reality Framework”, Symposium on Virtual and
recursos
Augmented Reality, 2007, pp. 106-115.
Adaptabilidade [4] G. Guimarães, J.P. Lima, J.M. Teixeira, G. Silva, V.
5 4 2 1 1 4 4 1 1 Teichrieb e J. Kelner, “FPGA Infrastructure for the
ao ARCam
Development of Augmented Reality Applications”,
Pun1 e Pun2 referem-se respectivamente ao primeiro e ao Symposium on Integrated Circuits and Systems Design, 2007,
segundo método de Pun analisados. pp. 336-341.
[5] A. Rosenfeld e A.C. Kak, Digital Picture Processing, 2a.
5. Conclusões ed., Academic Press, 1982.
[6] T.W. Riddler e S. Calvard, “Picture thresholding using an
Foi realizado um levantamento de vários métodos iterative selection method”, IEEE Transactions on Systems,
de limiarização adaptativa com o objetivo de escolher Man, and Cybernetics 8, IEEE, 1978, pp. 630-632.
um ou mais métodos para serem incluídos no pipeline [7] N. Kapur, P.K. Sahoo e A.K. Wong, “A new method for
gray-level picture Thresholding using the Entropy of the
de RA do framework ARCam. Esses métodos foram histogram”, Computer Vision Graphics and Image
analisados sob o ponto de vista de sistemas Processing, 1985, pp. 273-285.
embarcados, cujas restrições existentes atualmente [8] N. Otsu, “A threshold selection method from gray-level
dificultam muito a implementação de vários desses histograms”, IEEE Trans. Systems, Man, and Cybernetics 9,
métodos. 1979, pp. 62-66.
Os métodos de Kapur, Otsu, Beghdadi, Chen e o [9] T. Pun, “A new method for gray-level picture threshold
primeiro método de Pun apresentaram complexidades using the entropy of the histogram”, Signal Processing 2(3),
em diversos aspectos tornando as suas implementações 1980, pp. 223-237.
ineficientes em ambientes de FPGA. Já os métodos de [10] T. Pun, “Entropic thresholding: A new approach”,
Computer Graphics and Image Processing 16, 1981, pp.
Rosenfeld, Riddler, Tsai e o segundo método de Pun, 210-239.
como se pode ver na Tabela 1, se mostram bem [11] W.H. Tsai, “Moment-preserving thresholding: A new
adaptáveis a sistemas embarcados e possuem approach”, Graphic Models and Image Processing 19, 1985,
características favoráveis à implementação no pipeline pp. 377-393.
do ARCam. [12] A. Beghdadi, A.L. Negrate e P.V. De Lesegne,
Como continuação desta pesquisa pretende-se “Entropic thresholding using a block source model”,
implementar os métodos mais satisfatórios encontrados Graphics Models and Image Processing 57, 1995, pp. 197-
nesta pesquisa e realizar uma bateria de testes 205.
avaliando os resultados visuais e as taxas de [13] H.D. Cheng e Y.H. Chen, “Fuzzy partition of two-
dimensional histogram and its application to thresholding”,
reconhecimento de marcadores de RA. Pattern Recognition 32, 1999, pp. 825-843.
[14] A. Kaufmann, Introduction to the Theory of Fuzzy Sets:
Fundamental Theoretical Elements, Academic Press, 1980.

147
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Utilização de Realidade Aumentada num Mapa


em Suporte de Papel para a Gestão de Crises

Luís Miguel S. Ponciano1, Miguel Sales Dias1,2


1
ISCTE - Instituto Universitário de Lisboa, Portugal
2
Microsoft Language Development Center – Porto Salvo, Portugal
1
lmspo@iscte.pt, 2miguel.dias@microsoft.com

Resumo coordenar o trabalho conjunto numa situação de crise.


Este artigo propõe um sistema onde a tecnologia de A realização deste projecto baseia-se no estudo
realidade aumentada é utilizada como ferramenta efectuado no trabalho de Nilssson, “Using AR to
para registar a informação dum hipotético cenário de support cross-organisational collaboration in dynamic
crise, capaz de apoiar agentes de comando de tasks” [3], utilizando as bibliotecas de realidade
organizações distintas, que necessitam de interagir aumentada entretanto desenvolvidas no laboratório de
num mesmo espaço com informação diferenciada e Computação Gráfica e Ambientes Virtuais da
simbologia corporativa distinta, tendo como base um ADETTI-IUL/ISCTE-IUL [4]. O artigo encontra-se
mapa geográfico convencional em suporte de papel. organizado da seguinte forma: a secção 2. Trabalho
Relacionado, aborda as questões inerentes ao trabalho
1. Introdução de gestão do trabalho colaborativo entre organizações
Em situações complexas, como a gestão de um distintas, bem como a tecnologia de realidade
cenário de crise, agentes de diversas organizações aumentada utilizada para a elaboração do projecto. A
(protecção civil, polícia, bombeiros, etc.), têm de secção 3, Trabalho Realizado, apresenta a metodologia
trabalhar em modo colaborativo síncrono [1]. O espaço de desenvolvimento do sistema, bem como os seus
físico destas equipas para a análise do terreno e tomada módulos. Na secção 4 apresentamos os testes e
decisões, centra-se normalmente em redor dum mapa resultados conseguidos com o sistema desenvolvido.
geográfico, mapa este onde é adicionada informação Por fim, a secção 5 apresenta as conclusões do sistema
por parte de cada organização com diversos símbolos proposto de suporte à gestão de crises, baseado em
que representam unidades ou acções tomadas no realidade aumentada e trabalho colaborativo e aponta
cenário real. Cada organização utiliza simbologia e ainda algumas pistas para trabalhos futuros, incluindo
terminologia própria podendo prejudicar a algumas ideias para melhoramentos e novas
comunicação entre os diversos agentes de comando, funcionalidades.
fazendo-os perder tempo útil na aprendizagem, ou por 2. Trabalho Relacionado
vezes levá-los a tomar decisões erradas por mal O trabalho colaborativo tem sido estudado
interpretação dos símbolos. Outra situação que pode extensivamente em diversos domínios de investigação,
prejudicar a comunicação, é o excesso de informação a partir de perspectivas sociológicas e psicológicas
originada por parte duma organização, podendo esta bem como as perspectivas da organização. Por seu
dificultar a compreensão da situação exposta no lado, o paradigma da realidade aumentada pode
cenário com informação não necessária, por parte das introduzir benefícios de grande importância às
outras organizações. actividades humanas. A sua utilização auxilia no
A realidade aumentada, RA, permite a aumento da percepção, bem como na melhoria da
independência e a individualidade [2], o que significa interação [5].
que cada agente pode ter acesso à informação 2.1. Trabalho Colaborativo
consoante as suas necessidades. A RA também suporta Em linguística, é conhecido que se gasta tempo na
a colaboração real, visto os agentes poderem estarem criação de um "terreno comum", ou seja, uma base para
fisicamente no mesmo local. Neste contexto, a viabilização da comunicação entre pessoas [6,7]. Nas
elaborámos um projecto de utilização de realidade situações de crises devidas a catástrofes, as actividades
aumentada capaz de apoiar o trabalho colaborativo de gestão entre os diversos elementos das organizações
síncrono entre os representantes das organizações, no envolvidas baseiam-se num mapa geográfico do terreno
caso, da polícia e dos bombeiros, com o objetivo de onde a acção decorre e, sobre esse mapa, são colocados

148
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

símbolos para assinalar unidades, acções ou eventos. Natural Ubiquitous Texture Tracking System [11].
Cada organização envolvida pode ter a sua própria Ambas as bibliotecas estão disponíveis em C++,
simbologia, o que faz com que cada agente tenha de utilizando a biblioteca gráfica 3D Open GL, em
perder tempo na aprendizagem da mesma, sistemas operativos Windows, sendo possível a sua
relativamente a todas as organizações envolvidas. Tal utilização concorrente, isto é, em cada imagem, é
pode gerar mal-entendidos em situações críticas, onde possível a identificação e seguimento de marcas X3M e
vidas humanas e bens materiais podem estar em jogo. marcas NUTTS, conseguindo-se mesmo assim resposta
Contrariamente à situação real (sem RA), a nossa em tempo real. A API X3M utiliza marcas visuais
proposta prevê a utilização e visualização de símbolos semelhantes às utilizadas pelo sistema ARToolKit [12],
virtuais diferenciados para cada agente, associados à sendo no entanto mais eficiente e robusta em ambientes
respectiva linguagem da especialidade, sobre um de iluminação interior variável. Estas marcas são
mesmo mapa em papel e relacionados com os eventos utilizadas pelo sistema, como interfaces tangíveis. A
de crise. Conforme se pode visualizar na Figura 1, na API NUTTS permite-nos escolher para uma marca
nossa proposta, cada agente abstrai e utiliza a sua visual qualquer imagem sem a necessidade de
própria simbologia virtual, para descrever o mesmo contornos da mesma e permite ainda, a oclusão parcial
carro da polícia. da referida marca. Este sistema foi desenvolvido por
Rafael Bastos, no contexto da sua tese de doutoramento
[13] e consiste na análise da imagem e aquisição e
seguimento de diversas features (ou características de
imagem) em várias regiões da mesma, conforme se
pode ver na Figura 3. Estas características são
denominadas FIRST (Fast Invariant to Rotation and
Figura 1. Visualização de símbolos diferentes para Scale Transform), são invariantes à rotação e à escala,
cada agente de duas organizações distintas, que robustas a variações drásticas de luminosidade e, quer
representam o mesmo fenómeno (um carro de polícia). a fase de identificação da primeira pose do plano de
Outro aspecto relevante na gestão dum cenário de textura relativamente à câmara virtual, quer a fase de
crise, prende-se com a presença física de todos os seguimento dessa mesma pose, são realizadas em
agentes de comando no mesmo espaço. Gutwin e tempo real. Refira-se que o algoritmo de seguimento de
Greenberg [8] argumentam mesmo que o sucesso do texturas disponível nas NUTTS, apenas necessita de
trabalho colaborativo, depende muito da interação reconhecer e seguir cinco features FIRST para
presencial. O sistema apresentado neste artigo, recuperar uma pose estável, aumentando claro a
alinhado com os princípios referidos de Gutwin e respectiva precisão, se se conseguirem identificar e
Greenberg, visa a partilha visual e a interação directa seguir mais features FIRST. No caso do nosso estudo
com informação geo-referenciada, relacionada com a foi escolhido como marca NUTTS, um mapa
gestão de uma situação de crise, por parte de todos os geográfico, em formato papel, que serviu de base para
agentes em simultâneo (em modo síncrono) e de forma a gestão e disposição de todas as unidades, acções e
presencial. eventos na gestão da crise.
2.2. Realidade Aumentada 3. Trabalho Realizado
A realidade aumentada pode ser entendida como a Tomando como base o trabalho de Nilsson et al [3],
melhoria da percepção da realidade através do registo mas utilizando no nosso caso, uma abordagem de
de elementos virtuais 3D. Ela necessita de 3 interacção tangível diferente, bem como a possibilidade
características importantes: (1) combinar o real com o de realizar realidade aumentada sobre um mapa em
virtual; (2) registar os objetos virtuais num mundo 3D; papel real sem mais artefactos visuais e, tendo em
(3) realizar esse registo em tempo real, permitindo a conta o equipamento disponível, foram definidos os
interactividade. Estes 3 requisitos são geralmente objectivos e as diversas etapas para a elaboração do
conseguidos pela calibração e seguimento de uma ou nosso sistema
mais câmaras virtuais, cujo modelo matemático 3.1. Equipamento
corresponde ao modelo de uma câmara física solidária No estudo de Nilsson foram utilizados
com a posição e a orientação de um observador da cena equipamentos de visualização to tipo video see-through
real [9]. No desenvolvimento do nosso sistema head-mounted dysplay - HMD, o que permitia a cada
utilizámos duas bibliotecas de realidade aumentada, utilizador visualizar o mapa real digitalizado e os
desenvolvidas por Rafael Bastos e Miguel Dias, a API objetos virtuais em simultâneo. O nosso sistema
X3M – Extreme Tracking [10] e a API NUTTS – suporta igualmente HMD ou, em alternativa, o

149
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

utilizador terá de olhar para o monitor do computador cada imagem adquirida, pelos sistemas de seguimento
portátil, que reproduz o registo da imagem real com os de marcas X3M e NUTTS referidos.
elementos virtuais. Ao nível da interação do utilizador
com o sistema, no sistema de Nilsson, era utilizado um
joystick. Contudo o nosso sistema recorre-se à
utilização de duas marcas visuais X3M, como
dispositivos de interação tangível pessoa-máquina,
manipulados pelos utilizadores. O equipamento
utilizado para o desenvolvimento do sistema, foi o Figura 2. Camera Calibrator do MX Toolkit, para
seguinte: calcular os parâmetros intrínsecos da câmara.
 Computador portátil com 2Gb de Ram e placa 3.5. Registo das Marcas Visuais
gráfica NVIDIA® GeForce GO 7400 128MB. Como referido atrás, vamos utilizar no nosso
 Câmara de vídeo Logitech® C300 640x 480 30fps. sistema dois tipos diferentes de marcas visuais: uma
 Mapa parcial da cidade de Lisboa à escala marca do tipo NUTTS para identificar e seguir o mapa
1:13.400, em papel, servindo de marca NUTTS e do cenário de crise, e algumas marcas do tipo X3M,
duas marcas visuais X3M, como dispositivos de que serão utilizadas como interfaces tangíveis. Como
interação tangível. as features FIRST são extraídas em regiões centradas
nos valores próprios mínimos da imagem (minimum
3.2. Requisitos do Sistema eighen values) [18], elas conseguem identificar e seguir
Para o nosso sistema, foram definidos os seguintes
de forma robusta, invariante á rotação e escala e em
requisitos gerais: (1) A definição dum cenário capaz de
tempo real, diversa informação natural constante na
absorver informação virtual sem alterar o espaço físico
imagem (texturas, linhas vértices, pontos, etc.), o que
dos utilizadores; (2) A interação com o sistema deve
vai permitir que utilizemos uma qualquer parte de um
ser o mais simples, natural e o menos intrusiva
mapa geográfico como marca visual. A técnica FIRST,
possível; (3) Deve ser proporcionada a maior liberdade
exige que a imagem do mapa escolhida seja
na escolha da informação a visualizar para cada
previamente reconhecida pelo sistema, de forma a que
utilizador.
o sistema
3.3. Plataformas Computacionais identifique as
Na elaboração do sistema foram utilizadas as features mais
seguintes plataformas computacionais: apropriadas para
 Sistema Operativo Windows XP SP3 [14]. resolver o
 Microsoft Visual Studio 2008 C++ [15]. problema do
cálculo da 1ª pose
 MX Toolkit: ADETTI-IUL plataforma C++ de
(denominadas
realidade aumentada e mista [16].
Figura 3. Texture Automizer startup features) e
 API OpenGL [17] para a descrição 3D do cenário aquelas mais
para obter as startup e tracking
e dos objetos a serem registados para RA. apropriadas para o
features FIRST da marca
3.4. Calibração da camera de Vídeo visual, que será seguida pelo seguimento do
Para realizar a síntese gráfica dos objetos virtuais de sistema NUTTS. plano da textura
forma a apresentarem um alinhamento visual com a (as tracking
marca visual existente no mundo real, é necessário features). Assim, torna-se necessário efectuar uma
criar e configurar uma câmara virtual que possua os análise da imagem digitalizada do mapa da zona de
mesmos parâmetros intrínsecos e extrínsecos da câmara crise, através de uma outra ferramenta disponibilizada
real. Os primeiros são calculados através da ferramenta pela MX Toolkit, o Texture Automizer [16], como se
disponibilizada pela MX Toolkit, o Camera Calibrator pode ver na Figura 3. Esta ferramenta calcula as
[16], visível na Figura 2. Esta calibração apenas coordenadas no referencial assente no plano da textura,
necessita de ser executada uma única vez numa fase das startup features e das tracking features, tendo no
imediatamente anterior à da execução do sistema, para caso presente identificado, respectivamente, 42 startup
a câmara de vídeo utilizada, desde que não se alterem features e 45 tracking features, o que é manifestamente
parâmetros da mesma durante a fase execução (tais suficiente para uma excelente sessão de interação com
como, a resolução de captação de vídeo ou a distância o plano do mapa em realidade aumentada. Essas
focal). No nosso caso foi utilizada a resolução de 640 x coordenadas são arquivadas num ficheiro de texto que
480. Os parâmetros extrínsecos são calculados, para depois é lido na nossa aplicação C++.

150
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Para a interação com o sistema, suportamos duas 3.7. Definição do Menu de Interação
marcas do tipo X3M, a serem utilizadas por cada No processo actual de uma situação de gestão de
utilizador do sistema. A versão impressa das marcas foi crise, quando uma organização manipula um mapa em
definida como tendo 210 x 210 mm, com um contorno papel, este pode ter um vasto número de símbolos para
preto de 5 mm, como se pode ver na Figura 4. Com representar no mapa, como por exemplo, diversos tipos
base nestas imagens foram geradas duas outras de unidades operativas e acções, o que a obriga a dispor
menor resolução (30x30 pixel), para serem de diversos símbolos físicos. A realidade aumentada
reconhecidas e seguidas pelo sistema em tempo real. vem simplificar todo este processo, permitindo no
nosso sistema, que cada utilizador apenas necessite de
duas marcas X3M para a respectiva interação.
Concebemos assim um sistema de menus em zonas
fixas no plano da imagem da tela (zona superior
esquerda), que surgem ao utilizador permitindo a este
activar e desactivar as opções de menu, sobrepondo
Figura 4. Marcas visuais para interação tangível e
simplesmente as marcas sobre as correspondentes
seguimento com a API X3M, para um dado utilizador
regiões do plano da tela, como se pode observar na
do sistema.
Figura 7.
3.6. Definição dos Objetos Virtuais para
Realidade Aumentada
Foram definidos três símbolos 3D, visíveis na
Figura 5, um prisma traingular vermelho para os carros
de bombeiros, um cubo azul para os carros de polícia e
um objeto circular para representar um evento de
incêndio. A escolha destes símbolos numa aplicação Figura 7. Marca visual do utilizador, funcionando
real será da responsabilidade de cada utilizador, de como interface tangível e seleccionando um opção de
cada organização, quanto à sua forma, dimensão, cor e menu para visualizar unidades da polícia.
número. No nosso estudo foi adicionado um objeto
planimétrico geo-referenciado que representa a rede 3.8. Módulos do Sistema
viária da região de crise, como se pode observar na Para o desenvolvimento do sistema utilizamos a
Figura 6 e que se regista no mapa de papel. O linguagem de programação C++, e a biblioteca gráfica
utilizador poderá ainda seleccionar os diferentes OpenGL e, ainda, as bibliotecas MXToolkit, cujas
metadados disponíveis para uma dada zona mapa APIS X3M e NUTTS e o ambiente de integração com
(bocas de incêndio, direcção do transito, etc.) e OpenGL, permitem a visualização e interação em
registados no mapa da região de crise, que poderão ser realidade aumentada. Para satisfazer os requisitos de
visualizados ou não. Todos os objetos virtuais foram sistema, desenvolvemos os 3 módulos seguintes:
contruídos com base em primitivas OpenGL.  Módulo de conversão de coordenadas.
 Módulo de posicionamento e orientação.
 Módulo de gestão de objetos virtuais.
3.8.1. Módulo de Conversão de Coordenadas
Este módulo é o mais crítico de todo o sistema, pois
Figura 5. Objetos 3D que simbolizam, da esquerda
é o responsável por converter todas os sistemas de
para a direita, os bombeiros, a polícia e um incêndio.
coordenadas dos mundos real (onde temos
posicionadas marcas visuais, cada uma com o seu
referencial do mundo próprio associado, onde
consideramos o plano da marca como o plano z = 0) e
virtual (onde definimos objetos 3D), para o mesmo
referencial. Em termos gerais, um objeto 3D é definido
num referencial próprio. A colocação desse mesmo
Figura 6. Objeto virtual planimétrico que representa objeto num referencial do mundo, a consequente
a rede viária do mapa. projeção num plano de uma câmara virtual, definida
nesse mesmo mundo (que no caso da RA tem de
corresponder à câmara de vídeo real), e a subsequente

151
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

transformação para um enquadramento da tela, passam em graus. Por seu lado, a transformação da posição e
por várias etapas até podermos visualizar esse objecto, orientação dos objetos, definidos no referencial do
de acordo com a transformação de visualização mundo próprio associado a uma dada marca, para
completa em 3D, como se mostra na Figura 8 para o coordenadas de câmara, pode ser obtida através da
caso do OpenGL. matriz de ModelView do OpenGL, que o sistema de
RA associa a essa mesma marca:

(2)

A translação do referencial da câmara


relativamente ao referencial da marca, é dada por:
(3)
Figura 8. Transformação de visualização completa em Em (2) as rotações estão expressas em ângulos de
3D no sistema OpenGL [20]. Euler. No nosso sistema, para a análise referida de
proximidade das marcas manipuladas pelo utilizadores,
Cada marca visual define um referencial de mundo com certas regiões da tela, apenas necessitamos de
próprio e diferente e, assim sendo, possui uma saber a rotação do referencial da câmara em torno do
transformação relativamente à única câmara virtual eixo dos , visto que com essa única transformação, o
distinta (transformação essa definida na respectiva plano de projecção da câmara virtual (no qual
matriz de transformação ModelView). Isto trás como determinamos as coordenadas ( , ) dos objetos depois
consequência que é necessário um cuidado especial na de projectados), ficará paralelo ao plano do
manipulação das coordenadas dos objetos, referencial do mundo associado á marca. Para o
primeiramente a 3D, no referencial do mundo próprio e tratamento do registo de objetos em marcas visuais e o
também a 2D, depois de projetadas na tela. Por outro estudo da proximidade das marcas com objetos
lado, vimos que a interação tangível do utilizador registados no mapa, podemos admitir a mesma
proposta, exige que a marca visível seja manipulada de simplificação. Assim, a expressão para converter os
forma a que esta se sobreponha, em coordenadas 2D ângulos de Euler para o referido ângulo de rotação
( , ) de tela, com certas regiões pré-definidas da segundo , em graus, pronto para ser utilizado, por
mesma tela. A solução encontrada para abordar o exemplo, na função glRotate é a seguinte:
problema, foi a de calcular os objetos virtuais em
ÂnguloEixoZ = a (4)
coordenadas de tela e realizar todas as operações
necessárias à interação do utlizador com os menus 3.8.3. Módulo de Gestão de Objetos Virtuais
neste referencial. Para registar os objetos 3D no O desenvolvimento deste módulo baseou-se na
referencial do mundo próprio de cada marca, criação de um conjunto de métodos capaz de gerir
convertemos inversamente de coordenadas de tela do todos os objetos virtuais que vão sendo adicionados ou
objeto, para coordenadas do mesmo no mundo modificados pelos utilizadores, dos quais destacamos o
associado à marca em causa. Esta conversão foi InserirRegistados() e ApagarRegistados(), que foram
possível utilizando as duas funções de OpenGL definidos com uma estrutura do tipo: , onde
gluProject para a conversão de coordenadas do representam as coordenadas transladadas do
mundo de cada marca para coordenadas de tela e objeto virtual registado em relação centro do
glunProject, para a transformação inversa: referencial próprio da marca visual mapa, o
gluProject( x, y, z, modelview, projection, representa o ângulo de rotação no eixo em graus, e o
viewport, &posX, &posY, &posZ); representa o tipo de objeto. Como exemplo, se
gluUnProject( x, y, z, modelview, projection,
viewport, &posX, &posY, &posZ); visualizarmos um símbolo dum carro de bombeiro no
3.8.2. Módulo de Posicionamento e Orientação centro do mapa, podíamos representar a estrutura da
Como o sistema de coordenadas projectadas dos seguinte forma: . O método mais
objetos é 2D, em coordenadas ( , ), a nossa função importante deste módulo é o PesquisaRegistados(),
para medir a distância entre dois pontos de dois objetos capaz de devolver o índice correspondente ao objeto
distintos nesse refererencial, fica na forma: registado no sistema que se encontra mais próximo da
marca utilizada como interface tangível. Actualmente,
(1)
este módulo apenas se encontra a funcionar na
Para realizarmos rotações em OpenGL, utilizamos a
aplicação que o está a executar. Porém o objetivo mais
função glRotate(α,x,y,z), sendo que o “α” está definido
geral deste módulo, como está aliás previsto em

152
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

trabalhos futuros, é a sua concretização num sistema mesmos elementos/eventos da situação de crise,
distribuído, para que os vários utilizadores possam existentes em organizações distintas. Propôs-se uma
partilhar a informação entre eles. adaptação desse processo, com a manutenção da
4. Testes e Resultados colaboração síncrona dos intervenientes, numa mesma
Foram efectuados pelos autores dois testes com o sala, numa mesma mesa de trabalho e com a interação
sistema. O primeiro teste consistiu em utilizar as duas conjunta num mapa único (em papel) que reflecte o
marcas X3M sobre a área do menu, em todas as cenário de crise, mas em que toda a simbologia e
situações possíveis do sistema, tendo este respondido simulação situacional se desenrolam numa experiência
com eficácia a todos os requisitos pré-definidos. O em realidade aumentada, que suporta cabalmente o
segundo teste envolveu todo o mecanismo da interação modo colaborativo. Foram definidos os equipamentos e
com os objetos virtuais onde foram realizados os testes o ambiente computacional necessário, incluindo a
de colocação dos objetos, ou seja o seu registo no utilização de uma plataforma de suporte ao
mapa, bem como o seu levantamento do mapa, que desenvolvimento de aplicações em realidade
equivale á remoção do objeto do sistema. Este teste foi aumentada, baseadas no seguimento de texturas
efectuado com várias vistas do mapa, ou seja, em arbitrárias com as novas features FIRST que trabalham
determinados poses, para se verificar que os objetos em tempo real de forma robusta. A partir dos requisitos
eram registados na posição e orientação correctas em de sistema, foi especificada, desenvolvida e testada
qualquer ponto de vista. Para cada ângulo do mapa o uma aplicação em realidade aumentada, que se propõe
objeto virtual a registar era posicionado numa área como uma solução possível para o problema, tendo
aleatória do mapa distante do centro, e eram testadas 4 sido encontrada uma solução capaz de, nomeadamente,
orientações, com o objeto virado para Norte, Sul, Este converter os diversos referenciais em jogo no sistema,
e Oeste. Os resultados da tabela abaixo, estão para um único referencial (do plano de projecção da
expressos em percentagem do correcto posicionamento câmara virtual), o que facilita a interacção do utilizador
e orientação. Detectámos que quando mapa se encontra com o mundo real e o virtual, em realidade aumentada.
no ângulo de zero graus, existe uma ligeira rotação de Conclui-se que é possível enriquecer a experiência de
10 graus relativamente ao pretendido. Este problema gestão de crises real em modo colaborativo, através de
será analisado em trabalhos futuros. um sistema de RA, que adiciona informação geo-
referenciada a objetos reais, como o seja, um mapa da
Ângulo da Colocação situação em papel e onde se podem registar objectos
Levantamento
pose Mapa Posição Orientação simbólicos, que cada interveniente pode modificar e
0 100% 90% 100% adaptar de acordo com a sua linguagem simbólica e
90 100% 100% 100%
organizacional própria. Verificou-se, com testes
180 100% 100% 100%
270 100% 100% 100% exaustivos ao sistema, que a experiência de realidade
aumentada satisfez os requisitos definidos e concluiu-
Tabela 1. Resultados dos testes de interacção. se também sobre aplicabilidade das APIs de RA X3M
e NUTTS para a visualização e interação em realidade
5. Conclusões eTrabalho Futuro aumentada, neste problema. Como linhas de trabalho
Este artigo abordou algumas questões inerentes às
futuro, podemos apontar os seguintes tópicos, que
situações que podem ocorrer no desempenho da gestão
visam enriquecer a experiência em RA e melhorar os
duma situação de crise, onde diferentes organizações
níveis de acesso, visualização e interação com a
têm de trabalhar em modo colaborativo num mesmo
informação disponível para a gestão de um cenário de
espaço físico, de forma a tomarem decisões
crise: (1) Desenvolvimento de um módulo gestão de
relativamente à referida situação. Muitas vezes os
objetos num sistema distribuído para poder ser
intervenientes nessas sessões de colaboração síncrona,
partilhado por vários utilizadores remotos, com registo
de uma dada organização, não dispõem de tempo útil
de log's capaz de poder ser analisada posteriormente;
para serem treinados na simbologia própria utilizada
(2) Integração e desenvolvimento de sistemas de
pelos pares de outras organizações, no que se refere à
simulação física de crises, como por exemplo, a
interpretação dos elementos da situação, bem como á
influência da direcção e intensidade do vento na
gestão dos recursos mais adequados à resolução do
propagação de um incêndio; (3) Desenvolvimento de
cenário de crise. Neste contexto, descreveram-se neste
modelos de previsão com base em dados estatísticos e
artigo os requisitos gerais de um sistema baseado em
históricos, permitindo aos utilizadores, não só
realidade aumentada, capaz de melhorar a actividade
interagirem com a situação actual da crise, como
tradicional de gestão deste tipo de cenário, evitando o
também poderem visualizar situações anteriormente
problema das diferentes linguagens simbólicas para os

153
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

ocorridas, ou testar hipotéticas situações, antes da Computer Science, Univ.of Calgary, Alberta, Canada,
tomada de decisão; (4) Integração de um sistema de 2001.
comunicações que permita aos agentes que estão a [9] Ronald T. Azuma, A, “Survey of Augmented
comandar as operações, a ligação directa com os Reality”, Hughes Research Laboratories; Teleoperators
agentes no terreno através de meios audiovisuais, que and Virtual Environments 6, 4, pp 355-385, Agosto
capte as coordenadas GPS [19] de cada unidade no 1997.
terreno e possa actualizar a informação proveniente do [10] Dias, J. M. S., Bastos, R., "An Optimized Marker
mundo real no sistema simulado; (5) Refinação dos Tracking System", Research Sketch EGVE´06, 12th
requisitos de utilizador, novo ciclo de engenharia de Eurographics Symposium on Virtual Environments,
desenvolvimento e teste da solução e avaliação da Centro de Congressos da Fundação Gulbenkian,
usabilidade do sistema, com a intervenção de diversos Lisbon, 8 - 10 /05/2006.
utilizadores reais pertencentes a instituições com [11] Bastos, R., Dias, J.M. S., 2 “Automatic Camera
responsabilidades em tarefas de comando e gestão de Pose Initialization, using Scale, Rotation and
situações de crise; (6) Aplicação da plataforma base do Luminance Invariant Natural Feature Tracking”, in
sistema em outras áreas, como jogos de tabuleiro do Proceedings of WSCG' 2008, The 16-th International
tipo “Risco”. Conference in Central Europe on Computer Graphics,
6. Agradecimentos Visualization and Computer Vision '2008, University
Agradecemos à ADETTI-IUL e ao ISCTE-IUL a of West Bohemia, Plzen, Czech Republic, 2008
disponibilização de todo o software de realidade [12] Augmented Reality Toolkit, disponível em:
aumentada, documentação e apoio para a concepção do <http://www.hitl.washington.edu/artoolkit/>, visto em
projeto associado a este artigo. 20 Julho 2010.
7. Referências [13] Bastos, R., Dias, M., FIRST - Fast Invariant to
[1] Cross, M. and Bopping, C., “Collaborative planning Rotation and Scale Transform - Invariant Image
processes in command and control”, in Fourth Features for Augmented Reality and Computer Vision,
International in Command and Control Research and VDM Verlag Dr. Müller e.K. (Junho 2009) ISBN 978-
Technology, DoD CCRP, 1998. 3-639-17489-2
[2] Billinghurst, M. and Kato, H. “Collaborative <http://www.bod.de/index.php?id=296&objk_id=2253
augmented reality”. Communications of the ACM, 43>
45(7):64–70, July 2002. [14] Microsoft Windows XP , disponível em
[3] Nilsson, S. et al, “Using AR to support cross- <http://www.microsoft.com/windows-xp/>, Visto em
organisational collaboration in dynamic tasks”, IEEE 20/07/2010
ISMAR 2009, Science and Technology Proceedings, [15] Microsoft Visual Studio 2008 C++, disponível em
Orlando, Florida, USA, 19 -22 Outubro 2009. <http://msdn.microsoft.com/en-us/visualc >, visto em
[4] ADETTI – IUL, ISCTE-IUL, Instituto 20/07/ 2010.
Universitário de Lisboa, Portugal, [16] Dias, J., M., S., Santos, P., Monteiro, L., Silvestre,
<http://www.adetti.iscte.pt>, acesso em 20/07/ 2010. R., Bastos, R., “Developing and Authoring Mixed
[5] Grohs, E., Mastri, P., “Realidade aumentada para Reality with MX Toolkit”, ART03, The Second IEEE
informações geográficas”, Trabalho de Conclusão, International Augmented Reality Toolkit Workshop,
Puc- Rio Grande do Sul, Faculdade de Informática, Tokio, Japão, 6/10/ 2003
Curso de Bacharelado em Ciência da Computação, [17] Open GL, <http://www.opengl.org/>, visto em
Porto Alegre, Junho de 2002, 20/07/ 2010.
<http://grv.inf.pucrs.br/projects/aug/aug.pdf>, visto em [18] Shi, J., Tomasi, C., “Good Features to Track”, em
20/07/ 2010. IEEE Conference on CVPR, 1994.
[6] Clark, H. H.. Using Language. Cambridge [19] GPS- Global Positioming System ,
University Press, Cambridge, 1996. <http://www.gps.gov/systems/gps/index.html>, visto
[7] Klein G., Feltovich P. J., Bradshaw J. M., and em 20/07/ 2010.
Woods D. D., Common Ground and Coordination in [20] OpenGl Programming Guide, <
Joint Activity, volume Organizational Simulation, John http://www710.univ-lyon1.fr/~jciehl/Publi
Wiley & Sons, Chapter 6, pp 139–184, 2005. c/OpenGL_PG >, visto em 20/07/2010.
http://dx.doi.org/10.1002/0471739448.ch6.
[8] C. Gutwin, C., Greenberg, S., The importance of
awareness for team cognition in distributed
collaboration. Technical Report 2001-696-19, Dept

154
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

PROVAR: Interface com Realidade Aumentada para Comércio Eletrônico


Hipólito D. F. Moreira; Claudio Kirner; Tereza G. Kirner
ICE / DMC / UNIFEI - Universidade Federal de Itajubá
hipolitodouglas@gmail.com; ckirner@gmail.com; tgkirner@gmail.com

Resumo com recursos visuais, sonoros e de navegação, não


resolveu o problema de se experimentar os produtos.
Este trabalho aborda o desenvolvimento do Sistema Além disso, a imersão nos ambientes virtuais
PROVAR, uma interface para sistemas de comércio pressupõe o uso de dispositivos como capacetes e
eletrônico baseada em realidade aumentada, que óculos, que encarecem os sistemas e, muitas vezes,
apóia a escolha de produtos que precisam ser exigem um treinamento para o seu uso [8], [16].
experimentados pelo cliente, tais como itens de A Realidade Aumentada (RA) é uma tecnologia
vestuário. Inicialmente, são apresentados os principais que permite misturar ou sobrepor objetos virtuais
conceitos e trabalhos correlatos; em seguida, são gerados por computador com cenas ou objetos do
descritos os aspectos de projeto e implementação da mundo real. Como resultado, a realidade física é
interface; por fim, são destacadas as conclusões. enriquecida com a integração dos novos objetos , que
passam a fazer parte do mundo real [1], [4], [8]. Essa
característica da RA pode ser adotada para resolver o
1. Introdução problema que os consumidores enfrentam ao desejar
experimentar os produtos que estão pesquisando nos
O comércio eletrônico é definido como a troca de sistemas de comércio eletrônico [11].
bens, serviços e dinheiro entre empresas e Dado o exposto, o objetivo deste trabalho é
consumidores, por meio de transações on-line apresentar o desenvolvimento de uma interface para
realizadas com o uso do computador e da internet [10]. comércio eletrônico, baseada em RA (o Sistema
Na última década, essas transações tornaram-se PROVAR), que apóie a escolha de produtos que
populares e vêm crescendo significativamente, a nível precisam ser experimentados pelo cliente, tais como
internacional e no Brasil. Grande parte do sucesso do itens de vestuário.
comércio eletrônico advém dele facilitar a vida das A seção 2 do trabalho aborda os fundamentos e
pessoas, além de envolver uma interação virtual que é trabalhos correlatos ao tema enfocado. A seção 3
atrativa para muitos. fornece uma visão geral do Sistema PROVAR. A seção
No entanto, existe uma gama de produtos cuja 4 descreve os requisitos da interface desenvolvida. O
venda através da internet ainda enfrenta dificuldades, detalhamento do desenvolvimento da interface é
representada pelos produtos que necessitam ser apresentado na seção 5. A seção 6 descreve a utilização
experimentados pelo consumidor. De acordo com da interface e, finalmente, a seção 7 destaca as
Yuzhu e Smith [18], a aquisição de alguns produtos, conclusões do trabalho.
como vestuário, jóias e objetos de decoração, envolve
três classes de ações: buscar o produto e pesquisar suas
características; experimentar o produto (vestir ou 2. Fundamentos e trabalhos relacionados
colocar no ambiente); e, finalmente, efetuar a compra.
O suporte oferecido à compra on-line desses produtos A área de comércio eletrônico vem se expandindo
ainda é deficiente, uma vez que a simples visualização significativamente, tanto a nível nacional quanto a
de imagens com fotos do produto e descrições textuais nível internacional. No Brasil, o volume de vendas no
sobre ele, oferecidas pelo comércio eletrônico 1º semestre de 2009 superou em 25% o volume no
convencional, não atendem à exigência dos mesmo período de 2008 [12].
consumidores de verificar se esses produtos ficam bem As aplicações tradicionais de comércio eletrônico
em si ou no ambiente de suas casas. baseiam-se em textos e recursos multimídia, incluindo
Para tornar o processo de compra on-line mais imagens e fotos dos produtos comercializados,
realístico, foram desenvolvidos ambientes baseados em podendo incluir som. Essas aplicações, apesar de serem
realidade virtual, como lojas e shopping centers [7]. interessantes, não exploram o realismo do espaço
Mas o uso da realidade virtual, apesar de propiciar a tridimensional e as interações naturais do usuário.
interação entre os consumidores e o ambiente virtual,

155
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

A realidade virtual surgiu como um complemento e essas deficiências, o autor apresenta um processo de
alternativa para as aplicações de comércio eletrônico, desenvolvimento de um catálogo de produtos,
viabilizando a implementação de ambientes virtuais, implementados com realidade aumentada, que podem
sob a forma de lojas e shopping centers, nos quais os ser manipulados pelos consumidores em um sistema de
consumidores podem navegar, explorar as comércio eletrônico.
possibilidades de compra, interagir para obter detalhes Yuzhu [18] reforça a idéia de que a realidade
e visões dos produtos, etc. [5], [11], [13]. No Brasil, aumentada pode ser usada para vencer as limitações do
entre as poucas experiências relatadas, destaca-se a comércio eletrônico convencional e aumentar o nível
criação de um shopping center em realidade virtual, de sucesso desses sistemas. O autor discute uma
com um conjunto de lojas e espaços comuns [7]. ferramenta baseada em realidade aumentada, que foi
Mais recentemente, surgiu, a RA, que envolve o implementada para uso com diferentes tipos de
enriquecimento do mundo real com objetos virtuais dispositivos. A ferramenta foi testada quanto à sua
tridimensionais em tempo real com a utilização de usabilidade, tendo sido demonstrado que a realidade
algum dispositivo tecnológico [2], [3], [4], [9]. A RA, aumentada pode oferecer informações mais completas
na medida em que projeta, no espaço do usuário, os e específicas, sobre os produtos que estão sendo
objetos virtuais 3D e anotações, permite a utilização de comercializados pelo comércio eletrônico, do que os
interações naturais em ambientes reais potencializados sistemas tradicionais ou baseados em realidade virtual.
com informações adicionais [9].
A quantidade de pesquisas e experiências de 3. Visão geral da interface
utilização da RA no comércio eletrônico ainda é
pequena, mas tende a crescer, em função dos avanços A interface de RA para comércio eletrônico procura
da tecnologia e dos benefícios que essa tecnologia uma solução acessível para o problema da insegurança
oferece, principalmente às vendas daqueles produtos do usuário na hora de comprar uma vestimenta, para
que necessitam ser experimentados. Entre as pesquisas saber se realmente o produto atenderá suas
conduzidas sobre o tema, destacam-se os trabalhos de necessidades. Integra, assim, a experiência de comprar
Dempski [6], Yamada [17] e Yuzhu [18]. numa loja física com a experiência do comércio
Dempski [7] propõe um modelo de “comércio eletrônico, fornecendo ao consumidor comodidade de
aumentado”, que envolve a combinação das exigências comprar em casa e um modo de estar mais seguro
do comércio eletrônico convencional e as sobre o que deseja adquirir.
potencialidades oferecidas pela realidade aumentada. Esta interface funciona como um provador virtual
Esse modelo possibilita que o consumidor tome com recursos de RA (Sistema PROVAR), que
decisões mais acertadas em suas compras on line, o possibilita ao cliente experimentar os itens
que contribuirá para aumentar o volume de vendas por comercializados pela empresa.
meio de comércio eletrônico. Nesse contexto, o autor Como a interface permite o acesso pela internet em
discute um protótipo de sistema de comércio eletrônico num ambiente de loja, o usuário tem a liberdade de
para venda de móveis e objetos de decoração. explorar o mesmo ambiente, em situações típicas de
Yamada [25] destaca as dificuldades de se produzir compra. Como exigência adicional, é necessário
catálogos de produtos com representações utilizar um computador para produzir a sobreposição
tridimensionais de alta qualidade, apesar dos recursos dos objetos virtuais aos reais, uma câmera para
de criação e tratamento de imagens. Além disso, capturar a imagem do meio e a impressão dos
destaca os problemas que os usuários de sistemas de marcadores correspondentes às ferramentas utilizadas
comércio eletrônico enfrentam quando querem analisar para provar as roupas virtualmente.
se determinado produto “veste bem” ou se “insere
bem” em determinado ambiente físico. Para solucionar

Figura 1. Acesso ao Catálogo de produtos usando marcadores

156
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Na Figura 1 está a representação do uso do sistema com uma função específica, que são descritos na
PROVAR pelo usuário. Ele escolhe no catálogo, que Tabela 1.
contém todas os itens separados por seções, onde cada
seção apresenta uma peça de roupa com uma página Tabela 1. Marcadores do SACRA
relativa aos tamanhos e outra correspondente ao item e
suas variações em cores, texturas e marcas. Após Apagador
escolher o que experimentar, o usuário seleciona os Apaga objeto 3D
marcadores correspondentes e posiciona-se à frente de
um monitor com uma câmera acoplada que irá ler o Bloqueio
Não permite alterações num marcador
marcador correspondente. Em seguida, o usuário
utiliza o marcador de inspeção e ativa o grupo de
Controle
objetos que corresponde à peça de roupa escolhida. Altera objeto 3D associado a marcador
Para trocar para as variações das peças de roupa, o
usuário utiliza o marcador de controle. Cópia
Copia objetos 3D
4. Requisitos computacionais da interface
Inspeção
O Sistema PROVAR necessita de um computador, Ativa/Desativa objetos 3D
uma webcam e um monitor de vídeo. O computador
permite ler a imagem recebida pela câmera, entender Rastro
os objetos por meio de software, sobrepor o objeto real Define rastro de movimentação
por seu correspondente virtual e reproduzir a imagem
Referência (Marcadores 1 a 6)
modificada no monitor. A câmera é utilizada para
Associam objetos 3D utilizados
capturar a imagem real e transferi-la ao computador. O
monitor externo é a saída exibida ao usuário para que Status
ele possa ver o ambiente real simultaneamente aos Visualiza a situação do sistema
objetos virtuais, produzindo a imersão da RA.
Para usar o PROVAR, é necessário que esteja Transporte
instalado o Sistema Operacional Windows XP, Movimentar objetos 3D
Windows Vista ou Windows 7, que suportam a
utilização do Sistema de Autoria Colaborativa em
Realidade Aumentada (SACRA). O SACRA foi
adotado por tratar-se de uma ferramenta livre, indicada
para a prototipagem rápida de aplicações de RA.
Possui recursos para som, imagem e animação, além de
possibilitar interações com múltiplos marcadores. A
Figura 2 representa o ambiente do SACRA.
Os objetos associados devem ser do tipo VRML
(*.wrl), modelados por meio de ferramentas de autoria
como o Vivaty Studio ou Google Sketch up, produzindo
objetos virtuais que são carregados pelo SACRA na
interação entre um marcador de inspeção com uma
esfera de colisão, como apresentado na Figura 3.
Figura 2. Sistema SACRA [14]
O sistema SACRA fornece suporte a arquivos de
áudio para ajudar na imersão do objeto ao campo da
realidade, apresentar explicações de funcionamento ou 5. Tipos de interfaces implementadas
fazer descrição de objetos, sendo necessário que o
arquivo seja do formato WAVE (*.wav) Para a construção da interface do provador virtual
Os marcadores são cartões de papel com imagens estão associados os marcadores de referência 2, 3, 4, 5,
representando as funções e o suporte de objetos 6 e dos marcadores de inspeção e controle para
virtuais do SACRA. A câmera capta a imagem no manipulação do sistema, onde foram tomadas duas
cartão e o computador lê a imagem e projeta sobre ela construções para o sistema, Interface baseada num
o objeto virtual, permitindo a manipulação dos objetos. único ponto associado a um marcador e interface
O sistema atual do SACRA usa 14 cartões, cada qual baseada em múltiplos pontos associados a um
marcador.

157
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

5.1. Interface baseada em um único ponto Nesta interface, a ativação e desativação de pontos
associado a um marcador por meio do marcador de inspeção devem ser
constantes na hora de trocar o objeto que se deseja
Este tipo de interface requer a utilização de apenas vestir, pois a não desativação resultará em ocultação ou
um ponto de contato para visualização dos itens da sobreposição do objeto desejado.
loja. Neste caso, um marcador carrega as peças de
roupa de uma loja, ou as cores de uma determinada 5.3 Aspectos importantes da implementação
peça, ou as texturas de uma determinada peça, ou os
tamanhos das peças de roupa. Durante a implementação foram enfrentadas
Nesta interface não há necessidade de ativação e algumas dificuldades, como as destacadas a seguir.
desativação de objetos virtuais por meio do marcador • Iluminação. Iluminação é um fator limitante no
de inspeção, pois são únicos no marcador de referência uso dos marcadores, que acaba atrapalhando o
e no programa. Entretanto, é necessário ativar os posicionamento durante a elaboração e inclusão
pontos a partir de um terminal, usando ‘a’ (minúsculo) dos objetos e na captura e visualização dos
para exibir e ‘A’ (maiúsculo) para desativar. marcadores por parte da câmera.

• Posicionamento de pontos de contato. A


Objeto
colocação de pontos de contato apresenta uma
associado
dificuldade relativa à distância ao centro do
a um
marcador, pois quanto mais próximo do
marcador
marcador, mais fácil a sua colisão e, quanto mais
desativado longe, mais difícil a colisão.

• Incompatibilidades na leitura de arquivos.


O SACRA apresenta uma incompatibilidade de
uso de arquivos do tipo GIF com fundo
transparente. Para utilização de roupas a partir de
Marcador de imagens, torna-se necessário o uso de modelagens
inspeção para cada peça.

6. Utilização da interface
Objeto
6.1. Uso da interface baseada em único ponto
Ativado
associado a um marcador

O usuário ao inicializar o sistema seleciona a ação


correspondente a uma das interfaces do SACRA,
fazendo com que o sistema execute um aplicativo para
cada ação do sistema. Na Figura 4 o estado zero é a
imagem física do usuário com o marcador em estado
desligado, que com a aproximação do marcador de
Figura 3. Ativação de ponto por meio da inspeção controle ativa o estado 1, objeto camisa.
Na Figura 5, temos a apresentação da troca do
estado ativado 1, camisa cor branca, pelo estado
5.2 Interface baseada em múltiplos pontos
ativado 2, camisa cor verde, por meio da interação do
associados a um marcador marcador de controle. Nesta interface os objetos
visualizados estão numa lista consecutiva associados a
Este tipo de interface associa a um mesmo
um único ponto de contato num marcador, para que o
marcador um conjunto de itens afins, agrupando tipos
usuário selecione o tipo de vestimenta que deseja.
de peças distintas e variações de cores e texturas
O usuário utiliza o marcador de inspeção para
simultaneamente, como, por exemplo, camisa de
ativar os objetos virtuais que se posicionam sobre a
manga longa e manga curta com variação de cores e
camisa e utilizando o marcador de controle troca o
texturas associadas a um marcador. Em um outro
objeto virtual e permite a visualização das cores e
marcador, o cliente pode encontrar outro item de
vestuário, com suas respectivas variações.

158
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

texturas disponíveis num determinado objeto


associados ao ponto de contato do marcador.
Estado
Após a seleção da peça, pode dar continuidade á
Ativado 1 do
compra do item disponibilizado pelo PROVAR.
tipo Camisa
Imagem do sistema
representando PROVAR
marcador
desativado
representando
o ambiente
físico.

O marcador
Por meio do controle troca
marcador de o objeto 1
inspeção amplia- pelo seguinte.
se o meio físico.
Estado
Camisa virtual ativado 2 do
representando tipo Camisa
a realidade representand
aumentada. o a toca de
cor.

Figura 4. Ativação da camisa Figura 5. Troca de cor da Camisa

6.2. Uso da interface baseada em múltiplos 7. Conclusão


pontos associados a um marcador
O comércio eletrônico vem se expandindo
Nesta interface o usuário trabalha com múltiplos significativamente, tanto a nível nacional quanto a
pontos associados a um marcador reunindo em um nível internacional. O desenvolvimento de interfaces
mesmo marcador variados conjuntos de objetos com para comércio eletrônico com realidade aumentada
funções afins como setor de roupas masculinas e pode contribuir significativamente para essa área de
especializando em camisaria, camisas de manga curta negócios, trazendo ao cliente um diferencial na hora de
com suas cores e texturas, camisas de manga longa comprar um produto baseado em experimentação.
com suas cores e texturas, entre outras camisas. Este trabalho apresentou uma interface para
Na Figura 6 há três pontos de contato associado ao comércio eletrônico, baseada em RA (o Sistema
marcador, carregando conjuntos de objetos afins ao PROVAR), que apóia a escolha de produtos que
mesmo tempo. precisam ser experimentados pelo cliente, tais como
itens de vestuário.
O desenvolvimento do Sistema PROVAR utilizou a
ferramenta SACRA [14], o que facilitou a
implementação e permitiu agregar os recursos típicos
de RA, como navegação e interação no ambiente,
assim como enriquecimento do ambiente real com
objetos virtuais. Desta forma, cria-se a possibilidade do
consumidor, utilizando o Sistema PROVAR,
experimentar itens de vestuário oferecidos pela loja e
chegar a uma escolha do que lhe interessa, com maior
Figura 6. Interface com Múltiplos Pontos segurança para a compra.

159
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010

Foram implementadas duas alternativas de uso do Proceedings of the Working Conference on Advanced Visual
PROVAR: alternativa (1) - Interface baseada em um Interfaces, Trento, Italy , 2002, p. 308-315.
único ponto associado ao marcador; e alternativa (2) -
Interface Baseada em múltiplos pontos associados a [6] K. Dempski. Context-sensitive e-Commerce. Proc. of the
ACM Conference on Human-Factors in Computing Systems,
um marcador. Uma análise comparativa preliminar das The Hague, Netherlands, 2000, p. 55-66.
duas alternativas implementadas, considerando-se o
protótipo atual, levou às seguintes considerações: [7] T.G. Kirner, C. Kirner, and P.T. Aquino Jr. Development
of a Virtual Reality-based Interface to Support E-Commerce.
• Na alternativa (1), a manipulação é mais fácil e Proceedings of the 3rd IFIP Conference on e-Commerce, e-
rápida, mas muito mecânica, necessitando de Business, and e-Government, Guarujá, SP, 2003, p. 640-649.
diferentes marcadores para definir diversos
objetos e variações de tamanho, cor e textura, ou [8] Kirner, C., and R. Siscouto (Org.). Realidade Virtual e
Aumentada: Conceitos, Projeto e Aplicações. Porto Alegre,
utilização de diversas aplicações para fins
RS: SBC, 2007.
diferentes.
[9] Kirner, C., and H. Tori. “Fundamentos de Realidade
• Na alternativa (2), ocorre uma diminuição do uso Aumentada”. In: Kirner, C., R. Tori, and R. Siscoutto. (Ed.)
de marcadores, mas exige-se maior cuidado na Fundamentos e Tecnologia de Realidade Virtual e
hora de provar as roupas, tendo-se que Aumentada, Porto Alegre, RS: SBC, 2007, p. 22-38.
constantemente ativar e desativar pontos na tela.
Como cada ponto corresponde a objetos [10] Laudon, K.C, and J.P. Laudon. Sistemas de Informação
Gerenciais. São Paulo: Pearson/Prentice-Hall, 2007.
completos, tem-se uma lista de vários objetos
associados a um ponto, o que pode tornar [11] Lepouras, G., and C. Vassilakis. Adaptative Virtual
cansativo experimentar todos os objetos para Reality Shopping Malls. IGI-Global, 2000.
poder realizar uma escolha.
[12] P. Rothman. Comércio Eletrônico Cresce 25% no Brasil.
Info Online, 19/05/2009. Disponível em:
Na continuidade do trabalho, será implementada <http://info.abril.com.br/noticias/negocios/comercio-
uma versão mais avançada do Sistema PROVAR, eletronico-cresce-25-no-brasil>. Acesso em: 21/10/2009.
utilizando o FLARToolKit [15] e interfaces de
[13] A. Sanna, C. Zunino, and F. Lamberti. HAVS: a human
hardware, como o Wii Remote, na qual as limitações
animated VRML-based virtual shop for e-commerce.
do atual protótipo deverão ser eliminadas. Proceedings of the 6th World SCI Multiconference, 2002, p.
24-29.
8. Agradecimentos
[14] R. Santin. SACRA - Sistema de Autoria em Ambiente
Os autores agradecem à FAPEMIG pela bolsa