CENTRO UNIVERSITRIO DO PLANALTO DE ARAX CURSO DE SISTEMAS DE INFORMAO BRUNO RICARDO DE OLIVEIRA

DESENVOLVIMENTO DE JOGOS EM AMBIENTE DE REALIDADE AUMENTADA

Arax - MG 2010

BRUNO RICARDO DE OLIVEIRA

DESENVOLVIMENTO DE JOGOS EM AMBIENTE DE REALIDADE AUMENTADA

Trabalho de concluso de curso apresentado ao curso de Sistemas de Informao do Centro Universitrio do Planalto de Arax, como requisito parcial para obteno do ttulo de Bacharel em Sistemas de Informao. Orientador: Prof. Me Augusto Bastos Buccioli Arthur

Arax - MG 2010

BRUNO RICARDO DE OLIVEIRA

Trabalho de concluso de curso apresentado ao curso de Sistemas de Informao do Centro Universitrio do Planalto de Arax, como requisito parcial para obteno do ttulo de Bacharel em Sistemas de Informao. Orientador: Prof. Me Augusto Bastos Buccioli Arthur

DESENVOLVIMENTO DE JOGOS EM AMBIENTE DE REALIDADE AUMENTADA

Arax, ____ de novembro de 2010.

BANCA EXAMINADORA

_________________________________________________________ Prof. Me. Arthur Augusto Bastos Buccioli Orientador

_________________________________________________________ Prof. Esp. Marco Aurlio Moreira Examinador

Arax MG 2010

Aos meus pais, irmo, tias e amigos pelo carinho e compreenso.

AGRADECIMENTOS

No cumprimento de mais esta jornada devo agradecimentos a vrias pessoas que contriburam para mais essa vitria. Porm devo primeiramente agradecer a Deus e a Nossa Senhora por me iluminar nas horas difceis, nas dificuldades encontradas e por me propiciar sade para que eu pudesse com sucesso atingir os objetivos esperados. Sem eles eu no conseguiria escrever uma s palavra deste trabalho.

Agradeo de forma fiel tambm aos meus Pais pela excelente educao, pelo incentivo na execuo deste trabalho e por me apoiar em todas as decises.

Agradeo as minhas tias Joana e Gasparina e a prima Rosiney que sempre me deram foras para concluir mais esta etapa de minha vida.

Agradeo ao meu orientador Professor Me. Arthur Augusto Bastos Buccioli pela excelente orientao e ajuda.

Agradeo ao grande amigo Cristiano Augusto pelo companheirismo e pelas dicas valiosas, alm da grande ajuda nas etapas de desenvolvimento deste trabalho.

Agradeo a todos os demais amigos pelo apoio, compreenso e carinho.

"Confia no Deus eterno de todo o seu corao e no se apoie na sua prpria inteligncia. Lembre-se de Deus em tudo o que fizer, e ele lhe mostrar o caminho certo." (Provrbios 3:5-6)

RESUMO

Os jogos eletrnicos vm crescendo em popularidade, e desta forma, a tecnologia que os aborda se v na necessidade de evoluir tanto quanto. Os usurios em geral so exigentes quanto a essa evoluo. No comeo, comparado com os atuais, os jogos eram constitudos de interfaces grficas simples, retngulos e quadrados coloridos que se movimentavam na tela era o que se tinha de mais evoludo. Mas como a tecnologia tende sempre a evoluir, no foi diferente com os games. A Realidade Virtual, sem dvida, foi um marco nessa histria de evolues porque trouxe para os jogos maior realismo e uma interatividade mais rica. Baseiase na retratao do mundo real, utilizando objetos em trs dimenses para conseguir chegar o mais perto possvel da realidade. O usurio (principalmente se estiver utilizando algum mtodo de imerso direta como culos de Realidade Virtual) tende a sentir como se estivesse dentro do jogo. possvel controlar objetos virtuais utilizando apenas alguns aparatos tecnolgicos que fazem com que o usurio se sinta um personagem do game. Com o avano da Realidade Virtual e da multimdia em geral, outra tecnologia inovadora foi criada, a Realidade Aumentada (RA). Com ela, a sensao de realismo ainda maior, pois baseia-se na mistura do ambiente real com o ambiente virtual. Na RA o que predomina o ambiente real e os elementos virtuais so inseridos nele, dando a sensao que os objetos virtuais fazem parte do mesmo. Diferentemente da Realidade Virtual que traz o usurio para o ambiente virtual, a Realidade Aumentada leva os objetos virtuais para o mundo real. Essa tcnica aplicada aos jogos de grande valia no que diz respeito a riqueza da interatividade. Um jogo em primeira pessoa j foi desenvolvido utilizando esta tcnica, e como vantagens, se destaca o nvel de interao, levando em considerao que os elementos do jogo so os prprios usurios. Por se tratar da mistura do ambiente real com o virtual, predominando o real, a RA facilita a interao do usurio, j que as leis fsicas que predominam so as do ambiente real, alm de no precisar de muitos acessrios tecnolgicos para sua interao. Utilizando as prprias mos os usurios conseguem manipular os objetos virtuais presentes sem a necessidade de digitar nenhum comando para isso, to pouco utilizar um mouse para tal. Mas a Realidade Aumentada no focada somente nos jogos eletrnicos, pode ser aplicada tambm em diversas reas como na medicina, educao, propaganda e at mesmo em tratamentos psicolgicos. O futuro desta tecnologia pode mudar o dia-a-dia das pessoas, com apenas movimentos das mos a previso do tempo, mensagens de e-mail e outras informaes rotineiras podero aparecer flutuando na frente dos olhos, literalmente. O usurio pode escutar suas msicas preferidas de onde estiver, e com movimentos das prprias mos, escolher entre lbuns e msicas a serem reproduzidas. Alm de tudo isso, jogos que explorem o mximo da interatividade podero ser desenvolvidos utilizando como base a Realidade Aumentada.

Palavras-chave: Realidade Aumentada, Realidade Virtual, Jogos eletrnicos, Interatividade, Imerso.

ABSTRACT

Electronic games have been growing in popularity, and the technology that accost them, sees the need to evolve as much as it. The users in general are demanding on these developments. Earlier, compared with today, the games were poor, consisting of simple graphics interfaces, rectangles and squares that moved on the screen it was all that was more evolved. But as technology always tends to evolve it wasnt different with games. Virtual reality, no doubt, was a milestone in this history of evolution because it brought more realism to the games and a richer interactivity. The Virtual Reality represents the real world, using objects in three dimensions to get as close as possible to reality. The user (particularly when using some method of immersion and virtual reality glasses) tend to feel like in the game. Its possible to control virtual objects using only a few technological devices that make the user feel like a character in the game. With the advancement of virtual reality and multimedia in general, another innovative technology was created, the Augmented Reality (AR). With it, the sense of realism is even greater, because its based on the mixture of the real environment with and the virtual environment. In AR, that what prevails is the real environment, virtual elements are inserted into it, giving the impression that the virtual objects are part of it. Unlike in virtual reality, which brings the user to the virtual environment, augmented reality takes the virtual objects into the real world. This technique applied to games has a great value as regards the richness of interactivity. A first-person game has been developed using this technique, and as advantages its stand out the level of interaction, taking into account that the elements of the game are the users themselves. Because it is the mixture of real and virtual environment, predominantly real, AR facilitates user interaction, since the physical laws that prevail are those of the real environment, and do not need many technological accessories for interaction. Using their own hands, users can manipulate virtual objects presents without the need to type any commands or use a mouse to do so. But Augmented Reality is not focused just on games, can also be applied in such diverse areas as medicine, education, ads and even psychological treatments. The future of this technology can change the day-by-day life of people that only with hands movements, the weather, e-mail and other routine information may appear floating in front of the eyes, literally. The user can listen to their favorite music wherever they are, and with movements of their hands, choose between albums and songs to be played. Besides all that, games that explore the most of interactivity can be developed using as a basis the Augmented Reality.

Keyword: Augmented Reality, Virtual Reality, Electronic Games, Interactivity, Immersion.

LISTA DE FIGURAS

Figura 2a - Interagindo em uma palestra no Jogo Second Life (25) ........................................ 16 Figura 2b - Jogo de sinuca em Realidade Virtual chamado 3D Live Snooker (26) ................. 18 Figura 2e - Estrutura de uma CAVE (16) ................................................................................. 20 Figura 2c - Realidade Virtual Imersiva (20) ............................................................................. 21 Figura 2d - Realidade Virtual No-Imersiva utilizando um monitor (20)................................ 21 Figura 2f - Exemplo de marcador e a sobreposio de imagens no marcador (20) ................. 24 Figura 2g - Realidade Aumentada - Uma mesa real com um vaso e um carrinho virtual sobre ela (20) ...................................................................................................................................... 25 Figura 2h - Realidade Misturada (MILGRAM, 1994) ............................................................. 26 Figura 2i - RA com viso Direta utilizando um Capacete ptico (20) .................................... 27 Figura 2j - RA com viso Indireta utilizando monitor (20) ...................................................... 27 Figura 2k - Orientao X, Y e Z de um marcador (2) .............................................................. 28 Figura 2l - Marcador sendo exibido na tela e borda vermelha indicando o reconhecimento do marcador pelo software ARToolKit Marker Generator ........................................................ 31 Figura 2n - Cubo 3D virtual sendo mostrado na tela................................................................ 34 Figura 2o - Vdeo da Nokia mostrando como pode ser o futuro da RA (24) ........................... 36 Figura 2p - RA e suas possibilidades (20) ................................................................................ 36 Figura 3a - Ocluso do marcador (23) ...................................................................................... 39 Figura 3b - Sistema Funcionando (23) ..................................................................................... 39

Figura 3c - Marcadores utilizados no sistema (23)................................................................... 40 Figura 3d - Sistema de aprendizado musical funcionando (23) ............................................... 41 Figura 3e - ARQuake (23)......................................................................................................... 42 Figura 3f - Arma sendo apontada para adversrio (23) ............................................................ 42 Figura 3g - Objeto com diferentes escalas, posies e orientaes (21) .................................. 43 Figura 3h - Ambiente do Jogo Quebra Cabea 3D (21) ........................................................... 44 Figura 4a - Exibio dos objetos em todos os marcadores ....................................................... 51 Figura 4b - Sistema funcionando .............................................................................................. 52 Figura 4c - Ocluso de um dos marcadores .............................................................................. 52 Figura 4d - Fluxo de Trabalho do ARDrums3D ....................................................................... 53 Figura 5a - Flash Develop 3.3.1 ............................................................................................... 54 Figura 5b - Importando as classes necessrias para a aplicao............................................... 55 Figura 5c - Variveis Globais da Aplicao ............................................................................. 56 Figura 5d - Funo initFLARManager ................................................................................. 57 Figura 5e - Arquivo "configuracao.xml .................................................................................. 58 Figura 5f - Funo "inicPaperVision" ...................................................................................... 59 Figura 5g - Funo "updateMarkers" ....................................................................................... 60 Figura 5h - Funo "addMarker" ............................................................................................. 61 Figura 5i - Funo "removeMarkers" ....................................................................................... 62 Figura 5k - Classe SoundPlayer ............................................................................................ 64 Figura 5l - Marcador sendo sobreposto por um objeto Collada, neste momento sistema apresentou lag, ou seja, travando a tela ao movimentar os marcadores .............................. 66 Figura 5m - Vrios arquivos Collada sendo exibidos, neste momento o sistema travou ........ 66

Figura 5n - Marcadores sendo sobrepostos por objetos 3D do PaperVision3D....................... 67 Figura 5o - Erro do objeto Collada .......................................................................................... 67 Figura 5p - Teste com mais de um marcador sendo exibido ao mesmo tempo ........................ 68 Figura 5q - Arquivo Collada no sendo exibido ...................................................................... 69 Figura 5r - Teste com Cubo de dimenses menores no marcador da msica .......................... 69 Figura 5s - Todo o sistema funcionando .................................................................................. 70

LISTA DE TABELAS

Tabela 1 - Comparativo entre os trabalhos relacionados (Vantagens e Possveis Melhorias) . 44 Tabela 2 - Marcadores e suas correspondncias ....................................................................... 50

SUMRIO

1- Introduo .......................................................................................................................... 14 2- Fundamentos Tericos ...................................................................................................... 16 2.1- Realidade Virtual.............................................................................................................. 16 2.1.1- Tipos de RV ........................................................................................................... 19 2.1.2- Dispositivos de Realidade Virtual ......................................................................... 22 2.1.3- Jogos e a Realidade Virtual.................................................................................... 23 2.2- Realidade Aumentada ...................................................................................................... 23 2.2.1- Realidade Misturada .............................................................................................. 25 2.2.2- Tipos de Realidade Aumentada ............................................................................. 26 2.2.3- Algumas bibliotecas de desenvolvimento .............................................................. 27 2.2.4- Exemplo de Aplicao de RA utilizando FLARToolKit ........................................ 30 2.2.5- A Realidade Aumentada em Jogos ........................................................................ 34 2.2.6- A importncia da Realidade Aumentada para o Futuro ......................................... 35 2.3- Concluso ......................................................................................................................... 37 3- Trabalhos Relacionados.................................................................................................... 38 3.1- O uso da Realidade Aumentada no Aprendizado Musical ............................................... 38 3.2- A Realidade Aumentada no desenvolvimento de Jogos em Primeira Pessoa .................. 41 3.3- Quebra cabea 3D ............................................................................................................ 43 3.4- Concluso ......................................................................................................................... 44 4- Arquitetura do Sistema Proposto .................................................................................... 47 4.1- Anlise dos Requisitos ..................................................................................................... 47 4.1.1 Limitaes do Sistema .......................................................................................... 48 4.2- Recursos a Serem Utilizados ............................................................................................ 49

4.3- Sistema Proposto .............................................................................................................. 50 4.4 Diagrama do Fluxo de Trabalho do ARDrums3D ............................................................ 53 5- Detalhes da Implementao do Sistema .......................................................................... 54 5.1 Codificao ...................................................................................................................... 54 5.2 Testes e Resultados .......................................................................................................... 65 5.2.1 Teste com Mltiplos Marcadores .......................................................................... 65 5.2.2 Teste com PaperVision3D .................................................................................... 68 5.2.3 Teste com os Sons e as Msicas............................................................................ 70 5.3 Concluso dos Testes....................................................................................................... 71 6- Concluso e Trabalhos Futuros ....................................................................................... 72 6.1 Concluso ........................................................................................................................ 72 6.2 Trabalhos futuros ............................................................................................................. 73 REFERNCIAS ....................................................................................................................... 75

14

1- Introduo

Os jogos eletrnicos surgiram na dcada de 40, porm somente nos anos 70 que comearam a se tornar conhecidos pelo mundo. No incio as interfaces eram simples, constitudas basicamente de quadrados e retngulos. A partir da, houve um grande desenvolvimento na rea e novas tecnologias surgiram, outras interfaces foram implementadas e a jogabilidade se tornou muito mais fcil, consequentemente os jogos ficaram mais atraentes (16). A realidade virtual (RV) um exemplo de tecnologia que vem revolucionando o mundo dos jogos eletrnicos. A RV d a sensao de imerso, ou seja, o usurio se sente como se estivesse dentro do jogo, consegue interagir com elementos grficos e possui caractersticas tais como a visualizao, movimentao e interao em tempo real com objetos tridimensionais gerados por computador (16). O avano da realidade virtual, da multimdia em geral e da tecnologia de hardware empregada para estes fins, permitiram o surgimento da Realidade Aumentada (RA), outra tecnologia inovadora criada para dar a sensao de que o mundo virtual est inserido no mundo real. Combina elementos reais com elementos virtuais, como se o mundo virtual e o real fossem um nico ambiente. No h a necessidade de utilizar dispositivos especiais, como mouse ou teclado para realizar a interao, o usurio consegue manipular os elementos virtuais com suas prprias mos. Apesar de a tecnologia estar na atualidade sendo amplamente comentada, ela no to nova quanto parece. Na dcada de 50 um cineasta chamado Morton Heilig j tinha a concepo do primeiro dispositivo de RV, que como funo, propiciava a imerso dos sentidos do usurio em um ambiente virtual em trs dimenses(16). Morton produziu um equipamento chamado de Sensorama que era denominado como um simulador baseado em vdeo. O usurio era submetido a diversas sensaes, sons, movimentos e inclusive odores, tudo de acordo com o que era visto na tela (16). Em 1963 Ivan Sutherland, considerado como o criador da computao grfica inventou um editor grfico chamado Sketchpad, onde era possvel criar e modificar objetos grficos. Em 1968, Ivan criou o que se acredita ser o primeiro dispositivo de RV e RA do

15

mundo, um capacete de Realidade Virtual que continha um culos com displays ticos que exibiam imagens de cmeras espalhadas estrategicamente. Sua inveno considerada como o gnesis da realidade virtual e Aumentada(16). Sutherland escreveu sobre seu trabalho em A Head-Mounted Three-Dimensional Display (8). Em um experimento muito interessante Sutherland demonstrou atravs de seu sistema a possibilidade de imerso e telepresena acoplando o capacete a cmeras posicionadas no alto de um edifcio, onde os movimentos das cmeras eram controlados pela cabea do usurio. As sensaes obtidas pelo observador eram as mesmas de uma pessoa que estivesse realmente na laje de um edifcio alto, inclusive os movimentos e emoes (8, 16). Atualmente h capacetes que possibilitam a imerso total em um sistema de Realidade Virtual e Aumentada. A principal funo do capacete em RV isolar o usurio do ambiente real e em RA ampliar os dados do mundo real. Segundo Paul Milgram (1994), RA todo caso em que o ambiente real aumentado utilizando objetos virtuais. Para ele, a Realidade Aumentada uma particularizao da Realidade Misturada assim como a Virtualidade Aumentada. As diferenas entre estes termos sero discutidas mais afundo no captulo 2. Este trabalho tem como objetivo geral compreender as funcionalidades da Realidade Aumentada (RA) atravs do desenvolvimento de um sistema, demonstrando tambm seus conceitos e aplicabilidades para o mundo real. Os objetivos especficos consistem em analisar e explicar os fundamentos da tecnologia no somente voltados ao entretenimento e demonstrar como poder ser a Realidade Aumentada no futuro, alm de como isso afetar o dia-a-dia das pessoas. Para facilitar o cumprimento dos objetivos o trabalho foi dividido em captulos estratgicos. No captulo 2 apresentado o conceito da tecnologia, suas caractersticas, tipos e dispositivos utilizados atravs de um breve levantamento terico. O captulo 3 demonstra trabalhos realizados com o mesmo intuito, sendo que sero analisados e discutidos os pontos falhos e possveis melhorias de cada um destes. O captulo seguinte mostrar detalhes da implementao do sistema proposto, inclusive as dificuldades encontradas e testes realizados. J no ltimo captulo sero apresentadas as concluses e os possveis trabalhos futuros.

16

2- Fundamentos Tericos

2.1- Realidade Virtual

A Realidade Virtual (RV) definida como uma interface avanada de terceira gerao voltada a aplicaes computacionais, que como caractersticas se destaca a possibilidade de visualizao e movimentao em ambientes tridimensionais em tempo real (16). Pimentel (1995) define a RV como o uso de tecnologias que convenam o usurio de que ele est em outra realidade. Refere-se a experincia de imerso e interao do usurio com objetos em trs dimenses. A RV permite a retratao e a interao com situaes imaginrias, utilizando cenrios de fico que envolvem objetos virtuais em movimento ou estticos. Uma boa modelagem de objetos virtuais permite a reproduo com fidelidade de ambientes da vida real como um quarto, uma sala, um automvel ou at mesmo algo mais complexo como uma cidade inteira (16). O usurio consegue interagir com os recursos presentes no ambiente de forma natural usando as prprias mos, tendo auxlio de acessrios tecnolgicos como um mouse 3D ou uma luva. Atravs desses e outros dispositivos o usurio consegue visualizar o ambiente 3D em qualquer posio que quiser. Essa forma de interao muito til e a caracterstica dominante dos video games de hoje. A figura 2a apresenta um exemplo de interatividade com RV.

Figura 2a - Interagindo em uma palestra no Jogo Second Life (25)

17

Alm da simples visualizao e interao a RV pode ser acrescida pela estimulao dos sentidos do corpo humano como o tato e a audio. Assim como afirma Netto e Oliveira (2002), importante despertar nas pessoas que esto utilizando sistemas de RV sentimentos como se estivessem presentes no ambiente virtual, inclusive estimulando as reaes automticas do corpo. Para isso necessrio que o computador detecte as aes do usurio e instantaneamente mude o ambiente virtual (capacidade reativa). Ao contrrio do que muito se pensa, nem todo cenrio ou objeto 3D gerado por computador pode ser considerado como um sistema de Realidade Virtual. Alguns filmes, simuladores de voo, vdeo games e animaes em trs dimenses so confundidos com realidade virtual justamente por possurem essa caracterstica. Para se conseguir distinguir o que vem a ser ou no um sistema de RV deve-se levar em conta no apenas essa, mas tambm as outras caractersticas marcantes ditas nos pargrafos anteriores, principalmente a interao. Animaes e filmes em 3D no podem ser considerados RV justamente por no permitirem a interao e navegao em tempo real do telespectador com o filme. Neles a qualidade da imagem tida como de maior importncia, enquanto que nos sistemas de RV a possibilidade de o usurio interagir e navegar so as caractersticas mais importantes. Dessa forma, a qualidade da imagem perde importncia, uma vez que para se conseguir uma imagem com muita perfeio necessrio um grande poder de processamento. Para o usurio final seria necessrio um grande processamento para rodar aplicaes com tal qualidade e na atualidade nem sempre isso vivel(16). Os video games possuem uma maior proximidade com a RV, justamente pelo fato de priorizarem a interao com o usurio. Anteriormente a maioria dos jogos eram desenvolvidos em 2D, mas hoje com o 3D eles herdam todas as caractersticas da Realidade Virtual. Esse o setor considerado como um dos que mais tiram proveito da RV. Simuladores de voo e sistemas de visualizao em 3D podem ser considerados Realidade Virtual desde que permitam alguma interao em tempo real. A figura 2d abaixo mostra o jogo 3D Live Snooker
que tambm utiliza as tcnicas da Realidade Virtual.

18

Figura 2b - Jogo de sinuca em Realidade Virtual chamado 3D Live Snooker (26)

Os sistemas de RV so considerados de desenvolvimento complexo justamente por envolverem interaes em tempo real entre muitos componentes. Alm dos softwares de Realidade Virtual que atuam na fase de preparao, outros softwares so necessrios para a construo, modelagem, texturizao e animao dos objetos. Linguagens como o VRML, ou Virtual Reality Modeling Language (40) e o X3D (41), bibliotecas grficas como o OpenGL (42) e Java3D (43), toolkits grficos implementados sob as linguagens C e C++ como o WTK (16), VizX3D (16) e EonStudio (16) e at mesmo engines como o OGRE (44) e UNREAL (45) so ferramentas utilizadas no desenvolvimento de aplicaes em Realidade Virtual. Em muitos casos o software de RV precisa ser complementado com outros recursos, assim como ocorre no VRML onde integrada a linguagem Java atravs da EAI, ou Enterprise Application Integration (46), (interface que permite a integrao entre sistemas) permitindo a implementao de sistemas com um poder maior de interao e a possibilidade da comunicao em redes. O WTK uma biblioteca que permite o desenvolvimento de sistemas em RV de uma forma mais completa, uma vez que possui vrios recursos e no necessita a integrao com outros sistemas terceiros.

19

2.1.1- Tipos de RV

Os tipos de Realidade Virtual se do pelo grau de imerso do usurio com o sistema. H a Realidade Virtual imersiva e a Realidade Virtual no-imersiva, que como os nomes sugerem, so distinguidas pelo senso de presena do usurio. A RV imersiva quando o usurio tem a sensao de que foi transportado para o domnio do sistema, ou seja, como se o usurio estivesse presente na cena onde ele est observando e interagindo. Tudo isso possvel atravs do uso de dispositivos multisensoriais que fazem a captura dos comportamentos e movimentos do usurio e reagem de acordo com eles, so exemplos os capacetes e as luvas. Com a ajuda destes e outros dispositivos o usurio sente-se como se participasse do ambiente virtual gerado pelo computador. Caso estivesse utilizando um capacete ou estivesse dentro de uma CAVE (Cave Automatic Virtual Environment), o usurio ao movimentar a cabea, consegue ver todo o ambiente virtual como se fizesse parte do seu mundo real. Atravs de sensores de movimento, ou rastreadores, so enviados comandos ao computador que tem a capacidade de mostrar as imagens correspondestes ao campo de viso do usurio. As CAVEs so ambientes que em suas paredes, tetos e pisos so projetados as imagens dando ainda mais a sensao de presena no ambiente virtual. Nesse caso no necessrio o uso de culos ou capacetes, evitando assim o incmodo de utilizar tais dispositivos (16). A figura 2e abaixo mostra um esquema do funcionamento de uma CAVE.

20

Figura 2e - Estrutura de uma CAVE (16)

Para aumentar ainda mais o realismo do ambiente so utilizados estereoscopia (so geradas imagens diferentes para cada olho) e som espacial alm da estimulao dos sentidos do corpo, como tato, fora e sensao de calor ou frio. A principal desvantagem da Realidade Virtual Imersiva so os altos preos dos dispositivos utilizados, porm com o desenvolvimento da tecnologia e a aceitao do publico em geral isso tende a no ser mais um problema. Na figura 2c apresentado um exemplo de Realidade Virtual Imersiva, onde atravs dos culos a pessoa consegue ver o ambiente virtual em tempo real e atravs das luvas consegue manipular os elementos virtuais.

21

Figura 2c - Realidade Virtual Imersiva (20)

J a Realidade Virtual No-Imersiva quando o usurio transportado indiretamente para o ambiente virtual. Normalmente nesse tipo de imerso so utilizados monitores ou projetores comuns onde o mundo virtual visto atravs de uma simples janela. O usurio ao desviar o olhar para outra direo fora da janela onde so exibidas as imagens, ele sai do ambiente virtual. A sensao de predominncia no mundo real muito maior que no tipo dito anteriormente. A figura 2d mostra um exemplo de RV no-imersiva.

Figura 2d - Realidade Virtual No-Imersiva utilizando um monitor (20)

22

2.1.2- Dispositivos de Realidade Virtual

O essencial para todos os sistemas de Realidade Virtual so os computadores, pois so eles os responsveis por gerar todo o processamento, fazendo com que a RV funcione corretamente. So vrios os tipos utilizados, desde PCs (Personal Computer) considerados mais lentos at supercomputadores, passando por estaes grficas e geradores de imagem. Mesmo os PCs sendo considerados lentos so perfeitamente capazes de gerar imagens e de processar o necessrio para a RV. Os rastreadores so responsveis por detectar os movimentos humanos. Na RV so utilizados para a captura de movimentos, principalmente para orientar e monitorar a posio da cabea e mos do usurio. Dentre os dispositivos utilizados na RV pode-se destacar os capacetes e culos estereoscpicos que do noo de profundidade e imerso no ambiente virtual, porm os culos no fazem por si s a imerso total em ambiente virtual. A visualizao do ambiente quando usados com um monitor ou em projeo, no se torna imersiva, ao contrrio de uma CAVE. Os culos funcionam com a comutao de abertura e fechamento de cada lente que so sincronizados com a apresentao da imagem para cada olho. Como as imagem so defasadas uma da outra, em relao a distncia, do a impresso de que o usurio est em uma cena tridimensional (16). Os capacetes ou HMD (Head-Mounted Display) so dispositivos de interface que isolam o usurio do ambiente real, so constitudos de pequenas telas que em conjunto com lentes especiais ajudam na viso estereoscpica. Apresenta pontos de vista respectivos de cada tela para cada olho, isso contribui para o efeito imersivo. De acordo com a posio da cabea as imagens so modificadas para a posio atual, detectados atravs dos sensores presentes neles. Aes como empurrar, girar, soltar e tocar so capturadas atravs das luvas, o usurio sente-se como se estivesse realmente tocando ou interagindo com um objeto virtual.

23

2.1.3- Jogos e a Realidade Virtual

A RV pode ser implementada para atingir diversas reas, mas a indstria de jogos a que mais vem tirando proveito dessa tecnologia, alm de alcanar grandes escalas de consumo nesse quesito. Desde os anos 70, onde os jogos comearam a se tornar populares, grandes inovaes tecnolgicas na rea de games surgiram. Um marco importante foi a introduo de elementos 3D e a incluso de tcnicas de Realidade Virtual nos jogos eletrnicos. As tcnicas evoluram muito no que diz respeito a interatividade, os jogos de hoje conseguem prender o usurio no ambiente virtual, e com a RV a imerso nesse ambiente deixa o jogo muito mais interessante. A possibilidade de jogar com outros jogadores atravs de jogos multi-jogador e o uso das redes de computadores so tambm uma contribuio significativa para o aumento da popularidade. A Realidade Virtual, como em qualquer outra aplicao que a utiliza, refora as tcnicas de imerso para que o usurio se sinta envolvido no jogo, principalmente quando se consegue incluir a Realidade Virtual Imersiva. A experincia e a jogabilidade se torna mais envolvente e consequentemente a interatividade se torna mais real.

2.2- Realidade Aumentada

Segundo Kirner (2007), a Realidade Aumentada consiste em uma interface avanada de computador, que promove em tempo real a exibio de elementos virtuais sobre a visualizao de determinadas cenas do mundo real. A principal diferena entre a Realidade Virtual (RV) e a Realidade Aumentada (RA) o fato de que na primeira o objetivo transportar o usurio para o ambiente virtual, fazer com

24

que se sinta parte do mesmo. A Realidade Aumentada mantm o usurio em seu ambiente normal e transporta o ambiente virtual para o real, permitindo a interao com os objetos virtuais de maneira natural, sem a necessidade de muito treinamento para isso. A interao, diferentemente da realidade virtual, dada usando as mos ou dispositivos mais simples de interao, possvel at mesmo o rastreamento ptico de mos e pessoas. Torna-se fcil inserir elementos virtuais interativos no ambiente real. Como dito anteriormente, a evoluo da multimdia e da prpria realidade virtual contribuiu para o avano desta tecnologia. Para o desenvolvimento da RA utiliza-se bibliotecas de software, e a mais comumente usada a ARToolKIT. Baseada nas linguagens C e C++ utilizada no desenvolvimento das mais diversas aplicaes em RA. Tudo baseado no uso de marcadores, ou seja, cartes com moldura retangular e com um smbolo em seu interior que funciona como um cdigo de barras, onde atravs deste smbolo o computador consegue identificar as posies e orientaes em relao a outros marcadores, reproduzindo em cima do marcador a imagem virtual determinada. A captura feita atravs de cmeras de vdeo ou Webcams. Abaixo na figura 2f um exemplo de marcadores e um objeto virtual sobrepondo um deles.

Figura 2f - Exemplo de marcador e a sobreposio de imagens no marcador (20)

Alm das definies j mencionadas pode-se ainda definir RA como: O enriquecimento do ambiente real com objetos virtuais; Melhoria do ambiente real com imagens, textos e objetos virtuais (INSLEY, 2003); Mistura dos mundos real e virtual em algum ponto da realidade (MILGRAM, 1994); A figura 2g abaixo ilustra todas estas definies:

25

Figura 2g - Realidade Aumentada - Uma mesa real com um vaso e um carrinho virtual sobre ela (20)

2.2.1- Realidade Misturada

A realidade aumentada est inserida em outro contexto, o da Realidade Misturada (RM), onde muitas pessoas confundem e definem a Realidade Misturada como Realidade Aumentada. A RM nada mais que a mistura de cenas reais com cenas virtuais. Com ela, possvel levar elementos virtuais para o mundo real ou trazer elementos reais para o mundo virtual. Para isso dividida em duas particularidades: a Virtualidade Aumentada e a Realidade Aumentada. As diferenas so dadas de acordo com a predominncia do real ou do virtual na aplicao. Sendo assim, a Virtualidade Aumentada ocorre quando os elementos reais so levados para o ambiente virtual. Baseia-se no fato da virtualidade ser aumentada, ou seja, que predomina o ambiente virtual, mesmo que o usurio veja ou consiga na aplicao manusear elementos reais ali inseridos. definido ainda, como o enriquecimento do ambiente virtual por objetos reais. Um exemplo de Virtualidade aumentada o 3D Live (PRINCE, 2002), permite que avatares (pessoas ou mos) sejam inseridos no ambiente virtual.

26

A Realidade Aumentada, como dita anteriormente, ocorre quando o mundo real predominante, ou seja, quando os elementos virtuais so trazidos para o mundo real. O esquema da figura 2h abaixo ilustra estas definies.

Figura 2h - Realidade Misturada (MILGRAM, 1994)

A RA tem certa vantagem em relao a Virtualidade Aumentada, pois na RA no necessrio treinamentos para utilizao de teclados, mouse e outros dispositivos necessrios para interao. Alm disso, na Realidade Aumentada o ambiente virtual trazido para o real, assim o usurio entende que as leis fsicas e interao para controle do objeto dado pelo seu ambiente, ou seja, pelo real.

2.2.2- Tipos de Realidade Aumentada

Assim como na Realidade Virtual, a Realidade Aumentada se classifica em dois tipos: RA com viso direta e com viso indireta. As duas dependem da forma com que o usurio enxerga o mundo misturado. A RA com viso direta definida quando os objetos do mundo real podem ser vistos a olho nu. Quando o usurio v o ambiente misturado apontando os olhos para as posies reais, utilizando, por exemplo, um capacete ptico (figura 2i). A RA com viso indireta

27

quando o usurio utiliza um monitor ou projetor que no se alinha as posies reais e tem auxilio do mesmo para enxergar o ambiente misturado (figura 2j).

Figura 2i - RA com viso Direta utilizando um Capacete ptico (20)

Figura 2j - RA com viso Indireta utilizando monitor (20)

2.2.3- Algumas bibliotecas de desenvolvimento

O ARToolKit uma biblioteca livre implementada pelo Dr. Hirokazu Kato, baseada em C e C++, usada para desenvolver aplicaes em Realidade Aumentada (12,13,14,15,16).

28

Baseia-se em marcadores para a capturao da posio e orientao, podendo assim, sobrepor a imagem no marcador. Para o correto funcionamento o ARToolKit realiza os seguintes procedimentos: Transforma a imagem capturada pela cmera em uma imagem com valores binrios (preto e branco). Em seguida, busca todas as regies quadradas da imagem, capturando o interior de cada regio onde esto os smbolos e compara aos smbolos cadastrados. O ARToolKit faz uso do tamanho conhecido e da orientao do marcador e calcula a posio real da cmera em relao a posio do marcador (23). Uma matriz 3x4 conter as coordenadas (X, Y e Z de profundidade) reais da cmera em relao ao marcador. Essa matriz utilizada para calcular a posio da cmera virtual e comparando com as coordenadas reais, gera o objeto virtual exatamente sobre o marcador (23). A figura 2k abaixo mostra um marcador e suas coordenadas.

Figura 2k - Orientao X, Y e Z de um marcador (2)

Outra biblioteca utilizada no desenvolvimento da RA a ARToolKit Plus (47). Baseada no ARToolKit, foi desenvolvida pela Graz University Technology e traz algumas evolues em relao ao ARToolKit, no que diz respeito a possibilidade de utilizar ponto fixo ao invs de ponto flutuante, gerando assim aplicaes eficientes. Beneficia o desenvolvimento de sistemas de RA para dispositivos mveis (16).

29

O OSGART (48) uma biblioteca de desenvolvimento que facilita a implementao de sistemas em RA. Funes de deteco e rastreamento de marcadores so herdados do ARToolKit. Permite a importao e exportao de arquivos do Maya ou 3Ds Max, que so softwares de criao, modelagem e texturizao de objetos 3D (16). Segue algumas caractersticas do OSGART: Facilidade na integrao com vdeos; Suporta mltiplos marcadores; Tem suporte a vrias entradas de vdeo; Orientao a objetos e suporte a vrias linguagens; Suporta renderizao de sombras; O FLARToolKit (28) uma verso moderna do ARToolKit , e atravs dela pode-se desenvolver aplicaes de RA utilizando a linguagem ActionScript, que a linguagem utilizada para desenvolver aplicaes no Flash. Quem implementou esta ferramenta foi o Japons Saqoosha, que adaptou o ARToolkit para o Flash, preservando toda sua estrutura j desenvolvida (2). H ainda outra biblioteca desenvolvida recentemente por Eric Socolofsky, nomeada FLARManager (29). Sua verso 1.0.1 foi desenvolvida em 2009 e nada mais que uma melhoria do FLARToolKit. Entre as melhorias o autor da biblioteca destaca (28): Facilidade de Uso; Melhoria na disposio de objetos 3D (PaperVision3D); Utilizao de mltiplos marcadores de maneira fcil e dinmica; Melhor gesto de marcadores;

Para o desenvolvimento da aplicao proposta por este trabalho sero utilizadas as bibliotecas FLARToolKit na verso 2.5.2 e o FLARManager na verso 1.0.1.

30

2.2.4- Exemplo de Aplicao de RA utilizando FLARToolKit

Abaixo, segue o cdigo de uma aplicao simples de Realidade Aumentada, utilizando como biblioteca de desenvolvimento o FLARToolKit. Nesse caso, atravs de um marcador previamente cadastrado, um cubo de trs dimenses aparecer quando o mesmo estiver sendo exibido na Webcam. Ao perder e reencontrar o foco do objeto, uma animao ser executada, rotacionando o objeto. Para o desenvolvimento foram utilizados os programas Adobe Flash CS4 para a codificao, ARToolKit Marker Generator responsvel pela criao do marcador, a biblioteca PaperVision3D que contm as classes para a criao dos objetos 3D e a biblioteca TweenLite GreenSock que responsvel pela animao de rotao no objeto 3D. A linguagem utilizada foi o Action Script 3. Foram precisos dois passos para a implementao da aplicao. Primeiramente, a criao do marcador. Atravs do programa Paint ele foi confeccionado, logo aps, utilizando uma Webcam e com o programa ARToolKit Marker Generator aberto foi posicionado uma folha com o marcador impresso na frente da Webcam. Uma borda vermelha apareceu no contorno do marcador, mostrando que o mesmo foi identificado. Ao clicar em Save Pattern, o software salva um arquivo com extenso .pat que ser utilizado no cdigo para comparao com o que estiver sendo exibido na tela. Se o que for mostrado pela Webcam for igual ao marcador cadastrado, o objeto 3D (Cubo) ser exibido sobre o marcador. Na figura 2l demonstrado o cadastramento do marcador e na figura 2m o marcador foi salvo com o nome bruno.pat.

31

Figura 2l - Marcador sendo exibido na tela e borda vermelha indicando o reconhecimento do marcador pelo software ARToolKit Marker Generator

Figura 2m - Salvando o marcador com o nome "bruno.pat"

Aps a criao do marcador, foi feito a codificao da aplicao em ActionScript 3, utilizando o Flash CS4. Segue abaixo:

1. 2. 3. 4. 5.

package { ////////Importaes///////////////////////////////////////////////////////////////////////////////////////////////////// import flash.events.Event; //importando classes do greensock para implementao da animao import com.greensock.TweenLite;

32

6. 7. 8. 9. 10. 11. 12. 13.

import com.greensock.easing.Elastic; //importanto classes do papervivion, responsveis pelos objetos 3D import org.papervision3d.lights.PointLight3D; import org.papervision3d.materials.shadematerials.FlatShadeMaterial; import org.papervision3d.materials.utils.MaterialsList; import org.papervision3d.objects.primitives.Cube; //////////////////Classe e Mtodos/////////////////////////////////////////////////////////////////////////////////////// //Classe principal estendendo a classe PV3DRApp que responsvel pela implementao //do objetos 3D e da Realidade Aumentada

14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35.

public class Cubo extends PV3DARApp{ //criao da varivel Cubo private var _cube:Cube; //funo construtor para inicializao do programa public function Cubo(){ //criando um evento ouvinte que inicializa a funo _onInit this.addEventListener(Event.INIT, _onInit); //Inicializao da cmera (arquivo para calibrao da cmera) e //inicializao do Marcador (bruno.pat), // Marcador criado com o programa ARToolKit Marker Generator this.init("Data/camera_para.dat", "bruno.pat"); } //funo de inicializao, chamada pelo construtor private function _onInit(e:Event):void{ //criao e instanciao do ponto de Luz var luz:PointLight3D = new PointLight3D(); //definindo a posio dos pontos de luz nas coordenadas x, y e Z luz.x = 0; luz.y = 1000; luz.z = -1000; //criando a textura e as cores do cubo 3D var textura:FlatShadeMaterial = new FlatShadeMaterial(luz, 0xffcc00, 0xcc0000); //instanciao do CUBO, definindo seu material (cores) e tamanho

36.

33

37. 38. 39. 40. 41. 42. 43. 44. 45. 46. }

this._cube = new Cube(new MaterialsList({ all:textura}), 40,40,40); //colocando o cubo na tela, assim que o marcador correto for exibido this._markerNode.addChild(this._cube); //(chamada da funo _onUpdate que faz a animao de rotao) this.addEventListener(Event.ENTER_FRAME, _onUpdate);

private function _onUpdate(e:Event):void{ //se o objeto perder o foco, ele rotaciona o objeto no eixo Z if(this._detector.getConfidence() < 0.3){ TweenLite.to(this._cube, 2, {rotationZ: this._cube.rotationZ + 800, ease: Elastic.easeInOut}) } } }

47. 48. 49.

50. //////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 51. }

Ao analisar o cdigo, percebido que nas linhas 3 a 11 so importadas as classes necessrias para a aplicao, dentre elas, classes do PaperVision3D que so responsveis pela criao do Cubo 3D. No mtodo construtor das linhas 18 a 24 so inicializados a calibrao da cmera pelo arquivo Camera_para.dat e o marcador atravs do arquivo bruno.pat. O caractere / no cdigo indica comentrio, explicado o que est sendo feito no cdigo. Na funo _onInit so definidos os pontos de luz sobre o objeto 3D e instanciado o Cubo 3D, definindo sua cor e dimenso. A linha responsvel pela insero do cubo na tela a de nmero 38. A funo _onUpdate a responsvel pela animao de rotao do objeto quando o foco do mesmo for perdido e reencontrado. Na figura 2n abaixo se pode ver o resultado esperado por essa aplicao.

34

Figura 2n - Cubo 3D virtual sendo mostrado na tela

2.2.5- A Realidade Aumentada em Jogos

Atualmente, o mercado tecnolgico cresce de maneira rpida e o mundo dos jogos eletrnicos vem seguindo esta mesma linha. Novas tecnologias e o avano dos jogos realsticos em 3 dimenses contribuem para este crescimento, alm disso, novas formas de interao e a melhor experincia na jogabilidade so fatores que influenciam de maneira positiva no desenvolvimento desta rea. Os jogos possuem muitas finalidades, para a educao, treinamento, tratamentos de sade e no entretenimento, que a rea em que mais se destaca. A Realidade Aumentada utilizada para o desenvolvimento de jogos nessas e em outras diversas reas, pois o auto nvel de interao, a perspectiva de jogo e a imerso no ambiente real so fatos que agregam valor a jogabilidade dos jogos em RA.

35

A principal deficincia dos jogos convencionais a necessidade de utilizao de acessrios tecnolgicos. Como a Realidade Aumentada no necessita de quase nenhum acessrio ou treinamento para seu funcionamento, permite que o usurio tenha uma experincia mais natural com o jogo. Possibilita que as pessoas consigam jogar com maior facilidade e, alm disso, as leis fsicas do ambiente so determinadas pelo mundo real. A percepo das aes dos objetos virtuais se caracteriza tambm pela ao fsica do mundo real (16). Alm de todas as facilidades ditas em relao a jogabilidade dos jogos desenvolvidos com a Realidade Aumentada, destaca-se tambm a possibilidade de utilizao das mos para interao com os objetos virtuais (16). Dessa forma, este trabalho prope o desenvolvimento de uma aplicao interativa para exemplificar todas as possibilidades e benefcios da utilizao desta tecnologia nos games eletrnicos de hoje e tambm nas futuras aplicaes de Realidade Aumentada.

2.2.6- A importncia da Realidade Aumentada para o Futuro

Fazendo uma anlise do conceito de Realidade Aumentada que foi discutido neste trabalho pode-se imaginar como essa tecnologia poder tornar a vida das pessoas mais fcil no futuro. Em filmes, documentrios e comerciais produzidos pode-se enxergar o possvel futuro da RA no dia-a-dia das pessoas. A Nokia mostra, atravs de um vdeo produzido pela prpria empresa, como o dia de uma pessoa que tem como companheiro no somente o celular, mas tambm um culos que permite a ela pesquisar sobre o clima do dia, ver novas mensagens do Twitter e responde-las tudo atravs do toque no ar, como se as informaes ficassem voando, em um mundo virtual misturado com o real (24). A figura 2o mostra uma parte do vdeo.

36

Figura 2o - Vdeo da Nokia mostrando como pode ser o futuro da RA (24)

Apostas como essa no esto longe de se tornar realidade, a RA traz essa possibilidade de implementao para o futuro. Pode-se ter acesso internet e com isso obter todas as informaes necessrias na frente dos olhos. Poder tambm, ao caminhar pela rua, identificar pessoas e visualizar os nomes, quais perfis sociais ela possui e at mesmo adicion-la a rede de amigos, assim como mostra a figura 2p.

Figura 2p - RA e suas possibilidades (20)

Estas so apenas algumas facilidades que a RA pode trazer num futuro prximo, no apenas para o entretenimento, mas tambm no trabalho, nas compras e na educao principalmente.

37

Atualmente empresas esto apostando na novidade para fazerem propagandas de seus produtos, um exemplo, o banco Ita que em um comercial de televiso mostra um vdeo sobrepondo um marcador, que quando mostrado para a WebCam inicializado (39).

2.3- Concluso

A Realidade Virtual trouxe uma nova viso no diz respeito aos jogos eletrnicos. Sua aplicabilidade nesta rea possibilitou maior interao e maior envolvimento no jogo, aumentando assim a sua popularidade. A Realidade Aumentada pode ser aplicada a diversas reas, como a RA no necessita de treinamentos ou o uso de acessrios tecnolgicos para sua manipulao, deixa a experincia com o jogo ou aplicao muito mais natural, permitindo assim, maior interao em tempo real. Sua caracterstica bsica a mistura do ambiente real com o virtual, predominando o ambiente real. Com as prprias mos o usurio consegue manipular os objetos virtuais, com a mesma facilidade que movimentaria um objeto real. Analisando o conceito de RA, pode-se ter uma ideia de como essa tecnologia poder facilitar o dia-a-dia das pessoas no futuro. O captulo 3 deste trabalho mostrar alguns exemplos aplicados da Realidade Aumentada. Ser feita uma comparao entre os trabalhos j desenvolvidos e as possveis melhorias de cada um.

38

3- Trabalhos Relacionados

Este captulo tem como objetivo apresentar aplicaes desenvolvidas com a Realidade Aumentada que enfocam o entretenimento e o aprendizado e esto relacionados ao que ser apresentado neste trabalho.

3.1- O uso da Realidade Aumentada no Aprendizado Musical

Artigo elaborado por Ezequiel Roberto Zorzal, Arthur Augusto Bastos Buccioli e Claudio Kirner, apresenta a Realidade Aumentada aplicada no aprendizado musical. Duas aplicaes foram desenvolvidas e focam diferentes reas da msica (23). As aplicaes so explicadas abaixo: Primeira Aplicao A primeira aplicao foi desenvolvida utilizando a biblioteca ARToolKit. Usa tcnicas de ocultao de marcadores, ou seja, assim que o usurio colocar as mos sobre um marcador, o software nota a ausncia do mesmo e executa uma ao pr-determinada. Neste caso a ao executada a reproduo de uma nota musical, correspondente ao marcador ocultado (23). Atravs de um Thread
1

o software procura um arquivo de som no formato midi no

disco rgido e o executa. Como pode ser observado na figura 3a e 3b abaixo, a aplicao usa um mdulo de objetos virtuais animados que servem de guia para a execuo de melodias. Cada objeto tem formato similar aos smbolos dos marcadores. Os objetos virtuais so animados descendo em direo a uma rgua virtual que posicionada no centro do cenrio. Assim que o objeto virtual tocar a rgua o usurio deve fazer a ocultao do marcador
Permitem que um programa simples possa executar vrias tarefas diferentes ao mesmo tempo, independente umas das outras. Um programa Multithread executa vrias tarefas ao mesmo tempo (35).
1

39

correspondente ao objeto, e ao fazer isso, o som executado. Este sistema se assemelha aos karaoks e jogos interativos de dana (23).

Figura 3a - Ocluso do marcador (23)

Figura 3b - Sistema Funcionando (23)

Segunda Aplicao A segunda aplicao utiliza marcadores dinmicos, que podem ser modificados pelo usurio, trocando os smbolos mostrados. Os marcadores utilizados pela aplicao contem as 5 linhas da notao musical, alm de uma parte mvel que permite a alterao da posio

40

vertical de um circulo nas linhas da notao. possvel representar as notas musicais atravs do smbolo disposto, como na notao musical. A marcao pode inclusive representar o tom e a durao da nota. A figura 3c abaixo mostra alguns marcadores que podem ser utilizados na aplicao (23).

Figura 3c - Marcadores utilizados no sistema (23)

Esta aplicao tambm foi desenvolvida com a biblioteca ARToolKit. Ao reconhecer o marcador o software sobrepe ao mesmo uma legenda com informaes sobre a nota, como seu nome e sua durao. Em paralelo um som acionado que corresponde ao smbolo do marcador. A figura 3d abaixo ilustra o funcionamento do sistema (23).

41

Figura 3d - Sistema de aprendizado musical funcionando (23)

3.2- A Realidade Aumentada no desenvolvimento de Jogos em Primeira Pessoa

O artigo foi desenvolvido por Ezequiel Roberto Zorzal, Eduardo Queiroz, Arthur Buccioli, Marcelo Guimares e Claudio Kirner e mostra atravs de uma pesquisa o jogo chamado ARQuake (26), desenvolvido na Universidade do Sul da Austrlia (UNISA). Este um jogo do gnero Primeira Pessoa. A principal caracterstica desta categoria a grande sensao de imerso, onde o jogador geralmente carrega uma arma para interagir com os cenrios e oponentes. Atualmente encontra-se grandes exemplos de jogos em primeira pessoa como Bioshock (36), Halo (37) e Cry (38). A figura 3e abaixo mostra um cenrio do jogo ARQuake desenvolvido em Realidade Aumentada (23).

42

Figura 3e - ARQuake (23)

O jogo funciona da seguinte forma: em uma arma de brinquedo instalado um circuito que tem como finalidade enviar comandos ao computador, para que seja possvel o mesmo acompanhar os tiros efetuados pelo jogador. Em uma cmera fixada na frente da arma, possvel identificar o adversrio atravs do marcador preso nas suas costas ou no seu peito, assim como mostra a figura 3f abaixo (23).

Figura 3f - Arma sendo apontada para adversrio (23)

43

Em um bon usado pelo jogador tambm instalada uma cmera para que ao olhar para os lados e se movimentar o mesmo possa ver seus adversrios. gerado um vdeo do ambiente que pode ser visto por monitores ou capacetes de Realidade Virtual que so utilizados pelos jogadores, aumentando ainda mais o realismo. Ao se deparar com o adversrio a cmera fixada no bon reconhece o marcador e identifica seu oponente. Ao apontar a arma para o adversrio e atirar o oponente atingido fica fora do jogo e o sistema passa a no reconhec-lo mais (23).

3.3- Quebra cabea 3D

Em seu artigo (21) Ezequiel Zorzal, Claudio Kirner, Alexandre Cardoso e Edgard Lamounier demonstram um Quebra Cabea 3D usando a Realidade Aumentada (Zorzal et. al 2005b), desenvolvido com o ARToolKit que tem como finalidade montar um modelo com peas que se encaixam. As peas so associadas a marcadores montados a cubos de madeira com seis faces. Foram criadas cinco peas que se encaixam perfeitamente para montar um quebra cabea. A cada um dos cinco cubos foi cadastrada a mesma pea variando sua posio, escala e orientao. So seis solues diferentes possveis. Na figura abaixo demonstrado as variaes dos objetos a cada face e na figura 3h ilustrado o ambiente do jogo de quebra cabeas 3D.

Figura 3g - Objeto com diferentes escalas, posies e orientaes (21)

44

Figura 3h - Ambiente do Jogo Quebra Cabea 3D (21)

3.4- Concluso

Fazendo uma anlise dos trabalhos apresentados neste captulo possvel perceber que a tecnologia Realidade Aumentada pode ser utilizada com sucesso para o desenvolvimento de jogos e aplicaes interativas. Estes trabalhos trazem um embasamento satisfatrio para a proposta de desenvolvimento que ser apresentada. A arquitetura deste sistema desenvolvido apresentada no captulo seguinte. A tabela 1 abaixo faz uma comparao entre os trabalhos descritos neste captulo, no que diz respeito a vantagens e melhorias possveis de cada um.

Tabela 1 - Comparativo entre os trabalhos relacionados (Vantagens e Possveis Melhorias)

VANTAGENS

POSSVEIS MELHORIAS

Realidade Aumentada no Aprendizado Musical 1 Aplicao

- Grande variedade de interao pelo fato de permitir a criao de Melodias personalizadas; - Possibilidade de execuo

- Como os arquivos de udio so reduzidos (em formato midi) alguns sons podem fugir de original e perder a qualidade do udio.

45

de melodias diversas

Recomendado a implantao

respeitando a durao de cada de sons no formato mp3 com nota musical. taxas de bits por segundo reduzidas, que no perdem muito a qualidade e possibilita a portabilidade. Realidade Aumentada no Aprendizado Musical 2 Aplicao - Possibilidade do uso de marcadores dinmicos que ampliam as possibilidades do sistema. - Marcadores que mostram informaes sobre a nota musical, ampliando os conhecimentos do usurio. - Reproduo do som correspondente nota musical mostrada. ARQuake - Maior interatividade, pelos jogadores fazerem parte do jogo. - Interao em tempo real. - Implementao da possibilidade de obter novas armas durante o andamento do jogo, assim como feito nos jogos em primeira pessoa convencionais. - Implementao de vidas no jogo para que os jogadores tenham outras chances caso forem atingidos, no precisando sair do jogo to rapidamente. - Implementao de outras tcnicas de Teoria Musical para um aprendizado mais amplo. - Implementao de um jogo que atravs de segmentos de notas determinadas pelo usurio formam uma melodia correspondente ao que o sistema prope.

46

Quebra Cabea 3D

- Estimulao do raciocnio e da percepo do usurio para a montagem correta do quebra cabea.

- Implementao de animaes caso a montagem correta do quebra cabea for cumprida.

47

4- Arquitetura do Sistema Proposto

Este captulo tem como objetivo apresentar a arquitetura do sistema proposto mostrando a anlise dos requisitos do sistema, funes e fluxo do mesmo, tudo para o entendimento das etapas de desenvolvimento. O objetivo do sistema simular uma bateria virtual e possibilitar atravs das tcnicas de Realidade Aumentada a sobreposio de objetos 3D sobre vrios marcadores. Cada marcador representar uma pea diferente do instrumento musical e atravs de aes feitas pelo usurio o som correspondente a cada pea ser reproduzido. Para auxiliar no aprendizado do instrumento, msicas podero ser reproduzidas e o usurio conseguir tocar a bateria virtual de acordo com a msica. Uma das possibilidades deste sistema propiciar uma maior interao com a tecnologia Realidade Aumentada aplicada a prtica.

4.1- Anlise dos Requisitos

Esta etapa consiste em levantar e analisar as funcionalidades do sistema, alm das suas limitaes e comportamentos. Abaixo apresentada uma lista com os principais requisitos do sistema: O sistema dever ser capaz de simular uma bateria virtual, reproduzindo sons correspondentes a cada pea do instrumento real; O sistema dever ser capaz de reproduzir msicas, utilizando a tcnica de remoo e adio de marcadores; Um objeto 3D dever se sobrepor a cada marcador correspondente as peas da bateria; Os objetos 3D devem se diferenciar por cores, para melhor identificao por parte do usurio;

48

A cada ocultao de marcador (colocando a mo sobre o marcador ou retirando-o do foco da WebCam) o sistema dever reproduzir sons correspondentes e excluir o objeto 3D sobreposto ao marcador;

Ao posicionar um marcador no foco da WebCam um objeto 3D correspondente aquele marcador dever sobrepor o mesmo; Ao carregar o objeto 3D na cena uma animao do tipo tween dever ser executada, dando impresso de crescimento ao objeto 3D; Cada msica cadastrada no sistema dever possuir seu marcador correspondente; Cada marcador correspondente s msicas cadastradas no sistema dever carregar um objeto 3D (cubo); Ao posicionar o marcador correspondente a msica no foco da WebCam, o udio correspondente aquele marcador dever ser reproduzido; Ao retirar o marcador correspondente a msica do foco da WebCam a mesma dever ser pausada e ao retornar ao foco da cmera a msica dar continuidade na reproduo a partir do ponto pausado;

Somente uma msica poder ser reproduzida por vez; Vrios sons da bateria podero ser reproduzidos em simultneo;

4.1.1 Limitaes do Sistema

No sero funes do sistema nesta verso: Permitir a escolha dos sons que sero reproduzidos, os mesmos j vem prcadastrados; Permitir que novos marcadores sejam adicionados pelos usurios, s podero ser utilizados os marcadores j pr-cadastrados; As configuraes da cmera s podero ser modificadas manualmente pelo arquivo XML correspondente;

49

4.2- Recursos a Serem Utilizados

Para o desenvolvimento da aplicao sero necessrios alguns recursos tecnolgicos. No que diz respeito ao hardware ser necessrio a utilizao de uma WebCam, caixas de som e um computador para o processamento da aplicao. Estes componentes so necessrios tambm para a utilizao do sistema depois de pronto. No que diz respeito a software, para a implementao do sistema, necessrio os seguintes recursos: Biblioteca de desenvolvimento de Realidade Aumentada FLARToolKit (2); Biblioteca de desenvolvimento de Realidade Aumentada FLARManager (29); Biblioteca de desenvolvimento de objetos 3D PaperVision3D (4); Biblioteca de animao de objetos 3D Tweener (32); Software codificador Flash Develop (30); Software codificador Adobe Flash CS5 (31); Para a execuo da aplicao necessrio a verso 10 ou superior do Adobe Flash Player (33). As bibliotecas de desenvolvimento FLARToolKit e FLARManager foram escolhidas com base na facilidade de codificao e interao com o ambiente Flash. As duas bibliotecas foram criadas tendo como base a j desenvolvida ARToolKit que a biblioteca mais utilizada para o desenvolvimento de aplicaes em Realidade Aumentada, porm utiliza programao estruturada. Alm das vantagens j ditas no pargrafo anterior, se destaca tambm o desenvolvimento utilizando as tcnicas de Orientao a Objeto, j que a codificao feita em Action Script. O FLARManager foi escolhido especificamente pelo fato de simplificar a utilizao de vrios marcadores ao mesmo tempo na aplicao, alm da sua estrutura melhorada em relao as outras.

50

4.3- Sistema Proposto

Este trabalho prope o desenvolvimento de uma aplicao interativa utilizando as tcnicas de Realidade Aumentada. O sistema foi nomeado como ARDrums3D e tem como objetivo simular o instrumento musical bateria. Atravs de 6 marcadores posicionados no foco da WebCam sero mostrados objetos virtuais sobrepondo os mesmos, neste caso so utilizados cubos em 3D com cores diferentes para facilitar a identificao. Cada marcador representa uma pea do instrumento e ao ocultar um deles, o som correspondente pea ser executado. O usurio consegue tocar o instrumento musical atravs da ocultao dos marcadores correspondentes e para facilitar a execuo e tornar o sistema mais interativo, uma msica poder ser escolhida para que o usurio possa tocar a bateria virtual de acordo com a msica. possvel acompanhar a msica que est sendo executada. O sistema nesta verso, contar com 6 marcadores que so separados como mostra a tabela a seguir:

Tabela 2 - Marcadores e suas correspondncias

Marcador 1 2 3 4 5 6

Correspondente : Chimbau Caixa Bumbo Prato Tom Msica 1

A figura 4a abaixo mostra a sobreposio dos objetos virtuais nos marcadores correspondentes s peas da bateria:

51

Figura 4a - Exibio dos objetos em todos os marcadores

As figuras 4b e 4c abaixo mostra todo o sistema funcionando e a ocluso de um dos marcadores, fazendo assim com que o som correspondente aquele marcador seja reproduzido, alm disso, o marcador referente a msica 1 visualizado, fazendo com que a msica seja reproduzida.

52

Figura 4b - Sistema funcionando

Figura 4c - Ocluso de um dos marcadores

53

4.4 Diagrama do Fluxo de Trabalho do ARDrums3D

A figura 4d abaixo mostra o fluxograma do sistema:

Figura 4d - Fluxo de Trabalho do ARDrums3D

54

5- Detalhes da Implementao do Sistema

Este captulo tem como objetivo detalhar o processo de implementao. Sero discutidas as dificuldades encontradas, resultados e testes feitos. Para facilitar o entendimento figuras de telas do processo de desenvolvimento do sistema sero mostradas.

5.1 Codificao

Como mencionado no captulo anterior, as bibliotecas FLARToolKit e FLARManager foram escolhidas para o desenvolvimento do sistema. A codificao foi feita tendo apoio do software Flash Develop (30), abaixo na figura 5a mostrada a plataforma de desenvolvimento.

Figura 5a - Flash Develop 3.3.1

55

Para o incio da codificao fundamental importar as classes necessrias para o correto funcionamento do sistema, neste caso, as classes das bibliotecas de desenvolvimento (FLARToolKit e FLARManager), algumas outras para o controle dos objetos 3D (PaperVision3D), da animao dos cubos 3D (Tweener) e da classe desenvolvida para o controle das msicas a serem executadas pela aplicao (SoundPlayer). A figura 5b abaixo mostra todas as importaes necessrias:

Figura 5b - Importando as classes necessrias para a aplicao

Em seguida feita a declarao de todas as variveis globais para o uso na aplicao, a figura 5c abaixo ilustra todas as declaraes:

56

Figura 5c - Variveis Globais da Aplicao

A seguir, no mtodo construtor que o primeiro a ser executado na aplicao, codificado uma chamada para duas funes loadmusic que a responsvel pelo carregamento dos arquivos de som das peas da bateria que sero armazenados nas variveis do tipo Sound declaradas anteriormente e a funo initFLARManager que a responsvel pela inicializao da aplicao, inclusive das configuraes necessrias para o FLARManager e FLARToolkit. Segue abaixo na figura 5d a implementao da funo:

57

Figura 5d - Funo initFLARManager

Como pode ser visto na figura anterior foram implementados os chamados Event Listeners que no Action Script 3.0 so eventos ouvintes que esperam por uma determinada ao para disparar outra, ou seja, neste caso quando um marcador for colocado ou removido do foco da WebCam sero disparadas as funes onAdded ou onRemoved correspondentes ao evento inicializado. J a funo onFlarManagerLoad disparada assim que o objeto instanciado do FLARManager fm for carregado. Uma das diferenas entre o FLARManager e as outras bibliotecas de desenvolvimento de aplicaes em Realidade Aumentada o arquivo de configurao da biblioteca que fica em um arquivo XML (Extensible Markup Language) a parte. Ao instanciar a classe responsvel pelo FLARManager passado como parmetro o caminho deste arquivo. A figura 5e abaixo ilustra o arquivo XML denominado configuracao.xml e seu contedo.

58

Figura 5e - Arquivo "configuracao.xml

funo

onFlarManagerLoad

responsvel

por

chamar

funo

inicPaperVision responsvel por inicializar as configuraes da biblioteca de criao e exibio de objetos 3D PaperVision3D. A figura 5f abaixo ilustra o contedo desta funo:

59

Figura 5f - Funo "inicPaperVision"

Nesta funo foi implementado mais um EventListener que executado a cada atualizao de quadros (frames) e inicializa a funo onEnterFrame que a responsvel por chamar outra funo, a updateMarker para a atualizao dos marcadores na tela e renderizao de todos os objetos 3D a serem sobrepostos aos marcadores. esta funo que permite movimentar o marcador em qualquer posio e fazer com que os objetos 3D acompanhem o marcador, ficando sempre sobreposto ao mesmo. A cada movimentao de frames na tela esta funo e chamada e todo o contedo da tela (objetos virtuais) so renderizados novamente, atualizando as posies em relao ao marcador. A figura 5g abaixo mostra a funo updateMarkers.

60

Figura 5g - Funo "updateMarkers"

A funo addMarker a responsvel pela adio de marcadores no sistema assim que um deles for posicionado no foco da WebCam. ela quem inicializa os objetos 3D do PaperVision a serem sobrepostos sobre os marcadores de id 0 a 5. A figura 5h abaixo ilustra esta funo:

61

Figura 5h - Funo "addMarker"

Nesta funo foi usado um novo conceito do Action Script implementado a partir da sua verso 3.0, a classe Dictionary. Seu funcionamento parecido com um Array ou vetores para armazenamento de dados. Em um Array as referncias para os dados armazenados so obtidos atravs de nmeros inteiros ou Strings. Quando uma varirel declarada do tipo Dictionary pode-se referenciar utilizando objetos ao invs de nmeros ou strings. Neste caso, o vetor containerPorPattern armazenar os objetos 3D de cada marcador e a referncia para estes objetos so os prprios marcadores, assim como feito na linha correspondente this.containerPorPattern[marker] = recipiente;, recipiente o objeto 3D. A funo removeMarker a responsvel por remover os marcadores do sistema quando os mesmos forem retirados do foco da WebCam e ,alm disso, a responsvel por chamar os mtodos play() e pause() da classe SoundPlayer quando o marcador responsvel pela msica for adicionado ou removido, respectivamente. Estes mtodos onde marker o objeto marcador e

62

reproduzem e pausam a msica, de acordo com a visibilidade do marcador ou no. neste mtodo tambm que os sons da bateria so reproduzidos, caso o marcador correspondente for ocultado. A figura 5i abaixo mostra a funo:

Figura 5i - Funo "removeMarkers"

63

Tudo o que foi descrito neste tpico o necessrio para a execuo da aplicao, porm falta ainda a classe responsvel pela reproduo do som, a SoundPlayer. Nesta classe, foi implementado os seguintes mtodos: load(): responsvel por carregar o arquivo de udio; pause(): responsvel por pausar o arquivo de udio; play(): responsvel por reproduzir o udio do incio ou do ltimo ponto pausado; stop(): responsvel por parar a reproduo do udio Abaixo na figura 5k a classe mostrada:

64

Figura 5k - Classe SoundPlayer

65

5.2 Testes e Resultados

Foram realizados diversos testes para verificar o correto funcionamento do sistema. A princpio, foi estipulado que cada marcador teria um objeto Collada diferente e que representaria virtualmente as peas da bateria. Os objetos seriam criados a partir do software 3Ds Max (9), porm foi verificado atravs de testes que o sistema ficava muito pesado ao posicionar todos os marcadores ao foco da WebCam. Por este motivo, objetos Collada no sero usados nos marcadores e sim objetos primitivos da biblioteca PaperVision3D, que so mais simples e no necessitam de um grande poder de processamento para carreg-los. Abaixo segue a descrio dos testes realizados e dos resultados encontrados:

5.2.1 Teste com Mltiplos Marcadores

Este teste teve como objetivo verificar se os marcadores estariam sendo exibidos corretamente em simultneo. E que os objetos virtuais em 3D foram corretamente visualizados. A princpio foi constatado que a exibio da imagem da cmera estava em lag, ou seja, ao movimentar a cmera a imagem travava de maneira que era impossvel movimentar com os marcadores na cena. Para resoluo deste problema foi preciso diminuir os valores das variveis SourceWidth e SourceHeigth que a resoluo capturada pela cmera e as variveis displayWidth e displayHeight que a resoluo de sada, ou seja, a exibida na tela. A resoluo no era suportada pela WebCam utilizada e causava esse problema de lag ao exibir as imagens. Abaixo nas figuras 5l, 5m, 5n e 5o so mostradas algumas imagens correspondentes a este teste.

66

Figura 5l - Marcador sendo sobreposto por um objeto Collada, neste momento sistema apresentou lag, ou seja, travando a tela ao movimentar os marcadores

Figura 5m - Vrios arquivos Collada sendo exibidos, neste momento o sistema travou

67

Figura 5n - Marcadores sendo sobrepostos por objetos 3D do PaperVision3D

Figura 5o - Erro do objeto Collada

68

Aps os testes as divergncias foram corrigidas e o lag no acontece mais. O sistema ficou mais leve ao utilizar os cubos do PaperVision 3D. A exibio de vrios marcadores ao mesmo tempo funcionou como esperado, assim como mostra a figura 5p abaixo:

Figura 5p - Teste com mais de um marcador sendo exibido ao mesmo tempo

5.2.2 Teste com PaperVision3D

Este teste teve como objetivo verificar a exibio dos objetos 3D do PaperVision e do objeto Collada que a princpio iria ser utilizado no marcador correspondeste a msica, mas como o sistema apresentou problemas que performance um cubo de dimenso menor foi utilizado. Num primeiro momento somente os cubos das peas da bateria foram exibidos e aps verificao foi contatado que a animao Collada estava fora de posicionamento, sendo exibido fora do campo de viso da WebCam, alm de estar com sua escala muito grande. O objeto Collada que estava sendo carregado deixava o sistema pesado, ento um cubo de dimenses menores feito com o PaperVision o substituiu. As figuras 5q e 5r abaixo ilustram o teste realizado.

69

Figura 5q - Arquivo Collada no sendo exibido

Figura 5r - Teste com Cubo de dimenses menores no marcador da msica

70

5.2.3 Teste com os Sons e as Msicas

Este teste verificou o correto funcionamento da reproduo dos sons dos marcadores responsveis pelas peas da bateria e do marcador que inicia ou pausa a reproduo da msica. Em um primeiro momento a msica era iniciada atravs da classe Sound do Flash, mas a mesma era pausada quando outro som, neste caso das peas da bateria, iniciava. Para resolver este problema foi implementado uma nova classe que fica responsvel somente pelo controle da msica. A construo desta maneira facilitou a execuo, tornou a reproduo do som mais eficiente e permitiu um melhor controle da msica, no que diz respeito a reproduo e pausa da mesma. Mesmo implementando estes mtodos um pequeno delay, ou seja, atraso na reproduo dos sons da bateria ainda pode ser notado, porm, como o processamento de imagens e a execuo da Realidade Aumentada requerem um pouco mais de processamento isso se torna normal. Abaixo, na figura 5s, o teste fazendo a ocultao de um dos marcadores e a reproduo do som correspondente, alm da reproduo da msica.

Figura 5s - Todo o sistema funcionando

71

5.3 Concluso dos Testes

O teste uma das etapas mais importantes no desenvolvimento de softwares, pois nela que so descobertas a falha que podem comprometer o correto funcionamento do sistema. Alm dos testes em tempo de implementao foram realizados testes psimplementao, onde atravs deles, os problemas encontrados foram corrigidos. Atravs destes testes foi possvel verificar que o sistema desenvolvido corresponde s caractersticas da Realidade Aumentada, ou seja, o sistema de fcil manipulao e no necessita de acessrios tecnolgicos para sua manipulao, alm de permitir a interao com o usurio.

72

6- Concluso e Trabalhos Futuros

6.1 Concluso

Este trabalho apresentou as caractersticas e definies da Realidade Aumentada aplicadas em diversas reas, inclusive no entretenimento. Apoiada na Realidade Virtual que foi a base para sua criao a RA propicia maior interao com o usurio, por no necessitar de quase nenhum acessrio para sua utilizao. Como mencionado neste trabalho, so grandes as vantagens da utilizao desta tecnologia no entretenimento que uma das reas que mais tiram proveito desta tecnologia justamente pela similaridade de caractersticas. A interao uma das mais relevantes e que propicia ao usurio um maior conforto na usabilidade deste tipo de sistema, seja ao movimentar ou visualizar os objetos virtuais no ambiente real. O uso da RA nesta rea uma excelente escolha por estes e outros motivos. O futuro da comunicao entre pessoas pode ser simplificado com a ajuda da Realidade Aumentada. Em tempo real, as pessoas conseguiro se comunicar mesmo estando em regies distantes e ver todas as informaes flutuando na frente dos olhos literalmente. Alm de tudo isso, se aplicada na educao, de grande valida para facilitar o aprendizado, justamente por promover a interao. O sistema apresentado por este trabalho refora as definies apresentadas. O ARDrums3D propicia a interao com o usurio sem a necessidade de aparatos tecnolgicos, a no ser a WebCam e o monitor. Atravs do sistema o usurio consegue simular uma bateria virtual e toc-la como se fosse o instrumento real. Oferece um maior realismo j que so utilizadas as prprias mos para a interao com o sistema. Porm, foram encontradas algumas dificuldades no desenvolvimento do trabalho. No que diz respeito ao sistema desenvolvido, a grande dificuldade foi a procura de materiais que reforam e explicam para iniciantes a aplicao prtica utilizando a tecnologia. Consegue-se encontrar vrios exemplos prontos e simples aplicaes codificadas, porm ao precisar de algo mais complexo pouco resultados so obtidos.

73

Este trabalho foi de grande valia para o aprendizado, onde atravs dele, pode-se compreender o funcionamento da tecnologia, suas aplicaes e caractersticas. Principalmente a maneira de se desenvolver uma aplicao prtica utilizando a Realidade Aumentada.

6.2 Trabalhos futuros

Para o enriquecimento dos conhecimentos obtidos e da aplicao desenvolvida vrias melhorias so propostas para o mesmo. O sistema atualmente utiliza a tcnica de deteco, remoo e adio de marcadores e atravs deles aes podero ser executadas. Uma das melhorias propostas com relao a dificuldade de utilizao do jogo. Podero ser adicionados nveis que dificultam a cada vez que uma msica executada e acompanhada na bateia virtual. Quatro nveis de dificuldade podero ser implementados: bsico, intermedirio, avanado e expert. Para isso, mais msicas devero ser cadastradas no jogo e o usurio poder escolher entre estes nveis que dificultam a cada. No nvel bsico msicas mais lentas podero ser escolhidas e ao subir de nvel a velocidade aumenta. Outra melhoria proposta para este sistema a implementao de pontuaes, desta maneira o usurio s poder passar de um nvel para outro caso a pontuao conseguida seja igual ou superior a um limite pr-definido. Prope-se tambm, a otimizao do sistema na reproduo dos sons, para que se possa diminuir o atraso na reproduo dos mesmos. A respeito do arquivo Collada, prope-se um estudo para a otimizao do sistema para que arquivos Collada sejam utilizados em tempo real. Cada marcador que representa as peas da bateria poder ser sobreposto por uma imagem em 3D que corresponda a pea referida. proposta tambm a aplicao de marcadores para outras peas da bateria real como, por exemplo, a utilizao de mais pratos, outros tons e de itens de percusso. Prope-se o desenvolvimento de um tocador de msica utilizando somente os marcadores. Atravs deles, pode-se passar de uma msica para outra, pausar, reproduzir, avanar a reproduo e trocar de msica dentro de uma Playlist configurada pelo usurio. So populares os jogos que envolvem msica e instrumentos musicais assim como o Guitar Hero e Rock Band que tambm simulam instrumentos musicais. Pode-se desenvolver uma aplicao que se assemelha a estes sistemas e que englobam outros instrumentos musicais como o piano. Utilizando tcnicas de Realidade Aumentada possvel

74

desenvolver uma espcie de Piano Hero em RA que, utilizando a ocultao de marcadores e a reproduo de sons, apresenta um exemplo rico de utilizao desta tecnologia. Como se pode ver, so diversas as aplicabilidades e ideias para a construo de sistemas que utilizam a Realidade Aumentada, e para isso, basta usar a criatividade e dedicarse aos estudos da tecnologia.

75

REFERNCIAS

(1) ARTOOLKIT Marker Generator. Disponvel em: <http://saqoosha.net/labs/FLARToolkit/MarkerGenerator/MakerGenerator.air>. Acesso em: 11 ago. 2010.

(2) FLARTOOLKIT. Disponvel em: <http://saqoosha.net/category/flash/flartoolkit/>. Acesso em: 11 ago. 2010.

(3) ADOBE Flash CS4. Disponvel em: <http://www.adobe.com/br/products/flash/>. Acesso em: 05 abr. 2010.

(4) PAPERVISION 3D. Disponvel em: <http://code.google.com/p/papervision3d/downloads/list>. Acesso em: 11 ago. 2010.

(5) GREENSOCK TweenLite. Disponvel em: <http://www.greensock.com/tweenlite/>. Acesso em: 11 ago. 2010.

(6) NETTO, A. V. et al. Realidade Virtual: Fundamentos e Aplicaes. Florianpolis: Visual Books, 2002a. 94p.

(7) REALIDADE Aumentada. Disponvel em: <http://www.realidadevirtual.com.br/cmsimple-rv/?REALIDADE_AUMENTADA>. Acesso em: 07 ago. 2010.

76

(8) SUTHERLAND, Ivan E.. A HEAD-MOUNTED THREE-DIMENSIONAL DISPLAY. Disponvel em: <http://www.realidadevirtual.com.br/cmsimplerv/?REALIDADE_AUMENTADA>. Acesso em: 04 jun. 2010.

(9) AUTODESK 3ds Max. Disponvel em: <http://usa.autodesk.com/adsk/servlet/pc/index?siteID=123112&id=13567410> Acesso em: 25 jul. 2010.

(10) KIRNER,C. Sistemas de realidade virtual. Disponvel em: <http://www2.dc.ufscar.br/~grv/tutrv/tutrv.htm#sumario3.3> Acesso em: 18 abr. 2010.

(11) REALIDADE Aumentada. Disponvel em: <http://www.realidadeaumentada.com.br/home/>. Acesso em: 01 mai. 2010.

(12) ZORZAL, Ezequiel Roberto ; BUCIOLI, Arthur Augusto Bastos ; KIRNER, Claudio. Usando Realidade Aumentada no Desenvolvimento de Quebra-cabeas Educacionais. Disponvel em: <www.sbc.org.br/bibliotecadigital/download.php?paper=438/>. Acesso em: 08 jul. 2010.

(13) ZORZAL, Ezequiel Roberto ; BUCIOLI, Arthur Augusto Bastos ; KIRNER, Claudio ; QUEIROZ, Eduardo A. ; GUIMARES, Marcelo Paiva. A Realidade Aumentada no Desenvolvimento de Jogos em Primeira Pessoa. Disponvel em: < www.realidadeaumentada.com.br/artigos/WARV%5B1%5D.pdf>. Acesso em: 08 jul. 2010.

(14) ZORZAL, Ezequiel Roberto ; BUCIOLI, Arthur Augusto Bastos ; KIRNER, Claudio. Desenvolvimento de Jogos em Ambiente de Realidade Aumentada. Disponvel em: < http://www.realidadeaumentada.com.br/artigos/14534.pdf >. Acesso em: 10 jul. 2010.

(15) KIRNER, Claudio; ZORZAL, Ezequiel R.; KIRNER, Tereza G. Case Studies on the Development of Games Using Augmented Reality. Disponvel em: <http://www.realidadeaumentada.com.br/artigos/566.pdf>. Acesso em: 11 jul. 2010.

77

(16) TORI, Romero. et al. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. In: VIII Pr Simpsio Brasileiro de Realidade Virtual. Belm, p. 1-219, 2006.

(17) HAMDAN, Camina C. Games com realidade aumentada (GRA): sua prpria tela para o mundo. Disponvel em: < cicamigos.com/felipe/UnB/GamesRealidadseAumentada.pdf>. Acesso em: 07 ago. 2010.

(18) MELO, P. D. de. Um estudo de proposta de Interface Alternativa em Realidade Aumentada para uma Aplicao desktop existente. 2009. 64 p. Monografia (Graduao em Sistemas de Informao) - Centro Universitrio do Planalto de Arax, Arax.

(19) SOARES, Leonardo. E. ; ROCHA, Cleomar ; MARTINS, Alice F. Realidade Aumentada: Uma Perspectiva Tcnica. Disponvel em: <http://portais.ufg.br/projetos/seminariodeculturavisual/images/pdf_II_Seminario/GT2/leonar do.pdf>. Acesso em: 07 set. 2010.

(20) RIBEIRO, Marcos. et al. Aplicaes de Realidade Virtual e Aumentada. In: XI PrSimpsio de Realidade Virtual. Porto Alegre, p. 1-219, 2009.

(21) KIRNER, Claudio; ZORZAL, Ezequiel R.; CARDOSO, Alexandre ; LAMOUNIER, Edgard. Viabilizando o Desenvolvimento de Jogos Espaciais com Realidade Aumentada. Disponvel em: < http://www.realidadeaumentada.com.br/artigos/18541.pdf>. Acesso em: 11 ago. 2010.

(22) MILGRAM, Paul; H. Takemura, A. Utsumi, F. Kishino (1994). Augmented Reality: A class of displays on the Reality-Virtuality Continuum. Disponvel em: <http://etclab.mie.utoronto.ca/publication/1994/Milgram_Takemura_SPIE1994.pdf>. Acesso em: 08 ago. 2010.

(23) KIRNER, Claudio; ZORZAL, Ezequiel R.; BUCIOLI, Arthur Augusto Bastos. O uso da Realidade Aumentada no Aprendizado Musical. Disponvel em: <http://www.realidadeaumentada.com.br/artigos/WARV_Music.pdf>. Acesso em: 11 jul. 2010.

78

(24) NOKIA Mixed Reality - Nokia World. 0. Vdeo do canal Nokia no YouTube.com. Disponvel em: < http://www.youtube.com/watch?v=CGwvZWyLiBU> Acesso em: 12 set. 2010.

(25) SECONDLIFE. Disponvel em: <http:// secondlife.com/>. Acesso em: 07 ago. 2010.

(26) 3D Live Snooker. Disponvel em: < http://www.etiumsoft.com/livesnooker.htm>. Acesso em: 05 ago. 2010.

(27) ARQUAKE Interactive Outdoor Augmented Reality Collaboration System. 0. Disponvel em: <http://wearables.unisa.edu.au/projects/arquake/>. Acesso em: 19 set. 2010.

(28) FLARMANAGER. Disponvel em: < http://words.transmote.com/wp/20090309/flarmanager-v01>. Acesso em: 12 ago. 2010.

(29) FLARMANAGER Augmented Reality in Flash. Disponvel em: <http://words.transmote.com/wp/flarmanager/>. Acesso em: 10 ago. 2010.

(30) DEVELOP Flash 3.3.1 . Disponvel em: <http://www.flashdevelop.org>. Acesso em: 10 ago. 2010.

(31) ADOBE Flash CS5. Disponvel em: <http://www.adobe.com/br/products/flash/>. Acesso em: 10 ago. 2010.

(32) TWEENER. Disponvel em: <http://code.google.com/p/tweener/>. Acesso em: 10 ago. 2010.

79

(33) ADOBE Flash CS5. Disponvel em: <http://get.adobe.com/br/flashplayer/>. Acesso em: 16 out. 2010.

(34) TRACKING Multiple Augmented Reality Markers whith FLARManager and PaperVision. Disponvel em: <http://rawkes.com/blog/2010/01/26/tracking-multipleaugmented-reality-markers-flarmanager-and-papervision>. Acesso em: 13 ago. 2010.

(35) O que so Threads. Disponvel em: <http://www.di.ufpe.br/~java/verao/aula8/definicao.html >. Acesso em: 24 out. 2010.

(36) BIOSHOCK. Disponvel em: <http://www.bioshockgame.com>. Acesso em: 24 out. 2010.

(37) HALO. Disponvel em: <http://halo.xbox.com/en-us>. Acesso em: 24 out. 2010.

(38) FAR Cry 2. Disponvel em: <http://farcry.uk.ubi.com/>. Acesso em: 24 out. 2010.

(39) ITAU 30 Horas. 0. Vdeo do canal Bancoitau no YouTube.com. Disponvel em: <http://www.youtube.com/watch?v=Htoh0uzaxGQ> Acesso em: 24 out. 2010.

(40) TUTORIAL Vrml 1.0. Disponvel em: <http://www2.dc.ufscar.br/~grv/vrml/tutoriais/vrml10/index.html>. Acesso em: 24 out. 2010.

(41) X3D. Disponvel em: <http://www.web3d.org/x3d/ >. Acesso em: 24 out. 2010.

(42) OPENGL. Disponvel em: <http://www.opengl.org/ >. Acesso em: 24 out. 2010.

80

(43) JAVA 3D. Disponvel em: <https://java3d.dev.java.net/ >. Acesso em: 24 out. 2010.

(44) OGRE3D. Disponvel em: <http://www.ogre3d.org/ >. Acesso em: 24 out. 2010.

(45) TECNOLOGIA Unreal. Disponvel em: <http://www.unreal.com/>. Acesso em: 24 out. 2010.

(46)EAI Enterprise Application Integration. Disponvel em: <http://pt.kioskea.net/contents/entreprise/eai.php3>. Acesso em: 24 out. 2010.

(47)ARTOOLKITPLUS Disponvel em: <http://studierstube.icg.tugraz.ac.at/handheld_ar/artoolkitplus.php>. Acesso em: 24 out. 2010.

(48)OSGART. Disponvel em: <http://www.artoolworks.com/community/osgart/>. Acesso em: 24 out. 2010.