FACULDADE ENIAC

SISTEMAS DE INFORMAO

PEDRO HENRIQUE MESSIAS DE PAULO SILVA GUILHERME DE SOUZA FEITOSA

SENSORES DE MOVIMENTO NA VIDA MODERNA: Caso de Uso: Microsoft Kinect

GUARULHOS 2013

PEDRO HENRIQUE MESSIAS DE PAULO SILVA GUILHERME DE SOUZA FEITOSA

SENSORES DE MOVIMENTO NA VIDA MODERNA: Caso de Uso: Microsoft Kinect

Trabalho de concluso de curso apresentado Faculdade Eniac, como requisito parcial para a obteno do ttulo de bacharel em Sistemas de Informao. Orientador: Prof. Emilton Carvalho

GUARULHOS 2013

SENSORES DE MOVIMENTO NA VIDA MODERNA: Caso de Uso: Microsoft Kinect

Banca Examinadora:

________________________________________ Nome do(a) Professor(a) Orientador(a) ________________________________________ Nome do(a) Professor(a) Orientador(a) ________________________________________ Nome do(a) Professor(a) Orientador(a)

AGRADECIMENTOS
Agradecemos ao nosso Deus, que nos deu fora e sabedoria para concluirmos esta grande etapa em nossas vidas, ao corpo docente pela ajuda e orientao adequada para o trmino desta monografia. Gostaria de agradecer a minha famlia e a todos que estiveram comigo durante este processo, especialmente minha namorada, Thain Theodoro , cujo apoio foi fundamental. Guilherme de Souza Feitosa

Gostaria de agradecer primeiramente a Deus, que em sua infinita grandeza nos capacitou, deu fora e sabedoria para concluirmos essa tarefa de grande valia para aquisio de conhecimento e, finalizarmos esta etapa de vida. Agradeo tambm ao corpo docente da estimada faculdade que, com toda humildade contribuiu para o desenvolvimento de uma pessoa capacitada para agregar a sociedade com o conhecimento adquirido e assim, construir um futuro melhor para a nao. No poderia esquecer tambm de minha famlia, que, soube me apoiar e dar todo o aporte necessrio, suportando noites de sem sono e me motivando todos os dias para finalizar esta tarefa com a devida qualidade. E para finalizar, meu agradecimento especial a minha noiva, Rebeca Magalhes, que me apoiou de forma incondicional, incentivando e renunciando a momentos que poderamos estar juntos, para que esse ciclo fosse fechado. Pedro Henrique Messias de Paulo Silva

Nunca algum to grande se fez to pequeno para tornar grandes os pequenos. Augusto Cury

RESUMO

Com a popularizao de novos dispositivos de interao, temos disponveis cada vez mais mtodos para interagir com computadores utilizando interfaces mais naturais com usurios. Este trabalho prope o desenvolvimento de uma tcnica de interao entre usurios e computadores, empregando um desses novos dispositivos, o Kinect. A tcnica utiliza a posio dos braos do usurio para reconhecer gestos pr-definidos e transmiti-los a uma aplicao em background como se fossem comandos do teclado, os quais so interpretados e executados na aplicao. O trabalho mostra o uso da tcnica, com uma aplicao de apresentao de slides, onde o mtodo no convencional de interao resulta em maior facilidade de uso.

Palavras-chave: Kinect . SDKs . Microsoft . Navegao . Documentos . Marketing .

ABSTRACT

With the popularization of new interaction devices, have increasingly available methods to interact with computers using more natural interfaces with users. This work proposes the development of a technique of interaction between users and computers, using one of these new devices, the Kinect. The technique utilizes the arm position to recognize user gesture predefined and pass them to na application in the background as if they keyboard command, which are interpreted and executed in the application. The work shows the use of the technique, with a slide show application, where the unconventional method of interaction results in greater ease of use.

Palavras chaves: Kinect . SDKs . Microsoft . Navegation . Files . Marketing .

LISTA DE FIGURAS

Figura 1:1 Pistola de Tiro Mega Drive........................................................... ..................14 Figura 1:2 Super Scope Nintendo..................................................................................... 16 Figura 1:3 Eye Toy Playstation2 ......................................................................................17 Figura 2:1 Modelo Metaplay ............................................................................................ 19 Figura 2:2 Sega Activator .................................................................................................20 Figura 2:3 Virtual Boy......................................................................................................21 Figura 3:1 Kinect for Windows ........................................................................................23 Figura 3:2 Kinect Xbox 360 ............................................................................................. 24 Figura 3:3 Kinect Xbox One .......................................................................................... 25 Figura 4:1 Joints............................................................................................................... 27 Figura 6:1 Kinect uso hospitalar ..................................................................................... 32 Figura 6:2 Kinect Natura ................................................................................................. 35 Figura 6:3 Kinect Coca Cola ........................................................................................... 36 Figura 6:4 Kinect Automao ........................................................................................ 37 Figura 6:5 Kinect Neocontrol ......................................................................................... 38 Figura 7:1 Introduo ao Sistema ................................................................................... 40 Figura 7:2 Introduo ao Sistema ................................................................................... 40 Figura 7:3 Grfico Sistema ............................................................................................. 41 Figura 7:4 Apresentao Sistema ................................................................................... 42 Figura 7:5 MenuKinesis ................................................................................................. 43 Figura 7:6 Selecionando Menu ...................................................................................... 44 Figura 7:7 rvore de Menu ........................................................................................... 45

LISTA DE ABREVIATURAS E SIGLAS

SDK Software Development Kit

DTW

Dynamic Time Warping

FAAST

Flexible Action and Articulated Skeleton Toolkit

KIPS

Kinect Presentation System

SUMRIO

Introduo ................................................................................................................. 13 1. 2.
2.1 2.2 2.3

Histria dos sensores de captura ....................................................................... 14 evoluo dos sensores de captura ...................................................................... 18
Myron Krueger ............................................................................................................ 18 Sega Mega Drive Genesis Activator................................................................................ 19 Virtual Boy. ................................................................................................................. 21

2.1.1 METAPLAY ................................................................................................................... 19

3.
3.1 3.2 3.3

O kinect ........................................................................................................... 22
Projeto Natal............................................................................................................... 22 Kinect for Windows ...................................................................................................... 22 Kinect ........................................................................................................................ 24

4.
4.1 4.2

sdks ................................................................................................................ 26
OpenNI/NITE .............................................................................................................. 26 Kinect SDK ................................................................................................................. 27

5.
5.1 5.2 5.3 5.4

projetos utilizando joints ................................................................................. 28

Kinect SDK Dynamic Time Warping Gesture Recognition ................................................. 28 FAAST ........................................................................................................................ 29 Gesture Recognition with a Wii Controller ...................................................................... 29 Gesture Recognition with Microsofts Kinect ................................................................... 29

6.
6.1
6.1.1 6.1.2 6.1.3 6.1.4

o uso dos sensores na vida moderna .................................................................. 31

Sade ......................................................................................................................... 31
Reabilitao neurolgica e muscular ............................................................................................... 33 Apoio em cirurgias ........................................................................................................................ 33 Reabilitao aps derrame cerebral ................................................................................................. 33 Estimulao de crianas com autismo e Sndrome de Down .............................................................. 34

6.2
6.2.1 6.2.2

Marketing ................................................................................................................... 34
Natura Cosmticos. ....................................................................................................................... 34 Coca-Cola .................................................................................................................................... 36

6.3

Automao Residencial ................................................................................................ 36

7.
7.1 7.2 7.3
7.3.1 7.3.2

Estudo de caso .................................................................................................. 39

Introduo ao Sistema. ................................................................................................. 39 Selecionando um submenu (ou subgrupo) ....................................................................... 44 Arvore de Menus (grupos) ............................................................................................ 45
Ponteiro ....................................................................................................................................... 46 Shapes ......................................................................................................................................... 47

7.3.2.1 7.3.2.2 7.3.2.3 7.3.2.4 7.3.3 7.3.3.1 7.3.3.2 7.3.3.3 7.3.3.4 7.3.4

Selecionando grficos. ............................................................................................................... 47 Girando grficos. ...................................................................................................................... 48 Fechando um grfico. ................................................................................................................ 48 Retornando. .............................................................................................................................. 48 Pages ........................................................................................................................................... 48 Selecione uma pgina. ............................................................................................................... 49 Navegao. ............................................................................................................................... 49 Rolagem e Zoom. ...................................................................................................................... 50 Voltar ....................................................................................................................................... 50 Pintar ........................................................................................................................................... 50

Referncias bibliogrficas ........................................................................................... 52 CONSIDERAES FINAIS ...................................................................................... 54

13

INTRODUO

Esta pesquisa pretende mostrar que atravs do uso do Kinect podemos agilizar processos. Desde os anos 80 computadores so largamente utilizados atravs de teclado e mouse, e vemos filmes de fico cientfica nos quais os computadores so usados como se fosse por mgica, seja entendendo qualquer comando dado por voz, ou gestos em uma tela hologrfica. O Microsoft Kinect uma passo para tornar interfaces naturais em realidade no dia a dia do uso computacional. O trabalho foi motivado pelo interesse em investigar tcnicas de interao usando o Microsoft Kinect e implementar seu uso em uma aplicao comum, como a de apresentar slides. Este trabalho tem como objetivo investigar o poder de deteco de movimento do Microsoft Kinect e avaliar a experincia de usurios atravs de uma tcnica simples de interao desenvolvida. Com este mtodo de interao, diversas atividades realizadas pelo computador, podero ser feitas livremente sem a necessidade de proximidade com o aparelho ou da utilizao de acessrios extras como mouse sem fio, deixando o usurio com as mos livres para fazer o que quiser interagindo com o computador ao mesmo tempo. A tcnica foi implementada para uso com uma aplicao de apresentao de slides. Assim poderemos apresentar slides utilizando o computador, sem apertar nenhuma tecla ou boto, usando apenas os nossos braos para avanar ou retroceder a apresentao.

14

1. HISTRIA DOS SENSORES DE CAPTURA

A primeira empresa a investir nos sensores de captura foi a Sega com os antigos vdeos games Master Sistem e Megadrive, com o sistema de deteco de movimento das pistolas. Era um sistema muito bem elaborado e avanado na poca, pois no contava com nenhum acessrio extra alm da pistola.

Figura 1:1 Pistola de Tiro Mega Drive Fonte: http://2.bp.blogspot.com/-E9XiRde2SBg/Ta-KfOCItJI/AAAAAAAAAC4/rEuT2MVKlo/s1600/sega-sms-lightphaser.png

Muitos videogames domsticos e jogos de fliperama utilizam determinadas pistolas como um dispositivo de entrada. Voc aponta a arma na tela e puxa o gatilho e, caso acerte o alvo, ocorre a pontuao no jogo, e a exploso do alvo. Para criar esse efeito, a pistola contm um fotodiodo (ou um foto transistor) no cano. O fotodiodo capaz de sentir a luz da tela. A pistola tambm possui um gatilho. A sada do fotodiodo e a chave do gatilho so alimentadas pelo computador que controla o jogo. Ao mesmo tempo, o computador obtm sinais dos

15

componentes eletrnicos do driver de vdeo. Os componentes eletrnicos do driver de vdeo enviam pulsos ao computador no incio dos sinais de retorno vertical e horizontal, de modo que o computador saiba onde o feixe de eltrons est localizado na tela durante cada quadro. O computador pode utilizar uma das duas tcnicas abaixo para calcular se a pistola est ou no apontada para o alvo quando o usurio puxa o gatilho. O computador clareia a tela e pinta de branco apenas o objeto-alvo. Se o fotodiodo sentir a escurido aps um sinal de retorno vertical e acender aps o sinal seguinte, o computador supe que a pistola est apontada para o alvo e marca um ponto. O computador clareia a tela e pinta de branco a tela inteira. Leva um certo tempo para o feixe de eltrons traar a tela toda enquanto a pinta de branco. Comparando o sinal do fotodiodo aos sinais de retorno vertical e horizontal, o computador pode detectar onde o feixe de eltrons est na tela quando o fotodiodo sente primeiro sua luz. O computador conta a quantidade de microssegundos que se passa entre o tempo de incio dos sinais de retorno vertical e horizontal e o tempo em que o fotodiodo sente a luz. A quantidade de microssegundos diz ao computador exatamente onde a pistola est sendo apontada na tela . Se a posio calculada e a posio do alvo forem correspondentes, o computador marca um ponto. Depois dessa engenhosa criao que se arriscou nesses rumos foi a Nintendo, com a Super Scope.

16

Figura 1:2 Super Scope Nintendo Fonte: http://dojoretro.files.wordpress.com/2012/06/super-scope-6.jpg

A Super Scope no tinha fios e utilizava 6 pilhas, vinha com um jogo j de fbrica, uma mira e e sensor para ser plugado no Super Nintendo, cujo sem os mesmo no possvel jogar, pois o sinal era emitido da mira at o sensor que ficava encima do televisor que fazia todo o resto, um sistema semelhante ao do Nintendo Wii. Depois de um tempo sem novidades no setor a Sony lanou sem muito barulho o Eye Toy para Playstion 2, cujo tem o funcionamento quase que idntico ao do kinect, porm neste o usurio pode se ver na tela enquanto joga.

17

Figura 1:3 Eye Toy PlaysTation Fonte: http://www.housegamesonline.com.br/product_images/h/427/eyetoy__90860_zoom.jpg

18

2. EVOLUO DOS SENSORES DE CAPTURA

2.1 Myron Krueger

Myron Krueger nasceu no ano de 1942 em Gary Indiana. Um americano que desenvolveu obras interativas iniciais, hoje considerado um dos primeiros a criar a realidade virtual. Ao decorrer de sua carreira ganhou o ttulo de PHD em cincia da computao. Ele imaginava a interao entre os seres humanos e computadores, seu maior objetivo era a juno dos dois em um resultado fantstico da tecnologia, Krueger desenvolveu muitas tecnologias sensveis que evoluram ao longo do tempo. Seu trabalho foi pouco divulgado, mas seu legado tem tido maior interesse em abordagens tecnolgicas. Segundo Krueger a relao entre ao e reao, que eram o mais importante nas suas criaes. Dava-se como forma de arte. Ao contrario do artista criar obra de arte, o artista estaria criando uma sequncia de possibilidades. Krueger aposta que suas invenes iriam trabalhar muito na educao, mudando uma aprendizagem de um professor tradicional para um novo mundo onde eles poderiam participar ativamente com essas tecnologias. Krueger acredita tambm que esses ambientes seriam muito benficos nas reas da psicologia e da psicoterapia. Krueger escreveu que "a interao homem-mquina geralmente limitada a um homem sentado em uma mquina de picar com os dedos... Eu estava insatisfeito com um dilogo to restrito e embarcou em pesquisa explorando maneiras mais interessantes para os homens e mquinas se relacionar "(FEDERICK, Myron Krueger: Bibliografy <http://thedigitalage.pbworks.com/w/page/22039083/Myron%20Krueger>
acesso em 01 de novembro 2013.

19

2.1.1 METAPLAY

Em 1970 Krueger comeou a desenvolver o chamado METAPLAY, sua mais nova tecnologia se deu em um relacionamento em tempo real entre ser ator e artista, onde um artista observava os participantes por meio de cmera de vdeo e televiso. O avano se deu quando o artista poderia desenhar seguindo seus movimentos da mo e o resultado foi um grafite ao vivo no ar.

Figura 2:1 Modelo Metaplay Fonte: http://thedigitalage.pbworks.com/w/page/22039083/Myron%20Krueger

2.2 Sega Mega Drive Genesis Activator.

Sega Activator um controle sensorial produzido para o Mega Drive. Ele utilizava sensores infravermelhos para captar o calor gerado pelo corpo do jogador. Para poder jogar, o jogador montava o controle que era oito partes que formavam um octgono e para o funcionamento as peas tinham que ser ligadas a uma fonte de alimentao. Ao conectar o controle no console, o jogador era obrigado a aguardar 20 segundos para que este fizesse a calibragem. Aps a calibragem, o jogador ficava em p no centro do

20

octgono, e atravs de suas mos e ps realizava o movimento necessrio para controlar o jogo. Para se controlar a ao do personagem do jogo, o jogador tinha que posicionar seus ps e mos nos seguintes pontos: Ponto 2 referente ao boto B do joystick tradicional. Ponto 8 referente ao boto C do joystick tradicional. Pontos 1, 3, 5,7 So referentes aos botes de direo (up, down, right, left). Pontos 6 e 4 referente ao boto A e ao boto de start.

Figura 2:2 Sega Activator Fonte: http://segabits.com/wp-content/uploads/2013/04/Sega_Activator.jpg

Mas para os iniciantes ao console Sega Activator poderiam encontrar um pouco de dificuldade, pois at decorar as posies dos pontos, e o que cada um representa poderia ser cansativo e complicado.

21

2.3 Virtual Boy.

Figura 2:3 Virtual Boy Fonte: http://nportatil.com/virtual-boy

O Virtual Boy foi revelado ao pblico em novembro de 1994. Era um console porttil onde prometia uma revoluo na maneira de jogar. Essa revoluo se consistia no dispositivo que era um culos em forma de monitor, como na figura 2:2, que era responsvel pela criao de imagens 3D. Com a tentativa de revolucionar o mercado dos jogos, o console no agradou ao pblico, por no conseguir simular a realidade virtual, devido ao mal estar gerado por conta das dores de cabea causadas pelas horas excessivas em contato com a tecnologia.

22

3. O KINECT
3.1 Projeto Natal
O novo meio de controle da empresa Microsoft para o Xbox 360 tinha o nome de Projeto Natal. No comeo de seu desenvolvimento a Microsoft ainda estava em fase de testes de hardware e software para tentar descobrir a melhor combinao entre os dois. Em todo projeto que se envolve um hardware, a Microsoft chegou a construir um prottipo do que o Kinect hoje. De acordo com uma reportagem do The New York Times, apenas o primeiro prottipo do mdulo da cmera custou US$ 30 mil. Com a melhoria e o envolvimento de uma maior equipe no projeto, o custo de sua fabricao foi tendo reduo at chegar aos atuais US$ 150,00.

3.2 Kinect for Windows

O acessrio para os computadores com o sistema operacional Windows 7 custa em torno de US$ 250 nos Estados Unidos. O CEO da Microsoft Steve Ballmer apareceu com uma boa notcia em uma apresentao da companhia na feira da CES (Consumer Electronics Show) 2012. O acessrio Kinect, utilizado para o Xbox 360 e Xbox One, que responsvel pela captura dos movimentos do jogador, tem data para fazer sua estreia tambm nos computadores que utilizam a plataforma Windows sendo a partir de 1 fevereiro de 2012. Aps o CEO anunciar esse grande passo, o mesmo informou uma lista referente aos pases que receber o Kinect para o Windows, infelizmente nosso pas Brasil segue fora da lista. Com esta novidade revelada teremos o controle de funcionalidades do computador por meio de gestos. Mas existe uma diferena entre o Kinect desenvolvido para o console Xbox e para a plataforma Windows, no ser possvel plugar seu Kinect do Xbox 360 em seu

23

computador. O CEO relatou que so produtos distintos, at sua relao de venda no mercado ter diferenas nos preos cobrados pelos acessrios. Ele se transformou na maior evoluo em interao com sistemas operacionais j vista. O Kinect para o Xbox 360 custa em torno de US$ 119, o preo sugerido pela Microsoft para a venda do Kinect que roda em sistema operacional Windows est por volta de US$ 250 (convertido para reais R$ 450).

Figura 3:1 Kinect for Windows Fonte: http://newgeek.com.br/wp-content/uploads/2013/03/Kinect-para-Windows.jpg?279f38

Ao levar o acessrio do Xbox para o computador pessoal, a Microsoft optou por um modelo de negcios diferente daquele para o Xbox 360, no videogame o Kinect fica mais barato, pois a empresa ganha dinheiro com os subsdios e com licenciamento da tecnologia do Kinect para os desenvolvedores que desenvolvem os SDK. No computador este caminho inverso, pois a Microsoft ganha dinheiro pela venda do hardware/acessrio e no pela SDK desenvolvida pelos desenvolvedores. O acessrio para Windows conta com uma atualizao no firmware para reconhecer os movimentos dos usurios e quando os mesmos estiverem a poucos centmetros de distncia. A distncia mnima que o usurio dever estar diante do Kinect deve ser de 50 cm. Na

24

embalagem do Kinect desenvolvido para a plataforma Windows est com uma mensagem de No deve ser usado com o Xbox 360

3.3 Kinect

O Microsoft Kinect um dispositivo de entrada desenvolvido pela Microsoft para seu console Xbox 360. Ele possui trs cmeras, uma RGB convencional e duas usadas para detectar a distncia do usurio, e um array de microfones utilizado para captar apenas a fala do usurio, removendo o som emitido pela TV.

Figura 3:2 Kinect Xbox 360 http://92500232rc.files.wordpress.com/2013/02/kinect-xbox-360-picture-6.jpg

O Kinect foi lanado pela diviso jogos da Microsoft para combater o sucesso surpreendente do Nintendo Wii e seu controle Wiimote com seus jogos mais casuais que s utilizavam movimentos e estava arrecadando cada vez mais usurios, muitos dos quais nunca haviam tocado em um videogame, e conquistando sozinho uma fatia enorme do mercado. Na feira de games E3 de 2009 o Kinect foi mostrado ao pblico com algumas demonstraes de conceito feita pela Microsoft e outros estdios parceiros. Nesta mesma E3 a Sony tambm

25

apresentou o seu concorrente do Nintendo Wii, o PS Move, que era basicamente igual em funes ao Wiimote, mas com uma melhor sensibilidade. Com o lanamento do Microsoft Kinect, o sucesso foi to grande que a Microsoft resolveu investir pesado em outros usos para seu novo dispositivo, a fim de mant-lo em constante uso e no cair no esquecimento como mais um dispositivo da moda. A Microsoft j anunciou a inteno de uma integrao total do Kinect com o prximo sistema operacional, Windows 8, prometendo revolucionar a maneira de como o novo OS ser utilizado.

Figura 3:3 Kinect Xbox One Fonte: http://criticalhits.com.br/wp-content/uploads/2013/07/kinect-xbox-one.jpg

Por limitaes do dispositivo, no possvel detectar movimentos prximos ao Kinect, o que impede o uso deste para tarefas mais cotidianas com aquelas realizadas quando sentados na frente do computador. Mas j foi anunciada uma nova verso do Kinect, que promete melhorar a sua preciso, aumentando seu campo de viso, possibilitando detectar gestos faciais a uma distncia de 50 cm. Eles prometem ainda melhorar seu array de microfones sendo possvel reconhecer estados emocionais dos usurios com base no tom da voz e na expresso facial, de modo que o Kinect possa ser usado no dia a dia, para tarefas habituais.

26

4. SDKS
4.1 OpenNI/NITE
A primeira SDK a ser lanada foi a OpenNI da empresa israelense PrimeSense responsvel pela tecnologia utilizada no sensor 3D do Microsoft Kinect [9]. Essa SDK foi lanada no final de 2010 e utilizada largamente como forma de hackear o Microsoft Kinect para ser utilizado por outra mquina (computador) alm do Xbox 360, que era seu principal e nico alvo originalmente. Atualmente, ela ainda possui algumas vantagens em relao SDK oficial, que est na sua verso beta 2, como um framework para reconhecimento de gestos com mos e multissistemas operacionais, funcionando em Linux, Windows (XP, Vista e 7) e Mac OS X. Possuem, entretanto, algumas desvantagens, como fazer uso de uma srie de drivers que precisam ser instalados manual e individualmente, o que torna seu uso extremamente improvvel para usurios finais. Ela tambm no tem suporte ao reconhecimento de udio do Kinect. A SDK requer uma pose de calibragem para o reconhecimento do usurio no inicio das aplicaes. Foi esta SDK que mostrou Microsoft que seu dispositivo era mais que apenas um concorrente do Nintendo Wii e convenceu a Microsoft de que o Kinect poderia ser usado para muitas outras coisas.

27

4.2 Kinect SDK

A Kinect SDK a SDK oficial da Microsoft, lanada em junho de 2011 (verso beta) [6]. Essa verso traz alguns cdigos de amostra feitos pela Microsoft, cada um demonstrando uma funo especfica da SDK, como reconhecimento de udio, amostragem das diferentes cmeras, deteco do esqueleto e coliso do esqueleto com objetos. A SDK possui classes prontas para essas funes, tornando simples a utilizao de cada uma das funes. A SDK permite at 6 usurios detectados ao mesmo tempo, possibilitando o uso multiusurio ou a restrio de apenas um dos usurios em frente cmera ser considerado pela aplicao. O esqueleto detectado pela SDK armazenado numa estrutura que contm diferentes segmentos do corpo. Cada um desses segmentos definido pelas coordenadas dos seus extremos, as joints. A estrutura possui 41 joints: cabea, ombro central (pescoo), ombros direito e esquerdo, cotovelos direito e esquerdo, pulsos direito e esquerdo, mos direita e esquerda, espinha, lados direito, esquerdo e centro do quadril, joelhos direito e esquerdo, calcanhares direito e esquerdo e ps direito e esquerdo. A figura 4.1 abaixo mostra cada uma dessas joints.

Figura 4:1 Joints

28

5. PROJETOS UTILIZANDO JOINTS

Devido ao Kinect ser um dispositivo relativamente barato e a recente disponibilidade de uma SDK oficial da Microsoft, esto surgindo cada vez mais projetos utilizando este dispositivo [16] [17]. A seguir esto alguns destes projetos.

5.1 Kinect SDK Dynamic Time Warping Gesture Recognition

O Kinect SDK Dynamic Time Warping (DTW) Gesture Recognition [4] um projeto utilizando a SDK oficial da Microsoft, lanado em julho de 2011, em que o Kinect utilizado para gravar gestos feitos por um usurio, armazena-los em um arquivo de texto e interpretar as aes do usurio com base nestes gestos armazenados. Para gravar os gestos, o usurio escolhe em uma lista o nome do gesto, ativa o modo de gravao e executa o gesto em 32 frames (um pouco mais de um segundo). O arquivo de texto contm as coordenadas X e Y de 12 pontos do modelo do usurio em 32 frames diferentes. Esse modelo composto por pontos que representam a parte superior do corpo: cabea, centro dos ombros, ombro direito, ombro esquerdo, coluna, centro do quadril, cotovelo direito, cotovelo esquerdo, pulso direito, pulso esquerdo, mo direita e mo esquerda. O reconhecimento dos gestos gravados feito utilizando um algoritmo baseado em vetores e vizinhos prximos dos pontos superiores do corpo do usurio. Isso quer dizer que o usurio pode realizar os gestos na velocidade que desejar, no importando a velocidade em que eles foram gravados. Mas isso tambm significa que todos os pontos superiores so considerados para o reconhecimento do gesto. Sendo assim, se um gesto de movimentao da mo direita gravado enquanto a mo esquerda est abaixada, ele s ser reconhecido quando a mo esquerda estiver abaixada. Como o arquivo gravado possui apenas as coordenadas X e Y, no possvel reconhecer movimentos em 3D, como a mo se aproximando da cmera.

29

5.2 FAAST
O Flexible Action and Articulated Skeleton Toolkit (FAAST) [1] um middleware desenvolvido com base nas SDKs no oficiais OpenNI e NITE. Ele foi criado por um grupo de pessoas da USC (University of Southern California) para integrar o Kinect a softwares j existentes que no possuem integrao nativa ao dispositivo.

5.3 Gesture Recognition with a Wii Controller

O Gesture Recognition with a Wii Controller um projeto realizado na Universidade de Oldenburg Alemanha, utilizando o controle de Nintendo Wii, o Wiimote, para realizar o reconhecimento de gestos [14]. O projeto utiliza o acelermetro para capturar as entradas do controle, permitindo o treinamento de gestos arbitrrios dos usurios para reconhecimento destes posteriormente em sistemas, como a visualizao de fotos em uma televiso.

5.4 Gesture Recognition with Microsofts Kinect

O Recognizing Hand Gestures with Microsofts Kinect prope uma tcnica para reconhecimento de gestos com a mo utilizando o Kinect [15]. Este trabalho utilizou as SDKs OpenNI e NITE para sua implementao. Foi utilizado um trabalho anterior de integrantes do Departamento de Cincia da Computao da Universidade de Stanford para identificar a posio da mo do usurio e capturar uma sequencia de imagens de 64x64, em que a mo deve estar com base na posio detectada. Com estas imagens da mo, analisada a imagem capturada e atribuda a cada pixel uma probabilidade de este pixel fazer parte da mo. Depois de realizada toda a anlise e identificar a posio estimada da mo, analisada uma sequencia de posies da mo para obter-se um gesto.

30

Esses gestos so reconhecidos com base em posies da mo no incio e fim da sequncia de imagens, como, por exemplo, uma mo aberta no incio e fechada no fim da sequncia representa o gesto de pegar algo.

31

6. O USO DOS SENSORES NA VIDA MODERNA

6.1 Sade
Hoje, utilizado em hospitais, centros de reabilitao e diversas instituies de sade ao redor do planeta para as mais diversas finalidades operacionais e teraputicas, um grupo mdico surpreendeu ao aderir o perifrico e obter um excelente retorno da equipe mdica. Aderindo o perifrico, a Amil, empresa do grupo Amilpar (do qual faz parte a One Health), aproveitou a tecnologia e desenvolveu para seus 28 hospitais um aplicativo que permite aos mdicos acessar por um telo informaes, exames, radiografias, tomografias e o pronturio dos pacientes durante os procedimentos cirrgicos, sem a necessidade de manipul-los ou de sair da sala. A ideia nasceu de uma pesquisa feita com parentes e acompanhantes de clientes que passavam por cirurgias no Hospital da Luz, na Vila Mariana, em So Paulo. Ao perguntar a eles qual o grau de angstia que sentiam enquanto aguardavam informaes sobre o andamento das operaes, a equipe do hospital descobriu que poderia criar uma TV que mostrasse o nome do familiar e o status da cirurgia. A ideia de montar um painel televisivo gerou outra: j que vamos fazer um para os pacientes, por que no para a sala de cirurgia? (Jesus, Heraldo 2012, diretor tcnico do Hospital da Luz).

32

Figura 6:1 Kinect em uso hospitalar Fonte: http://www.bonde.com.br/img/bondenews/2012/04/img_1_27_1906.jpg

Em quinze dias, a equipe de Business Intelligence retornou no apenas com o projeto para a sala de espera, mas tambm com outra proposta: um sistema de consulta de informaes mdicas em uma tela ligada a um computador conectado ao banco de dados, dentro do centro cirrgico, feito com o Kinect. Nele, a prpria mo do mdico funcionaria como mouse para acessar as informaes projetadas em um telo. O sistema comeou a ser desenvolvido em outubro de 2011 e foi implantado em maro de 2012 ano no Hospital da Luz e, em abril, no Hospital Pasteur, localizado no bairro do Mier, no Rio de Janeiro. A operao bem simples: o mdico se posiciona diante da tela e a cmera do Kinect captura sua imagem e seus movimentos. Durante a cirurgia, ele pode simular cliques sobre os arquivos, aumentar ou diminuir imagens e escolher de que forma deseja visualizar as informaes, apenas movendo as mos Cruz, Leonardo Simes da gerente de Business Intelligence da Amil. Entre os cirurgies do Hospital da Luz, a novidade foi bem recebida. Para ns, alm do conforto de no precisar interromper o procedimento para manusear os exames, h a vantagem de poder visualizar com clareza os detalhes que podem nos ajudar a alcanar um

33

melhor resultado nas cirurgias Junior, Jos Luiz Cunha Carneiro - gerente mdico do Hospital da Luz. O sucesso da implantao do aplicativo fez com que a Amil fosse convidada a apresentar a ideia em diversos hospitais da Amrica Latina. Alm do sistema na sala de cirurgia, o Hospital da Luz tambm conta com outro dispositivo adaptado ao Kinect. Substituindo o tradicional quadro branco onde se liam as escalas de procedimentos do dia, nos corredores do centro cirrgico, h agora um painel eletrnico com informaes completas sobre horrios, cirurgias, pacientes, mdicos e andamento, atualizado em tempo real. Para ver os detalhes, os mdicos se posicionam diante da tela e acessam as informaes da mesma forma que acontece no centro cirrgico, apenas movimentando as mos e simulando cliques sobre o que deseja visualizar.

6.1.1

Reabilitao neurolgica e muscular

A UniCid, em So Paulo, usa os games Kinect Sports, Kinect Adventures e Your Shape para complementar a fisioterapia dos pacientes. O aparelho til na recuperao do equilbrio, coordenao motora, concentrao, fora muscular e resistncia fsica.

6.1.2 Apoio em cirurgias Um grupo de estudantes de engenharia da Universidade de Washington, EUA, est testando o Kinect em cirurgias. Eles criaram um programa para guiar robs cirurgies em operaes delicadas, mais difceis de serem realizadas por mos humanas.

6.1.3 Reabilitao aps derrame cerebral No hospital ingls Royal Berkshire, os games do Kinect so usados na terapia de reabilitao de pacientes com derrame cerebral. Os movimentos trabalham as funes musculares, acelerando o processo de recuperao e promovendo maior independncia.

34

6.1.4

Estimulao de crianas com autismo e Sndrome de Down

O centro de reabilitao Lakeside, tambm na Inglaterra, usa os jogos do Kinect para estimular a concentrao e a capacidade de interao dos pequenos pacientes, alm de trabalhar a linguagem e a coordenao motora.

6.2 Marketing
6.2.1 Natura Cosmticos.

A empresa de cosmticos Natura criou um espelho virtual no qual as pessoas podem experimentar vrios tipos de produtos sem precisar se sujar e com um efeito bem prximo ao da maquiagem aplicada de verdade sobre a pele. No fim de cada teste, a usuria convidada a escrever o seu e-mail na tela, ou melhor, no espelho. A Natura enviar uma mensagem com os produtos usados pela mulher e os respectivos links deles no site da empresa, caso ela queira compr-los. Essa uma forma de estimular as vendas e, ao mesmo tempo, medir o efeito e o retorno da ao de marketing. A construo do equipamento levou sete meses e reuniu 21 pessoas 12 delas programadores que tinham a misso de tornar a experincia o mais real possvel. A primeira ambio foi fazer o experimento em vdeo, atravs da internet. J seria um avano em relao aos maquiadores virtuais que existem hoje nos sites de beleza ou das prprias marcas de maquiagem. Todos esses funcionam de forma esttica. Voc faz o upload de uma fotografia do seu rosto para o site e aplica a maquiagem em cima da imagem. Ficamos um bom tempo at conseguir um resultado bem real por meio da webcam. Mas, ainda assim, atravs do computador no tnhamos como dar a noo de movimento, Puga, Igor - scio-diretor da agncia ID.

35

Foi a que veio a ideia de usar um espelho, uma televiso de LCD e o sensor de movimentos Kinect, desenvolvido pela Microsoft. Para ser o mais fiel possvel, a cmera do Kinect foi programada para reconhecer trs tons de pele: branca, morena e negra. Assim que reconhece a cor, o software muda a palheta de cores das maquiagens sem que a usuria perceba. A mesma cor de blush ou de sombra ficar diferente em cada um dos tons de pele, exatamente como acontece no mundo real. J o espelho que reveste o equipamento foi trazido da Alemanha. Ele tem uma pelcula touch e translcido de uma forma que no se sobrepe ao fundo, onde est acoplada a televiso de LCD e a cmera do Kinect. Depois o desenvolvimento do aparelho, foi preciso convencer um estabelecimento a mexer no seu banheiro para trocar o espelho original pelo espelho virtual de maquiagem.

Figura 6:2 Kinect Natura Fonte: http://s2.glbimg.com/1j7M9spfp-qmfm28DbbEbmsMEhomPyRhmuGBWFEJuPo10O1R6X69CxMylhT2Tpd/e.glbimg.com/og/ed/f/original/2012/07/26/espel ho_ici_natura.jpg

36

6.2.2 Coca-Cola A empresa Coca-Cola utilizou da tecnologia do Kinect para desenvolver um fliperama prprio, que recompensava o usurio por repetir os movimentos exibidos na tela com garrafas de seu refrigerante. A mquina utilizava-se de uma tela grande, um freezer de refrigerante embutidos e um dispositivo Kinect.

Figura 6:3 Kinect Coca-Cola Fonte: http://www.gameranx.com/img/13-Jan/vending-machine-makes-you-dance-for-a-free-cokevideo--951ef76be5.jpg

6.3 Automao Residencial

A empresa Telefnica, no incio de novembro, teve a oportunidade de conhecer uma nova ferramenta, desenvolvida pelo Centro de Inovao da Telefnica no Brasil, que permite comandar a inteligncia da casa a partir de gestos. Para que o software interprete os movimentos do morador e acione as funes programadas (via sistema de automao), indispensvel o uso de uma cmera com infravermelho como o Kinect.

37

Figura 6:4 Kinect Automao Fonte: http://revistahometheater.uol.com.br/site/img/upload/697089.jpg

De acordo com Gabriel Domingos, o prprio usurio poder definir qual movimento caracterizar cada funo dentro do sistema, como por exemplo: elevar as mos pode significar aumentar a intensidade das luzes ou abrir as persianas, e assim por diante. Tudo depende da programao prevista, sendo ainda possvel integrar todo o tipo de dispositivo, incluindo equipamentos de udio e vdeo, fechaduras inteligentes, cortinas, ar-condicionado. Para simplificar as operaes, a empresa pretende limitar a programao do software em at 20 gestos, por uma questo de memorizao. De acordo com Domingos, a ideia no substituir os painis e controles tradicionais pela nova soluo, mas apenas de uma opo complementar, que pode levar mais conforto aos usurios. A nova soluo da Telefnica deve ser lanada comercialmente no primeiro semestre de 2012. Outras empresas esto seguindo o mesmo caminho. A mineira Neocontrol, especializada em automao, tambm desenvolveu seu prprio software que permite comandar funes da casa inteligente atravs de gestos. uma ferramenta gratuita, que interage com a linha Module (mais sofisticada) e pode ser baixada diretamente do nosso site Fernandes, Higor - coordenador de sistemas da Neocontrol.

38

Figura 6:5 Kinect Neocontrol Fonte: http://revistahometheater.uol.com.br/site/img/upload/682214.jpg

A soluo, chamada de Neokinect, combina sensores de movimento e de postura para tornar a automao mais prtica e intuitiva. Alm de interpretar a posio dos braos e das mos, o sistema, atravs do Kinect, tambm reconhece quando o usurio senta ou levanta do sof, por exemplo, abrindo novas possibilidades. possvel programar o sistema de automao para apagar as luzes do ambiente, fechar as cortinas e ligar o TV assim que o morador encostar-se no sof. Depois, ao levantar, o sensor de postura pode enviar um comando para pausar a reproduo do filme em Blu-ray e acender parte da iluminao.

39

7. ESTUDO DE CASO
Kinesis um projeto concebido para ser um auxiliar na apresentao de documentos. Usando o Microsoft Kinect, fcil de controlar apresentaes usando gestos em vez de controles remotos, teclados, ou quaisquer outros aparelhos eletrnicos. Os requisitos de sistema para o seu funcionamento so: Para uso: Windows 7 (x86 or x64) Microsoft .NET Framework 4.0 Microsoft Kinect for Windows SDK Microsoft Office 2007 or 2010 (at least Word, Excel, Powerpoint, Office Shared Features, Office Tools) Para ambos - Windows 7 x86 and x64 - Microsoft Visual C++ 2010 Redistributable Package (x86)) Apenas para Windows 7 x64 - Microsoft Visual C++ 2010 Redistributable Package (x64) Para desenvovimento: Visual Studio 2010 Visual Studio 2010 Tools for Office

7.1 Introduo ao Sistema.

A apresentao mais bsica da KineSis a imagem a seguir. Todos os elementos sero explicados mais adiante.

40

Figura 7:1 Introduo ao Sistema

Figura 7:2 Introduo ao Sistema

41

Figura 7:3 Grfico Sistema

Como voc pode ver, h duas telas:

Tela de Usurio - esta tela apresentada ao usurio, e exibe um esqueleto em tempo real ao quais suas aes se convertem no fluxo de apresentao. A apresentao atual mostrada ao utilizador no fundo. o recomendado que a tela seja de um laptop ou um monitor de desktop, orientada para apresentador (usurio).

Tela de Apresentao - esta tela apresentada ao pblico. Ela exibe apenas a apresentao. Em uma situao ideal, este ser apresentado em uma tela de projeo ou uma grande TV.

O contedo da apresentao das duas telas o mesmo. Assim, as telas so sincronizadas.

O controle de tela feita pelo Windows. Pela necessidade de um ponto de vista diferente em cada tela, voc deve definir as telas como 'estendido', como mostrado na figura a seguir.

42

Figura 7:4 Apresentao Sistema

A tela do usurio tem vrios elementos que precisam de explicao:

Utilizador - Este o esqueleto processado em tempo real do utilizador. Como voc pode ver, ele mostra as partes mais importantes do corpo: cabea, mos, ps. As aes do esqueleto basicamente controlam a apresentao

Toque Direito Distncia da mo ( cm) / Toque Esquerdo - Distncia da mo (cm) - Eles exibem a distncia da mo direita e esquerda em relao a cabea . A distncia representada em centmetros. A uma distncia configurada (definido como padro de 45 cm), a mo considerada ativa ou selecionada. Uma mo permanecer ativa at a distncia diminua sob outra distncia configurada (definido como uma distancia padro de 30 cm para Untouch). Quando um lado estiver ativo, o indicador muda de cor de fundo (na imagem, a mo esquerda ativa, e o crculo superior esquerdo tem um fundo roxo)

43

Ponteiro Mo Ativa - um crculo em movimento, representando a posio da mo selecionada. Seu objetivo ajudar o usurio no menu de navegao

Menu - Aparece quando uma mo considerada ativa, na posio inicial. Ele representa o menu atual atravs de uma imagem . Abaixo est a lista de menus principais do Kinesis :

Main menu. Podemos definir como Menu Principal, root ou home.

Shapes menu. Podemos chama-lo de Menu de grficos.

Pages menu. Podemos define-lo como menu de apresentao.

Paint menu. Identificaremos como menu de pintura.

Figura 7:5 Menu Kinesis

Submenus - Cada menu tem uma lista de submenus, ou menus de ao. O usurio pode selecionar um desses submenus, ao que tornar o submenu selecionado em menu principal, com os seus prprios submenus. Abstraindo das poucas excees que sero explicados mais tarde, cada menu no-principal tem uma opo "back" ou retornar. O submenu de retorno sobe um nvel, ao menu principal.

Os menus e submenus so chamados tambm de grupos e subgrupos, respectivamente. A estrutura de grupos do KINESIS uma estrutura em rvore, que ser explicado em seces seguintes.

44

7.2 Selecionando um submenu (ou subgrupo)

O usurio o controlador e suas mos so os ponteiros. O movimento das mos controla o menu. O menu de controle do documento. Para atuar no menu, uma mo deve estar ativa. No momento em que uma mo se tornar ativa, o menu expandido, localizada na posio onde a mo ficou ativo. Assim, enquanto a mo est ativo, o menu no se move. Ele pode apenas mudar o seu contedo. Alterao no contedo pode ser feita apenas por selecionar um submenu. Considerando um lado ativo e um menu expandido, a seleo de um submenu pode ser feita em dois passos: a. Arraste a mo sobre o submenu que pretende seleccionar b. Arraste a mo de volta ao menu centro A imagem mostra o movimento graficamente. Considere que voc est no grupo principal e voc quer selecionar o grupo Shapes. Voc s precisa mover sua mo para fora do crculo central (Home) para o circulo Shapes e voltar para o circulo principal. No momento em que voc voltar para Home, a opo Shape se tornar o menu principal, no centro, e com ela seus prprios submenus.

Figura 7:6 Selecionando um menu

45

7.3 Arvore de Menus (grupos)

No Kinesis, os menus so organizados como uma rvore de menus e submenus (grupos e subgrupos). Exceto o grupo Home, cada grupo tem um pai. Alm disso, um grupo pode ter mais filhos, cada criana pode ser tambm um grupo ou uma folha. A folha apenas uma ao, como "Up", "Down", "esquerda" ou "direita". Kinesis tem 4 nveis de menu. O primeiro nvel o menu principal ou o menu raiz. Ele tem quatro filhos, os grupos de nvel 2. Com exceo do Ponteiro, cada grupo de nvel 2 tem filhos nvel 3. O apndices (ou filhos) de nvel 4 so apenas as folhas, por isso as aes, como "Up" e "Down". Os grupos alternativos so uma espcie de grupos secundrios. Eles so mostrados somente quando o usurio levanta a mo para cima e atua com o outro.

A diferena entre abrir um menu e abrir o menu alternativo mostrado na figura a seguir. Como voc pode ver, ao abrir o menu alternativo, o usurio mantm uma mo no ar. Todas as vezes que o usuario levanta a mo acima da cabea, seu esqueleto colorido com cores primrias, em vez de cor default do esqueleto. Desta forma, o usurio caminho vai saber que est a agir em um menu alternativo (se existir) e no no menu principal.

Figura 7:7 rvore de Menu

46

O nmero mximo de filhos por grupo que pode-se mostrar 4. No caso de mais do que 4 grupos, podem ser usadas uma alternativa. Em qualquer caso, o caminho de volta para o pai assegurada. Na figura acima, o menu de rolagem dado como exemplo. As aes principais so a rolagem esquerda, para cima, para a direita e para baixo. No h lugar para mais, como voltar para Home, ento aqui o menu secundrio entra em ao. Levantando a mo para cima, o menu secundrio (alternativo) apresentada ao usurio. As opes so voltar para Home, ampliao, bloqueio / desbloqueio de zoom (a largura da pgina ou 100%), e zoom out. Depois de ativado o menu alternativo, voc pode deixar a mo levantada para baixo para voltar ao menu principal. Se o lado ativo no est mais ativo, o menu (primrio ou alternativo) vai desaparecer at que voc ativ-lo novamente. Veremos a seguir cada funo do menu.

7.3.1 Ponteiro O menu Ponteiro (ou Pointer) o menu mais simples do Kinesis. Primeiro, voc tem que selecion-lo a partir do menu principal. Com uma mo ativa, arraste-o para o cone do ponteiro e de volta ao centro (Home). Depois de entrar no menu, desde que voc tem um lado ativo, voc ver um rastro colorido seguindo o seu movimento da mo. O rastro aparece em ambas as telas, o usurio e apresentao. til quando voc quer apontar alguma coisa, de tal forma todo mundo vai saber exatamente o que voc est falando. Voc pode comparar o ponteiro com um laser de mo usado por apresentadores 'old school' em projetores. Para sair do menu de Pointer e voltar para Home, basta levantar a mo e fazer o gesto com a outra mo ativa, para que voc possa ver o menu secundrio (alternativo). Voc s ter a opo de voltar para Home.

47

7.3.2 Shapes Nem todos os menus so ativos a qualquer hora. Por exemplo, o menu Shapes est ativo apenas quando a pgina atual de apresentao contm grficos. E no qualquer grafico. O sistema Kinesis suporta apenas grficos do Microsoft Office (2D e 3D). Vamos supor que voc est em uma pgina que contenham grficos, como na figura a seguir. Depois de entrar em menu de Shapes, voc tem quatro opes: para selecionar um grfico e torn-lo em tela cheia, para fechar uma grfico aberto, ou para rodar um grfico aberto. Somente aps selecionar um grfico voc poder manipula-lo com as interaes oferecidas pelo sistema.

7.3.2.1 Selecionando grficos. O menu de seleo tem trs elementos principais: o 'select' submenu, o submenu de navegao e a seo de pr-visualizao. Existe ainda a possibilidade de pesquisar atravs de grficos sem faz-los em tela cheia, assim, voc s vai mostrar o grfico desejado para o pblico quando encontrar o grfico desejado. A navegao atravs de grficos pode ser feita usando o menu de navegao. Voc pode chamar o grfico Prximo ou o Anterior. O movimento simples: arraste a mo ativa no crculo correspondente e a volta para o crculo central.. Quando voc encontrar o grfico certo e quiser mostr-lo ao pblico, voc deve arrastar o lado ativo para o crculo 'select', colocado na parte superior da tela. Agora, o quadro exibido em tela cheia e visvel a todos. Para agir sobre o grfico selecionado voc tem que voltar ao menu "Formas". Voc pode fazer isso ativando o menu secundrio de seleo, levantando uma mo e a outra em posio de ativa.

48

Agora estamos de volta ao menu Shape. O menu Fechar est ativa e se o grfico em 3D, tambm no menu 'Rodar' est ativo.

7.3.2.2 Girando grficos. Voc pode girar um grfico apenas se o mesmo um modelo em 3 dimenses e foi processado anteriormente por Kinesis. Alm disso, o grfico deve ser previamente selecionado e posto em tela cheia.

Primeiro, voc tem que entrar no menu de 'Rodar'. 'Rodar' deixar o usurio rodar os grficos em quatro direes - para a esquerda, para cima, para a direita e para baixo. Para voltar a partir do menu 'Rodar', voc deve ativar o menu secundrio e seguir o caminho de volta.

7.3.2.3 Fechando um grfico. A nica coisa que resta a fazer fechar o grfico aberto. O menu 'Close' um menu de ao, por isso no tenho filhos. Basta apenas arrastar a mo ativa sobre ele e volta para o centro (Shapes) do crculo, e o grfico aberto fechado.

7.3.2.4 Retornando. Retornar a partir do menu Shapes para o menu principal pode ser feita selecionando o submenu Home.

7.3.3 Pages Como Shapes , o menu Pages no sempre ativo. Voc pode us-lo somente quando voc tem um documento aberto. Menu Pages permite que voc navegue pelas

49

pginas, utilizando-se de zoom e rolagem. Para entrar no menu de Pages voc tem que selecion-lo a partir do menu principal . A partir daqui, voc pode ir para ' Selecione Pgina ', ' Navegar ', ' Scroll e Zoom' , ou voltar para Home .

7.3.3.1 Selecione uma pgina. Seleo de pgina o semelhante ao selecionar um grfico. Primeiro, selecione o menu "Selecionar" A nica diferena aqui que, em vez de grficos, agora voc navegar pelas pginas de documentos ou slides . Para voltar, ative o menu secundrio e escolha a opo 'Back to Pages '

7.3.3.2 Navegao. Menu de navegao um menu para o uso intensivo. Tudo o que voc pode fazer a partir daqui para ir para a pgina seguinte ou anterior . Devido a isto, foi mantida to simples quanto possvel. Para entrar no menu de navegao , selecione o submenus Pages . Aqui, com a mo ativa, voc pode navegar para a pgina seguinte ou anterior . O fluxo simples: arraste a mo ativa sobre o crculo Prximo ou Anterior e , em seguida, de volta ao crculo central. Para voltar ao menu Pages, ative o menu secundrio , levantando a mo para cima e deixando o outro lado ativo. Em seguida, selecione a opo Back to Pages

50

7.3.3.3 Rolagem e Zoom. Assim rolagem e zoom andam de mos dadas , eles foram colocados no mesmo menu. Se voc aumentar o zoom, provavelmente voc deseja rolar e/ou vice- versa. Para entrar neste menu, selecione-o Pages . O menu principal aqui so os direcionais podendo rolar em quatro direes: para a esquerda, para cima, para a direita e para baixo. O menu secundrio tm funes de zoom in, out , travando zoom e retornando ao menu Pages. Bloqueio de zoom significa ajustando a pgina do documento a largura da tela. Quando o zoom estiver bloqueado, as aes de 'Zoom In' e ' Zoom Out ' estaro

desativadas at o zoom estar desbloqueado. Alm disso, o bloqueio de zoom. O mesmo menu ativa e desativa o bloqueio do zoom . Ele representado como um cone de cadeado fechado ou aberto Para retornar ao menu ' Pginas' , ative o menu alternativo, e selecione Back to Pages.

7.3.3.4 Voltar Selecione 'Back to Home " para voltar ao menu " Home "

7.3.4 Pintar Menu Pintar concebido como um suporte para o desenho sobre a apresentao. Voc pode selecionar uma cor (vermelho, verde ou azul), e desenhar sobre a apresentao (tudo que voc tirar vai aparecer em ambas as telas) , ou limpar a tela. Como Pointer, pintura est sempre disponvel, assim voc no precisa de uma apresentao aberta para us-lo. Primeiro, selecione o menu Pintar a partir do menu principal .

51

A pintura tem dois modos: Pintura Ativa ou Seleo de cor, sendo a primeira, para a utilizar-se do modo, e a segunda, para selecionar a cor desejada para marcao/pintura. Depois de ter escolhido uma cor (opes para cima e para baixo), um cone exibido na parte superior da tela , indicando a o Modo Pintura e a Cor selecionada. Enquanto voc est no modo " na pintura ", o lado ativo usado apenas para o desenho. Saindo deste modo pode ser feito ativando o menu alternativo (secundrio) , levantando uma mo e a outra mo ativa. Na pintura, apenas um menu est disponvel , a diferena apenas o modo que ele seja exibido . Voc pode alterar a cor de desenho, limpar as telas, ou voltar ao menu principal. A Ao limpar do menu funciona como menu de Fechar Grfico, porm, exercendo ao sobre todas as linhas traadas. Se torna ativo somente quando h algo para limpar. Para voltar ao menu principal, selecione o submenu de pintar.

52

REFERNCIAS BIBLIOGRFICAS
Controle suas casas por gestos. Revista Home e Theater, [S.l.:s.n]. Disponvel em: < http://revistahometheater.uol.com.br/site/tec_artigos_02.php?id_lista_txt=7745>. Acesso em: Nov.2013. FAST. Flexible Action and Articulated Skeleton Toolkit, Disponvel em: <http://projects.ict.usc.edu/mxr/faast/> Acesso em: set. 2013. Game & Watch, [S.l.:s.n]. Disponvel em: <http://en.wikipedia.org/wiki/Game_%26_Watch>. Acesso em: out.2013. Kinect Powered Coke Machine. Microsoft News, [S.l.:s.n]. Disponvel em: <http://microsoft-news.com/kinect-powered-coke-machine-rewards-dance-moves-with-freedrinks/>. Acesso em: nov.2013. Kinect SDK Dynamic Time Warping Gesture Recognition, [S.l.:s.n]. Disponvel em: <http://kinectdtw.codeplex.com/> Acesso em: out. 2013. Kinect, [S.l.:s.n]. Disponvel em: < http://en.wikipedia.org/wiki/Kinect>. Acesso em: out. 2013. Microsoft Corporation. Kinect SDK e documentao, [S.l.:s.n]. Disponvel em: <http://kinectforwindows.org/>. Acesso em: out. 2013. MYRON KRUEGER: Biography. The Digital Age PB Works. California, set. 2013. Disponvel em:<http://thedigitalage.pbworks.com/w/page/22039083/Myron%20Krueger >. Acesso em: 12 set. 2013. Natura + Una. Campanha de Marketing, [S.l.:s.n]. Disponvel em: <http://en.wikipedia.org/wiki/Game_%26_Watch>. Acesso em: out.2013. Nintendo Entertainment System, [S.l.:s.n]. Disponvel em: <http://en.wikipedia.org/wiki/Nintendo_Entertainment_System>. Acesso em: out. 2013. Nintendo Wii, [S.l.:s.n]. Disponvel em: < http://en.wikipedia.org/wiki/Wii>. Acesso em: out. 2013. OpenNI e NITE SDK e documentao, [S.l.:s.n]. Disponvel em: < http://openkinect.org/>. Acesso em: out. 2013. Saade, Joel. C#: Guia do Programador. 1 ed. Novatec: 2010. 687p. SCHLMER, T; POPPINGA, B; HENZE, N; BOLL, S. Gesture Recognition with a Wii Controller. Oldenburg: University of Oldenburg; OFFIS Institute for Information Technology: [s.n]. SEGA ACTIVATOR. Wikipedia. California, set. 2013. em:<http://pt.wikipedia.org/wiki/Sega_Activator>. Acesso em: 12 set. 2013. Disponvel

53

TANG, M. Recognizing Hand Gesture with Microsofts Kinect. Palo Alto: Department of Electrical Engineering of Stanford University: [s.n], March 2011. Trabalhos relacionados utilizando Kinect, [S.l.:s.n]. Disponvel em: <http://www.kinecthacks.com/ >. Acesso em: nov. 2013. Virtual Boy, [S.l.:s.n]. Disponvel em: <http://en.wikipedia.org/wiki/Virtual_Boy>. Acesso em: out. 2013. Video Game Cirurgico. One Health Mag, [S.l.:s.n]. Disponvel em: <http://www.onehealthmag.com.br/index.php/videogame-cirurgico/>. Acesso em: nov. 2013.

54

CONSIDERAES FINAIS

Este trabalho apresenta um meio de interao gestual aplicvel ao sensor de movimentos Kinect para controlar tarefas comandas por teclados, como apresentao de slides, auxlio em visualizaes de imagens durante cirurgias. O trabalho mostrou que, com uma tcnica de deteco de gestos suficientemente precisa e sensvel, possvel melhorar uma atividade como a de apresentao de slides, visualizaes de imagens, e at mesmo se maquiar sem a necessidade de experimentar o produto no prprio rosto (como mencionado na subseo 6.2.1) tornando-a mais interativa, fcil e interessante. Os desenvolvedores do Kinect mostraram que seu uso, suas funes no se limitam apenas para jogos. Seu uso infinito, como mencionado em alguns captulos acima, vemos o quanto seu uso facilita a agilidade. Umas das surpresas que tive foi perceber que seu uso tambm poderia ser utilizado em hospitais, o uso do Kinect facilitou muito os mdicos, ao querer consultar um raio x do paciente, ou alguma informao durante uma cirurgia, o mesmo necessitava de ajuda de seus companheiros de equipe para buscar o raio x, com o uso do acessrio o prprio mdico, pode consultar a imagem, outras informaes do paciente atravs de consultas mdicas, desde que o acessrio esteja conectado a uma televiso. O doutor pode dar zoom, fazer um escner completo do corpo do paciente, sem a necessidade de pedir para auxiliares ou sair de perto do paciente que esteja na mesa de cirurgia. Vivemos em um tempo, onde queremos as coisas muito rpidas, quanto menos ficarmos preso a um objeto melhor, o Kinect se mostrou til, em apresentaes onde no h necessidade de ficar preso na frente do teclado para mudar de slides, atravs do movimento de seus braos, seleciono o menu avanar (como vimos na subseo 7.3.3.1). Vemos que algumas empresas investem no marketing como a empresa Coca Cola (mencionada na subseo 6.2.2), onde a mesma recompensava os jogadores com um de seus refrigerantes, por refazerem os movimentos precisos exibidos na tela que ficava acoplada na frente do freezer. As partidas eram realizadas por dois jogadores, o vencedor ganhava como prmio uma coca cola. Seu uso infinito, o desenvolvedor por baixar o pacote de SDKs no prprio site da Microsoft, e comear a desenvolver uma aplicao de seu gosto. O Kinect uniu o til ao agradvel, e a cada dia que passa ganha mais espao em outras reas, facilitando e agilizando o processo.

55

Termo de compromisso e responsabilidade

Autenticidade e exclusividade sob as penas da Lei 9810/98

Pelo presente, o abaixo assinado declara, sob as penas da lei, que o presente trabalho indito e original, desenvolvido especialmente para os fins educacionais a que se destina e que, sob nenhuma hiptese, fere o direito de autoria de outrem.

Para maior clareza, firmamos o presente termo de originalidade.

Guarulhos, 04 de novembro de 2013.

Guilherme de Souza Feitosa

________________________________________________

Pedro Henrique Messias de Paulo Silva ________________________________________________