WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 2012

Metodologia para Drag-and-Drop de Contedo entre Dispositivos de Interao e Visualizao

Thales Sakano, Fabio Rodrigues, Leonardo Botega

Resumo medida que novas modalidades de interfaces computacionais evoluem, a forma com que visualizamos e interagimos com informaes ganham novas possibilidades. Com o advento das Interfaces Naturais de Usurio (NUI), processos interativos baseados em toque e gestos tornaram-se cada vez mais presentes nas aplicaes dos mais diversos domnios, com uma demanda crescente de compartilhamento de recursos dos mais variados tipos. Com tal potencial em mente, a realizao de tarefas em conjunto, local ou remota, torna-se iminente. O presente trabalho apresenta uma metodologia para a viabilizao de compartilhamento de contedo entre dispositivos heterogneos e sicamente separados, utilizando a tcnica de drag-and-drop. Palavras-chave interfaces naturais de usurio, drag-anddrop, integrao de interfaces. AbstractAs the new modalities of computer interfaces evolute, the manner we visualize and interact with information earn new possibilities. By the Natural User Interfaces (NUI), interactive processes such as touch and gesture-based became more present in applications of several domains with an ever-increasing demand of varied resource sharing. With this potential in mind, the collaborative task accomplishment become imminent. The present work presents a methodology to the viability of content sharing between physically separated and heterogeneous devices adopting the drag-and-drop technique. Keywords natural user interfaces, drag-and-drop, interface integration.

I. I NTRODUO Segundo Manovich [1], ao longo dos anos as interfaces computacionais, responsveis por receber e entender os comandos fornecidos pelos usurios, sofreram uma grande (r)evoluo. Por intermdio de uma nova modalidade de interao com os programas de computador, denominada Interface Natural, atualmente, para transmitir comandos aos programas de computador, os usurios so capazes de usarem gestos, fala e at mesmo a sua posio em relao ao espao. Nesta modalidade, os usurios atingem fsica e diretamente os objetos na tela do computador ou at mesmo distncia, atravs de gestos que sensores podem entender e transform-lo em comandos para os programas. O novo paradigma da interao humano-computador, j embarcado em dispositivos mveis/portteis, com telas sensveis ao toque, difundiu plenamente a interao por gestos. Segundo
Thales Sakano membro do Computing and Information Systems Research Lab, UNIVEM, Marlia-SP, Brasil: sakano1991@hotmail.com. Fbio Rodrigues membro do Computing and Information Systems Research Lab, UNIVEM, Marlia-SP, Brasil:fabinhojorgenet@gmail.com. Leonardo Botega membro do Computing and Information Systems Research Lab, UNIVEM, Marlia-SP, Brasil:botega@univem.edu.br.

Saffer [2], um gesto pode ser considerado como qualquer movimento fsico detectado atravs de sensores por um sistema digital, ao qual poder responder sem o auxlio de mecanismos tradicionais, como mouses ou canetas. Os gestos originam-se de qualquer movimento ou estado do corpo humano. Desse modo, um movimento de cabea, um piscar de olhos ou um toque no cho com a ponta do sapato pode ser interpretado como um gesto. Atualmente, os estudos dos gestos focam-se no reconhecimento do movimento das mos e das expresses faciais. Paralelamente, o modelo de interao sensvel aos gestos humanos revoluciona a produo e interpretao da linguagem e da informao, marcando o incio de uma nova era da interao entre homem e mquina. Mesmo com a exibilidade de interagir com entidades computacionais sem o uso de controles convencionais, ainda h a necessidade de se promover o compartilhamento de recursos, bem como estimular o trabalho colaborativo entre usurios e seus diversos dispositivos. Ainda que haja algumas plataformas que promovam o trabalho colaborativo em um mesmo contexto fsico local (interfaces tangveis), h a necessidade de se continuar o processo interativo em ambientes diferentes, sob uma perspectiva de computao mvel e sem emendas. Como objetivo, o presente projeto de pesquisa visa contribuir com o estado da arte e inovao na rea de Interao Humano-Computador atravs de um processo de criao de interfaces computacionais complementares, associadas, interativas e sem emendas, possibilitando que usurios possam interagir com e entre dispositivos distintos e heterogneos. Adicionalmente, busca-se desenvolver tcnicas para a transferncia de contedo multimdia entre dispositivos independentes, tais como tablets, smartphones, notebooks e interfaces tangveis (mesas interativas). Tal transferncia de contedo deve ocorrer de forma natural, iniciadas atravs de gestos e/ou fala, e sem obstculos, baseando-se no conceito de dragand-drop (arrastar e soltar), de forma a conduzir o processo interativo para outros usurios em outros dispositivos. Desta maneira, o presente projeto visa promover a operao drag-and-drop como alternativa de compartilhamento de arquivos e oportunidade para trabalho colaborativo, explorando o potencial multitouch dos dispositivos atuais. II. T RABALHOS R ELACIONADOS Pick-and-Drop de Rekimoto [3] surgiu com a proposta de permitir ao usrio escolher um objeto em um display e jog-lo em um outro display como se o usurio estivesse

WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 2012

manipulando um objeto fsico. O pick-and-drop uma tcnica de manipulao direta, diferente do drag-and-drop que utilizada o conceito de arrastar e soltar. Neste trabalho o usurio escolhe primeiro um objeto da tela do computador, clicando com uma caneta interativa e depois levanta a caneta da tela. Aps essa operao, a caneta virtualmente armazena esse objeto. Posteriormente, o usurio move a caneta em direo posio designada na tela sem tocar na superfcie. Quando a caneta se aproxima o bastante da tela destino, uma sombra do objeto aparece na tela, funcionando como um feedback visual, ilustrando que a caneta contm aquele objeto. Ao nal o usurio clica na tela destino com a caneta e o objeto transposto da caneta para a posio da tela destino onde foi posicionada, tornando o processo natural e de fcil compreenso para o usurio, entrentando utilizando ainda algum dispositivo de apoio. Dodson et al [4] utlizaram pela primeira vez o NFC (Near Field Communication) para explorar novas maneiras de compartilhar contedo de smartphones. O NFC perminte o contextual application invocation (CAI), permitindo a chamada remota de procedimentos no smartphone, aprendidas de transaes anteriores, ou ento via contextos por um token virtual, visando chamadas posteriores. Alm disso pode-se passar um contexto de um smartphone para outro para que assim os dispositivos possam interagir em uma sesso multiparty. Posteriormente, Dodson et al [5] desenvolveram o conceito de micro-interaes em Smartphones com suporte a NFC. O termo micro-interaes refere-se classe de pequenas mudanas entre dispositivos que ocorrem praticamente de forma instantnea. Por exemplo, um pagamento pelo celular utilizando NFC uma micro-interao. A chegada do NFC aos smarthphones torna possvel a criacao de inmeras aplicaes utilizando micro-interaes, como compartilhamento de fotos entre celulares e TVs, vericar se um carro est estacionado em um estacionameto utilizando dois celulares, entre outras inumeras aplicaes. De forma complementar, o protocolo Junction [6] para aplicaes mveis utilizando conexes ad-hoc, surgiu como tentativa de dar suporte interao entre dispositivos independentes de plataforma, tornando possivel a interao entre dispositivos distintos, capaz de instanciar qualquer aplicao com apenas um clique. Muito embora o NFC esteja despontando como tecnologia a ser adotada por aplicaes que demandem de compartilhamento de contedo, a mesma apresenta uma srie de restries quanto viabilidade de aplicao em cenrios ad-hoc, tais como: - Curto alcance (20 cm); - Baixa velocidade (at 0,4 Mbps); - Baixa frequncia (13,56 MHz). Em contrapartida, o Bluetooth 3.0 apresenta: - Maior alcance (at 100m); - Relativa alta velocidade (at 24Mbps); Alta frequncia (2,4 GHz). Entretanto, o tempo de pareamento, ou set-up time do Bluetooth chega a 30s contra 0,1s do NFC. Rodrigues e Botega [7] e Rodrigues et al [8] desenvolveram um conjunto de classes para integrar tcnicas de Realidade Aumentada (RA) sobre Interfaces Tangveis tabletop (em formato de mesa), como forma de ampliar o processo interativo do usurio e contribuir para sua experincia. Tal

trabalho avaliou protocolos de comunicao e os utilizou para transferir informaes entre um tablet Android e uma interface tangvel tabletop, controlando os marcadores de RA via rede e possibilitando a visualizao de objetos que substituem os reais, via interface de dispositivo mvel. III. M ETODOLOGIA PROPOSTA Ao utilizar toques e gestos como modalidades de entrada, as NUIs despertam no usurio a oportunidade de se comunicarem uns com os outros de forma mais rpida, intuitiva e sem emendas, como se todos os dispositivos sua volta fossem um s. Paralelamente, tal modalidade de interface sugere que o usurio utilize sua experincia diria com aes naturais aos seres humanos, evitando o aprendizado com novos comandos e procedimentos para intagir com entidades computacionais. O uso das NUIs apresenta contribuies nos mais diversos domnios de aplicao, tais como engenharia, medicina, educao e at mesmo reabilitao. Entretanto, ganhos maiores poderiam ser atingidos ao proporcionar que tais modalidades de interface pudessem explorar o potencial colaborativo, mesmo em dispositivos de tamanho restrito, tais como smartphones e tablets. Extrapolar os limites fsicos dos dispositivos que adotem as NUIs como paradigma de interao, despontaria como diferencial para fomentar a colaborao entre diversos dispositivos de natureza heterognea, no proprietria e irrestrita. Desta maneira, o presente trabalho prope uma metodologia de compartilhamento de contedo com o objetivo geral de integrar interfaces computacionais, permitindo a ampliao da interao do usurio utilizando eventos de metforas de interface do tipo drag-and-drop. Especicamente, busca-se desenvolver um software aplicativo para a plataforma Android, sistema operacional hbrido entre dispositivos de interao como smartphones, tablets e smartTVs. Desta maneira, proposta uma arquitetura (Figura 1), descrita em seguida, que utiliza computao em nuvem para realizar a sincronizao de contedo entre dispositivos em tempo-real, de forma a no degradar o processo interativo. Servidor em Nuvem e Aplicativo Cliente Android Sugere-se que para manter um servio de compartilhamento de contedo, via operaes intuitivas como drag-and-drop, faz-se necessrio que o fator tempo-real seja um aspecto fundamental para a concretizao do processo, o qual deve ocorrer sem obstculos e sem recongurao detalhada a cada operao. Um servidor em nuvem deve ser mantido com todo o contedo devidamente sincronizado e fornecido pelos dispositivos que possurem o aplicativo instalado. Nos moldes de Dropbox [9], UbuntuOne[10] e SkyDrive[11], ao produzir ou obter um novo contedo, o dispositivo imediatamente envia uma cpia do mesmo para o servidor em nuvem. Os demais dispositivos logo obtm uma cpia de tal contedo assim que obtm o acesso internet. Desta maneira, todos os dispositivos munidos do aplicativo cliente, tero seus contedos sincronizados a todo instante,

WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 2012

Figura 1.

Arquitetura proposta para o compartilhamento de contedo entre dispositivos heterogneos

aliviando a carga de transferncia de arquivo entre os mesmos assim que solicitado, caso contrrio o requisito de tempo-real no seria atingido. Para cumprir os requisitos de comunicao, sero abordados os trabalhos de Rodrigues e Botega [7] e Rodrigues et al [8], que descrevem trabalhos envolvendo comunicao e integrao de interfaces computacionais ps-wimp. Tal trabalho proporcionar subsdios principalmente acerca de protocolos e camadas de comunicao eciente entre os dispositivos alvo. Transferncia de contedo Uma vez que os dispositivos estejam sincronizados, o mesmo aplicativo viabilizar a transferncia de contedo utilizando toques e gestos naturais, fundamentados no paradigma NUI. Dispositivos que encontram-se na mesma rede local sero identicados com seus respectivos nomes, proporcionando ao usurio o poder de escolha de para qual dispositivo enviar. Ao manipular uma mdia/informao estruturada, a aproximao da mesma com as bordas do dispositivo sugerir que o mesmo poder ser transposto para outra interface, utilizando um componente de aura que aos poucos desaparece na interface origem e aparece na interface destino. Para que este processo seja possvel, uma referncia do contedo (URI) rapidamente enviada pelo dispositivo com a aplicao emissora, via conexo Bluetooth, ao dispositivo que abriga a aplicao receptora. Em posse da referncia do contedo a sofrer drag-and-drop, a aplicao do dispositivo receptor passa a conhecer o contedo que a mesma deve buscar localmente, considerando a sincronizao prvia do mesmo em relao ao servidor em nuvem. Como a transferncia direta restringe-se ao envio de instrues (URI), o protocolo Bluetooth no encontraria grandes problemas de performance. Aplicaes emissora e receptora constituem-se da mesma natureza, com potencial para enviar contedo e de ouvir a rede aguardando por solicitaes de transferncia de contedo.

As APIs de programao MT4j (Multitouch for Java) e PyMT (Python Multitouch) tm sido amplamente adotadas para a concepo de aplicaes e implementaes de tcnicas que abordem o paradigma NUI. Ambas APIs podem trabalhar em conjunto com o SDK do Sistema Operacional Android, sobre o qual o produto nal deve residir, considerando a abrangncia global de sua utilizao. Avaliao com usurios Ao nal do processo de implementao e concepo do aplicativo, pretende-se avaliar a ferramenta e seu impacto sobre usurios de smartphones e tablets Android, como forma de vericar sua utilidade em contextos pessoais e prossionais. Para este processo, ser adotada a metodologia de heursticas de usabilidade, estabelecendo-se metas a serem cumpridas com o foco no usurio, tais como: ecincia, eccia, segurana, impacto e experincia necessria. IV. D ISCUSSO O compartilhamento de informaes entre dispositivos de visualizao e interao, independente de sua natureza, tornase uma ferramenta vivel para fomentar o trabalho colaborativo, ainda potencializado pelas interaes naturais das NUIs, somadas experincia do usurio no uso de toques e gestos. Ao considerar um sistema operacional de grande abrangncia sobre diversos dispositivos, dentre eles SmartTVs, Smartphones, Tablets e at mesmo Superfcies Multitoque em formato de mesa, tal aplicao promover a interoperabilidade dos mesmos, independente do tipo de interface, seja ela de Realidade Virtual, Realidade Aumentada, Interface Ubqua ou Interface Tangvel. Ao compararmos os benefcios do uso de NFC, destacase a grande eccia de pareamento, considerando o baixo tempo de set-up que apresenta. Entretanto, consideramos que para o propsito de compartilhamento de contedo e

WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA 2012

o consequente provimento de informaes para a execuo de um trabalho colaborativo, tal atributo torna-se irrelevante frente aos benefcios que uma maior taxa de transferncia pode proporcionar ao enviar as devidas referncias aplicao receptora. Em aplicaes que demandem uma reposta em tempo-real, tal atributo de taxa de transferncia satisfatria torna-se um diferencial a m de evitar obstculos no processo interativo. Como resultados, espera-se que a ferramenta proposta venha suprir uma demanda iminente de integrao de dispositivos heterogneos para a implementao de uma interface humanocomputador cada vez mais natural e interativa, atendendo totalmente s metas de usabilidade. Paralelamente, busca-se que o aplicativo gerado proporcione uma maneira portvel e simples para atingir todos os tipos de pblico que demandam por transferncia de informao relevante e espacialmente separados. R EFERNCIAS B IBLIOGRFICAS
[1] Manovich, L. Software takes command. Disponvel em <http://softwarestudies.com/ softbook/manovich_softbook_ 11_20_2008.doc>. Acesso em Agosto de 2012. [2] Saffer, D. Designing Gestural Interfaces, Published by OReilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, 2009. [3] Rekimoto, J. Pick-and-Drop: A direct Manipulation Technique for Multiple Computer Environments. Anais do UIST, 1997. [4] Dodson, B., Bojinov, H. Lam, M. S. Touch and Run with Near Field Communication (NFC), Stanford Communications, 2010. [5] Dodson, B. Lam, M. S. Micro-Interactions with NFC-Enabled Mobile Phones. Mobile Computing, Applications, and Services. Third International Conference, MobiCASE 2011, Los Angeles, CA, USA, 2011. [6] Dodson, B., Cannon, A. Te-Yuan, H. , Lam, M. S. The Junction Protocol for Ad Hoc Peer-to-Peer Mobile Applications. Research Report - Mobile and social computing, Universidade Stanford, 2010. [7] Rodrigues, F.; Botega, L. Integrando Realidade Aumentada com interfaces Tangveis para apliao da experincia do usurio. Workshop de Realidade Virtual e Aumentada, 2011 [8] Rodrigues, F.; Sato, F.; Botega, L. Framework de Integrao de Realidade Aumentada e Interfaces Tan veis para ampliao da g interatividade do usurio. Symposium on Virtual and Augmented Reality, 2012. [9]Dropbox Ofcial Specication. Disponvel em <https://www.dropbox.com/developers>. Acesso em Agosto de 2012. [10]UbuntuOne Ofcial Specication. Disponvel <https://wiki.ubuntu.com/UbuntuOne/Specs/API>. Acesso Agosto de 2012. em em

[11]SkyDrive Ofcial Specication. Disponvel em <http://msdn.microsoft.com/en-us/windows>. Acesso em Agosto de 2012.