> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS <

Propuesta de un modelo para la definicin de interaccin basada en gestos para aplicaciones de ambientes inmersivos
Luis Ricardo Ruiz, Jos Tiberio Hernndez, Fernando de la Rosa, Grupo de Investigacin IMAGINE, Universidad de los Andes, Bogot - Colombia
ResumenActualmente, en el desarrollo de aplicaciones computacionales para ambientes inmersivos hay que considerar las acciones disponibles por el usuario para comunicarse con la aplicacin. Para que una aplicacin diseada para ambientes inmersivos pueda detectar la intencin del usuario, debe interpretar los gestos que se estn realizando con los dispositivos dispuestos en la infraestructura del sistema. Sin embargo, la definicin de como se deben agrupar y darle significado a cada uno de los valores que provienen de los dispositivos, para que sean tomados como un gesto, requiere de una intervencin directa por parte del programador. En este trabajo, se propone un modelo que busca simplificar las tareas de programacin y aumentar la eficiencia en el desarrollo de aplicaciones interactivas basadas en gestos. Adems, se provee las bases para la implementacin de una herramienta que colabore en las facilidades de creacin y reutilizacin de los gestos para una variedad de aplicaciones, que se representa por medio de un flujo de transformacin de la informacin desde el gesto, hasta a la accin que debe ser ejecutada dentro de la aplicacin. Palabras Clavesambientes inmersivos, gestos, interaccin hombre-computador, metfora interaccin modelo,

I. INTRODUCCIN

L entorno donde se busca que el usuario interacte con elementos virtuales y pueda intervenir de forma natural, es nombrado como un ambiente inmersivo. Un Ambiente Virtual Inmersivo es definido por Ellies [1]: Un sistema interactivo, que despliega imgenes virtuales, extendidas por un procesamiento especial, y por modalidades no virtuales, de tipo auditivo o hptica, para convencer a los usuario que estn inmersos en un espacio sinttico. Para este tipo de aplicaciones, se deben tener en cuenta dos aspectos para cumplir el objetivo de la capacidad de inmersin por parte del usuario, una visualizacin realista [2] y una respuesta cercana al tiempo real por parte de las rdenes que le da el usuario. Respecto a la visualizacin, existen varias aplicaciones que solucionan en gran parte los requerimientos. En cambio, por parte de la interaccin, se presenta el problema de que el comportamiento de la interaccin debe ser tan natural como lo es en el mundo real. Dentro de lo que implica que la interaccin sea natural, dos criterios se tienen en cuenta: Que el tiempo de respuesta sea

mnimo y la interpretacin de los movimientos del usuario sea confiable respecto a las intenciones que tiene para que una accin tenga su respectiva reaccin. La captura de los gestos del usuario se hace a partir de dispositivos electrnicos, que a su vez, son interpretados por parte del computador como entradas de tipos bsicos. Y a su vez, esta interpretacin de la accin que debe hacer el computador se puede dividir en un conjunto de tareas simples. Estas tareas que se realizan dentro de un espacio virtual, sea con otros objetos o con la representacin virtual del usuario, son conocidas como tcnicas de interaccin [3]. Para que una tcnica de interaccin se pueda realizar, es necesario enviar mensajes especficos a la mquina de la aplicacin, de tal forma, que el resultado visual o la indicacin retroactiva sea el producto de un fragmento consistente de la accin del usuario. El significado de los gestos depende del lenguaje en el que el mismo usuario se expresa, y al mismo tiempo, que el sistema que est recibiendo la informacin sepa lo que le estn tratando de decir. Este proceso implica una transformacin por parte del sistema computacional, usando como intermediario el programador, desde el lenguaje con el que se expresan los dispositivos, hasta las rdenes sobre las tareas que debe ejecutar el sistema para mostrar los resultados esperados dentro del ambiente virtual. Para un diseador y programador de aplicaciones interactivas es pertinente tener una brecha cercana entre lo que quiere hacer el usuario y como es que debe ser interpretado por la mquina, para definir fcilmente como se puede realizar una tarea dentro de la aplicacin. Este proyecto se encarga de hacer una separacin de conceptos de las tareas de la aplicacin con el componente encargado de la interaccin, y a partir de eso, se propone un modelo, embarcando los conceptos que hacen parte de una metfora de interaccin, que se encarga de hacer una transformacin desde las intenciones del usuario hasta el modo de hacer la retroalimentacin de la accin que fue recibida por el sistema. Este documento se encarga de hacer una revisin de los conceptos que han rodeado el desarrollo de aplicaciones basadas en la interpretacin de gestos, plantea un modelo inicial, y a partir de estas definiciones se establece la arquitectura que cumple con las condiciones del modelo para la integracin con aplicaciones de ambientes inmersivos.

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS < II. TRABAJOS RELACIONADOS Las aplicaciones cuyas interacciones usan gestos, estn orientadas al uso de ciertos dispositivos especficos para cada uno de esos gestos. Actualmente, el uso cotidiano de pantallas tctiles est impulsando el uso de lenguajes para ese dispositivo y para un conjunto de gestos sobre ese mismo dispositivo. En [4] se describe la interaccin como una interpretacin de gestos definidos por parte del usuario de un dispositivo especfico, restringiendo su intencin a tareas especficas de la aplicacin. Para cada uno de los pasos se define un conjunto de reglas de mapeo, las cuales se encargan de hacer una traduccin de un gesto a una tarea de la aplicacin. Un claro ejemplo de gestos destinados para el funcionamiento en un dispositivo, es el usado por distintos sistemas operativos interpretando los movimientos del mouse, de un lpiz ptico o de la pantalla tctil. La gestualidad no necesariamente se reduce al uso en un solo dispositivo. Cuando se usa ms de uno se denomina interaccin multi-modalidad. Una modalidad es tomada como la intervencin por parte del usuario con el dispositivo, sea por medio de los sentidos o con dispositivos no-sensoriales. Jaimes [5] hace un anlisis donde revisa aspectos donde la integracin de varias modalidades que intervienen en la definicin de un gesto. Los gestos han sido clasificados con distintos criterios, la mayora, teniendo en cuenta el concepto psicomotor. En [6] se hace la comparacin de taxonomas de gestos, basndose en el significado de cada uno de los gestos y cmo se puede interpretar por medio de una mquina. De forma similar en [7] se presenta la taxonoma de los gestos para sistemas computacionales, como se ve en la Fig. 1, que tiene en cuenta tres criterios de clasificacin: Dominio de la aplicacin, Tecnolgica y Estilo del gesto. El dominio de la aplicacin se enfoca en el uso del gesto segn la aplicacin, en el tecnolgico se enfoca en las modalidades en las representaciones con un dispositivo de un gesto y el estilo de gesto se basa en la interpretacin que se hace del gesto.

En un contexto ms especfico, en especial basados en el criterio de clasificacin del estilo de gesto presentado en la taxonoma anterior, autores como Zigelbaum [8] se basan en hacer una extensin de estas condiciones para la definicin de gestos de mayor complejidad. Por ejemplo, un sistema operativo avanzado desarrollado en parte del grupo MIT Media Lab, llamado oblong [9], que dentro de su lenguaje propio [8], llamado g-stalt, extiende los tipos de gestos a combinaciones de los tipos ya existentes. Pero, en todos los casos anteriormente mencionados, el significado de la accin que representa cada gesto est enlazado con la aplicacin en la que se realiza. Un ejemplo claro de aplicacin para ambientes inmersivos, cuya interaccin es basada en la interpretacin de gestos y de comunicacin verbal, es la desarrollada por Latoschik [10] donde tambin propone una arquitectura en la que intervienen mltiples modalidades. Pero un gesto puede ser entendido como una sola expresin, o como un conjunto de movimientos de distintas partes del cuerpo. En [11] el proceso de reconocimiento de un movimiento del cuerpo humano, se restringe a dos tipos: El esttico y el dinmico. La diferencia recalca en el tiempo para el muestreo del gesto, en el caso esttico se tiene en cuenta los datos obtenidos en un nico momento, en cambio cuando el proceso de deteccin es dinmico, implica la obtencin de datos a travs de un tiempo determinado por parte de varios dispositivos. Bangalore [12] interpreta y explica como el proceso de integracin de un proceso de interaccin multimodal y gestual, se puede constituir dentro de una herramienta. Tambin expresa el proceso de construccin de un lenguaje y una gramtica a partir de una secuencia finita de acciones realizadas por el usuario, por medio de interaccin con mltiples modalidades. Estructuralmente tambin es necesaria la definicin de lenguajes que describen una aplicacin interactiva, desde el proceso de interpretacin del dispositivo hasta la comunicacin con las tareas que realiza una aplicacin. Para nombrar solo un par de ejemplos de lenguajes estructurales para una aplicacin, estn ICO [12] e IntML [13] [14]. Este ltimo tiene tambin usa un lenguaje grfico que describe la aplicacin por medio de filtros, donde se modela el proceso a seguir en la ejecucin del programa. Cada uno de los filtros puede representar un elemento dentro del flujo de informacin desde los valores generados por las entradas de un dispositivo, una operacin sobre esos valores, y cmo deben ser interpretados cada uno de esos valores con las acciones que estn definidas para esa aplicacin. La desventaja presente, es el uso de elementos de bajo nivel, como la interpretacin simple de los datos bsicos que provienen del dispositivo.

III. CONTEXTO El proceso de desarrollo de aplicaciones interactivas que cumplen con los mismos objetivos suelen presentar cambios entre los distintos programadores, diseadores y usuarios. La realizacin de acciones dentro de esas aplicaciones con objetivos muy similares se reducen a ejecucin de gestos

Fig. 1. Taxonoma de gestos en sistemas computacionales

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS < similares para comunicar una orden, y las diferencias radican principalmente en los dispositivos con los que se realiza la accin y la manera de interpretacin por parte de la mquina. En el desarrollo estndar de la aplicacin, los datos adquiridos por los dispositivos deben ser transformados para ser interpretados en la aplicacin. Para el desarrollo de la interaccin se enfrenta por dos aspectos importantes: el aspecto aplicativo, el cual es el encargado de la descripcin funcional de toda la aplicacin, y el aspecto conceptual es el encargado de describir los conceptos que envuelven el proceso de la interaccin del usuario en la aplicacin. A. Aspecto Aplicativo Una aplicacin grfica, est basada en el patrn de arquitectura MVC [16] (Modelo-Vista-Controlador), donde el modelo los elementos grficos que componen una escena, la vista se encarga del manejo de los eventos de entrada (las acciones del usuario) y de salida (la visualizacin de los resultados), y el controlador que es la encargada de coordinar la informacin entrante y procesarla para modificar el modelo. Con esta concepcin, el funcionamiento de una aplicacin interactiva se puede entender en tres componentes bsicos: El componente de visualizacin que es el encargado de manejar el modelo de la escena y de su proyeccin en una pantalla, el componente de aplicacin se encarga de hacer el procesamiento de las entradas y modifica el estado del modelo de la escena y el componente de interaccin que se encarga de la interpretacin de las entradas del dispositivo y lo convierte en ordenes para el componente de aplicacin. El trabajo de estos componentes se desenvuelve en un entorno comn para todas las aplicaciones interactivas. La lgica del programa y como debe hacer la retro-alimentacin, lo que corresponde a los componentes de aplicacin y visualizacin, trabaja con un conjunto de datos y define las acciones o comportamientos que deben ocurrir en caso de que ciertos eventos programados ocurran.

interactivas sean de simulacin, modelaje, o entretenimiento funcionan con frameworks que se enfocan en un modelo genrico de datos llamado grafo de escena. Un grafo de escena es una construccin jerrquica donde se almacena en un nodo la informacin de la geometra de los objetos de una escena en un nodo y la informacin de las modificaciones geomtricas, denominadas transformaciones geomtricas. Una transformacin geomtrica, es la modificacin de posicin, escala o rotacin que se hace sobre los elementos subordinados de ese nodo. El cambio de los valores, sea de las geometras o de las transformaciones, se ven reflejadas en la forma como se hace la proyeccin y visualizacin de cada elemento en el escenario. Esos cambios se pueden hacer en un proceso automatizado o con intervencin humana. El componente de visualizacin se encarga de la administracin del grafo de escena y su proyeccin en el sistema de visualizacin configurado para el entorno. Las funciones principales del componente de visualizacin son de agregar, eliminar y modificar la informacin interna de las geometras que hacen parte del grafo de escena. As mismo, se hace la proyeccin y la configuracin de la proyeccin. Componente de Aplicacin Las funcionalidades de una aplicacin son determinadas por los objetivos para lo que es creada. Esto da espacio para una variedad de elementos que intervienen y modifican los datos existentes en el modelo. Por lo que es necesario un organizador y orquestador de las acciones predeterminadas, de las acciones realizadas por parte del usuario y de los efectos de estas acciones sobre el modelo de datos. En este contexto, el componente de la aplicacin se encarga de cargar y modificar la informacin de los estados de la ejecucin de la aplicacin. Una aplicacin puede estar compuesta por varios estados, en donde las tareas que se ofrecen en cada uno de los estados es distinta. Por ejemplo, en un videojuego simple se definen dos estados, el de men y del juego. Una tarea que se ofrece en el estado juego es ir a la siguiente opcin mientras que esa opcin en el estado juego no se presenta. De la misma manera, si se analizan tareas del estado juego, se puede decir que no estn definidas en el estado de men. El comportamiento del componente de aplicacin basado en una mquina de estados es importante cuando las acciones por parte del usuario son iguales en distintos estados y su resultado es diferente. Son criterios que el componente de interaccin debe tener en cuenta al momento de comunicarse con el componente de la aplicacin. Componente de Interaccin La intervencin del usuario con distintos dispositivos y elementos que sean parte del entorno virtual tienen un significado. Este proceso de comunicacin entre el ser humano y una aplicacin, se llama interaccin. La interpretacin de los valores que provienen de las entradas dispuestas por el dispositivo y lo que necesita el componente de aplicacin para realizar una tarea que depende del usuario, es realizada por

Fig. 2. Conformidad de la arquitectura de una aplicacin interactiva a MVC.

Componente de Visualizacin Con el surgimiento de nuevos usos para aplicaciones de la realidad virtual, y el apogeo de los videojuegos, la implementacin se estableci dentro de un conjunto de lenguajes de alto nivel o uso de libreras que simplifican el proceso de programacin. La mayora de las aplicaciones

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS < parte del componente de interaccin. B. Aspecto Conceptual El proceso de transformacin de la informacin, desde la concepcin por parte del usuario de realizar una accin hasta la interpretacin por parte de la aplicacin se llama Metfora de interaccin. Este es el concepto base para la interpretacin de los elementos y etapas que hacen parte de la interaccin basada en gestos. En la Fig. 3 se enuncian las etapas que hacen parte de la metfora de interaccin. Una metfora en el nivel estricto de la palabra es una figura literaria que representa una analoga entre dos elementos. En la dcada de los 80s el significado de metfora se ha extendido como el proceso de mapear un conjunto de correspondencias de un dominio de origen a un dominio de destino [15]. En el contexto de la interaccin en una aplicacin, el dominio de origen son los conceptos de acciones que tiene el usuario sobre la aplicacin, el dominio de destino es la interpretacin que hace una aplicacin computacional para mostrar el resultado de la idea del usuario.

aplicacin, bajo este contexto, se puede tambin interpretar como la expresin fsica de la intencin del usuario. Los gestos pueden ser expresados por una o varias partes del cuerpo, y cada uno de las partes que intervienen puede tener tambin un significado. Los gestos pueden ser expresados por medio de un conjunto de movimientos de distintas partes del cuerpo, o simplemente pueden ser la posicin fija de una parte del cuerpo. Los primeros son denominados como gestos estticos, y los siguientes son gestos estticos. Teniendo en cuenta la parte fsica, en [11] se hace la distincin entre los siguientes tres tipos de gestos segn las partes que lo expresan: Manos y brazos, cabeza y cara y los que se pueden hacer con las otras partes del cuerpo. Tomando como base la taxonoma descrita en [7], estas definiciones intervienen dentro del criterio interpretativo. Dependiendo del tipo de gesto, puede contener una trayectoria, o solamente una posicin en especial. La trayectoria es un conjunto de puntos de dos o tres dimensiones en un espacio de tiempo. Cualquier accin por parte del usuario que sea similar y cumpla con las restricciones de tiempo de esa trayectoria, es identificada como ese gesto. Dispositivos Un dispositivo es un arreglo de sensores que ayudan en la deteccin de movimientos del cuerpo humano. Cada uno de los sensores determinan los valores de una entrada, y estos valores pueden ser discretos binarios, analgicos reales o de posicin. Dependiendo del criterio que se use para cada una de las entradas, se puede determinar el recorrido o patrn que corresponde a un fragmento de gesto. Un gesto se representa con uno o varios dispositivos, y se define con una secuencia ordenada de datos proveniente de los dispositivos que intervienen en la interaccin. Tareas de la aplicacin Son las tareas bsicas que se pueden hacer con los elementos que hacen parte de la aplicacin. Una secuencia de estas tareas definen los pasos que se deben seguir para completar el resultado que espera el usuario por la accin que realiza y por cada una de estas tareas se presenta una retroalimentacin por medio de los dispositivos de salida. Cada una es independiente del gesto y del dispositivo que se est usando en el entorno. Las tareas ms simples de una aplicacin de ambientes virtuales son denominadas tcnicas de interaccin. Segn Bowman [3] las tcnicas de interaccin estn clasificadas en tcnicas de navegacin, seleccin y manipulacin. Las tcnicas de navegacin se enfoca en el mtodo de visualizacin por parte del usuario a la escena, las tcnicas de seleccin se encarga de las maneras como los objetos de la escena pueden ser seleccionados y las tcnicas de manipulacin son las encargadas de modificar las propiedades de ubicacin, rotacin o tamao de los objetos. IV. PROPUESTA Se plantea un modelo que cumple con la estructura

Fig. 3. Metfora de Interaccin

El proceso de la metfora de interaccin comprende las siguientes etapas: descripcin de la intencin, la construccin y deteccin de la gestualidad, la interpretacin de los datos del gesto y el procesamiento de estos datos para la aplicacin. Intencin Se establece como el objetivo, descrito mentalmente por el usuario, de la accin que se quiere hacer dentro del contexto de una aplicacin. Es el concepto ms abstracto que hace parte de todo el proceso de interaccin, y el objetivo principal de toda la metfora es deducir la intencin del usuario. Por ser una construccin mental, la complejidad de su lectura en este modelo se reduce a la deteccin de los gestos que la expresan. Gestos Es la expresin corporal con la que el usuario comunica una accin o una orden de lo que quiere hacer dentro de la

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS < conceptual de una metfora de interaccin para aplicaciones de ambientes inmersivos que sean construidas acorde a una arquitectura especfica. Por lo tanto, para un conjunto de acciones que son expresadas por medio de gestos, se pueden definir una secuencia de tareas de una aplicacin sin la necesidad de hacer una implementacin completa del componente de interaccin para distintos dispositivos. Dentro de la estructura del modelo que se presenta en la Fig. 4, tambin se define la arquitectura de un componente de interaccin. En la arquitectura se establece un flujo de datos conforme al modelo, donde el proceso de la metfora de interaccin se refleja en el funcionamiento de la interaccin de una aplicacin. A. Modelo A partir de los conceptos que hacen parte de la metfora de interaccin, se establece un modelo formal con las relaciones entre los elementos que la conforman. Cada una de las secciones del modelo hacen una correspondencia directa con las etapas descritas en el proceso de mapeo de la intencin del usuario hasta las tareas de la aplicacin. Gestualidad Hace una descripcin detallada de la estructura de los gestos. Determina la distincin que existe entre los dos tipos de gestos: gesto esttico y gesto dinmico. Cada gesto tiene asociados varios dispositivos de los que dependen los valores de las entradas de las posiciones que componen el gesto esttico o la trayectoria del gesto dinmico. Cada gesto tiene

propiedades que lo caracterizan y lo describen segn los criterios establecidos en la taxonoma. Interpretacin Se divide en dos secciones: El operacional y el responsable del flujo de informacin. En la seccin operacional, se hace la definicin de las operaciones encargadas de la transformacin de los valores. En cambio, en la seccin del flujo de informacin, la funcin principal es tomar los valores de salida del gesto (Concepto Inicial), transportarlos por medio de las operaciones (Concepto Intermedio) transformando los valores y asignar los valores de las entradas para las tareas de la aplicacin (Concepto Final). Procesamiento Tiene la definicin de las tareas de la aplicacin con sus correspondientes parmetros. Cada parmetro tiene un nombre y un tipo. El valor del parmetro viene asignado por los resultados obtenidos de la etapa de interpretacin.

Fig. 4. Modelo de las relaciones de los conceptos de la metfora de interaccin

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS <

Fig. 5. Arquitectura interna del componente de interaccin

B. Arquitectura El componente de interaccin mostrado en la Fig. 5 divide el flujo de datos en tres campos: Gestualidad, interpretacin y procesamiento de datos. Cada una de estas etapas representa cada concepto que interviene en la metfora de interaccin. En el campo de la gestualidad se hace la deteccin de los gestos y su relacin con las entradas provenientes de los dispositivos del ambiente inmersivo, el campo de interpretacin se encarga de la transformacin de la informacin de los gestos (y de los valores de las entradas generadas por los dispositivos), y por ltimo el campo de procesamiento se encarga de encadenar los valores del campo de interpretacin con las tareas de la aplicacin, en este caso con las tcnicas de interaccin de la aplicacin de ambientes inmersivos. Gestualidad La etapa de gestualidad se divide en dos pasos: Interpretacin y administracin de los dispositivos y la identificacin de los gestos. Para cada uno de los pasos de esta etapa se tiene un mdulo con funciones especficas. Mdulo de administracin de dispositivos: Es el mdulo encargado de la administracin de los dispositivos, tambin es el mdulo que hace la interpretacin de los dispositivos donde convierte la informacin proveniente de las entradas de los dispositivos en valores que sean entendibles en el mdulo encargado de la identificacin de gestos. Mdulo de deteccin e identificacin de gestos: es el mdulo encargado de identificar, por medio de los valores generados en el mdulo de administracin de dispositivos por

un conjunto de dispositivos, cul es el gesto que el usuario est intentando realizar. Este componente para poder reconocer un gesto debe almacenarlos y administrarlos, por lo tanto contiene dos mdulos que cumplen la tarea de registrar los nuevos gestos y una librera de gestos donde se pueden eliminar, modificar y seleccionar gestos para una aplicacin. Interpretacin Para el proceso de la metfora de interaccin, se representa como la caja negra que se encarga de hacer una secuencia de transformaciones de los valores del gesto y devuelve una respuesta que sea comprendida por parte de la aplicacin. Se puede definir internamente como el conjunto de funciones, tambin representadas como cajas negras, que se encargan de recibir valores de entrada y despus de un procesamiento devuelven un arreglo de salidas, que tambin pueden ser entradas para otras funciones. Procesamiento Es el puerto de salidas de los datos provenientes del procesamiento de la informacin de los gestos. Establece la comunicacin entre el componente de interaccin y el componente de aplicacin. Cada uno de los mensajes que enva el componente de interaccin corresponde a la informacin asociada a una tarea: la informacin descriptiva de la tarea y los parmetros requeridos.

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS <

Fig. 6. Caso de estudio. Modelo de la metfora de interaccin para la navegacin en un mapa

Fig. 7. Caso de estudio. Modelo de la metfora de interaccin para la simulacin de una raqueta en un juego de tenis

Para poder cumplir con la descripcin y la asignacin de los parmetros, se debe tener una definicin previa de las tareas de la aplicacin, algo que implica una librera de las tareas para esa aplicacin. La obtencin de esta informacin implica que la comunicacin debe ser bidireccional, y el componente de aplicacin debe tener un componente que sea integrable a este tipo de comunicacin.

V. CASOS DE ESTUDIO Dentro de lo que se constituye el mtodo para la validacin de un modelo se debe establecer un escenario concreto de pruebas, donde se verifica la conformidad del ejemplo con las restricciones y definiciones del modelo a validar. Para este caso se tienen los siguientes escenarios de prueba: Una

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS < plataforma de navegacin de mapas y un juego deportivo de una consola de videojuegos. Para cada uno de estos escenarios se asume una metfora de interaccin, que corresponden a un gesto para cada uno de los contextos. A. Navegacin de mapas Para el caso de navegacin de mapas se ha tenido en cuenta la accin de moverse a travs del mapa. Se tienen definidos los valores de entrada y de salida de cada uno de los conceptos que hacen parte del modelo. En la Fig. 6, es claro que el funcionamiento de la seccin de interpretacin es un conjunto de cajas negras que se encargan de hacer un procesamiento de los datos que provienen del gesto, y que el flujo de datos llega al menos a uno de los valores de entrada que necesita una tarea de la aplicacin. Tambin se puede observar e interpretar que por cada uno de los parmetros de la tarea de aplicacin existe un valor de entrada para el concepto de la tarea de aplicacin. B. Juego simulacin deportiva El juego a estudiar es el de tenis de campo en consola de videojuegos Nintendo Wii [17]. Una de las acciones que se presenta es el de hacer movimientos de la raqueta virtual a partir de un dispositivo fsico en el ambiente. De forma similar al caso de estudio anterior, en la Fig. 7 existe una diferenciacin en la independencia de las tareas de la aplicacin (tcnicas de interaccin) y el dispositivo con el que se realiza el gesto. En el caso del desplazamiento, a pesar de que la raqueta y el mapa son elementos completamente distintos, la definicin de la tarea contiene los mismos parmetros y los mismos valores de entrada. Otra caracterstica principal, es que puede haber varias tareas de aplicacin que corresponden solo a una accin del usuario. Debido a eso, cada una de esas tareas de aplicacin puede tener parmetros distintos y eso implica cadenas de operaciones distintas para cada una de esas tareas. VI. CONCLUSIONES La construccin de un modelo para una aplicacin o un componente de aplicacin deben estar orientados al contexto en el que se desenvuelve la aplicacin. De esta manera se relacionan todos los conceptos que corresponden al dominio y se establece un conjunto de reglas y restricciones para aplicaciones del mismo contexto. Estas definiciones reducen el tiempo de diseo de varias aplicaciones para un ambiente determinado. El estudio de la interaccin se convierte en un anlisis de la comunicacin entre el hombre y el computador, donde se proponen los mtodos y los medios con sus correspondientes limitaciones. La interpretacin de los gestos solo es un subconjunto de como el ser humano se comunica con un computador. Hacer definiciones de cada elemento que interviene en el proceso comunicativo colabora en delimitar el dominio de trabajo y determina las reglas semnticas del lenguaje que interviene en esa comunicacin. El uso de conceptos de una estructura de la aplicacin o el componente desde conceptos de alto nivel, permite un

desarrollo independiente de la plataforma y de restricciones tecnolgicas. Un modelo no debe implicar el uso exclusivo de una plataforma, por el contrario, debe ser un conjunto de condiciones que se deben tener en cuenta para la seleccin de la tecnologa en el que se va a desarrollar los sistemas que son conformes al modelo planteado. La interpretacin de gestos como medio de identificacin de lo que intenta hacer el usuario, es una aproximacin a que el proceso de comunicacin con el computador sea ms natural. En la actualidad las plataformas, sean de hardware y de software, convergen en la bsqueda de interfaces intuitivas para la realizacin de tareas especficas. El proceso de la metfora de interaccin provee las facilidades de hacer una relacin directa entre las acciones del usuario y de las tareas en la aplicacin, y establece restricciones en cmo debe comportarse cada gesto y su relacin con su finalidad, qu es la ejecucin de tareas del lado de la aplicacin. REFERENCIAS
[1] Stephen R. Ellis, "What are virtual environments?," IEEE Comput. Graph. Appl., vol. 14, pp. 17-22, 1994. [2] Alan Chalmers and Andrej Ferko, "Levels of realism: from virtual reality to real virtuality," , 2010, pp. 19-25. [3] Doug A. Bowman, Ernst Kruijff, Joseph J. Laviola, and Ivan Poupyrev, [4] Songyang Lao, Xiangan Heng, Guohua Zhang, Yunxiang Ling, and Peng Wang, "A gestural interaction design model for multitouch displays," , 2009, pp. 440-446. [5] Alejandro Jaimes and Nicu Sebe, "Multimodal human-computer interaction: A survey," Comput. Vis. Image Underst., vol. 108, pp. 116-134, 2007. [6] Alan Wexelblat, "Research Challenges in Gesture: Open Issues and Unsolved Problems," , 1998, pp. 1-11. [7] Maria Karam and m. c. schraefel, A Taxonomy of Gestures in Human Computer Interactions, 2005. [8] Jamie Zigelbaum, Alan Browning, Daniel Leithinger, Olivier Bau, and Hiroshi Ishii, "g-stalt: a chirocentric, spatiotemporal, and telekinetic gestural interface," , 2010, pp. 261-264. [9] Oblong Industries, inc. [10] Marc Erich Latoschik, "A user interface framework for multimodal VR interactions," , 2005, pp. 76-83. [11] S. Mitra and T. Acharya, "Gesture Recognition: A Survey," Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, vol. 37, no. 3, pp. 311-324, 2007. [12] Srinivas Bangalore and Michael Johnston, "Robust understanding in multimodal interfaces," Comput. Linguist., vol. 35, pp. 345-397, 2009. [13] David Navarre, Philippe Palanque, Jean-Francois Ladry, and Eric Barboni, "ICOs: A model-based user interface description technique dedicated to interactive systems addressing usability, reliability and scalability," ACM Trans. Comput.-Hum. Interact., vol. 16, pp. 18:1--18:56, 2009. [14] Pablo Figueroa, Walter F. Bischof, Pierre Boulanger, H. James Hoover, and Robyn Taylor, "Intml: A dataflow oriented development system for virtual reality applications," Presence: Teleoper. Virtual Environ., vol. 17, pp. 492-511, 2008. [15] Santiago Gil, "Ambiente visual de desarrollo de aplicaciones de

> MODELO PARA LA DEFINICIN DE INTERACCIN BASADA EN GESTOS <

realidad mixta basado en IntML, Eclipse, GMF y OAW," Universidad de los Andes, 2009. A. Leff and J.T. Rayfield, "Web-application development using the Model/View/Controller design pattern," , 2001, pp. 118-127. D. Saffer, "The Role of Metaphor in Interaction Design," Carnegie Mellon University, 2005. Nintento Wii. Zeljko Obrenovic and Dusan Starcevic, "Modeling Multimodal Human-Computer Interaction," Computer, vol. 37, pp. 65-72, 2004. Thomas B. Moeslund and Erik Granum, "A Survey of Computer Vision-Based Human Motion Capture," Computer Vision and Image Understanding, vol. 81, no. 3, pp. 231-268, 2001. Michael Kipp, From Human Gesture to Synthetic Action, 2001. R. Gopalan and B. Dariush, "Toward a vision based hand gesture interface for robotic grasping," , 2009, pp. 1452-1459. Andres Ruiz, Arquitectura Distribuida de Aplicaciones 3D integrando Visualizacin e Interaccin, 2010.

[16] [17] [18] [19]

[20]

[21] [22] [23]