Hand Gesture Controlled Vehicle

Dispositivos Multimdia
DM 2015.2
Lucas Medino lmm2@cin.ufpe.br
Arthur Moreno arm@cin.ufpe.br

Proposta Original
Hand gesture controlled vehicle
Consiste em um carro, construdo a partir do Lego Mindstorm NXT,
controlado por gestos utilizando um Kinect Sensor.
Gestos capturados pelo Kinect so transmitidos para o carro via WiFi e interpretados para controlar o carro.

Proposta Final
Hand gesture controlled vehicle
Consiste em um carro, construdo a partir do Lego Mindstorm NXT,
controlado por gestos utilizando um Kinect Sensor.
Comunicao entre carro e Kinect Sensor feita via bluetooth.

Motivao
Prova de conceito para um projeto mais complexo, que seria
controlar um drone com gestos em um ambiente aberto.
Crescimento do mercado de Drones para diversas aplicaes,
principalmento para o consumidor comum.
Proporcionar ao consumidor uma melhor experincia, com uma
interface de controle mais intuitiva.

Outros Projetos

Outros Projetos

Outros Projetos

Estado da Arte
Existem varios projetos para controlar drones com gestos utilizando
os mais diversos sensores. No entanto, alguns desses projetos
utilizam set ups caros, outros possuem um alcance limitado.
Por exemplo, alguns utilizam Vicon capture motion system, um
sistema de cameras que custa em torno de $15000.
Nossa proposta original busca utilizar uma soluo relativamente
barata, visto que um Kinect 360 custa $20 e um raspberry pi 2 custa
$35.

Equipamentos necessrios
Hand gesture controlled vehicle

LEGO MindStorms NXT

Kinect XBOX 360

Funcionalidades
Controle remoto via bluetooth
Identificao dos gestos pelo Kinect

Controle Remoto
Interface que permite controlar o carro via bluetooth atravs de
entradas provientes do teclado.

Identificao dos Gestos

Controle de direo baseado na posio das mos em relao aos
ombros.
Controle de acelerao baseado no posicionamento relativo das
mos em relao ao torso.
Uso da biblioteca SimpleOpenNI para identificar os gestos.
Uso da ferramenta FAAST para permiter o mapeamento dos gestos
com as teclas do teclado.

Gestos

Gestos

Gestos

Gestos

Gestos

Demo

Trabalhos Futuros
Adicionar mdulo de comunicao via Wi-Fi
Implementar sistema semelhante em um Drone.
Usar 4G para estabelecer a comunicao entre o usurio e o Drone.
Implementar um algoritmo de segurana para o Drone
Sistema de feedback para melhora a experincia do usurio