LOCALIZAO DE ROBS E

MAPEAMENTO DO AMBIENTE USANDO

KINECT
Gustavo Emerich 825476
Orientador: Ren Pegoraro
Objetivo
Desenvolver um sistema capaz de perceber a existncia de
objetos na rea onde o Kinect atua, gerando informaes
sobre a disposio de objetos que podem interferir com o
deslocamento do rob no ambiente. Estas informaes
podero ser utilizadas para oferecer subsdios para que o
sistema de controle do rob tome decises de como desviar
ou empurrar algum objeto
Kinect
Baseado em projetar padres e medir a deformao do ponto
(luz estruturada)

Mapa de profundidade em tempo real (30 fps)

Imagem RGB que pode ser utilizada em conjunto com o

mapa de profundidade
PCL
A Biblioteca Nuvens de Ponto (ou PCL) um projeto aberto
em grande escala para processamento 3D de imagens em forma
de nuvens de ponto. O Framework PCL contm numerosos
estado-da-arte, incluindo os algoritmos de filtragem, estimativa
de recurso, reconstruo de superfcie, registro e ajuste do
modelo de segmentao.

http://www.pointclouds.org/
PCL
- Open Source
O que uma nuvem de pontos?
A nuvem de pontos uma estrutura de dados usada para representar uma
coleo de pontos multi-dimensionais e comumente usada para representar
dados tridimensionais. Em uma nuvem de ponto 3D, os pontos geralmente
representam as coordenadas geomtricas X,Y, e Z de uma superfcie subjacente
amostrada. Quando as informaes de cor est presente (veja a figura abaixo), a
nuvem torna-se ponto 4D.

http://www.pointclouds.org/
Como Capturar?
Nuvens de pontos podem ser capturadas atravs de cmeras
estreo, sensores laser e dispositivos 3D como o Kinect.

A PCL suporta nativamente as

interfaces 3D da biblioteca
OpenNI e consegue capturar
dados de um Kinect e
transform-los para nuvem de
pontos
Mdulos
Bibliotecas utilizadas:
I/O
Filters Tracking
Segmentation Visualization
Filter
Downsample - Usa uma grade de voxel(pixel volumtrico)
sobre a nuvem de entrada e calcula o centro de massa sobre
cada voxel.
Passthrough Filtra as dimenses em x, y ou z de acordo
com parmetros.
Exemplos
Segmentation
Plane model segmentation Procura um modelo plano na
cena e segmenta-o da cena, possvel trabalhar apenas com o
plano ou com o restante dele.

Euclidean cluster extraction Procura por pontos vizinhos

que esto dentro de um raio R limitador e agrupa-os em
clusters.
Exemplo
Model segmentation
Exemplo
Cluster extraction
Tracking
Track Procura em uma determinada cena a existencia de
uma possvel transformao de um objeto segmentado.
Tracking
Algoritmo de localizao

I/O

Passthrough Filter

Downsample Filter

Plane Model Segmentation

Tracking
Cluster Extraction

Object
Video
Cronograma

Maio Junho Julho Agosto Setembro Outubro Novembro

1 X
2 X X
3 X X X X
4 X X
5 X X
6 X X X X X

1 - Traar os requisitos do sistema (materiais, equipamentos, softwares).

2 - Realizar levantamento sobre a utilizao dos equipamentos.
3 - Desenvolver a aplicao que interpreta os dados do Kinect
4 - Desenvolver a aplicao que comanda o rob
5 - Testar o ambiente para encontrar bugs.
6 - Monografia e documentao
DUVIDAS?