Sensores Visuais

A viso o nosso sensor mais poderoso

Prov uma grande quantidade de iformao e permite uma iterao muito rica com o ambiente

Viso Computacional x CG x PDI

Viso Torre Eiffel, Frana Altura = 324m Metal, etc

natural e que deseje-se prover as mquinas com esse mesmo tipo de sensor Por isso, o uso de cmeras como um sensor em robtica mvel (e em outras reas) tem atrado um grande interesse A rea mais ampla que se preocupa em obter informaes a partir de imagens capturadas por uma cmera chamda de Viso Computacional
Robtica Mvel Prof. Luiz Chaimowicz

CG Torre Eiffel, Frana Altura = 324m Metal, etc

PDI

Robtica Mvel

Prof. Luiz Chaimowicz

Processo bsico
A luz refletida pelos vrios objetos na cena passa por uma abertura (lente ou pin-hole) e atinge um dispositivo (sensor) que mede a intensidade da luz refletida, formando uma imagem. Essa imagem deve ser processada para se obter as informaes desejadas
Baixo-nvel: suavizao, deteco de bordas Alto nvel: reconstruo, identificao de objetos

Cmeras - Sensor
CCD Chaged Coupled Devices
Tecnologia mais comum Matriz de elementos (pixels) que acumulam eletrons a medida que so atingidos pela luz. Integrando-se a carga acumulada durante certo perodo obtem-se a intensidade de cada pixel.

2048 x 2048 CCD array

Sony DFW-X700

Orangemicro iBOT Firewire

Cannon IXUS 300

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Cmeras - Sensor
Nas cmeras CCD, a coleta dos valores feita por um nico circuito
Valor dos pixels deve ser transportado para l utilizando uma tecnologia mais sofisticada

Cmeras - Sensor
Sensor captura a intensidade (Luminncia) Para a cor, normalmente-se usam-se filtros ou mltiplos CCDs
Bayer Filter
Filtros de cor so colocados em grid (2x2), e a cor de um pixel especfico interpolada a partir dos seus vizinhos

Uma alternativa so as cmeras CMOS

Complementary metal oxide semiconductor O princpio de acumulao de luz o mesmo, mas cada pixel possui um circuito que transmite os dados em paralelo. Mais simples e baratas Menor resoluo, tecnologia mais nova

Representao da cor
RGB, YUV, HSI, etc...
Robtica Mvel Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Cmeras - Sensor
Parmetros importantes do sensor:
Abertura Velocidade (Shutter Speed) Ganho White Balance

Formatos de Sada
Abordagem antiga
Transformao do sinal digital em analgico (NTSC, PAL) e depois a digitalizao em um Frame Grabber

A variao desses parmetros interfere muito em como uma imagem vai ser interpretada Um problema comum a saturao dos pixels
Robtica Mvel Prof. Luiz Chaimowicz

Cmeras atuais em geral j fornecem um sinal digital que pode ser usado diretamente
Firewire (IEEE 1394), USB Algumas cmeras j comprimem o sinal (mpeg, jpeg), o que pode causar problemas dependendo da aplicao
Robtica Mvel Prof. Luiz Chaimowicz

Usos comuns em Robtica Mvel

Para medir distncias

Modelo Projetivo
P

Para computar movimento

P v

Para identificar e rastrear objetos Para fazer um mapeamento

X w u w v = M Y 3x4 Zw w 1
Matriz de Projeo

Depende dos parmetros intrnsecos (foco, centro da imagem) e extrsicos (pose) da cmera

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Estimao da distncia
Principal problema: normalmente uma imagem apenas no suficiente para obter informaes de distncia
Um ponto na imagem pode corresponder a uma linha de pontos no mundo real necessrio utilizar tcnicas mais sofisticadas
Depth from Focus Stereo Motion

Depth from focus

Existe uma relao entre a distncia do objeto e a distncia do plano da imagem no qual a imagem do objeto est em foco:

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Depth from focus

Variando-se o plano de image (ou o foco) at descobrir a posio na qual a imagem tem a melhor nitidez, possivel saber a distncia at o objeto

Depth from focus

Basicamente, um processo de otimizao na qual necessria uma mtrica da nitidez da imagem Comumente utilizado em sistemas de autofocus de cmeras Pode no ser aplicvel em robtica mvel devido ao tempo para achar o foco adequado Uma tcnica relacionada chama-se depth from defocus que utiliza mltiplas imagens para fazer uma reconstruo 3D da cena
Robtica Mvel Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Estreo
feita uma triangulao, utilizando-se duas (ou mais) imagens Pela disparidade entre as imagens, possvel estimar a distncia necessria uma calibrao precisa
Disparity d = x x

Estreo

T z= f d
Prof. Luiz Chaimowicz Robtica Mvel Prof. Luiz Chaimowicz

Robtica Mvel

Estreo
O maior problema fazer a correspondncia entre as images
Pixel based Feature based

Depth from Motion

A idia similar ao estreo, mas usando uma nica cmera Dois ou mais pontos de vista sero obtidos pela mesma cmera quando o rob se mover A disparidade pode ser calculada de forma semelhante, usando-se a distncia percorrida como um baseline

Imagens Retificadas ajudam a diminuir o espao de busca (linhas epipolares) Caractersticas

Objetos prximos so medidos com mais acurcia Maior baseline fornece melhores resultados

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Fluxo ptico
Mais formalmente:
Seja E (x, y, t) a intensidade do pixel (x,y) no tempo t e u(x, y) and v(x, y) as componentes do vetor de fluxo tico (velocidade) naquele ponto. As velocidades so computadas encontrando-se um novo pixel tal que Se a variao de intensidade suave, pode-se modelar atravs de uma srie de taylor:

Fluxo ptico
Optical Flow is the apparent motion of the brightness pattern

Optical flow x Motion Field

possvel obter informaes sobre o movimento da cmera (ou do objeto) analisando-se o padro de variao de intensidades dos pixels em uma seqncia de imagens De forma geral, objetos mais prximos se deslocam mais rapidamente na imagem a medida que a cmera move Focus of expansion: ponto na imagem que no se move (direo do movimento)

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Fluxo ptico

Fluxo ptico

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Fluxo ptico

Tracking
Normalmente deve-se segmentar um objeto e acompanhar a sua trajetria Exemplo: Color Tracking

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Tracking
Stereo + Color Tracking

Nem sempre funciona...

ydes

xdes

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Tracking
Exemplo: Filtro de Partculas (USC)

Air-Ground Visual Localization

X w x w y = M Y 3x4 Zw w 1
Projection matrix
Depends on the intrinsic and extrinsic camera parameters

Blimp captures images and localizes the robots pixel coordinates (x,y) in these images

Knowing the projection matrix and considering a fixed Z plane, it is possible to convert from a pixel in the image to a point in the world

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Computing the Projection Matrix M

First Method: from known landmarks
n Known Landmarks

Images from the Blimp

+
: fixed point : robot

2n Projection equations

(298,338) = (9.21, -0.97,0.00)

Least Squares

Projection Matrix

Robtica Mvel

Prof. Luiz Chaimowicz

Robtica Mvel

Prof. Luiz Chaimowicz

Localization of a fixed point

Ground GPS Air-ground: M from points Air-ground: M from GPS/IMU

Robtica Mvel

Error 3.016 m 0.081 m 8.147 m

Std. Deviation 0.584 m 0.040 m 3.882 m

Prof. Luiz Chaimowicz