Escolar Documentos
Profissional Documentos
Cultura Documentos
So Paulo
23 / 08 / 2001
Monografia apresentada Disciplina PMR 5100 Robs Mveis Autnomos da Escola Politcnica da
Universidade de So Paulo como requisito parcial no
processo de obteno do ttulo de Mestre em
Engenharia.
So Paulo
2001
Inocente
Ignorncia,
com
SUMRIO
NDICE DE TABELAS
NDICE DE FIGURAS
1.1
Importncia do sensor................................................................................................ 8
1.2
Aplicaes ........................................................................................................8
2.1
2.2
2.3
Princpio do CCD............................................................................................14
2.4
2.4.1
Sony...........................................................................................................................................18
2.4.2
Watec ........................................................................................................................................19
2.4.3
Kalpyys ......................................................................................................................................20
2.4.4
Creative .....................................................................................................................................21
2.4.5
Intel............................................................................................................................................21
3.1
3.2
3.3
PESQUISA............................................................................................................... 31
4.1
OBJETIVO......................................................................................................31
4.2
JUSTIFICATIVA .............................................................................................32
4.3
MATERIAIS E MTODOS..............................................................................32
4.3.1
4.3.2
4.3.3
CONCLUSES ........................................................................................................ 36
NDICE DE TABELAS
RESUMO
O assunto abordado neste trabalho consta de uma pesquisa e anlise dos circuitos
eletrnicos utilizados na aquisio de imagens em vdeo cmeras baseadas em
sensores CCD (Charge-Coupled Device) e aplicaes de viso estreo, localizao
de objetos, reconhecimento de padres e elaborao de plano de movimentos
robticos.
A metodologia utilizada pesquisa os sensores CCD partindo dos parmetros de
imagem de um objeto em relao cmera, abordando as especificaes de lentes,
as caractersticas de vdeo-cmeras comerciais, especificaes de CCDs, circuitos
de processamento de sinais e sistemas de viso estreo.
A localizao de um objeto no plano horizontal pelo simples movimento de apontar
da mo utiliza a viso estreo para localizar a interseco das linhas aps o
reconhecimento da imagem dos dedos da mo. O sinal ento enviado a um brao
robtico para movimentao.
A utilizao de viso estreo para localizao de um objeto em um ambiente 2D
facilitada pela interface humana que realiza o maior trabalho de processamento de
imagem no reconhecimento do objeto enquanto sua localizao pelo sistema de
viso utiliza um feixe laser. Em conjunto com um sistema de reconhecimento de voz,
comandos so enviados a um sistema de planejamento de movimentos de um brao
robtico.
A deteco de obstculos e o modelamento de um ambiente baseado em sensores
de vdeo e distncia a radar laser permitem a navegao de um rob mvel atravs
da utilizao de um algoritmo de fuso das informaes dos dois sensores.
A bibliografia foi pesquisada na internet, nos sites dos fabricantes de lentes, vdeocmeras e circuitos integrados sensores de imagem e de controle, bem como na
biblioteca da Escola Politcnica da USP, em edies do IEEE e da Elsevier.
Objetiva-se com esta pesquisa oferecer subsdios para a escolha de Cmeras de
Vdeo para aplicaes em Sistemas de Viso em Controle de Qualidade e
Movimentao Robtica, bem como contribuir para o desenvolvimento de um
sistema autnomo de aquisio e processamento de imagens.
composto do
Hardware de Processamento
Sinal
Conversor
Sinal
Analgico
Analgico
Digital
Software de
Unidade
de
1.2 Aplicaes
Outras aplicaes relacionadas s cmeras CCDs so a transmisso de imagens
de um laboratrio virtual via internet, a identificao biomtrica de impresses
digitais para controle de acesso fsico a determinados locais de trabalho ou a
programas de sistemas computacionais e a monitorao de crescimento celular em
pesquisas de biotecnologia. Aplicaes em sistemas comerciais j em operao so
a segurana patrimonial e a superviso e controle de trfego de veculos terrestres.
CONCEITOS BSICOS
2.1 Parmetros de imagem
CMERA
Distncia de
Trabalho WD
Profundidade do
Campo - DOF
Campo de
Resoluo
Vi
Par-de-Linha
10
Lmpadas
Fluorescentes geram uma iluminao difusa que pode mostrar detalhes dos objetos
sem o aparecimento de sombras ou reflexos. Os detalhes internos em objetos
transparentes, tais como seringas de injeo e cabos de chaves de fenda podem
ser melhor visualizados com iluminao definida como Darkfield, onde o fundo da
imagem um plano escuro e a iluminao pode ser aplicada no objeto atravs de
fibras ticas. A iluminao traseira atravs de lmpadas incandescentes permitem a
deteco de contornos
11
Distncia
Campo de Viso
A
FOV
Profundidade de
Viso - DOV
12
13
WH0614
V0813
T2X3518CS
Applicable Camera
1/2", 1/3"
1/3"
6.0
8.0
3.5-8.0
Zoom Ratio
Vari 2.28
Iris Range
1.4-16
57.3
58.8
73.9 -33.3
CS
0.2
0.2
0.3
9.50
11.58
8.5
M25.5 P=0.5
M35.5 P=0.5
29.0(D) x 34.0(L)
37.0(D) x 30.0(L)
33.0(D) x 41.5(L)
60
73
38
Mount
1.8-C
o
1.8-C
o
Observa-se que uma lente pode ser utilizada em dois ou mais tamanhos de
sensores CCD que influenciar o campo de viso devido a distncia focal fixa.O
modelo de Zoom motorizado ainda varia o ngulo do campo de viso em conjunto
com a distncia focal, oferecendo maior faixa de operao.
A abertura da lente feita pela iris altera o f-nmero, desde um valor tpico prximo de
2 at o completo fechamento. O tipo de montagem descrito de modo a verificar-se
a necessidade ou no do adaptador. A mnima distncia do objeto da ordem de
algumas dezenas de centmetros permite uma distncia mdia da cmera ao objeto.
Opes para a montagem de filtros de luz so indicados pela especificao do
tamanho do parafuso de fixao do mesmo. Especificaes dimensionais e do peso
fornecidos nestes casos so importantes por se tratar de um dispositivo
praticamente mecnico.
14
Para o deslocamento dos poos de potenciais gerados referentes a cada pixel, que
esto lado a lado no substrato formando uma linha, utilizado um circuito que gera
vrios pulsos de sincronismo deslocados em fase e esto conectados aos contatos
metlicos conforme pode ser visto simplificadamente na Figura 2.6 [5]. O potencial
eltrico nos contatos do clock 1 inicialmente acumulam os eltrons gerados pela
radiao luminosa. O circuito temporizador gera outro potencial nos contatos do
clock 2, anexo aos contatos do clock 1, que atrai estas cargas eltricas, deslocandoas fisicamente no substrato. O mesmo ocorre entre os contatos de clock 2 e 3 e
entre o clock 3 e 1, posteriormente, at que todas as cargas geradas sejam
movimentadas para fora do substrado de gerao. O circuito de temporizao
geralmente externo ao circuito integrado do elemento sensor CCD e tem sua
constituio e funcionamento especficos para cada tipo de CCD.
15
16
8.0
4.8
2.4
1/2
1/4
8.8
4.8
6.6
6.0
3.6
1/3
2/3
17
A sensibilidade dos sensores CCD de silcio para cmeras preto e branco vai de
400 nm a 1000 nm de comprimento de onda da luz enquanto para cmeras
coloridas h um filtro de Infra-Vermelho acima de 700 nm.
A Magnificao Primria a relao entre o tamanho do sensor e o campo de
viso e resulta no ganho no tamanho da imagem oferecido pela lente.
A Velocidade de Abertura (Speed Shutter) controla a intensidade da luz que chega
ao sensor e o momento em que a imagem capturada. Se o sensor ficasse
constantemente aberto para receber a luz da imagem, o resultado seria uma
superexposio e o borramento com a integralizao do sinal. A abertura trabalha
coletando metade da iluminao a cada passo, geralmente em oito etapas, partindo
da velocidade de 1/60 de segundo at 1/10.000 de segundo (de 16 ms de exposio
at 100 s). Esta abertura pode ser sincronizada com dispositivos externos de
controle
iluminao,
como
esteiras
de
posicionamento
lmpadas
estroboscpicas.
A Resoluo em contagem de pixels depende do tamanho do sensor. Quanto
menor o sensor, maior a concentrao de pixels por milmetro e portanto ser maior
a resoluo do mesmo. Por exemplo, um sensor de 1/3 com 640 por 480 pixels ter
133 pixels por milmetro e uma resoluo de 7,51 m por pixel no sensor. Uma
resoluo em linhas de TV, encontradas comercialmente entre 330 e 570 linhas,
tambm deve ser cuidadosamente selecionada, uma vez que diversos sensores
CCD podem ter espaos em branco entre linhas e colunas de pixels.
O formato do sinal utilizado nos sensores CCD so basicamente quatro: Sinais
compostos, Y-C, RGB e Digital.
O sinal composto de vdeo pode seguir a norma EIA definida como RS-170 que
define 30 quadros por segundo (Frames Per Second -FPS), resoluo de 640 x 480
pixels e sistema de cor NTSC, utilizado nos Estados Unidos ou a norma CCIR, que
define 25 quadros por segundo, resoluo de 768 x 576 pixels e sistema de cor
PAL, utilizado na Europa.
O sinal Y-C utilizado em vdeo cmeras portteis separa a luminncia Y e a croma
(Cor), permitindo melhor qualidade de imagem.
O padro RGB (Red, Green, Blue) utiliza trs sensores CCD separando os
componentes da cor para uso nos tubos de raios catdicos (TRC) dos sistemas de
18
As
cmeras
da
Sony
exemplificadas
na
Tabela
2.2
apresentam
todas
19
Model
Scan Type
Frame Rate
Camera Resolution
Horizontal Frequency
Analog Interfaces
Video Color
CCD Sensor Size (in.)
CCD Sensor Size (mm)
Pixel (Cell) Size
Max Data Rate
Gamma
Signal-to-noise ratio
Min Illumination
Exposure Time
Lens Mount
Dimensions
Weight
Power Requirements
Vibration Resistance
Mean Time Failure
Price Std.
XC-777A
XC-75
XC-73CE
38200 hours
US$ 1,391.00
US$ 750.00
30 Hz
640 X 480
NTSC Composite; Y/C
Mosaic Color
1/3 in.
48 dB
Not Available
1/4000 s to 1/1000 s
89 mm X 22 mm X 22
75 g
+12V DC
US$ 816.00
2.4.2 Watec
para
aplicao
de
visualizao
estudo
de
clulas
em
20
LCL-802H
LCL-323A
WAT-902HS (EIA/CCIR)
768(H) X 494(V)
AGC: ON18dB
12V DC + 10% (WAT-AD912)
Approx 130g
-10C - +40 C
-30C - +70 C
"CS" Mount
2.4.3 Kalpyys
O foco fixo em 3,6 mm das cmeras e as reduzidas dimenses destes modelos
sugerem aplicaes de segurana patrimonial a um custo reduzido.
FEATURES
SCANNING SYSTEM
IMAGE SENSOR
PIXELS
RESOLUTION
MIN. ILLUMINATION
S/N RATIO
AGC/AWB
VIDEO OUTPUT
ELECTRONIC SHUTTER
LENS
POWER SOURCE
OPERATING TEMP
POWER CONSUMPTION
DIMENSION (mm)
WEIGHT
PRICE
1012N
1012E
2:1 Interface
1213N
21
2.4.4 Creative
2.4.5 Intel
A Web Cam da Intel [13] ilustrada na Figura 2.10 tambm possui resoluo de 640 x
480 pixels e 24 bits por pixel. Oferece um ngulo de 44 de campo de viso,
obturador manual da lente e ajuste de distncia focal de uma polegada at infinito. A
conexo ao computador realizada por porta USB, no tendo a opo de operar
desconectada.
22
23
Atravs de uma variao do mtodo implementado por Quan e Mohr [15] conforme
ilustrado na Figura 3.2, a imagem gerada por duas cmeras transformada em
uma imagem cannica definida pelos quatro cantos do quadrado da base.
interseco das linhas determina o ponto indicado que ento projetado de volta
Figura 3.2 Imagem (a) esquerda, (c) direita e (b) o produto das duas
24
O sistema foi implementado em uma stao Sun SPARC com uma placa Data Cell
S2200
Frame
Grabber.
As
imagens
eram
providas
por
duas
cmeras
25
Um estudo nos Estados Unidos realizado por Stanger e Cowley [16] estima que
entre 100.000 e 500.000 pessoas possuem algum tipo de dificuldade motora nas
extremidades superiores, tais como paralisia cerebral, atrofia muscular, etc...
A necessidade de independncia motora e o aumento do custo de assistncia
motivaram pesquisadores nos campos da reabilitao a desenvolver vrios
dispositivos para ajudar estas pessoas a ter acesso a um mundo antes
problemtico.
Enquanto a maioria dos dispositivos de assistncia necessitam ser operados pelo
usurio atravs de um joystick, trackball ou teclado, o que causa fadiga e adiciona
um carga mental, alguns sistemas de robs equipados com interpretadores de voz
e/ou viso de mquina emergiram nos ltimos anos.
Descrio do Sistema
Um mecanismo de
26
fabricado pela
Integrated Motions e tem seis graus de liberdade no brao com seis graus de
liberdade no pulso montado com sensores de fora. O rob recebe comandos do
supervisor que o centro do subsistema planejador e retorna valores que significam
tanto o sucesso como a falha de operao.
O software de reconhecimento de fala, DragonDictate TM rodando em um PC,
recebe a entrada de voz do usurio e envia palavras interpretadas ao programa
cliente RPC EAR, desenvolvido pelo prprio laboratrio para processamento.
A mquina de computao para a interface de viso um SGI XS-24 IRISTI Indigo.
As imagens so adquiridas por duas cmeras CCD coloridas, separadas a 20 cm
uma da outra e a 1,2 m da altura, com um eixo tico de 10 entre elas.
O software de viso RPC EYE, roda em um workstation continuamente, utilizando
rotinas para extrao de informao colorida e tridimensional bem como da
identificao e localizao dos objetos apontados pelo feixe de laser.
O supervisor de processo associado com o planejador baseia-se em uma
workstation Sparc 5 e foi codificado em C++ para melhor portabilidade. A linguagem
de comando usada para interpretar as instrues do usurio uma linguagem
interpretativa tipo LISP. Como a LISP, a linguagem de comando usa tanto "recursos"
como a "estrutura central de controle" e expresses simblicas.
Caractersticas operacionais
27
Tcnicas bem conhecidas, tais como chaveamento por nvel de cor, cdigo de
corrente bipartida e transformao de Hough, so utilizadas para garantir a
performance do processo e reduzir a complexidade da computao.
Deve ser demonstrado, no entanto, que no presente estgio, o sistema de viso
para estas experincias somente obteve xito com objetos de formatos regulares e
trabalharam em um ambiente com uma alta relao sinal-rudo (objetos com
superfcies brancas em um fundo escuro).
O sistema de viso falhou em situaes de pouca luminosidade, quando o usurio
apontava o laser para uma superfcie brilhante, quando objetos eram encostados
em outros ou os objetos possuam uma superfcie de baixa reflectncia.
Em mais, problemas como ocluses precisam ser adicionadas, a robustez da
deteco do ponto laser para uma pessoa com deficincia fsica precisa ser
investigada e o processamento de viso precisa ser extendido a cenas mais
naturais.
Concluindo, foi descrito um sistema que pode explorar percepo de mquina de
baixo nvel e ferramentas de habilidades motoras e planejamento de Inteligncia
Artificial disponveis atualmente, enquanto permite ao usurio se concentrar no
problema a que est melhor capacitado, como resoluo de problemas de alto nvel,
reconhecimento de objetos e trabalho e recuperao de erros de posicionamento.
Atravs disto, a carga cognitiva do sistema diminuda, o sistema se torna mais
flexvel e fcil de utilizar como um efetivo assistente.
28
limitado
em
sua
habilidade
de
interpretar
ambientes
Como conhecido, a imagem fornecida por uma cmera CCD tem alta resoluo e
alta velocidade de varredura mas apresenta dificuldades em obter-se informao 3D
de uma imagem simples. Por outro lado, a imagem obtida pelo LRFR inclui
informao 3D sobre o ambiente mas pobre em resoluo e usualmente
29
Resultados experimentais
Para verificar a eficincia do mtodo apresentado, uma srie de experimentos foram
feitos no ambiente representativo de uma estrada. A Figura 3.8 mostra um dos
ambientes experimentais com a imagem de uma rua externa com alguns obstculos
colocados pelo homem, com imagem adquirida pelo CCD e o modelo representativo
do Radar.
30
necessrio.
refinamento.
O mapa 2D do ambiente em alta resoluo mostrado na fig..na qual a cena
descrita com mais detalhes e as posies dos obstculos so identificadas mais
precisamente que o resultado anterior.
Neste tipo de sistema visual por multisensor cuja tarefa principal prover
informao do ambiente para robs mveis, um problema importante desenvolver
uma estrutura de representao eficiente. Um mapa em grade 2D do ambiente com
um modelo de representao multiresoluo foi utilizado e provou ser conveniente
para a fuso dos sensores e a tarefa de planejamento bem como a diminuio do
tempo de processamento. O segundo problema chave foi encontrar um algoritmo de
fuso eficiente para processar a informao obtida do sistema multisensor. Nesta
pesquisa, a teoria de Dempster-Shafer da evidncia foi generalizada e o algoritmo
de fuso baseado nesta foi proposto, uma vez que algumas caractersticas
utilizadas tinham de ser dependentes uma da outra e a necessidade de
independncia da regra de Dempster de combinao no pde ser encontrada.
Resultados experimentais mostraram que o mtodo simples, robusto e eficiente e
pode satisfazer os requisitos de navegao rob mvel em um ambiente plano. No
futuro esta aproximao poder ser estudada no contexto de ambientes mais
complexos.
31
PESQUISA
Imagem a ser
adquirida
Placa de Avaliao
de CCD
Sinais de
imagem de 12
bits
Sinais de
controle
Comunicao
externa serial
SOFTWARE DE
AQUISIO DE
SINAIS - VI
SOFTWARE DE
PROJETO E
MODELAMENTO
4.1 OBJETIVO
O objetivo principal deste trabalho contribuir para o desenvolvimento de um
sistema autnomo de aquisio e processamento de imagens.
Dentre os objetivos especficos relacionados:
32
4.2 JUSTIFICATIVA
A automao industrial um fato atual que permite o aumento da produo
com uma respectiva diminuio nos preos de custo e de venda final dos produtos
de consumo, aumentando a competitividade e a necessidade de oferecer maior
qualidade nos mesmos. A automao passa necessariamente por sensores das
variveis medidas e que determinam as aes a serem tomadas pelos sistemas de
controle. Os sensores de imagem tm aplicaes mais recentes em automao [19]
e de grande complexidade de processamento.
O conhecimento do funcionamento do CCD, seus circuitos dedicados e de
microcontroladores podem auxiliar o desenvolvimento de sistemas especficos de
aquisio de imagens para as mais diversas aplicaes de reconhecimento de
padres, tais como a identificao da qualidade de produtos manufaturados, a
identificao visual do amadurecimento de frutas em colheitas automticas,
monitoramento de crescimento de clulas nervosas em pesquisas de bio-eletrnica,
etc...
33
34
Placa de
Imagem a
Avaliao de CCD
Sada de
CCD
Sinal
ser
Quadro
Pixel
Li h
Figura 4.2 - Diagrama de Blocos da Placa de Avaliao de CCD
4.3.3
8 Kbytes of On-Chip
ROM/OTPAvailable
Register-to-Register Architecture
35
16-Bit Timer
Pulse-Width-Modulated Output
Bit Buswidth
36
CONCLUSES
A especificao tcnica para compra de vdeo cmeras com sensores CCD deve
considerar muitos fatores, tais como tamanho do sensor, resoluo, sensibilidade,
tipo de varredura, relao sinal-rudo, custo, dimenses, peso e principalmente o
padro de sinal de sada entre outros mais que variam conforme o fabricante e a
aplicao.
O estado de arte de uma vdeo cmera conta atualmente com de chips dedicados e
de baixo custo para temporizao, aquisio da imagem com uma matriz de
sensores CCD, converso A/D e codificao do sinal de vdeo..
Para melhorar a performance do sistema, embute-se circuitos dedicados de
Controle Automtico de Foco, Exposio, Gamma e Balano de branco.
O posicionamento, a iluminao, a sensibilidade e a resoluo tambm so os
fatores a serem considerados na implementao de um Sistema de Aquisio de
Imagens para Controle de Qualidade ou Movimentao Robtica.
O processo de viso estreo um importante aliado para fornecer informaes de
cor e espao ao planejamento reativo, que necessita destes dados para a tarefa de
planejamento.
O sistema de viso falha em situaes de baixa iluminao, caso em que o estudo
da cmera com melhores especificaes tcnicas de sensibilidade podem ajudar.
37
BIBLIOGRAFIA
[1] http://www.ni.com/
[2] http://www.edmundoptics.com/
[3] http://www.kalpyys.com/
[4] http://www.chemistry.adelaide.edu.au/external/Soc-Rel/Content/ccd.htm
[5] http://www.iue.tuwien.ac.at/diss/rottinger/diss/node31.html
[6] http://www.kodak.com/
[7] http://www.sony.com/
[8] http://www.watec.com/
[9] http://www.lghoneywell.com/
[10] http://www.microchip.com/
[11] http://www.cohu.com/
[12] http://www.creative.com/
[13] http://www.intel.com/
[14] R. Cipolla and N. J. Hollinghust, Human-robot interface by pointing with uncalibrated stereo vision,
Image and Vision Computing 14, Elsevier, 1996, pgs. 171-178
[15] L. Quan e R. Mohr, Towards structure from motion for linear feature through reference points,
Proc. IEEE Workshop on Visual Motion, Princeton, New Jersey, 1991, pgs. 294-254.
[16] J.K. Tsotsos, S. Dickinson, M. Jenkin, E. Milios, A. Jepson, B. Down, E. Amdur, S. Stevenson, M.
Black, D. Metaxas, J. Coopertoek, S. Culhane, F. Nufio, G. Verghese, W. Wa, D. Wilkes e Y. Ye. The
PLAYBOT project, Proceedings of the IJCAI-95 Workshop of Developing AI Applications for the
Disabled, Montreal, Canada, 1995, pgs. 187-201.
[17] Shoupu Chen, Zunaid Kazi, Richard Foulds, Daniel Chester, Color and Three-dimensional visionbased assistive telemanipulation, Elservier, Image and Vision Computing, 1997, pgs. 265-274.
[18] Young-Ge, Jing-Yu Yang,e Ke Liu - Obstacle detection and environment modeling based on
multisensor fusion for robot navigation, Artificial Intelligence in Engineering, Elsevier, 1996, pgs. 323333.
[19] http://digital.ni.com/seminars/learningcenter/pc_vision_solutions.htm
[20] Kodak, Eastman Company, "Kodak KAF Series - CCD Digital Reference Evaluation Board - Users
Manual", Setembro 1999, Reviso 2.
[21] http://developer.intel.com/design/builder/apbldr/index.htm 10/06/00