Vis Ão Comput Ac Ional

MC949 - Visão Computacional
Desafios e Oportunidades
Aula #1
Prof. Dr. Anderson Rocha

Microsoft Research Faculty Fellow
Reasoning for Complex Data (RECOD) Lab.
Instituto de Computação, Universidade Estadual de Campinas (Unicamp)
anderson.rocha@ic.unicamp.br
http://www.ic.unicamp.br/~rocha
Cafe Umbrellas, Angola
Fotografia de Volkmar K. Wentzel, National Geographic
A. Rocha, 2012s1 – Visão Computacional (MC949)

Cloaked Women, Iran
Fotografia de Maynard Owen Williams, National Geographic

Mohawk River, New York
Fotografia de B. Anthony Stewart, National Geographic

Stone Bridge, Scotland

Lancashire, England
Fotografia de Clifton R. Adams, National Geographic

Jupiter Temple, Lebanon
Fotografia de Maynard Owen Williams, National Geographic

Storm, Haiti

Magnified Sugar Crystals
Fotografia de Victor R. Boswell, Jr, National Geographic

Great Pyramid and Sphinx, Giza
Fotografia de Hans Hildenbrand, National Geographic

Grape Harvest, France
Fotografia de Gervais Courtellemont, National Geographic

A photograph can be an instant of life captured for eternity that will never
cease looking back at you (Brigitte Bardot)
A photograph is a secret about a secret. The more it tells you the

less you know (Diane Arbus)
A photograph is always invisible, it is not it that we see

(Roland Barthes)
A picture is worth a thousand words (Popular Adage)

Agenda
Agenda
‣ Computação Visual ‣ Computação Visual & Recod
‣ Visão Computacional ‣ Timeline
‣ Aplicações Industriais ‣ Video Demos
‣ Aplicações para Consumidores ‣ Conclusões
A. Rocha, 2012s1 – Visão Computacional (MC949) 14

A. Rocha H. Pedrini J. Wainer
E. Valle
– Visão – Computação Gráfica – Inteligência Artificial
– Aprendizado de Máquina
– Aprendizado de Máquina – Proc. de Imagens – Informática Médica
– Rec. de Informação
– Computação Forense – Visualização de Dados – Informática e Sociedade
R. Torres S. Goldenstein
– Bancos de Dados – Visão
– Rec. da Informação – Computação Gráfica
– Proc. de Imagens – Computação Forense

Algumas Parcerias
BROWN

Computação
Visual
Computação Visual
‣ Novo campo de pesquisas

‣ Inter-disciplinar

Paradigma de 4 universos
Físico Quantidades (área, tamanho)
Matemático Números reais 1210
Representação Ponto Flutuante 1.2 x 10
Implementação Padrão IEEE Mantissa/Expoente
© Gomes & Velho (1995)

Computação Visual
Modelagem Geométrica
Modelos
Análise de Síntese de
Imagem Imagem
Imagens
Processamento de Imagens

Adicionando tempo...
Controle de Movimento
Modelos Dinâmicos
Análise de
Animação
Movimento
Imagens em Movimento
Processamento de Vídeos

Visão holística
‣ Disciplinas correlacionadas
• Imagens e Modelos

Visão holística
‣ Utilização
• Visualização Científica
• Engenharia, CAD
• Medicina
• Entretenimento (efeitos especiais)
• Multimídia
• Realidade Virtual
Pleno crescimento
‣ Diversos problemas em aberto

‣ Interesse do mercado
‣ Boa remuneração
‣ Área dinâmica
‣ Nessa apresentação, foco em Visão Computacional
Visão
Computacional
Visão Computacional
‣ Como humanos, percebemos a estrutura do

mundo 3-D à nossa volta sem dificuldades
‣ Ao analisar imagens, facilmente contamos,

destacamos e reconhecemos pessoas
‣ Podemos até adivinhar sentimentos, emoções

nos indivíduos em uma foto

SVH e as variações súbitas de transparência e sombra
© Szeliski (2010)

‣ Por décadas, pesquisadores tem tentado

entender o SVH
‣ Problema ainda sem solução

Ilusões
© Müller-Lyer
© Hany Farid

Ilusões
© Ted Adelson

Ilusões

‣ Paralelo às pesquisas de psicólogos e cientistas a

respeito do SVH, pesquisadores de VC tem
pesquisado e desenvolvido
• Técnicas para recuperar informações 3D a
partir de imagens

‣ Como as máquinas podem entender o mundo

visual?
‣ VC pode ser vista como um processo de

inferência a partir de dados ruidosos e incertos
‣ Inferência utilizando modelos probabilísticos,

estatísticos e baseados em dados

© Kirkh – DevianArt (2011)
Como fazer as máquinas entenderem o mundo visual?

‣ Inclui
• Processamento de Imagens (segmentação,
agrupamento, detecção de bordas)
• Reconhecimento e detecção
• Estimação de Movimento
• Estimação de Estrutura a partir de Movimento
‣ Hoje conseguimos
• Computar o modelo 3D de uma cena a partir de
milhares de imagens
• Criar superfícies 3D densas
• Rastrear pessoas
• Reconhecer objetos, pessoas, cenas
• (...)

© Snavely, Seitz, Szeliski (2006) © Goesele, Snavely, Curlessetal (2007)
© Sidenbladh, Black, Fleet (2000) © Sivic, Zitnick, Szeliski (2006)
Exemplo de aplicações e algoritmos presentes em Computação

Visual – SFM, Stereo Matching, Rastreamento, Reconhecimento

‣ Interpretação de imagens e vídeos
• Criança de 2 anos vs.

computadores
• Por exemplo, contar

objetos em uma imagem
© Naturfoto

‣ Por que Visão Computacional é tão difícil?
• Problema inverso (buscamos recuperar
variáveis desconhecidas a partir de
informações insuficientes para modelar
totalmente o problema
• Precisamos recorrer a modelos físicos e
probabilísticos para desambiguar possíveis
soluções

‣ Modelos que usamos se baseiam, por exemplo, em
• Física
‣ Radiometria
‣ Ótica
‣ Sensores
• Computação Gráfica

‣ Ambos as áreas modelam

• como objetos se movem e animam
• como a luz é refletida de uma superfície,
espalhada em um ambiente, refratada nas
lentes de uma câmera ou olho humano,
projetada em uma superfície etc.

‣ Em VC, estamos tentando fazer o inverso:

• Descrever o mundo que vemos em uma ou
mais imagens (vídeos) e reconstruir suas
propriedades tais como: forma, iluminação,
distribuição de cor.

‣ Apesar de difícil, a boa notícia é que Visão Computacional
é utilizada hoje em muitas aplicações industriais
• OCR • Medicina
• Inspeção por Máquina • Segurança Automotiva
• Varejo • Cinema
• Fotogrametria • Vigilância
• Biometria

Aplicações
Industriais
Aplicações Industriais
OCR Inspeção Mecânica

© http://yann.lecun.com/exdb/lenet/ © http://www.cognitens.com

Segurança Automotiva Monitoramento de Tráfego

© http://www.mobileye.com/ © http: //www.honeywellvideo.com/

Varejo Imagens Médicas

© http://www.evoretail.com/ © http://www.clarontech.com/

Aplicações para
Consumidores
‣ Aplicações (para consumidores)
• Stitching • Photo-based Walkthroughs
• Bracketing • Detecção de Faces
• Morphing • Autenticação Visual
• Modelagem 3D • (...)
• Estabilização de Vídeos

Aplicações – Consumidores
© Szeliski & Shum (1997)
Stitching de Imagens

Extraído de Szeliski (2010)
Exposure bracketing

© Gomes, Darsa, Costa et al. (1999)
Morphing

© Sinha, Steedly, Szeliski et al. (2008)
Modelagem 3-D

Computação Visual
&
Recod
Categorização de Imagens
© Montagem de A. Rocha

Categorização de Imagens
Artes vs. Fotografia CGI vs. Fotografia?
Indoor vs. Outdoor?
Arte, Indoor, Outdoor, ou CGI?

Multi-classificação

Multi-classificação

Computação Forense
‣ Evidências Digitais
• Aquisição
• Organização
• Preservação
• Análise
• Apresentação
Análise Forense Digital

i n al
O rig
ls a
F a
Análise Forense de Imagens – Fake or Real?

+ \
=
Análise Forense de Imagens – Detecção de Mensagens Escondidas

Fake Fake
© Autodesk © Autodesk © Autodesk
Fake
© Autodesk © Autodesk © Autodesk

© A. Rocha

© A. Rocha

© A. Rocha

Reconhecimento de Faces
Classificador 100M Classificador 200M
Região Candidata (RC)
RC com Operador
Extr. de Carac.
Negativo Positivo
Decisão Decisão
Classificador 0.089nits Classificador 0.07nits Classificador SVM

Reconhecimento de Faces
@200 metros
© A. Rocha et al. (2009)

Predição de Falhas e Fusão
Recognition System Generic Predictor
Scores Prediction Done

Success?
Failure
Request Operator
+
Perform Acquire More
...
etc.
Interaction Fusion Data
Re-Start
© Scheirer, Rocha, Michaels, Boult (2011)

Como fazemos?
‣ Duas formas
• Aprendizado de Máquina
• Métodos Estatísticos (EVT) *
* Scheirer, Rocha and Boult, USPTO Patent 61/172,333

Recuperação de Informação
Interface
Inserção Especs. da Consulta Visualização
Padrão de Consulta Imagens Similares
Ordenação
Coleção de Imagens
Extração de Vetor
de Características
Medida de Similaridade
Módulo de Proc. de Consulta
Imagens e Vetores de
Características

Medical Informatics
vs.
Projeto: Detecção de Retinopatia Diabética

Filogenia de Imagens e Vídeos
‣ Documentos online estão em constante evolução

‣ Podemos
online?
detectar a evolução de um documento

‣ Aplicações
• Forense
• Segurança
conteúdo)
(direção de distribuição ilegal de
• Copyright

© Joly et al. (2007)

Timeline
Timeline
© Szeliski (2010)

+ Abstração
Imagens Geometria Aparência

© Szeliski (2010)

Vídeo Demos
© Omerkkk1 – Youtube User (2010)
Demo #1: Rastreamento de Jogadores de Futebol

© Yous & Laga (2010)
Demo #2: Rastreamento e Vigilância

© MB5759 – Youtube User (2007)
Demo #3: Sistemas de Inspeção de Máquinas

© Albrechts (2010)
Demo #4: Structure from Motion (SFM)

© Barnes et al. (2010)
Demo #5: Seam Carving, Retargetting e Reshuffling

© Frahm et al. (2010)
Demo #6: 3-D Reconstruction – Rome

© ProPics
Demo #7: Gigapixel Panoramas

© 360 Cities
Demo #8: Gigapixel Panoramas

© Microsoft
Demo #9: Navegando por Fotografias – Photosynth

© Microsoft
Demo #10: Gaming – Kinect

Conclusões
Conclusões
‣ Como vimos, Computação Visual é uma área com

• diversas aplicações
• muitas oportunidades
• diversos desafios a serem resolvidos
‣ “It’s a lot of fun” :-)
Conclusões
‣ Disciplina em 2012s1 no IC/Unicamp

‣ Prof. Anderson Rocha

Conclusões
‣ Disciplina em 2012s1 no IC/Unicamp
• Aulas com slides em inglês
• Livro referência em Inglês
• Aulas baseadas em materiais de Derek Hoiem,
Alexei Efros, Steve Seitz, David Forsyth, James
Hayes, Svetlana Lazebnick, Richard Szeliski e
outros

© Agarwal, Furukawa, Snavely, Simon, Seitz, Szeliski (2010)
Perguntas?

Vis Ão Comput Ac Ional

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Vis Ão Comput Ac Ional

Enviado por

Direitos autorais:

Formatos disponíveis

MC949 - Visão Computacional

Prof. Dr. Anderson Rocha

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A. Rocha, 2012s1 – Visão Computacional (MC949)

A photograph is a secret about a secret. The more it tells you the

A photograph is always invisible, it is not it that we see

A picture is worth a thousand words (Popular Adage)

A. Rocha, 2012s1 – Visão Computacional (MC949)

‣ Computação Visual ‣ Computação Visual & Recod

‣ Visão Computacional ‣ Timeline

‣ Aplicações Industriais ‣ Video Demos

‣ Aplicações para Consumidores ‣ Conclusões

A. Rocha, 2012s1 – Visão Computacional (MC949) 14

A. Rocha, 2012s1 – Visão Computacional (MC949) 15

A. Rocha, 2012s1 – Visão Computacional (MC949) 16

‣ Novo campo de pesquisas

A. Rocha, 2012s1 – Visão Computacional (MC949) 18

Físico Quantidades (área, tamanho)

Matemático Números reais 1210

Representação Ponto Flutuante 1.2 x 10

Implementação Padrão IEEE Mantissa/Expoente

© Gomes & Velho (1995)

A. Rocha, 2012s1 – Visão Computacional (MC949) 19

A. Rocha, 2012s1 – Visão Computacional (MC949) 20

A. Rocha, 2012s1 – Visão Computacional (MC949) 21

A. Rocha, 2012s1 – Visão Computacional (MC949) 22

‣ Diversos problemas em aberto

‣ Como humanos, percebemos a estrutura do

‣ Ao analisar imagens, facilmente contamos,

‣ Podemos até adivinhar sentimentos, emoções

A. Rocha, 2012s1 – Visão Computacional (MC949) 26

A. Rocha, 2012s1 – Visão Computacional (MC949) 27

‣ Por décadas, pesquisadores tem tentado

‣ Problema ainda sem solução

A. Rocha, 2012s1 – Visão Computacional (MC949) 28

A. Rocha, 2012s1 – Visão Computacional (MC949) 29

A. Rocha, 2012s1 – Visão Computacional (MC949) 30

A. Rocha, 2012s1 – Visão Computacional (MC949) 31

‣ Paralelo às pesquisas de psicólogos e cientistas a

A. Rocha, 2012s1 – Visão Computacional (MC949) 32

‣ Como as máquinas podem entender o mundo

‣ VC pode ser vista como um processo de

‣ Inferência utilizando modelos probabilísticos,

A. Rocha, 2012s1 – Visão Computacional (MC949) 33

Como fazer as máquinas entenderem o mundo visual?

A. Rocha, 2012s1 – Visão Computacional (MC949) 34

A. Rocha, 2012s1 – Visão Computacional (MC949) 36

© Sidenbladh, Black, Fleet (2000) © Sivic, Zitnick, Szeliski (2006)

Exemplo de aplicações e algoritmos presentes em Computação

A. Rocha, 2012s1 – Visão Computacional (MC949) 37

‣ Interpretação de imagens e vídeos

• Criança de 2 anos vs.

• Por exemplo, contar

A. Rocha, 2012s1 – Visão Computacional (MC949) 38

A. Rocha, 2012s1 – Visão Computacional (MC949) 39

A. Rocha, 2012s1 – Visão Computacional (MC949) 40