Classificao

de faces
em vdeo
Universidade Estadual de Campinas
Instituto de Computao
MC906 Introduo Inteligncia Artificial
O problema

Como resolver

Formas alternativas

A entrega
Agenda
Agenda
O problema

Como resolver

Formas alternativas

A entrega
O problema
Reconhecimento de faces
Determinar se duas faces so a mesma pessoa;
O problema
Desafios da rea
Variedade de resoluo, qualidade e condies de
iluminao;
Expresses faciais e pose.
O problema
Importncia da classificao semntica automtica
Vigilncia
O problema
Importncia da classificao semntica automtica
Controle de funcionrios em empresa
Lisa
Tom
Mark Mary
O problema
Importncia da classificao semntica automtica
Recuperao de vdeo por contedo
O problema
Um problema de IA
Estudo e projeto de agentes
inteligentes;
Percepo do ambiente;

O problema
Um problema de IA
Percepo de rostos;


O problema
Um problema de IA
Identificar faces; e
Procurar significado semntico.


Mom
Sister
Dad
Agenda
O problema

Como resolver

Formas alternativas

A entrega
Como resolver
As etapas:
[1] Seleo do vdeo;
[2] Decomposio em frames;
[3] Deteco de faces;
[4] Classificao das faces; e
[5] Rotulao das personagens.

Como resolver
[1] Seleo do vdeo
[2] Decomposio em frames
Como resolver
[3] Deteco de faces
Algoritmo de Viola-Jones
Framework para deteco de objetos;
Soma de pixels dentro de reas retangulares;

Como resolver
[3] Deteco de faces
Algoritmo de Viola-Jones
Primitivo quando comparado com algoritmos que utilizam
filtros orientveis;
Vantagem: avaliao em tempo constante;
Problema: nmero de caracte-
rsticas extradas;

Como resolver
[3] Deteco de faces
Algoritmo de Viola-Jones
Problema: lidar com classificadores pesados;
Arquitetura em cascata.

Como resolver
[4] Classificao das faces
Principal Component Analysis (PCA)
Uso de transformaes ortogonais;
Converso de vriaveis
possivelmente correlacio-
nadas em um conjunto de
no relacionadas;
Reduo de dimensiona-
lidade do problema;
Como resolver
[4] Classificao das faces
Principal Component Analysis (PCA)
Decomposio de autovalores da
matriz de covarincia;
Obter conjunto de auto-vetores
que constituem a eigenface.
Como resolver
[4] Classificao das faces
Histogram of Oriented Gradients (HOG)
Distribuio de intensidade de gradiente ou de direes de
borda;
Como resolver
[4] Classificao das faces
Histogram of Oriented Gradients (HOG)
1. Clculo do gradiente;
2. Clculo do histograma de orientao;
3. Descritor de bloco; e
4. Normalizao do bloco.
Como resolver
[4] Classificao das faces
Histogram of Oriented Gradients (HOG)
Como resolver
[4] Classificao das faces
Support Vector Machine (SVM)
Hiperplano de dimenso p-1 do feature vector para separar as
duas classes;
Como resolver
[4] Classificao das faces
Support Vector Machine (SVM)
Reduo do problema multiclasse para mltiplos problemas de
classificao binria;
Como resolver
[4] Classificao das faces
Support Vector Machine (SVM)
Abordagem one-vs-all
Abordagem one-vs-one
Como resolver
[5] Rotulao das personagens
Nome junto do retngulo
Lily Marshall Ted Robin Barney
Como resolver
Agenda
O problema

Como resolver

Formas alternativas

A entrega
Formas alternativas
Deteco de faces
Viola-Jones um mtodo suficientemente eficiente;
Outros algoritmos so raramente utilizados;
Rastreamento
Camshift; e
Shot Boundary;
Reconhecimento
Nearest Neighbour; e
Linear Discriminant Analysis.

Tracking
Chance dos rostos apaream em posies prximas em
frames subsequentes;
Evitar uso desnecessrio do Viola-Jones;
No to simples quanto parece.
Formas alternativas
Camshift
Continuously Adaptive Mean Shift;
Variao do Mean Shift;
Uso de histogramas de cor e da regio retangular onde se
encontra a face;
Matiz x Saturao
Formas alternativas
Camshift
Probabilidade para determinar se pixel pertence face;
Problemas:
Suscetvel a pequenos desvios; e
Apenas informaes sobre
cores so utilizadas.
Formas alternativas
Shot Boundary
Identificao de mudana de planos;
Exemplo: Algoritmo que compara os
canais de cores RGB entre dois frames;
Transio
abrupta
Transio
dissolver
Formas alternativas
Shot Boundary
Etapa de scoring: quo semelhante so dois frames; e
Etapa de deciso: avaliao do score e a deteco ou no
de um novo frame.
Formas alternativas
Nearest Neighbour
Uso de uma base de exemplos classificados;
Avalia a proximidade do elemento com cada uma das
classes;
Vantagens:
Mais simples que o SVM; e
Rpido quando utilizado em uma
base de dados pequena;
Formas alternativas
Nearest Neighbour
Desvantagens:
Quanto mais exemplos, maior o tempo de avaliao;
Possibilidade de dominao por classes populosas;
Em reconhecimento de faces, a quantidade de classes
potencialmente enorme.
Formas alternativas
Linear Discriminant Analysis (LDA)
Mtodo de extrao seguido de um classificador (e.g.
KNN);
Reduz a dimensionalidade,
assim como o PCA;
Formas alternativas
Linear Discriminant Analysis (LDA)
Vantagem:
Tempo de treinamento no aumenta muito com o nmero de
exemplos;
Desvantagem:
Tempo de treinamento muito sensvel forma da extrao da
imagem;

Formas alternativas
Agenda
O problema

Como resolver

Formas alternativas

A entrega
A entrega
Vdeo com a marcao das personagens
Ted
Lily
Marshall
Joo Carlos Maggiotto 081721
Gabriel Fernando L. e Oliveira 083565
Murilo Fossa Vicentini 082335
Renato Rivas D'Amore 082672
Classificao
de faces
em vdeo