Você está na página 1de 9

CURSO SUPERIOR DE TECNOLOGIA EM MECATRNICA INDUSTRIAL

PROGRAMA INSTITUCIONAL DE BOLSAS DE INICIAO EM


DESENVOLVIMENTO TECNOLGICO E INOVAO - PIBIT

PROFESSOR TARIQUE CAVALCANTE

DETECO FACIAL UTILIZANDO A API


OPENFACE
JOS LINHARES BEZERRA

SOBRAL/CE

2017
Sumrio
1. INTRODUO ...................................................................................................... 3
2. PROBLEMTICAS DA DETECO FACIAL ....................................................... 3
3. DETECO DE LANDMARCKS FACIAIS ........................................................... 4
4. ESTIMATIVA DA POSE DE CABEA .................................................................. 5
5. ESTIMATIVA DO OLHAR DO OLHO ................................................................... 6
6. DETECO DA UNIDADE DE AO (UA) ......................................................... 7
7. RESULTADOS ...................................................................................................... 8
8. REFERNCIAS BIBLIOGRFICAS ...................................................................... 9

2
1. INTRODUO

Com a facilidade que os seres humanos tm de reconhecer o seu


semelhante por meio da face, surgiu a ideia de realizar esse reconhecimento por
meio de sistemas computacionais de forma automatizada, dessa forma, pode-se
reconhecer pessoas atravs de imagens ou vdeos.

O passo inicial para essa automatizao o de deteco de faces, cada


tcnica utilizada est separada entre imagens estticas ou dinmicas, alm de
ocorrer a segmentao, que tem como objetivo separar a rea de interesse que
nesse caso a face do restante da imagem.

OpenFace a primeira ferramenta de cdigo aberto capaz de deteco


facial, estimativa de pose de cabea, reconhecimento de unidade de ao facial e
estimativa de olhar. Os algoritmos de viso computacional que representam o ncleo
do OpenFace demonstram resultados de ltima gerao em todas as tarefas acima
mencionadas. Alm disso, a API OpenFace capaz de desempenho em tempo real
e capaz de executar a partir de uma webcam simples, sem qualquer hardware
especialista.

2. PROBLEMTICAS DA DETECO FACIAL

Existe uma ampla seleo de ferramentas disponveis gratuitamente para


realizar a deteco de marcas faciais em imagens ou vdeos. No entanto, muito
poucas das abordagens fornecem o cdigo-fonte e, em vez disso, fornecem apenas
binrios executveis. Isso torna difcil a reproduo de experimentos em diferentes
conjuntos de treinamento ou usando diferentes esquemas de anotao. Alm disso,
binrios apenas permitem certas funcionalidades pr-definidas e muitas vezes no
so multi-plataforma, tornando a integrao em tempo real dos sistemas que
dependem da deteco de marco quase impossvel.

Embora existam vrias excees que fornecem cdigo de treinamento e


teste, essas abordagens no permitem o rastreamento em tempo real em vdeos -
um requisito importante para sistemas interativos.

A estimativa de pose de cabea no recebeu a mesma quantidade de


interesse que a deteco facial. Um exemplo anterior de uma estimativa de pose de
cabea dedicada o sistema Watson, que uma implementao do Modelo de
Aspecto de Vista Adaptativa Generalizada. Existem tambm vrios frameworks que
permitem a estimativa de pose de cabea usando dados de profundidade, porm

3
eles no podem trabalhar em webcams. Enquanto alguns detectores faciais incluem
capacidades de estimativa de pose de cabea, a maioria ignora este problema.

H um nmero de ferramentas e de sistemas comerciais para a estimativa


do olhar, entretanto, a maioria deles requer o hardware especializado tal como
cmeras infravermelhas ou cmeras montadas na cabea. Embora exista uma par
de sistemas disponveis para a webcam baseado na estimativa do olhar, eles lutam
em cenrios do mundo real e alguns exigem etapas de calibragem manual pesadas.
Em contraste com outras ferramentas disponveis, o OpenFace fornece o cdigo de
treinamento e teste permitindo uma fcil reprodutibilidade das experincias.

Na Tabela 1 pode-se ver a comparao de ferramentas de anlise de


comportamento facial, mostrando suas ferramentas e lacunas.

Tabela 1. Comparao de ferramentas de anlise de comportamento facial

3. DETECO DE LANDMARCKS FACIAIS

A OpenFace usa os Campos Neurais Condicionais (CLNF) propostos


recentemente para deteco e rastreamento de landmarks faciais. CLNF uma
instncia de um Local Model (CLM), que utiliza neurnios. Os dois componentes
principais do CLNF so: Point Distribution Model (PDM) que captura variaes de
forma de marco e os neurnios que capturam variaes de aparncia local de cada
landmark.

Usa uma rede neural convolucional de trs camadas simples (CNN) que,
dada uma face alinhada usando uma deformao afiada por pedaos, treinada
4
para prever o erro esperado de deteco de landmark. A rede neural CNN foi
treinada nos conjuntos de treinamento LFPW e Helen com locais de referncia
corretos e aleatoriamente deslocados. Se a etapa de validao falhar ao rastrear um
rosto em um vdeo, sabe-se ento que o modelo precisa ser redefinido.

No caso de deteco de landmarks em imagens em dificuldade in-the-


wild, usamos hipteses de inicializao mltiplas em diferentes orientaes e
escolhemos o modelo com a melhor probabilidade convergente. Isso retarda a
abordagem, mas torna mais preciso.

O PDM usado na OpenFace foi treinado em dois conjuntos de dados:


LFPW e conjuntos de treinamento Helen. Isto resultou num modelo com 34
parmetros de forma no rgida e 6 rgida. Para inicializar o modelo CLNF usou-se o
detector de rosto encontrado na biblioteca dlib.

OpenFace tambm permite a deteco de mltiplas faces em uma


imagem e rastreamento de mltiplas faces em vdeos. Para vdeos isso
conseguido mantendo uma faixa de rosto ativo e um mdulo lgico simples que
verifica se as pessoas saem e entram na moldura.

4. ESTIMATIVA DA POSE DE CABEA

A OpenFace capaz de extrair a pose de cabea (translao e


orientao), alm da deteco de marco facial. Como CLNF internamente usa uma
representao 3D landmark faciais e as projeta para a imagem usando projeo de
cmera ortogrfica. Isso permite estimar com preciso a posio da cabea uma vez
que as landmarks so detectadas.

Para uma estimativa precisa da pose da cabea, o OpenFace precisa ser


fornecido com os parmetros de calibrao da cmera (distncia focal e ponto
principal). Em sua ausncia, o OpenFace usa uma estimativa aproximada com base
no tamanho da imagem.

Para medir o desempenho do OpenFace em uma tarefa de estimativa de


pose de cabea, usa-se trs conjuntos de dados disponveis publicamente com os
dados de pose de cabea de terra existentes: BU, Biwi e ICT-3DHP.

5
5. ESTIMATIVA DO OLHAR DO OLHO

A estrutura de CLNF uma aproximao de registro de forma deformvel


geral, desta forma pode ser usada para detectar landmaks da regio dos olhos. Isso
inclui plpebras, ris e a pupila. O conjunto de dados de treinamento SynthesEyes
usado para treinar os neurnios do PDM e CLNF. Este modelo atinge resultados
state-of-the-art na tarefa de registro da regio dos olhos. Alguns exemplos de
registros podem ser vistos na Figura 1.

Figura 1. Alguns registros da regio dos olhos.

Uma vez que a localizao do olho e da pupila detectada usando o


CLNF, calcula-se o vetor do olhar do olho individualmente para cada olho. Um raio
disparado da origem da cmera atravs do centro da pupila no plano da imagem e
calcula-se sua interseo com o globo ocular. Isto d a localizao da pupila em
coordenadas de cmera 3D. O vetor do centro do globo ocular 3D at a localizao
da pupila nosso vetor estimado do olhar. Veja a Figura 2 para estimativas de
amostra de olhar.

Figura 2. Estimativas de olhar de amostra em sequncias de vdeo.

6
6. DETECO DA UNIDADE DE AO (UA)

Nas interaes naturais, as pessoas no so expressivas com muita


frequncia. Esta observao permite assumir com segurana que na maior parte do
tempo a intensidade mais baixa (e por sua vez a previso) de cada unidade de ao
sobre uma longa gravao de vdeo de uma pessoa deve ser zero. No entanto, os
preditores de AU existentes tendem a por vezes sub ou sobre-estimar os valores de
AU para uma determinada pessoa.

Para corrigir tais erros de predio, tomamos o percentil n-simo mais


baixo (aprendido nos dados de validao) das previses sobre uma pessoa
especfica e subtramos-o de todas as previses.

Chamamos essa abordagem de calibrao de pessoa. Tal correo pode


ser facilmente implementada em um sistema on-line, bem como mantendo um
histograma de previses anteriores. Esta extenso aplica-se apenas predio de
intensidade AU.

Para extrair caractersticas de aparncia facial usou-se uma


transformao de similaridade a partir das ladmarks detectadas atualmente para
uma representao de landmarks frontais de uma expresso neutra. Isto resulta
numa imagem de 112 112 pixels da face com uma distncia interpupilar de 45
pixis (semelhante a Baltrusaitis et ai).

Foi extrado Histogramas de Gradientes Orientados (HOGs)


caractersticas como proposto por Felzenswalb et al. A partir da face alinhada foram
usados blocos de 2 2 clulas, de 8 8 pixels, levando a 12 12 blocos de 31
histogramas dimensionais (4464 vetor dimensional descrevendo a face). Um modelo
PCA treinado em vrios conjuntos de dados de expresso facial: CK +, DISFA,
AVEC 2011, FERA 2011 e FERA 2015, foi utilizado ara reduzir a dimensionalidade
da caracterstica. Aplicando PCA a imagens (sub-amostragem de expresses de
pico e neutras) e Mantendo 95% da variabilidade explicada leva a uma base
reduzida de 1391 dimenses. Isto permite uma base genrica, mais adequada para
conjuntos de dados no vistos. A Figura 3 mostra uma viso geral da deteco de
AU.

Figura 3 Viso geral da deteco de AU.


7
7. RESULTADOS

A API OpenFace mostrou-se eficiente na deteco de mltiplas faces em


tempo real principalmente ao rodar pelo executvel como pode ser visto nas Figuras
4a e 4b. No entanto ao ser compilada no software Visual Studio 2012 apresentou
uma lentido demasiada em alguns computadores.

a. b.
Figura 4 Resultado da captura de faces em tempo real (a) Com duas pessoas (b) Com quatro
pessoas.

Acredita-se que por motivos de compatibilidade de bibliotecas utilizadas


no cdigo fonte, onde poderia haver otimizaes para a adaptao do cdigo. Dessa
forma, alterando o cdigo do programa original utilizado como referncia, mas sem
alterar a tcnica utilizada para devidos fins do programa.

8
8. REFERNCIAS BIBLIOGRFICAS

OpenFace: an open source facial behavior analysis toolkit


Tadas Baltruaitis, Peter Robinson, and Louis-Philippe Morency
in IEEE Winter Conference on Applications of Computer Vision, Lace Placid, NY,
March 2016

Constrained Local Neural Fields for robust facial landmark detection in the wild

Tadas Baltruaitis, Peter Robinson, and Louis-Philippe Morency.

in IEEE Int. Conference on Computer Vision Workshops, 300 Faces in-the-Wild


Challenge, 2013.

Cross-dataset learning and person-specific normalisation for automatic Action


Unit detection

Tadas Baltruaitis, Marwa Mahmoud, and Peter Robinson in Facial Expression


Recognition and Analysis Challenge,

IEEE International Conference on Automatic Face and Gesture Recognition, 2015