Projeto Capstone 5

Reconhecimento de
Emoções Faciais

Membros da Equipe

Sumeet Agrawal
Rajashekar Korutla
Conteúdo
Instruções de problema
Resumo dos dados
Valores ausentes & tipos de dados Formulação do modelo de
análise exploratória de dados
Precisão e Desempenho
Implantação
Desafios
Conclusão
Declaração do problema
• A detecção de rosto existe há muito tempo, dando um passo à frente, a
emoção humana exibida pelo rosto e sentida pelo cérebro capturada
em outro sinal elétrico de vídeo ou forma de imagem pode ser
aproximada. A detecção de emoções humanas é a necessidade da hora
para que os modernos sistemas de inteligência artificial possam
emular e medir as reações do rosto. Isso pode ser útil para tomar
decisões informadas, seja em relação à identificação de intenção,
promoção de ofertas ou ameaças relacionadas à segurança.
• Então, nosso objetivo neste projeto é treinar um modelo de
aprendizagem profunda que possa detectar a emoção do rosto.
Resumo dos dados

Nome do conjunto de dados - Kaggle fer-2013

Forma do conjunto de dados - (35887, 3)

Link:-
https://www.kaggle.eom/c/challenges-in-representation-learning-
facial
-expressão-reconhecimento-desafio/dados.
FER2013.csv
• fer significa FaceEmotionRecognition, este é um conjunto de
dados que foi criado no ano de 2013.
• Ele consiste em imagens em tons de cinza de 48x48 pixels de
rostos.
• A tarefa é categorizar cada rosto com base na emoção mostrada
na expressão facial em uma das sete categorias.
• O conjunto de treinamento tem 28709 exemplos e o conjunto de
teste público tem 3589 exemplos.
Valores e tipos de dados ausentes
Variáveis Importantes
1. Emoções - Essa característica define a emoção dos rostos. Tem 7
classes diferentes de emoções -
a) Medo
b) Nojo
c) Irritado
d) Feliz
e) Neutro
f) Triste
g) Surpreender

2. Pixels - Esse recurso define os pixels das imagens.

 Al

Os movimentos faciais são informações valiosas para o reconhecimento das

emoções.
 Al

RAIVA DESPREZO NOJO MEDO FELICIDADE TRISTEZA SURPRESA

 Al
Detalhes da divisão de dados
Detalhe Compacto Coluna 3 de 3 colunas •

#+ emoção = Um Osage — Um pixels

Traimiing 80%
Teste Público 10% 34034
valores únicos
Outro (3589) 10%

PTF* L co F Q Q Q L
2 Trainin g
55 55 55 55 54 60
54 85 151 163 170
1611 185 188 188
196 189 194 198

0 -FF F
195 194 196

4 T chovendo 2º 17 19 21 2S 38 42
42 46 5 4 56 62 63 6 6
82 108, 118, 13e 139;
134 132 126 113 97
126 148 157 161 155

3 T chovendo 77 78 79 79 78 75
55 47 48 5® 73 77 79
57 5º 37 44 55 70 80
82 67 91 66 80 73 66
54 57 68 59 68 6...

3 Formação 85 84 90 121 161 1O2

 Al
Contar enredo de várias emoções
 Al
Exibindo determinadas
imagens
expressão =
'feliz'
Al
 Al

Construção, Treinamento,
Precisão e Implantação de
Modelos
 Al
CNN (Rede Neural Convolucional)
 Aumento de dados
O desempenho das redes neurais de
aprendizagem profunda geralmente
melhora com a quantidade de dados
disponíveis. O aumento de dados é uma
técnica para criar artificialmente novos
dados de treinamento a partir de dados
de treinamento existentes. Ou seja,
variações das imagens do conjunto de
treinamento que provavelmente serão
vistas pelo modelo.
rescale-1 -/255, rotação.
intervalo=30, shear_range= 0,3,
zoom_range=0,3,
width_shift_range=0,4,
height_shift_ intervalo=0,4
horizontal_flip=Verdadeiro,
fill_mode: ' mais próximo')
 Hiperparâmetros do
modelo
Tamanho do lote - O tamanho do lote é # # Definição de diferentes classes de emoção
um hiperparâmetro que define o número num_classes = 7
de amostras a serem trabalhadas antes de
atualizar os parâmetros internos do # # Definir o tamanho da imagem img_rows,
modelo. img_cols = 48,48

Época - O número de épocas é um # # Deifne o lote

hiperparâmetro que define o número de batch.size = 64

vezes que o algoritmo de aprendizagem

trabalhará em todo o conjunto de dados
de treinamento.
Escore de acurácia

Época 00033: val_loss não melhorou de 1,00965

Época 34/40

380/380 [============== ================] - 32s 85ms/passo - 1 OSS:

1,2220 - Precisão: 0,5451 - val_loss: 1,0308 - val_accu racy: 0,6136

Restaurando pesos de modelo do final da melhor época.

 Al
Precisão e Perda
 Al
Teste com Web Cam
 Al
Teste com Web Cam
 Al
Teste com Web Cam
 Implantaçã
• o
Amazon(AWS) EC2
• AWS Sage-maker(AWS)
s3 Bucket
• Heroku
• Microsoft Azure
 Al
Implantaçã
o
 Al
Implantaçã
o
 Desafios
• Reúna os dados.
• Obtivemos apenas 38k imagens para treinamento devido ao qual
nossa precisão ser afetada.
• Para alcançar uma boa precisão, precisamos de mais dados de
treinamento.
• Modelo de treinamento em imagens 38k levando muito tempo.
Então, contamos com a ajuda do caderno kaggle para treinar o
modelo.
• A implantação tem sido uma das coisas mais desafiadoras neste
 projeto.

Conclusões
• A forma do conjunto de dados é (35887 , 3).
• Existem 7 classes diferentes de emoções.
• Utilizamos a técnica FERC para treinamento de modelos.
• Nossa precisão do modelo é de cerca de 55%
• Para implantação de modelo, usamos os Serviços de Nuvem do
Azure.
 Margem para melhoria

• O modelo foi treinado com apenas 38k imagens de entrada. No

futuro, a coleta de mais imagens de entrada pode melhorar o
desempenho do modelo.
• O ajuste ideal dos parâmetros do Hyper poderia melhorar a
precisão do modelo.
OBRIGADO