Você está na página 1de 8

1

1

Trabalho de Conclusão de Curso

13 de Novembro, São Paulo-SP, Brasil

SISTEMA DE IDENTIFICAÇÃO DE EMOÇÕES POR EXPRESSÕES
FACIAIS COM OPERAÇÃO AO VIVO
Bruno Tinen
tinen.bruno@gmail.com
Orientador: Prof. Dr. Marcos Ribeiro Pereira-Barretto

marcos.barretto@gmail.com
Resumo
Tendo por objetivo a identificação
automática das expressões faciais, o
foco principal deste projeto estará
na análise frame a frame dos sinais
de vídeo obtidos por uma câmera
online e a produção de uma resposta
adequada por parte do robô sociável.
Deseja-se que o resultado do processo
possa ser monitorado, através de uma
interface que mostre tanto o vídeo em
si
quanto
o
quão
próximo
de
determinada emoção a expressão está
classificada.
Serão
utilizados
os
classificadores de Haar em cascata
para a detecção de faces, os métodos
de
reconhecimento
de
emoção
por
textura e o modelo de superfícies
emocionais
dinâmicas
(tradução
literal do inglês Dynamic Emotional
Surface) para a análise de expressões
faciais em seres humanos ao longo do
tempo. Testes de otimização do filtro
de Kalman utilizado no processo de
reconhecimento contínuo e testes de
validação do sistema realizados com
voluntários resultaram em taxas de
acerto por volta de 70% no melhor
caso. Ainda existem melhorias que
poderão ser aplicadas ao projeto e a
escolha correta de cada um dos blocos
que permeia a solução levará a um
desempenho do sistema similar àquele
apresentado
por
uma
pessoa
sem
treinamento
específico
na
identificação de emoções.

Palavras chave: Identificação de emoções,
expressões
faciais,
sistema
automático, superfície emocional.
1. Introdução
As emoções constituem um conjunto de ferramentas que
o ser humano desenvolve para que possa lidar
efetivamente com situações de seu cotidiano. Ekman [1]
propõe a existência de um grupo universal de emoções –
alegria, surpresa, medo, raiva, tristeza e aversão – cada
qual caracterizada por um conjunto de respostas
biológicas, tais como alterações da expressão facial e na
voz, inerentes ao ser humano, ou seja, independente de
fatores culturais ou sociais. Durante uma interação
social, 55% do conteúdo de uma mensagem é
transmitido por meio de expressões faciais e corporais,
contra 38% da entonação e 7% da semântica da frase
[2]. Interpretar adequadamente uma expressão facial da
pessoa e, assim, a resposta emocional dela, é
fundamental em contextos sociais, em particular na
geração de respostas socialmente conexas por parte de
robôs sociais.
Este trabalho tem como proposta a elaboração de um
sistema de reconhecimento dos seguintes estados
emocionais: alegria, tristeza, raiva e medo. Um estado
emocional equivale à dinâmica lenta de uma emoção e
ignora as distorções da face decorrentes da fala ou
emoções instantâneas, representando o estado médio da
pessoa, em detrimento de sensações instantâneas que ela
possa ter vivenciado durante uma determinada interação.
O modelo de reconhecimento de emoção contínuo
adotado será aquele proposto por Gonçalves [13].

TCC-2014 Trabalho de Conclusão de Curso - Novembro de 2014; Coordenadores: Prof. Dr. Lucas Moscato Profa. Dra. Larissa Driemeier; Prof. Dr. Arturo
Forner Cordero, Prof. Dr. Thiago de Castro Martins.
Escola Politécnica da Universidade de São Paulo; Depto. Engenharia Mecatrônica e de Sistemas Mecânicos; Disciplinas: PMR2500 e PMR2550
Av. Prof. Mello Moraes 2231

CEP 05508-900 São Paulo – SP Visite o site: www.poli.usp.br/pmr graduação Trabalhos de Formatura

2 2 2. principalmente. 3. Existem também classificações baseadas em meta-algoritmos. assim como também visto em [8]. é necessário extrair os dados relativos à emoção da mesma. de forma holística. Dada uma imagem de uma face. a emoção em um vídeo não é determinada por um instante e sim pelo conjunto da série. em imagens estáticas. Já em métodos baseados em aparência. de métodos que se baseiam em pontos característicos da face e em mapas previamente montados. e. ou de forma localizada. ou seja. buscam mudanças na textura e mudanças tais como rugas na face. TCC-2014 Trabalho de Conclusão de Curso . Dr. Escola Politécnica da Universidade de São Paulo. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. Também deverá ser possível.usp.br/pmr graduação Trabalhos de Formatura . Disciplinas: PMR2500 e PMR2550 Av. a classificação é feita a partir de um modelo obtido da aplicação da técnica de inteligência artificial sobre um banco de dados emocional. divide o reconhecimento de emoção em três etapas principais: a extração de uma face da imagem. representando a forma e geometria das características que se pretendem estudar. 3. tais como o contorno dos olhos. Prof. representar os dados da imagem original da face em um conjunto de componentes que a caracterize. pertence ao conjunto de métodos que não são imediatistas. com [10] e [11] se utilizando do método de aparência de ondulações de Gabor por exemplo. ou seja. a abordagem é feita ou por fluxo ótico. sem nenhum treinamento específico. Proposta O sistema deverá ser capaz de detectar faces. Prof. É desejável também que o reconhecimento de emoções se aproxime da taxa de acerto de uma pessoa comum. reconhecer pessoas. assim. Prof. Em todos os casos revisados. analisando-se somente alguns pontos que tem uma maior importância com relação a emoções [5]. reconhecer emoções instantâneas e. Arturo Forner Cordero. podemos dividir tal classificação nas chamadas classificações instantâneas e classificações contínuas. A figura 1 mostra o diagrama de casos de uso que representa os requistos deste projeto. Existem algoritmos que determinam a emoção em cada um dos instantes do vídeo e aqueles que analisam as expressões faciais correspondentes a uma emoção ao longo de um período de tempo. Lucas Moscato Profa. Engenharia Mecatrônica e de Sistemas Mecânicos. Já com relação à extração de dados em vídeos.1. como o AdaBoost [10]. Outro método que pode ser utilizado e se encaixa nesta categoria é o da análise de componente principal (PCA) e da análise de discriminante linear (LDA) [12]. Estudos mostram que a taxa de reconhecimento de emoções varia de aproximadamente 55% até 95%. Por outro lado. Em [3] e [7] cita-se o uso. ou seja. Revisão Bibliográfica Pantic [3]. Figura 1: Diagrama de casos de uso do sistema proposto. Dra.poli. Estudos na área se utilizam e desenvolvem estes métodos. para a extração de dados emoções. ou por métodos tridimensionais [9]. dois tipos distintos de propriedades podem ser extraídos de faces. “Support Vector Machines”. a extração de dados relativos a emoção e a classificação destes dados. a metodologia apresentada por Gonçalves. Como apontado em [6]. por cadeias de Markov ocultas e análise de discriminante lineares [3][9][10]. Thiago de Castro Martins. propriedades geométricas e propriedades de aparência. Estes métodos podem estudar tanto a face como um todo ou regiões de interesse específicas. Tal análise pode ser feita tanto extraindo informações numa face como um todo. reconhecer estados emocionais. Larissa Driemeier. Dr. os algoritmos de classificação tanto pela adição de novas pessoas para serem reconhecidas pelo sistema quanto para a atualização dos bancos de dados de pessoas e emocional utilizado. este último desenvolvido juntamente com o crescimento da oferta de tecnologias que possibilitam a obtenção de imagens tridimensionais nos últimos anos. Depto. com monitoramento de pontos característicos. existem soluções baseadas em redes neurais. Modelo Um protótipo inicial do sistema foi desenvolvido para que três métodos de reconhecimento instantâneo de emoções pudessem ser comparados – eigenfaces. minimizando as diferenças dentro de uma classe de emoções e maximizando a diferença entre as classes [4]. Dr. No caso da classificação instantânea. Os métodos baseados em propriedades geométricas pontos característicos na face.Novembro de 2014. dependendo da emoção avaliada [14]. Extraído os dados relativos à emoção na face deve-se classificá-los em cada uma das emoções propriamente ditas. através do sistema retreinar. Coordenadores: Prof. que se baseia no uso de superfícies emocionais de Zeeman [13].

00 Tabela 2: Matriz de confusão para o teste do método fisherfaces.Novembro de 2014. O movimento da partícula é resultado da aplicação de forças sobre as mesmas.usp. Dra.00 6. o primeiro com uma melhor detecção de medo e o segundo com uma melhor detecção de raiva. Neste modelo.00 46. Em [4] foram observadas taxas entre 40 e 50% de acerto para esta situação.67 60.67 Raiva 20. por exemplo. Cada agente é uma entidade independente do sistema. Fisherfaces e o método de padrões binários de histogramas locais tiveram desempenhos semelhantes. Já o reconhecimento do estado emocional será baseado no modelo proposto em [13].33 13. Disciplinas: PMR2500 e PMR2550 Av. Lucas Moscato Profa. Um ponto que deve ser ressaltado e foi observado em [4] é o fato de que ao se utilizar um destes algoritmos treinado com um determinado banco de dados sobre imagens de um segundo banco de dados. de forma que. O método de eigenfaces foi o que teve o pior desempenho dos métodos comparados.33 20.67 6.67 46.67 6. além de se possibilitar a familiarização com o OpenCV [15]. A semântica do agente foi priorizada.67 13. Prof. a emoção é tratada como uma partícula que se desloca sobre uma superfície emocional. além de possuir comportamentos. Desta forma.67 Tabela 3: Matriz de confusão para o teste do método histograma de padrões binários locais. Felicidade Tristeza Raiva Medo (%) (%) (%) (%) Felicidade 0.33 20.00 Tristeza 0. na qual o método de reconhecimento instantâneo de emoção era treinado com 14 pessoas e a restante era utilizada para a validação do treinamento. ferramentas principais para a composição do sistema.00 33.00 46. Neste projeto foi utilizado o JADE [16] – Java agent development framework –. os quais definem as suas funcionalidades. A figura 2 mostra os agentes existentes no sistema e as relações existentes entre eles. 3. centralizando responsabilidades. Os testes foram realizados utilizando-se imagens do banco de dados emocional Cohn-Kanade estendido [18][19]. Felicidade Tristeza Raiva Medo (%) (%) (%) (%) Felicidade 20.33 26. toda aquisição de imagens é feita exclusivamente pelo agente de imagens. Dr.67 6. Foram utilizadas imagens de 15 pessoas distintas.00 20. Arturo Forner Cordero. um deles referente ao reconhecimento de emoção a partir de dados provenientes de uma webcam e os outros três referentes aos processos de treinamento de reconhecimento de pessoa e de emoção.00 73. biblioteca de visão computacional.67 46.00 26. Por uma questão de maior facilidade de manipulação do problema foi selecionado o método de fisherfaces para o projeto final do sistema.33 33. Thiago de Castro Martins.67 0. as taxas de reconhecimento são inferiores. framework para o desenvolvimento de sistemas de baseados em agentes.poli. respectivamente. e o JADE [16].67 Medo 0.00 20.3 3 fisherfaces e histogramas de padrões binários locais -.67 Medo 13.00 6. Felicidade Tristeza Raiva Medo (%) (%) (%) (%) Felicidade 0. fisherfaces e histogramas de padrões binários locais.00 Raiva 13. Dr.67 80.67 6.33 Medo 6.67 53. sendo capaz de enviar e receber mensagens.33 Tristeza 6. sendo que cada uma delas possuía uma imagem prototípicas para as quatro emoções estudadas neste projeto. saída a qual passa por um filtro de Kalman com o intuito de minimizar ruídos e as dinâmicas rápidas do sistema. Arquitetura A arquitetura do sistema é baseada em múltiplas linhas de execução implementadas por agentes. As tabelas 1. Prof. os métodos de eigenfaces. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www.33 Tabela 1: Matriz de confusão para o teste do método eigenfaces.33 60. um arcabouço baseado em Java para o desenvolvimento de sistemas de agente. Larissa Driemeier.67 13. Prof.br/pmr graduação Trabalhos de Formatura . a arquitetura do sistema foi projetada de forma a promover a modularização e o encapsulamento de funcionalidades. Dr.67 20. Engenharia Mecatrônica e de Sistemas Mecânicos. 2 e 3 mostram os resultados dos testes para.00 Tristeza 6. Todas as funcionalidades que são necessárias para o funcionamento de um agente é separada em pacotes que são divididos pelo conjunto de problemas aos quais os mesmos são destinados. todas as quais realizadas através do envio e recebimento de mensagens. A velocidade da partícula na direção de cada emoção é paralela à superfície emocional e proporcional à saída do método de reconhecimento instantâneo de emoção.33 26. Escola Politécnica da Universidade de São Paulo.00 73. as quais são proporcionais ao quão próximo à expressão num dado instante do vídeo está de cada uma das emoções prototípicas instantâneas. Este protótipo tomou como base o trabalho de conclusão de curso desenvolvido em [17].00 Raiva 0. Existem quatro fluxos principais de mensagens que foram projetados. Além disso. O teste foi feito através da validação cruzada.67 60.00 6.00 26. Coordenadores: Prof.00 26. a detecção de faces.2.00 0.67 80. o reconhecimento de pessoas TCC-2014 Trabalho de Conclusão de Curso . pela soma da velocidade de deslizamento com as velocidades relativas na direção de cada uma das emoções estudadas . Depto. A velocidade da partícula pode ser obtida através de (I).

no primeiro ambiente. assim. Resultados O ponto inicial do desenvolvimento do projeto final foi a reestruturação do sistema desenvolvido no protótipo inicial. Dr.poli.873 15.1. 4.254 8. visando principalmente a modularidade e o encapsulamento de código. Adotou-se.usp. 4.br/pmr graduação Trabalhos de Formatura .Novembro de 2014.549 JADE Com 66. com a adição de todos os fluxos necessários para se atender aos requisitos de projeto previamente estabelecidos. Prof. com partes semanticamente coerentes. Além disso. como também o retângulo que representa a área da imagem na qual uma face foi encontrada. 4. Escola Politécnica da Universidade de São Paulo. Pela restrição de desempenho do sistema deve-se limitar a taxa de captura de imagens pelo agente de imagem. Faces Pessoas Emoção instantânea Emoção Contínua Total Sem 52. um utilizando-se do sistema de agentes do JADE e outro sem o uso do framework. Este tipo de arquitetura facilita a leitura e entendimento do código.521 JADE Tabela 4 – Tempos em milissegundos de cada uma das etapas de reconhecimento do sistema. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. Disciplinas: PMR2500 e PMR2550 Av. o sistema de agentes e a sistema de mensagens existente foram reformulados. Figura 2: Agentes que compõem o sistema. a interface gráfica e as funções de treinamento estão separados em pacotes distintos. Larissa Driemeier. códigos encapsulados facilitam a futura manutenção e ampliação do sistema.056 154.4 4 o reconhecimento de emoções. pelos quais o usuário pode monitorar as saídas e iniciar o processamento de certos fluxos no sistema. Dr. Estudo de Desempenho A fim de se avaliar o desempenho do sistema de reconhecimento de emoções realizaram-se dois testes de tempo de processamento necessário para a realização das tarefas básicas do reconhecimento de emoção. No primeiro ambiente é possível visualizar a imagem que está sendo obtida da webcam. Figura 3: Interface gráfica do sistema final. O primeiro foi realizado treinando-se o reconhecimento instantâneo de emoção com o banco de dados CK+ e realizando-se o processo de otimização por recozimento simulado.775 16.254 118. Já o terceiro ambiente conta com a representação do movimento da partícula sobre a superfície emocional. A tabela 4 contém os resultados deste estudo.901 13. o que justifica o seu uso. Dr. O segundo ambiente conta com a visualização dos gráficos de emoção ao longo do tempo. Lucas Moscato Profa. com o sinal antes e depois da aplicação do filtro de Kalman. Thiago de Castro Martins. com vídeos do banco de dados eNTERFACE’05. Otimização do filtro de Kalman Foram realizados dois experimentos distintos para a otimização do filtro de Kalman. A análise da tabela 4 leva a conclusão de que apesar de uma piora do desempenho em termos absolutos. é a introdução do JADE que possibilita a integração do sistema e que permite processamentos paralelos do sistema. Depto. reiniciar o movimento da partícula do modelo de reconhecimento de emoções e realizar os treinamentos tanto para a adição de uma nova pessoa quanto à seleção de um novo arquivo com a listagem de imagens de emoções prototípicas ou de faces de pessoas. É possível ainda. Prof. Já no segundo relaciona-se um treinamento do algoritmo de reconhecimento instantâneo de emoção com quadros manualmente selecionados de vídeos do eNTERFACE’05 que foram interpretados como os mais representativos das emoções com a otimização realizada TCC-2014 Trabalho de Conclusão de Curso . Na figura 3 estão mostrados os três ambientes distintos construídos para o sistema. uma taxa de amostragem de dados de três quadros por segundo para o sistema final.2. Arturo Forner Cordero. Prof. Coordenadores: Prof. No projeto final.141 44. capturar um frame da webcam. Engenharia Mecatrônica e de Sistemas Mecânicos. Dra.817 55.

Dra.avi Medo s38_an_1. Prof. Coordenadores: Prof. Dr. Energia por Iteração 600 500 400 300 200 100 0 -500 Energia utilizando-se vídeos do mesmo banco.avi Raiva s43_an_3.avi Alegria s12_ha_4. Os resultados deste experimento podem ser observados na tabela 7.avi Tristeza s43_sa_4.avi Tristeza s4_an_5. Dr. Arturo Forner Cordero. Os parâmetros da tabela 6 foram os utilizados para o recozimento simulado.br/pmr graduação Trabalhos de Formatura . Tabela 6 – Parâmetros do recozimento simulado Nota-se.avi Tristeza s43_sa_5.avi Raiva s42_sa_1.1 eNTERFACE’05 72.Novembro de 2014. Dr. foi realizada uma etapa de validação dos dados.avi Tristeza s36_sa_2.avi Tristeza s4_sa_1. Larissa Driemeier. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. Os vídeos utilizados nessas duas etapas estão na tabela 5. no qual o reconhecimento instantâneo por um método de textura foi validado entre bases de dados de emoções distintas e os resultados desta validação tiveram resultados significativamente piores do que aqueles provenientes da validação dentro do mesmo banco de dados. Lucas Moscato Profa.avi Raiva s14_an_1. Um resultado similar foi observado no artigo [4]. que as imagens de treinamento utilizadas no reconhecimento instantâneo têm impacto no reconhecimento contínuo. A validação resultou em baixas porcentagens de acerto para ambos os experimentos. Claramente a otimização utilizando-se de vídeos do eNTERFACE’05.avi Raiva s43_sa_1.5 5 Otimização Validação Vídeo Emoção Vídeo Emoção s4_ha_2. por outro lado. Disciplinas: PMR2500 e PMR2550 Av. é composto por um tocador de vídeo e com botões representantes das quatro emoções estudadas.avi Medo s36_fe_2.avi Tristeza s33_sa_2. 4. leva à melhor solução dentro de um universo restrito de dados.4 Tabela 7 – Resultados da otimização. pela energia média observada na otimização pela figura 4.5 31.avi Alegria s43_ha_1.avi Raiva s43_an_4. Experimentos com pessoas Com o intuito de se comparar o desempenho do sistema desenvolvido com a avaliação de pessoas reais desenvolveu-se um programa e um protocolo de testes.avi Alegria s2_ha_2. Engenharia Mecatrônica e de Sistemas Mecânicos.avi Medo s43_an_2.avi Alegria s29_ha_3.usp. com o treinamento do reconhecimento instantâneo de emoções feito com imagens do mesmo banco teve um resultado Figura 5 – Programa de testes com pessoas.avi Tristeza s29_sa_1.avi Alegria s25_ha_2. Thiago de Castro Martins. contando com um total de 1200 frames analisados. A otimização. Na validação foram utilizados um total de 1266 frames. Além da otimização. 50 10 0.avi Alegria s4_ha_4. foi utilizado o mesmo conjunto de 16 vídeos.avi Raiva s4_an_2.avi Alegria s25_fe_2. 500 1500 2500 3500 Iteração eNTERFACE'05 CK+ Figura 4 – Variação da energia nos dois testes de otimização.3.avi Raiva s43_an_2. Acertos na Acertos na otimização(%) validação(%) CK+ 45. Escola Politécnica da Universidade de São Paulo.avi Medo s38_fe_3. O programa. TCC-2014 Trabalho de Conclusão de Curso .1 20.avi Medo s42_fe_1. Nos dois testes. para a otimização.avi Tristeza s43_sa_3.avi Raiva s24_fe_4.avi Tristeza Tabela 5 – Vídeos utilizados na otimização e validação do filtro de Kalman. Depto. com quatro para cada uma das emoções avaliadas. como mostra a figura 5.avi Medo s24_fe_3. Prof.9995 superior.avi Medo s43_fe_2. escolhidos de forma a capturar a faixa de iterações que leva a minimização do resultado.poli. Prof. etapa de verificação dos parâmetros obtidos na otimização.

IEEE Transactions on Pattern Analysis and Machine Inteligence. Coordenadores: Prof. O. Pattern Classification.77% para o vídeo que obteve uma taxa de correlação mais elevada.. 53-56. A.. [10] VALSTAR. a utilização de métodos baseados em geometria é uma opção. Psychology Today. G.Novembro de 2014. Arturo Forner Cordero. PANTIC. Disciplinas: PMR2500 e PMR2550 Av. Proceedings of the National Academy of Sciences Early Edition. [4] SHAN. 237-256. Y. [9] LIU. Z. MCOWAN. Este ainda necessita de aprimoramentos referentes ao movimento de longa duração da partícula. São Paulo: Lua de Papel. 6. [12] BARTLETT. 4. R. Prof. v. A figura 6 mostra os resultados obtidos para o teste.. Mesmo com limitações. M. W. 2ª Edição. [5] DUDA. Proceedings of the Eighth International Conference on Machine Learning and Cybernetics..77%. Conclusão Existem deficiências tanto com relação ao mecanismo de reconhecimento instantâneo de emoção quanto o do mecanismo de reconhecimento contínuo de emoção. Trabalhos Futuros Os resultados obtidos neste projeto apontam para a necessidade de aprimoramento dos métodos utilizados tanto do reconhecimento contínuo e instantâneo de emoções. S. GONG. P. Thiago de Castro Martins. [3] PANTIC. Referências Bibliográficas [1] EKMAN. se apresentando bastante sensível a mudanças do conjunto analisado. Aquele teve sua deficiência apontada principalmente durante a otimização dos parâmetros de Kalman. Recognizing Facial Expression: Machine Learning and Application to TCC-2014 Trabalho de Conclusão de Curso . 2. S. 28 fev. P. Dr. MARTINEZ. Facial expression recognition based on Local Binary Patterns: A comprehensive study. Proceedings of the 2006 Conference on Computer Vision and Pattern Recognition Workshop. Larissa Driemeier. O teste com pessoas reais mostrou que existe um grau de compatibilidade entre aquilo que é percebido por um ser humano e aquilo que é estimado pelos algoritmos de classificação. E..usp. 2001. HART. Outubro 1999. 2014. Communication Without Words. [11] DU. 803-816. sem contar com efeitos de vibração e instabilidades que podem ser gerados.. Classifying Facial Actions. 1968.. M. M. Automated Facial Action Coding System for dynamic analysis of facial expressions in neuropsychiatric disorders. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. A Linguagem das Emoções. Prof.-S.. D. p. Compound facial expressions of emotion. Automatic Analysis of Facial Expressions: The State of Art. Dezembro 2000. Enquanto assistia ao vídeo o indivíduo deveria pressionar e segurar o botão correspondente a uma emoção caso julgasse que a pessoa do vídeo a estivesse apresentando. Baoding. L. 1424-1445. G. Com relação ao reconhecimento instantâneo. [7] HAMM. J. M. n. A.. J. Dr. 2011. ROTHKRANTZ. Journal of Neuroscience Methods. C. Y. New Research Advances of Facial Expression Recognition. P. 5. Dr. 1-9. 1150-1155. AGRADECIMENTOS Agradeço ao professor Marcos Ribeiro Pereira-Barretto por toda a orientação e tempo que disponibilizou para me ajudar ao longo deste projeto. A correlação entre o vídeo A e a média de testes foi de 36.. K. [8] DONATO. TAO. Jain A.01% enquanto para o vídeo B a correlação foi de 66. D. [6] LI. uma vez que [13] só estudou o movimento da partícula em vídeos curtos. STORK. Os vídeos foram passados sem áudio para que a avaliação fosse feita somente através da interpretação de expressões faciais. Image and Vision Computing. 2011. Figura 6 – Resultados para os experimentos com pessoas. Escola Politécnica da Universidade de São Paulo. S.br/pmr graduação Trabalhos de Formatura . S.. 2006. M. M. IEEE Transactions on Pattern Analysis and Machine Intelligence. Engenharia Mecatrônica e de Sistemas Mecânicos. LI. Dra. Já com relação aos métodos contínuos existe a necessidade de aprimorar o movimento de volta da partícula. 2005. p.6 6 Cada um dos voluntários do experimento assistiu três vezes a dois vídeos distintos (A e B). Lucas Moscato Profa. em vídeos de curta duração observou-se uma tendência na classificação das emoções por pessoas e isto permitiu a comparação com a saída do sistema. cada um com menos de 30 segundos de duração. Springer. Julho 2009.poli. et al. Fully Automated Facial Action Unit Detection and Temporal Analysis. et al.-T. Prof. HandBook of Face Recognition. [2] MEHRABIAN. traduzido numa taxa de acerto de 66.. Depto. TIAN. 2009. et al. S.

C.br/pmr graduação Trabalhos de Formatura . Thiago de Castro Martins.. L. Dr. Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition. Acesso em: 06 abr.tilab. A.org/>. PEREIRA-BARRETTO. Comprehensive database for facial expression analysis. COHN.usp. Dr. Reconhecimento de Face. [14] RUSSEL. A. Escola Politécnica da USP. Escola Politécnica da Universidade de São Paulo. P. et al. TIAN.com/>. J. Disponivel em: <http://jade. 2014.Novembro de 2014. Arturo Forner Cordero. 2010. 2013. IEEE.7 7 Spontaneous Behavior. R. 2000. R. [13] GONÇALVES. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. Acesso em: 16 mar. Is There Universal Recognition of Emotion From Facial Expression? A Review of the Cross-Cultural Studies. A Model For Interference of Emotional State Based on Facial Expressions. Prof. M. Coordenadores: Prof. Depto. et al. [17] CASSALES. [18] LUCEY. T. Prof. Grenoble. [19] KANADE. Dra. M. 2012. COSTA. Disponivel em: <http://opencv. F. S. 1994. Lucas Moscato Profa.. Prof. Psychological Bulletin. [16] JADE. TCC-2014 Trabalho de Conclusão de Curso . 94-101. v.. Y. Disciplinas: PMR2500 e PMR2550 Av. p. J. Journal of Brazillian Computer Society. The Extended Cohn-Kanade Dataset (CK+): A complete dataset for action unit and emotion-specified expression. F. 115. 46-53. M. L. 102-141. [15] OPENCV. Dr. 2014. Larissa Driemeier.poli. Engenharia Mecatrônica e de Sistemas Mecânicos. São Paulo..

Coordenadores: Prof.br/pmr graduação Trabalhos de Formatura . having a fundamental role in every social interaction. Arturo Forner Cordero. so that the adequate reactions are made and humans and robots could live peacefully together. the adequate interpretation by them of the emotions experienced by the human being with whom they are in contact is indispensable. Dr. Mello Moraes 2231 CEP 05508-900 São Paulo – SP Visite o site: www. Depto. the emotion extraction and the emotion analysis itself.usp. These problems will be addressed by the use of cascade Haar classifiers for the face detection algorithms. KEYWORDS: Emotions surface. Larissa Driemeier. Thiago de Castro Martins. regarding both the instantaneous and continuous dynamics. Dra. identification.com ABSTRACT Facial expressions are a clear picture of what happens in someone’s conscious and unconscious mind in a given situation. The result is monitored by an interface that shows to the user the video that is being analyzed and how close an emotion is of a given expression.8 8 SYSTEM FOR THE IDENTIFICATION OF EMOTIONS BY FACIAL EXPRESSIONS WITH LIVE OPERATION Bruno Tinen tinen. Prof. There are three main questions to be solved so that emotion analysis could be made possible: the face detection. automatic system. Dr.Novembro de 2014. the automatic identification of emotions by facial expressions. Aiming social robots. facial expression. Lucas Moscato Profa.com Advisor: Prof. main focus of this project will be in the frame-by-frame analysis of video signals obtained from an online camera and in the production of an adequate reaction for the social robot. Marcos Ribeiro Pereira-Barretto marcos.poli.barretto@gmail. emotional TCC-2014 Trabalho de Conclusão de Curso . The emotions are a direct cause of the change in the neurobiological state of a person. as the objective. Escola Politécnica da Universidade de São Paulo. Dr.bruno@gmail. Dr. Prof. by texture-based methods for the instant emotion classification and by the Dynamic Emotional Surface Modal for the emotion extraction in human beings over the time. modifying the human expressions. Having. Optimization tests run over the Kalman filters used by the continuous classifier and the validation tests of the system done with the cooperation of volunteers resulted in an approximate best of 70% correct classification. Engenharia Mecatrônica e de Sistemas Mecânicos. Prof. particularly. There still are improvements that could be applied to this project and the correct choice in each of the blocks that compose the solution could lead to a performance similar to the one presented by a person without a specific training in emotion identification. Disciplinas: PMR2500 e PMR2550 Av.