INSTITUTO FEDERAL DO ESPÍRITO SANTO – CAMPUS VITÓRIA

CURSO DE ENGENHARIA ELÉTRICA

HUMBERTO DA SILVA NETO

SEGUIMENTO DE PESSOAS EM UM ESPAÇO INTELIGENTE

BASEADO EM IOT UTILIZANDO CÂMERAS SINCRONIZADAS

Vitória
2018
 HUMBERTO DA SILVA NETO

SEGUIMENTO DE PESSOAS EM UM ESPAÇO INTELIGENTE

BASEADO EM IOT UTILIZANDO CÂMERAS SINCRONIZADAS

Revisão de literatura referente ao projeto

de iniciação cientifíca: Construção da In-
fraestrutura de um Espaço Inteligente para
Posicionamento e Controle de Dispositivos
Robóticos.

Orientadora: Profa Dra. Mariana Ram-

pinelli Fernandes

Vitória
2018
 LISTA DE ABREVIATURAS, SIGLAS E SÍMBOLOS

HOG Histogram of Oriented Gradients (Histograma de Gradientes Orientados)

SVM Support Vector Machine (Máquina de Vetores de Suporte)

 SUMÁRIO

1 REVISÃO DE LITERATURA . . . . . . . . . . . . . . . . . . . . . 4
1.1 ESPAÇOS INTELIGENTES . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 SEGUIMENTO DE PESSOAS . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.1 Técnicas aplicadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Análise dos detectores modernos . . . . . . . . . . . . . . . . . . . . 6

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

APÊNDICE A – PLANO DE TRABALHO . . . . . . . . . . . . . 10

APÊNDICE B – DÚVIDAS . . . . . . . . . . . . . . . . . . . . . 12
 4

1 REVISÃO DE LITERATURA

1.1 ESPAÇOS INTELIGENTES

Para ser classificado como inteligente, o espaço deve ser capaz de observar e entender o
que está acontecendo em seu ambiente por meio de uma rede de sensores e tomar decisões
de acordo com às necessidades dos usuários através de atuadores (RAMPINELLI et al.,
2014).
As pesquisas nesse tema começaram a surgir no início da década de 90. Um dos primeiros
trabalhos é o de Want et al. (1992), desenvolvido na Universidade de Cambridge. Este tinha
como objetivo obter a localização de indivíduos em grandes instituições. Um dispositivo
infravermelho emitia um sinal periodicamente, que era capturado por uma rede de sensores,
para então determinar a localização das pessoas.
Uma das categorias de casas inteligentes que mais tem recebido investimento, no que
tange recursos e esforços intelectuais de pesquisadores, é a que envolve alternativas para
melhoria da qualidade de vida de idosos e cuidados com saúde de seus moradores. Tais
casas abordam o conceito do que se conhece atualmente como tecnologias assistivas. Em um
sistema como esse, uma das principais atividades a ser realizada é identificação de um ser
humano e classificação de suas atividades. Projetos, como o Aware Home Project (ABOWD
et al., 2002), preocupam-se em melhorar a qualidade de vida de idosos, ajudando-os a
manter sua independência, interagindo com eles, lembrando-os de atividades de rotina,
como tomar um remédio, por exemplo, incentivando-o à prática de alguma atividade física
ou até mesmo chamando serviços de emergência, caso detecte algo anormal, como uma
queda, sendo este um dos pontos mais importantes ao se tratar de uma casa inteligente
para cuidado de idosos (YU et al., 2013).
Diversos sensores podem ser utilizados para detectar, identificar, seguir pessoas e reconhecer
suas atividades. No projeto EasyLiving (BRUMITT et al., 2000) e no Intelligent Space
(MORIOKA; HASHIMOTO, 2004), o posicionamento de humanos e de robôs é realizado
por visão computacional, utilizando uma rede de câmeras distribuídas no ambiente. O uso
de visão computacional em casas inteligentes é promissor, devido a grande quantidade de
informação proporcionada por uma imagem de uma câmera.

1.2 SEGUIMENTO DE PESSOAS

As pessoas são uma das componentes mais importantes do ambiente de uma máquina e,
portanto, fornecer à máquina a capacidade de interagir com humanos é um dos desafios
mais interessantes e possivelmente úteis da engenharia moderna. Em vista disso, detectar
e rastrear pessoas é uma importante área de pesquisa e a visão computacional desempenha
Capítulo 1. Revisão de Literatura 5

uma função fundamental para essa linha. As aplicações incluem robótica, entretenimento,
vigilância, cuidados para idosos e deficientes (DOLLAR et al., 2012).
A vigilância visual e monitoramento da atividade humana requer que as pessoas sejam
rastreadas à medida que se movem através de uma cena. Esses modelos podem ser
usados para detectar eventos incomuns ou importantes como a interação com objetos de
interesse. O rastreamento de pessoas em ambientes requer métodos robustos capazes de
lidar movimentos variados, oclusões e mudança na iluminação. As oclusões significativas
que ocorrem quando as pessoas se movem em grupos ou interagem com outras pessoas
causam dificuldades consideráveis para muitos sistemas de rastreamento (MCKENNA et
al., 2000).
Barry Ruback et al. (2013) pesquisam as variáveis que envolvem os espectadores de uma
partida de futebol americano, analisando se essas pessoas vão ao jogo sozinhas ou com
outras pessoas e, se com outras, quantos pessoas. Com essa finalidade, eles desenvolveram
um algoritmo para identificação pedestres que foi usado para encontrar pequenos grupos
em uma multidão, assim como seu tamanho, distância entre outros grupos e sua velocidade.
Como resultado, eles puderam entender em como esses grupos influenciavam o tráfego
(tanto de pedestres como de carros) e possíveis ocorrências de evacuação.
Outra linha de pesquisa são aquelas referentes ao cuidados de pessoas idosas. De acordo
com Gonçalves et al. (2017), o número de pessoas idosas está crescendo rapidamente em
diversos países, incluindo o Brasil. Na busca de diferentes alternativas para monitorar
essas pessoas, diversas casas de cuidados inteligentes vêm sendo desenvolvidas. Algumas
das propostas utilizam câmeras para o monitoramento desses pacientes, podendo detectar
algumas particularidades, como por exemplo a casa de saúde inteligente desenvolvida
por Mano et al. (2016) que explora artifícios da visão computacional para a detecção
de pacientes e para verificar os aspectos emocionais desses. Quando uma pessoa entra
na em um cômodo os dispositivos capturam imagens desse individuo. Se essa pessoa for
identificada como um paciente sua atividade é monitorada, caso contrário o comportamento
dela é ignorado.
Dollar et al. (2012) e Benenson et al. (2015) avaliam e discutem diversas técnicas implemen-
tadas para a detecção de pessoas que geralmente consistem nas seguintes etapas: janelas
deslizantes para a extração de características, classificação binária e escaneamento denso
das janelas de detecção seguida por supressão não máxima. O Histograma de Gradientes
Orientados (Histogram of Oriented Gradients – HOG), popularizado por Dalal e Triggs
(2005), provou ter o melhor desempenho quando comparados com sistemas que utilizam
um único recurso e, consequentemente, quase todos os detectores modernos implementam
alguma forma de HOG. Contudo, é constatado que os melhores sistemas para a detecção
de pessoas implementam mais de um recurso para a extração de características, tais como
fluxo óptico, detecção de movimento, entre outros. Verificou-se também que os métodos
Capítulo 1. Revisão de Literatura 6

de aprendizagem de máquina mais populares para esse tipo de tarefa são as Máquina
de Vetores de Suporte (Support Vector Machine – SVM) e AdaBoost tal que ambas
apresentassem resultados semelhantes.

1.2.1 Técnicas aplicadas

Papageorgiou e Poggio (2000) propuseram um dos primeiros detectores de janela deslizante,
usando representação baseada em Haar, combinado com uma SVM polinomial. Viola,
Jones e Snow (2003) descrevem um sistema que integra informações de intensidade com
informações de movimento. Outra abordagem, utilizada em Felzenszwalb e Huttenlocher
(2005), é detectar cada parte do corpo separadamente tal que um humano é detectado se
algumas ou todas as partes são representadas em configuração geométrica plausível.
Dalal e Triggs (2005) popularizaram o uso do HOG mostrando ganhos substanciais em cima
dos detectores baseados em intensidade. O algoritmos deles faz uso de três componentes
chaves: (1) o uso de HOG como um bloco de construção básico, (2) o uso de uma grade
densa de HOGs em toda a janela de detecção para fornecer uma boa desta janela e (3)
um passo de normalização dentro de cada bloco que enfatiza o comportamento relativo,
em relação às células vizinhas, em oposição aos valores absolutos.
Embora HOG tornou-se um descritor de características popular, ele ainda apresenta alguns
problemas tais como (1) a dimensão das características e o alto custo computacional, (2)
baixa performance em oclusões e (3) informações como cor, forma e textura são desprezadas
em seu cálculo (LIU; LIN, 2015). Em ordem de melhorar a eficiência computacional, Zhu et
al. (2006) permitiu que os blocos variassem de tamanho e usassem integral de histograma
para calcular o HOG mais rapidamente, com um tempo de execução 70 vezes menor
mantendo a precisão.
Para superar oclusões, Dalal (2006) usou um detector de pedestre baseado em partes
(cabeça-ombros, torso e pernas), pois dessa forma uma parte faltante não resultará na falha
da detecção. Movimento é outra sugestão, no entanto, incorporar com sucesso recursos de
movimento em detectores provou ser uma tarefa desafiadora dada uma câmera móvel. Dalal,
Triggs e Schmid (2006) modelaram um detector para pessoas paradas ou em movimento
em vídeos com câmeras móveis. Eles determinaram que que era possível obter um melhor
desempenho geral ao combinar HOG e os histogramas orientados do fluxo óptico diferencial.

1.2.2 Análise dos detectores modernos

Dollar et al. (2012) aponta como as principais três contribuições do seu projeto: (1) uma
nova base de dados, (2) uma metodologia de avaliação melhorada e (3) uma análise dos
detectores mais modernos, comparando 16 propostas. Em sua análise, eles estabelecem
que quase todos as propostas atuais empregam alguma forma de histograma de gradientes.
Capítulo 1. Revisão de Literatura 7

Também é relatado que em um situação real, oclusões são muito frequentes e devido a
sua importância, eles analisam as situações mais comuns em suas ocorrências. Além disso,
eles inferiram que não nenhuma correlação com a precisão do detector e seu tempo de
execução.
Benenson et al. (2015) afirma que as seguintes condições podem melhorar o desempenho
dos detectores atuais. São essas: (1) usar dados adicionais para treinar e testar detecções,
(2) explorar o contexto, (3) detecção de partes podem auxiliar em casos de oclusões, (4)
aumentar e/ou diversificar os recursos computados sobre a imagem de entrada – obter
representações dimensionais mais ricas e de ordem superior toram a tarefa de classificação
mais fácil, permitindo melhores resultados. Por fim, eles concluíram que a maioria do
progresso em sistemas de detecção de pedestres nos últimos 10 anos é devido a melhoria
dos recursos.
 8

REFERÊNCIAS

ABOWD, G. et al. The Aware Home: Developing Technologies for Successful Aging. 2002.

Barry Ruback, R. et al. People Transitioning Across Places A Multimethod Investigation

of How People Go to Football Games. Environment and Behavior, v. 45, p. 239–266, 2013.

BENENSON, R. et al. Ten Years of Pedestrian Detection, What Have We Learned?

In: . Computer Vision - ECCV 2014 Workshops: Zurich, Switzerland,
September 6-7 and 12, 2014, Proceedings, Part II. Cham: Springer International
Publishing, 2015. p. 613–627. ISBN 978-3-319-16181-5. Disponível em: <https:
//doi.org/10.1007/978-3-319-16181-5_47>.

BRUMITT, B. et al. Easyliving: Technologies for intelligent environments. In:

. Handheld and Ubiquitous Computing: Second International Symposium,
HUC 2000 Bristol, UK, September 25–27, 2000 Proceedings. Berlin, Heidelberg:
Springer Berlin Heidelberg, 2000. p. 12–29. ISBN 978-3-540-39959-9. Disponível em:
<https://doi.org/10.1007/3-540-39959-3_2>.

DALAL, N. Finding people in images and videos. Tese (Doutorado) — Institut National
Polytechnique de Grenoble, jul. 2006. Disponível em: <http://lear.inrialpes.fr/pubs/2006/
Dal06>.

DALAL, N.; TRIGGS, B. Histograms of oriented gradients for human detection. In:
Proceedings - 2005 IEEE Computer Society Conference on Computer Vision and Pattern
Recognition, CVPR 2005. [S.l.: s.n.], 2005. I, p. 886–893. ISBN 0769523722. ISSN
1063-6919.

DALAL, N.; TRIGGS, B.; SCHMID, C. Human Detection Using Oriented Histograms
of Flow and Appearance. In: . Computer Vision – ECCV 2006: 9th European
Conference on Computer Vision, Graz, Austria, May 7-13, 2006. Proceedings, Part II.
Berlin, Heidelberg: Springer Berlin Heidelberg, 2006. p. 428–441. ISBN 978-3-540-33835-2.
Disponível em: <https://doi.org/10.1007/11744047_33>.

DOLLAR, P. et al. Pedestrian Detection: An Evaluation of the State of the Art. IEEE
Transactions on Pattern Analysis and Machine Intelligence, v. 34, n. 4, p. 743–761, 2012.
ISSN 0162-8828 VO - 34.

FELZENSZWALB, P. F.; HUTTENLOCHER, D. P. Pictorial Structures for Object

Recognition. International Journal of Computer Vision, v. 61, n. 1, p. 55–79, jan 2005.
ISSN 1573-1405. Disponível em: <https://doi.org/10.1023/B:VISI.0000042934.15159.49>.

GONÇALVES, V. P. et al. Providing adaptive smartphone interfaces targeted at elderly

people: an approach that takes into account diversity among the elderly. Universal Access
in the Information Society, v. 16, n. 1, p. 129–149, mar 2017. ISSN 1615-5297. Disponível
em: <https://doi.org/10.1007/s10209-015-0429-9>.

LIU, C.-H.; LIN, J.-K. Integral Histogram with Random Projection for Pedestrian
Detection. PLOS ONE, v. 10, n. 11, p. e0142820, nov 2015. ISSN 1932-6203. Disponível
em: <http://dx.plos.org/10.1371/journal.pone.0142820>.
Referências 9

MANO, L. Y. et al. Exploiting IoT technologies for enhancing Health Smart Homes
through patient identification and emotion recognition. Computer Communications,
v. 89-90, n. Supplement C, p. 178–190, 2016. ISSN 0140-3664. Disponível em:
<http://www.sciencedirect.com/science/article/pii/S0140366416300688>.

MCKENNA, S. J. et al. Tracking Groups of People. Computer Vision and Image

Understanding, v. 80, n. 1, p. 42–56, 2000. ISSN 1077-3142. Disponível em:
<http://www.sciencedirect.com/science/article/pii/S1077314200908701>.

MORIOKA, K.; HASHIMOTO, H. Appearance based object identification for distributed

vision sensors in intelligent space. In: 2004 IEEE/RSJ International Conference on
Intelligent Robots and Systems (IROS) (IEEE Cat. No.04CH37566). [S.l.: s.n.], 2004. v. 1,
p. 199–204 vol.1. ISBN VO - 1.

PAPAGEORGIOU, C.; POGGIO, T. A Trainable System for Object Detection.

International Journal of Computer Vision, v. 38, n. 1, p. 15–33, jun 2000. ISSN 1573-1405.
Disponível em: <https://doi.org/10.1023/A:1008162616689>.

RAMPINELLI, M. et al. An intelligent space for mobile robot localization using a

multi-camera system. Sensors, v. 14, n. 8, p. 15039–15064, 2014. ISSN 1424-8220.
Disponível em: <http://www.mdpi.com/1424-8220/14/8/15039>.

VIOLA, P.; JONES, M. J.; SNOW, D. Detecting pedestrians using patterns of motion and
appearance. In: Proceedings Ninth IEEE International Conference on Computer Vision.
[S.l.: s.n.], 2003. p. 734–741 vol.2. ISBN VO -.

WANT, R. et al. The active badge location system. ACM Trans. Inf. Syst., ACM,
New York, NY, USA, v. 10, n. 1, p. 91–102, jan. 1992. ISSN 1046-8188. Disponível em:
<http://doi.acm.org/10.1145/128756.128759>.

YU, M. et al. An Online One Class Support Vector Machine-Based Person-Specific Fall
Detection System for Monitoring an Elderly Individual in a Room Environment. IEEE
Journal of Biomedical and Health Informatics, v. 17, n. 6, p. 1002–1014, 2013. ISSN
2168-2194 VO - 17.

ZHU, Q. et al. Fast Human Detection Using a Cascade of Histograms of Oriented

Gradients. In: 2006 IEEE Computer Society Conference on Computer Vision and Pattern
Recognition (CVPR’06). [S.l.: s.n.], 2006. v. 2, p. 1491–1498. ISBN 1063-6919 VO - 2.
 10

APÊNDICE A – PLANO DE TRABALHO

Figura 1 – Cronograma de atividades a serem desenvolvidas

Fonte: Profa Orientadora Mariana Rampinelli Fernandes.

Atividades:

– Estudo de técnicas de processamento de imagem e visão computacional:

estudo das principais bibliografias na área de PDI e visão computacional, bem como
artigos científicos relevantes que abordam seguimento de pessoas e objetos em um
ambiente interno.

– Desenvolvimento de algoritmo piloto em C++/OpenCV: o sistema existente

de sincronismo das câmeras do espaço inteligente é desenvolvido em C++. Desse modo,
é importante que o bolsista trabalhe desde o início de suas atividades com o ambiente
de programação descrito utilizando, para isso, a biblioteca de processamento de imagem
OpenCV que é código aberto.

– Testes preliminares: testes preliminares com os algoritmos implementados para even-

tuais ajustes.

– Relatório parcial: escrita do relatório parcial com os resultados preliminares a ser

enviado em janeiro de 2018.
APÊNDICE A. Plano de Trabalho 11

– Estudo da documentação do sistema de gerenciamento do espaço inteligente:

o aluno desenvolverá o serviço de seguimento de pessoas a partir da documentação do
sistema de comunicação e gerenciamento do espaço inteligente. Tal sistema é capaz de
fornecer imagens sincronizadas e outras informações. Desse modo, é importante que o
bolsista tenha domínio sobre a programação e modos de acesso às informações e dados
fornecidos pelo sistema de gerenciamento.

– Integração do algoritmo desenvolvido com o sistema do espaço inteligente:

uma vez dominado o modo de acesso aos dados do espaço inteligente, o bolsista deverá
adaptar os algoritmos inicialmente desenvolvidos para serem utilizados de modo online
no espaço inteligente.

– Testes finais: uma vez finalizada a integração, o aluno realizará testes que servirão de
base para a escrita de um artigo científico.

– Escrita de artigo científico: escrita de um artigo com os resultados alcançados pelo

bolsista.

– Documentação do serviço desenvolvido: todo o serviço de localização e seguimento

de pessoas deverá ser documentado visando o seu uso por outros desenvolvedores do
espaço inteligente.

– Relatório final: escrita do relatório final do bolsista.

 12

APÊNDICE B – DÚVIDAS

– Devo manter o Apêndice A?

– Devo escrever sobre IoT?

– Devo escrever sobre Câmeras sincronizadas?

– Devo escrever sobre Aprendizado de máquina, mas especificamente SVM e AdaBoost?

– Até então, nenhum artigo usado na seção 1.2 foi desenvolvido em um espaço inteligente.
Eu deveria citar pelo menos um? Se sim, você sabe algum? Porque eu lembro de você
procurar por um relacionado ao seu período na Espanha, mas não lembro se você chegou
a me enviar esse.