Aprendizado de Máquina Aplicado em Tecnologias

Assistiva Baseada em Inteligência Artificial das Coisas:

Uma Revisão Sistemática de Literatura.
ABSTRACT
De acordo com a Organização Mundial da Saúde mais de 1 milhão de pessoas possuem algum tipo de deficiência.
Nesse contexto, as Tecnologias Assistivas contribuem diretamente para a redução das barreiras encontradas pelas
pessoas com deficiência no seu dia a dia, permitindo que recebam educação e sejam participantes do mercado de
trabalho e da sociedade de forma integral e digna. Os grandes avanços da TA estão na sua integração com dispositivos
AIoT (Inteligência Artificial das coisas). A AIoT faz uso da grande quantidade de dados gerados pelos dispositivos IoT
e aplica técnicas de Inteligência Artificial, especificamente de Aprendizado de Máquina para processar e analisá-los a
fim de descobrir padrões a fim de gerar insights e auxiliar na tomada de decisão. Este trabalho apresenta uma Revisão
Sistemática da Literatura com o objetivo de identificar os algoritmos e técnicas de Aprendizado de Máquina (AM)
utilizadas em pesquisas de Tecnologia Assistiva Baseada em Inteligência Artificial das Coisas, bem como, identificar o
contexto destas aplicações através do levantamento dos tópicos de estudo, os dispositivos IoT utilizados e lacunas e
oportunidades de desenvolvimento. Como parte dos resultados foi identificado que 50% dos trabalhos abrangem o
problema da deficiência visual, e por este motivo grande parte dos tópicos abordados abrangem questões relacionadas
a visão computacional. Em relação aos dispositivos IoT foi constatado o uso de dispositivos portáteis, wearables e
smartphones em sua maioria. No tocante aos algoritmos e técnicas de Aprendizado de Máquina, foi observado que
81% dos trabalhos fazem uso de Redes Neurais Profundas.

KEYWORDS
Assistive technology, Artificial Intelligence, AIoT, Machine Learning, Deep Leaning.

1. Introdução
Segundo a Organização Mundial da Saúde (2021) mais de 1 milhão de pessoas possuem algum tipo de deficiência,
cerca de 15% da população mundial, totalizando aproximadamente 190 milhões de pessoas. Este número continua a
crescer em virtude do aumento de condições crônicas de saúde, e pelo envelhecimento da população mundial [1].

Considerando que deficiências se referem a aquelas passageiras e permanentes, coloca-se de baixo deste guarda-chuva
uma grande abrangência de incapacidades, restrições e condições de saúde, dentre elas: doenças degenerativas como
Parkinson, ELA (Esclerose Lateral Amiotrófica) e Alzheimer; as deficiências física, mental, visual e auditiva; doenças
crônicas não transmissíveis; e aquelas decorrentes do envelhecimento, período este marcado pelas maiores taxas de
desenvolvimento de alguma deficiência [2].

De acordo com a Convenção das Nações Unidas sobre os Direitos das Pessoas com Deficiência (CDPD) a deficiência
não é um atributo da pessoa, mas é resultante das barreiras ambientais e comportamentais, frutos da interação entre
pessoas com deficiência e a sociedade, impedindo que estes cidadãos participem de forma igualitária, plena e eficaz na
sociedade. Portanto, lidar com os entraves que afetam as pessoas com deficiências, contribui para a melhoria da sua
participação social de um modo geral [3].

Dentro deste contexto, as Tecnologias Assistivas (TA) contribuem diretamente para a redução das barreiras
encontradas pelas pessoas com deficiência no seu dia a dia, permitindo que elas vivam de forma independente,
saudáveis e produtivas, permitindo que recebam educação e sejam participantes do mercado de trabalho e da
sociedade de forma integral e digna [4].

As TA abrangem serviços, produtos, metodologias, estratégias e práticas que tem por objetivo minimizar e/ou
eliminar restrições e limitações impostas a uma pessoa devido a uma deficiência ou incapacidade, com vistas na
independência, qualidade de vida e inclusão social. São exemplos de TA: aparelhos auditivos, auxiliares de memória,
óculos, cadeiras de roda, aparelhos auditivos, organizadores de pílulas e auxiliares de comunicação [5].

Os grandes avanços da TA estão na sua integração com dispositivos AIoT (Inteligência Artificial das coisas). A AIoT
faz uso da grande quantidade de dados gerados pelos dispositivos IoT e aplica técnicas de Inteligência Artificial, mas
especificamente de Aprendizado de Máquina para processar e analisá-los a fim de descobrir padrões e insight que
podem serem utilizados para tomadas de decisão [6]. TA aliada a AIoT permite que soluções disruptivas sejam
criadas, tais como: sistemas de navegação para pessoas cegas, assistentes de voz para pessoas com deficiências [7],
monitoramento remoto de condições de saúde [8], telemedicina e tele saúde [9], sistemas de comunicação baseados
em linguagem de sinais [10], memoria auxiliar para pessoas com deficiência cognitiva [11] e uma séria de objetos
inteligentes como dispensadores de medicamentos [12], bengala [13], cadeira de rodas [14], exoesqueleto [15] e etc..
As aplicações são inúmeras e de grande relevância para àqueles que precisam, fazendo referência Mary Pat
Radabaugh (ex-diretora do Centro Nacional de Suporte para Pessoas com Deficiência da IBM em 1988) em sua frase
famosa, citada em diversos trabalhos relacionados às deficiências, diz que “Para pessoas sem deficiência, a tecnologia
facilita a vida. Para pessoas com deficiência, a tecnologia torna a vida possível” [16].

Dada a importância do Aprendizado de Máquina no desenvolvimento de TA baseadas em AIoT, o objetivo deste

trabalho é identificar os algoritmos e técnicas de Aprendizado de Máquina (AM) utilizadas em pesquisas de
Tecnologia Assistiva Baseada em Inteligência Artificial das Coisas, assim como, identificar o contexto destas
aplicações através do levantamento dos tópicos de estudo, os dispositivos IoT utilizados e identificar lacunas e
oportunidades de desenvolvimento. Uma revisão sistemática de literatura (RSL) foi realizada para alcançar os
objetivos deste artigo.

O artigo está organizado da seguinte forma. A Seção 2 apresentam os conceitos relacionados a pesquisa. A Seção 3
apresenta a metodologia de pesquisa utilizada, o que incluem: o objetivo e as questões de pesquisa, as etapas da
revisão sistemática de literatura e as ameaças a validade dos resultados. A Seção 4 apresenta os resultados da
pesquisa da revisão de literatura. A Seção 5 apresenta a conclusão com base nos resultados do estudo e as
recomendações para estudos futuros.

2. Tecnologia Assistia, AIoT e Aprendizado de Máquina

A World Health Organization, define Tecnologia Assistiva como um termo abrangente que engloba sistemas e
serviços relacionados a entrega de produtos e serviços assistivos, tendo como objetivo, minimizar e/ou eliminar
restrições e limitações impostas a uma pessoa devido a uma deficiência ou incapacidade [4]. A ATI (Assistive
Technology Industry Association) define estes produtos e serviços, como qualquer item, peça de equipamento,
hardware ou software, voltados a assistir pessoas com algum tipo de deficiência. [17].

Dentro deste contexto, as Tecnologias Assistivas (TA) contribuem diretamente para a redução das barreiras
encontradas pelas pessoas com deficiência no seu dia a dia, permitindo que elas vivam de forma independente,
saudáveis e produtivas, permitindo que recebam educação e sejam participantes do mercado de trabalho e da
sociedade de forma integral e digna [4].

Os grandes avanços da TA estão na sua integração com dispositivos AIoT (Inteligência Artificial das Coisas). A AIoT
é definida pela combinação entre IoT (Internet das Coisas) e técnicas de Inteligência Artificial (IA). A IoT é definida
como coisas que podem ser interconectadas como sensores e dispositivos diversos, que tem a capacidade de coletar em
tempo real muitos dados relevantes. Esta relevância se dá através da Inteligência Artificial em especial fazendo uso de
algoritmos e técnicas de Aprendizado de Máquina (AM), e em alguns casos fazendo uso de Aprendizado Profundo
(AP), para analisar os dados coletados a fim de extrair informações úteis para tomadas de decisão [6].

A Inteligência Artificial é definia por John McCarthy [18] como, “É a ciência e a engenharia de fazer máquinas
inteligentes, especialmente programas de computador inteligentes. Está relacionado à tarefa semelhante de usar
computadores para entender a inteligência humana, mas a IA não precisa se limitar a métodos que são
biologicamente observáveis.". Com relação aos artefatos de IA a IBM define como, quaisquer algoritmos que
permitem aos computadores simular o raciocínio e o comportamento humano, pare resolver problemas que
necessitam de “inteligência” [19].

O Aprendizado de Máquina é uma subárea da IA, que tem por objetivo criar programas de computador que possam
aprender automaticamente através da extração de conhecimento a partir dos dados, e a melhorar e se estender a
partir da experiência, sem que tenham sido explicitamente programados. No contexto da IoT estes algoritmos são
usados para processar e analisar uma grande quantidade de coletados pelos dispositivos, a fim de descobrir
automaticamente padrões e insights significativos sobre estes dados. Tarefa esta que seria impossível para humanos
realizar de forma manual. Em AM estão incluídos algoritmos como: regressão linear, regressão logística, k-means,
naive bayes, arvores de decisão, máquinas de vetores de suporte (SVMs) e redes neurais (RN) [20].

O Aprendizado Profundo é uma subárea de Aprendizado de Máquina, e estuda especificamente as Redes Neurais
Profundas. Isto significa dizer que assim como AM, também utiliza métodos de aprendizado baseado dados,
entretanto, a computação e processamento é feito utilizando redes neurais multicamadas [21]. A diferença básica
entre redes neurais não profundas (também conhecida como RN rasas, em inglês Shallow Network) e profundas (em
inglês Deep Neural Network) está no número de camadas, sendo que a primeira possui 3 camadas e as profundas
apresentam mais de 3 camadas, incluindo a camada de entrada e a camada de saída [22]. A Figura 01 a apresenta uma
rede neural rasa e a Figura 01 b uma rede neural profunda.

Figura 01: Uma arquitetura geral de uma rede rasa (shallow) e uma rede neural profunda (deep)
Fonte: [22]

Dentre as redes neurais profundas mais conhecidas estão as MLP’s (Perceptron multicamadas) com pelo menos duas
camadas intermediárias, a CNN (Redes Neurais Convolucionais) e a RNN (Redes Neurais Recorrentes) [20].

3. Metodologia de pesquisa
Foi realizada uma Revisão Sistemática de Literatura (RSL) para atingir os objetivos deste estudo. A RSL é uma revisão
metodológica rigorosa dos resultados da pesquisa, tem como objetivos, agregar evidências existentes sobre um
problema de pesquisa, assim como, identificar, selecionar, avaliar e sumarizar estudos primários considerados
relevantes sobre o tópico de pesquisa de forma imparcial e repetível. Por agregar estudos primários, a RSL é
considerada um estudo secundário [23]. Foi utilizado a ferramenta de apoio a RSL chamada Parsif.al [24] que
implementa as etapas de pesquisa adotadas por Kitchenhan [25], sendo elas: planejamento, esta etapa inclui as
atividades de, identificar o objetivo da pesquisa, definir as questões de pesquisa, desenvolver um protocolo de revisão
e avaliar o protocolo de revisão, estas atividades podem ser feitas de modo interativo; condução, esta etapa inclui as
atividades de Identificar os estudos primários com uso de estratégias de busca, selecionar os estudos utilizando
critérios de seleção de inclusão e exclusão de estudos, extrair os dados e sintetizar os dados; publicação, esta etapa
inclui as atividades de especificar o relatório, formatar o relatório e a avaliação do relatório [26]. Esta seção aborda: o
objetivo da pesquisa, as questões de pesquisa, o processo de pesquisa, os critérios de seleção dos estudos, a avaliação
de qualidade, a extração de dados e as ameaças a validade do estudo

3.1. Objetivo da pesquisa

O objetivo deste trabalho é identificar os algoritmos e técnicas de Aprendizado de Máquina (AM) utilizadas em
pesquisas de Tecnologia Assistiva Baseada em Inteligência Artificial das Coisas, assim como, identificar o contexto
destas aplicações através do levantamento dos tópicos de estudo, os dispositivos IoT utilizados e identificar lacunas e
oportunidades de desenvolvimento. Devido à grande magnitude das incapacidades que se caracterizam como
deficiência, foi definido o escopo para estudos que abordam as seguintes incapacidades: deficiência visual, deficiência
auditiva, deficiência cognitiva; doenças degenerativas como ELA, Alzheimer e Parkinson.

3.2. Questões de pesquisa

Esta seção visa definir as questões de pesquisa, sendo esta, a parte mais importante de uma RSL, já que estas orientam
toda a sua metodologia [26]. A tabela 01 apresenta as questões de pesquisa deste estudo.

Tabela 1: Questões de pesquisa

ID Pergunta Justificativa

QP1 Quais são os algoritmos e técnicas de Identificação dos Algoritmos e técnicas de AM utilizados em TA
Aprendizado de Máquina utilizados em TA baseada em AIoT.
baseadas em AIoT?

QP2 Quais são os tópicos de estudo que tem sido Fornecer o contexto relacionado aos tópicos de pesquisa.
 pesquisado no contexto de TA baseada em AIoT?

QP3 Quais são os dispositivos de IoT utilizados no Fornecer o contexto relacionado aos tipos de dispositivos de IoT
contexto da TA baseada em AIoT? utilizados.

QP4 Existe disparidade no número de estudos Identificar lacunas para pesquisa e desenvolvimento de soluções.
encontrados de acordo com os problemas
selecionados na pesquisa?

Com a QP1 pretende-se identificar os algoritmos e técnicas de Aprendizado de Máquina que tem sido aplicada no
desenvolvimento de TA baseado em AIoT. Para isso, foram identificadas as técnicas de AM usadas nos artigos
primários selecionados, fazendo da técnica na solução proposta ou como parte dos algoritmos candidatos testados e
avaliados.

Com a QP2 busca-se fornecer um contexto relacionado aos tópicos estudados abordados no desenvolvimento de TA
baseado em AIoT. Para tal, foram identificados os tópicos estudo abordados pelos estudos primários selecionados.

Com a QP3 pretende-se fornecer um contexto relacionado aos tipos de dispositivos IoT que tem sido usado para o
desenvolvimento de TA baseado em AIoT. Para isso, foram identificados os dispositivos IoT usados nas soluções
propostas, incluindo a indicação se o dispositivo foi montado sob placas como Arduino, RaspberryPy e Nvidia Jetson.

Com a QP4 a identificar as lacunas para a pesquisa e desenvolvimento de TA baseado em AIoT. Para tal, foi indicado
para que deficiência ou incapacidade o estudo planeja ou desenvolve uma solução.

3.3. Processo de pesquisa

Esta seção visa detalhar o processo de pesquisa utilizado nesta RSL. Neste estudo foi utilizado a estratégia de busca
Database Search ou busca automática, que consiste na pesquisa em bibliotecas digitais utilizando uma String de Busca
[27]. Uma string de busca consiste na combinação de palavras chaves usando operadores lógicos como OR e AND.
Normalmente sinônimos de cada palavra-chave são agrupados pelo operador OR, e uma operação AND é usada para
unir estes grupos. As palavras chaves definidas para este estudo foram: Assistive Technology, AIoT e Aprendizado de
Máquina. Foram feitos testes interativos em cada uma das bases para identificar as strings de busca, cujos retornos,
foram os mais significativos em termos de abrangência e relevância dos estudos. As bibliotecas selecionadas, são
justificadas por estarem dentre as mais utilizadas em pesquisas na área de Ciência da Computação [27]. A Tabela 02
apresenta as bases utilizadas e as respectivas strings de busca definidas após o processo iterativo de validação.

Tabela 2: Bibliotecas digitais e Strings de Busca

Biblioteca Id String de Busca Url

El Compendex EIC ("assistive technology" OR "impaired people") AND (AIoT OR IoT OR "internet of http://
things") AND ("machine learning" OR "deep learning" OR "neural networks") www.engine
eringvillage.
com

IEEE Digital IEEE ("assistive technology" OR impaired OR parkinson OR alzheimer) AND (IoT OR http://
Library AIoT OR "Internet of Things" OR "artificial intelligence or things") AND ieeexplore.ie
("machine learning" OR "deep learning" OR "neural network") ee.org

ISI Web of WOS ("assistive technology" OR impaired OR parkinson OR alzheimer) AND (iot OR http://
Science aiot OR "Internet of Things" OR "artificial intelligence or things") AND ("machine www.isikno
learning" OR "deep learning" OR "neural network") wledge.com

Science@Dire SCD ("assistive technology") AND (IoT OR "internet of things") AND ("machine http://
ct learning" OR "deep learning" OR "neural networks") www.science
direct.com

Scopus SCPS ("assistive technology" OR impaired OR parkinson OR alzheimer) AND ( iot OR http://
aiot OR "Internet of Things" OR "artificial intelligence or things" ) AND www.scopus.
( "machine learning" OR "deep learning" OR "neural network" ) com
A busca automática nas bases de dados foi efetuada no dia 14/09/2021, aonde cada base retornou um conjunto de
artigos conforme mostra a Tabela 03. Estes artigos passaram pelo processo de remoção de duplicidades, esta tarefa foi
realizada de forma automatizada pela ferramenta Parsifal. Inicialmente foram selecionados um total de 267 artigos,
destes, 79 eram duplicados, restando assim 188 artigos.

Tabela 03: Artigos selecionados em cada base

Biblioteca digital Número de artigos selecionados

El Compendex 37

IEEE Digital Library 63

ISI Web of Science 32

Science@Direct 67

Scopus 68

Total de artigos 267

Total de artigos duplicados 79

Total de artigos resultantes 188

O conjunto de artigos resultante da etapa de pesquisa, passou para a próxima etapa da RSL a de Seleção de Estudos.

3.4. Critérios de seleção de estudos

Esta seção visa apresentar os critérios de seleção e exclusão utilizados nesta RSL. Estes critérios são pré-condições
para a aceitação ou exclusão de um artigo na RSL. Esta seleção busca identificar estudos relevantes, que possam
responder às questões de pesquisa [26]. Estes critérios são aplicados sobre o conjunto de artigos resultantes do
processo de pesquisa. Alguns dos critérios foram aplicados diretamente às bibliotecas digitais, de acordo com os filtros
disponíveis, havendo variações para cada uma das bases. A Tabela 04 apresenta os critérios de inclusão, e a indicação
daqueles aplicados diretamente as bases, da mesma forma, a Tabela 05 relacionando os critérios de exclusão.

Tabela 04: Critérios de Inclusão

ID Critério Aplicados diretamente as bases:

CI1 Estudos publicados no período de 2017 a 2021 EIC, IEEE, WOS, SCD, SCPS

CI2 Estudos primários revisados por pares EIC, WOS, SCD, SCPS

CI3 Estudos dentro do contexto de TA baseada em AIoT, dentro do escopo de

deficiências estabelecido

CI4 Artigos publicados na língua inglesa EIC, IEEE, WOS, SCPS

Tabela 05: Critérios de Exclusão

ID Critério Aplicados diretamente as bases:

CE1 Estudos secundário ou terciários

CE2 Estudo fora do contexto de TA baseada em AIoT

CE3 Artigos Curtos, livros e literatura cinza (manuais, relatórios, teses e EIC, WOS, SCD, SCPS
dissertações)

CE4 Não possuir acesso ao estudo

 CE5 Estudos duplicados

CE6 Estudos redundantes de mesma autoria

CE7 Estudos anteriores a 2017 EIC, IEEE, WOS, SCD, SCPS

Vale ressaltar que, para que um artigo seja excluído, basta que um dos critérios de exclusão seja atendido.
Diferentemente, para a aceitação de um artigo é necessário que todos os critérios de inclusão sejam satisfeitos. Para
aplicar os critérios de seleção sobre os artigos, foi efetuada leitura do título e resumo de cada artigo, sendo que, nos
casos em que a leitura foi insuficiente para tal, foi efetuada a leitura do artigo até que a seleção ou exclusão pudesse
ser confirmada. Ao final desta etapa restaram um total de 30 artigos, este conjunto passou para a próxima etapa do
processo a de Avaliação de Qualidade.

3.5. Avaliação de qualidade

Esta seção apresenta o processo de avaliação de qualidade utilizada nesta RSL. A etapa anterior resultou em um
conjunto de artigos pré-selecionados, porém, para que estes artigos sejam considerados aceitos pela RSL é necessário
passar pelo processo de avaliação de qualidade. Nesta etapa, cada estudo é avaliado buscando assegurar a qualidade
dos dados que serão extraídos na etapa posterior de extração de dados [27], ou seja, busca identificar os estudos que
são relevantes para responder as perguntas de pesquisa.

Nesta RSL foi elaborado um questionário contendo cinco questões para avaliar a qualidade dos artigos, e são
apresentadas na Tabela 06. Cada questão possui três opções, cada qual com as suas respectivas notas, sendo elas:
“sim”, “parcialmente” e “não”, valendo respectivamente 1.0, 0.5 e 0. A nota para cada artigo é definida pelo somatório
dos valores das cinco respostas, tendo como valor máximo 5 (maior qualidade) e 0 (menor qualidade). Foi definido a
nota de corte de 2.0, desta forma, somente os artigos com nota maior que 2.0 serão efetivamente considerados aceitos
pela RSL. Este método de avaliação de qualidade foi implementado e aplicado fazendo uso do Parsifal.

Tabela 06: Questões para avaliação de qualidade.

ID Questões

AQ1 Os objetivos do estudo estão claramente definidos?

AQ2 O problema a ser solucionado está claramente descrito?

AQ3 Os autores descrevem em detalhes a utilização do algoritmo/técnica de Aprendizado de Máquina utilizada na

solução?

AQ4 O estudo realizou um experimento bem descrito para avaliar a proposta?

AQ5 As conclusões do estudo indicam uma validade relevante para ele?

Para a atribuição das notas, os artigos primários foram lidos em sua completude. A Tabela 07 o resultado da avaliação
de qualidade. O conjunto de entrada desta etapa continha 30 artigos, destes, 3 artigos receberam nota menor ou igual
a 2.0. Sendo assim, 27 artigos passaram para a próxima etapa, a de Extração de Dados.

Tabela 07: Artigos selecionados na etapa de Avaliação de Qualidade

ID Título Doi Nota

A01 Assistive Technology through Internet of Things and Edge 10.1109/ICCE-Berlin47944.2019.8966148 4.0
Computing

A02 A Deep Learning Based Wearable Medicines Recognition System 10.1109 / AICAS.2019.8771559 3.5
for Visually Impaired People

A03 Localized Assistive Scene Understanding using Deep Learning 10.1109/FiCloudW.2019.00023 4.5
and the IoT

A04 MedGlasses: A Wearable Smart-Glasses-Based Drug Pill 10.1109/ACCESS.2020.2967400 5.0

Recognition System Using Deep Learning for Visually Impaired
 Chronic Patients

A05 Computer Vision and Iot Based Smart System for Visually 10.1109/Confluence51648.2021.9377120 2.5
Impaired People

A06 An Artificial Intelligence Edge Computing-Based Assistive 10.1109/TCE.2020.3037065 4.5

System for Visually Impaired Pedestrian Safety at Zebra
Crossings

A07 Dynamic Hand Gesture Pattern Recognition Using Probabilistic 10.1109/ 3.0
Neural Network IEMTRONICS52119.2021.9422496

A08 A Finger-Worn Device for Exploring Chinese Printed Text With 10.1109/ACCESS.2019.2936143 5.0
Using CNN Algorithm on a Micro IoT Processor

A09 Intelligent Navigation System for the Visually Impaired - A Deep 10.1109/ICCMC48092.2020.ICCMC- 5.0
Learning Approach 000121

A10 AI and IoT-Enabled Smart Exoskeleton System for Rehabilitation 10.1109/ACCESS.2021.3083093 5.0
of Paralyzed People in Connected Communities

A11 Wearable Vision Assistance System Based on Binocular Sensors 10.1109/JIOT.2018.2842229 3.0
for Visually Impaired Users

A12 Sign Language Recognition Based on Computer Vision 10.1109/ICAICA52286.2021.9498024 2.5

A13 IoT Based Sign Language Recognition System 10.1109/ICAC51239.2020.9357267 2.5

A14 Assistive Sign Language Converter for Deaf and Dumb 10.1109/iThings/GreenCom/CPSCom/ 5.0
SmartData.2019.00071

A15 IoT Based Smart Wheelchair for Disabled People 10.1109/ICSCAN53069.2021.9526427 4.0

A16 PP-SPA: Privacy Preserved Smartphone-Based Personal Assistant 10.1007/s11063-020-10414-5 5.0

to Improve Routine Life Functioning of Cognitive Impaired
Individuals

A17 Dhrishti: A Visual Aiding System for Outdoor Environment 10.1109/ICCES48766.2020.9137967 3.5

A18 DeTrAs: deep learning-based healthcare framework for IoT-based 10.1007/s00521-020-05327-2 5.0
assistance of Alzheimer patients

A19 Smart calendar device for differently abled person None 2.5

A20 Parkinson's Disease Assist Device Using Machine Learning and 10.1109/ICCSP.2018.8523831 3.0
Internet of Things

A21 EXGbuds: Universal Wearable Assistive Device for Disabled 10.1145/3173386.3177836 3.5
People to Interact with the Environment Seamlessly

A22 Intelligent face recognition and navigation system using neural 10.1007/s10586-017-1323-4 3.0
learning for smart security in Internet of Things

A23 Sensor Fusion of Motion-Based Sign Language Interpretation 10.3390/s20216256 5.0

with Deep Learning

A24 VIZIYON: Assistive handheld device for visually challenged 10.1016/j.procs.2020.04.269 4.0

A25 Smart Cap: A Deep Learning and IoT Based Assistant for the 10.1109/ICSSIT48917.2020.9214140 5.0
Visually Impaired

A26 A vision-based zebra crossing detection method for people with 10.1109 / ICIoT48696.2020.9089622 5.0
visual impairments

A27 A Scene-to-Speech Mobile based Application: Multiple Trained 10.1109/ICIoT48696.2020.9089557 4.5

Models Approach

Os estudos selecionados foram submetidos a próxima etapa da RLS a de Extração de Dados.

3.6. Extração de dados
Após a avaliação da qualidade, os artigos resultantes foram considerados aceitos pela RSL e foram submetidos ao
processo de extração de dados. Este processo visa coletar os dados necessário para responder as perguntas de pesquisa
levantadas pela RSL (Tabela 01), usando um formulário de extração de dados. Este formulário é constituído por
campos, cada campo tem o objetivo de recuperar dados para responder a perguntas de pesquisa específicas. Neste
formulário também são coletados metadados, que são utilizados para identificar os estudos individualmente e auxiliar
no processo de extração [27]. Para a presente RSL foi criado um formulário de extração de dados utilizando a
ferramenta Parsifal, este formulário é aplicado em cada artigo após a leitura completa. A Tabela 08 apresenta os
campos e a finalidade de cada campo dentro do formulário de extração.

Tabela 08: Formulário de extração de dados

ID Campo Valores Finalidade

PD1 ID Valor numérico incremental Identificar o estudo

PD2 Título Valor Textual Identificar o estudo

PD3 Doi Valor Textual Localizar o estudo

PD4 Algoritmo/Técnica de AM Valor textual Responder QP1

PD5 Tópicos de estudo Valor textual Responder QP2

PD6 Palavras-chave Valor textual Responder QP2

PD7 Dispositivo IoT Valor textual Responder QP3

PD8 Problema Abordado Múltipla seleção, tendo como opções: deficiência auditiva, Responder QP4
deficiência cognitiva, deficiência motora, deficiência visual e
doença degenerativa.

Neste estudo, foram definidas 10 propriedades de dados (Tabela 08), sendo que PD1 à PD3 são utilizados para
identificar e localizar com maior facilidade os artigos. As demais propriedades foram definidas responder as questões
de pesquisa. Sendo que: PD4 para responder a QP1; PD5 e PD6 para responder à QP2; PD7 para responder a QP3; e
PD8 para responder a QP4. Os dados foram extraídos após a leitura completa de cada um dos artigos selecionados
(Tabela 07) utilizando a ferramenta Parsifal, a qual, facilitou e organizou todo o processo de extração. Estes dados
foram exportados no formato Excel para a posterior análise dos resultados, que é apresentada na Seção 3.

3.7. Ameaças a validade do estudo

É considerado como ameaça a validade os vieses na identificação de estudo primários e na extração dos dados dos
artigos, corroborado pelo fato de que cada pesquisador ficou responsável pela avaliação de um conjunto de artigos
disjuntos tanto na seleção, quanto na avaliação de qualidade e na extração dos dados, não havendo uma validação por
pares. Outra ameaça está na pequena quantidade de artigos selecionados nesta RSL, o que implica na possibilidade de
a mostra não ser representativa para extrair evidências que possam responder as questões de pesquisa de forma
efetiva. Também pode ser considerado uma ameaça a seleção das bibliotecas digitais, que podem não abranger a
completude dos estudos realizados, no contexto do problema, que inclui questões de outras áreas sociologia e
medicina.

4. Resultados obtidos
O processo de seleção nas bibliotecas digitais resultou 267 artigos, sendo que destes, 27 artigos foram considerados
aceitos para esta RSL (Tabela 07), pela contribuição que estes artigos trazem ao tema. Esta seção resume as
descobertas e resultados das análises sobre os artigos primários selecionados. A Seção 3.1. procura responder as
perguntas de pesquisa (Tabela 01) com base nos dados extraídos seguindo o formulário de extração de dados (Tabela
08) e a Seção 3.2. busca fazer um resumo das descobertas.

4.1. Respostas as questões de pesquisa.

QP1. Quais são os algoritmos e técnicas de Aprendizado de Máquina utilizados em TA baseadas em AIoT?

Dos 27 artigos primários estudados, 81% apresentaram soluções baseadas em ANN (Redes Neurais Artificias), 15%
deles fizeram uso de outras técnicas de AM, e 7% não apresentaram as técnicas utilizadas. Conforme mostra a Tabela
09, dentro do contexto de Redes Neurais, foram abordadas as técnicas de AM: ANN (Artificial Neural Network), CNN
(Convolutional Neural Network), uso de Multiple-CNN, Clever CNN, R-CNN (Region-based CNN), Faster R-CNN,
PNN (Probabilistic Neural Network), RNN (Recurrent Neural Network) e Multi-trained DL models. Sendo que as
técnicas não baseadas em redes neurais foram: Hoeffding Tree, Logistic regression, Naive Bayes, Random Forest, k-
Means, Linear Regression, Independent Component Analysis, SVM e HOG (Histogram of Oriented Gradients).

Tabela 09: Algoritmos e Técnicas de Aprendizado de Máquina utilizadas nos estudos e respectiva deficiência
abordada
Algoritmo ou Técnica de AM utilizada Artigos Deficiências

ANN (Redes Neurais Artificiais) A1, A10, A13, A22 Visual, motora, auditiva

CNN (Redes Neurais Convolucionais) A6, A8, A9, A11, A12, A14, Visual, auditiva, degenerativa
A19, A25

RNN (Redes Neurais Recorrentes) A18, A23 Degenerativa, auditiva

Multiple CNN (Multiplas CNN) A26 Visual

Clever CNN (CNN esperta) A5, A17 Visual

R-CNN (CNN baseada em regiões) A3, A4 Visual, assistência a idosos

Faster R-CNN (R-CNN mais rápidas) A2, A24 Assistência a idosos, visual

PNN (Rede Neural Probabilística) A7 Auditiva

Multi-trained DL models (Modelos de AP A27 Visual

multi-treinados)

Linear Regression (Regressão Linear) A20 Degenerativa

SVM (Máquinas de Vetores de Suporte) A21, A25 Motora, visual

Independent Component Analysis (Análise de A21 Motora

Componentes Independentes)

Naive Bayes A16, A18 Cognitiva, degenerativa

Hoeffding Tree A16 Cognitiva

Logistic regression (Regressão Logística) A16 Cognitiva

Random Forest (Florestas Aleatórias) E16 Cognitiva

k-Means E16 Cognitiva

HOG (Histograma de Gradientes Orientados) E25 Visual

QP2. Quais são os tópicos de estudo que tem sido pesquisado no contexto de TA baseada em AIoT?
Para fornecer uma ideia geral sobre os tópicos que estão sendo estudados com bases nos artigos primários
selecionados, foi criada uma nuvem de palavras utilizando as palavras chaves de cada um destes artigos, o que pode
ser visto na Figura 02.

Figure 02: Nuvem de palavras

Os tópicos de pesquisa nos artigos primários foram: Assisted Locomotion (locomoção assistida), Assisted Navigation
(navegação assistida), Facial Recognition (reconhecimento de fala), Human Activity Recognition (reconhecimento de
atividade humana), Image Captioning (legendagem de imagem), Object Detection (detecção de objetos), Object
Recognition (reconhecimento de objetos), OCR (reconhecimento óptico de caracteres), Scene-to-speech (descrição de
cena para fala), Self-Balancing Object (autobalanceamento de objetos), Smart Assistant (assistente inteligente), Speech
recognition (reconhecimento de fala), Rehabilitation (reabilitação), Text-to-speech (conversão de texto para fala) e
Text detection (detecção de texto). A Tabela 10 mostra os artigos onde estes tópicos ocorreram.

Tabela 10: Tópicos e ocorrências nos artigos selecionados

Tópico de Estudo Artigo(s) primário(s)

Scene-to-speech (descrição de cena para fala) A1, A3

Assisted Navigation (navegação assistida) A3, A5, A6, A9, A17, A22, A26

Sign Recognition (reconhecimento de sinais) A7, A12, A13, A14, A23

Object Recognition (reconhecimento de objetos) A2, A4, A9

Object Detection (detecção de objetos) A11, A15, A24

Facial Recognition (reconhecimento de face) A19, A22, A25

OCR (reconhecimento óptico de caracteres) A7, A25

Assisted Locomotion (locomoção assistida) A15

Speech recognition (reconhecimento de fala) A16

Text-to-speech (conversão de texto para fala) A19, A25

Imagem Captioning (legendagem de imagem) A25

Text detection (detecção de texto) A25

Smart Assistant (assistente inteligente) A25

Human Activity Recognition (reconhecimento de atividade humana) A16, A18

Rehabilitation (reabilitação) A10

Self-Balancing Object (autobalanceamento de objeto) A20

QP3. Quais são os dispositivos de IoT utilizados no contexto da TA baseada em IoT?

Os dispositivos IoT utilizados nos artigos primários nas soluções propostas sem repetição foram: dispositivo portátil,
wearable, sensores diversos, smartphone, bengala, finger-worm, exoeskeleton, wheelchair e outros. A Tabela 11
mostra os artigos onde estes dispositivos foram utilizados.

Tabela 11: Dispositivos IoT e ocorrências nos artigos selecionados

Dispositivo IoT Artigo Primário

Dispositivo Portátil A1, A2, A4, A5, A6, A7, A9, A13, A14, A17, A19, A20, A24, A25

Wearable A2, A4, A5, A6, A7, A11, A13, A21, A23, A25

Sensores Diversos A3, A9, A13, A15, A16, A18, A20, A22, A23

Smartphone A3, A4, A5, A13, A16, A22, A27

Bengala A6, A17

Finger-worm A8

Exoskeleton A10

Wheelchair A15

Outros A18

não-definido A12, A26

Dos artigos primários, 60% apresentaram a utilização das placas RaspberryPY, Arduino e Nvidia Jetson na construção
de seus dispositivos, respectivamente com os percentuais de 41%, 15% e 7%. A Tabela 12, apresenta os artigos que
utilizaram placas RaspberryPY, Arduino e Nvidia Jetson.

Tabela 12: Dispositivos IoT construídos sobre as placas RaspberryPY, Arduino e Nvidia Jetson.
Placa Artigo Primário

RaspberryPY A1, A4, A5, A7, A9, A13, A14, A17, A19, A24, A25

Arduino A8, A15, A22, A24

Nvidia Jetson A2, A4

QP4. Existe disparidade no número de estudos encontrados de acordo com os problemas selecionados na
pesquisa?

De acordo com os artigos selecionados nesta RSL, existe uma disparidade muito grande no desenvolvimento de TA
baseada em AIoT em relação às deficiências selecionadas neste estudo. Sendo do total dos artigos, 52% deles
abordaram problemas relacionados a deficiência visual, 19% deles a deficiência auditiva e o restante distribuídos entre
deficiência motora 11%, doenças degenerativas 7% e 4% deficiência cognitiva. Isso mostra que a grande parte dos
desenvolvimentos de TA baseada em AIoT, dentro dos artigos selecionados, abordam a deficiência visual.

4.2. Resumo das descobertas

De acordo com os dados apresentados anteriormente, observa-se que em relação aos algoritmos e técnicas de
Aprendizado de Máquina, tem havido uma forte tendência na utilização daquelas baseadas em Redes Neurais no
desenvolvimento de TA baseado em AIoT, representado 81% dos estudos primários selecionados. Isso pode mostrar, a
grande aplicabilidade de redes neurais no contexto de TA e um grande interesse por parte dos pesquisadores.

Em relação aos dispositivos IoT utilizados, observa-se o desenvolvimento de dispositivos portáteis em 50% dos artigos
sendo estes dispositivos por sua vez, são baseados nas placas RaspberryPy, Arduino e Nvidia Jetson respectivamente
41%, 15% e 7% dos casos. E ainda, apresentam a utilização de wearables em 37%, e smartphones em 26% dos artigos
primários, isso mostra, a tendencia de desenvolver TA desenvolvendo dispositivos portáteis próprios e o uso de
wearables e smartphones em sua maioria.

Sobre a questão de tópicos de pesquisa, como 52% dos estudos selecionados abordaram a deficiência visual, a maior
parte dos tópicos de pesquisa estão relacionadas ou baseadas em Visão Computacional (VC) como Scene-to-speech,
assisted navigation, sign recognition com VC, object recognition, facial recognition, text detection, image captioning,
ocr e smart assistant usando VC. E os demais tópicos abordando os demais problemas, tais como, sign recognition
usando luvas e sensores, assisted locomotion, human activity behaivor, reabilitation e self-balance objetct.

E por fim, observou-se que o maior número dos estudos de TA baseados em AIoT, foram voltados para a deficiência
visual em 50% dos casos, seguido por: deficiência auditiva em 19%, deficiência motora em 11%, doenças degenerativas
em 7% e cognitiva em 4%. Isso mostra uma concentração de estudos em deficiência visual e uma lacuna de
oportunidades de desenvolvimento para as demais deficiências.

5. Conclusões e trabalhos futuros.

Este trabalho apresentou uma Revisão Sistemática de Literatura, que teve como objetivo identificar algoritmos e
técnicas de Aprendizado de Máquina utilizadas em soluções de Tecnologia Assistiva baseada em AIoT e o contexto
das aplicações, para isso, foram pré-selecionados 267 artigos utilizando a busca automática nas bibliotecas digitais
escolhidas. Deste conjunto, 27 artigos foram considerados aceitos após a aplicação de critérios seleção e do processo
de avaliação de qualidade. Este conjunto final de artigos foi submetido ao processo de extração dos dados, onde após
extraídos, estes dados foram organizados, sumarizados e analisados, a fim de responder as questões de pesquisa
levantadas nesta RSL. Após o levantamento das descobertas, foi possível concluir que 50% dos artigos abordaram a
deficiência visual, identificando uma lacuna e oportunidade de desenvolvimento de TA para as demais deficiências.
Foi identificado que 81% dos estudos fizeram uso de algoritmos e técnicas de Aprendizado de Máquina baseadas em
redes neurais, e que apenas 15% dos estudos utilizaram outras técnicas, isso mostra o grande interesse por parte dos
pesquisadores por redes neurais, mas também a grande aplicabilidade destas técnicas de aprendizagem na solução de
problemas de TA. Os tópicos de estudo foram influenciados pelo grande número de estudos voltados a deficiência
visual, o que fez com que a maior parte dos tópicos de pesquisa estão relacionadas ou baseadas em Visão
Computacional.

Algumas ameaças a validade dos resultados foram levantadas, como os vieses na identificação de artigos primário e
extração de resultados, a seleção das bibliotecas digitais, e a quantidade de estudos selecionados na RSL. Como
trabalhos futuros para minimizar a primeira questão pretende-se adotar a revisão por pares nas etapas da RSL de
aplicação dos critérios de seleção, avaliação de qualidade e extração de dados. Para a segunda ameaça, incluir outras
bibliotecas digitais que não foram contempladas nesta RSL e que podem contribuir significativamente com a
abrangência de estudos primários. E a última, adotando uma estratégia de busca hibrida, podendo possivelmente
utilizar além da busca automatizada, o snowballing e a busca manual.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] WHO - World Health Organization. Disability, 2022.

https://www.who.int/health-topics/disability#tab=tab_1

[2] WHO - World Health Organization. World report on disability, 2011. https://apps.who.int/iris/handle/10665/44575

[3] CRPD - Convention on the Rights of Persons with Disabilities. https://www.un.org/development/desa/disabilities/convention-on-the-rights-of-

persons-with-disabilities.html#Fulltext

[4] WHO - World Health Organization. Assistive technology, 2018. https://www.who.int/news-room/fact-sheets/detail/assistive-

technology

[5] ITS Brasil. Livro Branco Da Tecnologia Assistiva no Brasil, 2017. http://itsbrasil.org.br/wp-content/uploads/2018/12/Livro-
Branco-Tecnologia-Assistiva.pdftz

[6] Tien-Wen Sung, Pei-Wei Tsai, Tarek Gaber, Chao-Yang Lee, "Artificial Intelligence of Things (AIoT) Technologies
and Applications", Wireless Communications and Mobile Computing, vol. 2021, Article
ID 9781271, 2 pages, 2021. https://doi.org/10.1155/2021/9781271
[7] A. Hengle, A. Kulkarni, N. Bavadekar, N. Kulkarni and R. Udyawar, "Smart Cap: A Deep Learning and IoT Based
Assistant for the Visually Impaired," 2020 Third International Conference on Smart Systems and Inventive Technology (ICSSIT) , 2020, pp.
1109-1116, doi: 10.1109/ICSSIT48917.2020.9214140.

[8] C. J. Baby, A. Mazumdar, H. Sood, Y. Gupta, A. Panda and R. Poonkuzhali, "Parkinson's Disease Assist Device
Using Machine Learning and Internet of Things," 2018 International Conference on Communication and Signal Processing (ICCSP) ,
2018, pp. 0922-0927, doi: 10.1109/ICCSP.2018.8523831.

[9] Ker-Jiun Wang, Hsiao-Wei Tung, Zihang Huang, Prakash Thakur, Zhi-Hong Mao, and Ming-Xian You. 2018.
EXGbuds: Universal Wearable Assistive Device for Disabled People to Interact with the Environment Seamlessly. In
Companion of the 2018 ACM/IEEE International Conference on Human-Robot Interaction (HRI '18). Association for
Computing Machinery, New York, NY, USA, 369–370. DOI:https://doi.org/10.1145/3173386.3177836

[10] K.K. T. Punsara, H. H. R. C. Premachandra, A. W. A. D. Chanaka, R. V. Wijayawickrama, A. Nimsiri and S.

Rajitha de, "IoT Based Sign Language Recognition System," 2020 2nd International Conference on Advancements in Computing
(ICAC), 2020, pp. 162-167, doi: 10.1109/ICAC51239.2020.9357267. [11] PP-SPA: Privacy Preserved Smartphone-Based
Personal Assistant to Improve Routine Life Functioning of Cognitive Impaired Individuals

[12] W. Chang et al., "A Deep Learning Based Wearable Medicines Recognition System for Visually Impaired
People," 2019 IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS) , 2019, pp. 207-208, doi:
10.1109/AICAS.2019.8771559.

[13] K. K. T. Punsara, H. H. R. C. Premachandra, A. W. A. D. Chanaka, R. V. Wijayawickrama, A. Nimsiri and S.

Rajitha de, "IoT Based Sign Language Recognition System," 2020 2nd International Conference on Advancements in Computing
(ICAC), 2020, pp. 162-167, doi: 10.1109/ICAC51239.2020.9357267.

[14] M. A. K. Al Shabibi and S. M. Kesavan, "IoT Based Smart Wheelchair for Disabled People," 2021 International
Conference on System, Computation, Automation and Networking (ICSCAN) , 2021, pp. 1-6, doi: 10.1109/ICSCAN53069.2021.9526427.

[15] S. Jacob et al., "AI and IoT-Enabled Smart Exoskeleton System for Rehabilitation of Paralyzed People in Connected
Communities," in IEEE Access, vol. 9, pp. 80340-80350, 2021, doi: 10.1109/ACCESS.2021.3083093.

[16] Kath, Elizabeth, Guimarães, Osorio Coelho and Buzato, Marcelo El KhouriPOSTHUMANISM AND ASSISTIVE
TECHNOLOGIES: ON THE SOCIAL INCLUSION/EXCLUSION OF LOW-TECH CYBORGS. Trabalhos em Linguística
Aplicada [online]. 2019, v. 58, n. 2 [Accessed 31 January 2022] , pp. 679-703. Available from:
<https://doi.org/10.1590/0103181386558805282019>. Epub 23 Sept 2019. ISSN 2175-764X.
https://doi.org/10.1590/0103181386558805282019.

[17] ATIA – Assistive Technology Industry Association. What is AT?, 2022. https://www.atia.org/home/at-resources/what-is-at/

[18] John McCarthy, “What is Artificial Intelligence?,” Computer Science Department Stanford University Stanford,
CA 94305, 2004, Available from: <http://jmc.stanford.edu/articles/whatisai.htmlf>

[19] IBM, Artificial Intelligence, 2020. Available from: < https://www.ibm.com/cloud/learn/what-is-artificial-intelligence#toc-deep-learn-

md_Q_Of3>

[20] Kapoor, Amita. (2019). Hands-On Artificial Intelligence for IoT: Expert machine learning and deep learning
techniques for developing smarter IoT systems.

[21] Katti Facelli et al. (2021) Inteligência Artificial: uma abordagem de aprendizado de máquina. 2. Ed. Rio de Janeiro:
LTC. ISBN: 978-85-216-3734-9.

[22] Sarker, I.H. Deep Learning: A Comprehensive Overview on Techniques, Taxonomy, Applications and Research
Directions. SN COMPUT. SCI. 2, 420 (2021). https://doi.org/10.1007/s42979-021-00815-1

[23] Barbara Kitchenham, Pearl Brereton, A systematic review of systematic review process research in software
engineering, Information and Software Technology, Volume 55, Issue 12, 2013, Pages 2049-2075, ISSN 0950-5849,
https://doi.org/10.1016/j.infsof.2013.07.010.

[24] Parsifal, 2022. Available from: <https://parsif.al/>

[25] Ahmad Banijamali, Olli-Pekka Pakanen, Pasi Kuvaja, Markku Oivo, Software architectures of the convergence of
cloud computing and the Internet of Things: A systematic literature review, Information and Software Technology,
Volume 122, 2020, 106271, ISSN 0950-5849,

https://doi.org/10.1016/j.infsof.2020.106271.

[26] Kitchenham, Barbara & Charters, Stuart. (2007). Guidelines for performing Systematic Literature Reviews in
Software Engineering. 2. Available from:
<https://www.researchgate.net/publication/302924724_Guidelines_for_performing_Systematic_Literature_Reviews_in_Software_Engineering >

[27] Katia Romero Felizardo et. al. Revisão Sistemática da Literatura em Engenharia de Software: Teoria e Prática. 1.
Ed. Rio de Janeiro: Elsevier, 2017. ISBN:978-85-345-8641-0.