Centro Universitário Internacional UNINTER

Escola Superior Politécnica – ESP

ATIVIDADES EXTENSIONISTAS
Proposta de Tema

Curso
( ) Bacharelado em Engenharia da Computação
( X ) Bacharelado em Engenharia de Software
( ) CST em Análise e Desenvolvimento de Sistemas
( ) CST em Banco de Dados
( ) CST em Ciência de Dados
( ) CST em Desenvolvimento Mobile
( ) CST em Gestão da Tecnologia da Informação
( ) CST em Jogos Digitais
( ) CST em Redes de Computadores
Disciplina
( ) Atividade Extensionista I: Tecnologia Aplicada à Inclusão Digital – Levantamento
( X ) Atividade Extensionista II: Tecnologia Aplicada à Inclusão Digital – Projeto
( ) Atividade Extensionista III: Tecnologia Aplicada à Inclusão Digital – Análise
( ) Atividade Extensionista IV: Tecnologia Aplicada à Inclusão Digital – Implementação
Etapa
( X ) Validação da proposta
( ) Trabalho final

Atividades Extensionistas – Proposta de Tema / Trabalho Final

1
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

Aluno(s) e RU(s)
Aluno RU
Caroline Ferreira Ribeiro 3381353
Jhonathan Turial de Oliveira 3993727
Kendra Teodora dos Santos 3906929

Título

Tradutor de linguagem de sinais

Setor de Aplicação
O projeto abrange a área social direcionada para todas as pessoas de um município,
escolas e famílias, onde as pessoas devem utilizar o aplicativo tradutor de sinais para
auxiliar no aprendizado dos usuários a interpretar como por exemplo o alfabeto em sinais.
Levando em consideração a (ODS), vamos selecionar a “Educação de qualidade” para
objetificar o projeto levando maior interesse pelo aprendizado das crianças e adultos com
a linguagem de sinais.

Objetivos de Desenvolvimento Sustentável (ODS)

( ) 01. Erradicação da pobreza
( ) 02. Fome zero e agricultura sustentável
( ) 03. Saúde e bem-estar
( X ) 04. Educação de qualidade
( ) 05. Igualdade de gênero
( ) 06. Água potável e saneamento
( ) 07. Energia limpa e acessível
( ) 08. Trabalho decente e crescimento econômico
( ) 09. Indústria, inovação e infraestrutura
( ) 10. Redução das desigualdades
( ) 11. Cidades e comunidades sustentáveis

Atividades Extensionistas – Proposta de Tema / Trabalho Final

2
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

( ) 12. Consumo e produção responsáveis

( ) 13. Ação contra a mudança global do clima
( ) 14. Vida na água
( ) 15. Vida terrestre
( ) 16. Paz, justiça e instituições eficazes
( ) 17. Parcerias e meios de implementação.

Objetivos

1. Proporcionar o aprendizado de Libras: Aumentar o fator de engajamento ao

grupo social de pessoas com deficiência com o auxílio da tecnologia.
2. Facilitar a Compreensão e a Expressão: Promover um ambiente inclusivo que
não apenas ensine Libras, mas também capacite os surdos e mudos a
compreender e expressar suas ideias, sentimentos e necessidades de forma eficaz
por meio da linguagem de sinais.
3. Construir o aplicativo tradutor: Desenvolver através de uma API com a
linguagem Python um sistema que seja capaz de interpretar o sinal apresentado na
câmera.

Metodologia
A metodologia adotada para o desenvolvimento do projeto "Tradutor de Linguagem de
Sinais" abrangeu as seguintes etapas:

Coleta de Dados para Treinamento do Modelo:

Inicialmente, foram coletadas imagens representativas dos gestos da linguagem de sinais,
com foco na tradução do alfabeto de sinais. Essas imagens incluíram diferentes variações
dos gestos para garantir a eficácia do modelo.
Treinamento do Modelo com o "Teachable Machine":

Atividades Extensionistas – Proposta de Tema / Trabalho Final

3
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

Imagem 1 - Programa de aprendizagem

Fonte: Própria

Imagem 2 - Fluxograma da aplicação

Fonte: Própria

Vídeo representativo testando o aplicativo e fluxograma da aplicação estarão em anexo

no final do trabalho.

Atividades Extensionistas – Proposta de Tema / Trabalho Final

4
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

Para treinar o modelo de reconhecimento de gestos, utilizamos a plataforma online

"Teachable Machine" fornecida pelo Google. Esta plataforma permite o treinamento de
modelos de aprendizado de máquina para classificação de imagens.
No "Teachable Machine", as imagens coletadas foram carregadas e organizadas em
categorias correspondentes a cada letra do alfabeto em linguagem de sinais. O modelo foi
treinado para reconhecer gestos específicos associados a cada letra.

Exportação do Modelo Treinado:

Após o treinamento, o modelo foi exportado no formato TensorFlow.

Integração do Modelo no Aplicativo Python:

O modelo treinado, agora no formato TensorFlow, foi importado e integrado ao aplicativo
Python desenvolvido para reconhecimento de gestos em tempo real. O código do
aplicativo foi ajustado para acomodar a inferência do modelo e interpretar os gestos
capturados pela câmera.

Testes e Refinamento:
Realizamos testes contínuos do aplicativo para avaliar a precisão do reconhecimento de
gestos e a eficácia da tradução para a linguagem de sinais. O modelo foi refinado com
base nos resultados dos testes.

Desenvolvimento da Interface de Usuário:

A interface do aplicativo foi projetada com ênfase na usabilidade e acessibilidade,
tornando-a amigável para usuários surdos e mudos.
Aprimoramentos Contínuos:

Essa metodologia permitiu o desenvolvimento de um aplicativo de tradução de linguagem

de sinais que visa promover a inclusão e a igualdade de acesso à comunicação para a
comunidade surda e muda. O uso do "Teachable Machine" facilitou o treinamento do
modelo de reconhecimento de gestos, tornando-o uma ferramenta valiosa para auxiliar na
interpretação da linguagem de sinais.

Imagem 2 - Diagrama do processo do trabalho

Atividades Extensionistas – Proposta de Tema / Trabalho Final

5
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

Fonte: Própria

Resultados Esperados/Obtidos
Esperamos alcançar os seguintes resultados ao concluir o projeto:
● Desenvolvimento do Aplicativo: O resultado principal será a criação de um
aplicativo funcional de tradução de linguagem de sinais que seja capaz de
interpretar e traduzir os gestos de sinais iniciais do alfabeto capturados pela
câmera.
● Integração de Recursos de Aprendizado de Máquina: Esperamos integrar
algoritmos de aprendizado de máquina para aprimorar a precisão na interpretação
dos gestos e melhorar a experiência do usuário.
● Interface de Usuário Intuitiva: O aplicativo terá uma interface de usuário intuitiva,
permitindo que usuários surdos e mudos acessem facilmente as funcionalidades e
realizem traduções de maneira eficaz.
Resultados Obtidos
● Desenvolvimento Inicial do Aplicativo: Concluímos a fase de desenvolvimento
inicial do aplicativo, incluindo a integração da funcionalidade de captura de gestos
da câmera em Python.
● Testes de Funcionalidade: Realizamos testes iniciais de funcionalidade, o que nos
permitiu verificar a capacidade do aplicativo de reconhecer e traduzir gestos de
sinais básicos do alfabeto.

Considerações Finais

Atividades Extensionistas – Proposta de Tema / Trabalho Final

6
 Centro Universitário Internacional UNINTER
Escola Superior Politécnica – ESP

● Compreendemos a importância da inclusão digital para pessoas surdas e mudas, e

aprendemos a desenvolver aplicativos de tradução de linguagem de sinais com
Python e aprendizado de máquina ou “Machine Learning”.
● Durante nossa jornada, destacamos a necessidade de colaboração multidisciplinar
e superamos desafios técnicos na precisão do reconhecimento de gestos.
● Além disso, aprimoramos nossos conhecimentos em linguagem de sinais ao
desenvolver uma tradução para o alfabeto da linguagem de sinais.
● Nossa iniciativa se alinha ao Objetivo de Desenvolvimento Sustentável (ODS) de
"Educação de Qualidade", buscando promover uma maior igualdade de acesso à
informação e comunicação para a comunidade surda e muda. Estamos
empenhados em continuar nosso trabalho e aperfeiçoar o aplicativo para contribuir
positivamente para a inclusão e igualdade de oportunidades.

Anexos
Vídeo demonstrativo.Disponível em:
https://drive.google.com/file/d/1PxBYiGXURzrPOFhIzSbMIMTNYc25pvc-/view?usp=sharin
g.Acessado em 01/11/2023.

Diagrama demonstrativo do projeto.Disponível em:

https://drive.google.com/file/d/1pJPYIPJlFjdaIx2liDwwtuneDlUbZ85w/view?usp=sharing
.Acessado em 01/11/2023.

Fluxograma da aplicação. Disponível em:

https://viewer.diagrams.net/index.html?tags=%7B%7D&highlight=0000ff&edit=_blank&laye
rs=1&nav=1&title=Fluxograma%20da%20aplica%C3%A7%C3%A3o.drawio#Uhttps%3A%
2F%2Fdrive.google.com%2Fuc%3Fid%3D1obg-R7VXUZJ5eppmJ_CqRQ_hyYv5Dczt%26
export%3Ddownload
Acessado em 27/11/2023.

Atividades Extensionistas – Proposta de Tema / Trabalho Final

7