LuBraS: Uma Arquitetura de comunicação Libras-Língua Portuguesa Utilizando

Controle de Voz
Matheus Ribeiro Souza de Azevedo, Vinicius
Souza de Jesus Carlos Eduardo Pantoja
(orientador), Leandro Marques Samyn (co-
orientador)
CEFET-RJ UnED de Maria da Graça Rua
Miguel Ângelo, 96
CEP:20785-223 –Rio de Janeiro– RJ

Keywords:LIBRAS, comunication, voice command, Javino.

Resumo Este projeto tem como objetivo permitir uma
melhor comunicação entre indivíduos surdos e, por
consequência, deficiência na fonética. Embasado na língua
brasileira de sinais, esse projeto busca diminuir as
dificuldades ao estabelecer esse tipo de comunicação entre
ouvintes e surdos. O protótipo conta com duas luvas que
interagem diretamente com o usuário, uma delas voltada
para pessoas desconhecedoras de LIBRAS, que se utiliza de
um sistema de comando por voz, para facilitar a escrita das
mensagens, e a outra luva voltada para as versadas e adeptas
ao uso das libras. Sendo assim, estas luvas serão mais um
facilitador a comunicação. Por fim, para a implantação
desse projeto, foi utilizado o protocolo de comunicação
Javino, que faz a transmissão dos dados entre o software e o
hardware, programação em Java, e dispositivos como
Arduino e Raspberry, que é um minicomputador
responsável pelo canal de comunicação com o hardware.
Palavras Chaves:LIBRAS, comunicação, comando por voz,
Javino.
Abstract:This project aims to allow better communication
between deaf individuals and, consequently, phonetics
deficiency. Based on the Brazilian sign language, this
project seeks to reduce difficulties by establishing this kind
of communication between listeners and deaf people. The
prototype has two gloves that interact directly with the user,
one aimed at people unfamiliar with LIBRAS, which uses a
voice command system, to facilitate the writing of the
messages, and another glove aimed at the well-versed and
adept to the use of pounds. Being so, these gloves will
further facilitate communication. Finally, for the
implementation of this project, the Javino communication
protocol was used, which transmits the data between
software and hardware, programming in Java, and devices
such as Arduino and Raspberry, which is a minicomputer
responsible for the communication channel with the
hardware.
1 INTRODUÇ
ÃO
Esse projeto se apoia na ideia da tecnologia assistiva,
esta que é um ramo de estudo muito importante pois
proporciona a pessoas com deficiência uma menor
dependência de ajuda para realizar certas atividades.
Visando contribuir para ampliar as habilidades
funcionais destas pessoas portadoras de deficiência, o
LUBRAS foi desenvolvido a partir de uma causa social
bastante defasada no Brasil, que é a inclusão social dos
surdos/mudos, que segundo a lei 10.436 da Presidência da
República da Casa Civil Art.4 (2002), estas pessoas
deveriam ter garantia de inclusão em todas as camadas da
sociedade, o que não acontece, pois, estes direitos ainda se
encontram muito defasados.
Alguns trabalhos que se utilizam da tecnologia
assistiva para atender esse problema, porém, na grande
maioria são apenas aplicativos para celular que sempre
necessitam de acesso à internet, assim, limitando seu uso
apenas quando conectado a uma rede. Além disso, ocupam
espaço da memória secundária do aparelho para funcionar.
O AppProdeaf [Oliveira, 2012], que é um aplicativo para
celular que depende do uso da internet. Outro exemplo é o
“Giullia – mãos que falam”[Cardoso et. al., 2015]que assim
como o Prodeaf, também ocupa espaço da memória
secundária do aparelho para funcionar.
Portanto, o objetivo principal do projeto é realizar a
comunicação entre surdos/mudos e os ouvintes e falantes da
língua portuguesa. Isso é feito através de um protótipo que
servirá como interface ou canal de comunicação entre os
dois, formando assim, uma comunicação mais simples e
real. Exemplificando, se uma pessoa leiga na língua de
LIBRAS, mas conhecedora da língua portuguesa, desejar se
comunicar com alguém devidamente alfabetizado em
LIBRAS, a função do protótipo é atender a esse viés com as
luvas, o teclado amigável de Java ou o comando de voz
embutido, que auxiliará de forma simples e esclarecedora
para estabelecer essa comunicação. Além disso, também é
possível estabelecer a
comunicação entre o surdo e ouvinte, isso é feito
através de outra função existente no teclado amigável que
permite essa utilização e, também por meio de uma luva
composta por resistores.
Mostra Nacional de Robótica (MNR)
Este trabalho está estruturado da seguinte forma: na
seção 2 serão apresentados os conceitos básicos; na seção 3
será mostrada a proposta do trabalho; na seção 4 serão
dados detalhes sobre materiais e métodos; na seção 5 serão
apresentadas as propostas e discussões; na seção 6 será
apresentada a conclusão e propostas futuras.
2 CONCEITO
S BÁSICOS
Com informações retiradas do IBGE de 2010, as
principais críticas aos aplicativos que estão em destaques
sobre essa ajuda na comunicação de LIBRAS são em
relação à maneira que funcionam. Em sua maioria, estes
aplicativos contém o alfabeto, que funciona com
movimentos em uma só mão e as frases, que são realizadas
por gestos mais elaborados. Sendo assim, é evidente a falha
desses aplicativos, pois não é levado em consideração a
mudança da dialética de LIBRAS, que assim como a língua
portuguesa, apresenta variações de acordo com a região de
uso. Tendo isso em visto, este trabalho auxiliará diretamente
nessa questão, dessa forma, não atingindo apenas um único
alvo, sendo baseado no alfabeto, que é o mesmo
independente da região, assim, facilitando a formação de
palavras e frases. Pois sendo este mecanismo igual em
qualquer dialética da LIBRAS [Guarinello, 2004].
2.1 LIBRAS
A língua Brasileiras de Sinais (LIBRAS) é bastante
similar com a língua portuguesa e, assim como ela,
apresenta variações no que se diz a linguística, região,
histórica e sociocultural, de acordo com os dados da Unesp
departamento de LIBRAS[Laís Di Benedetto, 2004].
A LIBRAS é uma língua de sinais, onde por meio de
gestos, movimentos e expressões, é estabelecida uma
comunicação entre emissor e o receptor. O uso do alfabeto
de libras é mais apropriado quando é desejado formar
nomes próprios, por meio da soletração, mas é permitido o
uso de variações, ou até mesmo simplificações para facilitar
a conversa, como por exemplo o uso de apelidos que possa
remeter ao nome, ou até mesmo características físicas
[Tatiana Lebedeff, 2001].
Uma pesquisa do Instituto Brasileiro de Geografia e
Estatística do senso de 2010, mostra que os deficientes
auditivos compõem cerca de 26% da população brasileira,
que apresenta deficiência, assim, ratificando a necessidade
de inserção desse público na camada social, como pode ser
analisado na figura 1.
1
Figura 1 - Dados da concentração as deficiências da
população brasileira.
Mostra Nacional de Robótica (MNR)
2.2 Luva de
LEDs
A luva de LEDs [Jesus et. al., 2016], é utilizada pelos
indivíduos que dominam a língua portuguesa, mas não
sabem LIBRAS. Nesta luva, os ouvintes digitam ou falam a
mensagem em português e a luva acenderá diodos emissores
de luz dos tipos LED, que acendem de acordo com a com
configuração da letra desejada, isso acontece por meio do
Javino, que realiza o transporte da mensagem enviada para
o
Arduino. O protótipo da luva de LEDs pode ser visto na
Figura 2.
Após isso, o Arduino interpretará essa informação e
passará por uma série de estruturas de decisões até
encontrar a função correta, que posteriormente
desencadeará no acionamento dos LEDs correspondentes,
indicando os movimentos que o ouvinte deve fazer para
transmitir a mensagem desejada em LIBRAS, assim,
tornando a
comunicação mais dinâmica.
Assim, o ouvinte consegue aprender a realizar os
sinais em LIBRAS e, com o auxílio da interface gráfica
desta luva, o mesmo pode verificar se o movimento
realizado está correto, comparando-o com uma figura do
sinal que está realizando. Dessa forma, o portador dessa
luva é capaz, se possível, de realizar os movimentos sem a
ajuda da luva, atribuindo assim, uma função didática à luva.
Por fim, para a construção da luva foi utilizado um
Arduino Lilypad, que é o responsável por fazer a integração
com o programa em Java, assim, ele é o encarregado de
passar as informações para a Raspberry através de uma
biblioteca denominada Javino, que torna possível a conexão
do material utilizado, sendo ele a luva, o teclado ou até
mesmo o display. Isso permite o leigo em LIBRAS se
comunicarem com o surdo/mudo, e reproduzir de forma
correta o seu alfabeto.

Figura 2 – Luva de LEDs.
2.3 LUVA DE
RESISTORE
S Para a utilização do controle de voz é utilizado um
A luva de resistores [Jesus et. al., 2016] é de uso
destinado aos surdos/mudos e, é formada por 5 resistores
flexíveis, onde o indivíduo realiza o movimento
correspondente às letras do alfabeto em LIBRAS.
Durante a execução do movimento cada resistor
retorna um valor lido, logo, é feito um somatório das
leituras de cada dedo, para assim fazer um mapeamento de
cada gesto. Porém, algumas letras possuíam um somatório
muito próximo, como por exemplo as letras B, M e W. Para
realizar essa distinção é utilizado um acelerômetro, que
funciona para pegar a posição da mão do usuário durante o
movimento, permitindo, assim, a correta distinção entre
letras, pois cada uma possui uma determinada orientação
para que seja feita perfeitamente.
Outro componente importante na construção da luva
de resistências é o multiplexador, que é fundamental para o
funcionamento da luva, pois o Arduino utilizado possui uma
limitação de portas analógicas, estas que são necessárias
para o uso das resistências da luva, como cada resistência
necessita de uma porta analógica, além delas, o
acelerômetro também precisa de uma porta analógica, desse
modo, o multiplexador se torna importante, pois ele permite
multiplexar o aumento do número de portas analógicas do
Arduino.
Figura 3 – Luva de resistores.
2.4 CONTROLE
DE VOZ
módulo de reconhecimento de voz. Este módulo é capaz de
armazenar um conteúdo gravado e usá-lo para executar uma
determinada ação. Isso é feito a partir do seu sistema de
reconhecimento de voz, que faz uma leitura da frequência
emitida por um determinado comando durante a gravação e
atribui a ela uma assinatura. Esta assinatura é a identificação
da frequência lida e, de certa forma, juntamente com a
aplicação JAVA speech, é o quediferencia comandos
distintos.
2.5 JAVINO
O Javino [Mori e Pantoja, 2015]é um protocolo de
comunicação implementado em duas bibliotecas que é
utilizado como middleware e tem como função fazer o
controle do tráfego de dados entre as outras camadas do
software e hardware do projeto. Ele se torna bastante
confiável devido a seu recurso de verificação de mensagem
entre o receptor e o emissor, que ao ser enviada, é feita uma
emulação por parte da biblioteca em JAVA do Javino que
verifica se as informações que chegaram conferem que as
que eram esperadas, esse processo se repete até que a
mensagem seja completamente recebida e caso o contrário,
ele descarta todas as informações.
Além disso, ele permite a transmissão de dados entre
diferentes arquiteturas, como é o caso do Arduino que opera
com base na linguagem de programão C e a interface
gráfica JAVA, além disso, ele permite a conexão entre
dispositivos diferentes, por exemplo entre computadores e
controladores, como é o caso que ocorre entre a Raspberry e
o Arduino. Sua utilização é definida durante a programação
com a inclusão de suas bibliotecas.
3 O
TRABALH
O
PROPOSTO
Este trabalho é uma extensão das outras versões
apresentadas na MNR e, tem como diferencial a introdução
do controle de voz para a já existente luva de resistores.
Sendo assim, oLUBRAS é dividido em 3 partes, sendo
2 físicas e 1 gráfica. A interface gráfica [Jesus et. al.,
2015]dispõe de um dispositivo que possui um display
touchscreen, que tem acoplado um teclado e um dispositivo
de comando de voz, que permite a pessoafalar
pausadamente as letras que compõem a mensagem a ser
transmitida. Esta mensagem será exibida na tela, para que o
surdo/mudo entenda. Para estabelecer a outra via de
comunicação, os surdos/mudos dispõem de um teclado com
o alfabeto de libras, este teclado não possui nada em
português, pois o projeto pare de um princípio de que o
surdo não é obrigado a saber a língua portuguesa, desta
forma esse indivíduo tem maior facilidade em sintetizar o
que desejarem falar.
A parte física usa como base a linguagem de
programação Java [Deitel, 2005]. Através dela, as
mensagens expressas são comparadas com as já pré-
definidas um em um banco de dados e, após isso são
executadas as instruções específicas para cada comando.
Isso acontece por meio de uma plataforma Raspberry,
Arduinos Lilypad e duas luvas automatizadas. Todos esses
componentes trabalham em conjunto para formar a base do
projeto.
4 MATERIAIS
E
MÉTODOS
Para o desenvolvimento do projeto foi utilizado a
Raspberryque é um minicomputadorque tem como base o
sistema operacional Linux, através dela, o projeto ganha
mobilidade podendo ser levado para qualquer lugar.
Foi utilizado também o Arduino que é uma plataforma
de prototipagem eletrônica de hardware livre e de placa
única que proporciona a feição de projetos mais acessíveis e
de baixo custo. O Arduino é o responsável por conter
executar o programa determinado para cada tipo de luva, é
nele onde estão armazenadas as funções e toda a lógica de
programação da parte física do projeto.
A raspberry é responsável pelas interfaces de
comunicação e o arduino é responsável pela integração do
Hardware; e toda a comunicação entre esses dispositivos é
feita pelo protocolo já citado anteriormente, Javino.
Mostra Nacional de Robótica (MNR)
5 RESULTAD
OS E
DISCUSSÃ
O Surda e Diversidade. Belo Horizonte, 2009.
Durante o desenvolvimento do projeto, foram feitos
sucessivos testes com o módulo de controle de voz
pertencente a luva de LEDs, então, verificou-se que o
mesmo não estava fazendo a diferenciação dos sons de
acordo com o esperado, apresentando dificuldades para
distinguir letras com fonéticas similares. A solução
encontrada foi a introdução da interface JAVA SPEECH,
que permite o reconhecimento de voz em aplicações JAVA.
Através dele, a identificação das letras se torna mais
precisa, devido ao seu recurso de identificação de letras ou
palavras para a língua portuguesa.
6 CONCLUSÕ
ES
O conteúdo apresentado neste trabalho consiste no uso
da tecnologia em prol de ajudar um problema social. Essa
tarefa foi feita por meio da comunicação entre software e
hardware. Sendo o software, o teclado amigável em Java e o
hardware as luvas que dão um dinamismo maior ao projeto.
Embora não englobe gestos mais elaborados, que são
frequentes entre usuários de Libras, porém, pode ser usado
o alfabeto, permitindo assim qualquer tipo de comunicação
mesmo quando ocorre mudanças de dialética, algo que não
seria possível se fossem considerados os gestos.
Com isso, o principal objetivo foi possibilitar a
melhoria de vida dos surdos-mudos, permitindo uma maior
inclusão social desses indivíduos. Dessa forma, por meio da
tecnologia assistiva, ajudar pessoas com algum tipo de
necessidade, no caso a comunicação, que é essencial em
uma sociedade.
Como trabalhos futuros estão sendo idealizados, entre
eles o principal objetivo é a implementação do comando de
voz para a luva de resistores, para que assim, após a
realização dos movimentos pelo surdo/mudo, a mensagem
será transcrita para voz, assim facilitando o recebimento da
mensagem pelo ouvinte. Além disso, existe aproposta de
tornar o projeto mais compacto e barato com o auxílio do
desenvolvimento da miniaturização de produtos, tornando
seu uso mais acessível.
7 AGRADECI
MENTOS
Ao CNPq por toda ajuda prestada e sua força para
ajudar ao desenvolvimento da tecnologia brasileira.
REFERÊNCIAS
BIBLIOGRÁFIC
AS
Ana Cristina Guarinello Surdez e Letramento: Pesquisa com
Surdos Universitários de Curitiba e Florianópolis.
Universidade Tuiuti do Paraná, 2004
Deitel. Java - Como Programar. Pearson Education-Br.
Brasil, 2005.
Mori, N., Pantoja C.E. A Robotic-agent Platform
3 ForEmbedding Software Agents using Raspberry Pi
and Arduino Boards. In: 9th Software Agents,
Environments and Applications School (WESAAC).
Niteroi, 2015.
Oliveira, M. A. A., RVCSD - Revista Virtual de Cultura
A Comissão de Direitos Humanos da USP, adotada e
proclamada pela Resolução nº 217 A (III) da
Assembleia Geral das Nações Unidas em 10 de
dezembro de 1948.
Tatiana Lebedeff, família e surdez: considerações sobre
surdos e mudos. Mato Grosso do Sul, 2001.
Mostra Nacional de Robótica (MNR)

Laís Di Benedetto Especialista em Língua Brasileira de

Sinais - Libras, Colaboradora no curso de Libras à
Distância - Unesp, O que é Libras?. São Paulo, 2004.
Coordenadoria para integração de pessoa com deficiência.
Acesso em 24 de outubro de 2017, disponível em:
http://www.ines.gov.br/dicionariodelibras/
main_site/libras.htm.
Assembleia Geral das Nações Unidas em
10 de dezembro de 1948.
André Luís Onório Conenlian Mestre em Ciência da
Informação – UNESP/Marília, Reflexões sobre a
estrutura gramatical da LIBRAS e da Língua
Portuguesa. São Paulo, 2004.
Instituto Brasileiro de Geografia e Estatística (IBGE), senso
de 2010.
Jesus, V. S., Silva, Y. S., Pantoja, C.E., Samyn, L. M.
LuBras Dispositivo Eletrônico para Comunicação
LIBRAS – Língua Portuguesa. In: Mostra Nacional
de Robótica. Recife, 2016.
Jesus, V. S., Manoel, F. C. P. B., Pantoja, C.E, Samyn, L. M.
LuBras: Uma Arquitetura de um Dispositivo
Eletrônico para a comunicação Libras-Língua
Portuguesa Utilizando o Javino. In: Workshop em
Pesquisa em Computação dos Campos Gerais
(WPCCG). Ponta
Grossa, 2016.
Jesus, V. S., Silva, Y. S., Pantoja, C.E., Samyn, L. M.
Desenvolvimento de uma Interface para a
Comunicação LIBRAS – Língua Portuguesa.In:
Mostra Nacional de Robótica. Uberlândia, 2015.
Oliveira, J. P. S. "ProDeaf: Uma ferramenta colaborativa
para a produção de conhecimento em Libras." INES,
2012.
Cardoso, M., Oliveira, F., Cunha, M., Cerqueira, V., Paz, M.
A., Azevedo, M. Torres, B., Guedes, I. Giulia – Mãos
que Falam. Acesso em 24 de outubro de 2017,
disponível em: https://www.projetogiulia.com.br/.