Você está na página 1de 38

Qualidade de Software - Acessibilidade em softwares livres

Davi Lima da Silva, Delziron Braz de Lima, João Henrique Marques Calzavara,
Marcos Vinı́cius de Deus, Pablo Christianno Silva Guedes1

1
Universidade de Brası́lia- (UnB)
St. Leste Projeção A - Gama Leste, Brası́lia - DF, 72444-240
unbgama@unb.br

Resumo. Este trabalho apresenta um Plano de Medição para avaliar a qua-


lidade do software Vlibras, que traduz falas para a linguagem de sinais. Uti-
lizando a abordagem GQM, foram estabelecidas métricas como taxa de su-
cesso na tradução, tempo médio de tradução, erros de tradução, entre outras.
O objetivo é promover a inclusão social e reduzir a desigualdade, garantindo
a eficácia, confiabilidade e usabilidade do software. Os resultados obtidos irão
fornecer insights valiosos para aprimorar a experiência dos usuários e contri-
buir para uma sociedade mais inclusiva.

Abstract. This work presents a Measurement Plan to evaluate the quality of the
Vlibras software, which translates speeches into sign language. Using the GQM
approach, metrics such as translation success rate, average translation time,
translation errors, among others, were established. The objective is to promote
social inclusion and reduce inequality, ensuring the effectiveness, reliability and
usability of the software. The results obtained will provide valuable insights to
improve user experience and contribute to a more inclusive society.

1. Introdução

O presente relatório tem como objetivo apresentar a elaboração e execução de um Plano


de Medição para avaliação da qualidade de um software chamado ”Vlibras”. Trata-se
de uma ferramenta que busca facilitar a comunicação e promover a inclusão de pessoas
surdas ou com deficiência auditiva, ao traduzir falas para a linguagem de sinais.
O desenvolvimento tecnológico tem desempenhado um papel fundamental na
criação de soluções que visam reduzir as desigualdades sociais. Nesse contexto, o presente
trabalho está alinhado com o Objetivo de Desenvolvimento Sustentável (ODS) número 10,
que tem como meta a ”Redução das Desigualdades”. O ODS 10 visa promover a inclusão
social, econômica e polı́tica de todos, independentemente de sua idade, sexo, deficiência,
raça, etnia, origem, religião, condição econômica ou qualquer outra caracterı́stica.
A desigualdade enfrentada pelas pessoas com deficiência auditiva é uma realidade
que precisa ser combatida. A comunicação é uma necessidade básica e fundamental para
o desenvolvimento pessoal, social e profissional de qualquer indivı́duo. No entanto, as
barreiras linguı́sticas e de comunicação têm sido um obstáculo para a participação plena
e igualitária dessas pessoas na sociedade.

O software Vlibras surge como uma solução capaz de ajudar a superar essas barrei-
ras ao possibilitar a tradução das falas para a linguagem de sinais, facilitando a interação
entre pessoas surdas e ouvintes. A qualidade desse software desempenha um papel crucial
para assegurar uma experiência eficiente e satisfatória para os usuários finais.
Diante desse contexto, a elaboração e execução de um Plano de Medição se torna
fundamental. Esse plano tem como objetivo principal quantificar e avaliar os aspectos
relacionados à qualidade do software Vlibras, com base em critérios e indicadores pré-
definidos. Através dessa análise criteriosa, será possı́vel identificar pontos fortes e opor-
tunidades de melhoria, visando garantir a eficácia e a confiabilidade do software.

Ao unir o propósito de reduzir as desigualdades com a utilização de uma fer-


ramenta tecnológica de tradução para a linguagem de sinais, o presente trabalho busca
contribuir para a construção de uma sociedade mais inclusiva e igualitária. Através da
avaliação da qualidade do software Vlibras, espera-se fornecer insights que possam apri-
morar a experiência dos usuários e ampliar o alcance dessa solução.
No decorrer deste relatório, serão apresentadas tópicos relacionados à qualidade
de software seguindo a seguinte ordem: 2. Processo de avaliação, 3.Relatar resultados da
avaliação, 4. Considerações finais, 5. Figuras e legendas e 6. Referências.

2. Processo de avaliação
2.1. Requisitos de avaliação
2.1.1. Propósito da avaliação

O propósito da avaliação no plano de medição para a qualidade do software Vlibras é


verificar e garantir que o software atenda aos requisitos de qualidade estabelecidos. A
avaliação tem como objetivo principal identificar possı́veis falhas, deficiências ou oportu-
nidades de melhoria no sistema, a fim de proporcionar uma experiência satisfatória para os
usuários e promover a redução das desigualdades no acesso à informação e comunicação
para pessoas com deficiência auditiva.

Além disso, a avaliação também busca avaliar a usabilidade, a eficiência e a con-


fiabilidade do software Vlibras, a fim de garantir que ele seja uma ferramenta funcional
e acessı́vel para pessoas surdas ou com deficiência auditiva. Dessa forma, o propósito da
avaliação está diretamente relacionado ao ODS 10, pois busca promover a inclusão e a
igualdade de oportunidades para todos, independentemente de sua condição auditiva.

Em resumo, os aspectos de qualidade de avaliação serão Confiabilidade, Desem-


penho e Usabilidade , com o propósito de melhorá-los. As tabelas a seguir ilustram o
que está sendo abordado nesta seção
Objetivos de medição

Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Desempenho e eficiência
Do ponto de vista do/a Desenvolvedor
No contexto de Estudo da disciplina sobre qualidade de software

Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Usabilidade
Do ponto de vista do/a Usuário
No contexto de Estudo da disciplina sobre qualidade de software

Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Confiabilidade
Do ponto de vista do/a Desenvolvedor
No contexto de Estudo da disciplina sobre qualidade de software

2.1.2. Tipos de produtos a serem avaliados

No contexto do Plano de Medição para a qualidade do software Vlibras, é necessário


identificar os tipos de produtos que serão avaliados. Esses produtos incluem tanto os com-
ponentes do próprio software, quanto as interações e resultados obtidos pelos usuários
durante o uso da ferramenta. A seguir estão os principais tipos de produtos a serem avali-
ados:

Software Vlibras: O software em si é um dos principais produtos a serem avali-


ados. Isso inclui a análise de seu código-fonte, estrutura, arquitetura e funcionalidades.
Será necessário verificar se o software está sendo desenvolvido de acordo com as melho-
res práticas da engenharia de software e se atende aos requisitos de qualidade previamente
estabelecidos.

Interface de usuário: A interface de usuário do software Vlibras é outro produto


a ser avaliado. Isso envolve a usabilidade, a acessibilidade e a eficiência da interface, ga-
rantindo que os usuários tenham uma experiência intuitiva e fluida ao utilizar o software.

Tradução para a linguagem de sinais: Como o propósito principal do software Vli-


bras é traduzir falas para a linguagem de sinais, é essencial avaliar a qualidade e precisão
dessa tradução. Será necessário verificar se a tradução é adequada, compreensı́vel e fiel
às mensagens originais.

2.1.3. Modelo de qualidade

Para realizar uma avaliação efetiva da qualidade do software Vlibras, é necessário especi-
ficar um modelo de qualidade que estabeleça os critérios e as métricas a serem utilizadas.
No caso deste projeto, será adotado o modelo de qualidade ISO/IEC 25010, conhecido
como SQuaRE (Software Product Quality Requirements and Evaluation).
O modelo SQuaRE define oito caracterı́sticas de qualidade do software que serão
utilizadas na avaliação do Vlibras. Essas caracterı́sticas incluem funcionalidade, confia-
bilidade, usabilidade, eficiência, manutenibilidade, portabilidade, segurança e compati-
bilidade. Cada uma dessas caracterı́sticas é detalhada por subcaracterı́sticas e métricas
especı́ficas, permitindo uma análise mais abrangente e precisa da qualidade do software.
Ao adotar o modelo SQuaRE, será possı́vel estabelecer requisitos de avaliação cla-
ros e mensuráveis, garantindo uma avaliação mais objetiva e orientada por critérios bem
definidos. Isso facilitará a identificação de pontos fortes e oportunidades de melhoria no
software Vlibras, contribuindo para sua contı́nua evolução e para a promoção da redução
das desigualdades no acesso à informação e comunicação para pessoas com deficiência
auditiva.

2.2. Especificação da avaliação


Neste trabalho, será utilizado o GQM (Goal-Question-Metric) como abordagem para a
especificação das métricas de avaliação. O GQM proporcionará uma estrutura clara e
organizada para estabelecer os objetivos de medição, as perguntas a serem respondidas e
as métricas a serem coletadas. Por meio desse processo estruturado, será possı́vel garantir
que as métricas escolhidas sejam relevantes, alinhadas aos objetivos do trabalho e capazes
de fornecer informações precisas e significativas para a avaliação da qualidade do software
Vlibras. O GQM será uma ferramenta fundamental para orientar a coleta e análise dos
dados, permitindo uma compreensão abrangente e aprimorada da qualidade do software.
Segue abaixo o desenvolvimento do GQM.
Os objetivos da análise estão divididos em torno de duas partes, a qualidade do
aplicativo e a relação com a ODS 10 (Redução das desigualdades). Em relação à quali-
dade do processo, iremos verificar por meio de pesquisas na documentação do aplicativo,
testes no mesmo, como tem se é feito o processo do aplicativo e se de fato ele cumpre os
requisitos que se espera, dessa forma, avaliando se ele de fato possui uma ligação com a
ODS 10.
As seguintes questões serão abordadas, de acordo com os objetivos apresentados:

Questões:
- 1. Quão a acurácia é a tradução fornecida pelo Vlibras?
- 2. Como é o desempenho do aplicativo para fornecer uma tradução?

- 3. O aplicativo se mantém estável ao longo do tempo ou em condições estabele-


cidas?

- 4. Qual é a abrangência de gestos da lı́ngua de sinais que são suportados pelo


aplicativo?
- 5. Qual é o feedback dos usuários sobre a usabilidade do aplicativo?

2.2.1. Seleção das métricas

Segue abaixo a lista das métricas obtidas após realização do GQM.

Métricas
1 - Taxa de sucesso de Tradução
2 - Tempo médio de tradução
3 - Erros de tradução
4 - Gestos suportados
5 - Capacidade de aprendizagem
6 - Satisfação dso usuários
7 - Disponibilidade do aplicativo
Tabela 1. Lista de métricas

Segue abaixo a especificação das métricas obtidas como resultado do GQM.


Métrica 1 Taxa de sucesso de tradução
Tipo de entidade Processo
Nome da entidade Taxa de sucesso na tradução
Atributo Número de traduções corretas
Escala de medição Proporção
Tipo de medição Direta
Como coletar a Realize testes que fornecem uma entrada
métrica de texto ou voz em um idioma e veri-
fique se a tradução para a lı́ngua de si-
nais está correta. Registre o número to-
tal de traduções realizadas e o número de
traduções corretas.
Fórmula de cálculo Taxa de sucesso na tradução = Número
de traduções corretas / Número total de
traduções realizadas
Exemplo de resposta Em um teste com 100 traduções reali-
zadas, 90 foram corretas, resultando em
uma taxa de sucesso na tradução de 90%.
Tabela 2. Especificação da métrica 1

Métrica 2 Tempo médio de tradução


Tipo de entidade: Processo
Nome da entidade: Tempo médio de tradução
Atributo: Tempo em segundos
Escala de medição: Razão
Tipo de medição: Direta
Como coletar a Cronometre o tempo que o aplicativo leva
métrica: para fornecer uma tradução após receber
uma entrada de texto ou voz em um idi-
oma. Repita o processo várias vezes e cal-
cule a média do tempo em segundos.
Tabela 3. Especificação da métrica 2
Métrica 3 Erros de tradução
Especificação: Os erros de tradução podem ser identifi-
cados por meio de testes que verificam se
a tradução fornecida pelo aplicativo está
correta. Os erros podem ser registrados e
classificados com base em sua gravidade,
frequência e natureza.
Tipo de entidade: Processo
Nome da entidade: Erros de tradução
Atributo: Número de erros
Escala de medição: Razão
Tipo de medição: Direta
Como coletar a Realize testes que verificam se a tradução
métrica: fornecida pelo aplicativo está correta. Re-
gistre o número total de traduções realiza-
das e o número de erros encontrados.
Tabela 4. Especificação da métrica 3

Métrica 4 Gestos suportados


Tipo de entidade: Processo
Nome da entidade: Número de gestos suportados
Atributo: Número de gestos
Escala de medição: Razão
Tipo de medição: Direta
Como coletar a Contar quantos gestos da lı́ngua de sinais
métrica: o aplicativo é capaz de traduzir correta-
mente. Defina critérios claros para deter-
minar se um gesto é considerado supor-
tado ou não.
Tabela 5. Especificação da métrica 4
Métrica 5 Capacidade de aprendizagem
Tipo de entidade: Processo
Nome da entidade: Capacidade de aprendizagem
Atributo: Escala de satisfação (por exemplo, escala
de 1 a 5)
Escala de medição: Ordinal
Tipo de medição: Indireta
Como coletar a Realize pesquisas com os usuários do
métrica: aplicativo para coletar feedback sobre
a capacidade de aprendizagem do soft-
ware. Use perguntas fechadas com res-
postas de escalas de classificação para
quantificação da métrica.
Tabela 6. Especificação da métrica 5

Métrica 6 Satisfação dos usuários


Tipo de entidade: Processo
Nome da entidade: Feedback dos usuários
Atributo: Escala de satisfação (por exemplo, escala
de 1 a 5)
Escala de medição: Ordinal
Tipo de medição: Indireta
Como coletar a Realize pesquisas com os usuários do
métrica: aplicativo para coletar feedback sobre a
usabilidade do software e sua eficácia
na tradução de gestos da lı́ngua de si-
nais. Use perguntas fechadas com res-
postas de escalas de classificação para
quantificação da métrica.
Tabela 7. Especificação da métrica 6
Métrica 7 Disponibilidade
Tipo de entidade: Processo
Nome da entidade: Disponibilidade
Atributo: Numero de falhas
Escala de medição: Razão
Tipo de medição: direta
Como coletar a Realize testes de uso do sistema e verifi-
métrica: que se o sistema apresenta falhas ou len-
tidões que prejudiquem a expericência de
uso. Registre o número de falhas apresen-
tadas pelo sistema.
Tabela 8. Especificação da métrica 7

Desempenho e Confiabilidade Usabilidade


(Usuário)
Objetivos

eficiência (Desenvolvedor)
(Desenvolvedor)

Q2: Como é o Q3: O aplicativo se Q5: Qual é o


Q1: Qual a acurácia da Q4: Qual é a abrangência
desempenho do aplicativo mantém estável ao longo do feedback dos usuários
tradução fornecida pelo de gestos da língua de sinais
para fornecer uma tempo ou em condições sobre a usabilidade do
Vlibras? que são suportados pelo
Questões

tradução? estabelecidas? aplicativo?


aplicativo?

M1: Taxa de M2: Tempo médio M3: Erros de M4:Gestos M5:Capacidade de M6:Satisfação dos M7:Disponibilidade do
sucesso de
Métricas

de tradução tradução suportados aprendizagem usuários aplicativo


tradução

Figura 1. Diagrama GQM - Goal Metric Question

2.2.2. Nı́veis de pontuação para as métricas

Os nı́veis de pontuação foram definidos levando em consideração critérios de qualidade e


requisitos estabelecidos para cada métrica. Foram estabelecidos três nı́veis: alto, médio e
baixo. O nı́vel alto representa um desempenho considerado ideal, atendendo aos requisi-
tos de qualidade de forma excepcional. O nı́vel médio indica um desempenho satisfatório,
mas com alguma margem para melhorias. Já o nı́vel baixo representa um desempenho
abaixo dos padrões de qualidade desejados, indicando a necessidade de ações corretivas
e melhorias. Esses nı́veis de pontuação foram definidos com base em considerações so-
bre o desempenho, precisão, tempo de resposta, satisfação do usuário e outros critérios
relevantes para cada métrica especı́fica. Segue abaixo uma tabela que relaciona a métrica
com o requisito para que a mesma atinja cada nı́vel.

Métrica Nı́vel Alto Nı́vel Médio Nı́vel Baixo


Taxa de Su- 90% ou mais 70% - 90% Abaixo de 70%
cesso na
Tradução
Tempo Médio Menos de 2 se- 2 - 4,5 segundos Mais de 4,5 se-
de Tradução gundo gundos
Erros de Menos de 1% 1% - 5% Mais de 5%
Tradução
Gestos Supor- Todos os ne- Maioria dos ne- Alguns ne-
tados cessários cessários cessários
Capacidade de Média das res- Média das res- Média das res-
aprendizagem postas acima de 4 postas entre 2.5 e postas abaixo de
4 2.5
Satisfação dos Feedback posi- Feedback misto Feedback nega-
Usuários tivo da maioria da maioria tivo da maioria
Disponibilidade Nenhuma falha 1 falha encon- 2 falhas ou mais
do aplicativo encontrada trada encontradas
Tabela 9. Nı́veis de Pontuação das Métricas

2.2.3. Critérios para julgamento

Funcionalidade: Qualidade de cada requisito que vai ter que ser listado.
Usabilidade: Quão fácil é o uso do app, números de cliques para determinadas
funções.
Confiabilidade: Termos e condições de uso do app.

Desempenho: Tempo que o app demora para executar sua função principal.
Suporte: Dispositivos e versão de android para uso.

2.3. Projeto da avaliação


2.3.1. plano de avaliação

A) Objetivos de avaliação:
• Avaliar a qualidade e eficácia do aplicativo Vlibras na tradução de palavras para a
linguagem de sinais.
• Identificar pontos fortes e áreas de melhoria do aplicativo.
• Coletar feedback dos usuários para orientar o aprimoramento contı́nuo do Vlibras.
B) Métricas de avaliação:
• Taxa de sucesso na tradução: Medir a precisão do aplicativo em traduzir correta-
mente as palavras para a linguagem de sinais.
• Tempo médio de tradução: Avaliar a velocidade do aplicativo em fornecer as
traduções após receber a entrada de palavras.
• Erros de tradução: Identificar e quantificar os erros ocorridos nas traduções reali-
zadas pelo aplicativo.
• Número de gestos suportados: Verificar quantos gestos da linguagem de sinais o
aplicativo é capaz de traduzir corretamente.
• Capacidade de aprendizado: Coletar opiniões e percepções dos usuários sobre a
capacidade de aprendizado do aplicativo.
• Satisfação dos usuários: Coletar opiniões e percepções dos usuários sobre a
satisfação acerca da usabilidade e eficácia do aplicativo.
• Falhas ou lentidões de sistema: Identificar contextos e condições em que o sistema
não opera de forma adequada.
C) Procedimentos de Avaliação:
1 - Testes de precisão e funcionalidade:
• Realizar uma série de testes com um conjunto pré-determinado de palavras em
diferentes contextos.
• Registrar a taxa de sucesso na tradução, identificar possı́veis erros de tradução e
contabilizar o número de gestos suportados corretamente.
2 - Medição de tempo de tradução:
• Cronometrar o tempo necessário para que o aplicativo forneça as traduções após
receber a entrada de palavras.
• Calcular o tempo médio de tradução com base em múltiplas amostras.
3 - Coleta de feedback dos usuários:
• Realizar pesquisas e questionários com os usuários do aplicativo para coletar suas
opiniões e percepções.
• Utilizar perguntas fechadas para obter insights sobre a usabilidade, satisfação, di-
ficuldades encontradas e sugestões de melhoria.
D) Análise dos resultados:
• Analisar os dados coletados para cada métrica de avaliação.

• Comparar os resultados com os critérios de julgamento estabelecidos previamente.

• Identificar tendências, pontos fortes e áreas de melhoria do aplicativo.

E) Ações de Melhoria:

• Com base nos resultados da avaliação e no feedback dos usuários, realizar ajustes
e atualizações no aplicativo para aprimorar sua qualidade e eficácia.

• Priorizar as áreas identificadas como necessitando de melhorias e implementar


soluções para resolver os problemas encontrados.

2.4. Execução da avaliação

2.4.1. Obtenção das métricas

Métrica 1 Taxa de sucesso na tradução


Data: 24/06/2023
Ambiente de Coleta: Samsung Galaxy Note 10 Lite; Android
10
Como foi realizada: Foi realizado a tradução de 5 frases cur-
tas e um bloco de texto com 30 pala-
vras em média. Convidamos uma pessoa
com conhecimento em libras para validar
a tradução feita, e o número de palaras
traduzido de forma errado foi convertido
para porcentagem.
Resultado: 89%
Tabela 10. Especificação de coleta da métrica 1
Métrica 2 Tempo médio de tradução
Data: 24/06/2023
Ambiente de Coleta: Xiomi Redmi note 8; Android 10
Como foi realizada: Foram realizadas 25 traduções onde em
cada uma dela foi usado um cronômetro
para se obter o tempo de tradução, esse
tempo foi exposto em uma planilha com
algumas informações a mais sobre a
tradução, como sua categoria, essa cate-
goria está relacionada com o escopo da
tradução feita, são elas: palavra, sentença,
parágrafo e texto. A partir dos tempos de
tradução foi feito a média.
Resultado: 4,10628
Tabela 11. Especificação de coleta da métrica 2

Métrica 3 Erros de tradução


Data: 24/06/2023
Ambiente de Coleta: Samsung Galaxy Note 10 Lite; Android
10
Como foi realizada: Foi convidada uma pessoa com conheci-
mento em Libras para validar um bloco
de texto contendo 30 palavras.
Resultado: O 11%
Tabela 12. Especificação de coleta da métrica 3
Métrica 4 Gestos suportados
Data: 26/06/2023
Ambiente de Coleta: Xiomi Redmi note 7; Android 10
Como foi realizada: Foram realizadas traduções de três tex-
tos, sendo cada um deles compostos res-
pectivamente por 3203 palavras, 693 pa-
lavras e 360 palavras, simultaneamente
às traduções foi realizado a contagem do
número de gestos realizados e em seguida
comparado com o número de palavras que
haviam no texto.
Resultado: Maioria dos necessários
Tabela 13. Especificação de coleta da métrica 4

Métrica 5 Capacidade de aprendizagem


Data: 27/06/2023
Ambiente de Coleta: Grupos e comunidades de Libras
Como foi realizada: Foi elaborado e distribuido um Google
Forms como forma de pesquisa de campo
online, o formulário foi distribuido em
grupos de redes socias cujo o assunto
principal era o uso de Libras, o formulário
possui nove perguntas de cunho objetivo
onde o participante classificaria sua res-
posta de 1 à 5 com base na pergunta, o
forms ficou aberto dàs 7h às 18h do dia
27/06/2023.
Resultado: 3.91
Tabela 14. Especificação de coleta da métrica 5
Métrica 6 Satisfação dos usuários
Data: 27/06/2023
Ambiente de Coleta: Grupos e comunidades de Libras
Como foi realizada: Foi elaborado e distribuido um Google
Forms como forma de pesquisa de campo
online, o formulário foi distribuido em
grupos de redes socias cujo o assunto
principal era o uso de Libras, o formulário
possui nove perguntas de cunho objetivo
onde o participante classificaria sua res-
posta de 1 à 5 com base na pergunta, o
forms ficou aberto dàs 7h às 18h do dia
27/06/2023.
Resultado: Feedback positivo da maioria
Tabela 15. Especificação de coleta da métrica 5

Métrica 7 Disponibilidade do aplicativo


Data: 24/06/2023
Ambiente de Coleta: Xiomi Redmi note 8; Android 10
Como foi realizada: Foi realizado diferente testes com dife-
rentes quantidades de caracteres para ser
possı́vel observar a resposta da aplicação
com relação a carga que a mesma deve
operar e se manter estável.
Resultado: 1 falha encontrada
Tabela 16. Especificação de coleta da métrica 7

2.4.2. Comparação com os critérios

1) Taxa de sucesso na tradução - Após a realização dos testes realizados com a


tradução, todas as 5 frases fornecidas, cada uma com 4 palavras, foram traduzidas corre-
tamente e o bloco de texto obtivemos o total de 24 palavras traduzidas corretamente.
2) Tempo médio de tradução - A partir da análise do valor obtido é fácil observar
que o Vlibras obteve um nı́vel médio, pois seu tempo médio está entre 2 a 4,5 segundos,
essa métrica impacta diretamente o critério de desempenho da aplicação.
3) Erros de tradução - Com o resultado dos testes realizados, obtivemos uma
taxa de erro de 11%, em um número de 50 palavras traduzidas. O erro em questão consiste
no software soletrar palavras que existem no dicionário de libras.

4) Gestos suportados - Comparando com o critério de nivel alto, temos que o


valor obtido através dos testes não representa um valor suficiente para atingir-la, porém
levando em conta que o VLibras é capaz de lidar com uma alta injeção de textos e conti-
nuarmente traduzi-los sem uma perda sigificativa de palavras, podemos considerar que o
número de gestos suportados estão do nivel médio para cima.

5) Capacidade de aprendizado - Comparando com o critério estabelecido, ti-


nhamos que o nivel alto seria uma resposta de 4 para cima por parte do participantes da
pesquisa, porém o nivel atingido não consegue atingir tão métrica, ficando com 3,91 de
aprovação, resultando assim num niveo médio em relação à capacidade de aprendizado
do aplicativo.
6) Feedback dos usuários - O feedback dos usuário diz respeito justamente à
satisfação do usuário com o produto, no caso do VLibras estabelemos como critério ótimo
ou nivel alto, a resposta dada pela maioria dos usuário ao aplicativo, onde obtivemos tal
maiora na parte positiva, ou seja, a maioria dos usuários que participaram gostam ou
acham util o software VLibras.
7) Disponibilidade do aplicativo - A disponibilidade do aplicativo busca enten-
der como o aplicativo reage à situações diversar e que podem ocorrer no uso cotidiano por
parte do usuário, no caso do VLibras, definimos como critério ótimo ou alto um total de 0
falhas para o sistema, após a realização dos testes obtivemos 1 falha ao menos encontrada,
resultando num nivel médio de disponibilidade.

2.4.3. Julgar os resultados

1) Taxa de sucesso na tradução - Considerando o total de palavras testadas tradu-


zidas corretamente, o software possui um ótimo nı́vel de tradução, vale ressaltar também
a qualidade da tradução, que em questão também proporciona um nı́vel satisfátorio, pois,
os avatares traduzem em uma velocidade adequada para acompanhar, podendo ter a opção
de repetir quantas vezes quiser, como também, caso traduza outra frase, as frases ficam
guardadas no histórico.
2) Tempo médio de tradução - O valor obtido para essa métrica foi de 4,10628,
que é um valor de desempenho razoável para obtenção da tradução, porém a medida que
a complexidade e a quantidade de palavras no texto aumentam o tempo para se obter uma
tradução também aumenta bastante. Levando em conta o ambiente de coleta da métrica,
pode ser observado muita lentidão na tradução ou até mesmo travametos. Observando o
apêndice um da coleta de dados, podemos identificar que o Vlibras teve um desempenho
baixo para tradução de textos, isso condiz com a afirmação anterior.
3) Erros de tradução - Os erros de tradução não foram tão preocupantes quanto
os comentários sobre o software deixam a entender, em uma tradução de 50 palavras
apenas 6 foram traduzidas de maneira errada, mas isso se da ao fato da limitação do
software para alguns casos, como por exemplo, o contexto que a frase estiver inserida, a
permorface da tradução, esses casos podem causar erros, logo, o software tem um nı́vel
de erros baixos.
4) Gestos suportados - O resultado obtido para essa métrica foi de que a mai-
oria dos gestos necessários são suportados durante uma tradução, que é um resultado de
desempenho bom para obtenção da tradução, tendo como base os textos selecionados
podemos dizer que o VLibras não tem um limite de palavras que serão traduzidas, ele
realiza uma tradução parte por parte e não do texto como um todo. Após a tradução dos
três textos, foi realizado uma média entre as porcetagens obtidas por eles e foi constatado
um valor de 88% para o numero de gestos suportados, considerando que a tradução de
português para a libras não é de um para um, o resultado obtido pode ser considerado
satisfatório.

5) Capacidade de aprendizado - O valor obtido para a métrica foi de 3,91, isso


desempenha um valor médio para alto dentro do sistema, o VLibras é um aplicativo de
interface simples e que busca atingir um público alvo que necessita de tal peculiaridade
no sistema, então podemos dizer que dentro do que é esperado para o aplicativo, uma
nota de 3,91 não é algo considerado bom ou aceitável, logo o software pode e deve ser
aprimorado em relação à sua interface e usabilidade.

6) Satisfação dos usuários - Após o periodo de tempo de 11 horas, foram co-


letadas 38 respostas dos usuários referente à usabilidade do aplicativo VLibras, Foram
obtidos as seguintes médias para cada pergunta.

• 1. Qual é o seu nı́vel de satisfação geral com o aplicativo VLibras? (3,68)


• 2. Quão fácil é para você utilizar os recursos do aplicativo VLibras? (3,76)
• 3. Quão fácil é para você navegar pela interface do aplicativo VLibras? (3,97)
• 4. Quão bem o aplicativo VLibras atende às suas necessidades de comunicação
em Libras? (3,94)
• 5. Quão preciso você considera as traduções realizadas pelo VLibras? (4,18)
• 6. Quão intuitivo é o layout do aplicativo VLibras? (4,02)
• 7. Quão satisfeito você está com a experiência técnica e de funcionamento do
VLibras? (3,92)
• 8. Quão útil você acha o VLibras no seu dia a dia? (3,89)
• 9. Quão provável você é de recomendar o aplicativo VLibras para outras pessoas?
(4,10)
Como resultado final temos uma média de 3,94, que é de certa forma próxima a
métrica de 3,4 do aplicativo na playstore, resultando num feedback positivo da
maioria, ou seja, o aplicativo VLibras mais agrada do que desagrada aos usuários,
os gráficos correspondentes a cada pergunta podem ser encontrados na seção 5
deste artigo.
7) Disponibilidade do aplicativo - O VLibras pode ser comparado a qualquer
tradutor de linguagens existentes no mundo hoje, então a necessidade do aplicativo de
se manter no ar é de suma importancia, tanto online quanto offline, para seus usuários.
Quando temos erros de disponibilidade isso pode prejudicar os usuário em situações de
grande necessidade, gerando danos inesperados, logo a única falha encontrada, que é
quando o software tem de lidar com uma quantidade grande de palavras e caracter na
tradução, leva o nivel de disponibilidade do aplicativo para médio/baixo, pois mesmo
sendo apenas uma, pode ocorrer com uma frequência elevada.

3. Relatar Resultados da avaliação


3.1. Usabilidade
As subcaracterı́sticas de usabilidade são atributos especı́ficos que contribuem para a usa-
bilidade de um produto, sistema ou interface. Abaixo abalisamos as subcaracterı́sticas de
Usabilidade de acordo com a norma ISO 9241-11 para usabilidade.

3.1.1. Eficiência

Ao analisar a eficiência do software do VLIBRAS, foi possı́vel constatar, que muitos


usuários reclamaram de problemas de demora na tradução do que se pede, e de uma má
conexão com o servidor, gerando problemas na utilização do aplicativo.

Possı́veis melhorias:
• Investir nos servidores do aplicativo, para uma conexão mais rápida;
• Melhoria do software de tradução, para uma tradução mais coesa e mais rápida;

3.1.2. Facilidade de aprendizado

Ao analisar a facilidade de aprendizado no aplicativo de acordo com suas avaliações, con-


seguimos constatar que quem o utilizou não teve muitas dificuldades, por ser um software
que no geral possui poucas coisas na tela, apenas o necessário.
Possı́veis melhorias:
• Fornecer um tutorial mais detalhado;

3.1.3. Memorização

Ao analizar a subcaracterı́stica de memorização de acordo com suas avaliações, é possı́vel


encontrar elementos na inteface, que com o tempo são decoradas pelo usuários, não tor-
nando o programa difı́cil, mas, para pessoas utilizando o aplicativo pela primeira vez
podem surgir algumas dúvidas.

Possı́veis melhorias:

• Organizar a interface de modo mais didático ao usuário;


• Melhorar os ı́cones do aplicativo, para que fiquem melhor para a compreensão dos
usuários;

3.1.4. Minimização de erros

Ao analisar a subcaracterı́stica de minimização de erros de acordo com suas avaliações,


podemos notar que o sistema possui uma quantidade considerável de erros reportados
pelos usuários, gerando problemas na utilização do aplicativo.

• Construir maneiras de prevenir erros ou permitir a recuperação rápida em caso de


ocorrência de erros.

3.1.5. Satisfação subjetiva

Ao analisar a subcaracterı́stica de satisfação subjetiva do usuário, podemos analisar que


o grau de satisfação do usuário com o sistema como um todo, olhando a média das
avaliações do sistema, mostrando que o aplicativo tem muito a ser melhorado ainda
Possı́veis melhorias:

• Melhorar a estética da interface do aplicativo;


• Diminuir os problemas de demora da tradução;
• Melhorar a conexão com os servidores do aplicativo;

3.2. Confiabilidade

A confiabilidade é uma das caracterı́sticas de qualidade de software definidas pelo padrão


ISO/IEC 25010. Ela se concentra na capacidade do software em manter seu desempenho
esperado sob condições especı́ficas ao longo do tempo.
3.2.1. Tolerância a falhas

Ao analisar a subcaracterı́stica de confiabilidade, a tolerância a falhas de acordo com as


avaliações dos usuários, podemos perceber que o sistema ainda possui alguns problemas
no software, gerando problemas nas traduções, ao desempenho do aplicativo, o tornando
lento ou inutilizável em alguns momentos.

Possı́veis melhorias:
• Melhorar a tradução do aplicativo;
• Melhorar o desempenho do software;

3.2.2. Capacidade de recuperação

Ao analisar a subcaracterı́stica de confiabilidade, a capacidade de recuperação, podemos


perceber que o sistema não possui um sistema de backup de estado para quando à algum
problema no aplicativo, podendo gerar problemas.
Possı́veis melhorias:
• Criar um sistema de backup de estado para o VLIBRAS, caso ocorra algum pro-
blema no aplicativo.

3.2.3. Robustez

Ao analisar a subcaracterı́stica de confiabilidade, a robustez, de acordo com as avaliações


dos usuários, podemos ver que o sistema possui um problema com a relação com os
servidores, que quando são muito demandados, o aplicativo fica lento.
Possı́veis melhorias:
• Melhorar os servidores do aplicativo;

3.3. Discussão dos resultados


3.3.1. Pontos fortes

Após de avaliar as métricas e discutir em grupo, identificamos os seguintes pontos fortes


que merecem destaque:
• Acessibilidade: O VLibras promove a acessibilidade para pessoas surdas ou com
deficiência auditiva, permitindo que elas se comuniquem mais facilmente com
pessoas ouvintes por meio da tradução automática de texto para Libras. Isso pos-
sibilita uma interação mais inclusiva em diferentes contextos, como escolas, em-
presas, serviços públicos, entre outros.
• Tradução automática: O VLibras utiliza tecnologia de tradução automática para
converter textos escritos em português para a linguagem de sinais. Isso per-
mite que as pessoas surdas tenham acesso rápido e eficiente às informações e
comunicações em diferentes plataformas, como sites, aplicativos e mensagens
eletrônicas.
• Variedade de ferramentas: O VLibras oferece um conjunto abrangente de ferra-
mentas, incluindo o aplicativo para dispositivos móveis, teclado virtual em Libras
e o avatar animado. Essas diferentes opções permitem que os usuários escolham a
forma mais conveniente e adequada para se comunicar em Libras, de acordo com
suas necessidades e preferências.
• Integração web: Além do aplicativo, o VLibras também disponibiliza um plugin
para web, possibilitando a inclusão da ferramenta de tradução em sites e páginas
da internet. Isso amplia ainda mais o alcance da acessibilidade, permitindo que
pessoas surdas naveguem e interajam com conteúdos online de forma mais inde-
pendente.
• Contribuição para a inclusão: O VLibras desempenha um papel fundamental na
promoção da inclusão e no combate à exclusão digital de pessoas surdas ou com
deficiência auditiva. Ao facilitar a comunicação e o acesso à informação, o apli-
cativo contribui para que essas pessoas tenham mais oportunidades e participem
plenamente da sociedade.

3.3.2. Oportunidades de melhoria

Embora o aplicativo VLibras seja uma ferramenta valiosa para promover a inclusão e a
comunicação entre pessoas surdas e ouvintes, existem alguns aspectos que poderiam ser
considerados para melhorias futuras:
• Precisão na tradução: A tradução automática para Libras é desafiadora e pode
variar em precisão. É importante melhorar a precisão para uma comunicação mais
eficaz.
• Tempo de tradução: O aplicativo pode ter atrasos ao traduzir grandes blocos de
texto. É necessário otimizar o desempenho e garantir respostas rápidas.
• Avatares: Alguns avatares do VLibras têm limitações, como problemas de
espaçamento nos movimentos, afetando a qualidade da tradução. É recomendado
melhorar a modelagem desses avatares.
• Expansão do vocabulário: Para melhorar a utilidade do VLibras, é benéfico incluir
termos especializados em áreas como ciência, tecnologia e medicina.
• Atualizações regulares: O aplicativo deve ser atualizado com as mudanças na lin-
guagem de sinais e tecnologias de tradução automática. Isso aprimora a qualidade
das traduções e incorpora novos recursos.
• Interface intuitiva e amigável: Melhorias na interface do usuário tornam o aplica-
tivo mais fácil de usar e navegar.
• Suporte técnico e feedback dos usuários: Estabelecer um canal de suporte eficiente
e receber feedback dos usuários ajuda a resolver problemas e atender às expecta-
tivas dos usuários.

3.3.3. Recomendações

Após uma avaliação abrangente considerando todos os aspectos relevantes, algumas


recomendações podem ser feitas para aprimorar ainda mais o VLibras, visando atender às
necessidades e expectativas dos usuários:

• Melhoria na eficiência: É recomendável que a equipe de desenvolvimento con-


centre esforços na otimização do aplicativo, buscando aprimorar a velocidade e
a fluidez da tradução automática. Isso pode envolver a revisão e aperfeiçoamento
dos algoritmos e processos envolvidos, visando reduzir o tempo de processamento
e fornecer uma experiência mais ágil para os usuários.
• Ampliar o vocabulário: Levando em consideração a vasta natureza do dicionário
da Lı́ngua Brasileira de Sinais, é importante considerar a expansão contı́nua
do vocabulário disponı́vel no aplicativo. Nesse sentido, recomenda-se que se-
jam realizadas adições mensais no vocabulário, incluindo termos especializados
e atualizações de acordo com as demandas e necessidades dos usuários.
• Manutenção constante: A manutenção regular do aplicativo é essencial para garan-
tir um bom desempenho e funcionamento contı́nuo. Além de correções de bugs,
recomenda-se que a equipe de desenvolvimento realize atualizações periódicas,
abordando os problemas mencionados anteriormente, como a modelagem dos ava-
tares. Essas atualizações podem incluir melhorias nos movimentos, resolução de
inconsistências e aprimoramento geral da representação visual dos avatares.
• Tutorial de usabilidade: criar um tutorial detalhado para ajudar os usuários a utili-
zar todas as funcionalidades do VLibras de forma eficiente.

4. Considerações finais
O presente relatório tem como objetivo apresentar um plano de medição para o software
móvel VLibras, que consiste em uma ferramenta que promove acessibilidade para pes-
soas surdas ou com deficiência auditiva, permitindo a tradução de blocos de texto para
a Lı́ngua Brasileira de Sinais (Libras). Diante desse contexto, foram aplicadas técnicas e
metodologias com o intuito de quantificar e avaliar os aspectos relacionados à qualidade
do software. Ao término dessa avaliação, foi possı́vel identificar as falhas existentes no
software e desenvolver possı́veis soluções para as mesmas, resultando na elaboração de
um plano de medição abrangente e completo.

4.1. APÊNDICE A – Especificação operacional das métricas


No processo de definição das especificações operacionais das métricas do VLibras, foram
considerados diversos recursos e fontes de informação. Uma das fontes fundamentais
foi a análise dos comentários e avaliações dos usuários disponı́veis na Play Store, que
forneceram insights valiosos sobre a experiência de uso e as percepções dos usuários em
relação ao aplicativo.
Além disso, a documentação oficial do VLibras foi consultada, permitindo uma
compreensão mais aprofundada das funcionalidades, recursos e diretrizes de uso do apli-
cativo. Através desse material, foi possı́vel estabelecer uma base sólida para a definição
das métricas operacionais.
Outra fonte de informações foram artigos relacionados ao VLibras, que aborda-
ram aspectos técnicos, desenvolvimento e aprimoramento do aplicativo. A revisão des-
ses artigos contribuiu para uma visão mais abrangente do VLibras, bem como para a
identificação de possı́veis áreas de melhoria e considerações relevantes no contexto das
métricas operacionais.

Além das fontes externas, testes pessoais foram conduzidos diretamente no aplica-
tivo. Esses testes permitiram avaliar a usabilidade, a performance e a eficácia do VLibras
em diferentes cenários e contextos de uso. Os resultados desses testes forneceram dados
empı́ricos que complementaram as informações obtidas das demais fontes, possibilitando
uma análise mais abrangente das métricas operacionais.

4.2. APÊNDICE B - Tabela de contribuição da equipe

Membros Função Contribuição


Davi Lima Da Silva, Estudo e Implementação do projeto 20%
Delziron Braz De Lima, Estudo e Implementação do projeto 20%
João Henrique Marques Calzavara Estudo e Implementação do projeto 20%
Marcos Vinı́cius de Deus Estudo e Implementação do projeto 20%
Pablo Christianno Silva Guedes Estudo e Implementação do projeto 20%

4.3. APÊNDICE C – Relato de experiência dos estudantes

Davi Lima: Participar do projeto contribuiu bastante para por em prática os co-
nhecimentos adquiridos em classe e extraclasse, pude compreender melhor as ideias e
técnicas utilizadas dentro do ramo de qualidade de software, assim entendendo seu papel
fundamentalista no ciclo de vida de um software. Dentro do projeto tive uma participação
maior dentro do GQM e na coleta de dados para o levantamento das métricas utilizadas
para medição do software, dito isto, acredito que pude contribuir de forma satisfatória no
projeto.

Delziron Braz: Contribuir para o projeto foi bastante satisfatório, uma vez que,
para o desempenho de um trabalho em equipe, é necessário que todos se desenvolvam jun-
tos. Sendo assim, o projeto proporcionou uma ótima experiência e troca de informações,
possibilitando o esclarecimento das minhas dúvidas em relação à qualidade de software e
mensuração de componentes. Antes, eu pensava que não era possı́vel mensurar tais aspec-
tos, porém, durante a produção das atividades, obtive sucesso e desempenhei com êxito o
meu papel no grupo ao elaborar as seções e manter o documento atualizado.

João Henrique: Participei ativamente das discussões e debates do projeto com a


equipe, além de desempenhar um papel fundamental na produção do documento sobre o
aplicativo. Acredito que desempenhei diversas funções no projeto, mas meu foco princi-
pal foi no estudo sobre os conteúdos passados em sala, vendo onde se encaixariam me-
lhor na produção do documento final, além de sempre participar das discussões no grupo
sobre o andamento do projeto e atividades no geral. Em relação à matéria, o projeto me
proporcionou a oportunidade de esclarecer dúvidas e aprofundar meus conhecimentos ad-
quiridos em sala de aula sobre qualidade de software, aprimorando meus conhecimentos
sobre a área, O projeto também me fez refletir sobre a importância de um bom gerencia-
mento e planejamento em um projeto. Além disso, trabalhar com uma equipe em que eu
já conhecia a maioria dos participantes facilitou muito o processo, fazendo com que nos
expressasemos mais sobre os assuntos.
Marcos Vinı́cius: Em resumo, minha experiência na disciplina e no trabalho foi
bastante enriquecedora. Através da investigação e análise de um software real, pude apro-
fundar meu conhecimento sobre os diferentes aspectos da qualidade de software e apren-
der a aplicar técnicas e metodologias ensinadas em sala para avaliar e sugerir formas de
melhorar a qualidade do software investigado. Essa experiência certamente me preparou
para enfrentar desafios futuros no desenvolvimento de software e ressaltou a importância
da qualidade em todos os estágios do ciclo de vida de um projeto. Em alguns momentos
me senti um pouco perdido, porém o fato do trabalho ser em grupo, ajudou bastante, pois
sempre ia tirando as dúvidas por meio de discussões com os membros acerca do que era
necessário fazer, ou sobre como irı́amos fazer. No geral saio bem satisfeito da disciplina,
pois agora compreendo melhor a importância da qualidade de um software.

Pablo Christianno: Trabalhar no projeto colaborou muito para o melhor entendi-


mento do conteúdo ministrado nas aulas, colocando em prática o conhecimento adiquirido
e instigando os membros a discutirem, pesquisarem e colaborarem a cerca da avaliação
de qualidade. O projeto também teve suma importãncia no meu entedimento das etapas
anteriores a coleta dos dados em si, pude entender melhor como deve ser feita a escolha
das métricas e como essas podem ser definidas.

4.4. APÊNDICE D– Coleta de dados

Categoria Tempo de Tradução


Palavra 3.112
Palavra 2.552
Palavra 1.854
Sentença 3.518
Sentença 3.528
Sentença 3.230
Parágrafo 2.977
Parágrafo 3.571
Parágrafo 3.993
Parágrafo 3.036
Parágrafo 2.384
Texto 3.451
Texto 5.832
Texto 4.006
Texto 3.225
Texto 7.257
Texto 8.714
Texto 4.534
Texto 7.041
Texto 2.797
Texto 5.571
Texto 6.517
Texto 3.471
Texto 6.486
Tabela 17. Apêndice 1: Dados de coleta - Métrica 2
5. Figuras e legendas

5.1. Avatares

Figura 2. Avatar masculino


Figura 3. Avatar feminino
Figura 4. Avatar infantil

5.2. Comentários de Usuários e Bugs

Esta seção tem o intuito apresentar os comentários feito na plataforma Play Store que
foram mencionados nas seções 2 e 3 anteriormente.

Figura 5. Comentário 01
Figura 6. Comentário 02

Figura 7. Comentário 03

Figura 8. Comentário 04

Figura 9. Comentário 05
Figura 10. Erro nos movimentos de tradução do avatar infantil
5.3. Gráficos de pesquisa e avaliação do aplicativo

Figura 11. Gráfico 01

Figura 12. Gráfico 02


Figura 13. Gráfico 03

Figura 14. Gráfico 04


Figura 15. Gráfico 05

Figura 16. Gráfico 06


Figura 17. Gráfico 07

Figura 18. Gráfico 08


Figura 19. Gráfico 09

Figura 20. Gráfico 10


Figura 21. Gráfico 11
Figura 22. avaliação do app na play store
6. Referências
(KNUTH, 1984) and (BOULIC; RENAULT, 1991) and (SMITH; JONES, 1999) and (S.;
M., 2009) and (FELIPE et al., 2001) and (L.; C., 2002).

Referências
BOULIC, R.; RENAULT, O. 3d hierarchies for animation. In: MAGNENAT-
THALMANN, N.; THALMANN, D. (Ed.). New Trends in Animation and Visualization.
[S.l.]: John Wiley & Sons ltd., 1991.
FELIPE et al. Libras em Contexto: curso básico. 1th. ed. [S.l.]: MEC: SEESP, 2001.
KNUTH, D. E. The TEX Book. 15th. ed. [S.l.]: Addison-Wesley, 1984.
L., C. M.; C., C. T. Modelos de qualidade de software. [S.l.]: UNICAMP, 2002.
S., C.; M., D. GQM: Goal–Question-Metric. 1th. ed. [S.l.: s.n.], 2009.
SMITH, A.; JONES, B. On the complexity of computing. In: SMITH-JONES, A. B.
(Ed.). Advances in Computer Science. [S.l.]: Publishing Press, 1999. p. 555–566.

Você também pode gostar