Escolar Documentos
Profissional Documentos
Cultura Documentos
Davi Lima da Silva, Delziron Braz de Lima, João Henrique Marques Calzavara,
Marcos Vinı́cius de Deus, Pablo Christianno Silva Guedes1
1
Universidade de Brası́lia- (UnB)
St. Leste Projeção A - Gama Leste, Brası́lia - DF, 72444-240
unbgama@unb.br
Abstract. This work presents a Measurement Plan to evaluate the quality of the
Vlibras software, which translates speeches into sign language. Using the GQM
approach, metrics such as translation success rate, average translation time,
translation errors, among others, were established. The objective is to promote
social inclusion and reduce inequality, ensuring the effectiveness, reliability and
usability of the software. The results obtained will provide valuable insights to
improve user experience and contribute to a more inclusive society.
1. Introdução
O software Vlibras surge como uma solução capaz de ajudar a superar essas barrei-
ras ao possibilitar a tradução das falas para a linguagem de sinais, facilitando a interação
entre pessoas surdas e ouvintes. A qualidade desse software desempenha um papel crucial
para assegurar uma experiência eficiente e satisfatória para os usuários finais.
Diante desse contexto, a elaboração e execução de um Plano de Medição se torna
fundamental. Esse plano tem como objetivo principal quantificar e avaliar os aspectos
relacionados à qualidade do software Vlibras, com base em critérios e indicadores pré-
definidos. Através dessa análise criteriosa, será possı́vel identificar pontos fortes e opor-
tunidades de melhoria, visando garantir a eficácia e a confiabilidade do software.
2. Processo de avaliação
2.1. Requisitos de avaliação
2.1.1. Propósito da avaliação
Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Desempenho e eficiência
Do ponto de vista do/a Desenvolvedor
No contexto de Estudo da disciplina sobre qualidade de software
Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Usabilidade
Do ponto de vista do/a Usuário
No contexto de Estudo da disciplina sobre qualidade de software
Analisar Vlibras
Para o propósito de Entender e melhorar
Com respeito a Confiabilidade
Do ponto de vista do/a Desenvolvedor
No contexto de Estudo da disciplina sobre qualidade de software
Para realizar uma avaliação efetiva da qualidade do software Vlibras, é necessário especi-
ficar um modelo de qualidade que estabeleça os critérios e as métricas a serem utilizadas.
No caso deste projeto, será adotado o modelo de qualidade ISO/IEC 25010, conhecido
como SQuaRE (Software Product Quality Requirements and Evaluation).
O modelo SQuaRE define oito caracterı́sticas de qualidade do software que serão
utilizadas na avaliação do Vlibras. Essas caracterı́sticas incluem funcionalidade, confia-
bilidade, usabilidade, eficiência, manutenibilidade, portabilidade, segurança e compati-
bilidade. Cada uma dessas caracterı́sticas é detalhada por subcaracterı́sticas e métricas
especı́ficas, permitindo uma análise mais abrangente e precisa da qualidade do software.
Ao adotar o modelo SQuaRE, será possı́vel estabelecer requisitos de avaliação cla-
ros e mensuráveis, garantindo uma avaliação mais objetiva e orientada por critérios bem
definidos. Isso facilitará a identificação de pontos fortes e oportunidades de melhoria no
software Vlibras, contribuindo para sua contı́nua evolução e para a promoção da redução
das desigualdades no acesso à informação e comunicação para pessoas com deficiência
auditiva.
Questões:
- 1. Quão a acurácia é a tradução fornecida pelo Vlibras?
- 2. Como é o desempenho do aplicativo para fornecer uma tradução?
Métricas
1 - Taxa de sucesso de Tradução
2 - Tempo médio de tradução
3 - Erros de tradução
4 - Gestos suportados
5 - Capacidade de aprendizagem
6 - Satisfação dso usuários
7 - Disponibilidade do aplicativo
Tabela 1. Lista de métricas
eficiência (Desenvolvedor)
(Desenvolvedor)
M1: Taxa de M2: Tempo médio M3: Erros de M4:Gestos M5:Capacidade de M6:Satisfação dos M7:Disponibilidade do
sucesso de
Métricas
Funcionalidade: Qualidade de cada requisito que vai ter que ser listado.
Usabilidade: Quão fácil é o uso do app, números de cliques para determinadas
funções.
Confiabilidade: Termos e condições de uso do app.
Desempenho: Tempo que o app demora para executar sua função principal.
Suporte: Dispositivos e versão de android para uso.
A) Objetivos de avaliação:
• Avaliar a qualidade e eficácia do aplicativo Vlibras na tradução de palavras para a
linguagem de sinais.
• Identificar pontos fortes e áreas de melhoria do aplicativo.
• Coletar feedback dos usuários para orientar o aprimoramento contı́nuo do Vlibras.
B) Métricas de avaliação:
• Taxa de sucesso na tradução: Medir a precisão do aplicativo em traduzir correta-
mente as palavras para a linguagem de sinais.
• Tempo médio de tradução: Avaliar a velocidade do aplicativo em fornecer as
traduções após receber a entrada de palavras.
• Erros de tradução: Identificar e quantificar os erros ocorridos nas traduções reali-
zadas pelo aplicativo.
• Número de gestos suportados: Verificar quantos gestos da linguagem de sinais o
aplicativo é capaz de traduzir corretamente.
• Capacidade de aprendizado: Coletar opiniões e percepções dos usuários sobre a
capacidade de aprendizado do aplicativo.
• Satisfação dos usuários: Coletar opiniões e percepções dos usuários sobre a
satisfação acerca da usabilidade e eficácia do aplicativo.
• Falhas ou lentidões de sistema: Identificar contextos e condições em que o sistema
não opera de forma adequada.
C) Procedimentos de Avaliação:
1 - Testes de precisão e funcionalidade:
• Realizar uma série de testes com um conjunto pré-determinado de palavras em
diferentes contextos.
• Registrar a taxa de sucesso na tradução, identificar possı́veis erros de tradução e
contabilizar o número de gestos suportados corretamente.
2 - Medição de tempo de tradução:
• Cronometrar o tempo necessário para que o aplicativo forneça as traduções após
receber a entrada de palavras.
• Calcular o tempo médio de tradução com base em múltiplas amostras.
3 - Coleta de feedback dos usuários:
• Realizar pesquisas e questionários com os usuários do aplicativo para coletar suas
opiniões e percepções.
• Utilizar perguntas fechadas para obter insights sobre a usabilidade, satisfação, di-
ficuldades encontradas e sugestões de melhoria.
D) Análise dos resultados:
• Analisar os dados coletados para cada métrica de avaliação.
E) Ações de Melhoria:
• Com base nos resultados da avaliação e no feedback dos usuários, realizar ajustes
e atualizações no aplicativo para aprimorar sua qualidade e eficácia.
3.1.1. Eficiência
Possı́veis melhorias:
• Investir nos servidores do aplicativo, para uma conexão mais rápida;
• Melhoria do software de tradução, para uma tradução mais coesa e mais rápida;
3.1.3. Memorização
Possı́veis melhorias:
3.2. Confiabilidade
Possı́veis melhorias:
• Melhorar a tradução do aplicativo;
• Melhorar o desempenho do software;
3.2.3. Robustez
Embora o aplicativo VLibras seja uma ferramenta valiosa para promover a inclusão e a
comunicação entre pessoas surdas e ouvintes, existem alguns aspectos que poderiam ser
considerados para melhorias futuras:
• Precisão na tradução: A tradução automática para Libras é desafiadora e pode
variar em precisão. É importante melhorar a precisão para uma comunicação mais
eficaz.
• Tempo de tradução: O aplicativo pode ter atrasos ao traduzir grandes blocos de
texto. É necessário otimizar o desempenho e garantir respostas rápidas.
• Avatares: Alguns avatares do VLibras têm limitações, como problemas de
espaçamento nos movimentos, afetando a qualidade da tradução. É recomendado
melhorar a modelagem desses avatares.
• Expansão do vocabulário: Para melhorar a utilidade do VLibras, é benéfico incluir
termos especializados em áreas como ciência, tecnologia e medicina.
• Atualizações regulares: O aplicativo deve ser atualizado com as mudanças na lin-
guagem de sinais e tecnologias de tradução automática. Isso aprimora a qualidade
das traduções e incorpora novos recursos.
• Interface intuitiva e amigável: Melhorias na interface do usuário tornam o aplica-
tivo mais fácil de usar e navegar.
• Suporte técnico e feedback dos usuários: Estabelecer um canal de suporte eficiente
e receber feedback dos usuários ajuda a resolver problemas e atender às expecta-
tivas dos usuários.
3.3.3. Recomendações
4. Considerações finais
O presente relatório tem como objetivo apresentar um plano de medição para o software
móvel VLibras, que consiste em uma ferramenta que promove acessibilidade para pes-
soas surdas ou com deficiência auditiva, permitindo a tradução de blocos de texto para
a Lı́ngua Brasileira de Sinais (Libras). Diante desse contexto, foram aplicadas técnicas e
metodologias com o intuito de quantificar e avaliar os aspectos relacionados à qualidade
do software. Ao término dessa avaliação, foi possı́vel identificar as falhas existentes no
software e desenvolver possı́veis soluções para as mesmas, resultando na elaboração de
um plano de medição abrangente e completo.
Além das fontes externas, testes pessoais foram conduzidos diretamente no aplica-
tivo. Esses testes permitiram avaliar a usabilidade, a performance e a eficácia do VLibras
em diferentes cenários e contextos de uso. Os resultados desses testes forneceram dados
empı́ricos que complementaram as informações obtidas das demais fontes, possibilitando
uma análise mais abrangente das métricas operacionais.
Davi Lima: Participar do projeto contribuiu bastante para por em prática os co-
nhecimentos adquiridos em classe e extraclasse, pude compreender melhor as ideias e
técnicas utilizadas dentro do ramo de qualidade de software, assim entendendo seu papel
fundamentalista no ciclo de vida de um software. Dentro do projeto tive uma participação
maior dentro do GQM e na coleta de dados para o levantamento das métricas utilizadas
para medição do software, dito isto, acredito que pude contribuir de forma satisfatória no
projeto.
Delziron Braz: Contribuir para o projeto foi bastante satisfatório, uma vez que,
para o desempenho de um trabalho em equipe, é necessário que todos se desenvolvam jun-
tos. Sendo assim, o projeto proporcionou uma ótima experiência e troca de informações,
possibilitando o esclarecimento das minhas dúvidas em relação à qualidade de software e
mensuração de componentes. Antes, eu pensava que não era possı́vel mensurar tais aspec-
tos, porém, durante a produção das atividades, obtive sucesso e desempenhei com êxito o
meu papel no grupo ao elaborar as seções e manter o documento atualizado.
5.1. Avatares
Esta seção tem o intuito apresentar os comentários feito na plataforma Play Store que
foram mencionados nas seções 2 e 3 anteriormente.
Figura 5. Comentário 01
Figura 6. Comentário 02
Figura 7. Comentário 03
Figura 8. Comentário 04
Figura 9. Comentário 05
Figura 10. Erro nos movimentos de tradução do avatar infantil
5.3. Gráficos de pesquisa e avaliação do aplicativo
Referências
BOULIC, R.; RENAULT, O. 3d hierarchies for animation. In: MAGNENAT-
THALMANN, N.; THALMANN, D. (Ed.). New Trends in Animation and Visualization.
[S.l.]: John Wiley & Sons ltd., 1991.
FELIPE et al. Libras em Contexto: curso básico. 1th. ed. [S.l.]: MEC: SEESP, 2001.
KNUTH, D. E. The TEX Book. 15th. ed. [S.l.]: Addison-Wesley, 1984.
L., C. M.; C., C. T. Modelos de qualidade de software. [S.l.]: UNICAMP, 2002.
S., C.; M., D. GQM: Goal–Question-Metric. 1th. ed. [S.l.: s.n.], 2009.
SMITH, A.; JONES, B. On the complexity of computing. In: SMITH-JONES, A. B.
(Ed.). Advances in Computer Science. [S.l.]: Publishing Press, 1999. p. 555–566.