Você está na página 1de 29

UNIVERSIDADE ESTADUAL DO NORTE DO PARANÁ

CAMPUS LUIZ MENEGHEL - CENTRO DE CIÊNCIAS TECNOLÓGICAS


CIÊNCIA DA COMPUTAÇÃO

LUCAS RIBEIRO DOS REIS

FERRAMENTA INTERATIVA PARA TESTES DE


USABILIDADE A PARTIR DO MÉTODO ERGOLIST

Bandeirantes
2021

LUCAS RIBEIRO DOS REIS


FERRAMENTA INTERATIVA PARA TESTES DE
USABILIDADE A PARTIR DO MÉTODO ERGOLIST

Trabalho de Conclusão de Curso submetido à


Universidade Estadual do Norte do Paraná,
como requisito parcial para obtenção do grau
de Bacharel em Ciência da Computação.

Orientador(a): Prof. Daniela de Freitas


Guilhermino Trindade

Bandeirantes
2021
LUCAS RIBEIRO DOS REIS
FERRAMENTA INTERATIVA PARA TESTES DE
USABILIDADE A PARTIR DO MÉTODO ERGOLIST

Trabalho de Conclusão de Curso submetido à


Universidade Estadual do Norte do Paraná,
como requisito parcial para obtenção do grau
de Bacharel em Ciência da Computação.

COMISSÃO EXAMINADORA

______________________________________
Profª. Dra. Daniela de Freitas Guilhermino
Trindade
UENP – Campus Luiz Meneghel

______________________________________
Prof. Me. José Reinaldo Merlin
UENP – Campus Luiz Meneghel

______________________________________
Prof. Me. Thiago Adriano Coleti
UENP – Campus Luiz Meneghel

Bandeirantes, __ de__________ de 2021


RESUMO
O processo de avaliação de usabilidade é de suma importância para o
desenvolvimento de softwares pois permite que os desenvolvedores assimilem como
o usuário final está interagindo com o programa ou sistema desenvolvido (ROGERS,
S. P.). Entretanto, a diferença entre o nível de conhecimento técnico dos diferentes
tipos de usuários finais pode gerar dúvidas e dados imprecisos sobre a utilização da
plataforma em questão. Na tentativa de mitigar os efeitos negativos da disparidade
de afinidade com a tecnologia entre os clientes finais, tem-se utilizado inspeções de
usabilidade com checklists em conjunto com notas explicativas como uma forma de
apoio à engenharia de software. Neste sentido, este trabalho propõe uma nova
ferramenta de avaliação de usabilidade na linguagem de programação Java,
utilizando elementos gráficos e questionários em forma de checklist baseados no
modelo Ergolist. Tendo em vista que a avaliação de uso de programas e sistemas
são a base para que as aplicações estejam de acordo com as expectativas do
cliente, acredita-se que ao desenvolver uma nova ferramenta, com elementos
gráficos, perguntas específicas e espaço para anotações dos usuários, será possível
propiciar uma visão mais ampla das qualidades e problemas de um determinado
programa, sistema, ou página web.

Palavras-chave: Interação Humano Computador; Engenharia de software; Ergolist;


Avaliação de usabilidade; Java.
ABSTRACT

The usability evaluation process is of paramount importance for software


development as it allows developers to assimilate how the user is interacting with the
developed program or system (ROGERS, S. P.). However, the difference between
the level of technical knowledge of the different types of users can generate doubts
and inaccurate data about the use of the platform in question. In an attempt to
mitigate the negative effects of the disparity of affinity with technology among end
customers, usability inspections with checklists have been used in conjunction with
explanatory notes as a way of supporting software engineering. In this sense, this
work proposes a new usability evaluation framework in the Java programming
language, using graphic elements and questionnaires in the form of a checklist based
on the Ergolist model. Bearing in mind that the evaluation of the use of programs and
systems are the basis for the applications to be in accordance with the customer's
expectations, it is believed that when developing a new tool, with graphic elements,
specific questions and space for users' notes , it will be possible to provide a broader
view of the qualities and problems of a particular program, system, or web page.

Keywords: Human–computer interaction; Software Engineering; Ergolist; Usability


evaluation; Java.
LISTA DE FIGURAS

Figura 2.3.1.1 – Análise de um componente na abordagem EVADIS II (HARALD, R.,


REINHARD, O., 1993).............................................................................................................17
Figura 2.3.1.2 – Exemplo de aplicação da metodologia ISOmetrics........................................18
Figura 3.1 – Programa de avaliação disponível e pronto para o uso........................................20
Figura 3.2 – Interação do usuário com outros softwares..........................................................20
Figura 3.3 – Ações disponíveis para avaliação de software.....................................................20
Figura 3.4 – Tela inicial de avaliação.......................................................................................22
Figura 3.5 – Captura de tela e as opções de manipulação de imagem......................................22
Figura 3.6 – Seleção do aspecto a ser avaliado.........................................................................22
Figura 3.7 – Opções para acrescentar detalhes a descrição do usuário....................................23
Figura 3.8 – Seleção de critérios do Ergolist............................................................................24
Figura 3.9 – Critério Ergolist sendo avaliado...........................................................................24
Figura 3.10 – Tela pós análise de critério.................................................................................25
SUMÁRIO

1. Introdução 8
1.1 Contexto e delimitação do trabalho 9
1.2 Formulação do Problema 9
1.3 Objetivos 10
1.3.1 Objetivo Geral 10
1.3.2 Objetivos específicos 10
1.3.3 Justificativa 11
1.3.4 Metodologia 11
1.4 Organização do Trabalho 12
2. FUNDAMENTAÇÃO TEÓRICA 13
2.1 Usabilidade 13
2.2 Avaliação de usabilidade 15
2.3 Técnicas e métodos de avaliação 16
2.3.1 Ferramentas de avaliação de usabilidade 16
2.4 Ergolist 20
3. DESENVOLVIMENTO 21
4. CONSIDERAÇÕES FINAIS 27
REFERÊNCIAS 28
8

1. INTRODUÇÃO

A usabilidade mede a facilidade do usuário em completar objetivos


específicos com eficácia, utilizando um produto projetado para proporcionar
eficiência e satisfação ao usuário, em um contexto específico (NIELSEN, 1993). O
conceito de usabilidade é um aspecto importante na construção de sistemas de
informação e websites, visto que a primeira experiência do usuário é determinante
para o seu retorno (NIELSEN & LORANGER, 2007). A dificuldade de um usuário
encontrar o que deseja, de navegar nas páginas e menus ou perder tempo tentando
entender uma interface, afugenta esse usuário que procurará opções mais intuitivas
e agradáveis (PICANÇO, 2016).
Portanto, o presente trabalho busca ressaltar a importância da avaliação de
usabilidade, estudando as abordagens tradições e implementação de uma nova
ferramenta baseada na metodologia Ergolist, usada em análises de usabilidade e
que consiste em um checklist online que pode ser utilizado para realizar uma
inspeção da qualidade ergonômica da interface diretamente com o usuário do
sistema (ERGOLIST 2011).
Os objetivos do projeto foram elaborados após uma análise contextualizada, na
qual identificou-se problemas em relação a avaliação de usabilidade de sistemas de
informação computacional e como o feedback dos usuários finais é coletado a partir
do uso desses sistemas. Portanto, é necessário levar em consideração as
expectativas do cliente em relação ao software objetivando a satisfação máxima do
usuário.
A elaboração de um protótipo se faz necessária para definir os requisitos da
ferramenta a ser desenvolvida. O levantamento de requisitos é essencial para elevar
o nível de probabilidade de sucesso de um software que é geralmente medido pelo
grau que tal aplicação atende essas demandas (ROBERTSON, 2002).
Após a elaboração do protótipo, o desenvolvimento e teste da ferramenta serão
feitos em diferentes tipos de ambientes com o objetivo de coletar o máximo de
detalhes possíveis sobre como os usuários se sentiriam confortáveis ao usar a
plataforma. O projeto será desenvolvido na linguagem de programação Java, com o
auxílio da ferramenta de protótipo Pencil Project.
9

1.1 CONTEXTO E DELIMITAÇÃO DO TRABALHO

Objetivando validar as comparações entre abordagens e ferramentas, optou-se


por utilizar a abordagem de avaliação heurística em conjunto com a técnica de
prototipagem.
O método de avaliação de usabilidade heurística está atrelado ao feedback do
usuário em relação ao uso de um determinado software. A abordagem permite que
dados importantes sejam coletados durante a experiência do usuário com a interface
e está relacionado a cinco fatores: facilidade de aprendizagem, memorização,
prevenção de erros, eficiência e satisfação no uso (NIELSEN, J., 1993).
Em conjunto com o método de avaliação escolhido, a técnica de prototipagem
será usada como parâmetro para futuras melhorias da ferramenta a ser
desenvolvida. O conceito de protótipo consiste em uma versão inicial de um projeto,
reduzida proporcionalmente, contextualizada na solução de um sistema ou de parte
de uma solução de um sistema. Em sua maioria, os protótipos são construídos em
um curto período de tempo e aprimorado em várias iterações para testar e avaliar
sua eficácia ao solucionar um problema específico (DIAS, J. D. et. al., 2016).
Através de testes e aplicações práticas, a elaboração de protótipos provou-se
ser um método eficiente e econômico. A partir dos resultados gerados pela testagem
é possível identificar e corrigir problemas antes que a versão final do software seja
lançada (CYBIS, W., 2010).

1.2 FORMULAÇÃO DO PROBLEMA

Ao analisar ferramentas e métodos tradicionais do mercado através de artigos


e experimentos científicos em diferentes áreas de estudo, percebeu-se uma
defasagem de detalhes e contextualização nas análises de usabilidades, mesmo
com usuários especialistas atuando no projeto. Buscando minimizar o impacto
negativo da falta de detalhes e incrementar o feedback dos usuários finais,
abordagens como o checklist são usadas de maneiras diversas.
O checklist consiste em uma técnica de inspeção que oferece uma maneira de
abordagem rápida, fácil e de baixo custo para a avaliação de uma interface. Permite
com que usuários que não são especialistas em ergonomia identificarem problemas
menores e repetitivos (CYBIS; BETIOL; FAUST, 2010). Várias vantagens são
10

encontradas na utilização dessa técnica como: redução de custos de avaliação por


não precisar de especialistas; sistematização das avaliações; reduz a subjetividade
dos processos de avaliação e fornece um conhecimento ergonômico sobre o que
avaliar.
Diante do exposto, o presente estudo possui o objetivo de facilitar a interação
entre usuário, programas e desenvolvedores a partir de uma avaliação detalhada de
usabilidade. Para que tal objetivo seja cumprido, pretende-se desenvolver uma
ferramenta de avaliação com elementos gráficos e textuais em conjunto com a
técnica de avaliação checklist baseada na plataforma Ergolist. Pretende-se com a
ferramenta proposta, contribuir para o processo de desenvolvimento e manutenção
de sistemas computacionais.

1.3 OBJETIVOS

1.3.1 Objetivo Geral

O objetivo deste trabalho é desenvolver uma ferramenta a partir do método


ERGOLIST que envolva o feedback detalhado do usuário na avaliação de
usabilidade de sistemas de informação computacionais.

1.3.2 Objetivos específicos

Buscando atingir o objetivo geral do projeto foi elaborado alguns objetivos


específicos:
 Analisar o modelo Ergolist e as suas características;
 Propor um modelo de avaliação como base no Ergolist que permita a
interação dinâmica do usuário;
 Desenvolver a ferramenta para a coleta de dados;
 Avaliar o aprendizado e adaptação dos usuários em relação à ferramenta
desenvolvida;
 Coletar dados detalhados sobre a interação do usuário no teste de
usabilidade proposto.
11

1.3.3 Justificativa

Durante o processo de desenvolvimento de software, são coletadas


informações sobre a experiência dos usuários ou potenciais experiências dos
usuários ao interagirem com um protótipo, um sistema de computador, um
componente de um sistema de computador, uma aplicação ou um artefato de
design, como um esboço de tela. A avaliação foca tanto a usabilidade do sistema
quanto a experiência do usuário ao interagir com o sistema (ROGERS, 2013). A
opinião dos usuários de um determinado sistema é crucial para a melhora e
evolução do mesmo. Portanto, a avaliação de usabilidade se faz essencial para que
os desenvolvedores e responsáveis pelo programa possam ter uma visão clara de
como lidar com as funcionalidades do software, público alvo, usuários finais e suas
perspectivas. O grande desafio do mercado de tecnologia é fazer com que os
usuários a desempenhem tarefas úteis de maneira fácil e prática. Objetivando
facilitar o cumprimento de tarefas dentro do software, normalmente são usadas
formas de avaliar como o usuário final usufrui dos recursos disponibilizados pelo
software. Entretanto, com a diversidade de opiniões e problemas encontrados de
acordo com o conhecimento técnico do usuário final, percebeu-se que as
abordagens tradicionais não abordam os detalhes de forma na qual permita que os
desenvolvedores consigam feedbacks altamente detalhados (ZILSE, 2003).
Diante do exposto, se faz necessário formar a junção entre as avaliações de
usuários inexperientes e especialistas de forma com que a ferramenta a ser
desenvolvida busque uma maior eficiência e riqueza de detalhes relacionados ao
uso do software em questão. Será adotada a abordagem e interação onde o
usuário poderá avaliar determinado software em tempo real durante a utilização do
mesmo sem que seu uso seja comprometido.

1.3.4 Metodologia

O presente estudo caracteriza-se como uma pesquisa exploratória com


abordagem qualitativa. A pesquisa exploratória é uma metodologia é adotada e
casos nos quais é necessário definir o problema com maior precisão e identificar
características exclusivas e essências ou obter dados adicionais antes que se possa
12

desenvolver uma abordagem. A pesquisa exploratória procura explorar um problema


ou uma situação para prover critérios e compreensão (BARROS & LEHFELD, 1990).
Já a abordagem qualitativa descreve a complexidade de determinado problema,
analisar a interação de certas variáveis, assim como compreender e classificar
processos dinâmicos vivenciados por grupos sociais. As técnicas qualitativas focam
a experiência das pessoas e seu respectivo significado em relação a eventos,
processos e estruturas inseridos em cenários sociais (SKINNER; TAGG;
HOLLOWAY, 2000).

1.4 ORGANIZAÇÃO DO TRABALHO

O restante do trabalho está organizado da seguinte forma. A Seção 2


apresenta a fundamentação teórica sendo que, na subseção 2.1 é abordado o
conceito de avaliação; na subseção 2.2, é explicado os diferentes tipos de usuários
finais de um software assim como sua importância para o processo de
desenvolvimento do mesmo; na subseção 2.3 são os principais pontos acerca do
conceito de usabilidade. Já na subseção 2.4 os principais métodos de avaliação são
destacados. A Seção 3 mostra o desenvolvimento do novo ferramenta. A Seção 4 é
referente às considerações finais.
13

2. FUNDAMENTAÇÃO TEÓRICA

Neste tópico são abordados e explicados alguns temas que serviram de


base para o estudo e desenvolvimento do trabalho.

2.1 USABILIDADE

O conceito de usabilidade foi estabelecido com uma ramificação da


Ergonomia focada para as interfaces computacionais, porém foi difundido para
outros contextos. De modo geral, a usabilidade é aplicada quando usuários usam
sistemas para cumprir seus objetivos em um determinado contexto de operação
(GAMA, L. N. et al, 2019).
A usabilidade mede a facilidade do usuário em completar objetivos
específicos com eficácia, utilizando um produto projetado para proporcionar
eficiência e satisfação ao usuário, em um contexto específico (NIELSEN, 1993).
Existem cinco componentes de qualidade da usabilidade, aprendibilidade, eficiência,
memorabilidade, erros e satisfação (PICANÇO, 2016). É um aspecto importante na
construção de sistemas de informação e websites, visto que a primeira experiência
do usuário é determinante para o seu retorno (NIELSEN & LORANGER, 2007).
A dificuldade de um usuário encontrar o que deseja, de navegar nas páginas
e menus ou perder tempo tentando entender uma interface, afugenta esse usuário
que procurará opções mais intuitivas e agradáveis (PICANÇO, 2016). Devido às
dificuldades identificadas durantes testes de usabilidade, os layouts de uma interface
gráfica podem ser modificados e ajustados para facilitar a interação do usuário,
tornando a ferramenta cada vez mais viável e aprimorada em sua versão final. A
área de estudo denominada como Interação Homem-Máquina abrange as
informações coletadas a partir de usos práticos e feedbacks provenientes do usuário
objetivando minimizar a taxa de dificuldade de interação com o software a ser
analisado (SALES, R. O., 2012).
Como foi mencionado nesta seção, a área de atuação da usabilidade está
em constante crescimento. Um dos setores beneficiados por essa abrangência é o
de desenvolvimento web, pois a facilidade de acesso e simplificação da interação
14

em sites é determinante para que o usuário escolha utiliza-lo. Alguns aspectos que
influenciam diretamente em uma boa usabilidade de sites são:
 Facilidade de aprendizado do sistema;
 Facilidade de uso;
 Satisfação do usuário;
 Flexibilidade;
 Produtividade.
Portanto, a usabilidade pode ser estabelecida como o potencial de uso de um
software baseado nos requisitos e objetivos dos usuários, tendo como principal
parâmetro a facilidade de interação (SOUSA, C. S., 2019). Em conjunto com a
avaliação de interação:
[...]a usabilidade permite especialmente que os produtos sejam aprimorados
para que o usuário alcance facilmente suas metas de interação, abordando
a forma como o usuário se comunica com o sistema e como a tecnologia
responde à interação do usuário. A avaliação verifica a qualidade da
interface e utiliza métodos para agrupar requerimentos, desenvolver e testar
protótipos, avaliar projetos alternativos, analisar problemas de usabilidade e
propor soluções e testes com usuário [...] (GAMA, L. N. et al, 2019).

Mediante os diferentes perfis de usuários, é necessário garantir que


softwares cumpram os requisitos de usabilidade. Problemas de usabilidade estão
comummente relacionados a interface gráfica da aplicação. Portanto, é fundamental
que projetistas conheçam o publico do sistema e o contexto em que será utilizado,
pois o software deverá ser pensado de forma em que o usuário possa utiliza-lo para
alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto
específico de uso (GAMA, L. N. et al, 2019). Frente ao que foi abordado nessa
seção, o entendimento de como fazer uma avaliação de usabilidade é essencial para
melhor compreendimento dos itens abordados.
15

2.2 AVALIAÇÃO DE USABILIDADE

O objetivo dessa fase é verificar se o usuário final consegue interagir com a


aplicação de forma que consiga cumprir seus objetivos, além de identifica e tratar as
dificuldades encontradas ao longo das interações analisadas (SALES, R. O., 2012).
A análise é feita a partir da coleta informações sobre a experiência dos usuários ou
potenciais experiências dos usuários ao interagirem com um protótipo, um sistema
de computador, um componente de um sistema de computador, uma aplicação ou
um artefato de design, como um esboço de tela. A avaliação foca tanto a usabilidade
do sistema quanto a experiência do usuário ao interagir com o sistema (ROGERS,
2013). Designers podem se concentrar em problemas reais e nas necessidades de
diferentes grupos de usuários em vez de debater do que cada um gosta ou não. A
avaliação também permite que que os problemas sejam corrigidos antes de o
produto ir para mercado. As avaliações que são feitas para medir o sucesso de um
produto acabado são conhecidas como avaliações somativas (NIELSON, 1993).
A avaliação da usabilidade de um sistema interativo deve verificar o
desempenho (eficácia e eficiência) da interação homem-computador e obter indícios
do nível de satisfação do usuário, identificando problemas de usabilidade durante a
realização de tarefas específicas em seu contexto de uso. Um problema de
usabilidade pode ser definido como qualquer característica, observada em
determinada situação, que possa retardar, prejudicar ou inviabilizar a realização de
uma tarefa, aborrecendo, constrangendo ou traumatizando o usuário (DIAS, C.,
2013 apud ROSA, M., VERAS, M., 2013).
A identificação de problemas se faz essencial, porém alguns cuidados
devem ser tomados para a eficiência do todo o processo:
O teste de usabilidade é feito executando experimentos com os usuários, e
o valor de cada um destes fatores é medido, para tentar obter alguns fatores
de interesse da usabilidade. Para isto, toma o usuário como base em seus
estudos, e com isto o design conclui-se os valores alcançados são
satisfatórios ou não. Durante o desenvolvimento do sistema estes valores
são medidos e usados para determinar se as metas do sistema já foram
alcançadas. É importante ressaltar que os valores definidos como objetivos
devem ser valores realistas, do contrário alcançá-los pode se tornar uma
tarefa impossível ou fazer com que o custo de atingi-las seja maior que o
benefício (FELIPE, G. F. et al, 2020).
Pesquisas que foram feitas utilizando diferentes metodologias de avaliação,
apontaram que os sistemas, em geral, encontraram dificuldades em ter boas
16

pontuações em relação à usabilidade e, no entanto, foram consideradas ferramentas


relevantes para cumprir os objetivos para os quais foram desenvolvido, indicando
que esta é uma pergunta unanimemente difícil para os avaliadores (FELIPE, G.F. et
al, 2020). A complexidade relacionada ao processo de desenvolvimento do
programa, aliada à necessidade de construir sistemas de alta qualidade, levou a
uma das preocupações centrais dos profissionais e pesquisadores objetivando
aprimorar a confiabilidade. Para que sistemas computacionais possam ser utilizados
com rapidez e confiablidade é necessário que esses sistemas sejam eficientes em
relação ao objetivo do usuário final. Os testes de desempenho simulam virtualmente
o uso de dados para avaliar a capacidade do sistema de gerenciar usuários e
expectitavas. Com o feedback dos usuários é possível aprimorar cada vez mais a
interação com a aplicação em questão (FELIPE, G. F. et al, 2020).

2.3 TÉCNICAS E MÉTODOS DE AVALIAÇÃO

Nesta seção abordaremos diferentes métodos de avaliação objetivando


compreende-los melhor, assim como analisar cada abordagem buscando os pontos
positivos e negativos de cada uma.

2.3.1 Ferramentas de avaliação de usabilidade

Nesta seção abordaremos algumas das ferramentas mais usadas no mercado


para avaliação de usabilidade.
O EVADIS II é uma técnica resultante de um conjunto de métodos avaliação,
possibilitando a análise e coleta de feedback textual de determinadas tarefas
estipuladas pelo avaliador a partir de questionários curtos. É uma abordagem
originalmente criada para ser usada na educação e no meio corporativo, sendo seus
usuários típicos desenvolvedores, fornecedores de software de escritório e
consultores de gestão (HARALD, R., REINHARD, O., 1993).
O software de avaliação foi implementado na linguagem de programação
Clippern, e necessita ser executado em dois computadores compatíveis com um dos
sistemas operacionais construídos pela IBM (International Business Machines
Corporation.
17

Para a avaliação, dois computadores são necessários: um para o software ser


avaliado e um para o software de avaliação. O EVADIS II apresenta todos os itens
de teste na tela na sequência da tarefa de teste. Como mostrado no exemplo da
figura 1, o avaliador deverá inserir as respostas referentes ao critério e componente
em questão, uma classificação, a explicação de sua classificação e anotações caso
o profissional julgue necessário.

Component 421: Distribution of work Test item No.: 421.05.10


Criteria 05: Autonomy
Question: Can the employee decide in which manner, in which order
and with witch methods and tools he or she can accomplishh his or her
tasks?
Reference: Bonitz, 1989
Answer options: ( ) no ( ) sometimes ( ) yes
Notes:_____________________

Figura 2.3.1.1 – Análise de um componente na abordagem EVADIS II (adaptado de HARALD, R.,


REINHARD, O., 1993)

Após a avaliação, a ferramenta avaliadora calcula uma média para cada


critério ergonômico, para então poder classificar os itens de teste por componentes
técnicos ou por critérios ergonômicos.
O EVADIS II possui um déficit de detalhes e possibilidades de avaliação pois
objetiva o uso comercial e com usuários especialistas. O nível técnico da abordagem
pode causar problemas em relação à interação do avaliador. Apesar das perguntas
se assemelharem com a estrutura usada no Ergolist, os questionários do EVADIS II
são mais técnicos, o que dificultaria o uso da abordagem em cenários onde
especialistas não são consultados. Durante o levantamento bibliográfico, percebeu-
se uma falta de materiais e estudos disponíveis para treinamento sobre o EVADIS II,
o que pode acarretar em dificuldades na aplicação do mesmo.
ISOmetrics é um método de avaliação que usa a abordagem de questionário
para estabelecer suas métricas. Consiste em analisar respostas provenientes de
determinadas ações onde o usuário deverá atribuir uma nota de 1 (não concordo
predominantemente) a 5 (concordo predominantemente) ou assinalar “nenhuma das
opções” para que as respostas sejam mais precisas (BARTEL, A., 2017). A figura 2
18

mostra um exemplo de avaliação feita com ISOmetrics, onde o critério avaliado é o


nível de previsibilidade de resposta do sistema computacional que está sendo
avaliado:

Figura 2.3.1.2 – Exemplo de aplicação da metodologia ISOmetrics (BARTEL, A. Numbers, Numbers, Numbers,
2017)

O formato do ISOmetrics é bastante simples e intuitivo tanto para o usuário


com baixo conhecimento técnico, assim como o usuário com alto nível de
conhecimento técnico. Porém, as respostas são bem limitadas e abstratas, visto que
não existe espaço para anotações e considerações finais do usuário, fazendo com
que o nível de detalhamento do feedback seja mais baixo quando comparado com
outras abordagens de avaliação de usabilidade como o Ergolist, resultando em uma
margem de erro quanto a análises imprecisas ou incompletas.
Já o método de avaliação Eye Tracking é uma técnica que, com ajuda de
componentes eletrônicos e softwares específicos, permite que os avaliadores sigam
a direção dos movimentos oculares de uma pessoa ao executar determinadas
tarefas no contexto a ser analisado. Dentre os dados os coletados estão:
 A ordem na qual o usuário visualizou cada ponto;
 Tempo de fixação de olhar;
 A ordem que as ações foram tomadas pelo usuário;
 Tempo gasto em cada ação.
 Mapas de calor sinalizando as áreas mais olhadas;
 Gráficos.
19

Uma das premissas do Eye Tracking é que a coleta de dados feita não seja
invasiva ou intrusiva para o usuário, tendo um ambiente controlado ou realista. É um
método que permite o uso no âmbito comercial, educacional ou experimental,
trazendo dados relevantes para a análise da tecnologia a ser avaliada. Apesar de
sua eficiência, a necessidade do uso de equipamentos específicos para a coleta de
dados pode dificultar a aplicação da técnica.
Perante o exposto nessa seção, analisou-se algumas dificuldades presentes
nas técnicas analisadas:
 EVADIS II – falta de detalhes nas respostas e falta de materiais
científicos facilmente acessáveis.
 ISOmetrics – falta de precisão nos resultados e respostas abstratas.
 Eye Tracking – dificuldade quanto ao acesso de componentes
tecnológicos usados na técnica.
Dentre as principais técnicas de avaliação de usabilidade, o checklist se
sobressai sobre as demais em determinados contextos. Consiste em uma técnica de
inspeção que oferece uma maneira de abordagem rápida, fácil e de baixo custo para
a avaliação de uma interface. Permite com que usuários que não são especialistas
em ergonomia identificarem problemas menores e repetitivos (CYBIS; BETIOL;
FAUST, 2010). Várias vantagens são encontradas na utilização dessa técnica como:
redução de custos de avaliação por não precisar de especialistas; sistematização
das avaliações; reduz a subjetividade dos processos de avaliação e fornece um
conhecimento ergonômico sobre o que avaliar.
Na próxima seção abordaremos o Ergolist, um método baseado na abordagem
checklist. Buscando minimizar os problemas encontrados nas técnicas citadas, o
presente trabalho irá utilizar o questionário Ergolist como apoio, uma vez que o
mesmo é baseado na técnica checklist com pontos relevantes para a proposta do
projeto.
20

2.4 ERGOLIST

A metodologia checklist possui aplicações e ferramentas diferentes para seu


uso. Entre os mecanismos mais utilizados está a plataforma Ergolist, que consiste
em um checklist online que pode ser utilizado para realizar uma inspeção da
qualidade ergonômica da interface com o usuário do sistema. Buscando a maior
riqueza de detalhes, os critérios usados no Ergolist são: concisão, mensagens de
erro, flexibilidade, legibilidade, agrupamento por formato, significados, proteção
contra erros, experiência do usuário, presteza, controle do usuário, consistência,
agrupamento por localização, correção de erros, densidade informacional, feedback,
compatibilidade, ações explícitas e ações mínimas necessárias (ERGOLIST 2011).
Cada um dos dezoito critérios conta com um determinado número de perguntas
onde o usuário poderá assinalar os fatores presentes na aplicação a ser avaliada. A
figura 1 mostra algumas das perguntas presentes no critério de presteza.

Figura 2.3.1.1 – Questões sobre o critério de presteza (ERGOLIST 2011)

Como demonstrado na figura 1, as perguntas possuem um padrão de


opções de respostas, sendo possível assinalar “Sim”, “Não”, “Não aplicável” e “Adiar
21

Respostas” e adicionar comentários sobre o item avaliado. O Ergolist pode ser


usado por usuários tanto por usuários de baixo nível de conhecimento técnico, assim
como usuários especialistas. Entretanto, devido principalmente ao pouco número de
respostas, a plataforma Ergolist não apresenta um alto nível de detalhamento dos
itens analisados.

3. DESENVOLVIMENTO

Nesta seção, abordaremos o progresso do desenvolvimento da ferramenta e


seus detalhes técnicos.
Primeiramente foi realizada uma revisão de literatura com alguns temas e
conceitos relevantes a este trabalho, principalmente relacionados à avaliação de
usabilidade, suas técnicas e modelos. Na sequência foi desenvolvido um protótipo
da ferramenta a ser desenvolvida, a fim de auxiliar a identificação de seus requisitos.
Para as etapas iniciais do trabalho optamos por utilizar o Pencil Project, uma
ferramenta open-source gratuita focada em prototipagem. As figuras a seguir
mostram as interfaces gráficas concebidas.
A figura 1 mostra a aplicação em seu estado ocioso, onde o usuário poderá
analisar parte de sua tela a qualquer momento.
22

Figura 3.2 - Programa de avaliação disponível e pronto para o uso

O ícone do programa minimizado na barra de tarefas facilita e agiliza a interação


do usuário com a ferramenta de avaliação uma vez em que poderá acessa-la a
qualquer momento sem atrapalhar outras atividades. A figura 2 simula a interação do
usuário com um software que se deseja avaliar. Para esse exemplo, foi usado o
Discord, um software de comunicação.
23

Figura 3.2 – Interação do usuário com outros softwares

A partir do clique duplo do usuário, a ferramenta de avaliação de usabilidade


disponibiliza a opção de iniciar o processo de análise, de avaliar outro critério ou
funcionalidade, ou finalizar a avaliação. A disponibilidade dos botões mudará ao
longo do progresso da avaliação, sendo possível analisar um software por vez. A
figura 3 mostra como seria a interface gráfica da ferramenta.

Figura 3.3 – Ações disponíveis para avaliação de software

A figura 4 mostra algumas instruções ao usuário para iniciar o processo de


avaliação, facilitando a compreensão sobre o uso da ferramenta.

Figura 3.4 – Tela inicial de avaliação


24

Ao iniciar o processo avaliativo, uma captura de tela é realizada, e a partir da


imagem o usuário poderá delimitar a área a ser analisada. A figura 5 mostra as
opções disponíveis para a manipulação da imagem.

Figura 3.5 – Captura de tela e as opções de manipulação de imagem

A figura 6 simula a seleção retangular de um aspecto do software avaliado.


A partir da seleção delimitada pelo retângulo azul, o usuário poderá fazer desenhos
e anotações indicando e descrevendo os aspectos a serem avaliados, como
mostrado na figura 7.

Figura 3.6 – Seleção do aspecto a ser avaliado


25

Figura 3.7 – Opções para acrescentar detalhes a descrição do usuário

Após os elementos gráficos serem adicionados, o usuário poderá nomear a


funcionalidade do aplicativo que está sendo avaliada naquele momento, além de
selecionar qual dos critérios do Ergolist a funcionalidade será contextualiza, como é
mostrado na figura 8.

Figura 3.8 – Seleção de critérios do Ergolist

A figura 9 mostra como seria a avaliação de software caso o critério Ergolist


a ser avaliado fosse o de “Experiência do usuário”.
26

Figura 3.9 – Critério Ergolist sendo avaliado

Após a análise contextualizada do critério escolhido, o usuário poderá optar por


finalizar a avaliação ou continuar a mesma, como é mostrado na figura 10. Além
dessas opções, o usuário poderá deixar o aplicativo em modo ocioso novamente na
barra de tarefas.

Figura 3.10 – Tela pós análise de critério

O relatório a ser gerado contará com as respostas, anotações e imagens


que o usuário gerou durante o processo de avaliação do software em questão. O
formato do relatório e opções de exportação e geração de documentos a partir do
relatório serão discutidas nas próximas etapas do desenvolvimento do projeto.
27

4. CONSIDERAÇÕES FINAIS

O presente trabalho buscou por meio de revisões literárias destacar a


importância da avaliação de usabilidade com base no feedback dos usuários finais,
além de propor uma nova ferramenta para análise e avaliação com base no método
Ergolist. Ao analisar ferramentas e métodos tradicionais do mercado, percebeu-se
uma defasagem de detalhes e contextualização nas análises de usabilidades,
mesmo com usuários especialistas atuando nos projetos. Partindo desse
pressuposto, a ferramenta proposta tem como objetivo aprimorar a interação do
usuário com os recursos gráficos presentes no software desenvolvido. Nas próximas
etapas do projeto abordaremos o desenvolvimento da ferramenta proposta e as
funcionalidades implementadas.
28

REFERÊNCIAS

BARROS, A. J. P.; LEHFELD, N. A. S. Projeto de pesquisa: proposta metodológicas.


Petrópolis: Vozes, 1990.

BARTEL, A. Numbers, Numbers, Numbers - User Experience Engineering Sun


Microsystems, Inc 1, 2017.

CARVALHO, L.R., ÉVORA, Y.D.M,. ZEM-MASCARENHAS, S.H. Assessment of the


usability of a digital learning technology prototype for monitoring intracranial
pressure. Rev. Latino-Am. Enfermagem. 2016;24:e2777.

CYBIS, W.; BETIOL, H.; FAUST, R. Ergonomia e Usabilidade: Conhecimentos,


Métodos e Aplicações. [S.l.: s.n.], 2010.

DIAS, Jéssica David et al . Serious game development as a strategy for health


promotion and tackling childhood obesity. Rev. Latino-Am. Enfermagem, Ribeirão
Preto , v. 24, e2759, 2016 . Disponível em: http://www.scielo.br /scielo.php?
script=sci_arttext&pid=S0104-11692016000100382&lng=en&nrm=iso>. Acesso em
22 de Maio de 2020.

DIAS, C. Usabilidade na Web: criando portais mais acessíveis. Rio de Janeiro: Alta
Books, 2003.

ERGOLIST 2011. Disponível em: http://www.labiutil.inf.ufsc.br/ergolist/

FELIPE, G. F., LIMA, F. E. T., BARBOSA, L. P., MOREIRA, T. M. M.,


JOVENTINO, E. S., FREIRE, V. S. Evaluation of user embracement software with
pediatric risk classification. Rev. Bras. Enferm., Brasília , v. 73, n. 3, e20180677,
2020.

GAMA, L. N.; TAVARES, C. M. M.. DEVELOPMENT AND EVALUATION OF


MOBILE APPLICATION FOR THE PREVENTION OF MUSCULOSKELETAL RISKS
IN NURSING WORK. Texto contexto - enferm., Florianópolis , v. 28, e20180214,
2019.

HARALD, R., REINHARD, O. EVADIS II : A New Method to Evaluate User


Infaces..'Institute for Applied Information Technology (FIT), Human-Computer
Interaction Research Division (HCI), German National Research Center for Computer
Science (GMD), 1993.

GRILLO, D. C. Desenvolvimento e Estudo de usabilidade de uma Interface Gráfica


para Visualização e Manipulação de Dados Oscilográficos no Padrao IEEE
COMTRADE, 2012. p.70.

KOTONYA, G.; SOMMERVILLE, I. Requirements Engineering: Process and


Techniques. 1ºEdição. Editora Wiley. 1998
29

ROSA, M.; VERAS, M. Avaliação heurística de usabilidade em jornais online: estudo


de caso em dois sites. Perspect. ciênc. inf., Belo Horizonte , v. 18, n. 1, p. 138-157,
Mar. 2013.

NIELSEN, J. Usability Engineering. San Francisco: Academic Press; 1993. 362 p.

NIELSEN, J.; LORANGER, H. Usabilidade na web: Projetando websites com


qualidade. [S.l.: s.n.], 2007.

NIELSEN-NORMAN GROUP, User Experience (UX) — Our Definition. Disponível


em: http://www.nngroup.com/about-user-experience-definition/.

PFLEEGER, S. L. Engenharia de Software: Teoria e Prática, Prentice Hall do Brasil,


2ª Edição, 2004.

PICANÇO, J. Avaliação da usabilidade de interfaces de sistemas vgi na tarefa de


inserção de feições. Disponível em: http://www.scielo.br/pdf/bcg/v22n3/1982- 2170
bcg-22-03-00492.pdf

PRATES, R. O. & BARBOSA, S.D.J. Introdução à Teoria e Prática da Interação


Humano-Computador fundamentada na Engenharia Semiótica. In T. Kowaltowski &
K. Breitman (orgs.) Jornadas de Atualização em Informática, JAI 2007, pp. 263-326.

ROBERTSON, I. Understanding Management Performance. British Journal of


Management - Volume 10, Issue 1, 2002. Disponível em:
https://onlinelibrary.wiley.com/doi/abs/10.1111/1467-8551.00107.

ROGERS, S. P. Design de Interação. 3ª ed. Editora Bookman, 2013. SANTOS, A. P.


Aplicação de práticas de usabilidade ágil em software livre. 2012.

SALES, R. O. Development and evaluation of an application for syphilis control. Rev.


Bras. Enferm., Brasília , v. 72, n. 5, p. 1326-1332, Oct. 2019 .

SKINNER, D.; TAGG, C.; HOLLOWAY, J. Managers and research: the pros and
cons of qualitative approaches. Management Learning, v. 31, n. 2, p. 163-179, 2000.

SOMMERVILLE, I.; Software Engineering, 8. ed., Addison-Wesley, 2007. ZILSE, R.


Usabilidade: A importância do usuário no comércio eletrônico. PUCRIO, 2007.

SOUSA, Cristina Silva; TURRINI, Ruth Natalia Teresa. Desenvolvimento de


aplicativo de celular educativo para pacientes submetidos à cirurgia ortognática.
Rev. Latino-Am. Enfermagem, Ribeirão Preto , v. 27, e3143, 2019 .

Você também pode gostar