1035

Ferramenta para Captura de Métricas de Usabilidade

X Salão de Iniciação
Científica PUCRS

Nicole Carrion Cogo, Leandro Teodoro Costa , Milene Selbach Silveira (orientador)

Faculdade de Informática, PUCRS - Centro de Pesquisa em Computação Aplicada (CPCA)

Resumo

Este artigo descreve o estudo e desenvolvimento de uma ferramenta para auxilio a

testes de usabilidade com usuários. Estes testes são utilizados para avaliar a qualidade de uso
de sistemas interativos, com base em requisitos fundamentados em princípios da área de
Interação Humano-Computador (IHC).

Introdução
A área de IHC tem por objetivo fornecer, a desenvolvedores, maneiras de projetar e
avaliar sistemas nos quais haja interação entre usuário e sistema (ACM, 2009). Usabilidade,
um conceito chave dentro do contexto de IHC, tem como foco a criação de sistemas que
sejam fáceis de aprender e fáceis de usar (PREECE, 1994). Através deste conceito é possível
avaliar a qualidade de sistemas interativos de acordo com fatores que seus projetistas definem
como sendo prioritários.
Nos dias de hoje tem-se como foco de diversas pesquisas os Testes de Usabilidade, os
quais enfatizam a propriedade de um sistema interativo de “ser usável” e devem ser realizados
em um ambiente controlado, no qual é feita a medição do desempenho dos usuários, no uso
do sistema, através da execução, por estes usuários, de tarefas previamente planejadas.
Existem dois principais métodos para a coleta de dados: testes e questionários de satisfação
com usuários. Métricas de desempenho quantitativo são obtidas através do método de testes
para a coleta de dados a partir de dados como (SHARP; ROGERS; PREECE, 2007): tempo
para completar uma determinada tarefa, tempo para completar uma tarefa a partir de um
tempo especificado, número e tipo de erros por tarefa, número de erros por unidade de tempo,
freqüência de uso de help online ou manuais, número de usuários que cometem um

X Salão de Iniciação Científica – PUCRS, 2009

 1036

determinado tipo de erro e número de usuários que completaram uma tarefa com sucesso,
dentre outros.
Tendo em vista estas questões, está sendo criada uma ferramenta para capturar e
extrair, de forma automatizada, as métricas supracitadas. Esta ferramenta já possui algumas
destas funcionalidades e, atualmente, ela é capaz de medir o tempo que um usuário levou para
completar uma tarefa, o número de usuários que completaram uma tarefa com sucesso, além
de capturar um vídeo de uma tarefa sendo executada por um usuário, através do qual é
possível analisar e registrar as informações sobre número e tipo de erros por tarefa, número de
erros por unidade de tempo, freqüência de uso de help online ou manuais e número de
usuários que cometem um determinado tipo de erro. Além disso, a ferramenta registra eventos
de mouse e teclado, bem como a opinião do usuário a respeito da dificuldade de realização da
tarefa e também é capaz de prover questionários a serem respondidos por usuários antes e
depois da execução de uma tarefa.

Funcionamento da Ferramenta
A ferramenta em questão foi dividida em duas aplicações, que são executadas em
máquinas distintas, uma a ser executada por um administrador, o qual é responsável por
aplicar os testes aos usuários, e outra a ser executada pelo usuário. A aplicação do
administrador, conforme apresentado na figura 1, possui uma interface que permite que sejam
cadastrados, editados e salvos em um banco de dados, os dados coletados nos testes,
informações dos usuários, descrições de projetos, tarefas e questionários. Esta aplicação
permite ao administrador enviar, através de comunicação via socket, tarefas para usuários,
bem como determinar o início e o término da execução da tarefa.

Figura 1 – Interface da aplicação do administrador no momento do envio de uma tarefa.

X Salão de Iniciação Científica – PUCRS, 2009

 1037

Já a aplicação do usuário (figura 2) fornece uma interface através da qual é possível

receber e visualizar tarefas, enviadas pelo administrador, e também determinar o início e
término de execução de tarefas. Após o usuário terminar uma tarefa, é solicitado que ele
responda uma questão referente ao nível de dificuldade de realização da tarefa. Também pode
ser solicitado, pelo administrador ao usuário, o preenchimento de um questionário, antes e/ou
após os testes, questionário este definido previamente pelo administrador. O envio de
questionários é feito seguindo o mesmo padrão de comunicação de envio de tarefas.

Figura 2 – Interface da aplicação do usuário no momento da chegada de uma tarefa.

Ambas as aplicações implementam o protocolo de transporte User Datagram Protocol

(UDP) para o envio e recebimento de tarefas e questionários, bem como para os dados
coletados durante os testes. Tanto a aplicação do administrador como a do usuário permitem
editar as configurações referentes ao uso do protocolo de nível de transporte em questão,
porém, para ambas as aplicações, faz-se necessária a intervenção do administrador no que diz
respeito à edição destas informações.

Conclusão
A ferramenta de usabilidade descrita está em fase de desenvolvimento, por este motivo
ainda não foi possível a realização de testes com usuários para sua validação. A conclusão
deste trabalho está prevista para o final do ano, quando serão obtidas as demais
funcionalidades esperadas de uma ferramenta que proporcione a análise da qualidade de
sistemas interativos, a partir da automatização da coleta de dados referentes a sua usabilidade.

Referências
ACM SIGCHI Report. New York. Disponível em: http://sigchi.org/cdg. Acesso em: maio de 2009.
PREECE, J., Human-Computer Interaction. Harlow: Addison-Wesley. 1994.
SHARP, H.; ROGERS, Y.; PREECE, J., Interaction Design: beyond human-computer interaction. England:
Wiley. 2007.

X Salão de Iniciação Científica – PUCRS, 2009