Universidade Federal do Vale do São Francisco - UNIVASF

Colegiado de Engenharia de Computação

Técnicas para Avaliação de Interfaces

Prof. Jorge Cavalcanti

jorge.cavalcanti@univasf.edu.br
www.twitter.com/jorgecav

Interação Humano Computador

Técnicas de avaliação
• Existem diversas técnicas de avaliação e que
podem ser classificadas de várias maneiras.
Vamos examinar as seguintes:
– Observação de usuários
– Opinião de usuários
– Opinião de especialistas
– Teste de desempenho dos usuários
– Modelagem do desempenho das tarefas dos
usuários, para prever a eficácia de uma
interface.

Interação Humano Computador

1
 1 - Observação dos usuários
• Envolve ver e ouvir os usuários.
Observá-los interagindo com
softwares, mesmo que
casualmente, pode dizer muita
coisa sobre o que fazem, o
contexto em que estão, como a
tecnologia os apóia e outros
suportes.
• Usuários podem ser observados
em condições controladas de
laboratório (testes de
usabilidade) ou em ambientes
naturais (estudos de campo).

Interação Humano Computador

Metas, questões e paradigmas

• Metas e questões proporcionam o foco da
observação, por exemplo identificar ou confirmar
os objetivos da usabilidade.
• Independente do paradigma adotado, deve-se
buscar um equilíbrio entre o guiado pelas metas e
estar aberto a modificar, moldar e redirecionar o
estudo, conforme se aumenta a experiência.
• Observar é algo útil em qualquer momento do
desenvolvimento.

Interação Humano Computador

2
 Como observar
• Ferramentas básicas de coletas de dados (observação direta,
anotações, vídeos etc).
• Em laboratório, a ênfase está nos detalhes do que os usuários fazem.
• No campo, o contexto é importante e o foco está em como as pessoas
interagem umas com as outras, com a tecnologia e com o seu
ambiente.
• Em ambientes controlados, testes com os equipamentos e sistemas de
coleta devem ser feitos antecipadamente, para que tudo ocorra sem
transtornos.
• Em campo, os eventos da observação podem ser complexos e
mudarem rapidamente.
– Os avaliadores devem contar com um framework para melhor guiá-los,
mantendo as metas e questões.
– Esses frameworks são úteis também para organizar a observação e a coleta
de dados. (Exemplos na pag 388 – Livro Texto)

Interação Humano Computador

Como observar
• Técnica de “pensar em voz alta” (Erikson e Simon, 1985) – As pessoas
devem dizer alto o que estão pensando e tentando fazer, de modo a
exteriorizar seus processos de raciocínio.
– Um silêncio momentâneo pode indicar que o mesmo cometeu um erro ou
está com uma dúvida relevante.
• A etnografia é uma metodologia que utiliza técnicas que inclui
observação participativa e entrevistas. Há uma imersão na cultura de
quem se está observando.
• Uma combinação de registros em vídeo, áudio, papel, logs de interação
e diários pode ser usada para coletar os dados das observações.
• Analisar logs de vídeo e dados pode ser difícil, em razão do grande
volume de dados. É importante ter as questões claramente
especificadas, a fim de orientar o processo e também acessar as
ferramentas apropriadas.
• Os avaliadores marcam os eventos em tempo real e os analisam com
detalhes posteriormente.

Interação Humano Computador

3
2 – Perguntando a usuários e especialistas
• As entrevistas e questionários constituem técnicas bem
estabelecidas de pesquisas;
• Podem ser utilizadas em avaliações “rápidas e sujas”, testes
de usabilidade e estudos de campo;
• Podem ser estruturadas (como o estudo de caso
HuchWord) ou mais flexíveis (discussão);
• Os questionários destinam-se mais a coletar resposta a
questões específicas, obtendo mais dados quantitativos;
• As entrevista são usadas para explorar questões, obtendo
mais dados qualitativos que quantitativos.
• As formas e detalhes destes processos são os mesmos para
a coleta de requisitos (slide Métodos).

Interação Humano Computador

Analisando dados
• Identificar tendências ou padrões nas respostas. Uma
planilha pode ser útil;
• Em geral, são necessárias somente simples estatísticas,
como o número ou percentual de respostas por categoria;
• Se o número de participantes é pequeno, deve-se fornecer
valores reais. Para maiores quantidades, recomenda-se
usar porcentagem;
• Gráficos podem ser usados para visualizações mais
significativas.
• Ferramentas para questionários:
– http://www.ucc.ie/hfrg/questionnaires/
• Software Usability Measurement Inventory (SUMI)
• Measuring the Usability of Multi-Media Systems (MUMMS)
• Website Analysis and MeasureMent Inventory (WAMMI)

Interação Humano Computador

4
 Analisando dados
• O Google (sempre eles) já incorporou uma ferramenta útil
de questionários ao Docs.
– https://docs.google.com/support/bin/answer.py?answer=141062

Interação Humano Computador

Avaliação Heurística (Nielsen, 1994)

• Heurística: baseada em conhecimentos ou definições
prévias. Uma regra geral que descreve uma propriedade
comum em interfaces usáveis;
• Envolve pequeno conjunto de avaliadores, examinando a
interface e julgando suas características em face de
reconhecidos princípios de usabilidade (heurísticas);
• Avaliadores, por experiência, estudam e observam a
interface;
• Não deve ser feita por um único avaliador;
• Avaliadores não estarão usando o sistema de fato:
interfaces não implementadas;
• Resultado: lista de problemas de usabilidade da interface
com referências aos princípios de usabilidade violados.

Interação Humano Computador

5
 Avaliação Heurística (Nielsen, 1994)
• Metodologia:
– Sessão inicial: onde se diz aos especialistas o que
fazer, através de um roteiro prévio;
– Período de avaliação: onde os especialistas percorrem
a interface usando as heurísticas como guia e relatam
problemas encontrados. Eles devem checar as
interfaces pelo menos duas vezes;
– Posteriormente, as listas de problemas dos
avaliadores são consolidadas;
– Discussão final e resultados: equipe de
desenvolvimento e sugestões de re-design.
Interação Humano Computador

Questões focadas na avaliação heurística:

1. Visibilidade do status do sistema
• Refere-se ao fato do sistema manter os usuários informados sobre o
que eles estão fazendo, com feedback imediato.
2. Compatibilidade entre o sistema e o mundo real
• O sistema deve utilizar a linguagem do usuário, com palavras, frases
e conceitos familiares a ele, fazendo as informações aparecerem em
ordem lógica e natural, de acordo com as convenções do mundo
real
3. Liberdade e controle do usuário
• Estão relacionados à situação em que os usuários escolhem as
funções do sistema por engano e então necessitam de “uma saída
de emergência” clara para sair do estado não desejado sem ter de
percorrer um longo diálogo, ou seja, é necessário suporte a undo e
redo.
Interação Humano Computador

6
Questões focadas na avaliação heurística:
4. Consistência e padrões
• Referem-se ao fato de que os usuários não deveriam ter acesso à
diferentes situações, palavras ou ações representando a mesma
coisa. A interface deve ter convenções não ambíguas.
• A mesma operação deve ser apresentada na mesma localização e
deve ser formatada/apresentada da mesma maneira para
facilitar o reconhecimento.
5. Prevenção contra erros
• O erros são as principais fontes de frustração, ineficiência e
ineficácia durante a utilização do sistema.
6. Reconhecimento em lugar de lembrança
• Diz respeito à característica da interface de ter objetos, ações e
opções visíveis e coerentes, para que os usuários não tenham
que lembrar as informações entre os diálogos, ou seja, as
instruções de uso do sistema devem ser visíveis ou facilmente
recuperadas sempre que necessário.
Interação Humano Computador

Questões focadas na avaliação heurística:

7. Flexibilidade e eficiência de uso (atalhos)
• Para usuários experientes executarem as operações mais
rapidamente: abreviações, teclas de função, duplo clique no mouse,
função de volta em sistemas hipertexto.
• Atalhos também servem para recuperar informações que estão
numa profundidade na árvore navegacional a partir da interface
principal.
8. Projeto minimalista e estético
• Os diálogos não devem conter informações que são irrelevantes ou
raramente necessárias. Cada nova informação em um diálogo
compete com as informações relevantes, diminuindo sua relativa
visibilidade.
9. Auxiliar os usuários a reconhecer, diagnosticar e
recuperar-se de erros
• As mensagens devem ser expressas em linguagem simples (sem
códigos), indicando o problema e sugerindo uma solução. Não
devem culpar nem intimidar o usuário.
Interação Humano Computador

7
Questões focadas na avaliação heurística:
10. Ajuda e documentação
• Por melhor que seja a interface, pode ser necessário fornecer ajuda
e documentação. Qualquer informação deveria ser fácil de achar, e
estar focalizada nas tarefas do usuário. Também deve estar
disponível uma lista das etapas concretas a serem realizadas
(informações breves).
Relação Nº Avaliadores e Problemas de Usabilidade Encontrados

Interação Humano Computador

3 – Testando e modelando usuários

• Testes de usabilidade constituem um aspecto
fundamental do design da interação.
• Obter dados objetivos do desempenho dos
usuários, para medir quanto um produto é usável
no que diz respeito às metas de usabilidade.
• Baseiam-se na combinação de técnicas que
incluem observação, entrevistas, questionários e
testes com usuários.
• A modelagem é realizada para predizer a
usabilidade, descrevendo o comportamento do
usuário frente às interfaces.

Interação Humano Computador

8
 Testando usuários
• Nos testes com usuários, mede-se o tempo em que
usuários levam para realizar tarefas e o número e tipos de
erros que cometem.
• Tipicamente, envolvem-se de 5 a 12 usuários nos testes.
• Exemplo de um teste: Medline Plus (pg. 454)
• Roteiro:
– Explicações iniciais e agradecimentos pela participação;
– Tempo para exploração inicial;
– Execução de tarefas, por ordem de dificuldades;
– Observação dos usuários;
– Aplicação de questionários;
– Coleta de dados
– Análise dos dados;
– Conclusões e relatos das descobertas.

Interação Humano Computador

Testando usuários
• Deve-se assegurar as mesmas condições para
todos os participantes.
• O teste é mais adequado para examinar protótipos
ou sistemas funcionando.
• Algumas medidas quantitativas (pg 462):
– Tempo para completar uma tarefa;
– Número e tipos de erros por tarefa;
– Número de erros por unidade de tempo;
– Número de consultas à ajuda on-line ou manuais;
– Número de usuários que completa a tarefa;
– Número de usuários que cometem determinado erro;
– Níveis mínimo, atual e desejável de desempenho.
Interação Humano Computador

9
 Modelos Preditivos
O Porquê da Avaliação Preditiva
• Nenhuma empresa constrói um avião sem
primeiro fazer uma análise de Engenharia
para prever o seu desempenho.
– O custo de construção e o risco de falhar são
muito elevados
• Do mesmo modo, o custo de construir uma
interface e testá-la com vários utilizadores
até descobrir todos os problemas é
inaceitável.

Interação Humano Computador

Modelos Preditivos
• Permitem que se obtenham medidas de desempenho dos
usuários sem ter que realmente testá-los.
• Útil em situações que é difícil a realização de testes com
eles.
• Estimativas sobre como diferentes sistemas irão funcionar
nos vários tipos de tarefas.
• Modelos têm sido utilizados para prever o desempenho do
usuário quando se comparam diferentes aplicações e
dispositivos.
• Os dois principais modelos são o GOMS e o KLM.

Interação Humano Computador

10
O Modelo GOMS (Goals, Operators, Methods e Selection rules)
• Desenvolvido no início dos anos 80 por Card et al.
• Destinado a modelar o conhecimento e os processos cognitivos
envolvidos quando usuários interagem com sistemas.
– Predizer o tempo das ações físicas e cognitivas associadas à forma correta
de realização de uma tarefa.
• Os objetivos (G) referem-se a um estágio em particular que o usuário
pretende alcançar. (Ex.: encontrar um website sobre um assunto
específico),
• Os operadores (O) referem-se aos processos cognitivos e às ações
físicas que precisam ser realizadas para se atingir os objetivos. (Ex.:
decidir qual ferramenta de busca, acessá-la e inserir os critérios de
busca)
• Os métodos (M) são procedimentos aprendidos para a realização de
objetivos. É a exata seqüência dos passos exigidos. (Ex.: arrastar o
mouse para um ponto, digitar a palavra-chave, pressionar o OK).
• As regras de seleção (S) são utilizadas para determinar que método
selecionar quando houver mais de uma opção.

Interação Humano Computador

O Modelo GOMS (Goals, Operators, Methods e Selection rules)

• Aplicação do modelo:
– Objetivo: deletar uma palavra em uma frase no word (pág 472,
Livro texto).
– Objetivo: votar para prefeito na urna eletrônica (pág 182, livro
ergonomia e usabilidade).
– Exemplos de parâmetros (pág 182, livro ergonomia e usabilidade).
• Com base nos valores das tabelas de tempo e na descrição
da tarefa, segundo o formalismo, é possível calcular os
tempos prováveis para realização de uma tarefa.

Interação Humano Computador

11
O Modelo GOMS (exemplo Livro Ergonomia e Usabilidade,
Cybis et. Al, 2007)

Interação Humano Computador

O Modelo KLM (Keystroke Level Model, Card et al., 1983)

• Difere do GOMS pois fornece previsões numéricas reais do
desempenho do usuário.
• As tarefas são comparadas pelo seu tempo de realização
utilizando estratégias diferentes.
• Vantagem principal da previsão quantitativa reside no fato
de se poder comparar recursos e verificar qual é o mais
eficaz.
• Baseado em vários estudos empíricos do desempenho real
dos usuários, obtendo-se um conjunto-padrão de tempos
aproximados para os principais tipos de operadores.
• Ações físicas comuns podem ser dimensionadas.

Interação Humano Computador

12
 O Modelo KLM (Keystroke Level Model, Card et al., 1983)
• Principais tempos propostos pelo modelo:
Operador Descrição Tempo (s)
K Pressionar uma tecla ou botão 0,35
Digitador com prático (55 tpm) 0,22
Digitador Médio (40 tpm) 0,28
Usuário não familiarizado com o teclado 1,20
Pressionar a tecla shift ou control 0,08
P Apontar com o mouse ou outro dispositivo para um alvo 1,10
P1 Clicar o mouse ou dispositivo semelhante 0,20
H Retornar as mãos para o teclado 0,40
M Preparar-se mentalmente para fazer algo (ou decidir) 1,35
Tempo de resposta do sistema, contado apenas se faz com que o
R (t) t
usuário tenha que esperar durante a realização da tarefa.

Interação Humano Computador

O Modelo KLM (Keystroke Level Model, Card et al., 1983)

• O tempo previsto levado para executar uma dada tarefa é calculado descrevendo-se uma
seqüência de ações e depois somando-se os tempos aproximados que cada uma levará:
Texecutar =TK + TP + TH+ TM + TR
• Exercício: Quanto tempo levará para incluir a palavra não, usando o MS Word, na frase:
Correr nu pelas ruas (não) é normal.
– Preparar-se mentalmente (M) 1,35
– Pegar o mouse (H) 0,40
– Posicionar o mouse antes de “é”(P) 1,10
– Clicar com o mouse (P1) 0,20
– Mover as mãos de volta p/ o teclado(H) 0,40
– Preparar-se mentalmente (M) 1,35
– Digitar “n” (bom digitador) (K) 0,20
– Digitar “~” (bom digitador) (K) 0,20
– Digitar “a” (bom digitador) (K) 0,20
– Digitar “o” (bom digitador) (K) 0,20
– Digitar “espaço” (bom digitador) (K) 0,20
Tempo Total previsto 5,80
• Quando há muitos componentes a serem adicionados, é mais fácil pôr os mesmos tipos de
operadores juntos. No exemplo, poderia reescrever os tempos assim:
2(M) + 2(H) + 1(P) + 1(P1) + 5(K) = 2,70 + 0,88 + 1,10 + 0,20+ 1 = 5,80
Interação Humano Computador

13
Vantagens e Limitações dos modelos preditivos
• Esse tipo de análise pode ser útil para comparar
antecipadamente alternativas de interfaces, mesmo
preservando seus limites.
• O seu valor está em permitir comparações de soluções.
• Rapidamente identificamos a solução mais rápida.
• Não é necessário construir sistema.
• Mais barato que testes com usuários.
• Limitações -Não leva em conta a mínima hesitação do
usuário, erro ou incidente de interação. Trata-se de prever
o tempo da interação perfeita.
• Previsões são apenas aproximações.

Interação Humano Computador

Calendário
• Assuntos restantes:
– Usabilidade web – 28/06
– Usabilidade TV digital – 30/06
• Projeto Final
– 30/06 a 08/07 – Orientação/Elaboração
– 12/07 – Apresentações.

Interação Humano Computador

14