16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

Open in app

Follow 27K Followers

PARTE 1

Métricas em testes de usabilidade, como usá-

las para melhorar o seu produto
Wagner Guimarães Apr 21, 2019 · 8 min read

Em um mercado digital cada vez mais competitivo, investir em usabilidade se tornou

um aspecto importante a nível estratégico para as empresas, onde o objetivo será de
atingir a diferenciação dos seus concorrentes, e com isso conquistar mais clientes. Uma
https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 1/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

boa usabilidade permite o produto atingir um bom engajamento, adesão e

consequentemente criar fidelidade nos usuários.

Dado cenário em que se faz necessários se destacar em um mercado concorrido,

devemos nos preocupar como se encontra o nível de facilidade de uso do produto,
devemos sempre ter em mente essas perguntas como estas: Será que as pessoas estão
satisfeitas quando usam meu produto? Quais são os pontos em que elas estão tendo
mais dificuldades? Como isso impacta no sucesso final no uso delas? Quais são os
pontos mais críticos de usabilidade que tenho?.

Uma forma de buscar respostas a essas perguntas, é atrelar junto ao teste de

usabilidade algumas métricas, em que ajudarão a traçar um raio-x de como se encontra
a experiência do usuário.

Por que é importante medir a usabilidade?

Há dois bons motivos para adotar a medição dos testes.

1. Identificar onde há maiores problemas de usabilidade.

As métricas do teste servem para identificar quais são as partes da interface ou
fluxo que estão sendo difíceis para o usuário realizar sua tarefa com eficiência, com
isso, é possível iterar variações com ajustes visando buscar melhoria contínua.
Após criar versões ajustadas , uma comparação pode ser feita em em cada uma e
analisar o quanto está sendo viável atingir uma usabilidade mais satisfatória no
produto.

2. Comunicar claramente como medimos usabilidade.

Implementar a cultura de teste de usabilidade é um desafio para muitos que
trabalham com UX, isso se dá na maioria dos casos devido ao fato das pessoas
envolvidas com o produto não entenderem o real o benefício dos testes. Quando é
apresentado de forma clara e simples a forma como medimos usabilidade, se torna
mais fácil e interessante para outros enxergar o valor e importância que o ciclo de
teste exerce. E como as áreas de negócio e marketing lidam tanto com números,
por que não usar algo que eles entendam e estão habituados? :) não é mesmo?

Medindo usabilidade a partir da ISO/ IEC 9126–6

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 2/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

Uma boa usabilidade é uma combinação de fatores, esta norma define que para que o
usuário consiga atingir seus objetivos, é necessário que a interface atenda os quesitos
de eficácia, eficiência e satisfação.

1. Medindo Eficácia
Objetivo: Avaliar se o usuário consegue concluir com sucesso uma determinada tarefa.

1.1 Conclusão de tarefas sem erro

Quantidade de usuários que conseguem concluir com sucesso a tarefa sem cometer
nenhum erro. Este é o famoso golden patch, o fluxo ou interação que você gostaria que
o usuário fizesse exatamente como foi projetado.

1.2. Conclusão de tarefa com erro (não crítico)

Percentual de usuários que concluem a tarefa com erros (erros não críticos). Um erro
não crítico é um erro que não teria impacto no sucesso da tarefa, mas resultaria na
tarefa ser concluída com menos eficiência. Por exemplo, não utilizar o fluxo principal
que está sendo testado.

1.3. Erros críticos

Quantidade de usuários que não conseguem concluir uma tarefa. Em geral, tratam-se
de erros que não são resolvidos na tentativa de realização da tarefa e que impedem a
pessoa da finalizar e a desistir de continuar. Também podemos considerar um erro
crítico quando o usuário não consegue prosseguir sozinho e solicita ajuda para
concluir.

1.4. Quantidade de cliques ou toques errados

Total de interação errada em que o usuário faz na tentativa de concluir uma tarefa. (
esforço cognitivo ). São cliques em locais que consideramos não serem o correto para a
realização da tarefa.

O uso de heatmaps ajudam a identificar as regiões onde os usuários estão

clicando/tocando com maior frequência. Essa informação indica onde se encontra o
modelo mental de interação das pessoas. Neste exemplo abaixo, eu usei o Maze.design
para coletar essa informação, ele faz um consolidado de todos os testes e gera um
heatmap tanto individual quanto do teste de forma geral.

Uma ferramenta legal para gerar o heatmap é o Maze, ele é bem interessante porque
gera um consolidado de todos os testes mostrando como foi o padrão comportamental

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 3/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

do usuários, e além disso, ele fornece de forma individual o heatmap de cada usuário
que testou o protótipo.

Exemplo de heatmaps gerado no Maze.

1.5. Freqüência de pedido de ajuda

Quando o usuário solicita ajuda do moderador para corrigir erros ou pedir ajuda para
concluir a tarefa.

Uma forma mais simples de obter a métrica final de taxa de conclusão de tarefa, é
usando a seguinte equação:

Equação para medir eficácia

Total de tarefas concluídas com sucesso = 3

Número total deTotal de tarefas = 5

Aplicando os valores acima na equação Efetividade:

Equação para medir eficácia

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 4/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

Nesta caso, as tarefas concluídas com sucesso é o somatório da taxa de sucesso com e
sem erro. Existe a possibilidade casos de conclusão com erros serem maiores do que a
sem erro. Sendo assim, acho mais interessante tratar como 3 métricas diferentes, taxa
de sucesso com /sem erro e erros críticos. Eu particularmente uso essa equação apenas
quando o número de sucesso com erro é abaixo de 20% das métricas de sucesso de
tarefa. Por exemplo, 20 usuários completaram com sucesso a tarefa, sendo que 4
(20%) completaram cometendo erros.

2. Medindo Eficiência
Objetivo: Avaliar quanto tempo necessário para o usuário consegue concluir uma
tarefa.

2.1. Tempo de execução da tarefa

Quantidade de tempo ( min./seg. ) que o usuário leva para concluir a tarefa. Essa é a
métrica mais utilizada e a mais simples de coletar. Para extrair esse dado, podem-se
somar todos os tempos gastos do conjunto de tarefas de cada, feita por todos os
usuários, em seguida, tirar a média de tempo a partir do somatório total.

Por exemplo, tarefa "gerar relatório de vendas ".

Ricardo: 13 seg / Amanda: 10 seg / Sergio 9 seg / Patrícia 7 seg.

Total de tempo de execução de tarefas ( soma de tempo de todos usuários ):

13 + 10 + 9 + 7 = 49 seg.
Média (13 + 10 + 9 + 7) = 9,7 seg.

2.2. Tempo utilizado na primeira tentativa x segunda tentativa

Total de tempo em que o usuário gastou na primeira tentativa de executar a tarefa
versus o tempo da segunda. O objetivo desse dado é entender se o usuário consegue ter
uma curva de aprendizado e na segunda tentativa conseguir atingir o objetivo de
forma mais rápida.

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 5/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

2.3. Tempo de realização da tarefa comparado a um heavy user

Essa métrica não é tão conhecida, mas trata-se de usar o tempo médio de conclusão de
tarefa de um usuário comum e compará-lo com de uma pessoa com mais domínio de
tecnologia. O objetivo desse dado é ver o quão intuitivo e fácil está um fluxo ao ponto
de pessoas com menos domínio tecnológico conseguirem usar com a mesma facilidade
que um usuário mais expert.

3. Medindo satisfação

Entender o nível de satisfação é importante para identificar as razões que levam as

pessoas a gostar ou não de realizar uma tarefa. O uso de questionários ajuda a medir o
nível de satisfação do usuário de forma subjetiva. Podem ser aplicados após o término
de cada tarefa e/ou ao final de um rodada de teste.

3.1. Satisfação ao realizar uma tarefa

Após finalizar uma tarefa, mesmo que não tenha sido concluída com sucesso, o
usuários devem preencher o questionário que mede o grau de dificuldade da tarefa. Os
questionários pós-tarefa mais populares são:

ASQ : After Scenario Questionnaire

NASA-TLX : O índice de carga de tarefas da NASA é uma medida do esforço mental

SMEQ : Questionário de Esforço Mental Subjetivo

UME : Estimativa de Magnitude de Usabilidade

SEQ : Single Ease Question

A escala SEQ é uma boa alternativa por ser mais curta e fácil de responder, além de ser
a mais utilizada. A partir de uma pergunta na qual o usuário responde o quão fácil ou
difícil foi realizar uma tarefa, em uma escala de nota atribuída de 1 a 7, é possível
identificar quais partes da interface estão sendo considerada problemática pelos
usuários.

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 6/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

3.2. Satisfação geral do teste

Essa métrica serve para compreender qual a percepção dos usuários sobre o que foi
testado. Ao final do teste, aplica-se um questionário para que ele possa responder qual
foi seu grau de satisfação olhando o teste como um todo.

Os questionários que podem ser utilizados para se obter esse dados são:

SUS : Escala de Usabilidade do Sistema

SUPR-Q : questionário de classificação percentil da experiência do usuário

padronizado

CSUQ : Computer System Usability Questionnaire

QUIS : Questionário para satisfação da interação do usuário

SUMI : Inventário de Medição de Usabilidade de Software

O SUS é um dos mais usados, pois fornece resultados bastante precisos e consiste em
uma escala simples para o preenchimento dos participantes. A partir de um
questionário com 10 perguntas e com 5 opções de resposta, onde o usuário avalia
atribuindo uma nota de 1 a 5.

Exemplo de escala SUS

Nesse artigo do Fabricio Teixeira tem um boa explicação sobre esse método.

Conclusão
Usar métricas nos ajuda a ter uma direção de onde devemos priorizar as melhorias de
usabilidade. No próximo artigo, irei mostrar a partir de exemplo prático como montar
um plano de métricas e como fazer uma priorização de melhoria.

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 7/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

No mais, espero que tenham gostado do post. Meu intuito foi fazer uma abordagem
mais simples, de fácil compreensão para que os dados possam ser usados no dia a dia
como uma ferramenta de tomada de decisão no produto. E se você já usa ou tem
alguma dúvida, deixe suas observações nos comentários abaixo.

Referências:
https://www.nngroup.com/articles/measuring-perceived-

https://usabilitygeek.com/usability-metrics-a-guide-to-quantify-system-usability/

https://www.uxmatters.com/mt/archives/2010/02/hierarchical-task-
analysis.php

https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html

https://www.usability.gov/how-to-and-tools/methods/system-usability-scale.html

Sign up for UX Collective Brasil

By UX Collective 🇧🇷

Design. Feito no Brasil. Take a look.

Emails will be sent to camilasaraivamasc@gmail.com.

Get this newsletter
Not you?

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 8/9
16/03/2021 Métricas em testes de usabilidade, como usá-las para melhorar o seu produto | by Wagner Guimarães | UX Collective 🇧🇷

Usability Testing UX Metrics Design Process Usability

About Help Legal

Get the Medium app

https://brasil.uxdesign.cc/métricas-em-testes-de-usabilidade-como-usá-las-para-melhorar-o-seu-produto-parte-i-a275227240df 9/9