1

CENTRO UNIVERSITÁRIO 7 DE SETEMBRO - UNI7

CURSO GRADUAÇÃO EM SISTEMAS DE INFORMAÇÃO

UX BENCHMARKING

ESTEVAM ALCÂNTARA PONTE

FORTALEZA – 2020
 2

ESTEVAM ALCÂNTARA PONTE

UX BENCHMARKING

Trabalho de Conclusão de Curso apresentado ao

Centro Universitário 7 de Setembro como requisito
parcial para obtenção do título de Bacharel em
Sistemas de Informação.
Orientador: RÉGIS Patrick Silva Simão, Me.

FORTALEZA – 2020
 3

RESUMO

O trabalho explora a importância de usar o UX benchmarking para auxiliar o

desenvolvimento de produtos e melhorias em versões posteriores do mesmo. Através de
teorias e exemplos, busca-se entender quando devemos usar, porque usar e os
benefícios de usar o UX benchmarking. Neste trabalho, é mostrado em detalhes as 7
etapas para realizar o Ux benchmarking, procurando entender cada uma dessas etapas.
Esse trabalho também aborda o conceito da experiência de usuário e design thinking em
conjunto da técnica duplo diamante, contextualizando o tema principal do trabalho.

Palavras-chave: UX benchmarking, melhorias, versões, design

ABSTRACT

The paper explores the importance of using UX benchmarking to assist product

development and improvements in later versions of it. Through theories and examples,
we seek to understand when to use, why to use and the benefits of using UX
benchmarking. In this work, it is identified in detail as 7 steps to perform Ux benchmarking,
trying to understand each of these steps. This work also addresses the concept of user
experience and design thinking together with the double diamond technique,
contextualizing the main theme of the work.
Keywords: UX benchmarking, improvements, versions, design
 4

SUMÁRIO

1. INTRODUÇÃO .......................................................................................................... 6

1.1. OBJETIVO GERAL............................................................................................. 7

1.2. OBJETIVOS ESPECÍFICOS ............................................................................... 7

1.3. ESTRUTURA DE TRABALHO ........................................................................... 7

2. FUNDAMENTAÇÃO TEÓRICA ................................................................................ 8

2.1. Design Thinking ................................................................................................ 8

2.1.1. Duplo diamante ........................................................................................... 8

2.2. Experiência de usuário ................................................................................... 10

2.3. Trabalhos Relacionados ................................................................................. 10

3. UX BENCHMARKING ............................................................................................ 11

3.1. Quando utilizar o benchmarking.................................................................... 12

3.2. Por que usar o benchmarking ........................................................................ 13

3.3. Como fazer o benchmarking .......................................................................... 14

3.3.1. Primeira etapa: Escolher o que medir .................................................... 15

3.3.2. Segunda etapa: Decida como medir ....................................................... 16

3.3.3. Terceira etapa: Colete a primeira medição e estabeleça uma linha de

base 16

3.3.4. Quarta etapa: Redesenhar o produto ..................................................... 17

3.3.5. Quinta etapa: Coletar medidas adicionais.............................................. 17

3.3.6. Sexta etapa: Interpretar as descobertas ................................................. 17

3.3.7. Sétima etapa: Calcular o ROI (opcional) ................................................. 17

3.4. Estudos de casos de Ux benchmarking........................................................ 18

4. CONCLUSÃO ......................................................................................................... 21

4.1. Trabalhos futuros ............................................................................................ 21

 5

REFERÊNCIAS BIBLIOGRÁFICAS .............................................................................. 22

LISTA DE FIGURAS
Figura 1 - Duplo diamante ............................................................................................. 9
Figura 2 - Ciclo 1 .......................................................................................................... 13
Figura 3 - Ciclo 2 .......................................................................................................... 14
Figura 4 - Fluxo das 7 etapas ...................................................................................... 15
Figura 5a, 5b, 5c - Instagram ....................................................................................... 19
Figura 6 - Estatística 1 ................................................................................................. 20
Figura 7 - Estatística 2 ................................................................................................. 20
 6

1. INTRODUÇÃO

Atualmente, no mercado competitivo, a melhor experiência que um usuário

pode ter em um produto é uma obrigação para o sucesso comercial do mesmo
(SCHREPP HINDERKS THOMASCHEWSKI, 2017). Encontrar padrões de mercado
permite descobrir se eles fazem sentido ou se mostram uma ótima oportunidade de
inovar (SOUZA, 2015). Com isso, existem diversas técnicas, metodologias,
abordagens que ajudam a alcançar esse objetivo, entre eles temos: Kanban, Scrum,
Lean, design thinking, benchmarking e UX (Experiência de usuário).
O design thinking é uma abordagem centrada no ser humano para solucionar
problemas com criatividade. Antes de solucionar esses problemas, é necessário
reunir informações, juntar pessoas de diferentes áreas para entrarem com ideias
criativas, criar protótipos, e com isso, apresentar um plano de ação para solucionar
esses problemas (BROWN, 2010).
O UX é algo muito importante que todos devem procurar entender para prender
a atenção do usuário em um produto. O ato de deixar tudo mais simples para a pessoa
que está usando o produto, faz com que ela permaneça utilizando-o de forma
constante, fazendo com que o mesmo volte a visitá-lo.
O UX benchmarking é uma ferramenta que permite avaliar a versão de um
produto utilizando métricas, para que possa adicionar melhorias que irão agregar valor
ao produto, e retirar funcionalidades que não agregam nada ao produto (MORAN,
2020).
Acima mostramos um resumo de três ferramentas poderosas que, à primeira
vista, mostram uma tremenda similaridade entre eles, porém, benchmarking, design
thinking e UX não são iguais, mas é certo dizer que os três se completam, cada um
com a sua peculiaridade.
O tema sugerido vem ao encontro da visão de pesquisa bibliográfica, onde são
buscadas experiências de pessoas para solucionar certos tipos de problemas. A
motivação para realizar esse trabalho é mostrar a importância de projetar algo em que
esteja trabalhando. Antes de um projeto ir para a fase de implementação, é necessário
 7

criar um plano, ou seja, colocar todas as ideias no papel para que assim a ideia possa
sair do mesmo. Pular etapas para realizar um projeto ou solucionar um problema,
pode acarretar atrasos na entrega ou até mesmo gerar um alvoroço no momento da
implementação. Com isso dito, a proposta do design thinking, UX e UX benchmarking
se tornam ferramentas de organização, onde é possível derrubar essas barreiras,
fazendo com que a execução da fase de implementação se torne algo fluido.

1.1. OBJETIVO GERAL

Esse trabalho tem como objetivo apresentar a técnica UX Benchmarking e

mostrar como ela pode ser utilizada no desenvolvimento de software.

1.2. OBJETIVOS ESPECÍFICOS

Como objetivos específicos, tem-se:

• Apresentar as técnicas de design thinking e UX
• Definir UX benchmarking
• Apresentar exemplos de projetos que usaram UX benchmarking

1.3. ESTRUTURA DE TRABALHO

Este trabalho é composto por 4 capítulos, incluindo esta introdução. No capítulo

2, é mostrada a fundamentação teórica, onde é abordado a introdução do Design
Thinking e uma de suas técnicas, o duplo diamante. Neste mesmo capítulo, é
abordado a introdução da Experiência do Usuário (UX. O capítulo 3 aborda o tema
deste trabalho, o UX benchmarking, mostrando quando deve ser usado e por que
deve ser usado. Logo em seguida, são mostrados alguns exemplos de projetos que
usaram o UX benchmarking. No capítulo 4, são apresentadas as conclusões e
sugestões de trabalhos futuros.
 8

2. FUNDAMENTAÇÃO TEÓRICA

2.1. Design Thinking

De acordo com Brown (2010), Design Thinking é uma abordagem focada no

ser humano, sempre deixando claro a diferença entre os Designs para os Design
Thinking. Existem 3 critérios (ou restrições) que os designers e os design thinkers
utilizam para gerar boas ideias, são elas: praticabilidade; o que é eficientemente
provável em um futuro próximo; viabilidade, o que eventualmente se tornará de um
modelo de negócio sustentável, e desejabilidade, o que as pessoas consideram certo
(BROWN, 2010). Brown (2010, p. 18) afirma que “um designer competente
solucionará todas essas três restrições, mas um design thinker os colocará em
equilíbrio harmonioso".
Segundo Cardon (2010, p. 15), Design Thinking é “uma metodologia para
aplicar o pensamento crítico e criativo para entender, visualizar e descrever
problemas complexos e mal estruturados e desenvolver abordagens para resolvê-
los". Uma das principais fontes do design thinking são os insights, onde é buscado a
criatividade nos mais simples momentos como: usando os transportes públicos para
ir ao trabalho, enfermeiras, jovens andando de skate, à proporção que eles
improvisam no dia a dia. (BROWN, 2010).
Ao redor do mundo, o design thinking vem mudando a maneira de como as
pessoas veem um problema, e de como devem solucioná-lo. Prototipação, insights,
imersão, ideação e experiência de usuário, cada um destes elementos são formas de
solucionar esses problemas, e essa é a estrutura do design thinking de como ele é
hoje (BROWN, 2010).

2.1.1. Duplo diamante

Um dos modelos de processos mais conhecidos no design thinking é o duplo

diamante, ele é baseado em um diagrama simples que apresenta os estágios
divergente e convergente do processo de design que dá ao modelo o formato de
 9

diamante como mostrado na figura 1 (TSCHIMMEL, 2012). O modelo é formado por

4 fases, sendo elas: Descobrir, Definir, Desenvolver e Entregar (CORREA; MARIA;
BELLIO; MARCZAK; CONTE, 2018).

Figura 1 - Duplo diamante

Fonte: Correa; Maria; Bellio; Marczak; Conte (2018, p. 3)

A primeira fase do duplo diamante é representada pela parte divergente inicial

do projeto, que seria a descoberta, onde o designer procura por novas oportunidades
(TSCHIMMEL, 2012), Tschimmel (2012, p. 9) “[...] novos mercados, novas
informações, novas tendências e novos conhecimentos".
A segunda fase, que completa o primeiro diamante, marca o estágio de
definição, o papel dessa fase é agir como um filtro, onde as informações são
revisadas, selecionadas e destacadas (TSCHIMMEL, 2012). Nesta fase, também
inclui a inicial fase de desenvolvimento das ideias dos projetos, nas quais o designer,
de acordo com as oportunidades identificadas, deve se envolver em um contexto mais
amplo. Segundo Tschimmel (2012, p. 9) “As principais atividades durante a fase de
definição são desenvolvimento de projetos, gerenciamento de projetos e aprovação
corporativa".
A terceira fase é representada pelo período de desenvolvimento (TSCHIMMEL,
2012). Neste ponto, é apresentado mais uma vez um período divergente, onde o
projeto foi aprovado por meio de uma assinatura corporativa e financeira
(TSCHIMMEL, 2012). As soluções adquiridas são desenvolvidas, iteradas e testadas
na companhia por equipes multidisciplinares e sob o uso de ferramentas do design
 10

thinking, como brainstorms, esboços, cenários, renderizações ou protótipos

(TSCHIMMEL, 2012). A quarta fase é o estágio de entrega convergente
(TSCHIMMEL, 2012), Tschimmel (2012, p. 10) “o conceito final é realizado através de
testes finais, assinado, produzido e lançado".

2.2. Experiência de usuário

De acordo com Ferreira, Martinez, Coneglian, Vidotti e Segundo (2016)

entender o processo de interação entre o usuário e o sistema é de extrema
importância, procurando entender a forma de percepções do usuário no acesso de
um determinado ambiente de um sistema.
Como o design thinking, a experiência de usuário faz parte do design centrado
no ser humano e seus princípios, normalmente a experiência de usuário tem como
foco a avaliação da experiência, porém, pode ser usado na etapa de projeto para
melhorar os resultados, com isso, utilizando o método de projeto centrado no usuário
(MAYARA; MERINO; MERINO; FERREIRA, 2016). A experiência de usuário de
acordo com Ferreira, Martinez, Coneglian, Coneglian, Vidotti e Segundo (2016, p. 3)
“[...] têm como objetivo entender e proporcionar ao usuário experiências positivas no
momento em que este utiliza um determinado produto ou serviço".
Na experiência de usuário, a praticidade de um ambiente digital é interferida
diretamente nas experiências de uso, isto acontece a partir do momento em que o
usuário interage com a interface do sistema, com a tecnologia, e com o conteúdo
mostrado. Portanto, é responsabilidade do desenvolvedor planejar com cuidado todas
as etapas de desenvolvimento e oferecer a melhor qualidade aos produtos e sistemas
Web (FERREIRA; MARTINEZ; CONEGLIAN; VIDOTTI; SEGUNDO, 2016).

2.3. Trabalhos Relacionados

O livro “Design Thinking: Uma metodologia poderosa para decretar o fim das
velhas ideias" do Tim Brown foi a principal fonte de pesquisa para mostrar o quanto a
ferramenta design thinking é poderosa. Nele são apresentados vários acontecimentos
 11

e projetos realizados pela empresa globalmente conhecida como IDEO. Também é

mostrada a perspectiva de Brown no mercado em que seus projetos se encontram.
O artigo que Tschimmel escreveu, reflete a parte em que é falado sobre uma
das técnicas mais conhecidas do design thinking, o duplo diamante. Onde é mostrado
cada etapa desta técnica.
Diversas fontes, que serão comentadas a seguir, mostram o quanto o UX
benchmarking pode evoluir um produto. Entre eles temos o artigo da Kate Moran,
onde ela mostra como deve ser usado o UX benchmarking, quando usá-lo e por que
usá-lo. O artigo do Martin Schrepp, Jörg Hinderks e Andreas Thomaschewski também
contribuíram para a realização deste trabalho, nele são citados alguns exemplos de
UX benchmarking. Também é mostrado um pouco das perspectivas deles no quesito
do que é o UX benchmarking.

3. UX BENCHMARKING

Estabelecer uma prática de UX benchmarking é uma ótima maneira de ter

certeza que está seguindo na direção certa na construção da solução, e com isso, ter
um ponto de referência claro para quaisquer melhorias futuras (MORAN, 2020).
De acordo com Moran (2020), o UX benchmarking refere-se à avaliação das
experiências do usuário em um produto ou serviço, usando métricas para medir seu
desempenho relativo em relação a um padrão significativo. Segundo Souza (2015),
descobrir padrões de mercado possibilita identificar se eles fazem sentido ou se
mostram uma boa oportunidade de inovar.
De acordo com Moran (2020), o benchmarking abrange a coleta de dados
quantitativos que descrevem a experiência. Por exemplo, podemos coletar qualquer
uma das seguintes métricas de UX: Tempo médio ao realizar uma compra, número
de clicks em que um botão é pressionado, taxa de sucesso ao concluir um aplicativo,
facilidade para criar uma conta e porcentagem de usuários que após oito semanas
continuam usando o aplicativo. Para Moran (2020), essas métricas podem ser
coletadas usando qualquer metodologia quantitativa, porém, análises, pesquisas e
testes de usabilidade são os três métodos quantitativos que mais funcionam para
realizar o benchmarking.
 12

De acordo com Schrepp, Hinderks, Thomaschewski (2017, p.43) “Um UX

benchmarking pode ser uma parte natural do processo de garantia de qualidade de
um novo produto.” Schrepp, Hinderks, Thomaschewski (2017) afirma que os principais
aspectos de qualidade para um lançamento bem sucedido, podem ser identificados
com facilidade de acordo com o tipo de produto e o posicionamento do mercado
desejado. Schrepp, Hinderks, Thomaschewski (2017, p.43) “Um benchmarking junto
com uma ideia clara da importância dos aspectos de qualidade do UX, pode ajudar a
definir objetivos de qualidade claros e compreensíveis para o desenvolvimento de
produtos.”

3.1. Quando utilizar o benchmarking

A avaliação formativa é a pesquisa utilizada no UX, ela ajuda a aprender o que

funciona e não funciona em um design, nos mostra também a como resolver esses
problemas, decidindo como formar ou moldar o design (MORAN, 2020). As
entrevistas qualitativas e teste de usabilidade são usados frequentemente para esse
propósito (MORAN, 2020).
Porém, o benchmarking não é formativo, o benchmarking é uma avaliação
sumativa, ou seja, ele nos ajuda a estimar o desempenho geral de uma “espécie” de
projeto completo (MORAN, 2020). Mas nossos projetos nunca estão completos,
estamos sempre procurando evoluir com melhorias (MORAN, 2020). O estudo
benchmarking pode ser pensado como uma espécie de uma captura instantânea no
tempo, uma foto, onde essa captura contém a experiência de uma versão específica
do produto ou serviço (MORAN, 2020).
O benchmarking pode acontecer no final de um ciclo ou antes do início do
próximo ciclo de um projeto.
Na figura 2 e 3 é mostrado o ciclo de design que não necessariamente é um
padrão, mas mostra que o benchmarking pode ser feito por exemplo, após a fase de
avaliação ou antes da fase de definição (MORAN, 2020).
A equipe decide em que frequência deve ser feito um estudo de benchmarking,
onde pode depender também das metodologias que está sendo usado (MORAN,
2020). O teste de usabilidade quantitativo pode ser bastante caro e demorado, então,
 13

realizar um estudo de benchmarking uma vez por ano pode ser uma escolha certa,
pois coletar as métricas de benchmarking pode ser mais rápido (MORAN, 2020).

3.2. Por que usar o benchmarking

Realizar o benchmarking permite medir nossas melhorias e impactos (MORAN,

2020). Realizar esse estudo é útil para refletir nossas escolhas e processos de design,
podendo agregar bastante valor às equipes de produtos ou serviços (MORAN, 2020).

Figura 2 - Ciclo 1

Fonte: Moran (2020)

 14

Figura 3 - Ciclo 2

Fonte: Moran (2020)

Porém, o verdadeiro poder do benchmarking é mostrado quando esses

resultados são revelados externamente, por exemplo, stakeholders ou clientes,
demonstrando o impacto do seu trabalho de UX de maneira inequívoca e concreta
(MORAN, 2020). Usando métricas para calcular o retorno sobre o investimento, deve
ser mostrado às partes interessadas e clientes o quanto eles estão recebendo em
troca do que investiram, ficando mais fácil a solicitação de mais investimentos e
projetos maiores no futuro (MORAN, 2020).

3.3. Como fazer o benchmarking

Neste capítulo, será mostrada a criação de um programa de benchmarking em

apenas 7 etapas de alto nível (JOYCE, 2020). No começo, quando o programa é
estabelecido pela primeira vez, descobrir o que medir e como, se torna um desafio e
algo trabalhoso (JOYCE, 2020). Porém, o processo se torna bastante repetitivo
quando a estrutura do estudo é determinada (JOYCE, 2020). A figura 4 mostra o fluxo
dessas 7 etapas que irão ser apresentadas.
 15

Figura 4 - Fluxo das 7 etapas

Fonte: Imagem própria.

3.3.1. Primeira etapa: Escolher o que medir

Inicialmente, deve-se focar nas principais métricas que refletem a qualidade da

experiência do usuário em que está interessado avaliar (JOYCE, 2020).
Antes de determinar essas métricas, é necessário definir o contexto do seu
estudo, ou seja, considere (JOYCE, 2020): Qual produto será avaliado (site, aplicativo
etc.), qual grupo de usuário será o alvo para a avaliação e quais tarefas ou recursos
é desejado medir (JOYCE, 2020).
 16

3.3.2. Segunda etapa: Decida como medir

Quando se escolhe uma metodologia para coletar métricas, deve ser

considerado o tempo que o método de pesquisa requer para ser finalizado, o custo
desse método, a habilidade dos pesquisadores e a ferramenta disponível (JOYCE,
2020). Lembre-se que números ruins são piores que números inexistentes, então não
faça nada se não tiver as habilidades certas (JOYCE, 2020). Lembre-se também que
a ideia do benchmarking é repetir a medição continuamente, então não elabore um
plano de medição que será muito caro para sustentar ao longo prazo (JOYCE, 2020).
Existem 3 métodos de pesquisa que funcionam bem para realizar o
benchmarking, são eles (JOYCE, 2020):
• Teste de usabilidade quantitativo: Os usuários irão executar as principais
tarefas de um sistema, com isso, os pesquisadores coletam as métricas que
medem o desempenho desses usuários ao realizar essa tarefa (JOYCE,
2020).
• Análises de dados: a análise é feita automaticamente pela coleta de dados
do sistema (JOYCE, 2020).
• Dados de pesquisa: é uma espécie de formulário que os usuários
respondem, informando as diversas experiências que tiveram (JOYCE,
2020).

3.3.3. Terceira etapa: Colete a primeira medição e estabeleça uma linha de base

Ao reunidos os primeiros conjuntos de medidas, é necessário considerar os

fatores externos que podem afetar seus dados, e quando possível, eles devem ser
planejados (JOYCE, 2020). Como por exemplo, campanhas de marketing extensas
ou influências econômicas, isso pode afetar suas métricas, por isso devem ser
planejadas (JOYCE, 2020).
Uma medição de seu produto provavelmente não será o suficiente, é
necessário realizar comparações para buscar mais acertos, como comparar com o
seu concorrente e buscar referências industriais referente ao seu campo de estudo.
 17

3.3.4. Quarta etapa: Redesenhar o produto

Mostrar como redesenhar o produto não faz parte do escopo deste trabalho,
porém, é algo extremamente importante, pois é o redesenho que permite a
comparação de diversas versões do produto (JOYCE, 2020).

3.3.5. Quinta etapa: Coletar medidas adicionais

Depois que o redesenho é feito, é necessário realizar uma nova medição do

projeto (JOYCE, 2020). Não existe uma regra especificando quanto tempo esperar
depois que um projeto é lançado para medir novamente (JOYCE, 2020). Geralmente,
os usuários não gostam muito de mudanças, então é importante dar um tempo até
que se adaptem às novas mudanças para realizar uma nova medição (JOYCE, 2020).
Se o seu produto for acessado diariamente pelos os usuários, esperar 2-3 semanas
seja tempo suficiente, caso seja um produto que os usuários só acessem uma vez na
semana, esperar 4-5 semanas deve ser o ideal (JOYCE, 2020).

3.3.6. Sexta etapa: Interpretar as descobertas

Depois de ter coletado ao menos dois pontos de dados para a análise, está na
hora de interpretar as descobertas (JOYCE, 2020). É necessário usar métodos
estatísticos para enxergar as diferenças visíveis nos dados coletados (JOYCE, 2020).
As métricas que foram coletadas são altamente contextuais ao produto, por
exemplo, o tempo de uma tarefa em um aplicativo de relatório de despesas é diferente
do tempo que um jogo pode levar para fazer essa mesma tarefa (JOYCE, 2020).

3.3.7. Sétima etapa: Calcular o ROI (opcional)

O benchmarking nos permite acompanhar o sucesso e demonstrar o valor do

trabalho para outras pessoas (JOYCE, 2020). Uma maneira de mostrar esse valor é
conectar as métricas de UX obtidas a uma ferramenta que permite calcular o retorno
 18

sobre o investimento (ROI) (JOYCE, 2020). Esse cálculo irá conectar as métricas de
UX com os indicadores-chaves como, custo, lucro, satisfação do cliente e
produtividade dos funcionários (JOYCE, 2020).
Sem dúvidas, calcular o ROI é algo benéfico para a empresa e seus produtos,
porém, não é algo obrigatório para um profissional de UX realizar (JOYCE, 2020).

3.4. Estudos de casos de Ux benchmarking

Souza (2015) afirma que o Instagram é um bom exemplo de benchmarking

utilizando o UX, onde foi liberado para poucas pessoas um estilo de navegação
diferente, onde originalmente o mesmo é feito de forma vertical, com isso a troca foi
feita para horizontal.
Depois de um tempo de medição, tipo um teste A/B, onde os resultados de uma
versão foram comparados com a da outra, foi descoberto rapidamente uma grande
resistência das pessoas em mudar um gesto (SOUZA, 2015). Entender esses padrões
permite fluxos de uso mais simples, acessando comportamentos cujo usuário já
aprendeu (SOUZA, 2015). Com isso, fica claro a importância do benchmarking no
processo de descoberta (SOUZA, 2015).
O objetivo do benchmarking é ajudar os profissionais de UX a interpretarem os
resultados obtidos de acordo com a pesquisa realizada, onde é difícil julgar se o
produto atende aos objetivos de qualidade (SCHREPP HINDERKS
THOMASCHEWSKI, 2017). Veja, na figura 5a, 5b e 5c, exemplos de tempos
apresentados aos usuários.
 19

Figura 5a, 5b, 5c - Instagram

Fonte: The verge

O trabalho de Schrepp, Hinderks, Thomaschewski (2017, p.42) faz um

benchmarking através da aplicação de uma Questionário de UX (The User Experience
Questionnaire - UEQ).
Este questionário é aplicado aos usuários finais para coletar as suas opiniões.
Os quesitos avaliados são Atratividade (Attractiveness), Perspicuidade (Perspicuity),
Eficiência (Efficiency), Confiabilidade (Dependability), Estimulação (Stimulation) e
Novidade (Novelty).
Cada item é avaliado numa escala de -3 a 3, onde -3 é muito ruim e 3 é muito
bom. Schrepp, Hinderks, Thomaschewski (2017, p.42) afirmam que “valores de escala
acima de 0 representam uma avaliação positiva do aspecto da qualidade; valores
abaixo de 0 representam uma avaliação negativa.”
A figura 6 apresenta os resultados da avaliação. O problema apresentado pelos
autores é que, quando os itens são avaliados numa mesma versão, não trazem à tona
os verdadeiros significados. Mas o que realmente isso significa? O produto está bom
ou não.
 20

Figura 6 - Estatística 1

Fonte: Schrepp; Hinderks; Thomaschewski (2017, p. 42)

Caso tenha, por exemplo, uma comparação com uma versão anterior do
mesmo produto ou com um produto concorrente, então é fácil interpretar os
resultados.” Schrepp, Hinderks, Thomaschewski (2017, p.42)
A figura 7 mostra um teste estatístico simples que pode ser usado para
descobrir se a versão A possui um padrão de qualidade maior que a versão B de
acordo com o UX (SCHREPP HINDERKS THOMASCHEWSKI, 2017). Neste caso,
percebe-se claramente que a versão A é melhor que a B.

Figura 7 - Estatística 2

Fonte: Schrepp; Hinderks; Thomaschewski (2017, p. 42)

 21

4. CONCLUSÃO

Este trabalho apresentou os conceitos de Design Thinking e Experiência de

Usuário, buscando contextualizar o tema principal do trabalho que é a técnicas de UX
Benchmarking. Espera-se que esse trabalho possa mostrar a importância de planejar
algo em que está trabalhando, avaliando sempre a evolução do trabalho
constantemente, comparando sempre as novas versões com as versões anteriores.
A necessidade de saber o que o usuário pensa é essencial para projetar algo
que seja simples e fácil de usar, com isso, tornando a experiência de usuário mais
agradável, fazendo com que seja propício a volta e a permanência do usuário nesses
projetos.
Para finalizar, o UX benchmarking é, sem dúvida, uma excelente ferramenta
para diagnosticar funcionalidades e recursos que agregam ou não a um certo produto.
Ela busca adquirir métricas concretas para facilitar esses julgamentos, melhorando o
produto em versões futuras. Então é bastante aconselhável usar essa ferramenta para
que não haja desperdício de tempo e esforço da equipe e ir direto ao ponto.

4.1. Trabalhos futuros

Para trabalhos futuros é sugerido colocar na prática tudo que foi abordado
neste trabalho, aplicando as várias técnicas de UX benchmarking em produtos reais,
como na construção de um aplicativo ou sistemas web, buscando realizar métricas e
com isso, melhorando esses produtos. Comparando as versões mais novas e as
versões mais antigas, comparando também com seus concorrentes, procurando
possíveis benefícios ao realizar o UX benchmarking. Procurar aplicar as 7 etapas ditas
neste trabalho ao construir um UX benchmarking, entendendo cada uma dessas
etapas e apresentando para os superiores os resultados na utilização das mesmas.
 22

REFERÊNCIAS BIBLIOGRÁFICAS

BROWN, Tim. Design Thinking: Uma metodologia poderosa para decretar o fim
das velhas ideias. Local de publicação: Alta Books, 5 de setembro de 2018.

Cardon, E. C. (2010, March). Unleashing design: planning and the art of battle
command. Military Review, 90(2).

CORREA, Lauriane; MARIA, Daniel; BELLIO, Jean Carlos; MARCZAK, Sabrina;

CONTE, Tayna. O uso de design thinking no apoio ao desenvolvimento de software:
um estudo de caso no contexto de academias de musculação. Caderno do IME –
Série informática, v.41, p. 77-93, dez. 2018.

FERREIRA, Ana Maria Jensen Ferreira da Costa; MARTINEZ, Sandra Milena Roa;
CONEGLIAN, Caio Saraiva; VIDOTTI, Silvana Aparecida Borsetti Gregorio;
SEGUNDO, José Eduardo Santarém. Experiência de usuátio: uma análise do
ambiente wikipédia, Londrina, ago. 2016.

GIL, Antônio Carlos. Métodos e Técnicas de Pesquisa Social. 6. Ed. - São Paulo:
Atlas, 2008.

JOYCE, Alita. 7 Steps to Benchmark Your Product’s UX. set. 2020. Nielsen
Norman Group. Disponível em: https://www.nngroup.com/articles/product-ux-
benchmarks/. Acesso em: 08 dezembro 2020.

MAYARA, Ramos; MERINO, Eugenio Andrés Díaz; MERINO, Giselle Schmidt Alves
Díaz, FERREIRA, Marcelo Gitirana Gomes. Design de Serviços e Experiência do
Usuário (UX): uma análise do relacionamento das áreas. Revista DAPesquisa,
Florianópolis, ago. 2016.

MORAN, Kate. Benchmarking UX: Tracking Metrics. mai. 2020. Nielsen Norman
Group. Disponível em: https://www.nngroup.com/articles/benchmarking-ux/. Acesso
em: 26 agosto 2020.

PRODANOV, Cleber Cristiano. FREITAS, Ernani Cesar de. Metodologia do

trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico – 2.
ed. – Novo Hamburgo: Feevale, 2013.

SCHREPP, Martin; HINDERKS, Andreas; THOMASCHEWSKI, Jörg. Construction

of a Benchmark for the User Experience Questionnaire (UEQ). IJIMAI, jun. 2017. v.
4, n. 4, p. 40-44.

SOUZA, Jônathas. Avaliando produtos com a Matriz Adicionar-Aumentar-

Reduzir-Eliminar: Uma (outra) forma de fazer um benchmark estruturado voltado
para UI/UX. Mai. 2015. Ux Collective. Disponível em:
 23

https://brasil.uxdesign.cc/benchmark-adicionar-aumentar-reduzir-eliminar-
30e53324729e. Acesso em: 27 agosto 2020.

TSCHIMMEL, Katja. Design thinking as an effective toolkit for innovation. In

Proceedings of the ISPIM Conference: Action for Innovation from Experience,
p. 1–20, Barcelona, 2012.