IHC 2014 Proceedings - Short Paper Foz do Iguaçu - PR, Brazil

Uma Revisão Sistemática sobre Medição da Experiência

do Usuário
Camila Loiola Brito Maia Elizabeth Sucupira Furtado
Universidade de Fortaleza (UNIFOR) Universidade de Fortaleza (UNIFOR)
Av. Washington Soares, 1321, Fortaleza-CE, Av. Washington Soares, 1321, Fortaleza-CE,
60.811-905 60.811-905
camila.maia@gmail.com elizabet@unifor.br

RESUMO aplicativos computacionais, principalmente para os

Em cenários de medição de UX na literatura de IHC dos dispositivos móveis. Para uma captação ou retenção maior
últimos 8 anos, a interação entre o usuário e o sistema é dos usuários, profissionais de IHC tem buscado
avaliada de diversas formas. Este artigo apresenta uma proporcionar boas experiências para os usuários com os
revisão sistemática sobre os fatores considerados na aplicativos. Diversos trabalhos relacionados à avaliação das
medição de UX, com 22 trabalhos incluídos. Como experiências dos usuários tem sido escritos e disseminados,
resultados tem-se que a usabilidade ainda desperta muito utilizando análises qualitativas e quantitativas das
interesse, e não somente os outros fatores de UX. experiências dos usuários. Tal fato despertou o interesse
Identificou-se também o interesse em medir UX, ainda que dos autores deste artigo para investigar o que se mede, em
o objetivo desta medição não esteja claro. termos quantitativos, sobre UX (user experience, ou
Palavras Chave experiência do usuário). Assim, a investigação feita neste
Experiência do usuário; medição; revisão sistemática. artigo considerou trabalhos que medem vários fatores que
afetam a interação, como as facetas de UX (acessibilidade,
ABSTRACT utilidade, valor agregado, etc. [11]), incluindo também as
In scenarios of measuring user experience (UX) identified medidas de usabilidade (eficácia, eficiência e satisfação).
in the literature of the last 8 years, the interaction between Eles serão chamados neste texto fatores de UX. É
the user and the system is evaluated in different ways. This importante medir a experiência do usuário, tanto de forma
article presents a systematic review of the factors qualitativa quanto quantitativa, pelos seguintes motivos:
considered when measuring UX, with 22 studies. As a melhorar a experiência do usuário com o aplicativo num
result, usability still arouses much interest, and not only the certo contexto, adaptar o aplicativo ao usuário, entender o
other factors of UX. We also identified the interest in comportamento e reações do usuário, e propor novas
measuring UX, although the purpose of this measurement is funcionalidades.
unclear.
O objetivo deste artigo é apresentar resultados de uma
Author Keywords revisão sistemática sobre a medição de UX. Busca-se saber
User experience; measurement; systematic review. se a experiência do usuário tem sido medida além da
ACM Classification Keywords usabilidade, como e em que momentos as medições são
H.5.m. Information interfaces and presentation (e.g., HCI): realizadas, e quem são os interessados nesta medição.
Miscellaneous.
Este artigo está organizado da seguinte maneira: a seção 2
General Terms contextualiza a pesquisa, a seção 3 detalha a revisão
Measurement, Human Factors. sistemática, a seção 4 apresenta a análise dos resultados, e
INTRODUÇÃO
na seção 5 faz-se as considerações finais do trabalho.
Atualmente a inclusão digital está se tornando uma CONTEXTUALIZAÇÃO
realidade, e traz a possibilidade de investimentos em Num contexto de avaliação da interação, muitas vezes
utiliza-se observação direta e medidas objetivas e subjetivas
Paste the appropriate copyright/license statement here. ACM now
supports three different publication options: para coletar dados relacionados à eficiência, eficácia e
• ACM copyright: ACM holds the copyright on the work. This is the satisfação do sistema em análise. Neste contexto, é
historical
Permission approach.
to make digital or hard copies of all or part of this work for importante identificar os fatores de UX que podem ser
• License:
personal The author(s)
or classroom retain without
use is granted copyright, but ACMthatreceives
fee provided an
copies are medidos e as métricas associadas a esses fatores. Por
exclusive
not made publication
or distributed for license.
profit or commercial advantage and that copies
Open Access: Thefull
author(s)
exemplo, para o fator (faceta) de UX utilizável,
bear
• this notice and the citationwish
on theto first
pay page.
for theTowork
copytootherwise,
be open
access. The
or republish, additional
to post fee must
on servers or toberedistribute
paid to ACM. to lists, requires prior identificamos as métricas “quantidade (média) de vezes que
This textpermission
specific field is large enough
and/or a fee. to hold the
IHC'14, appropriate
Brazilian releaseon
Symposium statement
Human a ajuda foi utilizada pelo usuário” e “ nível de completude
assuming
Factors in itComputing
is single-spaced in TimesNewRoman
Systems. October 27-31, 2014, 8 point
Fozfont. PleasePR,
do Iguaçu, do da tarefa” , dentre outras. Além da observação direta, dados
not change
Brazil. or modify
Copyright 2014theSBC.
size of this 2316-5138
ISSN text box. (pendrive). ISBN 978-85-
de rastreio (logs) podem ser usados para que as medições
7669-291-1 (online).
possam ser realizadas automaticamente ou manualmente

369
IHC 2014 Proceedings - Short Paper
[21]. Cita-se também outras fontes com a participação do
usuário [2], [10] e [13].
Sabendo-se o que e como está sendo medido, podemos
propor novas métricas e/ou métodos de medição, e dessa
forma utilizá-los para melhorar (otimizar) a experiência do
usuário com as aplicações.
Assim sendo, o foco da revisão sistemática deste artigo foi
sobre métricas e métodos da medição de UX, a qual pode
ser coletada de diversas maneiras, como será visto a seguir.
REVISÃO SISTEMÁTICA
Neste trabalho, a revisão sistemática tem como finalidade
auxiliar no entendimento da medição de UX e usabilidade.
A revisão sistemática foi realizada em 3 fases:
planejamento, execução da pesquisa e análise de resultados.
Planejamento
Na fase de planejamento foram definidos os objetivos e
questões da pesquisa, bem como a estratégia de busca.
I – Objetivos da Pesquisa
Com base no cenário descrito na contextualização, o
objetivo geral desta pesquisa é identificar métodos e
métricas utilizados na medição de UX. Além disso, foram
definidos como objetivos específicos: identificar os fatores
de UX que são tratados nesta medição, identificar em que
momento ocorrem as medições (antes, durante ou após a
experiência do usuário), identificar como são realizadas as
medições (de modo automático ou manual) e identificar os
interessados pela medição de UX.
II – Questões da Pesquisa
Para atender os objetivos desta revisão sistemática, foram
elaboradas 3 questões de pesquisa, descritas a seguir:
Q1 – O que é medível / mensurável na experiência do
usuário? Q2 – Como são realizadas as medições (em que
momento, de que forma, quem são os interessados)? Q3 –
Quais são as facetas de UX consideradas para análise das
experiências dos usuários?
III – Estratégia de Busca para Seleção de Trabalhos
Foram consideradas as seguintes bases para pesquisa: IEEE
e ACM. Os critérios de inclusão considerados na revisão
sistemática foram: artigos publicados a partir de 2007, para
análise dos últimos 8 anos, publicações em conferências e
em periódicos, artigos disponíveis para leitura, aplicações
em sistemas/aplicativos. Além dos critérios de inclusão,
foram definidos os seguintes critérios de exclusão: artigos
com idiomas diferentes do português, e tipo de documento
igual a teses, dissertações, relatórios técnicos. A string de
busca utilizada foi:
(“user experience” OR “usability” OR “UX” OR
“user engagement”)
AND (“measuring” OR “measure” OR
“quantifying” OR “quantify” OR “metric”)
370
Foz do Iguaçu - PR, Brazil
Execução
Foram recuperados 104 trabalhos da base ACM e 29
trabalhos da base IEEE, resultando em 133 trabalhos. Após
o retorno da busca, foram realizadas 3 fases de exclusão de
trabalhos, restando os trabalhos que interessam ao objetivo
desta revisão. A primeira fase de exclusão ocorreu com a
aplicação dos critérios de inclusão e exclusão, bem como a
análise dos títulos dos trabalhos. Dos 133 trabalhos
retornados da busca nas bases, foram excluídos nesta
primeira fase 78 trabalhos. Após a primeira fase de
exclusão, restaram 55 trabalhos para a segunda fase.
A segunda fase de exclusão consistiu na leitura do abstract
dos artigos, para avaliar a compatibilidade com o tema
desejado. Dos 55 trabalhos, 15 foram excluídos nesta fase,
restando 40 trabalhos para a fase 3. Na terceira fase se deu a
leitura da introdução, do detalhe da proposta e da conclusão
dos trabalhos. Dos 40 trabalhos que iniciaram nessa fase, 18
foram excluídos por não atenderem ao objetivo da pesquisa
ou não estarem relacionados ao assunto. Restaram, então,
22 trabalhos para a coleta e análise dos dados: [1], [2], [3],
[4], [5], [6], [7], [8], [9], [10], [12], [13], [14], [15], [16],
[17], [18], [19], [20], [21], [22], [23].
ANÁLISE DOS RESULTADOS
Na fase final da revisão sistemática, foi realizada a análise
dos dados referentes à medição de UX, a qual apresenta-se
a seguir, fazendo inicialmente uma contextualização sobre
os tipos das propostas e tipos de aplicação.
Cerca de 56,52% dos trabalhos apresentam métodos e
técnicas para a medição de UX e/ou usabilidade, enquanto
17,39% focam (propõem ou explicam) em métricas para
este tipo de medição. Além desses dois tipos principais de
propostas, pode-se citar também propostas para validação
de uma metodologia já existente em um ambiente diferente
(8,7%), como validar uma metodologia já testada em
sistemas web em ambientes de vídeo games. Somando-se a
estas, há propostas de avaliação de usabilidade e/ou UX
(13,05%), e estudo da influência de UX em produtos
(4,34%).
Quanto ao tipo de aplicação, boa parte dos trabalhos
(27,27%) não informou se o trabalho foi aplicado em sites
da web ou games, por exemplo. Considerando apenas os
trabalhos que citaram o tipo de aplicação, constata-se que a
maioria das aplicações é web (18,18%), e-learning
(13,64%) e e-commerce (9,09%). Após esta
contextualização, investigou-se os resultados para
responder as questões apresentadas.
Para responder a questão Q1, pode-se destacar as seguintes
métricas: relacionadas à satisfação do usuário (4,55%), uso
de aplicativo (18,18%), eficiência/efetividade (36,36%) e
relacionadas a sentimentos/emoções (40,91%). As métricas
relacionadas à satisfação do usuário geralmente são
medidas na forma de escalas de 5 a 7 pontos, e são
informadas pelo próprio usuário, que pode dar uma “ nota”
à sua satisfação (ou conjunto de variáveis que são
IHC 2014 Proceedings - Short Paper Foz do Iguaçu - PR, Brazil

considerados para medir esta satisfação). Nas métricas

baseadas em sentimentos e emoções, a emoção/sentimento
do usuário é medido através de dispositivos anexados ao
corpo, destacando-se a medição da pressão arterial e o
diâmetro da pupila. As métricas de uso de aplicativo
identificam como o aplicativo está sendo usado pelo
usuário, e alguns exemplos são: número de visitas por
usuário por semana e tempo despendido em uma página. As
métricas de eficiência e efetividade são aquelas que medem
o percentual de tarefas executadas corretamente pelo
usuário.
Em relação à questão Q2, foi possível identificar que os
principais interessados pelo tema são do meio acadêmico
(77,27%), embora grandes empresas (22,73%), como
Google e Intel, tenham demonstrado interesse no assunto. A
maioria das medições ainda é realizada de modo manual Figura 2. Facetas de UX trabalhadas
(59,09%), como pode ser visto na Figura 1, porém já pode
ser visualizada uma preocupação em automatizar o
processo de medição, visto que 18,18% dos trabalhos já
aplicam uma medição mista, ou seja, de forma manual e
automatizada, e 13,64% dos trabalhos coletam as medidas
de forma automatizada. No entanto, 9,09% não informaram
como realizam ou deve ser realizada a coleta.

Figura 3. Facetas de UX trabalhadas

Figura 1. Modo de medição
Em relação ao momento de medição, 9,09% dos trabalhos
não informaram em que momento ocorre ou deve ocorrer a
medição proposta, 36,36% dos trabalhos realizam as
medições antes e durante o uso da aplicação, 31,82% o
fazem após o uso da aplicação, e 22,73% durante o uso.
Estas informações estão ilustradas na Figura 2.
Sobre a questão Q3, as facetas utilizável e útil são as mais
trabalhadas, com 35,59% e 25,42%, respectivamente, visto
que boa parte dos trabalhos mantém seu foco apenas na
usabilidade. Além dessas, foram trabalhadas as facetas
acessibilidade, credibilidade, desejável, encontrável e
valioso. As facetas valioso e desejável estão empatadas,
com 15,25% cada, encontrável, com 3,39%, acessibilidade,
com 3,39%, e credibilidade, com 1,69%, como pode ser
visto na Figura 3.
CONSIDERAÇÕES FINAIS
O objetivo principal deste trabalho foi identificar métodos e
métricas utilizados na medição de UX. Foram coletadas
informações sobre o modo e o momento da medição, o foco
da medição e os fatores de UX trabalhados. Após a
pesquisa nas bases de dados escolhidas e a aplicação dos
critérios de inclusão e exclusão, restaram 22 trabalhos que
foram consolidados nesta revisão sistemática. É importante
ressaltar que foram incluídos na revisão apenas trabalhos a
partir de 2007, o que poderia ser citado como limitação
desta pesquisa, mas esta escolha se deu devido ao fato do
conceito de UX ter sido mais amplamente usado após a ISO
9241-210, que surgiu em 2010. Destaca-se também que
neste ano houve um volume maior de publicações.
Sobre o foco dos trabalhos estudados, a maioria dos
trabalhos, ou seja, 54,55%, foca em usabilidade, enquanto
45,45% focam em UX. É importante destacar que foi
designado com foco em UX aqueles trabalhos que foram

371
IHC 2014 Proceedings - Short Paper
um pouco além da usabilidade, ou seja, consideraram pelo
menos mais uma faceta de UX, além de utilizável e útil.
Diante do exposto, pode-se concluir que há um interesse,
tanto acadêmico como de grandes empresas, na medição de
UX. Grandes empresas, como Google e Intel, já realizam
pesquisas relacionadas a este assunto. Esta medição tem
sido realizada em plataformas (mobile, web) e aplicações
(e-commerce, e-learning, jogos, etc) diferentes. Além disso,
tem-se procurado trabalhar mais facetas de UX além das
relacionadas à usabilidade, mostrando o interesse na boa
experiência do usuário. Os resultados obtidos nesta revisão
servirão de base para trabalhos futuros, uma vez que a
medição de UX pode prover feedback de como o usuário
interage com uma aplicação, dando a oportunidade de
melhorar e adaptar a aplicação avaliada.
REFERÊNCIAS
1. Al-Wabil, A., Alabdulqader, E., Al-Abdulkarim, L., Al-
Twairesh, N. Measuring the user experience of digital
books with children: An eyetracking study of interaction
with digital libraries. In Proc. International Conference
for Internet Technology and Secured Transactions 2010
(2010).
2. Cavallin, H., Martin, W. M., Heylighen, A. How
relative absolute can be: SUMI and the impact of the
nature of the task in measuring perceived software
usability. AI & Society 22, 2 (2007), 227-235.
3. Christophersen, T., Konradt, U. Development and
validation of a formative and a reflective measure for
the assessment of online store usability. Behavior &
Information Technolgy 31, 9 (2012), 839-857.
4. Elfaki, A. O., Duan, Y., Bachok, R., Du, W., Gapar,
Md., Johar, Md., Fong, S. Towards Measuring of E-
Learning Usability through User Interface. In Proc.
International Conference on Advanced Applied
Informatics 2013 (2013).
5. Fadzlah, A. F. A., Deraman, A. Measuring the usability
of software applications: metrics for behaviorness. In
Proc. ICCSA 2007 (2007).
6. Fairclough, S. H., Gilleade, K., Ewing, K. G., Roberts,
J. Capturing user engagement via psychophysiology:
measures and mechanisms for biocybernetic adaptation.
International Journal of Autonomous and Adaptive
Communications Systems 6, 1 (2013), 63-79.
7. Fehnert, B., Kosagowsky, A. Measuring user
experience: complementing qualitative and quantitative
assessment. In Proc. MobileHCI 2008 (2008).
8. Finstad, K. The Usability Metric for User Experience.
Interacting with Computers 22, 5 (2010), 323-327.
9. Ismail, M., Diah, N. M., Ahmad, S., Kamal, N. A. M.,
Dahari, M. K., M. Measuring usability of educational
computer games based on the user success rate. In Proc.
SHUSER 2011 (2011).
10. Komogortsev, O. V., Mueller, C. J., Tamir, D.,
372
Foz do Iguaçu - PR, Brazil
Feldman, L. An effort and time based measure of
usability. In Proc. International workshop on Software
quality (2008).
11. Morville, P. Experience Design Unplugged. ACM
SIGGRAPH, p. 10, 2005.
12. O'Brien, H. L., Toms, E. G. Is there a universal
instrument for measuring interactive information
retrieval?: the case of the user engagement scale. In
Proc. Symposium on Information Interaction in Context
2010 (2010).
13. Orehovački, T., Hrustek, N. Z. Development and
validation of an instrument to measure the usability of
educational artifacts created with web 2.0 applications.
In Proc. DUXU 2013 (2013).
14. Panach, J. I., Condori-Fernández, N., Baars, A., Vos, T.,
Romeu, I., Pastor, O. Towards an experimental
framework for measuring usability of model-driven
tools. In Proc. INTERACT 2011 (2011).
15. Petrie, H., Precious, J. Measuring user experience of
websites: think aloud protocols and an emotion word
prompt list. In Proc. CHI 2010 (2010).
16. Rodden, K., Hutchinson, H., Fu, X. Measuring the user
experience on a large scale: user-centered metrics for
web applications. In Proc. CHI 2010 (2010).
17. Schmettow, M., Vietze, W. Introducing item response
theory for measuring usability inspection processes. In
Proc. SIGCHI 2008 (2008).
18. Schulze, K., Krömker, H. A framework to measure user
experience of interactive online products. In Proc.
International Conference on Methods and Techniques in
Behavioral Research 2010 (2010).
19. Tezza, R., Bornia, A. C., Andrade, D. F. Measuring web
usability using item response theory: Principles, features
and opportunities. Interacting with Computers 23, 2
(2011), 167-175.
20. Torrente, C. S., Prieto, A. B. M., Gutiérrez, D. A.,
Sagastegui, E. A. Sirius: A heuristic-based framework
for measuring web usability adapted to the type of
website. Journal of Systems and Software 86, 3 (2013),
649-663.
21. Wiebe, E. N., Lamb, A., Hardy, M., Sharek, D.
Measuring engagement in video game-based
environments: Investigation of the User Engagement
Scale. Computers in Human Behavior 32, 2014, 123-
132.
22. Wimmer, B., Wöckl, B., Leitner, M., Tscheligi, M.
Measuring the dynamics of user experience in short
interaction sequences. In Proc. NordiCHI 2010 (2010).
23. Winter, J., Rönkkö, K., Ahlberg , M., Hinely, M.,
Hellman, M. Developing Quality through Measuring
Usability-The UTUM Test Package. In Proc. WoSQ'07:
ICSE Workshops 2007 (2007).