See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/276060498

Testes de Usabilidade: Fundamentos e Definições

Conference Paper · January 2014

CITATIONS READS

0 788

1 author:

Alessandro vieira dos reis

Federal University of Santa Catarina
13 PUBLICATIONS   25 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

gamification View project

All content following this page was uploaded by Alessandro vieira dos reis on 11 May 2015.

The user has requested enhancement of the downloaded file.

Testes de Usabilidade: Fundamentos e Definições
Usability Testing: Foundations and Definitions

REIS, Alessandro Vieira; Mestrando em Design; UFSC

alessandro.v.r@posgrad.ufsc.br

GONÇALVES, Dr.a Berenice; Pesquisadora em Design; UFSC

berenice@cce.ufsc.br

MATOS, Dr.a Marília; Pesquisadora em Design; UFSC

marilinhamt@gmail.com

Resumo

Este artigo objetiva apresentar os fundamentos dos testes de usabilidade descrevendo os

procedimentos científicos de observação e experimentação. Partindo de uma revisão
bibliográfica sobre pesquisa com seres humanos, são analisados como ilustração os testes de
três simuladores de motocicleta realizados pelo autor. Como principais conclusões: a maioria
dos testes de usabilidade são observações e não experimentos; a necessidade de conhecimento
sobre Delineamento Experimental para a realização de testes mais sofisticados.

Palavras-Chave: Pesquisa em Design; Experimentos; Observação; Testes de Usabilidade.

Abstract

This paper aims to presentthe foundations of usability testing describing the scientific
procedures of observation and experimentation. Starting from a literature review of research
on human beings, it is analyzed the tests of three motorcycle simulators performed by the
author as an illustration. As main conclusions: most usability tests are observations and not
experiments; the need for knowledge about Design of Experiments to conduct more
sophisticated tests.

Keywords: Research Design; experiments; Observation; Usability Testing.

Introdução
A pesquisa em Design é um campo crescente e diversificado em procedimentos
metodológicos. Dentre esses procedimentos o presente artigo destaca os testes de usabilidade,
feitos para avaliar aspectos do uso de produtos. Tais testes são comuns no campo do Design
da Interação, ramo do Design dedicado à interface entre humano e máquina (PREECE, 2005).
Também chamados de “testes de uso”, tais procedimentos focam na usabilidade, que pode ser
definida como quão fácil e intuitivo é aprender a usar algo, bem como executar tarefas com
um produto (IIDA, 2005).
Testes de usabilidade feitos com pessoas podem ser empregados para validar
conceitos, testar hipóteses e confirmar, ou descartar, linhas de criação. Constituem-se, então,
pelo seu poder gerador de conhecimento projetual, como um importante recurso para o
Design Centrado no Usuário, comumente realizado durante processos de prototipação (REIS e
SILVA, 2012).
Os procedimentos de pesquisa que envolvem testes com pessoas, contudo, tendem a
ser mais complexos e custosos em termos operacionais que outros procedimentos de pesquisa
em Design. Tais testes demandam criteriosidade técnica e rigor metodológico, bem como
cuidados éticos para com os testadores envolvidos. O que suscita a seguinte pergunta de
pesquisa: “Como planejar e executar testes de usabilidade rigorosos e criteriosos em termos
teóricos e metodológicos, afim de obter um conhecimento de melhor qualidade sobre a
usabilidade estudada?”
Inserido nessa problemática, o presente artigo tem por objetivos:
1. Apresentar os fundamentos teórico-metodológicos, vindos principalmente da
Psicologia, dos testes de usabilidade;
2. Explanar diferenças e semelhanças entre teste de usabilidade e experimentos
científicos com pessoas, quase-experimentos, experimentos de campo e outros
procedimentos de pesquisa, afim de discriminar a natureza dos testes de
usabilidade e assim formas de melhor planejá-los.
O artigo tem por proposta, portanto, esclarecer a temática do planejamento de testes
com seres humanos para o público interessado em Pesquisa em Design, a fim de suprir tais
pesquisadores com recursos teóricos e metodológicos relativos a tal desafiante
empreendimento.
O escopo do artigo limita-se a apresentar as principais questões técnicas do
delineamento de experimentos, sem avançar em assuntos tais como diferentes abordagens
epistemológicas de pesquisa, bem como oferecer instruções detalhadas de como executar tais
procedimentos.

Observação como Fundamento da Experimentação

Na metodologia científica há duas grandes classes de procedimentos de pesquisa nas
quais estão inclusos senão todos mas a maior parte dos métodos a disposição dos
pesquisadores: a observação e a experimentação (JOHNSTON e PENNYPACKER, 1993).
Essas duas classes, contudo, apresentam-se relacionadas de tal forma que uma gera condições
para execução da outra. Antes de falar da experimentação, portanto, torna-se necessário expor
o processo de observação científica como seu fundamento.
Enquanto procedimento de pesquisa, a observação é uma forma de coleta de dados que
“põe o cientista mais sobre a influência do que acontece na realidade do que na influência de
suposições, interpretações e preconceitos” (DANNA e MATOS, 1999, p. 22). As autoras

4º GAMPI Plural, 2014, Univille, Joinville, SC

prosseguem apontando como o registro criterioso da observação permite a comunicação dos
achados e a replicação e avaliação dos dados. Observar difere de apenas ver a medida que o
ato de observar implica em especial atenção a detalhes e registro dos dados de tal forma que
eles possam ser objetivamente comunicados. Boa parte desse registro se dá através de
indicadores quantitativos. Para manter a objetividade da observação científica do
comportamento é importante, segundo Danna e Mattos (1999), “o uso de indicadores tais
como postura corporal, gestos e expressões exibidos pelo sujeito” (p. 31). O uso de tais tipos
de indicadores evita que o observador emita inferências prematuras sobre o que ele acha que
está acontecendo. Importa no ato de observar científicamente descrever com clareza e
precisão os eventos e os contextos em que eles ocorrem. Por exemplo, se um sujeito
observado diz “Estou cansado” e cruza os braços, o observador deve registrar o evento verbal
(ele disse “Estou cansado”) e o evento corporal (cruza os braços), e não tomar notas
interpretativas como “Ele estava cansado por isso cruzou os braços”, que é uma dedução que
pode estar errada.
Segundo Preece (2005), observações podem ser de diferentes tipos, conforme o grau
de rigor e do instrumental usado: a) exploratória, (feita sem objetivos pré-definidos) ; b)
sistemática (focada em objetivos) e c) protocolada (pautada em indicadores pré-estabelecidos
para facilitar o registro quantitativo dos dados). As observações feitas em experimentos
costumam ser protocoladas, uma vez que já se sabe de antemão que indicadores são alvo de
análise. Contudo a pesquisa experimental também faz uso de observações exploratórias e
sistemáticas em momentos iniciais. A observação exploratória, por exemplo, é comum em
testes-piloto, onde ainda se busca validar a metodologia que será utilizada. Já a observação
sistemática é comum quando o intuito é descrever fenômenos amplos e a forma como eles se
relacionam. Assim, por exemplo, um pesquisador pode observar sistematicamente o
comportamento de ratos em um labiritino, e com isso identificar padrões antes de protocolar
indicadores para quantificar esses padrões.

O Processo de Experimentação Científica

Experimentos constituem uma parte essencial da Ciência, seja por seu valor
epistêmico, seja como fator identitário. A Ciência é considerada confiável, para muitos,
porque ela baseia seus saberes em comprovações experimentais. A pesquisa experimental
pode ser definida como aquela que “envolve manipulação direta e controle das variáveis. O
pesquisador manipula a primeira variável de interesse então observa a resposta” (COZBY,
2003, pág. 89). Em outras palavras, a pesquisa experimental se caracteriza por procedimentos
onde uma ou mais variáveis do ambiente são manipuladas a fim de medir os efeitos em outras
variáveis, com tal controle de condições a fim de eliminar a influência de variáveis não
pertinentes. Por conta disso a ideia de registrar e medir variáveis é parte fundamental da
realização de um experimento, o que torna a habilidade em realizar observações rigorosas um
pré-requisito para toda experimentação bem-sucedida.
Experimentos envolvem observação, mas essa ocorre em condições especialmente
controladas. Sobre a natureza do trabalho em pesquisa experimental e sua relação com
procedimentos científicos de observação, Sampaio (2008, p. 152), citando Johnston e
Pennypacker (1993), pontua:

Um experimento é uma série de ações que resulta em um conjunto de observações

especiais que não seriam possíveis de outra forma. A experimentação é um modo de
simplificar as condições sob as quais a observação é feita de modo que um

4º GAMPI Plural, 2014, Univille, Joinville, SC

 fenômeno possa ser observado mais claramente. A partir da definição de uma
pergunta experimental (o que se busca aprender com o experimento), o
experimentador deve considerar: 1) como o(s) fenômeno(s) em estudo será(ão)
medido(s), garantindo a validade e a confiabilidade dessas medidas; 2) como as
condições experimental e controle serão arranjadas para permitir comparações entre
elas (delineamento experimental); 3) como os dados (as medidas obtidas) serão
analisados, e 4) que conclusões são possíveis a partir dos resultados.
(PENNYPACKER, 1993, pág. 152-153).

Todo experimento, portanto, é uma observação que ocorre em condições especiais de

controle. Do mesmo modo, nem toda observação é um experimento, por não satisfazer os
critérios para tal procedimento. Critérios esses agrupados no conceito de Delineamento
Experimental.

Delineamento Experimental
Um experimento científico caracteriza-se pela existência de um tipo peculiar de
planejamento conhecido como delineamento experimental. Este é composto pela escolha de
variáveis que serão manipuladas (variáveis independentes - VI) e as variáveis cujos valores
serão mensurados (variáveis dependentes - VD), bem como de escolhas relativas ao uso de
grupo-controle e de grupos experimentais (Sidman, 1976). Um “grupo controle” é uma
amostra de sujeitos nos quais não serão aplicadas intervenções experimentais, sendo tão
somente observados. Um “grupo experimental” é uma amostra de sujeitos onde os
procedimentos de pesquisa serão aplicados. Analisando os dois tipos de grupos torna-se
possível verificar de que forma os procedimentos experimentais afetam os sujeitos, uma vez
que passa-se a ter uma medida comparativa.
O fundamento da pesquisa experimental está, portanto, na manipulação de suas
condições básicas, apontadas por Sampaio (2008) como duas: a condição controle (ou “linha
de base”) e a condição experimental. A condição de controle é aquela na qual a VI não está
presente. Ela permite avaliar os efeitos de todas as variáveis, que não a VI, sobre a VD. A
condição experimental, por sua vez, é aquela na qual a VI está presente.
A Tabela 1 sintetiza os principais termos do vocabulário relativo ao delinamento
experimental:

Tabela 1 - Variáveis e procedimentos

Fator de delineamento Definição
Variáveis Independentes (VI) Aquelas que serão manipuladas, gerando
condições experimentais.
Grupo controle Amostra que não sofrerá tratamento
experimental, sendo apenas observada.
Procedimentos experimentais Eventos planejados de tal forma a criar
condições onde uma VI atua.
Grupo experimental Amostra que sofrerá tratamento experimental
(variável independente atuando).
Variáveis dependentes (VD) Variáveis que serão medidas no grupo

4º GAMPI Plural, 2014, Univille, Joinville, SC

 experimental, e cujo valor são alterados pelas
independentes.

Além da escolha das VI e das VD e dos procedimentos de controle, delinear um

experimento é também decidir sobre questões logísticas e operacionais, tais como: 1) quantos
sujeitos serão utilizados em cada grupo; 2) em quais condições eles serão expostos aos
procedimentos de controle; 3) quando, por quanto tempo e em que ordem as condições serão
introduzidas; 4) quando e quantas vezes as medidas de interesse serão realizadas; dentre
outras questões; etc.
Sampaio (2008) aponta que os dois tipos mais comuns de delineamentos
experimentais são os intra-grupo (em que uma série de dados é extraída de um grupo de
sujeitos) e os delineamentos entre-grupos (em que dados de 2 ou mais grupos são extraídos e
comparados). A abordagem mais tradicionalmente utilizada na Psicologia e nas Ciências
Sociais é a que emprega delineamentos entre-grupos. No delineamento entre-grupos
frequentemente se trabalha com amostras numerosas para diluir as margens de erros de
análises estatísticas. Assim, por exemplo, compare-se um grupo de 200 sujeitos com outro
grupo de 200 sujeitos afim de se obter um conhecimento mais confiável do que se os mesmos
experimentos fossem feitos com apenas 20 sujeitos em cada grupo.
Outra forma de delineamento, menos usada, é o de sujeito único, onde cada sujeito é
comparado apenas a si mesmo em diferentes condições, e não a médias estatísticas de outros
sujeitos. No delineamento de sujeito único é possível fazer experimentos com apenas um
indivíduo. Tal estratégia experimental foca descobrir as causas de fenômenos, isto é,
identificar determinantes dos fenômenos observados e não apenas estabelecer correlações. Por
tal foco os experimentos de delineamento de sujeito único não fazem uso de estatística
inferencial para generalizar achados amostrais em populações. Segundo Sampaio (2008), nos
experimentos de sujeito único não se trata fenômenos por meio de médias estatísticas. Por
exemplo: “15% se sentiram insatisfeitos”. Ao invés disso, cada ocorrência é analisada
separadamente em busca de suas causas, gerando conclusões como: “Verificou-se que a
insatisfação foi determinada pelo fator X e pelo fator Y”. Entende-se ainda, em tal estratégia,
de que é mais proveitoso avaliar a fundo poucos sujeitos, descobrindo assim relações de causa
e efeito comuns à população, do que avaliar superficialmente muitos (GRAVETTER e
FORZANO, 2009).

Fases e Critérios do Processo Experimental

Por sua exigência de criteriosidade e rigor, a Pesquisa Experimental apresenta-se como
um processo de alto custo operacional, comparado com observações de campo, entrevistas e
questionários. Trata-se de um procedimento iminentemente quantitativo de pesquisa, uma vez
que objetiva a mensuração de variáveis formadoras de um fenômeno, bem como a estipulação
de como alterações em algumas dessas variáveis afetam o valor de outras (JOHNSTON e
PENNYPACKER, 1993). O relativo alto custo de fazer experimentos é justificado pelo
potencial de criação de conhecimento presente na pesquisa experimental. Sidman (1976),
aponta cinco motivos para a realização de pesquisas experimentais: 1) Avaliar hipóteses; 2)
Satisfazer curiosidade; 3) Testar novo método ou técnica; 4) Estabelecer a existência de
fenômenos e 5) Investigar as condições em que algo ocorre. O valor da pesquisa experimental
destaca-se mais nos motivos 4 e 5 de Sidman. Nesses pontos os experimentos podem fornecer
achados de uma maneira tal qual que outros procedimentos de pesquisa não conseguiriam

4º GAMPI Plural, 2014, Univille, Joinville, SC

realizar.
Em termos técnico-operacionais, de forma didática, o processo de experimentação
envolve, segundo Cozby (2003), cinco fases: 1) planejamento; 2) preparação do ambiente e
instrumentos de medida; 3) execução dos experimentos; 4) tratamento dos dados registrados e
5) apresentação e discussão dos resultados, com eventual publicação. Analisando as 5 fases
citadas pelo autor, podemos descrevê-las da seguinte forma: um experimento é uma série de
situações planejadas (fase 1), que ocorrem em um ambiente controlado e com instrumentos de
medida (fase 2), onde uma ou mais variáveis do ambiente são manipuladas (fase 3), de tal
forma a gerar dados passíveis de análise e interpretação (fase 4), e que por sua vez geram
como resultado conhecimento de natureza científica (fase 5).
Em termos de qualidade, diz-se que um experimento possui “validade interna” quando
constata-se que as mudanças nas variáveis independentes determinam mudanças nas variáveis
dependentes, conforme postulado pelo experimentador. Já a “validade externa” é uma medida
de como os resultados finais do experimento podem ser generalizados para outras condições,
não-experimentais (SIDMAN, 1976). O autor apresenta ainda outros critérios de qualidade
usados para avaliar um experimento, que são apresentados na Tabela 2:

Tabela 2 - Critérios de avaliação de um experimento

Critério de Definição
Qualidade
Fidedignidade Quanto as medidas feitas no laboratório correspondem mesmo aos
fenômenos registrados pelos instrumentos de observação.
Generalidade Quanto o conhecimento criado pela pesquisa é aplicável a outros casos.
Variabilidade Nível de variação ocorrida nos valores nas variáveis observadas e medidas,
e o que explica essa variação (erros nos instrumentos de observação, p.e.).

Algumas Variações do Método Experimental

Além dos experimentos propriamente ditos existem variações do processo
caracterizada por mudanças nos fatores do Delineamento Experimental. Uma dessas variações
são os quase-experimentos, que podem ser descritos da seguinte forma:

Os delineamentos quase-experimentais surgiram quando da necessidade de realizar

pesquisas aplicadas, em situações em que não é possível atingir o mesmo grau de
controle que nos delineamentos experimentais propriamente ditos. (COZBY, 2008,
pág. 238).

Quase-experimentos, por vezes tratados também como “experimentos de campo”, são

usados em pesquisas aplicadas e em situações em que o controle rigoroso do ambiente
laboratorial não é possível. Cita-se como exemplo o clássico quase-experimento de Rosenthal
e Jacobson (1968), que fundamentou a teoria do “Efeito Pigmaleão”. Em uma sala de aula
normal os pesquisadores sistematicamente elogiavam alguns alunos (grupo experimental) e
não elogiavam outros (grupo controle). Posteriormente foi verificado que os alunos mais
elogiados tinham melhores notas nas avaliações. Com tal quase-experimento os autores
evidenciaram o poder das profecias auto-realizadoras.
Outra variação da pesquisa experimental são os estudos não-experimentais. A principal

4º GAMPI Plural, 2014, Univille, Joinville, SC

diferença desses para os quase-experimentos é o fato de que nos não-experimentos há pouca
ou nenhuma tentativa de de controlar as ameaças à validade interna da pesquisa
(GRAVETTER e FORZANO, 2009). Os não-experimentos possuem delineamento e
tratamento estatístico, mas a falta de controle das variáveis suscita questionamentos quanto a
validade final de seus achados, bem como ao grau de generalidade do conhecimento
constituído.

Experimentos com Seres Humanos

Os experimentos realizados com seres vivos demandam critérios éticos quanto a
integridade e respeito aos sujeitos experimentais, tais como evitar abusos e danos
desnecessários aos sujeitos experimentais (RESOLUÇÃO 466, 2012). As exigências éticas
quando esses sujeitos são seres humanos aumentam, envolvendo itens como: “Consentimento
Informado Individual; Informações Essenciais para os Possíveis Sujeitos da Pesquisa;
Salvaguardas à confidencialidade; Direito dos sujeitos à compensação; etc” (CIOMS e
OMS, 1993).
No Brasil, as principais normativas para tratamento ético de seres humanos em
pesquisas encontram-se na Resolução 466 do Conselho Nacional de Saúde (2012), que
determina a inclusão de toda pesquisa acadêmica com seres humanos no Sistema Nacional de
Informações sobre Ética em Pesquisas envolvendo Seres Humanos (SINESP). A pesquisa
deverá ser cadastrada no site da Plataforma Brasil, para avaliação de um Comitê de Ética em
Pesquisa (CEP) ligado a alguma universidade local. O resultado da avaliação pode ser
aprovação completa, aprovação parcial (que demanda mudanças nos procedimentos de
pesquisa) e reprovação. Uma vez aprovada por um CEP, a pesquisa pode ser levada a cabo.
Tal aprovação protege o pesquisador de eventuais processos por negligência ética, bem como
é exigida em projetos de pesquisa para pós-graduação e em alguns eventos internacionais.

Pesquisa em Design e Avaliação de Usabilidade

A Pesquisa em Design é um campo de conhecimento que vem crescendo no mundo.
Sobre o advento e crescimento desse campo de estudo:

Design research emerged as a recognised field of study in the 1960's led by

practitioners such as John 
 Christopher Jones and Bruce Archer. Design research
can be described in two distinct ways: (1) 
 undertaking research into the design
process with the intention of improving its effectiveness and 
 performance and (2)
undertaking research within the process of design with the aim of enhancing

 creativity, problem solving and or design-decision making.Since the 1960's the
scope and nature of design research has been continually expanded and today it is

 becoming more integral to all forms of communication, product and service
design. . 1 (BOLTON, 2009, pag.1)

Fundamento de um Design Centrado no Usuário, a realização de pesquisa para suporte

ao design trata da criação de conhecimento sobre as pessoas para as quais se está projetando,

1 “A pesquisa em design surgiu como um campo de estudos reconhecido em 1960, liderados por profissionais como John
Christopher Jones e Bruce Archer. Pesquisa em design pode ser descrito de duas maneiras distintas: (1) a realização de pesquisas no
processo de design, com a intenção de melhorar a sua eficácia e desempenho e (2) a realização de pesquisas no âmbito do processo de
projeto com o objetivo de aumentar a criatividade, resolução de problemas e ou design de decisão making. Desde a década de 1960 o âmbito
e a natureza da pesquisa em design tem sido continuamente ampliado e hoje é cada vez mais essencial para todas as formas de
comunicação, produto e design de serviço”.

4º GAMPI Plural, 2014, Univille, Joinville, SC

visando tomadas de decisão nos projetos. Segundo a ISO 13407 (1999) há quatro chaves para
o Design Centrado no Usuário: levantamento e especificação de requisitos, projeto e
avaliação. A pesquisa em Design, em seus diversos procedimentos possíveis, gira em torno
dos requisitos do projeto (levamento e especificação de tais itens), bem como da avaliação
desses requisitos através de testes com usuários, a fim de verificar se eles se ajustam aos
objetivos do projeto. O processo de Design Centrado no Usuário ainda é descrito ainda na
ISO 13407 como baseado em pesquisa com seres humanos, e guiado pelos seguintes
princípios: envolvimento ativo dos usuários, alocação apropriada de funções para o sistema e
para o usuário, iteração das soluções e multi-disciplinaridade.
Quanto a variedade operacional da pesquisa em Design, Devi e Hemachandran (2012)
apontam 12 procedimentos fundamentais para criação de conhecimento em Design: card
Sorting, inquérito contextual, grupos focais, entrevistas, análise de arquivos de logs,
prototipagem em papel, questionários, análise de tarefas, testes de usabilidade, revisão por
especialistas, passo a passo orientado e avaliação heurística. Sem descrever em detalhes a
natureza dos testes de usabilidade, os autores comentam que estes são feitos com usuários a
partir de situações previamente arranjadas para observação de seus comportamentos relativos
ao uso de um produto.

Planejamento e Execução de Testes de Usabilidade

O procedimento de pesquisa em design conhecido como “teste de usabilidade” (DEVI
e HEMACHANDRAN, 2012), consiste na avaliação sistemática de como se dá o uso de um
produto. A usabilidade pode ser descrita como o conjunto de propriedades da interface de um
produto que afetam o usuário. Em outras palavras:

The extent to which a product can be used by specified users to achieve specified goals with
effectiveness (Task completion by users), efficiency (Task in time) and satisfaction
(responded by user in term of experience) in a specified context of use (users, tasks,
equipments & environments).2 (ISO 9241-11, 2011, pág. 32).

Testes de usabilidade são avaliações do uso de produtos de tal forma que um usuário
está envolvido interagindo com o produto avaliado e seus comportamentos estão sendo
observados sistematicamente, de modo a registrar sinais de sucesso e satisfação em tarefas,
tempo desprendido para execução das mesmas, erros, eficiência e custo de aprendizagem
(TULLIS e ALBERT, 2008).
A maior parte dos testes de usabilidade são feitos de uma maneira “quick and dirty”
(PREECE, 2005), isto é, sem grande criteriosidade e rigor. A começar pelo ambiente do teste
que pode ser o de qualquer sala preparada com recursos de observação, e não necessariamente
um laboratório propriamente dito. Tais testes giram em torno de “task lists” (listas de tarefas
relevantes para a avaliação do produto, a serem executadas pelos testadores de tal forma que o
desempenho nessas tarefas e a satisfação com a experiência decorrentes serão avaliados). Os
testadores executam as tarefas presentes na “task list” e seus comportamentos de uso, tais
como verbalizações, emoções, respostas motoras, etc, são observados e registrados para
posterior interpretação.

2 “A medida em que um produto pode ser usado por usuários específicos para alcançar objetivos específicos com efetividade (conclusão
da tarefa pelos usuários), eficiência (tarefa no tempo) e satisfação (respondidos pelo usuário em termos de experiência) em um contexto
de uso especificado (usuários , tarefas, equipamentos e ambientes)”

4º GAMPI Plural, 2014, Univille, Joinville, SC

 Apesar do uso corriqueiro do termo “experimento” para designar testes de usabilidade
eles são descritos, portanto, como fazendo uso basicamente de procedimentos de observação,
seja ela exploratória, sistemática ou protocolada. O que determina de que tipo será essa
observação é o grau de maturidade do projeto. Assim, num momento inicial do projeto o teste
de usabilidade será uma observação exploratória, uma vez que ainda não se sabe o que esperar
de reação dos usuários. A seguir, com o volume de experiências com o produto, observações
sistemáticas podem ser realizadas para levantar relações entre variáveis. Por fim, definidos os
indicadores que permitem quantificar os comportamentos de uso, os testes de usabilidade
passam a constituir observações protocoladas.
A maioria dos testes de usabilidade constituem-se em observações porque os
experimentos são “geralmente muito caros ou apenas não muito práticos para a maioria das
avaliações de usabilidade” (PREECE, 2005, pag. 466). Os critérios e exigências associados ao
Delineamento Experimental (VI, VD, grupo controle, grupo experimental, etc) não estão
presentes em grande parte dos testes de usabilidade. Os que são feitos em empresas costumam
funcionar enquanto atividade de Pesquisa & Desenvolvimento e em um ritmo acelerado,
próprio de organizações que lidam com inovação e produtos digitais. Apresentam-se,
portanto, como distantes da lógica da pesquisa científica básica, que faz uso de experimentos
rigorosos e detalhados.

Avaliação da Usabilidade de Três Simuladores: Estudo de Aplicação

O presente estudo originou-se de uma consultoria do autor para o Ministério das
Cidades. A consultoria envolveu testes de usabilidade de três modelos de simuladores de
motocicleta. O propósito da pesquisa foi o de criar conhecimento sobre a usabilidade desses
produtos afim de promover uma normatização do uso destes em Centros de Formação de
Condutores (CFCs) no Brasil.
Os testes foram realizados em um CFC de Florianópolis e no Sapiens Parque, entre
fevereiro e junho de 2014. Os simuladores testados foram: a) o Honda Riding Trainer; b) uma
versão do Honda Riding Trainer com tela maior e caixas de som mais potentes; c) um
simulador desenvolvido para a consultoria com especificações diferentes das do Honda
Riding Trainer, como por exemplo a presença de cinestesia e três telas de display.
A pesquisa envolveu 60 testadores como amostra da população de condutores de moto
no Brasil. Antes da pesquisa cada sujeito leu e concordou com o Termo de Consentimento
Livre e Esclarecido redigido pelo autor conforme normativas vigentes. A pesquisa passou
pelo crivo de avaliação do Comitê de Ética da UDESC, onde foi aprovada (Código do
processo: CAAE 32278414.7.0000.0118).
Os testadores foram divididos em 3 grupos de 20 sujeitos cada. Cada grupo
experimentou um simulador, sem ter conhecimento dos outros dois. O delineamento adotado
foi do tipo entre-grupos: os dados de cada grupo foram registrados separadamente para
posterior comparação, consistindo na observação dos comportamentos de uso dos simuladores
(desempenho nas tarefas, curva de aprendizagem, satisfação, opiniões sobre a experiência,
etc). Além dos 60 testadores houve ainda um grupo de 10 alunos de CFC que não
experimentaram simulador algum, e que foram acompanhados nas aulas práticas afim de se
estabelecer um comparativo com os que passaram por algum tipo de simulador, gerando assim
um grupo controle.
Cada testador passaria por até 7 sessões, de 30 minutos cada, de aprendizagem no
simulador. O desempenho dos 3 grupos de testadores foi medido por indicadores relativos a

4º GAMPI Plural, 2014, Univille, Joinville, SC

eficácia e eficiência em realizar tarefas. As tarefas consistiam em ações comuns de condução,
tais como ligar a moto, por a moto em movimento, trocar de marcha, estacionar, etc. A
satisfação com a experiência também foi avaliada nos 3 grupos, para isso fazendo uso do
protocolo System Usability Scale, ou SUS (BROOKE, 1996). A Figura 1 ilustra os três
modelos de simuladores avaliados:

Figura 1: Os 3 simuladores. FONTE: O autor.

No final os resultados dos 3 grupos, no que diz respeito a indicadores de desempenho

e auto-relatos extraídos via o protocolo SUS, foram tabulados e comparados estatisticamente.
O resultado dos experimentos consistiu em um ranking que comparou fatores de usabilidade
dos 3 simuladores, apresentando em quais critérios cada modelo de simulador pontuou mais.
Os resultados apontaram que o terceiro simulador apresentava amplas vantagens em termos
de ganho de performance dos alunos, mas não diferenciava significativamente dos outros dois
em termos de satisfação com a experiência. Os testes indicaram que uma tela maior, caixas de
som mais potente e realismo físico do veículo (guidão, pedais, etc) são indispensáveis, e que a
cinestesia do simulador 3 não mostrou tanto benefício na experiência, levando-se em conta
seu grande custo.

Análise dos Testes dos Simuladores

Os testes de usabilidade dos simuladores, descritos no item anterior, não podem ser
classificados como experimentos, uma vez que não apresentam todos os critérios constituintes
de um delineamento experimental. Não haviam variáveis independentes que foram
manipuladas ao longo do processo para se medir as consequências de suas mudanças em
variáveis dependentes. No lugar da existência de variáveis independentes apenas procurou-se
correlacionar dados dos usuários (idade, escolaridade, sexo, etc), com seus desempenhos e
satisfação ao usar o simulador.
Apesar da existência de um grupo controle, formado pelos 10 alunos que não passaram
por nenhum simulador, tal fator não faz do processo, sozinho, um experimento. O grupo
controle serviu para definir os protocolos de avaliação dos testes com simuladores, que foram
posteriormente refinados em testes-piloto.
Os testes dos simuladores se aproximaram do conceito de “não-experimentos” por
envolverem o uso de um ambiente pouco controlado (e não um laboratório), e buscar apenas
correlações entre variáveis e não a determinação de relações de causa e efeito. Contudo os
testes dos simuladores foram próximos a outra classe de procedimento científico de pesquisa:
observações. No caso, do tipo protocoladas, realizadas em ambientes preparados. Isto é, os
testes consistiram em uma série de situações especiais de observações de uso dos simuladores.
Situações essas feitas em um ambiente pouco controlado e sem rigores de delineamento
experimental, e fazendo uso de protocolos de avaliação em indicadores de desempenho e

4º GAMPI Plural, 2014, Univille, Joinville, SC

satisfação.
Apesar do teste dos simuladores ser classificável como “observação protocolada” isso
não quer dizer que todo teste de usabilidade será apenas uma observação ou um não-
experimento. Testes mais sofisticados podem satisfazer os critérios e rigores de verdadeiros
experimentos científicos. Contudo eles seriam dispendiosos em termos de planejamento e
custo, o que não combina com as condições em que tais testes costumam ser realizados.
Dentre as principais desvantagens da metodologia de avaliação dos simuladores consta
o problema da amostra de sujeitos. Com 60 testadores originou-se diversos desafios para o
agendamento dos testes, por conta do número de faltas e desistências. Uma amostra de 60
sujeitos também não apresenta confiabilidade suficiente para uma pesquisa quantitativa. O
cálculo de amostragem definiu a margem de erro relacionada com uma amostra de 60
testadores como sendo de 12,9%, sendo portanto muito acima de 5% (valor usualmente
adotado como margem de erro tolerável em pesquisas científicas quantitativas). Apenas uma
amostragem de 400 testadores garantiria os 5% de margem de erro, e tal número de testadoes
se mostrava logisticamente inviável.
Outra questão foi relacionada ao delineamento entre-grupos adotado. Tal estratégia de
experimentação demandou que os 3 grupos tivessem a satisfação e desempenho com os
simuladores comparados. Contudo pode-se questionar se tal comparativo é eficaz em avaliar
as diferenças entre simuladores, uma vez que cada sujeito não julga de forma idêntica aos
outros. E ainda o resultado dessa comparação consistiu tão somente em um ranking de fatores
de usabilidade, e não explicações sobre as causas dos problemas de usabilidade.
Por conta desses problemas um delineamento de sujeito único teria sido o mais
indicado, com uma amostra menor para melhor gerenciamento da agenda de testes. Sete
testadores por grupo, por exemplo, previamente selecionados por disponibilidade de horários
e motivação em participar do estudo, e que seriam avaliados com mais profundidade do que a
avaliação feita nos grupos de 20 testadores, o que permitiria identificar mais relações causais
entre cada simulador e a satisfação de seus usuários. Assim ao invés de se comparar o
desempenho e satisfação de 3 grupos de 20 sujeitos, a pesquisa consistiria em, com 3 grupos
de 7, identificar determinantes de desempenho e satisfação relativos a cada simulador para
melhor compreender a relação dos usuários com cada modelo de simulador. Com isso seria
gerado, ao invés de um ranking de fatores dos 3 simuladores, uma análise das causas e efeitos
dos problemas de usabilidade de cada um.

Considerações Finais
A pesquisa em Design encontra no método experimental uma série de desafios para a
garantia dos critérios e rigores deste, dado a lógica “quick and dirty” em que são realizados a
maioria dos testes de usabilidade. Isto é, com pouco planejamento e em circunstâncias por
vezes de improviso. Designers costumam chamar seus testes de usabilidade de
“experimentos”, sem contudo entender o que é um experimento, nem saber discriminar esse
procedimento de pesquisa de outros, como as modalidades de observação (exploratória,
sistemática e protocolada) e os quase-experimentos.
Para o emprego da pesquisa experimental em Design torna-se necessário partir de
melhores definições sobre os fundamentos epistemológicos e metodológicos de tal
procedimento, especialmente nas tomadas de decisão relativas ao delineamento experimental.
Visando tais definições, o caso dos testes dos simuladores estudado neste artigo permitiu
realizar os objetivos iniciais da investigação: a) explorar a análise de testes de usabilidade no

4º GAMPI Plural, 2014, Univille, Joinville, SC

que diz respeito a metodologia experimental, em seus fundamentos teórico-metodológicos; e
b) explicar diferenças e semelhanças entre teste de usabilidade e experimentos científicos com
pessoas, quase-experimentos, experimentos de campo e outros procedimentos de pesquisa.
A pesquisa experimental, seja para testar hipóteses, seja para investigar causas de
fenômenos relativos ao uso e satisfação de artefatos projetados, pode fazer parte do repertório
do designer, o que implica em ganhos em cientificidade para o campo da Pesquisa em Design.
Tal forma de construção do saber possui diversas vantagens em termos de criteriosidade e
qualidade do conhecimento construído, que tornam-na de grande valia para pesquisadores
diante da necessidade de testes mais sofisticados para avaliar a usabilidade de produtos.
Como sugestão para estudos futuros consta a da temática do delineamento de sujeito
único para pesquisas em Design. Tal forma de delineamento experimental, menos usada que
as outras, pode ser uma via de pesquisa promissora em experimentos para pesquisa em
Design, uma vez que permite operar com um número reduzido de sujeitos e foca a descoberta
de determinantes dos fenômenos observados, proporcionando assim uma forma mais rigorosa
de pesquisa qualitativa.

Referências
BOLTON, Simon. Understanding Billy – Importante of Desig Research to Korean Design.
Disponível em: http://www.icsid.org/feature/current/articles984.htm Acesso em 29 de agosto
de 2014.

BROOKE, John. SUS: a "quick and dirty" usability scale. In P. W. Jordan, B. Thomas, B. A.
Weerdmeester, & A. L. McClelland. Usability Evaluation in Industry. London: Taylor and
Francis, 1996.

COZBY, Paul C. Métodos de Pesquisa em Ciências do Comportamento. Editora Atlas, São

Paulo, 2003.

DANNA, Marilda Fernandes; MATOS, Maria Amélia. Ensinando Observação: Uma

Introdução. 4. ed. São Paulo: Edicon, 1999. 143 p.

DEVI, Kh. Rekha Devi, A.M Sen., K. Hemachandran 3. A working Framework for the User-
Centered Design Approach and a Survey of the available Methods. International Journal of
Scientific and Research Publications, Volume 2, Issue 4, April 2012 1. ISSN 2250-3153.

GRAVETTER, F.; FORZANO, L. Research methods for the Behavioral Sciences.

Wadsworth Cenage Learning, 2009.

IIDA Itiro. Ergonomia – Projeto e Produção. 2.a edição, 2005.

ISO 13407: Human Centred Design Process for Interactive Systems. 1999. Disponível em <
http://www.ash-consulting.com/ISO13407.pdf > Acesso a 21 de maio de 2014.

ISO 9241-11. Disponível em <http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf:>

Acesso em 19 de julho de 2014.

4º GAMPI Plural, 2014, Univille, Joinville, SC

 JOHNSTON, J. M., & PENNYPACKER, H. S. Strategies and tactics of behavioral
research. Second Edition. Hillsdale, NJ: Lawrence Erlbaum Associates, 1993.

REIS, A. & SILVA, R. Prototipação em Design Centrado no Usuário no Desenvolvimento de

Simuladores de Direção: Um Estudo de Caso. 4o Congresso Sul Americano de Design de
Interação. Interaction South America, São Paulo, 2012.

PREECE.J; ROGERS, Y.; SHARP, H. Design de Interação: além da interação homem-

computador. Porto Alegre: Bookman, 2005.

RESOLUÇÃO Nº 466, DE 12 DE DEZEMBRO DE 2012. Disponível em:

http://www.pucminas.br/documentos/pesquisa_cns.pdf Acesso em 19 de julho de 2012.

ROSENTHAL, R., JACOBSON, L. Pygmalion in the Classroom. The Urban Review. 1968,
pág. 16.

SAMPAIO, A. Uma Introdução aos Delineamentos Experimentais de Sujeito Único.

Interação em Psicologia, 2008, 12(1), p. 151-164 151.

SIDMAN, M. Táticas da pesquisa científica. São Paulo: Brasiliense, 1976.

TULLIS, T.; ALBERT, B. Measuring the user experience: collecting, analyzing and
presentingusability metrics. Burlington, MA: MorganKaufmann, 2008.

4º GAMPI Plural, 2014, Univille, Joinville, SC

View publication stats