Escolar Documentos
Profissional Documentos
Cultura Documentos
Testes de Usabilidade Exigencia Superflu PDF
Testes de Usabilidade Exigencia Superflu PDF
Resumo Os testes de usabilidade tm vindo a ser realizados por todos os que desenvolvem software
educativo. Contudo, erros de diversa ordem so frequentemente cometidos durante a sua aplicao.
Esta comunicao pretende alertar para alguns aspectos a ter em ateno quando se levam a cabo esses
testes.
Comeamos com uma definio do conceito de usabilidade, passando depois a referir os diferentes tipos
de testes de usabilidade, quando devem ser realizados, a seleco dos diferentes tipos de avaliadores e as suas
funes, os instrumentos para a recolha de dados. Por fim, mencionam-se ainda aspectos gerais e ticos da
realizao de testes com utilizadores.
1 O termo multimdia, neste texto, entendido como um documento interactivo, que pode integrar texto,
imagem, som e vdeo, em suporte digital, sendo, geralmente, a sua informao apresentada de forma no
sequencial. Neste sentido, o termo multimdia sinnimo do termo hipermdia (cf. Carvalho, 1999).
1
mbito de investigao realizada na Interaco Homem-Computador (IHC). A usabilidade
tem vindo a impr-se como rea de importncia crescente, sendo regulada por ISO /DIS
9241: 11. A usabilidade uma qualidade que deve ser inerente ao documento e que
possibilita que os utilizadores o usem com satisfao, eficcia e eficincia na realizao de
tarefas (Babo, 1996). Um software pode estar bem concebido em termos de funcionalidade,
mas se a sua usabilidade no for boa, o utilizador rejeit-lo-.
Vrias posies surgem em torno do conceito de usabilidade e sobre elas nos vamos
debruar. Por exemplo, Shackell (1986) considera quatro parmetros para medir a
usabilidade: eficincia, aprendizagem, flexibilidade e atitude do utilizador. Para Hix e
Hartson (1993), a usabilidade est relacionada com a eficcia e a eficincia da interface e com
a reaco do utilizador interface.
Nielsen (1993; 1995) enumera cinco parmetros, que considera como tradicionalmente
aceites, para medir a usabilidade: fcil de aprender, o utilizador rapidamente consegue
interagir com o sistema, aprendendo as opes de navegao e a funcionalidade dos botes;
eficiente para usar, depois de ter aprendido como funciona, consegue localizar a informao
que precisa; fcil de lembrar, mesmo para um utilizador que usa o sistema ocasionalmente,
no tem necessidade de voltar a aprender como funciona, conseguindo lembrar-se; pouco
sujeita a erros2, os utilizadores no cometem muitos erros durante a utilizao do sistema, ou
se os cometem devem conseguir recuperar, no devendo ocorrer erros catastrficos; e
agradvel de usar, os utilizadores sentem-se satisfeitos com o sistema, gostam de interagir
com ele. Para Smith e Mayes (1996), a usabilidade atenta basicamente em trs aspectos,
respectivamente, facilidade de aprendizagem, facilidade de utilizao e satisfao no uso do
sistema pelo utilizador.
Considermos que a proposta de Smith e Mayes (1996), de certo modo, engloba as
propostas dos outros autores mencionados e coincide com os parmetros que identificmos
como pertinentes para se avaliar a usabilidade de um documento interactivo. Assim, um
documento multimdia para ser facilmente aceite pelo utilizador deve ser fcil de aprender a
usar, deve ser fcil de utilizar e deve provocar satisfao no utilizador.
(i) fcil de aprender: um dos atributos mais importantes da usabilidade e que
pode levar a que os futuros utilizadores optem por usar determinado documento em
detrimento de outro. Este atributo deve ser medido mesmo em relao a utilizadores com
2 No texto original, a expresso usada "some errors" (Nielsen, 1993). Posteriormente, em 1995, refere que
como a maior parte dos hiperdocumentos, geralmente, no so usados para aplicaes como medicina ou gesto
financeira, essa clusula sobre a preveno de erros catastrficos deixa de ser to importante.
2
pouca experincia, como refere Nielsen (1993). Usando utilizadores que nunca usaram o
documento, mede-se o tempo que demora at o utilizador (com pouca ou nenhuma
experincia e utilizadores experientes) navegar vontade. O utilizador deve compreender
com facilidade a interface, os diferentes percursos e o que pode fazer no documento. Para
isso, as instrues ao utilizador devem ser concisas e claras e ir aparecendo medida que o
utilizador acede aos diferentes percursos. Apresentar uma longa descrio no incio do
documento sobre como interagir em todos os percursos, torna-se aborrecido e pouco eficiente,
porque se expe o utilizador a muita informao. Por outro lado, deve estar disponvel o
acesso "ajuda" sempre que o utilizador a necessite. Tenha em ateno que "ajuda" em
excesso irrita o utilizador experiente e a falta dela desorienta o utilizador inexperiente.
(ii) Fcil de utilizar: depois do utilizador ter aprendido a interagir com o
documento, deve conseguir us-lo com facilidade, mesmo quando usa o documento
ocasionalmente. Um outro ponto a ter em ateno nesta dimenso prende-se com a orientao
do utilizador no documento.
(iii) Satisfao do utilizador: o utilizador gosta de navegar no documento, devido
interface, ao contedo disponvel, estrutura do documento, ao processo de interaco e
navegao, s ajudas disponveis entre outros.
Vrios testes tm sido desenvolvidos para medir a satisfao do utilizador, a ttulo de
exemplo, podemos mencionar o SUMI (Software Usability Measurement Inventory) e o
QUIS (Questionnaire for User Interface Satisfaction). O QUIS, desenvolvido por Chin et al.
(1988), apresenta quatro factores: aprendizagem, terminologia e fluxo da informao, output
do sistema, caractersticas do sistema. constitudo por dezassete perguntas e usa uma escala
de diferencial semntico. O SUMI foi desenvolvido no mbito do projecto MUSIC (Metrics
for Usability Standards in Computing) pelo Human Factors Research Group, em Cork, e
constitudo por cinco factores: gosto, eficincia, aprendizagem, ajuda e controlo
(KiraKowski, 1996; Macleod et al., 1997). Tem cinquenta itens e utiliza uma escala de likert
de trs pontos. Com base no SUMI foram criados tambm o MUMMS (Measuring the
Usability of Multi-Media) para documentos multimdia e o WAMMI (Website Analysis and
MeasureMent Inventory) para sites na web.
3
Nielsen (1995) alerta para a "usabilidade internacional", para a qual contribuem factores
sociais3 e culturais. Este tipo de usabilidade de particular relevncia no caso de se adoptar o
mesmo sistema informtico ou software educativo em pases culturalmente diferentes.
3 Nielsen (1995) considera que para a aceitao de um sistema contribuem a aceitao social e a aceitao
prtica que integra os custos, a compatibilidade com outros sistemas, a fiabilidade e a funcionalidade. Por sua
vez, a funcionalidade integra a utilidade e a usabilidade.
Apresenta como exemplo de aceitao social o sistema LYRE que permite ensinar poesia, propondo diferentes
interpretaes. O aluno pode fazer as suas anotaes, mas no pode adicionar novas leituras, ficando essa tarefa
reservada ao professor. Em Frana foi bem aceite o LYRE, mas no o foi na Dinamarca porque consideraram
que limitava as potencialidades do aluno para uma descoberta independente.
4
O teste de avaliao deve ser realizado numa fase inicial ou para expandir os resultados do
teste exploratrio. Pode-se constituir uma equipa multidisciplinar para executar determinado
servio e para discutir as questes de usabilidade. O utilizador realiza tarefas, em vez de percorrer o
produto e comentar sobre os crans, e podem ser recolhidos dados quantitativos.
O teste de validao, tambm referido como teste de verificao, realizado numa fase
adiantada do processo e pretende verificar a usabilidade do servio e a eficcia dos recursos
de aprendizagem. Ao contrrio dos outros dois testes que podem ocorrer durante a fase de
desenvolvimento, este s se realiza na fase final. Rev-se a consistncia do sistema, a
interface. Compara-se o sistema com os "standards" de usabilidade, com orientaes gerais e
com outros servios relacionados.
Rubin (1994) sugere ainda o teste de comparao que pode ser realizado em qualquer
fase do processo de desenvolvimento. Permite comparar dois ou mais designs alternativos.
Por exemplo, analisar qual dos estilos de interface se aproxima mais do modelo conceptual da
populao alvo. Identificar em qual deles se sentir o utilizador mais orientado e em que
tarefas necessrio disponibilizar a ajuda. Este teste pode ser usado em conjuno com
qualquer um dos outros testes.
O que avaliado
Segundo Rubin (1994) deve-se medir o desempenho e as preferncias do utilizador. A
usabilidade medida em relao a determinado tipo de utilizadores e de tarefas (Nielsen,
1993).
A ttulo de exemplo, podemos dizer que, para medir o desempenho dos sujeitos, se pode
contabilizar o tempo para completar cada tarefa; o nmero e percentagem de tarefas
completadas correctamente; o tempo gasto a ler determinada seco; os cones seleccionados
incorrectos, as visitas ao ndice, tabela de contedos; os comentrios negativos, entre
outros (Rubin, 1994).
Para medir as preferncias dos sujeitos, Rubin (1994) indica que se atente nas
expectativas que os sujeitos tm sobre a utilidade do produto; a facilidade em o usar, em
aprender e em o instalar.
Os avaliadores
Verificamos haver consenso sobre os dois tipos de avaliadores que devem proceder
avaliao da usabilidade do documento, por um lado, estes devem ser convidados
especialistas em Interaco Homem-Computador e em multimdia e, por outro lado, devem
5
ser convidados sujeitos provenientes da mesma populao dos futuros utilizadores
(Marchionini, 1990; Shneiderman, 1992; Nielsen, 1995; Smith e Mayes, 1996).
Por sua vez, Tessmer (1993) considera que um sistema deve ser avaliado por trs tipos de
avaliadores: especialista, utilizador e pequeno grupo de utilizadores. Deste modo, salienta o
contributo que pode ser dado por um sujeito e por um grupo.
Um especialista rev o sistema - A avaliao feita por especialistas em IHC e em
multimdia que podem detectar facilmente problemas de inconsistncia do sistema, tarefas
pobres, interface confuso, entre outros. Por exemplo, verificar se a mesma informao surge
sempre em determinada localizao em todos os crans de forma a facilitar o seu
reconhecimento pelo utilizador, diminuindo a necessidade de memorizao.
Teste um observador/um utilizador - O observador observa o utilizador e vai anotando
as dificuldades daquele. Este tipo de recolha de dados pode ser afectado pelo efeito de
Hawthorne, como apontam, entre outros, Marchionini (1990) e Preece et al. (1994), que
consiste no facto de os utilizadores ao saberem que esto a ser observados alterarem, por
influncia da observao, o modo como executam as tarefas. Mayes et al. (1990b) sugerem a
observao de pares de utilizadores, para se atentar nas suas interaces verbais, como eles
fizeram para avaliar o 'Strath Tutor'. Outro mtodo, por vezes utilizado, consiste em pedir ao
utilizador para expressar verbalmente o que est a pensar ('think aloud').
Alguns inconvenientes da observao directa podem desaparecer caso se usem vrias
cmaras de vdeo para depois sincronizar dados relativos ao cran, ao movimento das mos e
s expresses faciais (Marchionini, 1990; Shneiderman, 1992; Nielsen, 1993; Preece et al.,
1994; Rubin, 1994).
Pequeno grupo de utilizadores - O desempenho dos membros do grupo comparado.
Sugere-se que consulte o estudo realizado por Carvalho (1999).
Um dos aspectos que temos que ter em ateno consiste na seleco da amostra de
utilizadores. Os utilizadores que vo constituir a amostra tm que ter as caractersticas dos
futuros utilizadores. Nielsen (1990a) considera que h que analisar as diferenas individuais
do utilizador, posteriormente, Nielsen (1993) apresenta o "cubo do utilizador" que caracteriza
a experincia dos utilizadores relativamente a trs dimenses: experincia com os
computadores em geral, experincia com o sistema e conhecimento do domnio. A dimenso
experincia do sujeito com computadores pode oscilar entre experincia mnima at intensa
experincia. importante verificar se o utilizador se sente vontade, por exemplo, com o
rato, com o "scrolling", com o Mac ou com o PC. A dimenso experincia com o sistema
6
pode oscilar entre um utilizador sem experincia at um utilizador experiente. O facto do
utilizador se sentir vontade para iniciar a navegao no documento vai depender, em parte,
da sua experincia prvia com estes documentos. Por fim, a dimenso conhecimento do
domnio pode oscilar entre ignorante e conhecedor do domnio. Aquele que tem alguma
familiaridade com o domnio tem menos um obstculo a combater na navegao num
hiperdocumento.
Planear o teste
Planear o teste essencial. Comece por especificar a necessidade do teste, explicitando
o que medir e o motivo pelo qual o vai fazer. Coloque as questes que devem ser
respondidas. De seguida, defina o perfil do utilizador.
Seleccione o mtodo, indique as tarefas, defina os instrumentos a utilizar ou a
desenvolver, de seguida, seleccione a ou as tcnicas de recolha de dados.
7
Especifique o equipamento necessrio: tipo de computador e quantidade e software.
Indique os critrios necessrios para se considerar terminado o teste. Defina se possvel ou
impossvel a ajuda do investigador durante o teste, especifique os dados a serem coligidos e a
forma como vo ser tratados (Nielsen, 1993; Rubin, 1994). Por ltimo, resta a elaborao do
relatrio com as propostas de alterao a serem realizadas.
Concluso
A usabilidade de um documento uma condio essencial para a sua aceitao pelo
utilizador. Por isso, todo o tempo gasto na observao e na conversa com os utilizadores
tempo bem gasto, que poder contribuir para evitar surpresas desagradveis e evitar a perda
de muito tempo (e, s vezes, de dinheiro) na realizao de futuras alteraes. A utilizao de
testes de usabilidade numa investigao no s til como imprescindvel, mas tenha bem
presente a forma como realiza esses testes para no ocorrerem enviesamentos nos dados
recolhidos, nem na seleco da amostra4.
Referncias Bibliogrficas
Baecker, R., Grudin, J., Buxton, W. e Greenberg, S. (1995). Human-Computer Interaction:
Toward the Year 2000. San Francisco, Ca: Morgan Kaufmann Publishers.
Babo, R. M G. F. B. (1996). A avaliao da Usabilidade de um Sistema. Dissertao de
Mestrado. Braga, Escola de Engenharia, Universidade do Minho.
4 Filhos, amigos ou vizinhos podem integrar a amostra, mas desde que tenham as caractersticas dos futuros
utilizadores!
8
Carvalho, Ana Amlia Amorim (1999). Os Hipermdia em Contexto Educativo. Aplicao
e validao da Teoria da Flexibilidade Cognitiva. CEEP: Universidade do Minho.
Grudin, J. (1992). Utility and usability: research issues and development contexts.
Interacting with Computers, 4, 2, 209-217.
Hix, D. e Hartson, H.R. (1993). Developing User Interfaces: Ensuring Usability Through
Product and Process. New York: John Wiley & Sons.
Kirakowski, J. (1996). The software usability measurement inventory: background and
usage. P. Jordan, B. Thomas e B. Weedmeester (eds), Usability Evaluation in
Industry. London: Taylor & Francis, 169-178.
Macleod, M., Bowden, R., Bevan, N. e Curson, I (1997). The MUSIC performance
measurement method. Behaviour & Information Technology. Vol.16, 4/5, 279-293.
Marchionini, G. (1990). Evaluating Hypermedia-Based Learning. In D. H. Jonassen e H.
Mandl (ed.), Designing Hypermedia for Learning. Berlin: Springer-Verlag, 355-373.
Martins, F.M.J. (1995). Mtodos Formais na Concepo e Desenvolvimento de Sistemas
Interactivos. Tese de Doutoramento. Braga: Escola de Engenharia, Universidade
do Minho.
Mayes, T., Kibby, M. e Anderson, T. (1990). Learning About Learning from Hypertext. In
D. H. Jonassen e H. Mandl (eds.), Designing Hypermedia for Learning. Berlin:
Springer-Verlag, 227-250.
Nielsen, J. (1990). Evaluating Hypertext Usability. In D. H. Jonassen e H. Mandl (eds),
Designing Hypermedia for Learning. Berlin: Springer-Verlag, 147-168.
Nielsen, J. (1993). Usability Engineering. New Jersey: Academic Press.
Nielsen, J. (1995). Multimedia and Hypertext: the Internet and beyond. Boston: AP
Professional.
Nielsen, J. e Lyngbaek, U. (1990). Two field studies of hypermedia usability. In R.
McAleese e C. Green (eds), Hypertext: state of the Art. Oxford: Intellect, 64-72.
Preece, J. (1993). A Guide to Usability: human factors in computing. Addison Wesley, the
Open University.
Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S. e Carey, T. (1994). Human-
Computer Interaction. Workingham: Addison-Wesley Publishing.
Rubin, J. (1994). Handbook of Usability Testing. New York: John Wiley and Sons.
Shackell, B. (1986). Ergonomics in Design for Usability. E. Harrison e A. Monk (eds),
People and Computers: Designing for Usability. Proceedings of the Second
Conference of the British Computer Society. University of York, 44-64.
Smith, C. e T. Mayes (1996). Telematics Applications for Education and Training: Usability
Guide. Comission of the European Communities, DGXIII Project.
Tessmer, M. (1993). Planning and Conducting Formative Evaluations. London: Kogan
Page.