Usabilidade

UNIVERSIDADE FEDERAL DE MINAS GERAIS
DEPARTAMENTO DE CINCIA DA COMPUTAO

ESPECIALIZAO EM INFORMTICA: NFASE: ENGENHARIA DE SOFTWARE
Teste de Usabilidade
por
Ktia Gomes Ferreira
Monografia de Final de Curso

CEI-ES 013 DCC-UFMG
Prof. Clarindo Isaas Pereira da Silva e Pdua

Orientador
Belo Horizonte, agosto de 2002.
UNIVERSIDADE FEDERAL DE MINAS GERAIS

DEPARTAMENTO DE CINCIA DA COMPUTAO
ESPECIALIZAO EM INFORMTICA: NFASE: ENGENHARIA DE SOFTWARE
Teste de Usabilidade
por
Ktia Gomes Ferreira
Monografia apresentada aos senhores:
_____________________________________
_____________________________________________
Profa. Mariza A. S. Bigonha - coordenadora do CEI-ES
Vista e permitida a impresso.
Belo Horizonte, _____ / _____ / _____
_____________________________________
(Orientador)
Sumrio
Lista de Abreviaturas ou Siglas ..................................................................................................................................5
Lista de Figuras .............................................................................................................................................................5
Lista de Tabelas.............................................................................................................................................................5
Resumo ...........................................................................................................................................................................6
Abstract...........................................................................................................................................................................7
1. Introduo..................................................................................................................................................................8
2. Usabilidade ................................................................................................................................................................9
3. Human-Computer Interaction (HCI)...................................................................................................................10
4. Teste de Usabilidade ..............................................................................................................................................11
4.1.
4.2.
4.3.
4.4.
Teste de Explorao.............................................................................................................................12
Teste de Avaliao...............................................................................................................................12
Teste de Validao...............................................................................................................................12
Teste de Comparao...........................................................................................................................12
5. Espao Fsico...........................................................................................................................................................13
6. Perfil dos Avaliadores............................................................................................................................................14
6.1.
6.2.
6.3.
6.4.
6.5.
6.6.
Avaliador .............................................................................................................................................14
Organizador de Informaes................................................................................................................15
Registrador do Tempo.........................................................................................................................15
Operador da Gravao .........................................................................................................................15
Perito....................................................................................................................................................15
Observador...........................................................................................................................................15
7. Desenvolvendo o Plano de Teste.........................................................................................................................16

7.1.
7.2.
7.3.
7.4.
7.5.
7.6.
7.7.
7.8.
7.9.
Propsito..............................................................................................................................................16
Declarao dos Problemas e Objetivos do Teste.................................................................................16
Perfil do Usurio..................................................................................................................................16
Metodologia .........................................................................................................................................16
Lista de Tarefas....................................................................................................................................17
Ambiente de Teste / Equipamento.......................................................................................................17
Papel do Avaliador ..............................................................................................................................17
Medidas de Avaliao..........................................................................................................................18
Contedo do Relatrio e Apresentao ...............................................................................................18
8. Selecionando os Participantes ..............................................................................................................................19

8.1.
Determinando o Nmero de Participantes...........................................................................................19
9. Material Utilizado Durante a Sesso de Teste...................................................................................................20

9.1.
9.2.
9.3.
9.4.
9.5.
9.6.
9.7.
Roteiro do Avaliador ...........................................................................................................................20

Questionrio para Identificao do Perfil do Participante...................................................................20
Script de Orientao ............................................................................................................................20
Lista de Tarefas....................................................................................................................................20
Instrumentos para Coleta de Dados.....................................................................................................21
Questionrio de Avaliao do Sistema pelo Participante....................................................................21
Tpicos para Questionamento.............................................................................................................21
10. Anlise dos Dados................................................................................................................................................23

10.1.
10.1.1.
Compilar e Resumir os Dados .............................................................................................................23

Compilar os Dados como so Testados...............................................................................................23
10.1.2.
10.1.3.
10.1.4.
10.2.
10.2.1.
10.2.2.
10.2.3.
10.2.4.
10.3.
10.3.1.
10.3.2.
10.3.3.
10.3.4.
10.4.
10.4.1.
10.4.2.
10.4.3.
10.4.4.
10.4.5.
Criar Resumos .....................................................................................................................................23

Resumo de Dados de Performance ......................................................................................................24
Resumo de Dados Preferenciais ..........................................................................................................25
Anlise.................................................................................................................................................26
Identificar e Focalizar as Tarefas que no Possuem Critrios.............................................................26
Identificar Erros e Dificuldades dos Participantes...............................................................................26
Identificar a Fonte dos Erros Analisados.............................................................................................26
Priorizar Problemas por Criticidade ....................................................................................................27
Desenvolvendo Recomendaes .........................................................................................................28
Focalizar Solues de Maior Impacto.................................................................................................29
Pequenas e Longas Recomendaes ....................................................................................................29
reas em que Necessrio Pesquisa Adicional ..................................................................................29
Faa um Relatrio Completo...............................................................................................................29
Desenvolvendo o Relatrio Final ........................................................................................................29
Sumrio................................................................................................................................................30
Mtodo.................................................................................................................................................30
Resultados............................................................................................................................................30
Discusso das Descobertas e Recomendaes ....................................................................................30
Apndice..............................................................................................................................................30
11. Custo.......................................................................................................................................................................31
12. Concluso...............................................................................................................................................................32
Anexo 1 - Plano de Teste...........................................................................................................................................33
Anexo 2 - Roteiro do Avaliador ...............................................................................................................................38
Anexo 3 - Questionrio para Identificao do Perfil do Participante do Teste de Usabilidade.....................41
Anexo 4 - Script de Orientao.................................................................................................................................43
Anexo 5 - Lista de Tarefas ........................................................................................................................................44
Anexo 6 - Coleta de Dados pelo Avaliador............................................................................................................46
Anexo 7 - Questionrio de Avaliao do Sistema pelo Participante..................................................................52
Anexo 8 - Tpicos para Questionamento................................................................................................................54
Anexo 9 - Relatrio Final ..........................................................................................................................................55
Referncias Bibliogrficas.........................................................................................................................................60
Lista de Abreviaturas ou Siglas

fig.
HCI
tab.
figura
Human-Computer Interaction
tabela
Lista de Figuras
FIGURA 1 Ciclo de vida de desenvolvimento de um produto ..................... 11
FIGURA 2 - Layout para realizao dos testes ................................................ 13
Lista de Tabelas
TABELA 1 TABELA 2 TABELA 3 TABELA 4 -
Dados quantitativos baseados em uma tarefa fictcia ................ 24

Clculo do Desvio Padro de uma tarefa fictcia ...................... 25
Escalas utilizadas para medir severidade de um problema ........ 27
Escalas utilizadas para medir a freqncia de um problema ..... 27
Resumo
A realizao dos testes de usabilidade parte do processo de desenvolvimento
de um produto e traz melhorias qualidade de um software. A preocupao com os
testes de usabilidade crescente, pois os usurios esto cada vez mais exigentes. A
nfase deste trabalho est na apresentao de procedimentos e materiais que envolvem a
conduo dos testes de usabilidade e anlise dos resultados.
Palavras-chave: Teste de Usabilidade, Usabilidade, Usurio, Anlise.
Abstract
The realization of usability tests is part of the process for the development of a
product and it can contribute significatively to the improvement of the quality of a
software. Concern with the usability testing is increasing, because the users are
increasingly demanding. The emphasis of this work is on the presentation of process
and materials that involve the conduction of usability tests and analysis of results.
Word-keys: Usability Test, Usability, User, Analysis.
1. Introduo
A necessidade de interao com computadores est cada vez mais presente em
nossa vida.
No importam os grandes recursos gastos em tecnologia sem que a satisfao do
usurio seja alcanada. Desta forma, usabilidade atua para ressaltar a importncia de se
pensar nas pessoas que esto do outro lado do monitor e na reao das mesmas diante da
utilizao dos sistemas.
Uma das formas de se tentar garantir a usabilidade de um produto atravs da
realizao de testes de usabilidade ao longo do processo de desenvolvimento.
A motivao para o desenvolvimento deste trabalho, encontra-se na importncia
do processo de realizao dos testes de usabilidade, portanto mtodos, roteiros e
materiais sero propostos para a realizao dos testes.
Primeiramente, sero apresentados conceitos relacionados usabilidade e teste
de usabilidade, bem como os tipos de teste existentes que podem ser usados ao longo do
processo de desenvolvimento de um produto.
Logo aps, sero apresentados aspectos sobre o planejamento e preparao dos
testes de usabilidade, profissionais envolvidos, aspectos sobre a escolha dos
participantes, roteiro e material a ser utilizado nos testes.
Finalmente, sero abordados aspectos sobre a anlise dos dados coletados e
desenvolvimento de recomendao efetivas.
2. Usabilidade
Usabilidade o conceito utilizado para descrever a qualidade da interao de
uma interface diante de seus usurios [HIX 93].
Esta qualidade est associada, segundo Shneiderman, citado por [HIX 93], de
acordo com os seguintes princpios:
facilidade de aprendizado;
facilidade de memorizao de tarefas no caso de uso intermitente;
produtividade dos usurios na execuo de tarefas;
preveno, visando a reduo de erros por parte do usurio;
satisfao subjetiva do usurio.
A usabilidade relacionada eficcia e eficincia da interface diante do usurio
e pela reao do usurio diante da interface.
3. Human-Computer Interaction (HCI)

O comportamento humano no sempre igual, mas che io de surpresas, o que
dificulta o estabelecimento de simples verdades sobre o que esperar das pessoas em
determinadas situaes [LIN 94].
Este fato levou ao estudo do HCI - Human-Computer Interaction (Interao
Homem-Computador) que busca desenvolver um modelo terico de performance
humana bem como criar ferramentas capazes de medir a facilidade de uso. O HCI
constitui um campo multidisciplinar envolvendo aspectos de psicologia, ergonomia,
informtica e outros, objetivando facilitar o projeto, a execuo e avaliao de
ambientes computacionais.
A interface de um sistema o meio pelo qual o dilogo entre o programa e o ser
humano estabelecido. Quando fatores humanos so considerados, este dilogo
acontece em harmonia. Assim, a interface considerada a embalagem do software de
computador, portanto, se ela for fcil de aprender, simples de usar, direta e amigvel, o
usurio estar inclinado a fazer bom uso da mesma [PRE 95]. Se essas caractersticas
forem negligenciadas, problemas de usabilidade possivelmente iro ocorrer.
Problemas de usabilidade ocorrem quando um usurio ou um grupo de usurios
encontra dificuldades para realizar uma tarefa com uma interface. Tais dificuldades
podem ter origens variadas e ocasionar perda de dados, diminuio da produt ividade,
podendo chegar rejeio total do software por parte dos usurios.
10
4. Teste de Usabilidade
O teste de usabilidade um processo no qual participantes representativos
avaliam o grau que um produto se encontra em relao a critrios especficos de
usabilidade [RUB 94].
O referido teste pode servir para diferentes propsitos que envolvem tipos de
tarefas, medidas de performance e disposio de escalas, entrevistas ou inspees a
serem aplicadas, buscando encontrar problemas de usabilidade e fazer recomendaes
no sentido de eliminar os problemas e melhorar a usabilidade do produto, ou com a
finalidade de se comparar dois ou mais produtos.
Com a realizao de testes de usabilidade, pode-se registrar os melhores
resultados obtidos para futuras realizaes levando minimizao do custo do servio
de suporte aos usurios, crescimento de vendas e prever o lanamento de produtos com
menos problemas de usabilidade e mais competitivos.
Segundo [RUB 94], testes de usabilidade so mais eficientes quando
implementados como parte do processo de desenvolvimento de um produto. Portanto,
uma forma interessante de determinar os tipos de testes atravs do ciclo de vida de
desenvolvimento de um produto. Desta forma, se alguma deficincia perdida em um
teste, um outro ciclo de teste oferece a oportunidade para identificar esta deficincia. Os
tipos de teste so apresentados logo a seguir e ilustrados na FIGURA 1:
Fig. 1) Ciclo de vida de desenvolvimento de um produto.
11
4.1.
Teste de Explorao
O teste de explorao efetuado quando o produto ainda se encontra em um

estgio preliminar de definio e desenho. Neste estgio, o perfil do usurio e a anlise
de tarefas provavelmente estaro definidos. A fase de especificao poder estar
completa e a fase desenho estar apenas comeando.
O objetivo do teste de explorao avaliar a efetividade do desenho preliminar e
conhecer a concepo do usurio ou modelo mental do produto.
O processo para este tipo de teste bastante informal, interagindo o participante
e o avaliador. Uma representao do software pode ser realizada atravs de uma
simulao do prottipo representando o layout bsico, organizao, funes e macro
operaes.
4.2.
Teste de Avaliao
Provavelmente o mais comum, simples e direto dos testes, podendo ser

conduzido no incio ou no meio do ciclo de desenvolvimento do produto, geralmente
depois que o desenho fundamental ou organizao do produto foi estabelecido.
Seu propsito expandir o que foi conseguido no teste de explorao avaliando
a usabilidade em um nvel baixo de operaes e aspectos do produto. Baseando-se no
modelo conceitual do produto, este teste busca examinar e avaliar como o conceito foi
implementado efetivamente, verificando como um usurio consegue desenvolver tarefas
reais, identificando deficincias especficas de usabilidade.
O usurio executa tarefas bastante simples caminhando entre as telas onde
dada mais nfase ao comportamento. Medidas quantitativas so coletadas.
4.3.
Teste de Validao
Realizado mais tarde no ciclo de desenvolvimento, o teste de validao certifica

a usabilidade do produto bem prximo de sua liberao.
Seu objetivo verificar como o produto se enquadra em relao a padres de
usabilidade, padres de performance e padres histricos. Esses padres so originados
dos objetivos de usabilidade definidos no comeo do projeto atravs de inspees de
mercado, entrevistas com usurios ou simplesmente suposies da equipe de
desenvolvimento. Valida tambm a interao entre os componentes do produto, como
por exemplo, a forma em que a documentao, a ajuda, o software e o hardware esto
integrados uns com os outros. Outro objetivo prever o lanamento de um produto
novo no mercado que possivelmente necessite logo de manuteno.
O teste de validao enfatiza mais rigor experimental e de consistncia desde
que seja dada importncia a julgamentos quantitativos sobre o produto.
4.4.
Teste de Comparao
O teste de comparao no associado a nenhum ponto especfico do ciclo de

desenvolvimento de um produto. Nos primeiros estgios, pode ser usado, para comparar
diferenas entre estilos de interface atravs do teste de explorao; nos ciclos
intermedirios, pode ser usado para medir a efetividade de um elemento integrante da
interface; no final do ciclo, um teste de comparao pode ser usado para ve r como a
liberao de um produto atinge um produto concorrente.
O teste de comparao pode ser usado como uma juno dos demais testes sendo
que seu objetivo realizao de comparaes em todos os nveis.
12
5. Espao Fsico
Existem vrias estruturas possveis de serem utilizadas para a realizao de
testes de usabilidade, sendo que a utilizao de duas salas uma reservada aos testes e
outra reservada observao - pelo menos a ideal no caso de recursos limitados
(FIGURA 2) [RUB 94] .
Fig. 2) Layout para realizao dos testes.
Na sala de observao, os observadores assistem, mas no se comunicam

diretamente com o avaliador. O som e as imagens so captados pelas cmeras de vdeo e
transmitidos diretamente para o monitor de vdeo da sala de observao. A comunicao
entre o avaliador e os observadores pode ocorrer atravs de um ponto (por exemplo, na
orelha) usado pelo avaliador.
As vantagens da utilizao deste layout so que o avaliador possui liberdade de
movimentao e de realizar anotaes estando dentro da proximidade visual do
participante, evitando com que o participante se sinta isolado. Este layout tambm prov
um encorajamento maior para participante se expressar em voz alta. Contudo, deve-se
ter cautela para que o comportamento do avaliador no afete adversamente o andamento
do teste.
13
6. Perfil dos Avaliadores

6.1.
Avaliador
O avaliador responsvel por tudo que ocorre durante a sesso de teste. Sua
funo interagir com o participante, coletar informaes, compilar e comunicar o
resultado dos testes para a equipe de desenvolvimento. Ele responsvel por toda
preparao para o teste incluindo material, arranjos e coordenao de esforos de outros
membros da equipe de teste. Aps a realizao do teste, o avaliador interage com os
outros membros da equipe de teste para assegurar que os objetivos foram alcanados.
O avaliador pode ser um especialista em fatores humanos (psiclogos,
engenheiros industriais), especialistas de mercado (clientes, usurios), comunicadores
(escritores, especialistas em treinamento), colegas de outros projetos ou consultores
externos. Entretanto, o avaliador no deve ser o dono do produto que est sendo testado,
pois este ter uma grande tendncia em conduzir os participantes na direo que ele
deseja em vez de continuar neutro no processo.
O avaliador deve possuir as seguintes caractersticas:
conhecimento nos fundamentos bsicos de engenharia de usabilidade;
capacidade de absorver rapidamente novos conceitos a fim de entender melhor
as aes e comentrios dos participantes e absorver conhecimentos relacionados
ao produto que est sendo testado (posio no mercado, concorrentes e
problemas histricos);
ter bom relacionamento com o participante podendo decidir qual o tipo de
aproximao mais adequada: formal ou informal;
ter boa memria para se lembrar dos acontecimentos ocorridos durante o teste;
absorver a sutileza do tom da fala e a nfase dos comentrios do participante;
se sentir confortvel diante de variaes e observaes conflitantes, como por
exemplo, quando o participante descobre outra forma de realizar uma
determinada tarefa;
possuir flexibilidade tanto para lidar com o participante quanto para dar o
feedback organizao responsvel pelo produto;
manter o nvel de ateno em todos os momentos do teste;
possuir empatia pelo participante, pois isto ajuda quando o avaliador tenta
extrair do ntimo do participante pensamentos e sentimentos;
habilidade de agrupar as vrias formas de entrada, comentrios e dados do teste
a fim de se ter uma viso coesa da performance do participante, focalizando o
que mais importante e crtico;
possuir boa comunicao com todos os integrantes do teste (participantes e
membros da equipe de teste) e possuir habilidade de persuadir os outros para
que sejam realizadas mudanas interessantes, mostrando as implicaes por trs
do resultado dos testes;
ser bom organizador e coordenador, pois mesmo um simples teste de
usabilidade requer uma organizao bem feita acerca dos eventos, materiais e
membros. O avaliador o ponto focal dos outros membros da equipe de teste e
deve coordenar suas atividades, bem como de consultores externos em um
esforo unificado;
deve possuir um comportamento neutro, utilizando somente sugestes sutis
acerca do teste.
14
O avaliador no deve interferir diretamente no contedo das observaes

coletadas, no deve se comportar como um educador, deve saber quando divergir do
plano de teste para alcanar o objetivo de expor as deficincias do produto, deve evitar
conflitos com o participante e no deve tirar concluses precipitadas.
6.2.
Organizador de Informaes
Antes do teste, o organizador de informaes nomeia os cdigos a serem

utilizados para identificar as atividades de interesse e certifica de que estas atividades
sero facilmente identificadas durante o teste, possibilitando rapidez.
6.3.
Registrador do Tempo
Pessoa responsvel por registrar o tempo gasto nas atividades realizadas no teste.
Este registro pode ser feito durante o teste ou atravs de uma reviso da gravao em
vdeo. Caso seja realizado durante o teste, recomendvel que o avaliador no seja a
pessoa responsvel por registrar o tempo gasto nas atividades, pois pode-se gerar
confuso devido ateno que requer as atividades.
6.4.
Operador da Gravao
Pessoa responsvel por registrar imparcialmente tudo o que ocorre no teste

atravs das cmeras instaladas, incluindo comentrios do participante, instrues dadas
pelo avaliador e interaes ocorridas entre o participante, o avaliador e o produto que
est sendo testado. Aps o teste, o operador responsvel por todo trabalho de
editorao, cpia, arquivamento e segurana das fitas.
6.5.
Perito
Um ou mais indivduos que conhecem aspectos tcnicos do produto que est

sendo testado. Seu papel assegurar o bom funcionamento do produto durante o teste.
6.6.
Observador
Assiste o teste, podendo ser um membro da equipe de desenvolvimento, membro

de um outro projeto, um gerente etc. Observar a realizao do teste por pessoas variadas
ajuda a organizao imensamente, principalmente pelo feedback adquirido. Todas as
equipes de desenvolvimento deveriam ser encorajadas a assistir tantas sesses de teste
quanto possvel.
15
7. Desenvolvendo o Plano de Teste

O plano de teste consiste na base de todo o teste, especificando como, quando
onde, quem, o porqu e o qu sobre o teste de usabilidade. O plano do teste essencial
para a compreenso do teste, sendo um importante veculo de comunicao entre a
equipe de desenvolvimento e no deve ser negligenciado [RUB 94].
O formato de um plano de teste depende do tipo de teste e do grau de
formalidade requisitado pela companhia. A seguir, apresentada uma sugesto de
tpicos que geralmente integram um plano de teste, sendo que o Anexo 1 apresenta um
exemplo simplificado de plano de teste:
7.1.
Propsito
O propsito a descrio macro do motivo da execuo do teste no momento

em questo. Prioriza um ponto fundamental derivado da viso da companhia, por
exemplo: se o teste tenta resolver problemas descobertos pela linha direta da
companhia; se h uma nova poltica instituda no qual todos os produtos devem ser
testados antes da liberao etc. O teste deve estar amarrado s metas do negcio dentro
da organizao.
Outras razes da realizao do teste, comprovar se a maioria dos clientes usa o
produto igualmente bem, se a documentao capaz de compensar o reconhecimento de
alguns problemas com a interface, dentre outras.
7.2.
Declarao dos Problemas e Objetivos do Teste
Descreve o que necessrio resolver, o foco da liberao e o restante das

atividades associadas com planejamento, desenvolvimento e conduo do teste. A
determinao do problema deve ser precisa, clara e mensurvel.
A origem do problema pode ser determinada atravs de discusses com a equipe
de desenvolvimento, com escritores ou com o pessoal de marketing.
Um produto especfico deve ser enfocado e os problemas relacionados podem
ser descritos atravs de perguntas, como por exemplo:
Produto: Software
Declarao dos problemas: Os usurios so capazes de navegar livremente entre
a maioria dos mdulos? As telas representam o modelo conceitual do usurio final?
7.3.
Perfil do Usurio
A determinao do perfil do usurio extremamente importante para o sucesso

do projeto e do teste, pois um mesmo sistema pode ser excelente para algumas pessoas e
inadequado ou inaceitvel para outras. importante priorizar o mercado a fim de
determinar a populao focal. Aspectos acerca da experincia computacional, nvel
educacional, idade, sexo, estilo de aprendizado e outros podem ser utilizados para a
determinao do perfil.
7.4.
Metodologia
Descrio de como realizar a pesquisa com os participantes e como ir se

desenrolar os testes. O detalhamento dos testes essencial para determinar claramente o
que ir acontecer, o tipo de material a ser usado e recursos adicionais necessrios,
podendo ser semelhante a outros testes j ocorridos.
16
Se o mtodo possui defeitos ou o teste for conduzido com pouca ateno, os

resultados sero comprometidos, afetando o progresso da engenharia de usabilidade
dentro da organizao.
A definio do mtodo depende de qual aspecto ser testado no produto e qual
objetivo se deseja alcanar, havendo vrias formas de se agrupar os participantes do
teste: de acordo com o perfil do usurio e suas habilidades, de acordo com a seqncia
dos mdulos a serem testados, de acordo com as verses a serem testadas de um mesmo
produto, dentre outros.
Alm do mais, o teste deve ser conduzido dentro de um rigor experimental,
alcanado da seguinte forma:
para cada desenho experimental de 10 a 12 participantes por condio devem
ser utilizados. Em um teste de usabilidade menos formal, 4 a 5 participantes
sero capazes de expor 80% das deficincias de usabilidade de um produto;
a consistncia de uma sesso para outra deve ser mantida atravs da utilizao
dos mesmos materiais, caminhos e condies, utilizando-se roteiros, listas de
checagem e utilizando-se a mesma pessoa na conduo de todas as sesses de
teste;
assegurar as caractersticas dos participantes do teste;
registrar se algum problema incomum ocorrer;
estabelecer metas e objetivos;
realizar o teste piloto;
manter a simplicidade do teste;
tornar o teste o mais realista possvel.
7.5.
Lista de Tarefas
A lista de tarefas inclui as tarefas que sero realizadas pelos participantes

durante o teste. No primeiro estgio de desenvolvimento do teste, a descrio da lista de
tarefas direcio nada somente para os membros da equipe do projeto, contendo detalhes
suficientes capazes de revisar o plano de teste e verificar se as tarefas esto corretas. Em
um segundo estgio, as tarefas so expandidas em cenrios apresentados aos
participantes, provendo detalhes realistas e habilitando dos participantes a executar as
tarefas com o mnimo de interveno do avaliador. Uma breve descrio das tarefas, o
material e a mquina requerida para a execuo, o significado da concluso com sucesso
da tarefa e o estabelecimento do tempo mximo para execuo de cada tarefa devem ser
includos na lista de tarefa.
7.6.
Ambiente de Teste / Equipamento
Descreve o ambiente que ser simulado e o equipamento requerido. Em relao

ao ambiente, pode ser necessrio simular, por exemplo, um escritrio de vendas de uma
agncia de seguros e apontar os equipamentos que sero usados pelos participantes, tais
como: telefones, impressoras etc.
7.7.
Papel do Avaliador
Descreve o que o avaliador far durante o teste. Este item bastante importante
quando os observadores no esto muito familiarizados com o processo de teste.
17
7.8.
Medidas de Avaliao
Relaciona os tipos de medidas que podero ser coletadas durante o teste, dados
sobre performance e dados preferenciais.
Dados sobre performance representam medidas do comportamento do
participante, incluindo erros, nmero de acessos ajuda por tarefa, tempo de execuo
de uma tarefa, dentre outros. Esses dados podem ser coletados durante a observao do
teste ou atravs de reviso da gravao.
Dados preferenciais representam medidas da opinio do participante incluindo
respostas a perguntas e posicionamento do participante diante dos demais. Esses dados
so geralmente coletados por escrito, oralmente, por questionrio on-line ou atravs do
questionamento do participante aps o teste.
7.9.
Contedo do Relatrio e Apresentao
Sumrio das principais sees do relatrio de teste e o caminho usado para

comunicar os resultados para a equipe de desenvolvimento.
18
8. Selecionando os Participantes
A seleo dos participantes algo crucial para o sucesso efetivo do processo de
teste, envolvendo a identificao e descrio de habilidades relevantes e o conhecimento
do pessoal que ir usar o produto. A determinao do perfil e caracterizao do usurio
so determinados nos primeiros estgios do desenvolvimento do produto e servem como
base para a seleo dos participantes.
Uma caracterizao genrica do usurio, pode envolver por exemplo:
histrico pessoal: idade, gnero, habilidade com computador;
histrico educacional: grau, assuntos estudados;
experincia computacional: tempo de utilizao, freqncia, perifricos;
experincia com o produto: tempo de utilizao, freqncia, tarefas;
histrico da ocupao: cargo ocupado, responsabilidades, tempo de trabalho na
companhia atua l.
interessante determinar um usurio tpico, algum que consiga representar
uma mdia dos usurios finais. Isto auxilia na determinao do teste de usabilidade e
ajuda os desenvolvedores a ter a representao de um usurio para o qual o sistema est
sendo desenvolvido.
As informaes necessrias para se determinar o perfil do participante dos testes
podem ser encontradas na especificao funcional, em anlises e estudos realizados no
mercado, junto ao gerente do produto, anlise de grupo e padres competitivos.
Uma boa maneira de se conseguir uma representao efetiva dos usurios finais
subdividir o perfil do usurio em diferentes categorias, como por exemplo, para um
mesmo cargo, subdividir em usurios novatos e em usurios experientes determinando o
nmero de usurios para cada. Essas categorias devem ser definidas com segurana para
que sejam baseadas acerca do mesmo aspecto, por exemplo a experincia do usurio,
objetivando algum ponto de referncia como o tempo decorrido de uso do produto ou a
freqncia com que uma tarefa executada.
A aquisio de usurios representativos para a realizao dos testes pode ser
realizada atravs de pesquisas s agncias de emprego, empresas especializadas em
pesquisas de mercado, atravs da lista de clientes da empresa, atravs de anncios em
jornal e grupo de estudantes.
8.1.
Determinando o Nmero de Participantes
A determinao do nmero de participantes influenciada pelo grau de

confiana que se deseja atingir, pela quantidade de recursos disponveis para estabelecer
e conduzir o teste, por uma anlise do tipo de participantes e pelo tempo estimado de
durao da sesso de teste
Se o objetivo do teste validar resultados estatsticos, ser necessria uma
quantidade de participantes a fim de conduzir s anlises apropriadas e generalizao de
uma populao especfica. Se o objetivo tentar expor os problemas de usabilidade do
produto, alcanado em um tempo mais curto, de 4 a 5 participantes sero capazes de
expor uma vasta maioria dos problemas de usabilidade.
19
9. Material Utilizado Durante a Sesso de Teste

A seguir, ser apresentada uma generalizao dos principais materiais
necessrios interao com os participantes durante a sesso de teste. Vale a pena
salientar que outros formulrios podero ser utilizados para finalidades especficas alm
dos aqui apresentados.
9.1.
Roteiro do Avaliador
O roteiro do avaliador serve como guia para orientar o avaliador durante a sesso
de teste. Bastante semelhante ao plano de teste, descreve o ambiente que ser utilizado,
as funes do avaliador, o perfil do participante, tarefas do sistema, procedimentos e
uma lista dos formulrios utilizados. O Anexo 2 apresenta um exemplo Roteiro do
Avaliador.
9.2.
Questionrio para Identificao do Perfil do Participante
O questionrio para identificao do perfil do participante, completado no incio

da sesso de teste, relaciona informaes histricas sobre o participante auxiliando no
entendimento de seu comportamento e performance. Est intimamente relacionado
seleo dos participantes atravs da determinao do perfil do usurio.
Este questionrio em um importante resumo sobre o participante, podendo ser
utilizado pelo avaliador ou pelos desenvolvedores que iro observar o teste.
O questionrio deve ser facilmente entendido e preenchido, deve ser curto (de
uma a duas pginas) e deve se basear em informaes extradas do perfil do usurio que
podero afetar a performance dos participantes. O Anexo 3 apresenta um exemplo de
Questionrio para Identificao do Perfil do Participante.
9.3.
Script de Orientao
Ferramenta de comunicao a ser lida aos participantes antes da realizao dos

testes. Pode ser lido na prpria sala de teste, em uma sala de espera ou em uma sala de
reunies antes de ir para a sala de teste. Descreve o que ir acontecer durante a sesso
de teste possibilitando uma viso prvia aos participantes, deixando-os mais vontade.
Neste documento, deve estar bem claro que o objeto a ser testado o produto e no o
participante.
Este documento deve ter de uma a duas pginas (a no ser que se trate de um
teste complexo) e deve utilizar uma linguagem mais profissional, entretanto amigvel.
Deve conter uma apresentao sobre o avaliador, sobre o que ser realizado, quais os
objetivos, a importncia e o que se espera do participante, descrio dos equipamentos e
recursos utilizados. Deve-se deixar claro que podem ser realizadas perguntas, mas que o
avaliador no ir responder a perguntas acerca de tarefas em que o participante capaz
de realizar sozinho de posse dos materiais que j tm disponvel e que o avaliador no
ir resolver os problemas que forem detectados pelo participante. Deve-se assegurar que
os participantes entenderam as orientaes passadas. O Anexo 4 apresenta um exemplo
de Script de Orientao.
9.4.
Lista de Tarefas
A Lista de Tarefas, tambm conhecida como Cenrio de Tarefas, a

representao do trabalho que os participantes executam utilizando o produto que est
20
sendo testado e representa uma verso expandida da lista de tarefas, desenvolvida junto
com o plano de testes. Descreve os resultados finais que o participante tentar atingir,
motivos para executar o trabalho, dados atuais, estados do sistema quando a tarefa for
iniciada e mensagens que o participante ver enquanto executa a tarefa. A Lista de
Tarefas deve ser distribuda, sendo que a leitura para os participantes opcional.
A Lista de Tarefas representa a realidade em que ser utilizado o produto,
portanto se o participante do teste j est familiarizado com o trabalho a ser executado
no produto, conseqentemente se sentir mais vontade. O Anexo 5 apresenta um
exemplo de Lista de Tarefas.
9.5.
Instrumentos para Coleta de Dados
O propsito dos instrumentos de coleta de dados registrar acontecimentos

ocorridos durante o teste. A inteno coletar dados concisos e confiantes dur ante o
teste, podendo ser dados sobre performance ou dados preferenciais.
Tanto os dados sobre performance, quanto os dados preferenciais podem ser
analisados quantitativa ou qualitativamente.
Para se desenvolver este instrumento, os tipos de dados a serem coletados devem
ser bem claros e diretamente ligados a questes que necessitam ser resolvidas, extradas
do plano de testes. Deve-se selecionar um mtodo para a coleta de dados que alcance o
objetivo do teste.
H instrumentos para coleta de dados totalmente automatizados capazes de
verificar o nmero e o tipo de batidas de teclas realizadas pelo participante, capazes de
detectar quais recursos do programa foram acessados para a realizao de uma tarefa e o
tempo de acesso em cada recurso, acessos ajuda on-line etc. Outra maneira, os dados
serem coletados de forma manual ou de forma on-line pelo avaliador ou pelo prprio
participante e as aes registradas atravs de um software. Podem ser customizados
cdigos de at trs letras que representam eventos crticos para facilitar no registro das
aes. O Anexo 6 apresenta um exemplo de Coleta de Dados pelo Avaliador, a ser
preenchido de forma manual.
9.6.
Questionrio de Avaliao do Sistema pelo Participante
Aplicado logo aps a realizao dos testes, o principal propsito deste

questionrio coletar informaes preferenciais dos participantes para esclarecer e
aprofundar o entendimento do produto apontando pontos fortes e pontos a melhorar,
baseando-se nos problemas encontrados.
importante formular perguntas relacionadas com aspectos difceis de serem
detectados somente com a observao, tais como: sentimentos, opinies e sugestes
para melhoria. Para o desenvolvimento deste questionrio, deve-se enfocar as reas e
tpicos que so necessrios atingir, como por exemplo, testes de telas, documentao,
painis de controle, dentre outros. As questes devem direcionar a respostas simples e
breves, tornando mais objetivo e facilitando a apurao dos dados, sendo que escalas
so muito utilizadas. O teste piloto tambm pode ser usado para refinar o questionrio,
pois ele assegura se as questes extraram as informaes corretas. O Anexo 7 apresenta
um exemplo de Questionrio de Avaliao do Sistema pelo Participante.
9.7.
Tpicos para Questionamento
O objetivo dos
tpicos de questionamento estruturar a sesso de
questionamento do participante em relao aos testes realizados. Sugere uma linha de
21
tpicos na qual a natureza exata depende das circunstncias encontradas durante cada
sesso de teste, podendo variar de acordo com determinadas aes tomadas ou
comentrios realizados pelo participante durante o teste ou de acordo com a experincia
que o participante possui.
A realizao de anotaes durante a sesso de teste sobre itens especficos que
necessitam ser aprofundados na sesso de questionamento do participante, de grande
valia. O Anexo 8, Tpicos para Questionamento, apresenta um formulrio contendo
alguns tpicos que podero ser discutidos em uma sesso de questionamento do
participante. Como estes tpicos so originados principalmente atravs da observao
durante cada sesso de teste, com certeza outros tpicos especficos surgiro com esta
observao.
22
10. Anlise dos Dados

Geralmente, a anlise dos dados formada por dois processos distintos que
acarretam duas entregas.
O primeiro processo constitui de uma anlise preliminar. O objetivo averiguar
rapidamente os piores problemas encontrados, de forma que os desenhistas possam
trabalhar neles imediatamente, sem ser necessrio esperar pelo relatrio final do teste. A
anlise preliminar deve ser realizada to logo possvel aps o teste ter sido completado,
podendo ser um pequeno relatrio escrito ou uma apresentao verbal.
O segundo processo constitui de uma anlise abrangente, cuja durao pode
levar de duas a quatro semanas aps o teste. Esta a entrega final, na qual
desenvolvido um relatrio mais exaustivo. O relatrio final deve incluir todas as
descobertas do relatrio preliminar (desenvolvido na anlise preliminar), devidamente
atualizadas, outras anlises e novas descobertas.
Segundo [RUB 94], os passos para analisar os dados do teste e desenvolver as
recomendaes necessrias so:
10.1. Compilar e Resumir os Dados

Existem algumas maneiras de compilar e resumir informaes valiosas dos
dados originados dos testes. A seguir esto apresentadas algumas:
10.1.1. Compilar os Dados como so Testados
Compilar envolve organizar os dados coletados de acordo com padres prdefinidos e deve ser realizado durante as sesses de teste. Este mecanismo acelera o
processo de anlise, verifica se foram coletados os dados corretos, verifica os problemas
declarados no plano de teste e ajuda a detectar se algo importante foi esquecido.
Ao final de cada dia, interessante reunir todos os dados coletados e verificar se
esto legveis e se os observadores esto contribuindo efetivamente para a coleta dos
dados. Diariamente, interessante que sejam transferidas algumas notas para o
computador para que seja mantido um resumo dos dados, como por exemplo, uma
mdia do tempo gasto nas tarefas. As gravaes realizadas durante os testes tambm
auxiliam nesta observao.
Uma compilao contnua dos dados bastante vantajosa, pois os
acontecimentos acerca do teste ainda so facilmente lembrados, provendo uma maior
rapidez para o desenvolvimento de uma an lise preliminar.
10.1.2. Criar Resumos
Depois das sesses terem sido completadas, a compilao dos dados deve ser
finalizada e deve ser gerado um resumo descritivo dos dados quantitativos. Isto pode ser
realizado atravs da transferncia de informaes das planilhas que contm os dados
coletados para planilhas de resumo. Outra forma a utilizao de ferramentas que
provem resumos automatizados. Resumos estticos tambm podem ser usados para
indicar se ocorreram diferentes performances em diferentes grupos de participantes ou
diferentes performances na utilizao de verses diferentes do produto.
23
10.1.3. Resumo de Dados de Performance

Os dados de performance podem ser resumidos em tarefas cronometradas e
tarefas de preciso. Alguns simples exemplos de estatstica descritiva para performance
de dados so mostrados a seguir:
Tarefas Cronometradas
As tarefas cronometradas apresentam quanto tempo os participantes levaram
para completar cada tarefa. Para demonstrar algumas estatsticas simples que podem ser
realizadas neste caso, um exemplo ser utilizado sobre a execuo de uma tarefa fictcia
de onde foram resgatados os dados de performance apresentados na TABELA 1:
Nmero do Participante
1
2
3
4
5
6
7
8
9
Tempo necessrio para realizar a

tarefa (em minutos)
3,0
4,9
5,5
5,5
7,3
9,3
10,5
13,0
13,0
Tab. 1) Dados quantitativos baseados em uma tarefa fictcia.
Baseado nos dados apresentados na TABELA 1, podemos calcular:

Mdia do tempo gasto para completar a tarefa calculado pelo
somatrio do tempo gasto por todos os participantes que completaram a
tarefa (no nosso exemplo, 72,0 minutos) divido pelo nmero de
participantes (no nosso exemplo, 9 participantes), resultado 8 minutos.
Tempo mediano o tempo que apresentado exatamente no meio
(assinalado na tabela) qua ndo todos os tempos gastos para completar a
tarefa so listados em ordem crescente (no nosso exemplo, 7,3 minutos).
Se em nosso exemplo tivssemos um nmero par de participantes,
teramos dois valores centrais. Neste caso, o tempo mediano seria
calculado pela mdia do tempo gasto para completar a tarefa dos dois
valores centrais.
Range - o tempo mais alto e o tempo mais baixo gasto para se
completar a tarefa. Esta estatstica bastante relevante no caso de uma
diferena grande entre o menor e o maior tempo apresentado e para se
tentar detectar o motivo e aes a serem tomadas para se evitar a
ocorrncia de diferenas to grandes.
Desvio Padro (S) tal como o range, o desvio padro uma medida de
variabilidade dos dados, ou seja, em que grau os dados se diferem uns
dos outros. A frmula a seguinte:
24
( x)
x2
S=
onde:
n 1
x2
x
n
=> soma do quadrado de cada um dos tempos coletados

=> soma de todos os tempos coletados
=> total de participantes
Baseando-se no exemplo da TABELA 1, temos o clculo de
x 2 , apresentados na TABELA 2:
Nmero do
Participante
x = tempo necessrio
para realizar a tarefa
(em minutos)
3,0
4,9
5,5
5,5
7,3
9,3
10,5
13,0
13,0
1
2
3
4
5
6
7
8
9
x = 72,0
x e de
x2
9
24,01
30,25
30,25
53,29
86,49
110,25
169
169
x 2 = 681,54
Tab. 2) Clculo do Desvio Padro de uma tarefa fictcia.
Ento, o Desvio Padro calculado da seguinte forma:
(72 )
681,54
S=
9 1
681,54 576
105,54
=
= 3,63 minutos
8
8
Tarefas de Preciso
As Tarefas de Preciso englobam diferentes estatsticas. Pode-se contar
simplesmente o nmero de erros ocorridos por tarefa, ou classificar estes erros por tipo,
erros de omisso etc. Pode-se rastrear o nmero de participantes que executaram uma
determinada tarefa com sucesso, considerando ou no o tempo de benchmark esperado
ou rastrear o nmero de participantes que necessitaram de algum auxlio para executar
uma determinada tarefa.
10.1.4. Resumo de Dados Preferenciais
Os dados preferenciais podem ser originados de vrias fontes como pesquisas e
questionrios. A seguir, algumas formas de se resumir diferentes tipos de dados
preferenciais:
25
Questes de escolha pode ser realizado sumarizando-se as respostas de

cada questo individualmente e pode-se calcular uma mdia por item,
possibilitando visualizar qual o nmero de participantes selecionaram
cada resposta. Um questionrio em branco, no mesmo formato do
questionrio que o participante respondeu, pode ser usado para registrar
a sumarizao dos resultados. Assim sendo, verifica-se cada
questionrio respondido e indica-se, logo frente de cada resposta do
questionrio de sumarizao, o nmero de participantes que escolheu a
referida resposta.
Questes abertas e comentrios deve-se listar todas as questes e
agrupar as respostas semelhantes em categorias significativas, como por
exemplo, somar todas as referncias positivas e negativas sobre um item
em particular, possibilitando visualizar os resultados rapidamente
atravs do agrupamento realizado.
Sesses de questionamento do participante deve-se transcrever todas
as entrevistas para o papel, pois a visualizao dos comentrios escritos
facilita a seleo dos comentrios crticos bem mais do que escutar e
categorizar a informao ao mesmo tempo. O registro por escrito
tambm facilita o acesso s informaes por outras pessoas.
10.2. Anlise
Depois de transformar os dados em resumos organizados, hora de analis- los.
Primeiramente deve-se identificar quais so as tarefas mais difceis que os usurios
tiveram que realizar. Com isso, os piores problemas sero determinados.
10.2.1. Identificar e Focalizar as Tarefas que no Possuem Critrios
Para tarefas que no possuem critrios, deve-se predeterminar a percentagem de
participantes que no conseguiram completar a tarefa com sucesso dentro do tempo de
benchmark. Se a percentagem bastante alta, como por exemplo 70%, o problema
considerado bastante grave e deve ser tratado com cautela.
Para testes com poucos participantes, a tarefa mais difcil a ser executada ser
facilmente percebida. Entretanto, deve ser realizada uma distino entre os nveis de
performance, em vez de listar e amontoar todos os resultados juntos em uma longa
tabela. A distino entre diferentes nveis de performance ir ajudar a enfocar os
problemas por reas.
10.2.2. Identificar Erros e Dificuldades dos Participantes
necessria a identificao dos erros que ocasionaram atitude imprpria em
uma determinada tarefa. O erro definido como qualquer divergncia ocorrida diante de
um comportamento esperado, como por exemplo, a omisso de um passo para a
realizao de uma tarefa, a excluso de um arquivo ainda necessrio etc.
10.2.3. Identificar a Fonte dos Erros Analisados
A identificao da fonte dos erros analisados necessria para apontar as causas
e os componentes responsveis. Esta anlise constitui o ltimo trabalho de deteco e a
poro de trabalho mais intensa aps a realizao dos testes. O objetivo identificar as
razes de ocorrncia de dificuldades dos participantes e razes de baixo desempenho.
Os motivos que levaram a ter ocorrido erros de usurios devem ser bastante claros, para
26
a elaborao de recomendaes precisas. Revises das fitas e conversas com os

observadores dos testes ajudam na identificao das fontes dos erros.
Algumas razes de erros podem ser bvias e no necessitar de muita pesquisa,
outras podem necessitar de uma sondagem bem mais profunda. Vrias fontes de
pesquisa podem ser usadas para identificar o motivo da ocorrncia dos erros, tais como:
notas, lembranas acerca do teste, as gravaes do teste, o entendimento de como o
produto trabalha e o entendimento do desenho do usurio.
No caso de erros crticos, bastante til analisar as gravaes de vrios usurios
que erraram, pois pode ter sido esquecido algo importante durante o teste.
No se deve tentar resolver o problema prematuramente e realizar a manuteno
antes que estejam identificadas todas as fontes do erro. A pesquisa dos erros deve ser
realizada para toda tarefa e todo participante. Desta forma, todas as deficincias sero
contadas e as recomendaes sero bem elaboradas.
10.2.4. Priorizar Problemas por Criticidade
Aps identificadas as fontes especficas de erros, deve-se priorizar os problemas
por criticidade. A criticidade a combinao da severidade do problema e a
probabilidade deste problema ocorrer, podendo ser representada em uma equao da
seguinte forma:
Criticidade = Severidade + Probabilidade de ocorrncia
Priorizar os problemas por criticidade habilita a equipe de desenvolvimento a
estruturar e priorizar o trabalho necessrio para melhorar o produto. O objetivo atacar
primeiramente os problemas mais crticos.
Para se priorizar os problemas por criticidade, deve-se primeiro categorizar os
problemas por severidade e depois por freqncia em que ocorrem. Para medir a
severidade, utilizada uma escala de quatro pontos, apresentada na TABELA 3:
Severidade
4
3
2
1
Descrio
Inutilizado
Severo
Moderado
Irritante
Tab. 3) Escalas utilizadas para medir a severidade de um problema.
A freqncia influenciada por dois fatores: a percentagem do total de usurios

afetados pelo problema e a probabilidade de um usurio de um grupo afetado
experimentar o problema. Para medir a freqncia, utilizada uma escala de quatro
pontos, tal como a severidade, apresentada na TABELA 4:
Freqncia
4
3
2
1
Descrio
Ocorre em 90% ou mais do tempo de utilizao do produto.
Ocorre de 51 a 89% do tempo de utilizao do produto.
Ocorre de 11 a 50% do tempo de utilizao do produto.
Ocorre em 10% ou menos do tempo de utilizao do produto.
Tab. 4) Escalas utilizadas para medir a freqncia de um problema.
27
Se 10% da populao encontrar um problema em torno de 50% do tempo, ento

calcula-se: 0,1 x 0,5 = 0,05 ou 5%, ou seja, estima-se somente 5% da freqncia de
ocorrncia.
Averiguar a criticidade de um problema uma maneira simples de relacionar a
severidade e a freqncia de um problema. Se um problema particular torna o produto
inutilizado (severidade 4), mas estima-se que somente ocorrer em 5% do tempo de
utilizao (freqncia 1), ento a prioridade do problema ser 5 (4 + 1). Caso tenha
ocorrido um problema que foi simplesmente irritante, mas afeta a quase todos, tambm
poder ser categorizado com prioridade 5. Usando este mtodo, a mais alta prioridade
pode ser nomeada para problemas que tornaram o produto no utilizado. Estas
prioridades ajudam a decidir como focalizar recursos com a equipe de desenvolvimento,
concentrando em atacar primeiro os problemas mais crticos. O ideal que todos os
problemas sejam resolvidos antes da entrega do produto, mas raramente isto ocorre.
Pode-se tambm, desenvolver uma hierarquia prpria de definies de criticidade
baseados nos objetivos da organizao e no produto que est sendo testado.
Outra estratgia interessante perguntar aos participantes, durante a sesso de
questionamento, qual foi a situao mais problemtica que encontraram. Se as respostas
de vrios participantes coincidirem, ento esta uma importante indicao sobre onde
enfocar os recursos.
10.3. Desenvolvendo Recomendaes

Neste momento, sero reunidas todas as informaes analisadas com a finalidade
de traduzi- las em recomendaes para que sejam realizadas as aes.
O processo de recomendao uma das reas que podem ser beneficiadas
imensamente pelo desenho centrado no usurio e pelo conhecimento dos princpios de
usabilidade. No sempre bvio qual o componente responsvel pelos problemas. O
conhecimento de como as pessoas lem e aprendem, como as pessoas processam as
informaes, como a performance humana afetada por limitaes de memria a curto
prazo e outros, afetam o desenvolvimento de recomendaes precisas.
O teste e o processo de anlise podem ser bastante exaustivos, por se tratarem de
processos que exigem trabalho intenso, requisitando longos perodos de concentrao.
Uma pessoa deve ser responsvel por elaborar o relatrio e a equipe de desenho
deve participar efetivamente no processo.
Um esforo de grupo essencial porque no h respostas diretas quando esto
sendo elaboradas as recomendaes. Sempre haver vrias alternativas vindas de
diferentes perspectivas. A equipe de desenvolvimento poder ser composta de peritos
em vrias disciplinas, como engenheiros, profissionais de comunicao, marketing e
fatores humanos. Cada profissional, dentro de sua rea, ter perspectivas diferentes.
Geralmente, se for possvel simplificar e identificar claramente o assunto, a equipe de
desenho pode ajudar a descobrir uma boa soluo.
O mesmo teste pode ser visto de forma distinta entre os diferentes observadores.
Os observadores devem presenc iar mais de duas sesses para poder possuir uma
perspectiva suficiente para interpretar os resultados. J o avaliador, por assistir cada
sesso, possui uma perspectiva bem mais ampla.
Os desenhistas devem ter um contato direto com os resultados e recomendaes.
Para isto, importante que eles leiam as recomendaes desenvolvidas e transcritas no
relatrio para melhor entendimento e ao.
Antes de finalizar o relatrio, interessante prover discusses sobre as
percepes, opinies e identificar falhas nas recomendaes antes de ser expedido o
relatrio final.
28
10.3.1. Focalizar Solues de Maior Impacto

Mudanas globais possuem um impacto maior no produto e devem ser
consideradas primeiramente, como por exemplo, uma recomendao sobre mudar a
forma de navegao em todas as interfaces do produto.
Comear verificando nveis globais de usabilidade uma prtica interessante
para se ter certeza que o produto, sobre estes nveis, est coerente.
O principal ponto reconhecer e comear desenvolvendo macro recomendaes.
10.3.2. Pequenas e Longas Recomendaes
As recomendaes devem ser separadas em duas sees: pequenas
recomendaes e longas recomendaes.
A sesso de pequenas recomendaes ir descrever as mudanas que podem ser
realizadas sem o risco de tropear no planejamento.
A sesso de longas recomendaes ir descrever as mudanas que requerem
mais tempo para serem realizadas.
10.3.3. reas em que Necessrio Pesquisa Adicional
Teste de usabilidade, como a maioria das pesquisas, geralmente resulta em
muitas questes que necessitam ser respondidas. Esta uma norma simples quando est
se desenvolvendo um bom trabalho e isto no deve ser causa para intimidao.
As questes podero necessitar de testes adicionais ou a aplicao de uma
tcnica diferente de pesquisa, como um experimento formal, pesquisa de uma populao
de usurios ou observao local. interessante incluir no relatrio uma sesso de
pesquisas futuras para enfatizar este ponto.
10.3.4. Faa um Relatrio Completo
Apesar de ser focalizado primeiramente os problemas mais crticos, ser
necessrio que todos os problemas sejam considerados. Deve-se ter certeza que cada
problema identificado foi descrito no relatrio, pois o relatrio um documento
histrico. Todos os objetivos devem ser reportados e capturadas todas as revises
necessrias.
10.4. Desenvolvendo o Relatrio Final

Na maioria dos ambientes de desenvolvimento, a equipe de desenvolvimento
inicia a reviso do produto bem antes do relatrio final dos testes ser distribudo.
Entretanto, isto no desculpa para no se produzir o relatrio. Alm do mais, o
relatrio servir como um registro histrico do que ocorreu durante os anos.
O relatrio final deve suportar e iniciar mudanas, dirigir aes, prover um
registro histrico e educar, tudo ao mesmo tempo. Acima de tudo, o relatrio final deve
ser um importante veculo de comunicao.
O relatrio deve ter incio, meio e fim. O incio deve relatar o motivo de ter sido
realizado o teste e como foi preparado. O meio deve descrever o qu aconteceu durante
o teste. O fim deve relatar as recomendaes desenvolvidas baseadas nos
acontecimentos. Logo a seguir, apresentada uma sugesto das principais sees de um
relatrio final:
29
10.4.1. Sumrio
Apresenta uma breve sinopse das logsticas dos testes, as principais descobertas
e recomendaes, pesquisas necessrias e os benefcios globais. O propsito desta
sesso apresentar aos leitores uma viso macro de informaes.
10.4.2. Mtodo
Descreve a natureza da pesquisa, como foi montada, os perfis de usurios e os
mtodos utilizados para coletar os dados. Esta sesso muito parecida com o
desenvolvimento de um plano de teste, portanto pode-se aproveitar bastante o
planejamento para desenvolver o relatrio final. Entretanto, as excees devem ser
atualizadas. Eventos ocorridos que ocasionaram alterao no procedimento, como por
exemplo, a ausncia de algum participante, devem ser descritos.
10.4.3. Resultados
Esta sesso apresenta resumos quantitativos e qualitativos, usando a mais
concisa e legvel forma possvel. Resumos quantitativos podem ser o tempo gasto para a
realizao das tarefas, nmero de erros cometidos etc. Resumos qualitativos so as
perguntas em que o participante respondeu livremente de acordo com a sua percepo,
tipos de erros dentre outros. No necessrio que seja includo no relatrio, os
formulrios respondidos pelos participantes, sendo interessante apenas mencionar o
nome da pessoa responsvel pelo arquivamento destes para que sejam pesquisados
posteriormente, caso seja necessrio.
10.4.4. Discusso das Descobertas e Recomendaes
O propsito desta sesso prover rapidamente ao leitor as descobertas e
recomendaes.
Tpicos importantes no devem ser omitidos. As descobertas devem ser
explicadas detalhadamente e as informaes devem ser dispostas de forma que os
leitores no necessitem de explicaes adicionais.
Esta sesso pode ser dividida em:
Descobertas e recomendaes gerais inclui uma discusso macro sobre a
importncia de assuntos globais, como por exemplo, uma discusso sobre o que foi
aprendido acerca das habilidades e expectativas do usurio final a partir dos
participantes do teste.
Descobertas e recomendaes especficas contm uma lista de mudanas
requeridas, organizadas por cada componente do produto.
10.4.5. Apndice
O apndice apresenta as compilaes realizadas com os dados, amostras do
material do teste, questionrios, scripts, dentre outros. A identidade dos participantes
deve continuar preservada e no deve ser mencionada. Caso for necessrio contatar
algum participante do teste, deve-se entrar em contato diretamente com o avaliador.
O Anexo 9 apresenta um relatrio final simplificado.
30
11. Custo
O custo da realizao de testes de usabilidade comea enfocando os benefcios
tangveis.
Na verdade, negligenciar a realizao dos testes de usabilidade ser mais custoso
do que realiz- los. Problemas de usabilidade encontrados mais tarde, aps a liberao de
um produto, ocasionam pssima impresso no mercado e conseqente reduo de
vendas. Segundo Nielsen, citado por [HEL 97], testes de usabilidade esto adquirindo
ateno significativa na mdia e a usabilidade est sendo fortemente enfocada nas
revises dos produtos.
O teste de usabilidade pode ser custoso, mas seu custo pode ser balanceado em
relao quantidade de benefcios conseguidos. Ignorar a execuo de testes de
usabilidade acarreta:
incluso de caractersticas erradas ou a omisso das caractersticas
corretas;
maior tempo gasto em discusses sobre informaes bsicas;
maior tempo e dinheiro gasto com a necessidade de redesenhar ou a
construo de interfaces de usurio que provavelmente sero
inutilizadas;
grande aumento da necessidade de suporte tcnico;
impresses negativas do produto e conseqente perda de vendas.
Quando so realizadas as anlises e desenvolvidas as recomendaes, o custo de
implementao para cada soluo proposta deve ser estimado. Para se estimar o custo
deve-se levar em conta os recursos e o tempo necessrios para a implementao, medido
em termos de pessoas-hora.
Quando os problemas so identificados ainda no prottipo do produto, os custos
da mudana so bem mais baixos. Portanto, importante a utilizao de boas
ferramentas de prototipao, possibilitando a utilizao de um prottipo estvel o mais
cedo possvel no processo de desenvolvimento.
31
12. Concluso
A maioria das empresas ainda investe muito pouco em usabilidade, sendo que a
realizao de testes de usabilidade ainda algo raro.
Isto est diretamente relacionado ao fato deste processo ser caro e os recursos de
usabilidade serem tipicamente escassos.
Entretanto, tem-se notado uma crescente preocupao com a usabilidade dos
produtos disponibilizados ao pblico devido s inmeras vantagens que isto acarreta.
Deve-se ter em mente que a elaborao e realizao de testes de usabilidade
aplicados a um produto um indicador infalvel para expor problemas em potencial.
Isto minimiza bastante risco de disponibilizar no mercado um produto instvel e difcil
de aprendizado.
Para um melhor entendimento e aceitao dos testes de usabilidade, estes devem
ser parte integrante do processo de desenvolvimento do produto e no devem ser
considerados como algo que pode ser simplesmente descartado em vias de reduo de
custo e curto prazo para realizao.
A usabilidade um elemento crtico de sucesso no mercado de informtica e a
realizao dos testes de usabilidade um elemento imprescindvel no projeto.
32
Anexo 1 - Plano de Teste

Sistema de Gesto de Manuteno de Eletrodomsticos
SIGMEL 1.0
1.
Propsito do Teste
O propsito deste teste verificar a performance alcanada pelos participantes e o

entendimento das funes do sistema utilizando o prottipo, com a finalidade de realizar
alteraes necessrias antes da liberao do produto. Ser medido o tempo gasto para a
realizao das tarefas e sero identificados erros e dificuldades envolvendo a utilizao
do prottipo em tarefas rotineiras.
2.
Declarao dos Problemas

1. Os termos utilizados nas interfaces so intuitivos?
2. A ajuda on-line eficaz?
3. A performance alcanada pelos usurios a ideal?
3.
Perfil do Usurio
Sero utilizados quatro participantes, um por dia. Os participantes devem ter de 20 a 40

anos de idade, nvel mdio (completo ou no) ou superior (completo ou no), mais de
um ano de conhecimentos bsicos de informtica (uso do mouse e teclado) e de
utilizao de aplicativos bsicos (como por exemplo, o Office), e no necessitam
possuir conhecimentos tcnicos em manuteno de eletrodomsticos.
4.
Metodologia
O teste ser realizado com a finalidade de garantir a usabilidade do produto e ser

composto das seguintes partes:
1. Cada participante ser devidamente cumprimentado pelo avaliador, ser
orientado a se sentar e tentar se sentir confortvel e relaxado. O participante ser
orientado a preencher um pequeno questionrio para identificao de seu perfil
(Questionrio para Identificao do Perfil do Participante, Anexo 3).
2. O participante receber um script introdutrio de orientao do teste (Script de
Orientao, Anexo 4), explicando o propsito e objetivos do teste, reforando
que o anonimato do produto deve ser mantido aps os testes e o que esperado
dos participantes. Deve ser reforado que o produto o centro da avaliao e
no o participante e que as tarefas devem ser executadas de forma bastante
confortvel. Deve-se informar ao participante que ele ser observado e que
estar sendo filmado.
3. Depois de passadas as orientaes, ser permitido que o participante utilize o
sistema livremente por cinco minutos. Logo depois, ser requisitado ao
participante retornar rea de Trabalho do Windows (se for o caso) e lhe ser
entregue a lista de tarefas (Lista de Tarefas, Anexo 5). O avaliador ir requisitar
que o participante verbalize suas dvidas, pois isto ajudar ao avaliador anotar a
ocorrncia e a razo de problemas. Durante o teste, os acontecimentos
33
observados pelo avaliador sero registrados em formulrio prprio (Coleta de

Dados pelo Avaliador, Anexo 6). Um outro integrante da Tools Corporation ir
cronometrar e registrar o tempo gasto na realizao das tarefas.
Depois de completadas todas as tarefas, o participante preencher um
questionrio de avaliao do sistema pelo participante cuja finalidade coletar
informaes preferenciais do participante (Questionrio de Avaliao do
Sistema pelo Participante, Anexo 7).
Logo aps, ser dada uma pausa de dez minutos para o caf.
Depois, o participante ser questionado pelo avaliador em uma sesso de
questionamento do participante. Sero discutidas percepes subjetivas de
usabilidade do participante acerca do sistema, realizados comentrios globais
sobre a performance do participante e problemas encontrados. O participante
poder comentar sobre o teste abertamente, permitindo uma coleta de
informaes complementares (Tpicos para Questionamento, Anexo 8).
Depois da sesso de questionamento do participante, ser agradecida a
colaborao do participante e ser lhe dado um brinde.
4.
5.
6.
7.
Observao: o avaliador estar de posse do Roteiro do Avaliador (Anexo 2) para o

orienta- lo na conduo do teste.
5.
Lista de Tarefas
Segue uma lista de tarefas preliminar para o teste de usabilidade do sistema:

Nmero da
Tarefa
Descrio da Tarefa
Iniciar o sistema SIGMEL.
Voc tem necessidade de cadastrar

algumas peas que brevemente sero
recebidas em sua oficina de
eletrodomstico e faro parte do estoque.
Realize o cadastro das peas hlice de
liquidificador, motor de liquidificador,
resistncia de chuveiro e tomada. As
demais informaes das peas devem ser
completadas da maneira que voc achar
melhor.
Carlos Gonalves procura o escritrio de
atendimento para o preenchimento de uma
vaga de tcnico em manuteno de
eletrodomsticos. Voc analisa seu
currculo e o contrata. Agora, voc deve
cadastr-lo no sistema.
A fornecedora de peas lhe entrega 20
hlices de liquidificador, 10 motores de
liquidificador e 50 tomadas. Registre estas
entregas no sistema.
D. Maria Joaquina procura o escritrio de
34
Detalhamento da Tarefa
REQ: Requerimentos para execuo da tarefa;
PR: Passos a serem realizados;
TME: Tempo mximo para execuo.
REQ: O computador dever estar ligado e
posicionado no Windows. A rea de Trabalho do
Windows dever estar sendo visualizada.
PR: O participante aciona o Iniciar -> Programas ->
SIGMEL.
TME: 1,0 minuto
REQ: O sistema SIGMEL dever estar sendo
apresentado e posicionado na tela principal.
PR: O participante aciona o menu Gesto -> Pea,
digita as informaes de cada pea a ser cadastrada,
pressiona o boto Salvar e pressiona o boto Novo
sempre que for necessrio cadastrar uma nova pea.
TME: 5,0 minutos

PR: O participante aciona o menu Gesto ->
Funcionrio, digita as informaes do funcionrio e
pressiona o boto Salvar.
TME: 2,0 minutos
Movimentao da Pea, digita as informaes de cada
movimentao a ser cadastrada, pressiona o boto
Salvar e pressiona o boto Novo sempre que for
necessrio cadastrar uma nova movimentao.
TME: 5,0 minutos
10
atendimento trazendo seu liquidificador

que no est funcionando. Ela lhe diz que
na ltima vez que utilizou o liquidificador,
notou um cheiro de queimado. Voc faz
uma anlise superficial no liquidificador e
deduz que provavelmente ir necessitar
trocar o motor e trocar a tomada. Faa o
cadastro da ordem de servio utilizando
um motor de liquidificador e uma tomada.
Aloque o tcnico Carlos Gonalves para a
realizao da manuteno.
Altere a margem de lucro que voc
especificou para a pea motor de
liquidificador.

PR: O participante aciona o menu Gesto -> Ordem
de Servio, digita as informaes da Ordem de
Servio, pressiona o boto Pesquisar Pea, seleciona a
pea motor de liquidificador, pressiona OK, informa a
quantidade e pressiona o boto Incluir Pea. O
participante faz o mesmo para a tomada necessria na
ordem de servio. O participante aloca o tcnico
Carlos Gonalves, escolhendo na lista Tcnico
Responsvel e pressiona o boto Salvar.
TME: 4,0 minutos
pressiona o boto Pesquisar, digita o cdigo da pea
referente ao motor de liquidificador, altera a margem
de lucro e pressiona o boto Salvar.
TME: 1,0 minuto
Voc nota que a hlice do liquidificador
tambm est quebrada. Aloque a utilizao apresentado e posicionado na tela principal.
de uma hlice de liquidificador na ordem
de servio do liquidificador de D. Maria
de Servio, pressiona o boto Pesquisar OS, digita o
Joaquina e retorne tela principal do
cdigo da ordem de servio, pressiona OK, pressiona
sistema.
o boto Pesquisar Pea, seleciona a hlice de
liquidificador, pressiona OK, informa a quantidade da
pea selecionada a ser utilizada na ordem de servio,
pressiona o boto Incluir Pea, pressiona o boto
Salvar e fecha a tela Gesto de Ordem de Servio.
TME: 1,0 minuto
Voc alocou uma tomada para ser
utilizada na ordem de servio do
liquidificador de D. Maria Joaquina, mas
agora pensa que esta no ser necessria.
Portanto, exclua a tomada alocada ordem cdigo da ordem de servio, seleciona a tomada
de servio e retorne tela principal do
alocada ordem de servio, pressiona o boto Excluir
sistema.
Pea, pressiona o boto Salvar e fecha a tela Gesto
de Ordem de Servio.
TME: 1,0 minuto
Emita a ordem de servio e entregue-a
para D. Maria Joaquina.
cdigo da ordem de servio e pressiona o boto Emitir
OS.
TME: 1,0 minuto
Sebastio Souza procura o escritrio de
atendimento para o preenchimento de
outra vaga de tcnico em manuteno de
eletrodomsticos. Voc analisa seu
Funcionrio, digita as informaes do funcionrio e
currculo e o contrata. Agora, voc deve
cadastr-lo no sistema.
TME: 2,0 minutos
11
O tcnico Sebastio Souza tem

disponibilidade para comear a trabalhar
imediatamente. Como o tcnico Carlos
Gonalves somente pode comear a
trabalhar amanh, aloque o tcnico
Sebastio Souza para atender a ordem de
servio de D. Maria Joaquina.
12
Altere o nome do tcnico Carlos

Gonalves para Carlos Gonalves da
Silva.

cdigo da ordem de servio, seleciona o tcnico
Sebastio Souza na lista Tcnico Responsvel e
TME: 1,0 minuto
Funcionrio, pressiona o boto Pesquisar, digita o
cdigo do funcionrio Carlos Gonalves, altera o
nome e pressiona o boto Salvar.
TME: 1,0 minuto
35
6.
13
Exclua a pea resistncia de chuveiro.
14
Emita o relatrio de peas.
15
Emita um relatrio por situao de ordem

de servio.
16
Emita um relatrio para saber quais peas

esto com o estoque abaixo do mnimo.
17
Encerre a execuo do sistema SIGMEL.

pressiona o boto pesquisar Pea, digita o cdigo da
pea e pressiona o boto Excluir.
TME: 1,0 minuto
PR: O participante aciona o menu Relatrio, marca o
Relatrio de Peas e pressiona o boto Imprimir.
TME: 1,0 minuto
Relatrio de Ordem de Servio por Situao e
pressiona o boto Imprimir.
TME: 1,0 minuto
Relatrio de Peas em Estoque com Quantidade
Abaixo do Mnimo e pressiona o boto Imprimir.
TME: 1,0 minuto
PR: O participante aciona o menu Gesto -> Sair.
TME: 1,0 minuto
Duas cmeras estaro instaladas para o registro dos eventos, sendo que uma estar
posicionada ao lado do participante e outra atrs do participante.
Sero gravadas trs imagens: duas provenientes das cmeras instaladas e uma do
monitor do microcomputador.
O ambiente para o teste ser a simulao de um escritrio, no qual h uma mesa de
computador (formato em L), cadeira, computador, telefone, lpis, caneta etc. O
computador ter instalado o Windows 2000, o Office 2000 e o sistema SIGMEL 1.0. O
banco de dados ser o Access acessado via ODBC. Uma impressora a jato de tinta
estar conectada ao computador.
A mesa conter um calendrio do ano vigente e um box com algumas folhas em branco
(de cinco a dez).
O prottipo disponibilizado estar pronto para realizar todas as funcionalidades
requisitadas na lista de tarefas.
7.
Papel do Avaliador
O avaliador se sentar ao lado do participante durante a realizao do teste e registrar o

tempo gasto nas tarefas, erros e observaes atravs do formulrio Coleta de Dados pelo
Avaliador (Anexo 6).
O avaliador no poder ajudar o participante na realizao das tarefas. Ele somente
poder orientar se surgir uma questo acerca do procedimento de teste.
Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na
realizao das tarefas.
36
8.
Medidas de avaliao
As seguintes medidas de avaliao sero coletadas e calculadas:

1. Tempo gasto para completar cada tarefa por participante;
2. Tempo gasto em acesso Ajuda on-line em cada tarefa por participante;
3. Nmero de acessos Ajuda on-line em cada tarefa por participante;
4. Nmero de erros cometidos na realizao de cada tarefa por participante;
5. Dados qualitativos sobre a utilizao do prottipo do sistema SIGMEL;
6. Dados subjetivos sobre a satisfao do participante;
7. Tempo mdio gasto na execuo de cada tarefa;
8. Desvio padro do tempo gasto para execuo de cada tarefa;
9. Mdia de erros por tarefa;
10. Desvio padro da quantidade de erros por tarefa.
9.
Contedo do Relatrio e Apresentao
O relatrio ir conter o plano de testes, resultados, discusses e recomendaes, sendo

que os resultados sero priorizados e apresentados em uma reunio. Estes resultados so
muito importantes e devero ser compilados rapidamente.
Os resultados finais sero compostos de itens e recomendaes que sero apresentados
aproximadamente duas semanas depois do teste. Incluir revises preliminares a fim de
completar a anlise proposta.
37
Anexo 2 - Roteiro do Avaliador

SIGMEL 1.0
1.
Objetivo
O objetivo deste documento servir como guia para o avaliador da sesso de teste do
prottipo do sistema. Durante o teste, sero verificadas a performance alcanada pelos
participantes e o entendimento das funes do sistema utilizando o prottipo. Ser
anotado o tempo gasto para a realizao das tarefas, erros e dificuldades envolvendo a
utilizao do prottipo em tarefas rotineiras com a finalidade de informar equipe de
desenvolvimento as alteraes necessrias antes da liberao do produto.
Este roteiro visa coletar os seguintes dados:
1. Obter dados quantitativos sobre o nmero de erros cometidos durante a
execuo das tarefas;
2. Obter dados quantitativos sobre o tempo gasto para a realizao das tarefas;
3. Obter dados quantitativos sobre o nmero de acessos Ajuda on-line;
4. Obter dados quantitativos sobre o tempo gasto em acesso Ajuda on-line;
5. Obter dados qualitativos sobre a utilizao do prottipo do sistema SIGMEL
1.0;
6. Registrar aspectos sobre a satisfao subjetiva do participante.
2.
Duas cmeras estaro instaladas para o registro dos eventos, sendo que uma estar
posicionada ao lado do participante e outra atrs do participante.
Sero gravadas trs imagens: duas provenientes das cmeras instaladas e uma do
monitor do microcomputador.
O ambiente para o teste ser a simulao de um escritrio, no qual h uma mesa de
computador (formato em L), cadeira, computador, telefone, lpis, caneta, etc. O
computador ter instalado o Windows 2000, o Office 2000 e o sistema SIGMEL 1.0. O
banco de dados ser o Access acessado via ODBC. Uma impressora a jato de tinta
estar conectada ao computador.
A mesa conter um calendrio do ano vigente e um box com algumas folhas em branco
(de cinco a dez).
O prottipo disponibilizado estar pronto para realizar todas as funcionalidades
requisitadas na lista de tarefas.
3.
Papel do Avaliador
O avaliador se sentar em uma cadeira ao lado do participante e utilizar uma prancheta

com o formulrio para Coleta de Dados pelo Avaliador (Anexo 6) para anotar os
detalhes do teste.
O avaliador no poder ajudar o participante na realizao das tarefas. Ele somente
poder orientar caso surge uma questo acerca do procedimento de teste.
38
Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na

realizao das tarefas.
4.
Perfil do Participante
Sero utilizados quatro participantes, um por dia. Os participantes tero de 20 a 40 anos

de idade, nvel mdio (completo ou no) ou superior (completo ou no), mais de um
ano de conhecimento bsicos de informtica (uso do mouse e teclado) e de utilizao de
aplicativos bsicos (como por exemplo, o Office), e no necessitam possuir
conhecimentos tcnicos em manuteno de eletrodomsticos.
5.
Tarefas Implementadas pelo Sistema
O sistema SIGMEL 1.0disponibiliza as seguintes tarefas:

1. Controlar peas disponveis no estoque;
2. Controlar funcionrios da oficina;
3. Gerenciar o andamento de ordens de servio;
4. Excluir ordens de servio do banco de dados;
5. Emitir relatrios gerenciais.
6.
Protocolos e Procedimentos
1. O avaliador recebe o participante, o cumprimenta e o convida a se sentar e se
sentir confortvel e relaxado.
2. O avaliador entrega ao participante o Questionrio para Identificao do Perfil
do Participante (Anexo 3).
3. Aps completar o questionrio, o participante recebe o Script de Orientao do
teste (Anexo 4). O avaliador l o script junto com o participante reforando que
o anonimato do produto deve ser mantido aps os testes e que o centro da
avaliao o produto e no o participante em si. O participante deve ser
informado que ele estar sendo observado e filmado e que a integridade do
participante ser totalmente resguardada, sendo utilizada a observao e as
imagens somente para fins de anlise do teste. O avaliador deve reforar outras
informaes constantes do script e retirar dvidas do participante sobre a sesso
de teste.
4. Aps serem passadas as orientaes, o avaliador informar ao participante que
ele pode utilizar o sistema livremente durante cinco minutos.
5. Passado este tempo, o avaliador ir orientar o participante a retornar rea de
Trabalho do Windows (se for o caso) e ser entregue a lista de tarefas para
execuo (Lista de Tarefas, Anexo 5). Os acontecimentos observados pelo
avaliador devero ser registrados no formulrio de Coleta de Dados pelo
Avaliador (Anexo 6). Um outro integrante da Tools Corporation ir cronometrar
e registrar o tempo gasto na realizao das tarefas.
6. Depois de completadas todas as tarefas, o avaliador ir entregar ao participante o
Questionrio de Avaliao do Sistema pelo Participante (Anexo 7) para ser
completado.
7. Depois que o participante acabou de completar este questionrio, o avaliador
informar que ser dada uma pausa de dez minutos para o caf.
8. Passada pausa para o caf, ter inicio a sesso de questionamento do participante
sendo usado como guia o formulrio de Tpicos para Questionamento (Anexo
39
8). Outros tpicos alm dos descritos neste formulrio devero ser acrescentados
de acordo com os acontecimentos ocorridos durante o teste.
9. O avaliador agradece ao participante, entrega- lhe um brinde por sua colaborao
e se despede.
7.
Formulrios Utilizados
1.
2.
3.
4.
5.
6.
7.
Roteiro do Avaliador (Anexo 2);

Questionrio para Identificao do Perfil do Participante (Anexo 3);
Script de Orientao (Anexo 4);
Lista de Tarefas (Anexo 5);
Coleta de Dados pelo Avaliador (Anexo 6);
Questionrio de Avaliao do Sistema pelo Participante (Anexo 7);
Tpicos para Questionamento (Anexo 8).
40
Anexo 3 - Questionrio para Identificao do Perfil do

Participante do Teste de Usabilidade
SIGMEL 1.0
O objetivo deste questionrio colher informaes sobre o perfil do participante do
teste de usabilidade a ser realizado utilizando o prottipo do Sistema de Gesto de
Manuteno de Eletrodomsticos SIGMEL 1.0.
As informaes fornecidas so vitais para o aprimoramento do sistema.
Nas questes de marcar, favor circular a letra correspondente resposta. A no ser que
esteja indicado, dever ser marcada somente uma resposta por questo.
Por favor, leia com ateno as questes a seguir e em caso de dvida, solicite
esclarecimento com o avaliador.
1) Informaes Pessoais
1. Qual a sua idade? ________ anos.
2. Sexo:
M. masculino.
F. feminino.
2) Informaes Educacionais
1. Qual o seu grau de instruo?
a. 2 grau incompleto
b. 2 grau completo
c. 3 grau incompleto
d. 3 grau completo
Escreva o nome do curso que est fazendo ou que completou de acordo com o
grau assinalado acima: ______________________________________________
3) Experincia Profissional
1. Qual a sua profisso? _____________________________________________
2. H quanto tempo se encontra nesta profisso?
a. Menos de 1 ano
b. Entre 1 ano a 2 anos
c. Entre 2 anos a 4 anos
d. Mais de 4 anos
41
4) Experincia Computacional
1. H quanto tempo voc utiliza computador?
a. Entre 1 ano a 2 anos
b. Entre 2 anos a 3 anos
c. Entre 3 anos a 4 anos
d. Mais de 4 anos.
2. Em que local voc utiliza o computador? (Pode-se marcar mais de uma opo)
a. Em casa
b. No trabalho
c. Na escola
d. Outros, favor especificar: _____________________________________
3. Em mdia, quantas horas por semana voc utiliza o computador?
a. Menos de 2 horas
b. Entre 2 a 5 horas
c. Entre 5 a 10 horas
d. Mais de 10 horas
4. Quais ferramentas abaixo voc utiliza em suas atividades dirias? (Pode-se
marcar mais de uma opo)
a. DOS
e. Power Point
b. Windows
f. Access
c. Word
g. Corel Draw
d. Excel
h. Outros, favor especificar: ________________________
42
Anexo 4 - Script de Orientao

SIGMEL 1.0
Ol, meu nome Ktia Ferreira, sou representante da Tools Corporation e iremos
trabalhar juntos nesta sesso de teste.
Estaremos efetuando o teste do prottipo de um produto destinado ao apoio
informatizado para uma oficina de manuteno de eletrodomsticos, cujo nome
SIGMEL 1.0.
Para assegurar que o nome da companhia dona do produto no lhe influenciar em
nenhum momento, este ser mantido em sigilo e gostaramos de contar com seu apoio
para manter em sigilo tambm o nome do produto.
O teste ocorrer na sala em que estamos. Esta sala simula um escritrio, onde voc
permanecer sentado em uma mesa em L. Voc usar um computador Pentium III
900 MHz com o Windows 2000, o Office 2000 e o SIGMEL 1.0 instalados, lpis,
caneta e papis. Uma impressora a jato de tinta estar conectada ao computador. Utilize
o produto de forma normal e tranqila, como se estivesse usando um outro aplicativo.
importante que voc diga o que est pensando durante a execuo das tarefas.
Voc poder fazer perguntas, mas eu no poderei respond-las. Isto ir ocorrer porque
ns necessitamos verificar como voc ir trabalhar com o produto de forma
independente.
Faa o melhor e no se preocupe com os resultados. o produto que est sendo
avaliado e no voc. O produto ainda um prottipo e com certeza, necessitar de
modificaes e voc estar contribuindo para detectarmos quais so as modificaes
necessrias.
Eu me sentarei prximo a voc para tomar algumas notas.
Joo Duarte, tambm membro da Tools Corporation, estar cronometrando o tempo
gasto na execuo das tarefas.
Estaremos sendo filmados e observados durante o teste.
Voc ir tambm responder a alguns questionrios. importante que sejam utilizadas
informaes verdadeiras e sinceras no preenchimento dos mesmos.
O nosso objetivo descobrir falhas e vantagens na utilizao deste produto de acordo
com a sua perspectiva, portanto necessitamos saber exatamente o que voc pensa.
Voc pode decidir invalidar seus dados, desde que me comunique at o final do teste.
Neste caso, seus dados e resultados no constaro do processo de anlise do teste.
Sua integridade ser totalmente preservada, pois a filmagem ser utilizada apenas para
posterior anlise dos testes por pessoal autorizado.
Estimamos cerca de uma hora para a durao desta sesso de testes.
Voc tem alguma pergunta?
Se no, utilize o sistema livremente durante cinco minutos e esteja vontade para fazer
perguntas neste momento.
Agradecemos por sua colaborao.
43
Anexo 5 - Lista de Tarefas

SIGMEL 1.0
Agora, voc dar incio aos testes.
Abaixo, ns temos 17 tarefas que devem ser executadas por voc utilizando o produto.
As tarefas devem ser executadas na ordem em que se encontram.
Voc deve ler em voz alta cada tarefa antes de execut- la.
Lembre-se:
Verbalize suas dvidas, pois isto ajudar ao avaliador anotar a ocorrncia e a
razo de problemas.
o produto que est sendo avaliado e no voc.
Tarefa 1 Iniciar o sistema SIGMEL.
Tarefa 2 Voc tem necessidade de cadastrar algumas peas que brevemente sero
recebidas em sua oficina de eletrodomstico e faro parte do estoque. Realize o cadastro
das peas hlice de liquidificador, motor de liquidificador, resistncia de chuveiro e
tomada. As demais informaes das peas devem ser completadas da maneira que voc
achar melhor.
Tarefa 3 Carlos Gonalves procura o escritrio de atendimento para o preenchimento
de uma vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu currculo
e o contrata. Agora, voc deve cadastr-lo no sistema.
Tarefa 4 A fornecedora de peas lhe entrega 20 hlices de liquidificador, 10 motores
de liquidificador e 50 tomadas. Registre estas entregas no sistema.
Tarefa 5 - D. Maria Joaquina procura o escritrio de atendimento trazendo seu
liquidificador que no est funcionando. Ela lhe diz que na ltima vez que utilizou o
liquidificador, notou um cheiro de queimado. Voc faz uma anlise superficial no
liquidificador e deduz que provavelmente ir necessitar trocar o motor e trocar a
tomada. Faa o cadastro da ordem de servio utilizando um motor de liquidificador e
uma tomada. Aloque o tcnico Carlos Gonalves para a realizao da manuteno.
Tarefa 6 Altere a margem de lucro que voc especificou para a pea motor de
liquidificador.
Tarefa 7 Voc nota que a hlice do liquidificador tambm est quebrada. Aloque a
utilizao de uma hlice de liquidificador na ordem de servio do liquidificador de D.
Maria Joaquina e retorne tela principal do sistema.
Tarefa 8 Voc alocou uma tomada para ser utilizada na ordem de servio do
liquidificador de D. Maria Joaquina, mas agora pensa que esta no ser necessria.
Portanto, exclua a tomada alocada ordem de servio e retorne tela principal do
sistema.
Tarefa 9 Emita a ordem de servio e entregue-a para D. Maria Joaquina.
44
Tarefa 10 Sebastio Souza procura o escritrio de atendimento para o preenchimento

de outra vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu
currculo e o contrata. Agora, voc deve cadastr- lo no sistema.
Tarefa 11 O tcnico Sebastio Souza tem disponibilidade para comear a trabalhar
imediatamente. Como o tcnico Carlos Gonalves somente pode comear a trabalhar
amanh, aloque o tcnico Sebastio Souza para atender a ordem de servio de D. Maria
Joaquina.
Tarefa 12 - Altere o nome do tcnico Carlos Gonalves para Carlos Gonalves da Silva.
Tarefa 13 Exclua a pea resistncia de chuveiro.
Tarefa 14 - Emita o relatrio de peas.
Tarefa 15 - Emita um relatrio por situao de ordem de servio.
Tarefa 16 - Emita um relatrio para saber quais peas esto com o estoque abaixo do
mnimo.
Tarefa 17 Encerre a execuo do sistema SIGMEL.
45
Anexo 6 - Coleta de Dados pelo Avaliador

Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0
O objetivo deste documento ser utilizado pelo avaliador para a coleta manual de informaes originadas da observao do participante durante
o teste do prottipo do Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0.
Data e hora de incio do teste: ___/___/___ ___h ___min
Data e hora de fim do teste: ___/___/___ ___h ___min
Nmero do Participante:
___
Nm.
da
Tarefa
Instruo apresentada ao
participante
Detalhamento da Tarefa
Detalhes
REQ: Requerimentos para especficos a
execuo da tarefa;
observar
PR: Passos a serem realizados;
TME: Tempo mximo para
execuo.
Iniciar o sistema SIGMEL.
REQ: O computador dever estar
ligado e posicionado no
Windows. A rea de Trabalho do
Windows dever estar sendo
visualizada.
PR: O participante aciona o
Iniciar -> Programas ->
SIGMEL.
TME: 1,0 minuto
Voc tem necessidade de cadastrar
REQ: O sistema SIGMEL dever
algumas peas que brevemente sero estar sendo apresentado e
recebidas em sua oficina de
posicionado na tela principal.
eletrodomstico e faro parte do
PR: O participante aciona o menu
estoque. Realize o cadastro das peas Gesto -> Pea, digita as
hlice de liquidificador, motor de
informaes de cada pea a ser
liquidificador, resistncia de chuveiro cadastrada, pressiona o boto
e tomada. As demais informaes das Salvar e pressiona o boto Novo
peas devem ser completadas da
sempre que for necessrio
46
Tempo
gasto para
execuo
N de
acessos
Ajuda
on-line
Tempo
gasto em
acesso
Ajuda
on-line
N de
Erros
Sucesso
(S/N)?
Observaes acerca da
execuo da tarefa
maneira que voc achar melhor.
cadastrar uma nova pea.

TME: 5,0 minutos
Carlos Gonalves procura o escritrio

de atendimento para o preenchimento
de uma vaga de tcnico em
manuteno de eletrodomsticos.
Voc analisa seu currculo e o
contrata. Agora, voc deve cadastrlo no sistema.
A fornecedora de peas lhe entrega

20 hlices de liquidificador, 10
motores de liquidificador e 50
tomadas. Registre estas entregas no
sistema.
D. Maria Joaquina procura o

escritrio de atendimento trazendo
seu liquidificador que no est
funcionando. Ela lhe diz que na
ltima vez que utilizou o
liquidificador, notou um cheiro de
queimado. Voc faz uma anlise
superficial no liquidificador e deduz
que provavelmente ir necessitar
trocar o motor e trocar a tomada.
Faa o cadastro da ordem de servio

estar sendo apresentado e
Gesto -> Funcionrio, digita as
informaes do funcionrio e
TME: 2,0 minutos
Gesto -> Movimentao da
Pea, digita as informaes de
cada movimentao a ser
cadastrada, pressiona o boto
Salvar e pressiona o boto Novo
sempre que for necessrio
cadastrar uma nova
movimentao.
TME: 5,0 minutos
Gesto -> Ordem de Servio,
digita as informaes da Ordem
de Servio, pressiona o boto
Pesquisar Pea, seleciona a pea
motor de liquidificador, pressiona
OK, informa a quantidade e
pressiona o boto Incluir Pea. O
47
Observar a
rapidez com
que o
participante
entende o
que foi
requisitado e
relaciona a
tarefa com
os comandos
do sistema.
utilizando um motor de liquidificador

e uma tomada. Aloque o tcnico
Carlos Gonalves para a realizao
da manuteno.
Altere a margem de lucro que voc

especificou para a pea motor de
liquidificador.
Voc nota que a hlice do

liquidificador tambm est quebrada.
Aloque a utilizao de uma hlice de
liquidificador na ordem de servio do
liquidificador de D. Maria Joaquina e
retorne tela principal do sistema.
Voc alocou uma tomada para ser

utilizada na ordem de servio do
liquidificador de D. Maria Joaquina,
mas agora pensa que esta no ser
participante faz o mesmo para a

tomada necessria na ordem de
servio. O participante aloca o
tcnico Carlos Gonalves,
escolhendo na lista Tcnico
Responsvel e pressiona o boto
Salvar.
TME: 4,0 minutos
Gesto -> Pea, pressiona o boto
Pesquisar, digita o cdigo da
pea referente ao motor de
liquidificador, altera a margem de
lucro e pressiona o boto Salvar.
TME: 1,0 minuto
pressiona o boto Pesquisar OS,
digita o cdigo da ordem de
servio, pressiona OK, pressiona
o boto Pesquisar Pea, seleciona
a hlice de liquidificador,
pressiona OK, informa a
quantidade da pea selecionada a
ser utilizada na ordem de servio,
pressiona o boto Incluir Pea,
pressiona o boto Salvar e fecha
a tela Gesto de Ordem de
Servio.
TME: 1,0 minuto
48
Observar a
rapidez com
que o
participante
entende o
que foi
requisitado e
relaciona a
tarefa com
os comandos
do sistema.
Observar a
rapidez com
que o
participante
necessria. Portanto, exclua a tomada

alocada ordem de servio e retorne
tela principal do sistema.
10
11

servio, seleciona a tomada
alocada ordem de servio,
pressiona o boto Excluir Pea,
pressiona o boto Salvar e fecha
a tela Gesto de Ordem de
Servio.
TME: 1,0 minuto
Emita a ordem de servio e entregue- REQ: O sistema SIGMEL dever
a para D. Maria Joaquina.
servio e pressiona o boto
Emitir OS.
TME: 1,0 minuto
Sebastio Souza procura o escritrio
de atendimento para o preenchimento estar sendo apresentado e
de outra vaga de tcnico em
manuteno de eletrodomsticos.
Voc analisa seu currculo e o
Gesto -> Funcionrio, digita as
contrata. Agora, voc deve cadastrinformaes do funcionrio e
lo no sistema.
TME: 2,0 minutos
O tcnico Sebastio Souza tem
disponibilidade para comear a
trabalhar imediatamente. Como o
tcnico Carlos Gonalves somente
pode comear a trabalhar amanh,
aloque o tcnico Sebastio Souza
para atender a ordem de servio de D. digita o cdigo da ordem de
Maria Joaquina.
servio, seleciona o tcnico
Sebastio Souza na lista Tcnico
Responsvel e pressiona o boto
Salvar.
TME: 1,0 minuto
49
entende o
que foi
requisitado e
relaciona a
tarefa com
os comandos
do sistema.
12
13
14
15
16
Altere o nome do tcnico Carlos

Gonalves para Carlos Gonalves da
Silva.

Gesto -> Funcionrio, pressiona
o boto Pesquisar, digita o cdigo
do funcionrio Carlos Gonalves,
altera o nome e pressiona o boto
Salvar.
TME: 1,0 minuto
Exclua a pea resistncia de chuveiro. REQ: O sistema SIGMEL dever
Gesto -> Pea, pressiona o boto
pesquisar Pea, digita o cdigo
da pea e pressiona o boto
Excluir.
TME: 1,0 minuto
Emita o relatrio de peas.
Relatrio, marca o Relatrio de
Peas e pressiona o boto
Imprimir.
TME: 1,0 minuto
Emita um relatrio por situao de
ordem de servio.
Ordem de Servio por Situao e
TME: 1,0 minuto
Emita um relatrio para saber quais
peas esto com o estoque abaixo do estar sendo apresentado e
mnimo.
50
17
Encerre a execuo do sistema

SIGMEL.
Peas em Estoque com

Quantidade Abaixo do Mnimo e
TME: 1,0 minuto
Gesto -> Sair.
TME: 1,0 minuto
51
Anexo 7 - Questionrio de Avaliao do Sistema pelo

Participante
SIGMEL 1.0
O objetivo deste questionrio colher informaes sobre a opinio do participante do
teste de usabilidade que foi realizado utilizando o prottipo do Sistema de Gesto de
Manuteno de Eletrodomsticos SIGMEL 1.0.
As informaes fornecidas so vitais para o aprimoramento do sistema.
Nas questes de marcar, favor circular o nmero correspondente ao grau de
concordncia. A no ser que esteja indicado, dever ser marcada somente uma resposta
por questo.
Por favor, leia com ateno as questes a seguir e em caso de dvida, solicite
esclarecimento com o avaliador.
1. Favor marcar o nmero correspondente ao grau que voc mais concorda:
a.
b.
c.
d.
e.
f.
g.
Facilidade de utilizao
Difcil
0
1
Organizao das informaes
Ruim
0
1
Layout das telas
Confuso
0
1
Nomenclatura utilizada nas telas (nome Confuso
de comandos, ttulos, campos, etc.)
0
1
Mensagens do sistema
Confusas
0
1
Assimilao das informaes
Difcil
0
1
No geral, a realizao do teste foi
Montona
0
1
Fcil
4
5
Boa
4
5
Claro
4
5
Claro
4
5
Claras
4
5
Fcil
4
5
Interessante
4
5
2. Aponte situaes em que voc achou fcil utilizar no sistema:

________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
3. Aponte situaes que voc sentiu dificuldades:
________________________________________________________________
________________________________________________________________
________________________________________________________________
52
4. Voc utilizou a Ajuda on-line do sistema em algum momento?

a. Sim
b. No
Em caso afirmativo, descreva em quais situaes voc utilizou a Ajuda on-line

do sistema (comente tambm se as informaes da Ajuda on-line foram de
pouca ou grande valia):
________________________________________________________________
________________________________________________________________
5. Diante do teste realizado, voc acha que o programa atingiu o objetivo para o
qual foi desenvolvido? Explique.
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
6. O espao abaixo reservado para que voc exponha sua opinio e sugira
melhorias no sistema.
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
________________________________________________________________
53
Anexo 8 - Tpicos para Questionamento

SIGMEL 1.0
O objetivo deste questionrio sugerir alguns tpicos a serem discutidos em uma sesso
de questionamento do participante aps a realizao do teste do prottipo do sistema do
Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0.
Discusses a serem levantadas:
1. Voc acha que outras funes so necessrias neste produto? Quais?
2. Voc se sentiu confuso em algum momento durante a realizao dos testes? Em
quais momentos?
3. Voc recomendaria a aquisio deste produto a algum? Por qu?
54
Anexo 9 - Relatrio Final

SIGMEL 1.0
1.
Sumrio
Esse documento tem por objetivo apresentar os resultados do teste de usabilidade do

sistema SIGMEL 1.0, originados de anlises realizadas aps os testes de usabilidade do
prottipo do produto. Primeiramente so apresentadas as medidas coletadas durante o
teste e as respostas aos questionrios propostos aos usurios. Em seguida, so
analisados os possveis problemas de usabilidade da interface utilizando os dados
previamente expostos e de outras informaes do teste.
2.
Mtodo
Os testes de usabilidade foram realizados no GESTUS, Laboratrio de Usabilidade da

Universidade Federal de Minas Gerais, entre os dias 22 a 25/07/2002.
Foram utilizados 4 participantes com a idade variando entre 20 e 40 anos, nvel mdio
(completo ou no) ou superior (completo ou no), mais de um ano de conhecimentos
bsicos de informtica (uso do mouse e teclado) e de utilizao de aplicativos bsicos
(como por exemplo, o Office).
Os participantes preencheram questionrios acerca do seu perfil e sobre satisfao do
produto.
O avaliador preencheu, em cada sesso de teste, um formulrio de coleta de dados, onde
foram registrados dados sobre a performance do participante, nmero de erros
encontrados, sucesso das tarefas e detalhes observados durante a execuo de cada
tarefa.
Cada sesso de teste foi gravada e utilizada para a elaborao deste material.
3. Resultado
3.1. Tempo de execuo das tarefas
A tabela 1 mostra as medidas de tempo de execuo das dezessete tarefas realizadas no
teste de usabilidade comparando-as com valores previamente estabelecidos: pior nvel
aceitvel, nvel alvo e melhor nvel possvel. A tabela tambm apresenta o valor mdio
das medidas coletadas e o desvio padro dessas medidas.
55
Tabela 1) Tempo de Execuo das Tarefas em Segundos.
3.2. Nmeros de Erros na Execuo das tarefas

A tabela 2 mostra o nmero de erros das dezessete tarefas realizadas no teste de
usabilidade. Semelhante tabela 1, apresenta uma comparao com os valores pior
nvel aceitvel, nvel alvo e melhor nvel possvel e apresenta o valor mdio e o desvio
padro das medidas coletadas.
Tabela 2) Nmero de Erros Cometidos.
3.3. Respostas ao Questionrio de Avaliao do Sistema pelo Participante

A tabela 3, apresenta uma avaliao das respostas dos participantes do teste ao
questionrio de avaliao do sistema onde as respostas so oferecidas ao participante em
uma escala 0 a 5.
Tabela 3) Respostas dos Participantes sobre a Interface.
Questo 1 - Aponte situaes em que voc achou fcil utilizar no sistema.

Usurio 1: Cadastro e excluso de funcionrios.
Usurio 2: No geral, as telas estavam bem organizadas. Depois que eu descobri para
que serve cada uma tela ficou mais fcil.
Usurio 3: Quando estava cadastrando de peas.
Usurio 4: Cadastro de funcionrios e de peas.
56
Questo 2 - Aponte situaes em que voc sentiu dificuldades.

Usurio 1: Informaes relativas movimentao de peas.
Usurio 2: Utilizao da Ordem de Servio.
Usurio 3: Registrar a utilizao de pea em uma ordem de servio.
Usurio 4: Achei confusa a movimentao de peas.
Questo 3 - Voc utilizou a Ajuda on-line do sistema em algum momento?
Usurio 1: No.
Usurio 2: Necessitei da Ajuda on-line, mas a mesma no estava disponvel no
prottipo.
Usurio 3: No, mas gostaria que um prottipo da Ajuda on-line estivesse disponvel.
Usurio 4: No, mas mesmo sendo um prottipo, seria interessante que tivesse uma
Ajuda on-line bsica.
Questo 4 - Diante do teste realizado, voc acha que o programa atingiu o objetivo
para o qual foi desenvolvido? Explique .
Usurio 1: O prottipo mostrado estava em um estgio em que foi impossvel ter uma
concluso.
Usurio 2: Sim. Achei bastante interessante.
Usurio 3: Creio que o objetivo foi alcanado, haja vista que ainda um prottipo.
Usurio 4: Sim, gostei bastante de realizar os testes.
Questo 5 - O espao abaixo reservado para que voc exponha sua opinio e
sugira melhorias no sistema.
Usurio 1: Excluso e incluso de elementos (funcionrios, ordem de servio, peas,
etc.) deveriam ser separados.
Usurio 2: Ordem de Servio. Colocar uma opo de sada a no ser pelo boto
convencional para fechar a tela, o famoso xizinho.
Usurio 3: Melhorar a tela e Ordem de Servio, pois h muitas informaes em uma
tela s.
Usurio 4: Melhorar a forma de manipulao de peas no estoque, pois achei um
pouco confusa.
57
4. Anlise, Discusso das Descobertas e Recomendaes

A anlise compreende a descrio dos problemas, possvel proposta de soluo e a
prioridade para tal. A partir dos resultados obtidos no teste de usabilidade, foi realizada
uma anlise para detectar problemas de usabilidade e propor as respectivas alteraes.
Anlise 1: O problema de alocar peas ordem de servio
A tarefa 5 foi a que teve o maior desvio padro tanto na medida de tempo (S = 9,95)
quanto na medida de nmero de erros (S = 2,16). Esse fato pode ser explicado de
imediato pelo nmero de erros cometidos pelo participante 3 consideravelmente maior
que os outros trs participantes, conforme mostra a tabela 2. A tarefa 5 consiste em
cadastrar uma ordem de servio, alocando dois tipos de peas a serem utilizadas na
manuteno do eletrodomstico e alocando um tcnico para atendimento da ordem de
servio. Durante a anlise do teste em fita de vdeo, notou-se que os participantes
demoraram a achar, na interface, onde alocar as peas a serem usadas na ordem de
servio. As tarefas 7 e 8 so semelhantes tarefa 5 e tambm possuram um desvio
padro alto. Este problema pode ser atribudo diretamente ao desenho confuso destinado
alocao de peas ordem de servio e pelo grande nmero de informaes na
interface.
Proposta de soluo: inserir na interface de ordem de servio um boto Peas
Utilizadas. Quando este boto for acionado, ser apresentada uma segunda tela onde
podero ser includas ou excludas as peas a serem utilizadas na ordem de servio.
O campo informativo das peas j alocadas ordem de servio ser mantido na
interface de ordem de servio para melhor agilidade.
Prioridade: mxima.
Anlise 2: Ausncia de Ajuda on-line
A preocupao surgiu porque 3 participantes gostariam de ter tido acesso a uma Ajuda
on-line bsica. Atualmente, o prottipo no possui Ajuda on-line disponvel.
Proposta de soluo: incluir ajuda mnima, com explicaes diretas e resumidas.
Prioridade: mdia.
Observaes
O usurio 1 ficou confuso durante a execuo de tarefa 4 e disse que no ficou claro.
O usurio 1 foi na tela de excluso de ordens de servio durante a execuo de tarefa 5
ao invs de anlise de ordem de servio.
Todos os participantes tiveram dificuldades em saber como alocar as peas para o
atendimento da ordem de servio na tarefa 5.
O usurio 2 concluiu que seria interessante mudar o estilo de ordem de servio.
O usurio 1 esqueceu de pesquisar a ordem de servio na tarefa 7.
5. Concluso
O teste de usabilidade do sistema SIGMEL 1.0, mostrou sua utilidade na identificao
dos problemas de usabilidade analisados. Com as tcnicas de Engenharia de Usabilidade
58
possvel no apenas identificar um problema, mas tambm o seu grau de importncia,

o impacto que pode causar frente aos usurios e o custo/benefcio de sua manuteno.
Concluiu-se que o sistema dever sofrer alteraes como: aumentar as fontes,
colocar Ajuda on-line em todas as telas e outras alteraes que melhoraro a interface
ajudando a melhorar a usabilidade do produto.
6.
Apndice
Os formulrios utilizados nas sesses de teste foram:

1. Roteiro do Avaliador (Anexo 2);
2. Questionrio para Identificao do Perfil do Participante (Anexo 3);
3. Script de Orientao (Anexo 4);
4. Lista de Tarefas (Anexo 5);
5. Coleta de Dados pelo Avaliador (Anexo 6);
6. Questionrio de Avaliao do Sistema pelo Participante (Anexo 7);
7. Tpicos para Questionamento (Anexo 8).
Todos os formulrios respondidos, bem como as fitas com as gravaes das sesses de
teste se encontram em poder do avaliador Ktia Gomes Ferreira e podero ser
solicitados caso seja necessrio.
59
Referncias Bibliogrficas
[ATA 00] ATAYDE, Ana Paula Ribeiro, GASPAR, Marcelo Daride. Roteiro de
Avaliao de Usurio Sistema de Controle de Horas Trabalhadas SCoHT 1.0.
Disponvel
por
WWW
em
http://www.dcc.ufmg.br/~clarindo/disciplinas/eu/material/index.htm. (14 Jul.
2002).
[ATA 00] ATAYDE, Ana Paula Ribeiro, GASPAR, Marcelo Daride. Resultado do
Teste de Usabilidade Sistema de Controle de Horas Trabalhadas SCoHT 1.0.
Disponvel
por
WWW
em
http://www.dcc.ufmg.br/~clarindo/disciplinas/eu/material/index.htm. (14 Jul.
2002).
[DIA 01] DIAS, Cludia. Avaliao de Usabilidade: conceitos e mtodos. Disponvel
por
WWW
em
http://www.ii.puc-campinas.br/revista_ii/
frame_segunda_edicao.html. (11 Maio 2002).
[HEL 97] HELANDER, Martin, LANDAUER, Thomas K., PRABHU, Prasad.
Handbook of Human-Computer Interaction. The Usability Engineering
Framework for Product Design and Evaluation. 2 ed. Amsterdam: NorthHolland, 1997. p. 659.
[HIX 93] HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring
Usability Through Product & Process. New York: John Wiley & Sons, Inc., 1993.
p. 3.
[LIN 94] LINDGAARD, Gitte. Usability Testing and System Evaluation. A guide
for designing useful computer systems. New York: Chapman & Hall, 1994. p. 1-5.
[PRE 95] PRESSMAN, Roger S. Engenharia de Software. 3 ed. So Paulo: Makron
Books, 1995. p. 602-606.
[RUB 94] RUBIN, Jeffrey. Handbook of Usability Testing: How to Plan, Design and
Conduct Effective Tests. New York: John Wiley & Sons, Inc., 1994. 330 p.
[WIN 01] WINCKLER, Marco. Avaliao de Usabilidade de Sites Web. Disponvel
por WWW em http://lis.univ-tlse1.fr/winckler/publications.html. (11 Maio 2002).
60

Usabilidade

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Usabilidade

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDADE FEDERAL DE MINAS GERAIS

DEPARTAMENTO DE CINCIA DA COMPUTAO

Ktia Gomes Ferreira

Monografia de Final de Curso

Prof. Clarindo Isaas Pereira da Silva e Pdua

Belo Horizonte, agosto de 2002.

UNIVERSIDADE FEDERAL DE MINAS GERAIS

Ktia Gomes Ferreira

Monografia apresentada aos senhores:

7. Desenvolvendo o Plano de Teste.........................................................................................................................16

8. Selecionando os Participantes ..............................................................................................................................19

Determinando o Nmero de Participantes...........................................................................................19

9. Material Utilizado Durante a Sesso de Teste...................................................................................................20

Roteiro do Avaliador ...........................................................................................................................20

10. Anlise dos Dados................................................................................................................................................23

Compilar e Resumir os Dados .............................................................................................................23

Criar Resumos .....................................................................................................................................23

Lista de Abreviaturas ou Siglas

Dados quantitativos baseados em uma tarefa fictcia ................ 24

3. Human-Computer Interaction (HCI)

Fig. 1) Ciclo de vida de desenvolvimento de um produto.

O teste de explorao efetuado quando o produto ainda se encontra em um

Provavelmente o mais comum, simples e direto dos testes, podendo ser

Realizado mais tarde no ciclo de desenvolvimento, o teste de validao certifica

O teste de comparao no associado a nenhum ponto especfico do ciclo de

Fig. 2) Layout para realizao dos testes.

Na sala de observao, os observadores assistem, mas no se comunicam

6. Perfil dos Avaliadores

O avaliador no deve interferir diretamente no contedo das observaes

Antes do teste, o organizador de informaes nomeia os cdigos a serem

Pessoa responsvel por registrar imparcialmente tudo o que ocorre no teste

Um ou mais indivduos que conhecem aspectos tcnicos do produto que est

Assiste o teste, podendo ser um membro da equipe de desenvolvimento, membro

7. Desenvolvendo o Plano de Teste

O propsito a descrio macro do motivo da execuo do teste no momento

Declarao dos Problemas e Objetivos do Teste

Descreve o que necessrio resolver, o foco da liberao e o restante das

A determinao do perfil do usurio extremamente importante para o sucesso

Descrio de como realizar a pesquisa com os participantes e como ir se

Se o mtodo possui defeitos ou o teste for conduzido com pouca ateno, os

A lista de tarefas inclui as tarefas que sero realizadas pelos participantes

Ambiente de Teste / Equipamento

Descreve o ambiente que ser simulado e o equipamento requerido. Em relao

Contedo do Relatrio e Apresentao

Sumrio das principais sees do relatrio de teste e o caminho usado para

Determinando o Nmero de Participantes

A determinao do nmero de participantes influenciada pelo grau de

9. Material Utilizado Durante a Sesso de Teste

Questionrio para Identificao do Perfil do Participante

O questionrio para identificao do perfil do participante, completado no incio

Ferramenta de comunicao a ser lida aos participantes antes da realizao dos

A Lista de Tarefas, tambm conhecida como Cenrio de Tarefas, a

Instrumentos para Coleta de Dados

O propsito dos instrumentos de coleta de dados registrar acontecimentos

Questionrio de Avaliao do Sistema pelo Participante

Aplicado logo aps a realizao dos testes, o principal propsito deste

Tpicos para Questionamento

10. Anlise dos Dados

10.1. Compilar e Resumir os Dados

10.1.3. Resumo de Dados de Performance

Tempo necessrio para realizar a

Tab. 1) Dados quantitativos baseados em uma tarefa fictcia.

Baseado nos dados apresentados na TABELA 1, podemos calcular: