UNIVERSIDADE FEDERAL DE MINAS GERAIS DEPARTAMENTO DE CINCIA DA COMPUTAO ESPECIALIZAO EM INFORMTICA: NFASE: ENGENHARIA DE SOFTWARE

Teste de Usabilidade
por

Ktia Gomes Ferreira

Monografia de Final de Curso CEI-ES 013 DCC-UFMG

Prof. Clarindo Isaas Pereira da Silva e Pdua Orientador

Belo Horizonte, agosto de 2002.

UNIVERSIDADE FEDERAL DE MINAS GERAIS DEPARTAMENTO DE CINCIA DA COMPUTAO ESPECIALIZAO EM INFORMTICA: NFASE: ENGENHARIA DE SOFTWARE

Teste de Usabilidade
por

Ktia Gomes Ferreira

Monografia apresentada aos senhores:

_____________________________________ Prof. Clarindo Isaas Pereira da Silva e Pdua _____________________________________________ Profa. Mariza A. S. Bigonha - coordenadora do CEI-ES
Vista e permitida a impresso. Belo Horizonte, _____ / _____ / _____

_____________________________________ Prof. Clarindo Isaas Pereira da Silva e Pdua (Orientador)

Sumrio
Lista de Abreviaturas ou Siglas ..................................................................................................................................5 Lista de Figuras .............................................................................................................................................................5 Lista de Tabelas.............................................................................................................................................................5 Resumo ...........................................................................................................................................................................6 Abstract...........................................................................................................................................................................7 1. Introduo..................................................................................................................................................................8 2. Usabilidade ................................................................................................................................................................9 3. Human-Computer Interaction (HCI)...................................................................................................................10 4. Teste de Usabilidade ..............................................................................................................................................11
4.1. 4.2. 4.3. 4.4. Teste de Explorao.............................................................................................................................12 Teste de Avaliao...............................................................................................................................12 Teste de Validao...............................................................................................................................12 Teste de Comparao...........................................................................................................................12

5. Espao Fsico...........................................................................................................................................................13 6. Perfil dos Avaliadores............................................................................................................................................14

6.1. 6.2. 6.3. 6.4. 6.5. 6.6. Avaliador .............................................................................................................................................14 Organizador de Informaes................................................................................................................15 Registrador do Tempo.........................................................................................................................15 Operador da Gravao .........................................................................................................................15 Perito....................................................................................................................................................15 Observador...........................................................................................................................................15

7. Desenvolvendo o Plano de Teste.........................................................................................................................16

7.1. 7.2. 7.3. 7.4. 7.5. 7.6. 7.7. 7.8. 7.9. Propsito..............................................................................................................................................16 Declarao dos Problemas e Objetivos do Teste.................................................................................16 Perfil do Usurio..................................................................................................................................16 Metodologia .........................................................................................................................................16 Lista de Tarefas....................................................................................................................................17 Ambiente de Teste / Equipamento.......................................................................................................17 Papel do Avaliador ..............................................................................................................................17 Medidas de Avaliao..........................................................................................................................18 Contedo do Relatrio e Apresentao ...............................................................................................18

8. Selecionando os Participantes ..............................................................................................................................19

8.1. Determinando o Nmero de Participantes...........................................................................................19

9. Material Utilizado Durante a Sesso de Teste...................................................................................................20

9.1. 9.2. 9.3. 9.4. 9.5. 9.6. 9.7. Roteiro do Avaliador ...........................................................................................................................20 Questionrio para Identificao do Perfil do Participante...................................................................20 Script de Orientao ............................................................................................................................20 Lista de Tarefas....................................................................................................................................20 Instrumentos para Coleta de Dados.....................................................................................................21 Questionrio de Avaliao do Sistema pelo Participante....................................................................21 Tpicos para Questionamento.............................................................................................................21

10. Anlise dos Dados................................................................................................................................................23

10.1. 10.1.1. Compilar e Resumir os Dados .............................................................................................................23 Compilar os Dados como so Testados...............................................................................................23

10.1.2. 10.1.3. 10.1.4. 10.2. 10.2.1. 10.2.2. 10.2.3. 10.2.4. 10.3. 10.3.1. 10.3.2. 10.3.3. 10.3.4. 10.4. 10.4.1. 10.4.2. 10.4.3. 10.4.4. 10.4.5.

Criar Resumos .....................................................................................................................................23 Resumo de Dados de Performance ......................................................................................................24 Resumo de Dados Preferenciais ..........................................................................................................25 Anlise.................................................................................................................................................26 Identificar e Focalizar as Tarefas que no Possuem Critrios.............................................................26 Identificar Erros e Dificuldades dos Participantes...............................................................................26 Identificar a Fonte dos Erros Analisados.............................................................................................26 Priorizar Problemas por Criticidade ....................................................................................................27 Desenvolvendo Recomendaes .........................................................................................................28 Focalizar Solues de Maior Impacto.................................................................................................29 Pequenas e Longas Recomendaes ....................................................................................................29 reas em que Necessrio Pesquisa Adicional ..................................................................................29 Faa um Relatrio Completo...............................................................................................................29 Desenvolvendo o Relatrio Final ........................................................................................................29 Sumrio................................................................................................................................................30 Mtodo.................................................................................................................................................30 Resultados............................................................................................................................................30 Discusso das Descobertas e Recomendaes ....................................................................................30 Apndice..............................................................................................................................................30

11. Custo.......................................................................................................................................................................31 12. Concluso...............................................................................................................................................................32 Anexo 1 - Plano de Teste...........................................................................................................................................33 Anexo 2 - Roteiro do Avaliador ...............................................................................................................................38 Anexo 3 - Questionrio para Identificao do Perfil do Participante do Teste de Usabilidade.....................41 Anexo 4 - Script de Orientao.................................................................................................................................43 Anexo 5 - Lista de Tarefas ........................................................................................................................................44 Anexo 6 - Coleta de Dados pelo Avaliador............................................................................................................46 Anexo 7 - Questionrio de Avaliao do Sistema pelo Participante..................................................................52 Anexo 8 - Tpicos para Questionamento................................................................................................................54 Anexo 9 - Relatrio Final ..........................................................................................................................................55 Referncias Bibliogrficas.........................................................................................................................................60

Lista de Abreviaturas ou Siglas

fig. HCI tab. figura Human-Computer Interaction tabela

Lista de Figuras
FIGURA 1 Ciclo de vida de desenvolvimento de um produto ..................... 11 FIGURA 2 - Layout para realizao dos testes ................................................ 13

Lista de Tabelas
TABELA 1 TABELA 2 TABELA 3 TABELA 4 Dados quantitativos baseados em uma tarefa fictcia ................ 24 Clculo do Desvio Padro de uma tarefa fictcia ...................... 25 Escalas utilizadas para medir severidade de um problema ........ 27 Escalas utilizadas para medir a freqncia de um problema ..... 27

Resumo
A realizao dos testes de usabilidade parte do processo de desenvolvimento de um produto e traz melhorias qualidade de um software. A preocupao com os testes de usabilidade crescente, pois os usurios esto cada vez mais exigentes. A nfase deste trabalho est na apresentao de procedimentos e materiais que envolvem a conduo dos testes de usabilidade e anlise dos resultados. Palavras-chave: Teste de Usabilidade, Usabilidade, Usurio, Anlise.

Abstract
The realization of usability tests is part of the process for the development of a product and it can contribute significatively to the improvement of the quality of a software. Concern with the usability testing is increasing, because the users are increasingly demanding. The emphasis of this work is on the presentation of process and materials that involve the conduction of usability tests and analysis of results. Word-keys: Usability Test, Usability, User, Analysis.

1. Introduo
A necessidade de interao com computadores est cada vez mais presente em nossa vida. No importam os grandes recursos gastos em tecnologia sem que a satisfao do usurio seja alcanada. Desta forma, usabilidade atua para ressaltar a importncia de se pensar nas pessoas que esto do outro lado do monitor e na reao das mesmas diante da utilizao dos sistemas. Uma das formas de se tentar garantir a usabilidade de um produto atravs da realizao de testes de usabilidade ao longo do processo de desenvolvimento. A motivao para o desenvolvimento deste trabalho, encontra-se na importncia do processo de realizao dos testes de usabilidade, portanto mtodos, roteiros e materiais sero propostos para a realizao dos testes. Primeiramente, sero apresentados conceitos relacionados usabilidade e teste de usabilidade, bem como os tipos de teste existentes que podem ser usados ao longo do processo de desenvolvimento de um produto. Logo aps, sero apresentados aspectos sobre o planejamento e preparao dos testes de usabilidade, profissionais envolvidos, aspectos sobre a escolha dos participantes, roteiro e material a ser utilizado nos testes. Finalmente, sero abordados aspectos sobre a anlise dos dados coletados e desenvolvimento de recomendao efetivas.

2. Usabilidade
Usabilidade o conceito utilizado para descrever a qualidade da interao de uma interface diante de seus usurios [HIX 93]. Esta qualidade est associada, segundo Shneiderman, citado por [HIX 93], de acordo com os seguintes princpios: facilidade de aprendizado; facilidade de memorizao de tarefas no caso de uso intermitente; produtividade dos usurios na execuo de tarefas; preveno, visando a reduo de erros por parte do usurio; satisfao subjetiva do usurio. A usabilidade relacionada eficcia e eficincia da interface diante do usurio e pela reao do usurio diante da interface.

3. Human-Computer Interaction (HCI)

O comportamento humano no sempre igual, mas che io de surpresas, o que dificulta o estabelecimento de simples verdades sobre o que esperar das pessoas em determinadas situaes [LIN 94]. Este fato levou ao estudo do HCI - Human-Computer Interaction (Interao Homem-Computador) que busca desenvolver um modelo terico de performance humana bem como criar ferramentas capazes de medir a facilidade de uso. O HCI constitui um campo multidisciplinar envolvendo aspectos de psicologia, ergonomia, informtica e outros, objetivando facilitar o projeto, a execuo e avaliao de ambientes computacionais. A interface de um sistema o meio pelo qual o dilogo entre o programa e o ser humano estabelecido. Quando fatores humanos so considerados, este dilogo acontece em harmonia. Assim, a interface considerada a embalagem do software de computador, portanto, se ela for fcil de aprender, simples de usar, direta e amigvel, o usurio estar inclinado a fazer bom uso da mesma [PRE 95]. Se essas caractersticas forem negligenciadas, problemas de usabilidade possivelmente iro ocorrer. Problemas de usabilidade ocorrem quando um usurio ou um grupo de usurios encontra dificuldades para realizar uma tarefa com uma interface. Tais dificuldades podem ter origens variadas e ocasionar perda de dados, diminuio da produt ividade, podendo chegar rejeio total do software por parte dos usurios.

10

4. Teste de Usabilidade
O teste de usabilidade um processo no qual participantes representativos avaliam o grau que um produto se encontra em relao a critrios especficos de usabilidade [RUB 94]. O referido teste pode servir para diferentes propsitos que envolvem tipos de tarefas, medidas de performance e disposio de escalas, entrevistas ou inspees a serem aplicadas, buscando encontrar problemas de usabilidade e fazer recomendaes no sentido de eliminar os problemas e melhorar a usabilidade do produto, ou com a finalidade de se comparar dois ou mais produtos. Com a realizao de testes de usabilidade, pode-se registrar os melhores resultados obtidos para futuras realizaes levando minimizao do custo do servio de suporte aos usurios, crescimento de vendas e prever o lanamento de produtos com menos problemas de usabilidade e mais competitivos. Segundo [RUB 94], testes de usabilidade so mais eficientes quando implementados como parte do processo de desenvolvimento de um produto. Portanto, uma forma interessante de determinar os tipos de testes atravs do ciclo de vida de desenvolvimento de um produto. Desta forma, se alguma deficincia perdida em um teste, um outro ciclo de teste oferece a oportunidade para identificar esta deficincia. Os tipos de teste so apresentados logo a seguir e ilustrados na FIGURA 1:

Fig. 1) Ciclo de vida de desenvolvimento de um produto.

11

4.1.

Teste de Explorao

O teste de explorao efetuado quando o produto ainda se encontra em um estgio preliminar de definio e desenho. Neste estgio, o perfil do usurio e a anlise de tarefas provavelmente estaro definidos. A fase de especificao poder estar completa e a fase desenho estar apenas comeando. O objetivo do teste de explorao avaliar a efetividade do desenho preliminar e conhecer a concepo do usurio ou modelo mental do produto. O processo para este tipo de teste bastante informal, interagindo o participante e o avaliador. Uma representao do software pode ser realizada atravs de uma simulao do prottipo representando o layout bsico, organizao, funes e macro operaes.

4.2.

Teste de Avaliao

Provavelmente o mais comum, simples e direto dos testes, podendo ser conduzido no incio ou no meio do ciclo de desenvolvimento do produto, geralmente depois que o desenho fundamental ou organizao do produto foi estabelecido. Seu propsito expandir o que foi conseguido no teste de explorao avaliando a usabilidade em um nvel baixo de operaes e aspectos do produto. Baseando-se no modelo conceitual do produto, este teste busca examinar e avaliar como o conceito foi implementado efetivamente, verificando como um usurio consegue desenvolver tarefas reais, identificando deficincias especficas de usabilidade. O usurio executa tarefas bastante simples caminhando entre as telas onde dada mais nfase ao comportamento. Medidas quantitativas so coletadas.

4.3.

Teste de Validao

Realizado mais tarde no ciclo de desenvolvimento, o teste de validao certifica a usabilidade do produto bem prximo de sua liberao. Seu objetivo verificar como o produto se enquadra em relao a padres de usabilidade, padres de performance e padres histricos. Esses padres so originados dos objetivos de usabilidade definidos no comeo do projeto atravs de inspees de mercado, entrevistas com usurios ou simplesmente suposies da equipe de desenvolvimento. Valida tambm a interao entre os componentes do produto, como por exemplo, a forma em que a documentao, a ajuda, o software e o hardware esto integrados uns com os outros. Outro objetivo prever o lanamento de um produto novo no mercado que possivelmente necessite logo de manuteno. O teste de validao enfatiza mais rigor experimental e de consistncia desde que seja dada importncia a julgamentos quantitativos sobre o produto.

4.4.

Teste de Comparao

O teste de comparao no associado a nenhum ponto especfico do ciclo de desenvolvimento de um produto. Nos primeiros estgios, pode ser usado, para comparar diferenas entre estilos de interface atravs do teste de explorao; nos ciclos intermedirios, pode ser usado para medir a efetividade de um elemento integrante da interface; no final do ciclo, um teste de comparao pode ser usado para ve r como a liberao de um produto atinge um produto concorrente. O teste de comparao pode ser usado como uma juno dos demais testes sendo que seu objetivo realizao de comparaes em todos os nveis. 12

5. Espao Fsico
Existem vrias estruturas possveis de serem utilizadas para a realizao de testes de usabilidade, sendo que a utilizao de duas salas uma reservada aos testes e outra reservada observao - pelo menos a ideal no caso de recursos limitados (FIGURA 2) [RUB 94] .

Fig. 2) Layout para realizao dos testes.

Na sala de observao, os observadores assistem, mas no se comunicam diretamente com o avaliador. O som e as imagens so captados pelas cmeras de vdeo e transmitidos diretamente para o monitor de vdeo da sala de observao. A comunicao entre o avaliador e os observadores pode ocorrer atravs de um ponto (por exemplo, na orelha) usado pelo avaliador. As vantagens da utilizao deste layout so que o avaliador possui liberdade de movimentao e de realizar anotaes estando dentro da proximidade visual do participante, evitando com que o participante se sinta isolado. Este layout tambm prov um encorajamento maior para participante se expressar em voz alta. Contudo, deve-se ter cautela para que o comportamento do avaliador no afete adversamente o andamento do teste.

13

6. Perfil dos Avaliadores

6.1. Avaliador

O avaliador responsvel por tudo que ocorre durante a sesso de teste. Sua funo interagir com o participante, coletar informaes, compilar e comunicar o resultado dos testes para a equipe de desenvolvimento. Ele responsvel por toda preparao para o teste incluindo material, arranjos e coordenao de esforos de outros membros da equipe de teste. Aps a realizao do teste, o avaliador interage com os outros membros da equipe de teste para assegurar que os objetivos foram alcanados. O avaliador pode ser um especialista em fatores humanos (psiclogos, engenheiros industriais), especialistas de mercado (clientes, usurios), comunicadores (escritores, especialistas em treinamento), colegas de outros projetos ou consultores externos. Entretanto, o avaliador no deve ser o dono do produto que est sendo testado, pois este ter uma grande tendncia em conduzir os participantes na direo que ele deseja em vez de continuar neutro no processo. O avaliador deve possuir as seguintes caractersticas: conhecimento nos fundamentos bsicos de engenharia de usabilidade; capacidade de absorver rapidamente novos conceitos a fim de entender melhor as aes e comentrios dos participantes e absorver conhecimentos relacionados ao produto que est sendo testado (posio no mercado, concorrentes e problemas histricos); ter bom relacionamento com o participante podendo decidir qual o tipo de aproximao mais adequada: formal ou informal; ter boa memria para se lembrar dos acontecimentos ocorridos durante o teste; absorver a sutileza do tom da fala e a nfase dos comentrios do participante; se sentir confortvel diante de variaes e observaes conflitantes, como por exemplo, quando o participante descobre outra forma de realizar uma determinada tarefa; possuir flexibilidade tanto para lidar com o participante quanto para dar o feedback organizao responsvel pelo produto; manter o nvel de ateno em todos os momentos do teste; possuir empatia pelo participante, pois isto ajuda quando o avaliador tenta extrair do ntimo do participante pensamentos e sentimentos; habilidade de agrupar as vrias formas de entrada, comentrios e dados do teste a fim de se ter uma viso coesa da performance do participante, focalizando o que mais importante e crtico; possuir boa comunicao com todos os integrantes do teste (participantes e membros da equipe de teste) e possuir habilidade de persuadir os outros para que sejam realizadas mudanas interessantes, mostrando as implicaes por trs do resultado dos testes; ser bom organizador e coordenador, pois mesmo um simples teste de usabilidade requer uma organizao bem feita acerca dos eventos, materiais e membros. O avaliador o ponto focal dos outros membros da equipe de teste e deve coordenar suas atividades, bem como de consultores externos em um esforo unificado; deve possuir um comportamento neutro, utilizando somente sugestes sutis acerca do teste. 14

O avaliador no deve interferir diretamente no contedo das observaes coletadas, no deve se comportar como um educador, deve saber quando divergir do plano de teste para alcanar o objetivo de expor as deficincias do produto, deve evitar conflitos com o participante e no deve tirar concluses precipitadas.

6.2.

Organizador de Informaes

Antes do teste, o organizador de informaes nomeia os cdigos a serem utilizados para identificar as atividades de interesse e certifica de que estas atividades sero facilmente identificadas durante o teste, possibilitando rapidez.

6.3.

Registrador do Tempo

Pessoa responsvel por registrar o tempo gasto nas atividades realizadas no teste. Este registro pode ser feito durante o teste ou atravs de uma reviso da gravao em vdeo. Caso seja realizado durante o teste, recomendvel que o avaliador no seja a pessoa responsvel por registrar o tempo gasto nas atividades, pois pode-se gerar confuso devido ateno que requer as atividades.

6.4.

Operador da Gravao

Pessoa responsvel por registrar imparcialmente tudo o que ocorre no teste atravs das cmeras instaladas, incluindo comentrios do participante, instrues dadas pelo avaliador e interaes ocorridas entre o participante, o avaliador e o produto que est sendo testado. Aps o teste, o operador responsvel por todo trabalho de editorao, cpia, arquivamento e segurana das fitas.

6.5.

Perito

Um ou mais indivduos que conhecem aspectos tcnicos do produto que est sendo testado. Seu papel assegurar o bom funcionamento do produto durante o teste.

6.6.

Observador

Assiste o teste, podendo ser um membro da equipe de desenvolvimento, membro de um outro projeto, um gerente etc. Observar a realizao do teste por pessoas variadas ajuda a organizao imensamente, principalmente pelo feedback adquirido. Todas as equipes de desenvolvimento deveriam ser encorajadas a assistir tantas sesses de teste quanto possvel.

15

7. Desenvolvendo o Plano de Teste

O plano de teste consiste na base de todo o teste, especificando como, quando onde, quem, o porqu e o qu sobre o teste de usabilidade. O plano do teste essencial para a compreenso do teste, sendo um importante veculo de comunicao entre a equipe de desenvolvimento e no deve ser negligenciado [RUB 94]. O formato de um plano de teste depende do tipo de teste e do grau de formalidade requisitado pela companhia. A seguir, apresentada uma sugesto de tpicos que geralmente integram um plano de teste, sendo que o Anexo 1 apresenta um exemplo simplificado de plano de teste:

7.1.

Propsito

O propsito a descrio macro do motivo da execuo do teste no momento em questo. Prioriza um ponto fundamental derivado da viso da companhia, por exemplo: se o teste tenta resolver problemas descobertos pela linha direta da companhia; se h uma nova poltica instituda no qual todos os produtos devem ser testados antes da liberao etc. O teste deve estar amarrado s metas do negcio dentro da organizao. Outras razes da realizao do teste, comprovar se a maioria dos clientes usa o produto igualmente bem, se a documentao capaz de compensar o reconhecimento de alguns problemas com a interface, dentre outras.

7.2.

Declarao dos Problemas e Objetivos do Teste

Descreve o que necessrio resolver, o foco da liberao e o restante das atividades associadas com planejamento, desenvolvimento e conduo do teste. A determinao do problema deve ser precisa, clara e mensurvel. A origem do problema pode ser determinada atravs de discusses com a equipe de desenvolvimento, com escritores ou com o pessoal de marketing. Um produto especfico deve ser enfocado e os problemas relacionados podem ser descritos atravs de perguntas, como por exemplo: Produto: Software Declarao dos problemas: Os usurios so capazes de navegar livremente entre a maioria dos mdulos? As telas representam o modelo conceitual do usurio final?

7.3.

Perfil do Usurio

A determinao do perfil do usurio extremamente importante para o sucesso do projeto e do teste, pois um mesmo sistema pode ser excelente para algumas pessoas e inadequado ou inaceitvel para outras. importante priorizar o mercado a fim de determinar a populao focal. Aspectos acerca da experincia computacional, nvel educacional, idade, sexo, estilo de aprendizado e outros podem ser utilizados para a determinao do perfil.

7.4.

Metodologia

Descrio de como realizar a pesquisa com os participantes e como ir se desenrolar os testes. O detalhamento dos testes essencial para determinar claramente o que ir acontecer, o tipo de material a ser usado e recursos adicionais necessrios, podendo ser semelhante a outros testes j ocorridos. 16

Se o mtodo possui defeitos ou o teste for conduzido com pouca ateno, os resultados sero comprometidos, afetando o progresso da engenharia de usabilidade dentro da organizao. A definio do mtodo depende de qual aspecto ser testado no produto e qual objetivo se deseja alcanar, havendo vrias formas de se agrupar os participantes do teste: de acordo com o perfil do usurio e suas habilidades, de acordo com a seqncia dos mdulos a serem testados, de acordo com as verses a serem testadas de um mesmo produto, dentre outros. Alm do mais, o teste deve ser conduzido dentro de um rigor experimental, alcanado da seguinte forma: para cada desenho experimental de 10 a 12 participantes por condio devem ser utilizados. Em um teste de usabilidade menos formal, 4 a 5 participantes sero capazes de expor 80% das deficincias de usabilidade de um produto; a consistncia de uma sesso para outra deve ser mantida atravs da utilizao dos mesmos materiais, caminhos e condies, utilizando-se roteiros, listas de checagem e utilizando-se a mesma pessoa na conduo de todas as sesses de teste; assegurar as caractersticas dos participantes do teste; registrar se algum problema incomum ocorrer; estabelecer metas e objetivos; realizar o teste piloto; manter a simplicidade do teste; tornar o teste o mais realista possvel.

7.5.

Lista de Tarefas

A lista de tarefas inclui as tarefas que sero realizadas pelos participantes durante o teste. No primeiro estgio de desenvolvimento do teste, a descrio da lista de tarefas direcio nada somente para os membros da equipe do projeto, contendo detalhes suficientes capazes de revisar o plano de teste e verificar se as tarefas esto corretas. Em um segundo estgio, as tarefas so expandidas em cenrios apresentados aos participantes, provendo detalhes realistas e habilitando dos participantes a executar as tarefas com o mnimo de interveno do avaliador. Uma breve descrio das tarefas, o material e a mquina requerida para a execuo, o significado da concluso com sucesso da tarefa e o estabelecimento do tempo mximo para execuo de cada tarefa devem ser includos na lista de tarefa.

7.6.

Ambiente de Teste / Equipamento

Descreve o ambiente que ser simulado e o equipamento requerido. Em relao ao ambiente, pode ser necessrio simular, por exemplo, um escritrio de vendas de uma agncia de seguros e apontar os equipamentos que sero usados pelos participantes, tais como: telefones, impressoras etc.

7.7.

Papel do Avaliador

Descreve o que o avaliador far durante o teste. Este item bastante importante quando os observadores no esto muito familiarizados com o processo de teste.

17

7.8.

Medidas de Avaliao

Relaciona os tipos de medidas que podero ser coletadas durante o teste, dados sobre performance e dados preferenciais. Dados sobre performance representam medidas do comportamento do participante, incluindo erros, nmero de acessos ajuda por tarefa, tempo de execuo de uma tarefa, dentre outros. Esses dados podem ser coletados durante a observao do teste ou atravs de reviso da gravao. Dados preferenciais representam medidas da opinio do participante incluindo respostas a perguntas e posicionamento do participante diante dos demais. Esses dados so geralmente coletados por escrito, oralmente, por questionrio on-line ou atravs do questionamento do participante aps o teste.

7.9.

Contedo do Relatrio e Apresentao

Sumrio das principais sees do relatrio de teste e o caminho usado para comunicar os resultados para a equipe de desenvolvimento.

18

8. Selecionando os Participantes
A seleo dos participantes algo crucial para o sucesso efetivo do processo de teste, envolvendo a identificao e descrio de habilidades relevantes e o conhecimento do pessoal que ir usar o produto. A determinao do perfil e caracterizao do usurio so determinados nos primeiros estgios do desenvolvimento do produto e servem como base para a seleo dos participantes. Uma caracterizao genrica do usurio, pode envolver por exemplo: histrico pessoal: idade, gnero, habilidade com computador; histrico educacional: grau, assuntos estudados; experincia computacional: tempo de utilizao, freqncia, perifricos; experincia com o produto: tempo de utilizao, freqncia, tarefas; histrico da ocupao: cargo ocupado, responsabilidades, tempo de trabalho na companhia atua l. interessante determinar um usurio tpico, algum que consiga representar uma mdia dos usurios finais. Isto auxilia na determinao do teste de usabilidade e ajuda os desenvolvedores a ter a representao de um usurio para o qual o sistema est sendo desenvolvido. As informaes necessrias para se determinar o perfil do participante dos testes podem ser encontradas na especificao funcional, em anlises e estudos realizados no mercado, junto ao gerente do produto, anlise de grupo e padres competitivos. Uma boa maneira de se conseguir uma representao efetiva dos usurios finais subdividir o perfil do usurio em diferentes categorias, como por exemplo, para um mesmo cargo, subdividir em usurios novatos e em usurios experientes determinando o nmero de usurios para cada. Essas categorias devem ser definidas com segurana para que sejam baseadas acerca do mesmo aspecto, por exemplo a experincia do usurio, objetivando algum ponto de referncia como o tempo decorrido de uso do produto ou a freqncia com que uma tarefa executada. A aquisio de usurios representativos para a realizao dos testes pode ser realizada atravs de pesquisas s agncias de emprego, empresas especializadas em pesquisas de mercado, atravs da lista de clientes da empresa, atravs de anncios em jornal e grupo de estudantes.

8.1.

Determinando o Nmero de Participantes

A determinao do nmero de participantes influenciada pelo grau de confiana que se deseja atingir, pela quantidade de recursos disponveis para estabelecer e conduzir o teste, por uma anlise do tipo de participantes e pelo tempo estimado de durao da sesso de teste Se o objetivo do teste validar resultados estatsticos, ser necessria uma quantidade de participantes a fim de conduzir s anlises apropriadas e generalizao de uma populao especfica. Se o objetivo tentar expor os problemas de usabilidade do produto, alcanado em um tempo mais curto, de 4 a 5 participantes sero capazes de expor uma vasta maioria dos problemas de usabilidade.

19

9. Material Utilizado Durante a Sesso de Teste

A seguir, ser apresentada uma generalizao dos principais materiais necessrios interao com os participantes durante a sesso de teste. Vale a pena salientar que outros formulrios podero ser utilizados para finalidades especficas alm dos aqui apresentados.

9.1.

Roteiro do Avaliador

O roteiro do avaliador serve como guia para orientar o avaliador durante a sesso de teste. Bastante semelhante ao plano de teste, descreve o ambiente que ser utilizado, as funes do avaliador, o perfil do participante, tarefas do sistema, procedimentos e uma lista dos formulrios utilizados. O Anexo 2 apresenta um exemplo Roteiro do Avaliador.

9.2.

Questionrio para Identificao do Perfil do Participante

O questionrio para identificao do perfil do participante, completado no incio da sesso de teste, relaciona informaes histricas sobre o participante auxiliando no entendimento de seu comportamento e performance. Est intimamente relacionado seleo dos participantes atravs da determinao do perfil do usurio. Este questionrio em um importante resumo sobre o participante, podendo ser utilizado pelo avaliador ou pelos desenvolvedores que iro observar o teste. O questionrio deve ser facilmente entendido e preenchido, deve ser curto (de uma a duas pginas) e deve se basear em informaes extradas do perfil do usurio que podero afetar a performance dos participantes. O Anexo 3 apresenta um exemplo de Questionrio para Identificao do Perfil do Participante.

9.3.

Script de Orientao

Ferramenta de comunicao a ser lida aos participantes antes da realizao dos testes. Pode ser lido na prpria sala de teste, em uma sala de espera ou em uma sala de reunies antes de ir para a sala de teste. Descreve o que ir acontecer durante a sesso de teste possibilitando uma viso prvia aos participantes, deixando-os mais vontade. Neste documento, deve estar bem claro que o objeto a ser testado o produto e no o participante. Este documento deve ter de uma a duas pginas (a no ser que se trate de um teste complexo) e deve utilizar uma linguagem mais profissional, entretanto amigvel. Deve conter uma apresentao sobre o avaliador, sobre o que ser realizado, quais os objetivos, a importncia e o que se espera do participante, descrio dos equipamentos e recursos utilizados. Deve-se deixar claro que podem ser realizadas perguntas, mas que o avaliador no ir responder a perguntas acerca de tarefas em que o participante capaz de realizar sozinho de posse dos materiais que j tm disponvel e que o avaliador no ir resolver os problemas que forem detectados pelo participante. Deve-se assegurar que os participantes entenderam as orientaes passadas. O Anexo 4 apresenta um exemplo de Script de Orientao.

9.4.

Lista de Tarefas

A Lista de Tarefas, tambm conhecida como Cenrio de Tarefas, a representao do trabalho que os participantes executam utilizando o produto que est 20

sendo testado e representa uma verso expandida da lista de tarefas, desenvolvida junto com o plano de testes. Descreve os resultados finais que o participante tentar atingir, motivos para executar o trabalho, dados atuais, estados do sistema quando a tarefa for iniciada e mensagens que o participante ver enquanto executa a tarefa. A Lista de Tarefas deve ser distribuda, sendo que a leitura para os participantes opcional. A Lista de Tarefas representa a realidade em que ser utilizado o produto, portanto se o participante do teste j est familiarizado com o trabalho a ser executado no produto, conseqentemente se sentir m vontade. O Anexo 5 apresenta um ais exemplo de Lista de Tarefas.

9.5.

Instrumentos para Coleta de Dados

O propsito dos instrumentos de coleta de dados registrar acontecimentos ocorridos durante o teste. A inteno coletar dados concisos e confiantes dur ante o teste, podendo ser dados sobre performance ou dados preferenciais. Tanto os dados sobre performance, quanto os dados preferenciais podem ser analisados quantitativa ou qualitativamente. Para se desenvolver este instrumento, os tipos de dados a serem coletados devem ser bem claros e diretamente ligados a questes que necessitam ser resolvidas, extradas do plano de testes. Deve-se selecionar um mtodo para a coleta de dados que alcance o objetivo do teste. H instrumentos para coleta de dados totalmente automatizados capazes de verificar o nmero e o tipo de batidas de teclas realizadas pelo participante, capazes de detectar quais recursos do programa foram acessados para a realizao de uma tarefa e o tempo de acesso em cada recurso, acessos ajuda on-line etc. Outra maneira, os dados serem coletados de forma manual ou de forma on-line pelo avaliador ou pelo prprio participante e as aes registradas atravs de um software. Podem ser customizados cdigos de at trs letras que representam eventos crticos para facilitar no registro das aes. O Anexo 6 apresenta um exemplo de Coleta de Dados pelo Avaliador, a ser preenchido de forma manual.

9.6.

Questionrio de Avaliao do Sistema pelo Participante

Aplicado logo aps a realizao dos testes, o principal propsito deste questionrio coletar informaes preferenciais dos participantes para esclarecer e aprofundar o entendimento do produto apontando pontos fortes e pontos a melhorar, baseando-se nos problemas encontrados. importante formular perguntas r lacionadas com aspectos difceis de serem e detectados somente com a observao, tais como: sentimentos, opinies e sugestes para melhoria. Para o desenvolvimento deste questionrio, deve-se enfocar as reas e tpicos que so necessrios atingir, como por exemplo, testes de telas, documentao, painis de controle, dentre outros. As questes devem direcionar a respostas simples e breves, tornando mais objetivo e facilitando a apurao dos dados, sendo que escalas so muito utilizadas. O teste piloto tambm pode ser usado para refinar o questionrio, pois ele assegura se as questes extraram as informaes corretas. O Anexo 7 apresenta um exemplo de Questionrio de Avaliao do Sistema pelo Participante.

9.7.

Tpicos para Questionamento

O objetivo dos tpicos de questionamento estruturar a sesso de questionamento do participante em relao aos testes realizados. Sugere uma linha de 21

tpicos na qual a natureza exata depende das circunstncias encontradas durante cada sesso de teste, podendo variar de acordo com determinadas aes tomadas ou comentrios realizados pelo participante durante o teste ou de acordo com a experincia que o participante possui. A realizao de anotaes durante a sesso de teste sobre itens especficos que necessitam ser aprofundados na sesso de questionamento do participante, de grande valia. O Anexo 8, Tpicos para Questionamento, apresenta um formulrio contendo alguns tpicos que podero ser discutidos em uma sesso de questionamento do participante. Como estes tpicos so originados principalmente atravs da observao durante cada sesso de teste, com certeza outros tpicos especficos surgiro com esta observao.

22

10. Anlise dos Dados

Geralmente, a anlise dos dados formada por dois processos distintos que acarretam duas entregas. O primeiro processo constitui de uma anlise preliminar. O objetivo averiguar rapidamente os piores problemas encontrados, de forma que os desenhistas possam trabalhar neles imediatamente, sem ser necessrio esperar pelo relatrio final do teste. A anlise preliminar deve ser realizada to logo possvel aps o teste ter sido completado, podendo ser um pequeno relatrio escrito ou uma apresentao verbal. O segundo processo constitui de uma anlise abrangente, cuja durao pode levar de duas a quatro semanas aps o teste. Esta a entrega final, na qual desenvolvido um relatrio mais exaustivo. O relatrio final deve incluir todas as descobertas do relatrio preliminar (desenvolvido na anlise preliminar), devidamente atualizadas, outras anlises e novas descobertas. Segundo [RUB 94], os passos para analisar os dados do teste e desenvolver as recomendaes necessrias so:

10.1. Compilar e Resumir os Dados

Existem algumas maneiras de compilar e resumir informaes valiosas dos dados originados dos testes. A seguir esto apresentadas algumas: 10.1.1. Compilar os Dados como so Testados Compilar envolve organizar os dados coletados de acordo com padres prdefinidos e deve ser realizado durante as sesses de teste. Este mecanismo acelera o processo de anlise, verifica se foram coletados os dados corretos, verifica os problemas declarados no plano de teste e ajuda a detectar se algo importante foi esquecido. Ao final de cada dia, interessante reunir todos os dados coletados e verificar se esto legveis e se os observadores esto contribuindo efetivamente para a coleta dos dados. Diariamente, interessante que sejam transferidas algumas notas para o computador para que seja mantido um resumo dos dados, como por exemplo, uma mdia do tempo gasto nas tarefas. As gravaes realizadas durante os testes tambm auxiliam nesta observao. Uma compilao contnua dos dados bastante vantajosa, pois os acontecimentos acerca do teste ainda so facilmente lembrados, provendo uma maior rapidez para o desenvolvimento de uma an lise preliminar. 10.1.2. Criar Resumos Depois das sesses terem sido completadas, a compilao dos dados deve ser finalizada e deve ser gerado um resumo descritivo dos dados quantitativos. Isto pode ser realizado atravs da transferncia de informaes das planilhas que contm os dados coletados para planilhas de resumo. Outra forma a utilizao de ferramentas que provem resumos automatizados. Resumos estticos tambm podem ser usados para indicar se ocorreram diferentes performances em diferentes grupos de participantes ou diferentes performances na utilizao de verses diferentes do produto.

23

10.1.3. Resumo de Dados de Performance Os dados de performance podem ser resumidos em tarefas cronometradas e tarefas de preciso. Alguns simples exemplos de estatstica descritiva para performance de dados so mostrados a seguir: Tarefas Cronometradas As tarefas cronometradas apresentam quanto tempo os participantes levaram para completar cada tarefa. Para demonstrar algumas estatsticas simples que podem ser realizadas neste caso, um exemplo ser utilizado sobre a execuo de uma tarefa fictcia de onde foram resgatados os dados de performance apresentados na TABELA 1:
Nmero do Participante 1 2 3 4 5 6 7 8 9 Tempo necessrio para realizar a tarefa (em minutos) 3,0 4,9 5,5 5,5 7,3 9,3 10,5 13,0 13,0

Tab. 1) Dados quantitativos baseados em uma tarefa fictcia.

Baseado nos dados apresentados na TABELA 1, podemos calcular: Mdia do tempo gasto para completar a tarefa calculado pelo somatrio do tempo gasto por todos os participantes que completaram a tarefa (no nosso exemplo, 72,0 minutos) divido pelo nmero de participantes (no nosso exemplo, 9 participantes), resultado 8 minutos. Tempo mediano o tempo que apresentado exatamente no meio (assinalado na tabela) qua ndo todos os tempos gastos para completar a tarefa so listados em ordem crescente (no nosso exemplo, 7,3 minutos). Se em nosso exemplo tivssemos um nmero par de participantes, teramos dois valores centrais. Neste caso, o tempo mediano seria calculado pela mdia do tempo gasto para completar a tarefa dos dois valores centrais. Range - o tempo mais alto e o tempo mais baixo gasto para se completar a tarefa. Esta estatstica bastante relevante no caso de uma diferena grande entre o menor e o maior tempo apresentado e para se tentar detectar o motivo e aes a serem tomadas para se evitar a ocorrncia de diferenas to grandes. Desvio Padro (S) tal como o range, o desvio padro uma medida de variabilidade dos dados, ou seja, em que grau os dados se diferem uns dos outros. A frmula a seguinte:

24

S=

x2

( x)
n

n 1

onde:

x2 x
n

=> soma do quadrado de cada um dos tempos coletados => soma de todos os tempos coletados => total de participantes

Baseando-se no exemplo da TABELA 1, temos o clculo de

x 2 , apresentados na TABELA 2:
Nmero do Participante 1 2 3 4 5 6 7 8 9 x = tempo necessrio para realizar a tarefa (em minutos) 3,0 4,9 5,5 5,5 7,3 9,3 10,5 13,0 13,0 x2

x e de

x = 72,0

9 24,01 30,25 30,25 53,29 86,49 110,25 169 169

x 2 = 681,54

Tab. 2) Clculo do Desvio Padro de uma tarefa fictcia.

Ento, o Desvio Padro calculado da seguinte forma:

(72 ) 681,54
9 1 9

S=

681,54 576 105,54 = = 3,63 minutos 8 8

Tarefas de Preciso As Tarefas de Preciso englobam diferentes estatsticas. Pode-se contar simplesmente o nmero de erros ocorridos por tarefa, ou classificar estes erros por tipo, erros de omisso etc. Pode-se rastrear o nmero de participantes que executaram uma determinada tarefa com sucesso, considerando ou no o tempo de benchmark esperado ou rastrear o nmero de participantes que necessitaram de algum auxlio para executar uma determinada tarefa. 10.1.4. Resumo de Dados Preferenciais Os dados preferenciais podem ser originados de vrias fontes como pesquisas e questionrios. A seguir, algumas formas de se resumir diferentes tipos de dados preferenciais:

25

Questes de escolha pode ser realizado sumarizando-se as respostas de cada questo individualmente e pode-se calcular uma mdia por item, possibilitando visualizar qual o nmero de participantes selecionaram cada resposta. Um questionrio em branco, no mesmo formato do questionrio que o participante respondeu, pode ser usado para registrar a sumarizao dos resultados. Assim sendo, verifica-se cada questionrio respondido e indica-se, logo frente de cada resposta do questionrio de sumarizao, o nmero de participantes que escolheu a referida resposta. Questes abertas e comentrios deve-se listar todas as questes e agrupar as respostas semelhantes em categorias significativas, como por exemplo, somar todas as referncias positivas e negativas sobre um item em particular, possibilitando visualizar os resultados rapidamente atravs do agrupamento realizado. Sesses de questionamento do participante deve-se transcrever todas as entrevistas para o papel, pois a visualizao dos comentrios escritos facilita a seleo dos comentrios crticos bem mais do que escutar e categorizar a informao ao mesmo tempo. O registro por escrito tambm facilita o acesso s informaes por outras pessoas.

10.2. Anlise
Depois de transformar os dados em resumos organizados, hora de analis- los. Primeiramente deve-se identificar quais so as tarefas mais difceis que os usurios tiveram que realizar. Com isso, os piores problemas sero determinados. 10.2.1. Identificar e Focalizar as Tarefas que no Possuem Critrios Para tarefas que no possuem critrios, deve-se predeterminar a percentagem de participantes que no conseguiram completar a tarefa com sucesso dentro do tempo de benchmark. Se a percentagem bastante alta, como por exemplo 70%, o problema considerado bastante grave e deve ser tratado com cautela. Para testes com poucos participantes, a tarefa mais difcil a ser executada ser facilmente percebida. Entretanto, deve ser realizada uma distino entre os nveis de performance, em vez de listar e amontoar todos os resultados juntos em uma longa tabela. A distino entre diferentes nveis de performance ir ajudar a enfocar os problemas por reas. 10.2.2. Identificar Erros e Dificuldades dos Participantes necessria a identificao dos erros que ocasionaram atitude imprpria em uma determinada tarefa. O erro definido como qualquer divergncia ocorrida diante de um comportamento esperado, como por exemplo, a omisso de um passo para a realizao de uma tarefa, a excluso de um arquivo ainda necessrio etc. 10.2.3. Identificar a Fonte dos Erros Analisados A identificao da fonte dos erros analisados necessria para apontar as causas e os componentes responsveis. Esta anlise constitui o ltimo trabalho de deteco e a poro de trabalho mais intensa aps a realizao dos testes. O objetivo identificar as razes de ocorrncia de dificuldades dos participantes e razes de baixo desempenho. Os motivos que levaram a ter ocorrido erros de usurios devem ser bastante claros, para 26

a elaborao de recomendaes precisas. Revises das fitas e conversas com os observadores dos testes ajudam na identificao das fontes dos erros. Algumas razes de erros podem ser bvias e no necessitar de muita pesquisa, outras podem necessitar de uma sondagem bem mais profunda. Vrias fontes de pesquisa podem ser usadas para identificar o motivo da ocorrncia dos erros, tais como: notas, lembranas acerca do teste, as gravaes do teste, o entendimento de como o produto trabalha e o entendimento do desenho do usurio. No caso de erros crticos, bastante til analisar as gravaes de vrios usurios que erraram, pois pode ter sido esquecido algo importante durante o teste. No se deve tentar resolver o problema prematuramente e realizar a manuteno antes que estejam identificadas todas as fontes do erro. A pesquisa dos erros deve ser realizada para toda tarefa e todo participante. Desta forma, todas as deficincias sero contadas e as recomendaes sero bem elaboradas. 10.2.4. Priorizar Problemas por Criticidade Aps identificadas as fontes especficas de erros, deve-se priorizar os problemas por criticidade. A criticidade a combinao da severidade do problema e a probabilidade deste problema ocorrer, podendo ser representada em uma equao da seguinte forma: Criticidade = Severidade + Probabilidade de ocorrncia Priorizar os problemas por criticidade habilita a equipe de desenvolvimento a estruturar e priorizar o trabalho necessrio para melhorar o produto. O objetivo atacar primeiramente os problemas mais crticos. Para se priorizar os problemas por criticidade, deve-se primeiro categorizar os problemas por severidade e depois por freqncia em que ocorrem. Para medir a severidade, utilizada uma escala de quatro pontos, apresentada na TABELA 3:
Severidade 4 3 2 1 Descrio Inutilizado Severo Moderado Irritante

Tab. 3) Escalas utilizadas para medir a severidade de um problema.

A freqncia influenciada por dois fatores: a percentagem do total de usurios afetados pelo problema e a probabilidade de um usurio de um grupo afetado experimentar o problema. Para medir a freqncia, utilizada uma escala de quatro pontos, tal como a severidade, apresentada na TABELA 4:
Freqncia 4 3 2 1 Descrio Ocorre em 90% ou mais do tempo de utilizao do produto. Ocorre de 51 a 89% do tempo de utilizao do produto. Ocorre de 11 a 50% do tempo de utilizao do produto. Ocorre em 10% ou menos do tempo de utilizao do produto.

Tab. 4) Escalas utilizadas para medir a freqncia de um problema.

27

Se 10% da populao encontrar um problema em torno de 50% do tempo, ento calcula-se: 0,1 x 0,5 = 0,05 ou 5%, ou seja, estima-se somente 5% da freqncia de ocorrncia. Averiguar a criticidade de um problema uma maneira simples de relacionar a severidade e a freqncia de um problema. Se um problema particular torna o produto inutilizado (severidade 4), mas estima-se que somente ocorrer em 5% do tempo de utilizao (freqncia 1), ento a prioridade do problema ser 5 (4 + 1). Caso tenha ocorrido um problema que foi simplesmente irritante, mas afeta a quase todos, tambm poder ser categorizado com prioridade 5. Usando este mtodo, a mais alta prioridade pode ser nomeada para problemas que tornaram o produto no utilizado. Estas prioridades ajudam a decidir como focalizar recursos com a equipe de desenvolvimento, concentrando em atacar primeiro os problemas mais crticos. O ideal que todos os problemas sejam resolvidos antes da entrega do produto, mas raramente isto ocorre. Pode-se tambm, desenvolver uma hierarquia prpria de definies de criticidade baseados nos objetivos da organizao e no produto que est sendo testado. Outra estratgia interessante perguntar aos participantes, durante a sesso de questionamento, qual foi a situao mais problemtica que encontraram. Se as respostas de vrios participantes coincidirem, ento esta uma importante indicao sobre onde enfocar os recursos.

10.3. Desenvolvendo Recomendaes

Neste momento, sero reunidas todas as informaes analisadas com a finalidade de traduzi- las em recomendaes para que sejam realizadas as aes. O processo de recomendao uma das reas que podem ser beneficiadas imensamente pelo desenho centrado no usurio e pelo conhecimento dos princpios de usabilidade. No sempre bvio qual o componente responsvel pelos problemas. O conhecimento de como as pessoas lem e aprendem, como as pessoas processam as informaes, como a performance humana afetada por limitaes de memria a curto prazo e outros, afetam o desenvolvimento de recomendaes precisas. O teste e o processo de anlise podem ser bastante exaustivos, por se tratarem de processos que exigem trabalho intenso, requisitando longos perodos de concentrao. Uma pessoa deve ser responsvel por elaborar o relatrio e a equipe de desenho deve participar efetivamente no processo. Um esforo de grupo essencial porque no h respostas diretas quando esto sendo elaboradas as recomendaes. Sempre haver vrias alternativas vindas de diferentes perspectivas. A equipe de desenvolvimento poder ser composta de peritos em vrias disciplinas, como engenheiros, profissionais de comunicao, marketing e fatores humanos. Cada profissional, dentro de sua rea, ter perspectivas diferentes. Geralmente, se for possvel simplificar e identificar claramente o assunto, a equipe de desenho pode ajudar a descobrir uma boa soluo. O mesmo teste pode ser visto de forma distinta entre os diferentes observadores. Os observadores devem presenc iar mais de duas sesses para poder possuir uma perspectiva suficiente para interpretar os resultados. J o avaliador, por assistir cada sesso, possui uma perspectiva bem mais ampla. Os desenhistas devem ter um contato direto com os resultados e recomendaes. Para isto, importante que eles leiam as recomendaes desenvolvidas e transcritas no relatrio para melhor entendimento e ao. Antes de finalizar o relatrio, interessante prover discusses sobre as percepes, opinies e identificar falhas nas recomendaes antes de ser expedido o relatrio final. 28

10.3.1. Focalizar Solues de Maior Impacto Mudanas globais possuem um impacto maior no produto e devem ser consideradas primeiramente, como por exemplo, uma recomendao sobre mudar a forma de navegao em todas as interfaces do produto. Comear verificando nveis globais de usabilidade uma prtica interessante para se ter certeza que o produto, sobre estes nveis, est coerente. O principal ponto reconhecer e comear desenvolvendo macro recomendaes. 10.3.2. Pequenas e Longas Recomendaes As recomendaes devem ser separadas em duas sees: pequenas recomendaes e longas recomendaes. A sesso de pequenas recomendaes ir descrever as mudanas que podem ser realizadas sem o risco de tropear no planejamento. A sesso de longas recomendaes ir descrever as mudanas que requerem mais tempo para serem realizadas. 10.3.3. reas em que Necessrio Pesquisa Adicional Teste de usabilidade, como a maioria das pesquisas, geralmente resulta em muitas questes que necessitam ser respondidas. Esta uma norma simples quando est se desenvolvendo um bom trabalho e isto no deve ser causa para intimidao. As questes podero necessitar de testes adicionais ou a aplicao de uma tcnica diferente de pesquisa, como um experimento formal, pesquisa de uma populao de usurios ou observao local. interessante incluir no relatrio uma sesso de pesquisas futuras para enfatizar este ponto. 10.3.4. Faa um Relatrio Completo Apesar de ser focalizado primeiramente os problemas mais crticos, ser necessrio que todos os problemas sejam considerados. Deve-se ter certeza que cada problema identificado foi descrito no relatrio, pois o relatrio um documento histrico. Todos os objetivos devem ser reportados e capturadas todas as revises necessrias.

10.4. Desenvolvendo o Relatrio Final

Na maioria dos ambientes de desenvolvimento, a equipe de desenvolvimento inicia a reviso do produto bem antes do relatrio final dos testes ser distribudo. Entretanto, isto no desculpa para no se produzir o relatrio. Alm do mais, o relatrio servir como um registro histrico do que ocorreu durante os anos. O relatrio final deve suportar e iniciar mudanas, dirigir aes, prover um registro histrico e educar, tudo ao mesmo tempo. Acima de tudo, o relatrio final deve ser um importante veculo de comunicao. O relatrio deve ter incio, meio e fim. O incio deve relatar o motivo de ter sido realizado o teste e como foi preparado. O meio deve descrever o qu aconteceu durante o teste. O fim deve relatar as recomendaes desenvolvidas baseadas nos acontecimentos. Logo a seguir, apresentada uma sugesto das principais sees de um relatrio final:

29

10.4.1. Sumrio Apresenta uma breve sinopse das logsticas dos testes, as principais descobertas e recomendaes, pesquisas necessrias e os benefcios globais. O propsito desta sesso apresentar aos leitores uma viso macro de informaes. 10.4.2. Mtodo Descreve a natureza da pesquisa, como foi montada, os perfis de usurios e os mtodos utilizados para coletar os dados. Esta sesso muito parecida com o desenvolvimento de um plano de teste, portanto pode-se aproveitar bastante o planejamento para desenvolver o relatrio final. Entretanto, as excees devem ser atualizadas. Eventos ocorridos que ocasionaram alterao no procedimento, como por exemplo, a ausncia de algum participante, devem ser descritos. 10.4.3. Resultados Esta sesso apresenta resumos quantitativos e qualitativos, usando a mais concisa e legvel forma possvel. Resumos quantitativos podem ser o tempo gasto para a realizao das tarefas, nmero de erros cometidos etc. Resumos qualitativos so as perguntas em que o participante respondeu livremente de acordo com a sua percepo, tipos de erros dentre outros. No necessrio que seja includo no relatrio, os formulrios respondidos pelos participantes, sendo interessante apenas mencionar o nome da pessoa responsvel pelo arquivamento destes para que sejam pesquisados posteriormente, caso seja necessrio. 10.4.4. Discusso das Descobertas e Recomendaes O propsito desta sesso prover rapidamente ao leitor as descobertas e recomendaes. Tpicos importantes no devem ser omitidos. As descobertas devem ser explicadas detalhadamente e as informaes devem ser dispostas de forma que os leitores no necessitem de explicaes adicionais. Esta sesso pode ser dividida em: Descobertas e recomendaes gerais inclui uma discusso macro sobre a importncia de assuntos globais, como por exemplo, uma discusso sobre o que foi aprendido acerca das habilidades e expectativas do usurio final a partir dos participantes do teste. Descobertas e recomendaes especficas contm uma lista de mudanas requeridas, organizadas por cada componente do produto. 10.4.5. Apndice O apndice apresenta as compilaes realizadas com os dados, amostras do material do teste, questionrios, scripts, dentre outros. A identidade dos participantes deve continuar preservada e no deve ser mencionada. Caso for necessrio contatar algum participante do teste, deve-se entrar em contato diretamente com o avaliador. O Anexo 9 apresenta um relatrio final simplificado.

30

11. Custo
O custo da realizao de testes de usabilidade comea enfocando os benefcios tangveis. Na verdade, negligenciar a realizao dos testes de usabilidade ser mais custoso do que realiz- los. Problemas de usabilidade encontrados mais tarde, aps a liberao de um produto, ocasionam pssima impresso no mercado e conseqente reduo de vendas. Segundo Nielsen, citado por [HEL 97], testes de usabilidade esto adquirindo ateno significativa na mdia e a usabilidade est sendo fortemente enfocada nas revises dos produtos. O teste de usabilidade pode ser custoso, mas seu custo pode ser balanceado em relao quantidade de benefcios conseguidos. Ignorar a execuo de testes de usabilidade acarreta: incluso de caractersticas erradas ou a omisso das caractersticas corretas; maior tempo gasto em discusses sobre informaes bsicas; maior tempo e dinheiro gasto com a necessidade de redesenhar ou a construo de interfaces de usurio que provavelmente sero inutilizadas; grande aumento da necessidade de suporte tcnico; impresses negativas do produto e conseqente perda de vendas. Quando so realizadas as anlises e desenvolvidas as recomendaes, o custo de implementao para cada soluo proposta deve ser estimado. Para se estimar o custo deve-se levar em conta os recursos e o tempo necessrios para a implementao, medido em termos de pessoas-hora. Quando os problemas so identificados ainda no prottipo do produto, os custos da mudana so bem mais baixos. Portanto, importante a utilizao de boas ferramentas de prototipao, possibilitando a utilizao de um prottipo estvel o mais cedo possvel no processo de desenvolvimento.

31

12. Concluso
A maioria das empresas ainda investe muito pouco em usabilidade, sendo que a realizao de testes de usabilidade ainda algo raro. Isto est diretamente relacionado ao fato deste processo ser caro e os recursos de usabilidade serem tipicamente escassos. Entretanto, tem-se notado uma crescente preocupao com a usabilidade dos produtos disponibilizados ao pblico devido s inmeras vantagens que isto acarreta. Deve-se ter em mente que a elaborao e realizao de testes de usabilidade aplicados a um produto um indicador infalvel para expor problemas em potencial. Isto minimiza bastante risco de disponibilizar no mercado um produto instvel e difcil de aprendizado. Para um melhor entendimento e aceitao dos testes de usabilidade, estes devem ser parte integrante do processo de desenvolvimento do produto e no devem s er considerados como algo que pode ser simplesmente descartado em vias de reduo de custo e curto prazo para realizao. A usabilidade um elemento crtico de sucesso no mercado de informtica e a realizao dos testes de usabilidade um elemento imprescindvel no projeto.

32

Anexo 1 - Plano de Teste Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0

1. Propsito do Teste

O propsito deste teste verificar a performance alcanada pelos participantes e o entendimento das funes do sistema utilizando o prottipo, com a finalidade de realizar alteraes necessrias antes da liberao do produto. Ser medido o tempo gasto para a realizao das tarefas e sero identificados erros e dificuldades envolvendo a utilizao do prottipo em tarefas rotineiras.

2.

Declarao dos Problemas

1. Os termos utilizados nas interfaces so intuitivos? 2. A ajuda on-line eficaz? 3. A performance alcanada pelos usurios a ideal?

3.

Perfil do Usurio

Sero utilizados quatro participantes, um por dia. Os participantes devem ter de 20 a 40 anos de idade, nvel mdio (completo ou no) ou superior (completo ou no), mais de um ano de conhecimentos bsicos de informtica (uso do mouse e teclado) e de utilizao de aplicativos bsicos (como por exemplo, o Office), e no necessitam possuir conhecimentos tcnicos em manuteno de eletrodomsticos.

4.

Metodologia

O teste ser realizado com a finalidade de garantir a usabilidade do produto e ser composto das seguintes partes: 1. Cada participante ser devidamente cumprimentado pelo avaliador, ser orientado a se sentar e tentar se sentir confortvel e relaxado. O participante ser orientado a preencher um pequeno questionrio para identificao de seu perfil (Questionrio para Identificao do Perfil do Participante, Anexo 3). 2. O participante receber um script introdutrio de orientao do teste (Script de Orientao, Anexo 4), explicando o propsito e objetivos do teste, reforando que o anonimato do produto deve ser mantido aps os testes e o que esperado dos participantes. Deve ser reforado que o produto o centro da avaliao e no o participante e que as tarefas devem ser executadas de forma bastante confortvel. Deve-se informar ao participante que ele ser observado e que estar sendo filmado. 3. Depois de passadas as orientaes, ser permitido que o participante utilize o sistema livremente por cinco minutos. Logo depois, ser requisitado ao participante retornar rea de Trabalho do Windows (se for o caso) e lhe ser entregue a lista de tarefas (Lista de Tarefas, Anexo 5). O avaliador ir requisitar que o participante verbalize suas dvidas, pois isto ajudar ao avaliador anotar a ocorrncia e a razo de problemas. Durante o teste, os acontecimentos 33

4.

5. 6.

7.

observados pelo avaliador sero registrados em formulrio prprio (Coleta de Dados pelo Avaliador, Anexo 6). Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na realizao das tarefas. Depois de completadas todas as tarefas, o participante preencher um questionrio de avaliao do sistema pelo participante cuja finalidade coletar informaes preferenciais do participante (Questionrio de Avaliao do Sistema pelo Participante, Anexo 7). Logo aps, ser dada uma pausa de dez minutos para o caf. Depois, o participante ser questionado pelo avaliador em uma sesso de questionamento do participante. Sero discutidas percepes subjetivas de usabilidade do participante acerca do sistema, realizados comentrios globais sobre a performance do participante e problemas encontrados. O participante poder comentar sobre o teste abertamente, permitindo uma coleta de informaes complementares (Tpicos para Questionamento, Anexo 8). Depois da sesso de questionamento do participante, ser agradecida a colaborao do participante e ser lhe dado um brinde.

Observao: o avaliador estar de posse do Roteiro do Avaliador (Anexo 2) para o orienta- lo na conduo do teste.

5.

Lista de Tarefas

Segue uma lista de tarefas preliminar para o teste de usabilidade do sistema:

Nmero da Tarefa Descrio da Tarefa Detalhamento da Tarefa REQ: Requerimentos para execuo da tarefa; PR: Passos a serem realizados; TME: Tempo mximo para execuo. REQ: O computador dever estar ligado e posicionado no Windows. A rea de Trabalho do Windows dever estar sendo visualizada. PR: O participante aciona o Iniciar -> Programas -> SIGMEL. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Pea, digita as informaes de cada pea a ser cadastrada, pressiona o boto Salvar e pressiona o boto Novo sempre que for necessrio cadastrar uma nova pea. TME: 5,0 minutos

Iniciar o sistema SIGMEL.

Voc tem necessidade de cadastrar algumas peas que brevemente sero recebidas em sua oficina de eletrodomstico e faro parte do estoque. Realize o cadastro das peas hlice de liquidificador, motor de liquidificador, resistncia de chuveiro e tomada. As demais informaes das peas devem ser completadas da maneira que voc achar melhor. Carlos Gonalves procura o escritrio de atendimento para o preenchimento de uma vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu currculo e o contrata. Agora, voc deve cadastr-lo no sistema. A fornecedora de peas lhe entrega 20 hlices de liquidificador, 10 motores de liquidificador e 50 tomadas. Registre estas entregas no sistema.

D. Maria Joaquina procura o escritrio de

REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Funcionrio, digita as informaes do funcionrio e pressiona o boto Salvar. TME: 2,0 minutos REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Movimentao da Pea, digita as informaes de cada movimentao a ser cadastrada, pressiona o boto Salvar e pressiona o boto Novo sempre que for necessrio cadastrar uma nova movimentao. TME: 5,0 minutos REQ: O sistema SIGMEL dever estar sendo

34

atendimento trazendo seu liquidificador que no est funcionando. Ela lhe diz que na ltima vez que utilizou o liquidificador, notou um cheiro de queimado. Voc faz uma anlise superficial no liquidificador e deduz que provavelmente ir necessitar trocar o motor e trocar a tomada. Faa o cadastro da ordem de servio utilizando um motor de liquidificador e uma tomada. Aloque o tcnico Carlos Gonalves para a realizao da manuteno. Altere a margem de lucro que voc especificou para a pea motor de liquidificador.

10

apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, digita as informaes da Ordem de Servio, pressiona o boto Pesquisar Pea, seleciona a pea motor de liquidificador, pressiona OK, informa a quantidade e pressiona o boto Incluir Pea. O participante faz o mesmo para a tomada necessria na ordem de servio. O participante aloca o tcnico Carlos Gonalves, escolhendo na lista Tcnico Responsvel e pressiona o boto Salvar. TME: 4,0 minutos REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Pea, pressiona o boto Pesquisar, digita o cdigo da pea referente ao motor de liquidificador, altera a margem de lucro e pressiona o boto Salvar. TME: 1,0 minuto Voc nota que a hlice do liquidificador REQ: O sistema SIGMEL dever estar sendo tambm est quebrada. Aloque a utilizao apresentado e posicionado na tela principal. de uma hlice de liquidificador na ordem PR: O participante aciona o menu Gesto -> Ordem de servio do liquidificador de D. Maria de Servio, pressiona o boto Pesquisar OS, digita o Joaquina e retorne tela principal do cdigo da ordem de servio, pressiona OK, pressiona sistema. o boto Pesquisar Pea, seleciona a hlice de liquidificador, pressiona OK, informa a quantidade da pea selecionada a ser utilizada na ordem de servio, pressiona o boto Incluir Pea, pressiona o boto Salvar e fecha a tela Gesto de Ordem de Servio. TME: 1,0 minuto Voc alocou uma tomada para ser REQ: O sistema SIGMEL dever estar sendo utilizada na ordem de servio do apresentado e posicionado na tela principal. liquidificador de D. Maria Joaquina, mas PR: O participante aciona o menu Gesto -> Ordem agora pensa que esta no ser necessria. de Servio, pressiona o boto Pesquisar OS, digita o Portanto, exclua a tomada alocada ordem cdigo da ordem de servio, seleciona a tomada de servio e retorne tela principal do alocada ordem de servio, pressiona o boto Excluir sistema. Pea, pressiona o boto Salvar e fecha a tela Gesto de Ordem de Servio. TME: 1,0 minuto Emita a ordem de servio e entregue-a REQ: O sistema SIGMEL dever estar sendo para D. Maria Joaquina. apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, pressiona o boto Pesquisar OS, digita o cdigo da ordem de servio e pressiona o boto Emitir OS. TME: 1,0 minuto Sebastio Souza procura o escritrio de REQ: O sistema SIGMEL dever estar sendo atendimento para o preenchimento de apresentado e posicionado na tela principal. outra vaga de tcnico em manuteno de PR: O participante aciona o menu Gesto -> eletrodomsticos. Voc analisa seu Funcionrio, digita as informaes do funcionrio e currculo e o contrata. Agora, voc deve pressiona o boto Salvar. cadastr-lo no sistema. TME: 2,0 minutos O tcnico Sebastio Souza tem disponibilidade para comear a trabalhar imediatamente. Como o tcnico Carlos Gonalves somente pode comear a trabalhar amanh, aloque o tcnico Sebastio Souza para atender a ordem de servio de D. Maria Joaquina. Altere o nome do tcnico Carlos Gonalves para Carlos Gonalves da Silva. REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, pressiona o boto Pesquisar OS, digita o cdigo da ordem de servio, seleciona o tcnico Sebastio Souza na lista Tcnico Responsvel e pressiona o boto Salvar. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Funcionrio, pressiona o boto Pesquisar, digita o cdigo do funcionrio Carlos Gonalves, altera o nome e pressiona o boto Salvar. TME: 1,0 minuto

11

12

35

13

Exclua a pea resistncia de chuveiro.

14

Emita o relatrio de peas.

15

Emita um relatrio por situao de ordem de servio.

16

Emita um relatrio para saber quais peas esto com o estoque abaixo do mnimo.

17

Encerre a execuo do sistema SIGMEL.

REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Pea, pressiona o boto pesquisar Pea, digita o cdigo da pea e pressiona o boto Excluir. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de Peas e pressiona o boto Imprimir. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de Ordem de Servio por Situao e pressiona o boto Imprimir. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de Peas em Estoque com Quantidade Abaixo do Mnimo e pressiona o boto Imprimir. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Sair. TME: 1,0 minuto

6.

Ambiente de Teste / Equipamento

Duas cmeras estaro instaladas para o registro dos eventos, sendo que uma estar posicionada ao lado do participante e outra atrs do participante. Sero gravadas trs imagens: duas provenientes das cmeras instaladas e uma do monitor do microcomputador. O ambiente para o teste ser a simulao de um escritrio, no qual h uma mesa de computador (formato em L), cadeira, computador, telefone, lpis, caneta etc. O computador ter instalado o Windows 2000, o Office 2000 e o sistema SIGMEL 1.0. O banco de dados ser o Access acessado via ODBC. Uma impressora a jato de tinta estar conectada ao computador. A mesa conter um calendrio do ano vigente e um box com algumas folhas em branco (de cinco a dez). O prottipo disponibilizado estar pronto para realizar todas as funcionalidades requisitadas na lista de tarefas.

7.

Papel do Avaliador

O avaliador se sentar ao lado do participante durante a realizao do teste e registrar o tempo gasto nas tarefas, erros e observaes atravs do formulrio Coleta de Dados pelo Avaliador (Anexo 6). O avaliador no poder ajudar o participante na realizao das tarefas. Ele somente poder orientar se surgir uma questo acerca do procedimento de teste. Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na realizao das tarefas.

36

8.

Medidas de avaliao

As seguintes medidas de avaliao sero coletadas e calculadas: 1. Tempo gasto para completar cada tarefa por participante; 2. Tempo gasto em acesso Ajuda on-line em cada tarefa por participante; 3. Nmero de acessos Ajuda on-line em cada tarefa por participante; 4. Nmero de erros cometidos na realizao de cada tarefa por participante; 5. Dados qualitativos sobre a utilizao do prottipo do sistema SIGMEL; 6. Dados subjetivos sobre a satisfao do participante; 7. Tempo mdio gasto na execuo de cada tarefa; 8. Desvio padro do tempo gasto para execuo de cada tarefa; 9. Mdia de erros por tarefa; 10. Desvio padro da quantidade de erros por tarefa.

9.

Contedo do Relatrio e Apresentao

O relatrio ir conter o plano de testes, resultados, discusses e recomendaes, sendo que os resultados sero priorizados e apresentados em uma reunio. Estes resultados so muito importantes e devero ser compilados rapidamente. Os resultados finais sero compostos de itens e recomendaes que sero apresentados aproximadamente duas semanas depois do teste. Incluir revises preliminares a fim de completar a anlise proposta.

37

Anexo 2 - Roteiro do Avaliador Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0

1. Objetivo

O objetivo deste documento servir como guia para o avaliador da sesso de teste do prottipo do sistema. Durante o teste, sero verificadas a performance alcanada pelos participantes e o entendimento das funes do sistema utilizando o prottipo. Ser anotado o tempo gasto para a realizao das tarefas, erros e dificuldades envolvendo a utilizao do prottipo em tarefas rotineiras com a finalidade de informar equipe de desenvolvimento as alteraes necessrias antes da liberao do produto. Este roteiro visa coletar os seguintes dados: 1. Obter dados quantitativos sobre o nmero de erros cometidos durante a execuo das tarefas; 2. Obter dados quantitativos sobre o tempo gasto para a realizao das tarefas; 3. Obter dados quantitativos sobre o nmero de acessos Ajuda on-line; 4. Obter dados quantitativos sobre o tempo gasto em acesso Ajuda on-line; 5. Obter dados qualitativos sobre a utilizao do prottipo do sistema SIGMEL 1.0; 6. Registrar aspectos sobre a satisfao subjetiva do participante.

2.

Ambiente de Teste / Equipamento

Duas cmeras estaro instaladas para o registro dos eventos, sendo que uma estar posicionada ao lado do participante e outra atrs do participante. Sero gravadas trs imagens: duas provenientes das cmeras instaladas e uma do monitor do microcomputador. O ambiente para o teste ser a simulao de um escritrio, no qual h uma mesa de computador (formato em L), cadeira, computador, telefone, lpis, caneta, etc. O computador ter instalado o Windows 2000, o Office 2000 e o sistema SIGMEL 1.0. O banco de dados ser o Access acessado via ODBC. Uma impressora a jato de tinta estar conectada ao computador. A mesa conter um calendrio do ano vigente e um box com algumas folhas em branco (de cinco a dez). O prottipo disponibilizado estar pronto para realizar todas as funcionalidades requisitadas na lista de tarefas.

3.

Papel do Avaliador

O avaliador se sentar em uma cadeira ao lado do participante e utilizar uma prancheta com o formulrio para Coleta de Dados pelo Avaliador (Anexo 6) para anotar os detalhes do teste. O avaliador no poder ajudar o participante na realizao das tarefas. Ele somente poder orientar caso surge uma questo acerca do procedimento de teste.

38

Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na realizao das tarefas.

4.

Perfil do Participante

Sero utilizados quatro participantes, um por dia. Os participantes tero de 20 a 40 anos de idade, nvel mdio (completo ou no) ou superior (completo ou no), mais de um ano de conhecimento bsicos de informtica (uso do mouse e teclado) e de utilizao de aplicativos bsicos (como por exemplo, o Office), e no necessitam possuir conhecimentos tcnicos em manuteno de eletrodomsticos.

5.

Tarefas Implementadas pelo Sistema

O sistema SIGMEL 1.0disponibiliza as seguintes tarefas: 1. Controlar peas disponveis no estoque; 2. Controlar funcionrios da oficina; 3. Gerenciar o andamento de ordens de servio; 4. Excluir ordens de servio do banco de dados; 5. Emitir relatrios gerenciais.

6.

Protocolos e Procedimentos
1. O avaliador recebe o participante, o cumprimenta e o convida a se sentar e se sentir confortvel e relaxado. 2. O avaliador entrega ao participante o Questionrio para Identificao do Perfil do Participante (Anexo 3). 3. Aps completar o questionrio, o participante recebe o Script de Orientao do teste (Anexo 4). O avaliador l o script junto com o participante reforando que o anonimato do produto deve ser mantido aps os testes e que o centro da avaliao o produto e no o participante em si. O participante deve ser informado que ele estar sendo observado e filmado e que a integridade do participante ser totalmente resguardada, sendo utilizada a observao e as imagens somente para fins de anlise do teste. O avaliador deve reforar outras informaes constantes do script e retirar dvidas do participante sobre a sesso de teste. 4. Aps serem passadas as orientaes, o avaliador informar ao participante que ele pode utilizar o sistema livremente durante cinco minutos. 5. Passado este tempo, o avaliador ir orientar o participante a retornar rea de Trabalho do Windows (se for o caso) e ser entregue a lista de tarefas para execuo (Lista de Tarefas, Anexo 5). Os acontecimentos observados pelo avaliador devero ser registrados no formulrio de Coleta de Dados pelo Avaliador (Anexo 6). Um outro integrante da Tools Corporation ir cronometrar e registrar o tempo gasto na realizao das tarefas. 6. Depois de completadas todas as tarefas, o avaliador ir entregar ao participante o Questionrio de Avaliao do Sistema pelo Participante (Anexo 7) para ser completado. 7. Depois que o participante acabou de completar este questionrio, o avaliador informar que ser dada uma pausa de dez minutos para o caf. 8. Passada pausa para o caf, ter inicio a sesso de questionamento do participante sendo usado como guia o formulrio de Tpicos para Questionamento (Anexo

39

8). Outros tpicos alm dos descritos neste formulrio devero ser acrescentados de acordo com os acontecimentos ocorridos durante o teste. 9. O avaliador agradece ao participante, entrega- lhe um brinde por sua colaborao e se despede.

7.
1. 2. 3. 4. 5. 6. 7.

Formulrios Utilizados
Roteiro do Avaliador (Anexo 2); Questionrio para Identificao do Perfil do Participante (Anexo 3); Script de Orientao (Anexo 4); Lista de Tarefas (Anexo 5); Coleta de Dados pelo Avaliador (Anexo 6); Questionrio de Avaliao do Sistema pelo Participante (Anexo 7); Tpicos para Questionamento (Anexo 8).

40

Anexo 3 - Questionrio para Identificao do Perfil do Participante do Teste de Usabilidade Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0
O objetivo deste questionrio colher informaes sobre o perfil do participante do teste de usabilidade a ser realizado utilizando o prottipo do Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0. As informaes fornecidas so vitais para o aprimoramento do sistema. Nas questes de marcar, favor circular a letra correspondente resposta. A no ser que esteja indicado, dever ser marcada somente uma resposta por questo. Por favor, leia com ateno as questes a seguir e em caso de dvida, solicite esclarecimento com o avaliador.

1) Informaes Pessoais
1. Qual a sua idade? ________ anos. 2. Sexo: M. masculino. F. feminino.

2) Informaes Educacionais
1. Qual o seu grau de instruo? a. 2 grau incompleto b. 2 grau completo c. 3 grau incompleto d. 3 grau completo Escreva o nome do curso que est fazendo ou que completou de acordo com o grau assinalado acima: ______________________________________________

3) Experincia Profissional
1. Qual a sua profisso? _____________________________________________ 2. H quanto tempo se encontra nesta profisso? a. Menos de 1 ano b. Entre 1 ano a 2 anos c. Entre 2 anos a 4 anos d. Mais de 4 anos

41

4) Experincia Computacional
1. H quanto tempo voc utiliza computador? a. Entre 1 ano a 2 anos b. Entre 2 anos a 3 anos c. Entre 3 anos a 4 anos d. Mais de 4 anos. 2. Em que local voc utiliza o computador? (Pode-se marcar mais de uma opo) a. Em casa b. No trabalho c. Na escola d. Outros, favor especificar: _____________________________________ 3. Em mdia, quantas horas por semana voc utiliza o computador? a. Menos de 2 horas b. Entre 2 a 5 horas c. Entre 5 a 10 horas d. Mais de 10 horas 4. Quais ferramentas abaixo voc utiliza em suas atividades dirias? (Pode-se marcar mais de uma opo) a. DOS b. Windows c. Word d. Excel e. Power Point f. Access g. Corel Draw h. Outros, favor especificar: ________________________

42

Anexo 4 - Script de Orientao Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0

Ol, meu nome Ktia Ferreira, sou representante da Tools Corporation e iremos trabalhar juntos nesta sesso de teste. Estaremos efetuando o teste do prottipo de um produto destinado ao apoio informatizado para uma oficina de manuteno de eletrodomsticos, cujo nome SIGMEL 1.0. Para assegurar que o nome da companhia dona do produto no lhe influenciar em nenhum momento, este ser mantido em sigilo e gostaramos de contar com seu apoio para manter em sigilo tambm o nome do produto. O teste ocorrer na sala em que estamos. Esta sala simula um escritrio, onde voc permanecer sentado em uma mesa em L. Voc usar um computador Pentium III 900 MHz com o Windows 2000, o Office 2000 e o SIGMEL 1.0 instalados, lpis, caneta e papis. Uma impressora a jato de tinta estar conectada ao computador. Utilize o produto de forma normal e tranqila, como se estivesse usando um outro aplicativo. importante que voc diga o que est pensando durante a execuo das tarefas. Voc poder fazer perguntas, mas eu no poderei respond-las. Isto ir ocorrer porque ns necessitamos verificar como voc ir trabalhar com o produto de forma independente. Faa o melhor e no se preocupe com os resultados. o produto que est sendo avaliado e no voc. O produto ainda um prottipo e com certeza, necessitar de modificaes e voc estar contribuindo para detectarmos quais so as modificaes necessrias. Eu me sentarei prximo a voc para tomar algumas notas. Joo Duarte, tambm membro da Tools Corporation, estar cronometrando o tempo gasto na execuo das tarefas. Estaremos sendo filmados e observados durante o teste. Voc ir tambm responder a alguns questionrios. importante que sejam utilizadas informaes verdadeiras e sinceras no preenchimento dos mesmos. O nosso objetivo descobrir falhas e vantagens na utilizao deste produto de acordo com a sua perspectiva, portanto necessitamos saber exatamente o que voc pensa. Voc pode decidir invalidar seus dados, desde que me comunique at o final do teste. Neste caso, seus dados e resultados no constaro do processo de anlise do teste. Sua integridade ser totalmente preservada, pois a filmagem ser utilizada apenas para posterior anlise dos testes por pessoal autorizado. Estimamos cerca de uma hora para a durao desta sesso de testes. Voc tem alguma pergunta? Se no, utilize o sistema livremente durante cinco minutos e esteja vontade para fazer perguntas neste momento. Agradecemos por sua colaborao.

43

Anexo 5 - Lista de Tarefas Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0

Agora, voc dar incio aos testes. Abaixo, ns temos 17 tarefas que devem ser executadas por voc utilizando o produto. As tarefas devem ser executadas na ordem em que se encontram. Voc deve ler em voz alta cada tarefa antes de execut- la. Lembre-se: Verbalize suas dvidas, pois isto ajudar ao avaliador anotar a ocorrncia e a razo de problemas. o produto que est sendo avaliado e no voc. Tarefa 1 Iniciar o sistema SIGMEL. Tarefa 2 Voc tem necessidade de cadastrar algumas peas que brevemente sero recebidas em sua oficina de eletrodomstico e faro parte do estoque. Realize o cadastro das peas hlice de liquidificador, motor de liquidificador, resistncia de chuveiro e tomada. As demais informaes das peas devem ser completadas da maneira que voc achar melhor. Tarefa 3 Carlos Gonalves procura o escritrio de atendimento para o preenchimento de uma vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu currculo e o contrata. Agora, voc deve cadastr-lo no sistema. Tarefa 4 A fornecedora de peas lhe entrega 20 hlices de liquidificador, 10 motores de liquidificador e 50 tomadas. Registre estas entregas no sistema. Tarefa 5 - D. Maria Joaquina procura o escritrio de atendimento trazendo seu liquidificador que no est funcionando. Ela lhe diz que na ltima vez que utilizou o liquidificador, notou um cheiro de queimado. Voc faz uma anlise superficial no liquidificador e deduz que provavelmente ir necessitar trocar o motor e trocar a tomada. Faa o cadastro da ordem de servio utilizando um motor de liquidificador e uma tomada. Aloque o tcnico Carlos Gonalves para a realizao da manuteno. Tarefa 6 Altere a margem de lucro que voc especificou para a pea motor de liquidificador. Tarefa 7 Voc nota que a hlice do liquidificador tambm est quebrada. Aloque a utilizao de uma hlice de liquidificador na ordem de servio do liquidificador de D. Maria Joaquina e retorne tela principal do sistema. Tarefa 8 Voc alocou uma tomada para ser utilizada na ordem de servio do liquidificador de D. Maria Joaquina, mas agora pensa que esta no ser necessria. Portanto, exclua a tomada alocada ordem de servio e retorne tela principal do sistema. Tarefa 9 Emita a ordem de servio e entregue-a para D. Maria Joaquina. 44

Tarefa 10 Sebastio Souza procura o escritrio de atendimento para o preenchimento de outra vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu currculo e o contrata. Agora, voc deve cadastr- lo no sistema. Tarefa 11 O tcnico Sebastio Souza tem disponibilidade para comear a trabalhar imediatamente. Como o tcnico Carlos Gonalves somente pode comear a trabalhar amanh, aloque o tcnico Sebastio Souza para atender a ordem de servio de D. Maria Joaquina. Tarefa 12 - Altere o nome do tcnico Carlos Gonalves para Carlos Gonalves da Silva. Tarefa 13 Exclua a pea resistncia de chuveiro. Tarefa 14 - Emita o relatrio de peas. Tarefa 15 - Emita um relatrio por situao de ordem de servio. Tarefa 16 - Emita um relatrio para saber quais peas esto com o estoque abaixo do mnimo. Tarefa 17 Encerre a execuo do sistema SIGMEL.

45

Anexo 6 - Coleta de Dados pelo Avaliador Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0
O objetivo deste documento ser utilizado pelo avaliador para a coleta manual de informaes originadas da observao do participante durante o teste do prottipo do Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0. Data e hora de incio do teste: ___/___/___ ___h ___min Data e hora de fim do teste: ___/___/___ ___h ___min Nmero do Participante: ___
Nm. da Tarefa Detalhamento da Tarefa Detalhes REQ: Requerimentos para especficos a execuo da tarefa; observar PR: Passos a serem realizados; TME: Tempo mximo para execuo. Iniciar o sistema SIGMEL. REQ: O computador dever estar ligado e posicionado no Windows. A rea de Trabalho do Windows dever estar sendo visualizada. PR: O participante aciona o Iniciar -> Programas -> SIGMEL. TME: 1,0 minuto Voc tem necessidade de cadastrar REQ: O sistema SIGMEL dever algumas peas que brevemente sero estar sendo apresentado e recebidas em sua oficina de posicionado na tela principal. eletrodomstico e faro parte do PR: O participante aciona o menu estoque. Realize o cadastro das peas Gesto -> Pea, digita as hlice de liquidificador, motor de informaes de cada pea a ser liquidificador, resistncia de chuveiro cadastrada, pressiona o boto e tomada. As demais informaes das Salvar e pressiona o boto Novo peas devem ser completadas da sempre que for necessrio Instruo apresentada ao participante Tempo gasto para execuo N de acessos Ajuda on-line Tempo gasto em acesso Ajuda on-line N de Erros Sucesso (S/N)? Observaes acerca da execuo da tarefa

46

maneira que voc achar melhor.

cadastrar uma nova pea. TME: 5,0 minutos

Carlos Gonalves procura o escritrio de atendimento para o preenchimento de uma vaga de tcnico em manuteno de eletrodomsticos. Voc analisa seu currculo e o contrata. Agora, voc deve cadastrlo no sistema. A fornecedora de peas lhe entrega 20 hlices de liquidificador, 10 motores de liquidificador e 50 tomadas. Registre estas entregas no sistema.

D. Maria Joaquina procura o escritrio de atendimento trazendo seu liquidificador que no est funcionando. Ela lhe diz que na ltima vez que utilizou o liquidificador, notou um cheiro de queimado. Voc faz uma anlise superficial no liquidificador e deduz que provavelmente ir necessitar trocar o motor e trocar a tomada. Faa o cadastro da ordem de servio

REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Funcionrio, digita as informaes do funcionrio e pressiona o boto Salvar. TME: 2,0 minutos REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Movimentao da Pea, digita as informaes de cada movimentao a ser cadastrada, pressiona o boto Salvar e pressiona o boto Novo sempre que for necessrio cadastrar uma nova movimentao. TME: 5,0 minutos REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, digita as informaes da Ordem de Servio, pressiona o boto Pesquisar Pea, seleciona a pea motor de liquidificador, pressiona OK, informa a quantidade e pressiona o boto Incluir Pea. O

Observar a rapidez com que o participante entende o que foi requisitado e relaciona a tarefa com os comandos do sistema.

47

utilizando um motor de liquidificador e uma tomada. Aloque o tcnico Carlos Gonalves para a realizao da manuteno.

Altere a margem de lucro que voc especificou para a pea motor de liquidificador.

Voc nota que a hlice do liquidificador tambm est quebrada. Aloque a utilizao de uma hlice de liquidificador na ordem de servio do liquidificador de D. Maria Joaquina e retorne tela principal do sistema.

Voc alocou uma tomada para ser utilizada na ordem de servio do liquidificador de D. Maria Joaquina, mas agora pensa que esta no ser

participante faz o mesmo para a tomada necessria na ordem de servio. O participante aloca o tcnico Carlos Gonalves, escolhendo na lista Tcnico Responsvel e pressiona o boto Salvar. TME: 4,0 minutos REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Pea, pressiona o boto Pesquisar, digita o cdigo da pea referente ao motor de liquidificador, altera a margem de lucro e pressiona o boto Salvar. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, pressiona o boto Pesquisar OS, digita o cdigo da ordem de servio, pressiona OK, pressiona o boto Pesquisar Pea, seleciona a hlice de liquidificador, pressiona OK, informa a quantidade da pea selecionada a ser utilizada na ordem de servio, pressiona o boto Incluir Pea, pressiona o boto Salvar e fecha a tela Gesto de Ordem de Servio. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu

Observar a rapidez com que o participante entende o que foi requisitado e relaciona a tarefa com os comandos do sistema.

Observar a rapidez com que o participante

48

necessria. Portanto, exclua a tomada alocada ordem de servio e retorne tela principal do sistema.

10

11

Gesto -> Ordem de Servio, pressiona o boto Pesquisar OS, digita o cdigo da ordem de servio, seleciona a tomada alocada ordem de servio, pressiona o boto Excluir Pea, pressiona o boto Salvar e fecha a tela Gesto de Ordem de Servio. TME: 1,0 minuto Emita a ordem de servio e entregue- REQ: O sistema SIGMEL dever a para D. Maria Joaquina. estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Ordem de Servio, pressiona o boto Pesquisar OS, digita o cdigo da ordem de servio e pressiona o boto Emitir OS. TME: 1,0 minuto Sebastio Souza procura o escritrio REQ: O sistema SIGMEL dever de atendimento para o preenchimento estar sendo apresentado e de outra vaga de tcnico em posicionado na tela principal. manuteno de eletrodomsticos. PR: O participante aciona o menu Voc analisa seu currculo e o Gesto -> Funcionrio, digita as contrata. Agora, voc deve cadastrinformaes do funcionrio e lo no sistema. pressiona o boto Salvar. TME: 2,0 minutos O tcnico Sebastio Souza tem REQ: O sistema SIGMEL dever disponibilidade para comear a estar sendo apresentado e trabalhar imediatamente. Como o posicionado na tela principal. tcnico Carlos Gonalves somente PR: O participante aciona o menu pode comear a trabalhar amanh, Gesto -> Ordem de Servio, aloque o tcnico Sebastio Souza pressiona o boto Pesquisar OS, para atender a ordem de servio de D. digita o cdigo da ordem de Maria Joaquina. servio, seleciona o tcnico Sebastio Souza na lista Tcnico Responsvel e pressiona o boto Salvar. TME: 1,0 minuto

entende o que foi requisitado e relaciona a tarefa com os comandos do sistema.

49

12

Altere o nome do tcnico Carlos Gonalves para Carlos Gonalves da Silva.

13

14

15

16

REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Funcionrio, pressiona o boto Pesquisar, digita o cdigo do funcionrio Carlos Gonalves, altera o nome e pressiona o boto Salvar. TME: 1,0 minuto Exclua a pea resistncia de chuveiro. REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Pea, pressiona o boto pesquisar Pea, digita o cdigo da pea e pressiona o boto Excluir. TME: 1,0 minuto Emita o relatrio de peas. REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de Peas e pressiona o boto Imprimir. TME: 1,0 minuto Emita um relatrio por situao de REQ: O sistema SIGMEL dever ordem de servio. estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de Ordem de Servio por Situao e pressiona o boto Imprimir. TME: 1,0 minuto Emita um relatrio para saber quais REQ: O sistema SIGMEL dever peas esto com o estoque abaixo do estar sendo apresentado e mnimo. posicionado na tela principal. PR: O participante aciona o menu Relatrio, marca o Relatrio de

50

17

Encerre a execuo do sistema SIGMEL.

Peas em Estoque com Quantidade Abaixo do Mnimo e pressiona o boto Imprimir. TME: 1,0 minuto REQ: O sistema SIGMEL dever estar sendo apresentado e posicionado na tela principal. PR: O participante aciona o menu Gesto -> Sair. TME: 1,0 minuto

51

Anexo 7 - Questionrio de Avaliao do Sistema pelo Participante Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0
O objetivo deste questionrio colher informaes sobre a opinio do participante do teste de usabilidade que foi realizado utilizando o prottipo do Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0. As informaes fornecidas so vitais para o aprimoramento do sistema. Nas questes de marcar, favor circular o nmero correspondente ao grau de concordncia. A no ser que esteja indicado, dever ser marcada somente uma resposta por questo. Por favor, leia com ateno as questes a seguir e em caso de dvida, solicite esclarecimento com o avaliador. 1. Favor marcar o nmero correspondente ao grau que voc mais concorda: a. b. c. d. e. f. g. Facilidade de utilizao Difcil 0 1 Organizao das informaes Ruim 0 1 Layout das telas Confuso 0 1 Nomenclatura utilizada nas telas (nome Confuso de comandos, ttulos, campos, etc.) 0 1 Mensagens do sistema Confusas 0 1 Assimilao das informaes Difcil 0 1 No geral, a realizao do teste foi Montona 0 1 Fcil 4 5 Boa 4 5 Claro 4 5 Claro 4 5 Claras 4 5 Fcil 4 5 Interessante 4 5

2 2 2 2 2 2 2

3 3 3 3 3 3 3

2. Aponte situaes em que voc achou fcil utilizar no sistema: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ 3. Aponte situaes que voc sentiu dificuldades: ________________________________________________________________ ________________________________________________________________ ________________________________________________________________

52

4. Voc utilizou a Ajuda on-line do sistema em algum momento? a. Sim b. No

Em caso afirmativo, descreva em quais situaes voc utilizou a Ajuda on-line do sistema (comente tambm se as informaes da Ajuda on-line foram de pouca ou grande valia): ________________________________________________________________ ________________________________________________________________ 5. Diante do teste realizado, voc acha que o programa atingiu o objetivo para o qual foi desenvolvido? Explique. ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ 6. O espao abaixo reservado para que voc exponha sua opinio e sugira melhorias no sistema. ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________ ________________________________________________________________

53

Anexo 8 - Tpicos para Questionamento Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0
O objetivo deste questionrio sugerir alguns tpicos a serem discutidos em uma sesso de questionamento do participante aps a realizao do teste do prottipo do sistema do Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0. Discusses a serem levantadas: 1. Voc acha que outras funes so necessrias neste produto? Quais? 2. Voc se sentiu confuso em algum momento durante a realizao dos testes? Em quais momentos? 3. Voc recomendaria a aquisio deste produto a algum? Por qu?

54

Anexo 9 - Relatrio Final Sistema de Gesto de Manuteno de Eletrodomsticos SIGMEL 1.0

1. Sumrio

Esse documento tem por objetivo apresentar os resultados do teste de usabilidade do sistema SIGMEL 1.0, originados de anlises realizadas aps os testes de usabilidade do prottipo do produto. Primeiramente so apresentadas as medidas coletadas durante o teste e as respostas aos questionrios propostos aos usurios. Em seguida, so analisados os possveis problemas de usabilidade da interface utilizando os dados previamente expostos e de outras informaes do teste.

2.

Mtodo

Os testes de usabilidade foram realizados no GESTUS, Laboratrio de Usabilidade da Universidade Federal de Minas Gerais, entre os dias 22 a 25/07/2002. Foram utilizados 4 participantes com a idade variando entre 20 e 40 anos, nvel mdio (completo ou no) ou superior (completo ou no), mais de um ano de conhecimentos bsicos de informtica (uso do mouse e teclado) e de utilizao de aplicativos bsicos (como por exemplo, o Office). Os participantes preencheram questionrios acerca do seu perfil e sobre satisfao do produto. O avaliador preencheu, em cada sesso de teste, um formulrio de coleta de dados, onde foram registrados dados sobre a performance do participante, nmero de erros encontrados, sucesso das tarefas e detalhes observados durante a execuo de cada tarefa. Cada sesso de teste foi gravada e utilizada para a elaborao deste material.

3. Resultado
3.1. Tempo de execuo das tarefas A tabela 1 mostra as medidas de tempo de execuo das dezessete tarefas realizadas no teste de usabilidade comparando-as com valores previamente estabelecidos: pior nvel aceitvel, nvel alvo e melhor nvel possvel. A tabela tambm apresenta o valor mdio das medidas coletadas e o desvio padro dessas medidas.

55

Tabela 1) Tempo de Execuo das Tarefas em Segundos.

3.2. Nmeros de Erros na Execuo das tarefas A tabela 2 mostra o nmero de erros das dezessete tarefas realizadas no teste de usabilidade. Semelhante tabela 1, apresenta uma comparao com os valores pior nvel aceitvel, nvel alvo e melhor nvel possvel e apresenta o valor mdio e o desvio padro das medidas coletadas.

Tabela 2) Nmero de Erros Cometidos.

3.3. Respostas ao Questionrio de Avaliao do Sistema pelo Participante A tabela 3, apresenta uma avaliao das respostas dos participantes do teste ao questionrio de avaliao do sistema onde as respostas so oferecidas ao participante em uma escala 0 a 5.

Tabela 3) Respostas dos Participantes sobre a Interface.

Questo 1 - Aponte situaes em que voc achou fcil utilizar no sistema. Usurio 1: Cadastro e excluso de funcionrios. Usurio 2: No geral, as telas estavam bem organizadas. Depois que eu descobri para que serve cada uma tela ficou mais fcil. Usurio 3: Quando estava cadastrando de peas. Usurio 4: Cadastro de funcionrios e de peas.

56

Questo 2 - Aponte situaes em que voc sentiu dificuldades. Usurio 1: Informaes relativas movimentao de peas. Usurio 2: Utilizao da Ordem de Servio. Usurio 3: Registrar a utilizao de pea em uma ordem de servio. Usurio 4: Achei confusa a movimentao de peas. Questo 3 - Voc utilizou a Ajuda on-line do sistema em algum momento? Usurio 1: No. Usurio 2: Necessitei da Ajuda on-line, mas a mesma no estava disponvel no prottipo. Usurio 3: No, mas gostaria que um prottipo da Ajuda on-line estivesse disponvel. Usurio 4: No, mas mesmo sendo um prottipo, seria interessante que tivesse uma Ajuda on-line bsica. Questo 4 - Diante do teste realizado, voc acha que o programa atingiu o objetivo para o qual foi desenvolvido? Explique . Usurio 1: O prottipo mostrado estava em um estgio em que foi impossvel ter uma concluso. Usurio 2: Sim. Achei bastante interessante. Usurio 3: Creio que o objetivo foi alcanado, haja vista que ainda um prottipo. Usurio 4: Sim, gostei bastante de realizar os testes. Questo 5 - O espao abaixo reservado para que voc exponha sua opinio e sugira melhorias no sistema. Usurio 1: Excluso e incluso de elementos (funcionrios, ordem de servio, peas, etc.) deveriam ser separados. Usurio 2: Ordem de Servio. Colocar uma opo de sada a no ser pelo boto convencional para fechar a tela, o famoso xizinho. Usurio 3: Melhorar a tela e Ordem de Servio, pois h muitas informaes em uma tela s. Usurio 4: Melhorar a forma de manipulao de peas no estoque, pois achei um pouco confusa.

57

4. Anlise, Discusso das Descobertas e Recomendaes

A anlise compreende a descrio dos problemas, possvel proposta de soluo e a prioridade para tal. A partir dos resultados obtidos no teste de usabilidade, foi realizada uma anlise para detectar problemas de usabilidade e propor as respectivas alteraes. Anlise 1: O problema de alocar peas ordem de servio A tarefa 5 foi a que teve o maior desvio padro tanto na medida de tempo (S = 9,95) quanto na medida de nmero de erros (S = 2,16). Esse fato pode ser explicado de imediato pelo nmero de erros cometidos pelo participante 3 consideravelmente maior que os outros trs participantes, conforme mostra a tabela 2. A tarefa 5 consiste em cadastrar uma ordem de servio, alocando dois tipos de peas a serem utilizadas na manuteno do eletrodomstico e alocando um tcnico para atendimento da ordem de servio. Durante a anlise do teste em fita de vdeo, notou-se que os participantes demoraram a achar, na interface, onde alocar as peas a serem usadas na ordem de servio. As tarefas 7 e 8 so semelhantes tarefa 5 e tambm possuram um desvio padro alto. Este problema pode ser atribudo diretamente ao desenho confuso destinado alocao de peas ordem de servio e pelo grande nmero de informaes na interface. Proposta de soluo: inserir na interface de ordem de servio um boto Peas Utilizadas. Quando este boto for acionado, ser apresentada uma segunda tela onde podero ser includas ou excludas as peas a serem utilizadas na ordem de servio. O campo informativo das peas j alocadas ordem de servio ser mantido na interface de ordem de servio para melhor agilidade. Prioridade: mxima. Anlise 2: Ausncia de Ajuda on-line A preocupao surgiu porque 3 participantes gostariam de ter tido acesso a uma Ajuda on-line bsica. Atualmente, o prottipo no possui Ajuda on-line disponvel. Proposta de soluo: incluir ajuda mnima, com explicaes diretas e resumidas. Prioridade: mdia. Observaes O usurio 1 ficou confuso durante a execuo de tarefa 4 e disse que no ficou claro. O usurio 1 foi na tela de excluso de ordens de servio durante a execuo de tarefa 5 ao invs de anlise de ordem de servio. Todos os participantes tiveram dificuldades em saber como alocar as peas para o atendimento da ordem de servio na tarefa 5. O usurio 2 concluiu que seria interessante mudar o estilo de ordem de servio. O usurio 1 esqueceu de pesquisar a ordem de servio na tarefa 7.

5. Concluso
O teste de usabilidade do sistema SIGMEL 1.0, mostrou sua utilidade na identificao dos problemas de usabilidade analisados. Com as tcnicas de Engenharia de Usabilidade 58

 possvel no apenas identificar um problema, mas tambm o seu grau de importncia, o impacto que pode causar frente aos usurios e o custo/benefcio de sua manuteno. Concluiu-se que o sistema dever sofrer alteraes como: aumentar as fontes, colocar Ajuda on-line em todas as telas e outras alteraes que melhoraro a interface ajudando a melhorar a usabilidade do produto.

6.

Apndice

Os formulrios utilizados nas sesses de teste foram: 1. Roteiro do Avaliador (Anexo 2); 2. Questionrio para Identificao do Perfil do Participante (Anexo 3); 3. Script de Orientao (Anexo 4); 4. Lista de Tarefas (Anexo 5); 5. Coleta de Dados pelo Avaliador (Anexo 6); 6. Questionrio de Avaliao do Sistema pelo Participante (Anexo 7); 7. Tpicos para Questionamento (Anexo 8). Todos os formulrios respondidos, bem como as fitas com as gravaes das sesses de teste se encontram em poder do avaliador Ktia Gomes Ferreira e podero ser solicitados caso seja necessrio.

59

Referncias Bibliogrficas
[ATA 00] ATAYDE, Ana Paula Ribeiro, GASPAR, Marcelo Daride. Roteiro de Avaliao de Usurio Sistema de Controle de Horas Trabalhadas SCoHT 1.0. Disponvel por WWW em http://www.dcc.ufmg.br/~clarindo/disciplinas/eu/material/index.htm. (14 Jul. 2002). [ATA 00] ATAYDE, Ana Paula Ribeiro, GASPAR, Marcelo Daride. Resultado do Teste de Usabilidade Sistema de Controle de Horas Trabalhadas SCoHT 1.0. Disponvel por WWW em http://www.dcc.ufmg.br/~clarindo/disciplinas/eu/material/index.htm. (14 Jul. 2002). [DIA 01] DIAS, Cludia. Avaliao de Usabilidade: conceitos e mtodos. Disponvel por WWW em http://www.ii.puc-campinas.br/revista_ii/ frame_segunda_edicao.html. (11 Maio 2002). [HEL 97] HELANDER, Martin, LANDAUER, Thomas K., PRABHU, Prasad. Handbook of Human-Computer Interaction. The Usability Engineering Framework for Product Design and Evaluation. 2 ed. Amsterdam: NorthHolland, 1997. p. 659. [HIX 93] HIX, Deborah, HARTSON, H. Rex. Developing User Interfaces, Ensuring Usability Through Product & Process. New York: John Wiley & Sons, Inc., 1993. p. 3. [LIN 94] LINDGAARD, Gitte. Usability Testing and System Evaluation. A guide for designing useful computer systems. New York: Chapman & Hall, 1994. p. 1-5. [PRE 95] PRESSMAN, Roger S. Engenharia de Software. 3 ed. So Paulo: Makron Books, 1995. p. 602-606. [RUB 94] RUBIN, Jeffrey. Handbook of Usability Testing: How to Plan, Design and Conduct Effective Tests. New York: John Wiley & Sons, Inc., 1994. 330 p. [WIN 01] WINCKLER, Marco. Avaliao de Usabilidade de Sites Web. Disponvel por WWW em http://lis.univ-tlse1.fr/winckler/publications.html. (11 Maio 2002).

60