PONTIFCIA UNIVERSIDADE CATLICA DE MINAS GERAIS NCLEO UNIVERSITRIO DE CONTAGEM Curso de Sistemas de Informao

AVALIAO DA USABILIDADE DO SISTEMA SAGA DE GERENCIAMENTO DE ARMAZNS

Patrcia Fonseca Siqueira

CONTAGEM

2008

Patrcia Fonseca Siqueira

AVALIAO DA USABILIDADE DO SISTEMA SAGA DE GERENCIAMENTO DE ARMAZNS

Trabalho de diplomao apresentado Pontifcia Universidade Catlica de Minas Gerais do curso de Sistemas de Informao para obteno do diploma de bacharel em Sistemas de Informao. Orientador: Marcelo Werneck

CONTAGEM

2008

RESUMO

A interface o meio visual que os usurios utilizam para interagir com os sistemas computacionais. Esta deve ser apresentada de forma compreensvel, legvel e organizada graficamente. As tcnicas de usabilidade servem para avaliar e /ou ajudar no desenvolvimento grfico das interfaces a fim de torn-las mais amigveis aos usurios. Este trabalho teve como objetivo avaliar, quanto aos aspectos de usabilidade, o sistema SAGA de armazenamento e gerenciamento de armazns e propor melhorias para o mesmo. Para realizar a avaliao, foi aplicado um teste com 4 usurios do sistema, e um questionrio enviado via meio eletrnico. Este questionrio foi construdo com foco nos fatores de usabilidade como: utilizao/aprendizado, desempenho/produtividade, erros, feedback, facilidade de uso, ajuda e satisfao. A partir dos resultados obtidos em cada um, foram ressaltados os pontos fortes e fracos do sistema, bem como tambm os pontos a serem melhorados no sistema. Palavras-chaves: Usabilidade, Ergonomia, Interface, SAGA.

ABSTRACT

The interface is the visual means that users use to interact with computer systems. This should be presented in an understandable manner, legible and organized graphically. The techniques are used to evaluate the usability and / or assist in the development of graphical interfaces in order to make them friendlier to users. This study aimed the evaluation, on the issues of usability, the SAGA system of storing and managing warehouses and proposes improvements to it. To carry out the assessment, a test was applied to 4 users of the system, and a questionnaire sent via electronic means. The questionnaire was constructed with focus on usability factors as: use / learning, performance / productivity, errors, feedback, ease of use, support and satisfaction. From the results obtained in each, we emphasized the strengths and weaknesses of the system, and also pointed possible improvements to the system. Keywords: Usability, Ergonomics, Interface, SAGA.

LISTA DE FIGURAS

FIGURA 1: TELA DE RECEBIMENTO DE MERCADORIAS...........................34 FIGURA 2: TELA DE GERAO DO LOTE...................................................................35 FIGURA 3: TELA DE PORTARIA......................................................................................37 FIGURA 4: TELA MAPA DE SERVIOS..........................................................................38 FIGURA 5: GRAU DE ESCOLARIDADE.......................................................39 FIGURA 6: FAIXA DE IDADE.....................................................................40 FIGURA 7: GNERO.........................................................................................41 FIGURA 8: EXPERINCIA COM O SISTEMA.........................................41 FIGURA 9: CONHECIMENTO EM TECNOLOGIA....................................42 FIGURA 10: FREQNCIA DE UTILIZAO DO SISTEMA.............43 FIGURA 11: FATORES DE USABILIDADE........................................................43 FIGURA 12: SATISFAO......................................................................................45

LISTA DE TABELAS

TABELA 1 ..............................................................................................................................33 TABELA 2 ..............................................................................................................................33

LISTA DE QUADROS

QUADRO1: VANTAGENS E DESVANTAGENS DOS MTODOS DE PESQUISA....28 TABELA 1 ..............................................................................................................................33 TEMPO DE EXECUO DAS TAREFAS EM MINUTOS POR USURIO................33 TABELA 2 ..............................................................................................................................33 NMERO DE ERROS COMETIDOS POR USURIO....................................................33 FIGURA 1: TELA DE RECEBIMENTO DE MERCADORIAS...........................34 FONTE: S&A SISTEMAS, 2008................................................................................34 FIGURA 2: TELA DE GERAO DO LOTE...................................................................35 FIGURA 3: TELA DE PORTARIA......................................................................................37 FIGURA 4: TELA MAPA DE SERVIOS..........................................................................38 FIGURA 5: GRAU DE ESCOLARIDADE.......................................................39 FONTE: DADOS DA PESQUISA......................................................................39 FIGURA 6: FAIXA DE IDADE.....................................................................40 FONTE: DADOS DA PESQUISA..................................................................40 FIGURA 7: GNERO.........................................................................................41 FONTE: DADOS DA PESQUISA......................................................................41 FIGURA 8: EXPERINCIA COM O SISTEMA.........................................41 FONTE: DADOS DA PESQUISA..................................................................41 FIGURA 9: CONHECIMENTO EM TECNOLOGIA....................................42 FONTE: DADOS DA PESQUISA......................................................................42 FIGURA 10: FREQNCIA DE UTILIZAO DO SISTEMA.............43 FONTE: DADOS DA PESQUISA.................................................................43 FIGURA 11: FATORES DE USABILIDADE........................................................43 FONTE: DADOS DA PESQUISA............................................................................43 FIGURA 12: SATISFAO......................................................................................45

LISTA DE SIGLAS

TI Tecnologia da Informao IHM Interface Homem-Mquina SAGA Sistema de Automao e Gerenciamento de Armazns

SUMRIO
1 INTRODUO...................................................................................................................10 1.1 Tema e problema da pesquisa..........................................................................................10 1.2 Objetivos............................................................................................................................11 1.2.1 Objetivo geral.................................................................................................................11 1.2.2 Objetivos especficos......................................................................................................12 1.3 Justificativa do estudo......................................................................................................12 1.4 Estrutura do trabalho.......................................................................................................13 FUNDAMENTOS TERICOS.............................................................................................13 2.1 Usabilidade........................................................................................................................14 2.1.1 Princpios de usabilidade...............................................................................................15 2.1.2 Engenharia de software e o desenvolvimento de interfaces.......................................15 2.1.3 Interao Homem-Mquina..........................................................................................17 2.1.3.1 Objetivos da Interao Homem-Mquina...............................................................17 2.1.4 Engenharia Cognitiva....................................................................................................18 2.1.5 Modelos mentais.............................................................................................................19 Ergonomia 20 3 PROCEDIMENTOS METODOLGICOS.....................................................................21 3.1 Mtodos de avaliao de interfaces.................................................................................21 3.1.1 Avaliao Heurstica......................................................................................................21 3.1.2 Percurso Cognitivo.........................................................................................................22 3.1.3 Teste de usabilidade.......................................................................................................23 3.1.4 Avaliao Ergonmica de usabilidade.........................................................................23 3.1.5 Outros mtodos de Avaliao.......................................................................................26 4 COLETA DE DADOS.........................................................................................................28 4.1 Teste piloto.........................................................................................................................29 4.2 Aplicao do questionrio................................................................................................29 4.3 Desenvolvimento do Teste com usurios.........................................................................30 4.3.1 Funes avaliadas...........................................................................................................31 4.3.1.1 Funo Expedio de Mercadorias...........................................................................31 4.3.1.2 Funo Recebimento de Mercadorias.......................................................................31 5 Anlise dos dados.................................................................................................................32 5.1 Anlise do teste com usurios..........................................................................................32 5.1.1 Tempo de Execuo das Tarefas..................................................................................32 5.1.2 Nmeros de Erros na Execuo das Tarefas...............................................................33 5.2 Anlise das respostas obtidas no questionrio...............................................................39 5.2.1 Identificao do perfil dos usurios..............................................................................39 5.2.1.1 Grau de escolaridade..................................................................................................39 5.2.1.2 Faixa de idade..............................................................................................................40 5.2.1.3 Gnero..........................................................................................................................40 5.2.1.4 Experincia com o sistema.........................................................................................41 5.2.1.5 Conhecimento em Tecnologia....................................................................................42 5.2.1.6 Frequncia de utilizao do sistema..........................................................................42 5.2.2 Fatores de usabilidade...................................................................................................43 5.2.3 Satisfao........................................................................................................................45 5.3 Sugestes de melhoria.......................................................................................................45 6 CONCLUSES....................................................................................................................47 6.1 Trabalhos futuros..............................................................................................................48

REFERNCIAS BIBLIOGRFICAS..................................................................................49 APNDICES...........................................................................................................................51

1 INTRODUO

1.1 Tema e problema da pesquisa

O crescimento da Tecnologia da Informao (TI) tem alcanado um nvel extremamente alto nas organizaes. A informao tornou-se fundamental na descoberta e introduo de novas tecnologias, explorao das oportunidades de investimento e ainda na planificao de toda a atividade industrial. Um sistema de informao deve ser estratgico, voltado para a determinao das necessidades dos clientes e otimizao do fluxo de informaes relevantes. De acordo com Paula Filho (2003), um produto pode ser desenvolvido atravs de diferentes modelos e ciclos de vida. Quando um produto est sendo desenvolvido em um ciclo de vida evolutivo, por exemplo, passa tipicamente pelas seguintes fases: concepo, elaborao, construo e transio. Cada fase pode ter uma ou mais iteraes, sendo que cada iterao corresponde a um conjunto completo de modelos de requisitos, anlise, implementao e teste. Permeando todas as fases dos modelos de ciclos de vida, esto as tcnicas e diretrizes de Interface Homem-Mquina, sendo muito importante em todas as iteraes observar se o produto sendo desenvolvido satisfaz o usurio. Interfaces muito poludas podem gerar problemas no mapeamento do sistema pelo usurio, podendo levar a frustrao e impedir a especificao de aes sobre o sistema. Uma regra principal na construo de interfaces que as empresas no se preocupam a simplicidade do cdigo. A necessidade de manuteno de um programa diretamente proporcional sua complexidade, e desenvolvendo interfaces simples e estveis facilita essa manuteno, j que a interface a parte do programa que deve ser distribuda para os usurios. Quando uma corporao desenvolve uma aplicao focada para usurios avanados, ela no mostra tantas informaes na tela, dificultando a operao pelo usurio iniciante. O usurio para interagir de maneira eficiente, ele constri um modelo mental dos objetos com os quais interagem. Esse modelo mental uma representao na mente de situaes reais ou imaginrias. Isso leva a um grande esforo cognitivo e fsico empenhados na tarefa.

Os aspectos cognitivos e culturais abordados por Rocha (2003), se referem compreenso de como os seres humanos efetuam operaes mentais para projetar bem um software. preciso levar em considerao como o ser humano processa informao, como ele aprende e como percebe o mundo. A origem cultural e educacional tambm deve ser observada, no excluindo os usurios que no tiveram uma oportunidade de estudar. Atualmente as empresas no tm se preocupado com os usurios do sistema, deixando de atender um dos requisitos de qualidade principal, a usabilidade. Quando no se d importncia a esse requisito o software fica comprometido, deixando de oferecer a eficincia necessria na interao homem-mquina, face s tarefas a serem realizadas pelos usurios. O que geralmente no observado a compreenso de como os signos dispostos em uma interface proporcionam a inteligibilidade de interfaces, chamada de aspecto semitico. Ela proporciona um grau de comunicabilidade da interface com o homem, atravs da disposio de elementos na tela, cores, tipografia, bem como a utilizao de imagens popularmente conhecidas como cones em um aplicativo. A usabilidade do sistema um quesito essencial e definida segundo Cybis (2003) como a facilidade que um sistema interativo apresenta em ser operado, de maneira eficaz, eficiente e agradvel, em determinado contexto de operao, para a realizao das tarefas de seus usurios. O presente trabalho tratar da importncia da usabilidade como requisito de qualidade essencial na elaborao de interfaces grficas dentro da empresa S&A Sistemas em Logstica Ltda. Elas representam um elo comunicativo entre dois mundos: o mundo inteligvel da mquina e o universo simblico da compreenso humana. Construir interfaces requer muita habilidade e planejamento, para que atendam a todos os seus usurios, transmitindo com clareza todas as suas funes.

1.2 Objetivos

1.2.1 Objetivo geral

Aplicar os conceitos de avaliao de usabilidade no Sistema de Automao e Gerenciamento de Armazns - SAGA, identificando se a aplicao atende s necessidades e expectativas dos usurios, de forma a identificar melhorias no sistema.

1.2.2 Objetivos especficos

Avaliar a utilizao das interfaces pelos usurios, considerando aspectos como: satisfao subjetiva, desempenho e facilidade de aprendizado; Diagnosticar problemas e sugerir melhorias para o design da interface.

1.3 Justificativa do estudo

A anlise da usabilidade do sistema SAGA foi escolhida como objeto de pesquisa para apresentar uma forma possvel de eliminao ou diminuio dos problemas encontrados na manipulao das interfaces pelos usurios, facilitando assim a utilizao do sistema. Sistemas fceis de serem utilizados reduzem a necessidade de constantes consultas ao manual e a necessidade de treinamentos. Qualquer software com fraca usabilidade pode reduzir a produtividade da equipe de trabalho, por vezes mais at do que se no tivesse o sistema. Em todos os casos, a falta de usabilidade pode custar tempo, esforo e dinheiro, e pode determinar em grande parte o sucesso ou fracasso de um sistema. Os maiores beneficirios da pesquisa sero a empresa S&A, seus clientes e a pesquisadora, pois, quando no h um bom entendimento dos componentes da interface, podem ocorrer erros de operao, provenientes do mau uso do sistema. Este projeto tambm poder contribuir para a reduo de custos e tempo gastos para dar apoio e suporte aos usurios do sistema. Atualmente esse um dos grandes problemas encontrados pelas empresas, sendo necessria a ampliao de todo o setor de suporte para atender aos diversos usurios.

 necessrio conhecer bem o contexto de uso do sistema (quais usurios iro utilizar, em quais momentos e situaes), para que no ocorra uma divergncia entre os requisitos especificados e seus usurios, tornando o software bem mais robusto e compatvel com o processo de engenharia de software.

1.4 Estrutura do trabalho

Este trabalho foi dividido nos seguintes captulos: O Captulo 2 define os conceitos de Interface Homem Mquina (IHM) utilizados neste trabalho. O Captulo 3 descreve os procedimentos metodolgicos e as tcnicas de avaliao de usabilidade. O Captulo 4 descreve os mtodos e procedimentos utilizados na coleta de dados. O Captulo 5 apresenta e analisa os resultados obtidos nas avaliaes de usabilidade. O Captulo 6 dedicado discusso dos resultados, apresentando as concluses obtidas e trabalhos futuros.

FUNDAMENTOS TERICOS

2.1

Usabilidade

Atualmente as interfaces com o usurio so componentes muito importantes em um sistema computacional. A palavra interface est relacionada ligao entre o ser humano e a mquina, como se fosse a superfcie de contato entre eles. O usurio interage com o sistema ao executar aes na interface e ao interpretar o resultado de suas aes. A usabilidade trata do esforo necessrio para usar um produto de software, bem como o julgamento individual de tal uso para um conjunto de usurios. Ela deve ser considerada como um fator fundamental para o sucesso do sistema, quanto maior for a experincia interativa com o usurio, mais satisfeito ele ficar. A usabilidade apenas uma parte da aceitabilidade geral do sistema, que o grau com que o sistema atende s necessidades dos usurios e outros envolvidos, como clientes dos usurios ou seus chefes. Existem algumas regras bsicas de usabilidade que devem ser seguidas como: clareza na arquitetura da informao, facilidade de navegao, simplicidade, relevncia do contedo, tempo suportvel e foco nos usurios. Para que um sistema tenha boa usabilidade, segundo Rocha (2003), deve ter os seguintes atributos:

facilidade de aprendizado - no apresenta grandes dificuldades de operao para usurios iniciantes; facilidade de uso - uma vez aprendido o sistema, suas prximas interaes com ele acontecem de maneira facilitada (memorizao); eficincia utilizao eficiente: rpido; segurana seguro de usar, evita situaes indesejadas (prevenir erros); eficcia - o usurio mais produtivo quanto o utiliza, do que se no dispusesse dele para realizar a atividade; satisfao do usurio - o usurio gosta de utilizar o sistema.

A usabilidade est ligada a diversos fatores ambientais como as caractersticas dos usurios, caractersticas do ambiente de trabalho e dos equipamentos utilizados.

2.1.1 Princpios de usabilidade

A facilidade de aprendizado com o qual os usurios deixam de ser usurios iniciantes para adquirirem o mximo de desempenho com o sistema, indica quanto o sistema fcil de ser aprendido. Quando um sistema fcil de usar, so reduzidas as consultas aos manuais e a necessidade de treinamentos. O aprendizado pode ser medido com usurios iniciantes, observando o tempo gasto por estes usurios at atingir um nvel superior junto aplicao. A facilidade de uso a capacidade do sistema em ser facilmente lembrado, para que o usurio no sinta dificuldade em realizar as atividades. A eficincia representa as diferentes maneiras de interao do usurio com o sistema. Um exemplo quando o sistema permite que o usurio realize mais de uma tarefa ao mesmo tempo. O princpio de usabilidade segurana representa a capacidade do sistema em apresentar baixa taxa de erros, para que o usurio cometa poucos enquanto o utiliza e, se os cometer, que possa facilmente recuperar-se. A eficcia do sistema aquela que permite que o usurio atinja as suas metas em determinado domnio de atividades com sucesso. Envolve a facilidade de avaliar o estado interno do sistema a partir dos mecanismos da interface e a capacidade de reverter os erros cometidos no sistema. A satisfao representa o quanto o usurio gosta de utilizar o sistema.

2.1.2 Engenharia de software e o desenvolvimento de interfaces

O desenvolvimento de um software no se inicia com a escrita do cdigo em alguma linguagem de programao, mas quando se descobre uma necessidade social, individual ou de alguma empresa que pode ser atendida com o auxlio de sistemas computacionais. Para que isso acontea preciso adotar um processo de trabalho para sua construo, ou seja, preciso adotar um conjunto de atividades ordenadas seguindo mtodos claros para se criar um produto com qualidade. Esse processo chamado de engenharia de software.

No processo de engenharia de software existem diversos processos distintos para a construo de software, dentre os quais podemos destacar modelos de ciclo de vida de desenvolvimento de software com seus sub-processos associados. O processo unificado proposto por Booch, Jacobson e Rumbaugh (1999), prope um ciclo de vida de desenvolvimento de software em espiral. O software construdo de maneira incremental em fases conhecidas como concepo, elaborao, construo e transio. Na fase de concepo onde ocorre o levantamento de requisitos, obtendo uma viso geral do sistema juntamente com os casos de uso elaborados de acordo com a necessidade do cliente. Os casos de uso so representaes das aes do sistema juntamente com os seus atores. Pode-se estimar o esforo e o custo do sistema nesta fase. Na fase de elaborao acontece a anlise do sistema. Expanso dos casos de uso e determinao dos eventos do sistema. Descreve-se a essncia do uso do sistema em detalhes, atravs da descrio de cenrios. Na fase de construo onde o sistema projetado e construdo. So construdos nesta fase diversos diagramas que ajudam a modelar o problema, auxiliando na sua implementao. So realizados nesta fase alguns projetos tais como: o projeto da camada de persistncia que visa implementar um sistema de persistncia que automatiza o salvamento e recuperao de dados, o projeto da camada de aplicao e segurana que tem como objetivo manter a independncia entre a camada de domnio e a interface do software. Ocorre tambm o projeto da camada de interface contendo uma camada de apresentao que representa os objetos grficos da interface, e cujas responsabilidades se resumem em receber comandos dos usurios, e uma camada de aplicao que controla a lgica da interface, abrindo e fechando as janelas, habilitando botes. O processo de design de interfaces com o usurio acontece nas fases de concepo (saber das necessidades do usurio), no projeto da camada de aplicao e na fase de elaborao do sistema (quando se faz a expanso dos casos de uso). Existem outras abordagens para o processo de desenvolvimento de interfaces. Para Mandel (1997), o processo composto de cinco etapas cclicas (segundo o ciclo de vida de prototipao):
1. 2. 3. 4.

anlise de requisitos - anlise de usurios e de tarefas; concepo; especificao, com suas tcnicas associadas; prototipao;

5.

a avaliao e utilizao do prottipo pelos seus usurios, envolve testes de usabilidade e testes de comunicabilidade.

O ciclo de vida de prototipao aquele em que se constri um prottipo do sistema, ou seja, so verses do sistema que no possuem todos os recursos implementados ou no esto completamente funcionais. Existem prottipos verticais, nos quais alguns recursos so implementados na sua totalidade e prottipos horizontais, nos quais toda a interface implementada, mas no tem qualquer funcionalidade possvel de ser testada em situaes reais.

2.1.3 Interao Homem-Mquina

A interao homem-mquina o estudo do comportamento humano, da tecnologia computacional e das maneiras pelas quais estes influenciam um ao outro atravs de meios de comunicao que inclui o projeto, implementao e avaliao de interfaces. Segundo Rocha (2003), a interface homemmquina (IHM) trata do design de sistemas que auxiliem as pessoas a executarem atividades produtivamente e com segurana. Portanto, tem um papel no desenvolvimento de todo tipo de sistema, variando dos sistemas de controle de escritrio, at jogos, onde o envolvimento dos usurios o requisito bsico. O processo de design em IHM tem sido centrado no usurio e tem incorporado questes relativas ao modelo cognitivo do processamento humano. Ela se preocupa com o design, avaliao e implementao de sistemas computacionais interativos para uso humano e com o estudo dos principais fenmenos ao redor deles. A informao inserida na interface deve ser legvel, fcil de localizar e processar para que o usurio seja capaz de localizar a informao que necessita quando precisar. Deve ser possvel projetar boas interfaces cujos controles tm operaes bvias e provem um feedback imediato e til. 2.1.3.1 Objetivos da Interao Homem-Mquina

O objetivo principal a produo de sistemas usveis, seguros e funcionais. Dix (2004) apresenta trs palavras que precisam ser verdadeiras para o produto ser bem sucedido:

1. til fazer o que esperado; 2. usvel faz-lo fcil e naturalmente, sem risco de erros; 3. usado faz a pessoa utilizar, atrativo, deixa as pessoas engajadas. A aceitabilidade geral de um sistema a combinao da aceitabilidade prtica com a aceitabilidade social. Um exemplo de aceitabilidade social a forma de entrada em bancos. Apesar de serem seguros, no so aceitos socialmente pois levam as pessoas a esbarrarem na porta trancada por inmeras vezes at se desfazerem de todo objeto suspeito. A aceitabilidade prtica trata dos parmetros de custo, confiabilidade e compatibilidade com os sistemas existentes. A IHM tem que atender a todas estas categorias.

2.1.4 Engenharia Cognitiva

A cincia cognitiva o estudo da inteligncia humana, dede a percepo e ao at a linguagem e o raciocnio. O exerccio da inteligncia chamado de cognio. Entre as metas principais da engenharia cognitiva entender os princpios fundamentais da ao humana que so relevantes engenharia do design, criando sistemas agradveis de usar, que possibilitem ao usurio um engajamento prazeroso indo alm dos aspectos de facilidade de uso. A engenharia cognitiva uma rea de estudo multidisciplinar, que inclui estudos de neuropsicologia, psicologia, filosofia, antropologia, matemtica e economia. Estudos de cincia cognitiva so importantes para a rea de IHM, necessrio conhecer fatores humanos associados capacidade de memorizao, estratgias de soluo de problemas, mecanismos de reconhecimento de imagens, entre outros para a construo de interfaces que sejam bem adaptadas ao homem. Os seres humanos interagem com os dispositivos do mundo fsico para realizarem suas tarefas. Para serem realizadas, requerem a formulao mental de metas e intenes do ser humano, seguidas da especificao de uma seqncia de aes sobre os dispositivos fsicos, a execuo das aes, a percepo, interpretao e avaliao dos resultados. Para Rocha (2003), a engenharia cognitiva considera dois lados da interface, que so a do sistema e a do usurio. Quando uma pessoa possui um bom modelo conceitual do sistema fsico, o processo de realizao de tarefas complexas fica facilitado. A complexidade da tarefa devido a natureza de variveis envolvidas.

Para realizar uma determinada tarefa, uma pessoa possui metas e intenes variveis psicolgicas que se relacionam s necessidades da pessoa. Uma inteno criada para satisfazer uma meta. A diferena entre a meta desejada e o estado atual do sistema d origem a uma inteno, que traduzida em uma seqncia de aes. Segundo Oliveira Netto (2004), o projetista do sistema cria inicialmente o seu modelo mental do sistema, chamado de design, e este modelo passa a ser a imagem do sistema. A partir da implementao do modelo, o usurio comea a interagir com a imagem do sistema, criando o chamado modelo do usurio, que nada mais do que o modelo mental da aplicao. O modelo mental o que permite o usurio estabelecer suas intenes e seus objetivos relativos a comandos e funes do sistema. proposta uma teoria chamada de teoria da ao de Oliveira Netto (2004). Ela defende que a relao entre o usurio e sistema seja mantida durante o ciclo de ao de sete etapas, onde dois golfos de execuo devero ser transpostos. Um deles chamado de golfo de execuo, que abrange as etapas de definio de meta, da especificao das aes e atividades fsicas de execuo. J o golfo de avaliao deve ser superado por meio da percepo, da interpretao e da avaliao da meta. O problema de operao de dispositivos passa a ser como atravessar os golfos de execuo e de avaliao.

2.1.5 Modelos mentais

Para Craik citado por Rocha (2003), os modelos mentais so representaes na mente de situaes reais ou imaginrias. A mente constri um pequeno modelo da realidade e o utiliza para raciocinar, construir explicaes e antecipar eventos. Quanto maior o nmero de modelos mentais a serem criados para realizar uma tarefa, maior o seu grau de complexidade. Quanto mais o usurio conhecer o sistema, mas fcil ele formular um modelo mental, suas intenes, seqncia de aes e ser capaz de fazer um mapeamento entre as variveis psicolgicas e fsicas para executar uma tarefa. Para a realizao de qualquer tarefa, o ser humano constri um modelo mental dos objetos com os quais interagem. Modelos mentais so aplicveis a quase todas as interaes humanas com a natureza, e ainda interao com outros indivduos. Interagindo com o

ambiente, com outros e com artefatos tecnolgicos, as pessoas formam modelos mentais delas prprias e das coisas com os quais esto interagindo. Caractersticas dos modelos: so incompletos; evoluem constantemente; no so uma representao precisa; representa uma representao simples de algo mais complexo. As pessoas resolvem problemas usando informaes anteriores e conhecimento sobre problemas similares. Assim, ao operar um sistema computacional, o usurio forma um modelo mental de como o aplicativo funciona e como deve oper-lo, para obter um resultado esperado de sua ao sobre o sistema. Existem dois tipos de modelos mentais desenvolvidos pelos usurios que interagem com sistemas tecnolgicos: estrutural e funcional. No modelo estrutural o usurio memoriza o significado do sistema e como ele funciona. So usados para descrever a mecnica interna de uma mquina ou sistema em termos de suas partes componentes. Ao explicar como o sistema funciona o usurio prev os efeitos de seqncias de aes. So teis quando a mquina quebra ou ocorre algum erro na interao. J no modelo funcional os usurios sabem como operar o sistema, quais procedimentos realizar, mas sem entender muito bem a sua estrutura.

Ergonomia

A ergonomia definida como um conjunto de conhecimentos cientficos relativos ao homem e necessrios concepo de instrumentos, mquinas e dispositivos que possam ser utilizados com o mximo de conforto, segurana e eficcia. O princpio da ergonomia estudar a adaptao aos objetos e interfaces visando aumentar a produtividade e a satisfao das pessoas. Um problema de ergonomia identificado quando um aspecto da interface est em desacordo com as diretrizes para projeto de interao com o usurio. Para se desenvolver um sistema necessrio preocupar-se com a usabilidade e tambm com a ergonomia porque deve ser interativo e prover facilidades e conforto ao ser utilizado. Segundo Couto, (1999), os critrios ergonmicos visam avaliar a usabilidade da interface dos sistemas com a finalidade de identificar problemas de interao e apresentar solues ergonmicas para melhorar e ajustar seu projeto de acordo com as necessidades dos usurios.

3 PROCEDIMENTOS METODOLGICOS

3.1 Mtodos de avaliao de interfaces

3.1.1 Avaliao Heurstica

Segundo Rocha (1993), a Avaliao Heurstica feita atravs de uma inspeo da interface tendo como base uma lista de heursticas de usabilidade, e deve ser vista como parte do processo de design interativo de uma interface. Envolve um conjunto de avaliadores examinando a interface e julgando suas caractersticas segundo os princpios de usabilidade. A Avaliao Heurstica o tipo mais comum de inspeo. A interface a ser avaliada pode ser tanto uma especificao textual quanto um prottipo ou at mesmo um sistema j em produo. O avaliador dever percorrer toda a interface do sistema uma primeira vez, a fim de se familiarizar com o estilo de interao e obter uma viso global do sistema. Aps percorrer toda a interface, o avaliador anota os pontos em que uma ou mais heursticas de usabilidade no foram observadas, indicando o porqu do problema. Nielsen (2000) diz a importncia de se fazer o teste com vrios avaliadores, pois cada avaliador encontra problemas diferentes, melhorando significativamente os resultados obtidos na avaliao. A seguir, as 10 Heursticas de Nielsen (1993):

Dilogo simples e natural; Falar a lngua do usurio; Minimizar a carga de memria do usurio; Consistncia; Retorno; Sadas claramente marcadas; Atalhos; Boas mensagens de erro; Preveno de erros; Ajuda e documentao.

3.1.2 Percurso Cognitivo

Para Rocha (2003), o mtodo Percurso Cognitivo tem como objetivo avaliar uma interface quanto sua facilidade de aprendizado, particularmente por explorao. O foco no aprendizado foi motivado por estudos que apontavam que os usurios preferem aprender um software enquanto trabalham em suas tarefas usuais, adquirindo conhecimento conforme necessitam.

O avaliador simula um usurio utilizando a interface para executar tarefas tpicas. Tarefas mais frequentes so o ponto inicial, mas tarefas crticas como recuperao de erros tambm so analisadas.

3.1.3 Teste de usabilidade

Teste com usurios um mtodo fundamental de usabilidade. Visa medir em termos quantitativos o valor que o sistema atinge para fatores de usabilidade de interesse, tomados indidualmente. Os usurios so avaliados na prtica, e so medidos os valores de cada um dos fatores de usabilidade. Assim, com os resultados obtidos o avaliador pode observar se os valores obtidos satisfazem ou no as espectativas. Para a avaliao necessrio priorizar alguns fatores de usabilidade como: facilidade de aprendizado, facilidade de uso, preveno de erros, dentre outros. Segundo Rocha (2003), quase todas as formas de teste podem ser feitas nos mais diversos locais, desde que previamente preparados. Tambm no deve ser considerada uma condio a existncia de avaliadores experientes para efetuar um teste. Os testes de usabilidade apresentam as seguintes vantagens: Indicar as reaes dos usurios; mostrar os problemas ou as falhas do sistema; mostrar onde o sistema funciona bem; ajudar a avaliar as caractersticas do projeto e os conflitos; fornecer idias para o projeto atravs das sugestes dos usurios; promover a participao do usurio. 3.1.4 Avaliao Ergonmica de usabilidade

A aplicao de critrios ergonmicos ao projeto de avaliao de interfaces busca adaptar os sistemas s caractersticas dos usurios, procurando estabelecer uma soluo de compromisso entre a eficcia da interao, o conforto e a satisfao do usurio final. Segundo Bastien e Scapin (1993), os critrios ergonmicos constituem um conjunto de qualidades ergonmicas que as interfaces humano-computador deveriam apresentar.

A seguir, apresentado as caractersticas de cada critrio ergonmico: Conduo A conduo refere-se aos meios disponveis para aconselhar, orientar, informar, e conduzir o usurio na interao com o computador (mensagens, alarmes, rtulos, etc.). Participam da conduo quatro sub-critrios: - Presteza Fornecimento de informaes aos usurios sobre o estado ou contexto no qual o usurio se encontra, facilitando a navegao no aplicativo e diminuindo a ocorrncia de erros. - Feedback Respostas do sistema s aes dos usurios. Falta de feedback imediato pode fazer com que o usurio suspeite que o sistema apresenta erros. - Legibilidade Caractersticas lxicas das informaes apresentadas na tela que possam dificultar ou facilitar a leitura da informao (brilho do caracter, contraste da letra/fundo, tamanho da fonte, etc.). - Agrupamento/Distino de itens Ordenar corretamente os objetos na interface segundo critrios de similaridade entre os itens, ordem alfabtica e freqncia de uso. Carga de Trabalho O critrio Carga de Trabalho diz respeito a todos os elementos da interfaces que tm um papel importante na reduo da carga cognitiva e perceptiva do usurio, e no aumento da eficincia do dilogo. Est subdividido em dois critrios: - Brevidade Carga de trabalho perceptiva e cognitiva, tanto para entradas e sadas individuais, quanto para conjuntos de entradas. - Densidade Informacional Conjunto total de itens de informao apresentados aos usurios, e no cada elemento ou item individual. Controle Explcito O critrio Controle Explcito diz respeito tanto ao processamento explcito pelo sistema das aes do usurio, quanto do controle que os usurios tem sobre o processamento de suas aes pelo sistema. Se subdivide em dois critrios:

- Aes Explcitas do Usurio Relaes entre o processamento pelo computador e as aes do usurio. - Controle do Usurio Os usurios devem estar sempre no controle do processamento do sistema (interromper, cancelar, suspender e continuar). Adaptabilidade Capacidade do sistema em reagir conforme o contexto, e conforme as necessidades e preferncias do usurio. Sub-critrios: - Flexibilidade Meios colocados disposio do usurio que permite personalizar a interface a fim de levar em conta as exigncias da tarefa, de suas estratgias ou seus hbitos de trabalho. - Considerao da experincia do usurio A interface deve ser concebida para lidar com as variaes dos nveis de experincia. Gesto de erros Mecanismos que permitem evitar ou reduzir a ocorrncia de erros, e quando eles ocorrem, que favoream sua correo. Sub-critrios: - Proteo contra erros Mecanismos empregados para detectar e prevenir os erros de entradas de dados ou comandos, ou possveis aes de conseqncias desastrosas e/ou no recuperveis. - Qualidade das mensagens de erro Refere-se a pertinncia, a legibilidade e a exatido de informaes dada ao usurio sobre a natureza do erro cometido. - Correo de erros Meios colocados disposio do usurio com o objetivo de permitir a correo de seus erros. Coerncia Refere-se forma na qual as escolhas na concepo da interface so conservadas idnticas em contextos idnticos, e diferentes para contextos diferentes. Tem o propsito de manter o mesmo padro da interface do sistema. Devem ser mantidos os menus, a formatao, as aes, a localizao, entre outros, no mesmo contexto.

Significado dos Cdigos e Denominaes Adequao entre o objeto ou a informao apresentada ou pedida, e sua referncia. Termos pouco expressivos para o usurio podem ocasionar problemas de conduo onde ele pode ser levado a selecionar uma opo errada. Compatibilidade Acordo que possa existir entre as caractersticas do usurio e das tarefas, de uma parte, e a organizao das sadas, das entradas e do dilogo de uma dada aplicao, de outra.

3.1.5 Outros mtodos de Avaliao

Nielsen (1993) apresenta outros mtodos de avaliao de interfaces tais como a observao, entrevistas e questionrios.

3.1.5.1 Observao

Visitar os usurios e observ-los um mtodo extremamente simples de todos os mtodos de usabilidade, uma vez que envolve visitar um ou mais usurios e, em seguida, fazer o mnimo possvel de forma a no interferir com o seu trabalho. O observador pode tomar notas, e pode at no ser possvel a utilizao de vdeos em alguns ambientes. Durante a visita, o observador deve recusar qualquer pedido de assistncia, dando a explicao que ele est ali somente para observar a forma como os usurios trabalham e interagem com o sistema. Ao conduzir a observao, o observador dever ficar quieto a maior parte do tempo, tornando-se praticamente invisvel para os utilizadores, para que eles realizem os seus trabalhos e usem o sistema da mesma forma que normalmente fazem.

3.1.5.2 Questionrios e entrevistas

Muitos aspectos de usabilidade podem ser estudados simplesmente perguntando aos usurios. Atravs destes mtodos possvel medir a satisfao subjetiva e possveis preocupaes, o que seria difcil de ser avaliado objetivamente. Questionrios e entrevistas so mtodos teis para estudar como os usurios utilizam o sistema e quais as caractersticas que eles particularmente gostam ou no. A partir de uma perspectiva de usabilidade, questionrios e entrevistas so mtodos indiretos, uma vez que no estudam a interface em si, mas sim o valor que ela representa para o usurio. Segundo Marconi (2002), uma entrevista corresponde ao encontro de duas pessoas, a fim de que uma delas obtenha informaes a respeito de determinado assunto, mediante uma conversao de natureza profissional. Ela serve para averiguar fatos, determinar opinies, determinar sentimentos, descobrir planos de ao, inferir conduta passada e futura, descobrir porque e quais fatores podem influenciar opinies, sentimentos, sistemas e condutas. Trata-se, portanto, de uma conversao face a face e quando realizada por entrevistadores experientes muitas vezes superior a outros sistemas de obteno de dados. A aplicao de questionrios um instrumento de coleta de dados constitudo por uma srie ordenada de perguntas, que devem ser respondidas por escrito ou virtualmente, sem a presena do entrevistador. Apresenta praticidade e abrange grande quantidade de membros da amostra. Em geral, o pesquisador envia o questionrio pelo correio ou por um portador, e depois de preenchido, o pesquisado devolve do mesmo modo. Junto do questionrio deve conter a explicao da natureza da pesquisa, sua importncia e a necessidade da obteno da resposta, para despertar o interesse do recebedor para que o mesmo o preencha e devolva dentro do prazo razovel. Os questionrios so provavelmente o nico mtodo de usabilidade que abrange uma cobertura maior de participantes, com a possibilidade de descobrir as diferenas entre as diversas categorias de usurio, bem como as necessidades especficas dos mesmos. Na prtica, questes abertas onde os usurios podem escrever a sua prpria resposta em linguagem natural, podem ser difceis de interpretar. Recomenda-se a utilizao de questionrios mais curtos, a fim de maximizar a taxa de resposta. Questionrios que possuem poucas pginas tm uma chance muito maior de serem preenchidos pelos usurios. A seguir, apresentado um quadro mostrando as vantagens e desvantagens dos mtodos de entrevistas e questionrios.

Mtodo Entrevista

Vantagens Pode ser utilizada por analfabetos ou alfabetizados; fornece uma melhor amostragem da populao geral; flexibilidade, permitindo repetio de perguntas; observao de reaes e gestos; informaes mais precisas.

Desvantagens Dificuldade de expresso e comunicao; incompreenso do significado das perguntas da pesquisa; possibilidade do entrevistado ser influenciado pelo entrevistador; reteno de alguns dados importantes; ocupa muito tempo e difcil de ser realizada. Percentagem pequena de questionrios que voltam; grande nmero de perguntas sem respostas; no pode ser aplicado a pessoas analfabetas; dificuldade de compreenso; devoluo tardia; nem sempre escolhido quem responde ao questionrio.

Questionrio

Economia de tempo, viagens e pessoal; atinge maior nmero de pessoas simultaneamente; abrange uma rea geogrfica mais ampla; obtm respostas rpidas e precisas; maior liberdade nas respostas, segurana; h maior tempo para responder; menos risco de distoro, no sendo influenciado pelo entrevistador.

Quadro1: Vantagens e desvantagens dos mtodos de pesquisa Fonte: VERGARA, 2006

4 COLETA DE DADOS

Para verificar a usabilidade do sistema foi escolhido o produto SAGA MILLENIUM por abranger toda a parte de gerenciamento do armazm, utilizando duas tcnicas na avaliao: teste com usurios e a aplicao de questionrio. O teste com usurios o mtodo mais fundamental de usabilidade, uma vez que proporciona informao direta sobre a forma que as pessoas utilizam computadores e quais so os problemas encontrados na interface a ser testada. A aplicao do questionrio necessria para identificar a satisfao subjetiva dos usurios, apresenta praticidade e abrange grande quantidade de membros da amostra. Esto entre as tcnicas mais utilizadas, devido ao seu baixo custo e a possibilidade de detectar o

grau de falhas. Para a aplicao do questionrio foi necessrio aplicar primeiramente um teste piloto.

4.1 Teste piloto

O teste piloto um pr-teste, ou seja, um teste realizado antes da aplicao do questionrio propriamente dito. importante para o avaliador observar se o questionrio est bem estruturado e se algo deve ser mudado. Foi realizado um teste piloto aplicando o questionrio a 5 usurios do sistema, sendo trs usurios mais experientes e trs usurios com poucos meses de utilizao. Todos os usurios no tiveram dvidas em relao ao preenchimento do questionrio, mas trs deles apresentaram sugestes em relao s opes de resposta. Aps o teste piloto, algumas alteraes foram realizadas e as opes de resposta para avaliar o grau de satisfao foram modificadas.

4.2 Aplicao do questionrio

O teste de usabilidade em formato de questionrio (Apndice E), foi enviado a 34 usurios do sistema atravs de correio eletrnico. Dentre os questionrios enviados 25 responderam. Alm de medir a satisfao subjetiva dos usurios, tambm contribuiu para identificar vrios fatores de usabilidade: utilizao / aprendizado, desempenho / produtividade, erros, feedback, facilidade de uso e ajuda. Para calcular a nota mdia obtida em cada fator de usabilidade, necessrio somar os pontos obtidos em cada questo, dividir o resultado pela multiplicao do nmero de usurios com o nmero de questes. Escala:

Discordo Totalmente = 0 Discordo = 1 Neutro = 2 Concordo = 3 Concordo Completamente = 4 O questionrio possui 6 questes para identificar o perfil do usurio participante e 23 questes para verificar a usabilidade e satisfao.

4.3 Desenvolvimento do Teste com usurios

O teste foi realizado na empresa S&A Sistemas durante um perodo total de 1 hora e 30 minutos. As tarefas escolhidas foram os processos de expedio e recebimento de mercadorias, por se tratarem de tarefas de extrema importncia e grande utilizao. O teste foi aplicado a quatro usurios do sistema, sendo um usurio mais experiente, com mais de um ano de utilizao; dois usurios iniciantes com menos de dois meses de utilizao e um usurio que utiliza o sistema casualmente. Foram escolhidos somente estes quatro usurios do sistema porque os demais usurios residem em outros estados como Rio de Janeiro, So Paulo, dentre outros. Primeiramente, foi disponibilizada a cada participante uma carta de consentimento (Apndice A), contendo uma explicao introdutria sobre o processo, o propsito da pesquisa e uma assinatura do participante dando seu consentimento em participar do teste. Logo em seguida, foi entregue um roteiro (Apndice B), informando quais tarefas deveriam ser realizadas e enfatizando que o sistema que estava sendo avaliado, e no o participante. Anexado ao roteiro estava a lista de tarefas (Apndice C), contendo a descrio detalhada de cada tarefa. Durante o teste, os acontecimentos que foram observados pelo avaliador foram registrados em formulrio prprio (Apndice D). Para auxiliar na captura de telas durante a interao, foi utilizado o software gratuito CamStudio, gravando em vdeo todas as atividades e ajudando na contabilizao do tempo gasto para a realizao das tarefas.

4.3.1 Funes avaliadas

O teste de usabilidade com os usurios foi realizado com o foco direcionado a duas funes essenciais: expedio e recebimento de mercadorias.

4.3.1.1 Funo Expedio de Mercadorias

Trata-se de uma tarefa essecial do sistema no qual o usurio realiza o processo de expedio da mercadoria, retirando-a do armazm e levando para o carregamento nos caminhes. Basicamente, a tarefa pode ser sintetizada nos seguintes passos: Cadastrar um pedido de expedio (venda). Gerar lote de expedio com os respectivos pedidos de venda. Realizar as movimentaes de paletes para carregamento. Realizar a conferncia de separao. Associar o lote gerado ao veculo. Realizar a entrada do veculo atravs do mdulo de portaria. Gerar a conferncia de carregamento. Realizar a sada do veculo atravs do mdulo de portaria.

4.3.1.2 Funo Recebimento de Mercadorias

A tarefa de receber mercadorias tambm de extrema importncia no sistema. Atravs desta funcionalidade o usurio pode receber os itens que foram descarregados do caminho e fazer o devido armazenamento no depsito. A seguir, apresentado os passos na realizao desta tarefa: Cadastrar um pedido de recebimento.

 Realizar a entrada do veculo na portaria. Fazer a conferncia de recebimento. Sair com o veculo na portaria. Abrir o Supervisor e realizar as movimentaes de paletes para armazenagem.

5 ANLISE DOS DADOS

5.1 Anlise do teste com usurios

5.1.1 Tempo de Execuo das Tarefas

Todos os 4 usurios tiveram sucesso na execuo das tarefas. A Tabela 1 mostra as medidas de tempo de execuo das duas tarefas realizadas no teste de usabilidade pelos usurios, e o valor mdio das medidas coletadas.

TABELA 1 Tempo de Execuo das Tarefas em Minutos por Usurio Usurio Experiente Casual Com pouca experincia 1 Com pouca experincia 2 Mdia
Fonte: Dados da Pesquisa

Tarefa de Recebimento 10 14 8 8 10

Tarefa de Expedio 8 10 11 12 10,25

5.1.2 Nmeros de Erros na Execuo das Tarefas

A Tabela 2 mostra o nmero de erros das 2 tarefas realizadas no teste de usabilidade.

TABELA 2 Nmero de Erros Cometidos por Usurio Usurio Experiente Casual Com pouca experincia 1 Com pouca experincia 2
Fonte: Dados da Pesquisa

Tarefa de Recebimento 2 5 2 1

Tarefa de Expedio 0 2 3 6

Usurio Experiente O Usurio mais experiente cometeu 2 erros no recebimento de mercadorias, apesar de j utilizar o sistema h mais de 1 ano. Um dos erros cometidos foi na tela do Mdulo Papel no recebimento de mercadorias, no qual ao invs de clicar no boto fechar Lote, clicou no boto fechar produto exibindo uma mensagem de erro. O segundo erro foi nesta mesma tela na hora de conferir a segunda mercadoria, clicou no boto fechar Lote ao invs de clicar primeiro no boto Gerar para gravar as informaes. Isso justifica o maior tempo gasto na realizao desta tarefa em relao aos dois usurios menos experientes, pois foi necessrio solucionar duas ocorrncias antes de finalizar as operaes.

Figura 1: Tela de recebimento de mercadorias Fonte: S&A Sistemas, 2008

Uma sugesto para amenizar erros deste tipo seria a de colocar informaes nos botes quando o usurio posicionar o mouse sobre um dos botes, facilitando a compreenso da finalidade de cada um. Usurio Casual O usurio que utiliza casualmente o sistema fez a operao de expedio de mercadorias em um tempo satisfatrio em relao ao tempo do usurio experiente. Um dos erros cometidos foi na tela de gerao de Lote, quando ao tentar gerar a rede de expedio, no selecionou o Lote a ser gerado.

Figura 2: Tela de Gerao do Lote Fonte: S&A Sistemas, 2008

Para amenizar este tipo de erro, o ideal seria colocar a caixa de seleo do grid na frente no nmero do lote, para que o usurio no esquea de selecionar o lote antes de gerar a rede de expedio. Na tarefa de expedio, o segundo erro foi na tela de portaria no momento de dar sada do veiculo. O usurio selecionou primeiramente o Lote e esqueceu de atribuir um veculo ao mesmo, exibindo uma mensagem de erro. O primeiro erro cometido na operao de recebimento foi no momento de inserir a mercadoria na tela de cadastro de pedido. O usurio selecionou a mercadoria e no colocou a embalagem necessria para inserir o pedido, impossibilitando o fechamento do mesmo. Nesta mesma tela, o usurio cometeu o segundo erro esquecendo de inserir o proprietrio, fornecedor e a transportadora. O terceiro erro foi tambm nesta tela o qual no selecionou o separador de carga. O quarto erro foi na tela do Mdulo Papel na hora de conferir o recebimento, esquecendo de selecionar primeiramente a altura do dispositivo antes de clicar no boto gerar. O quinto erro foi nesta mesma tela que tambm no selecionou o tipo de embalagem da mercadoria e tentou clicar no boto gerar. Pelo fato do usurio ter cometido o

maior nmero de erros na execuo da tarefa de recebimento, por no lembrar a seqncia de operao de todos os processos, foi o que mais demorou na execuo desta tarefa. Usurio com pouca experincia 1 O usurio pouco experiente no momento em que cadastrava o pedido de expedio, no selecionou a embalagem da mercadoria gerando o primeiro erro na realizao da tarefa de expedio. O segundo erro foi o mesmo cometido pelos usurios casual e com pouca experincia 2, no momento da gerao do lote, o usurio esqueceu de selecionar na caixa de seleo do grid, o lote a ser gerado. O terceiro e ltimo erro cometido por este usurio foi na tela de portaria, ele no associou um crach para o motorista no momento de dar entrada no veculo. O usurio ficou um pouco confuso em relao a mensagem exibida: No existe veculo associado, para que este lote seja carregado. Uma sugesto seria modificar esta mensagem: Para que o lote seja carregado, associe um crach para que o usurio saiba o erro que cometeu. Na tarefa de recebimento de mercadorias, o usurio levou pouco tempo na sua realizao, pelo fato de ter cometido apenas 2 erros na sua execuo. Os dois erros cometidos foram na tela de portaria, no atribuindo o municpio placa do veculo e deixando de colocar a identificao do motorista. Uma sugesto de melhoria nesta tela seria a de colocar um filtro por lote e por pedido, facilitando e agilizando a execuo das operaes nesta tela. No momento, os usurios gastam muito tempo tentando localizar o seu lote ou pedido cadastrado.

Figura 3: Tela de portaria Fonte : S&A Sistemas, 2008

Usurio com pouca experincia 2 O usurio pouco experiente 2 , cometeu o primeiro erro comeando a tarefa de expedio de mercadorias pela tela de cadastro de pedidos, esquecendo de consultar primeiro o estoque das mercadorias a serem utilizadas no teste. O usurio ficou um pouco confuso no momento de abrir o relatrio de estoque por endereo, abrindo por engano o relatrio de Endereo Armazenagem X Caractersticas. Assim como o usurio casual, no selecionou a embalagem da mercadoria no momento da criao do pedido, ocasionando o segundo erro na execuo desta tarefa. O terceiro erro nesta tela foi tentar confirmar o pedido sem antes informar a quantidade da mercadoria a ser recebida. O quarto erro foi o mesmo cometido tambm pelo usurio casual. No momento da gerao do lote o usurio esqueceu de selecionar na caixa de seleo do grid, o lote a ser gerado. Na tela de portaria na hora de dar sada do veculo, o usurio selecionou primeiramente o Lote e esqueceu de atribuir um veculo ao mesmo, exibindo a quinta mensagem de erro. Nesta mesma tela, o usurio clicou no boto

errado ao dar sada com o veculo na portaria, clicando no boto sada do veculo da monitorao ao invs de simplesmente dar sada no mesmo, ocasionando a o sexto erro nesta tarefa. O usurio com pouca experincia 2 foi o que mais cometeu erros na execuo da tarefa de expedio de mercadorias, motivo pelo qual demorou mais tempo na sua realizao. O nico erro cometido na tarefa de recebimento de mercadorias foi o esquecimento de inserir a quantidade a ser recebida das mercadorias na tela de criao de pedido. Isso justifica o fato de ter realizado a tarefa em um tempo hbil. H uma observao importante a ser feita na tela do Mdulo Papel no momento de consultar o mapa de servios. Os usurios ficaram um pouco confusos em qual boto selecionar para realizar as tarefas. Uma sugesto de melhoria para esta tela seria a de colocar informaes adicionais nestes botes, quando o usurio passar o mouse em cima dos mesmos ele exibiria a sua funcionalidade, facilitando a realizao das tarefas.

Figura 4: Tela Mapa de Servios Fonte: S&A Sistemas, 2008

Pode-se observar que no houve muita diferena dos tempos de execuo das tarefas dos usurios iniciantes em relao ao usurio experiente, portanto, o sistema no apresenta grandes dificuldades em ser operado e aprendido, proporcionando eficincia na realizao das tarefas. Outra observao importante que os usurios tiveram dificuldades em relembrar alguns passos ao realizar as tarefas, necessitando de algumas melhorias no sistema em relao a capacidade de memorizao, pois ocasionou a maioria dos erros cometidos pelos usurios.

5.2 Anlise das respostas obtidas no questionrio

5.2.1 Identificao do perfil dos usurios

5.2.1.1 Grau de escolaridade

O grfico da figura abaixo, mostra que 52% dos usurios que preencheram o questionrio possuem o superior incompleto e 40% superior completo.

Grau de Escolaridade
60% 50% 40% 30% 20% 10% 0% Ensino Fundamental Ensino Medio Superior Incompleto Superior Completo Outros

Figura 5: Grau de Escolaridade Fonte: Dados da pesquisa

5.2.1.2 Faixa de idade

A maior parte dos usurios que fizeram parte da pesquisa, so jovens de 18 a 28 anos de idade, conforme demonstra a figura do grfico abaixo.

Faixa de idade
80% 70% 60% 50% 40% 30% 20% 10% 0% 18-28 Anos 29-39 Anos 39-49 Anos Acima de 50 Anos

Figura 6: Faixa de idade Fonte: Dados da pesquisa

5.2.1.3 Gnero

O gnero predominante na pesquisa foi os usurios do sexo masculino, cerca de 84%.

Gnero

Feminino Masculino

Figura 7: Gnero Fonte: Dados da pesquisa

5.2.1.4 Experincia com o sistema

O grfico da figura abaixo mostra que a maioria dos usurios participantes possui muita experincia com o sistema e apenas uma pequena parte possui menos de 1 ano de utilizao do sistema.
Experincia com o sistema

Menos de 1 Ano 1 Ano Mais de 1 Ano

Figura 8: Experincia com o sistema Fonte: Dados da pesquisa

5.2.1.5 Conhecimento em Tecnologia

Apenas 4% dos usurios participantes possuem pouco conhecimento em tecnologia e 60% possuem conhecimento mdio em tecnologia.

Conhecimento em tecnologia
70% 60% 50% 40% 30% 20% 10% 0% Pouco Mdio Alto

Figura 9: Conhecimento em tecnologia Fonte: Dados da pesquisa

5.2.1.6 Frequncia de utilizao do sistema

A maioria dos usurios que responderam a pesquisa usa o sistema diariamente e apenas 12% utiliza ocasionalmente, conforme pode-se observar no grfico abaixo.

Frequncia de utilizao do sistema

90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Diria Semanal Mensal Ocasionalmente

Figura 10: Freqncia de utilizao do sistema Fonte: Dados da pesquisa

5.2.2 Fatores de usabilidade

Nota mdia
4,00 3,50 3,00 Nota mdia 2,50 2,00 1,50 1,00 0,50 0,00 Atributos de Usabilidade Utilizao/Aprendizado Desempenho/Produtividade Erros Feedback Facilidade de uso Ajuda

Figura 11: Fatores de usabilidade Fonte: Dados da pesquisa

Em seguida, apresentado o clculo realizado para obter os resultados. Esta equao de autoria da pesquisadora, que obteve a nota mdia em cada fator de usabilidade somando os pontos obtidos em cada questo e dividindo o resultado pela multiplicao do nmero de usurios com o nmero de questes. Nota mdia = Total de pontos alcanado / (N usurios * N questes) Utilizao /Aprendizado = 324 / (25 * 5) = 2,59 Desempenho /Produtividade = 239 / (24,5 * 4) = 2,43 Erros = 133 / (25 * 3) = 1,77 Feedback = 170 / (25 * 3) = 2,27 Facilidade de uso = 337 / (25 * 5) = 2,70 Ajuda = 71 / (25 * 2) = 1,42 Mdia Total = (2,59 + 2,43 + 1,77 + 2,27 + 2,70 + 1,42) / 6 = 2,20 Atravs das respostas obtidas no questionrio pode-se observar que o sistema apresenta grande facilidade de uso e aprendizado, pois tiveram as maiores notas, o que tambm pde ser verificado no teste realizado com os usurios. Uma desvantagem que o sistema apresenta pouca ajuda na realizao das tarefas, pois obteve uma mdia de pontos muito pequena 1,42. Na maioria das respostas os usurios responderam que no utilizam o manual do sistema e que o sistema no possui mensagens de ajuda para realizar as tarefas. Em relao ao desempenho/produtividade os usurios atriburam uma nota mdia de 2,43. Este resultado indica que o tempo de resposta e a velocidade com que as informaes so atualizadas na tela so adequados. Para realizar o clculo foi utilizado o nmero de usurios = 24.5 porque 2 usurios no preencheram uma questo. O fator de usabilidade relacionado aos erros obteve uma nota mdia pequena cerca de 1,77. Segundo as respostas obtidas as mensagens de erro no ajudam a resolver os problemas e so de difcil entendimento. O feedback obteve uma mdia de 2,27. Este resultado indica que a maioria dos usurios atriburam uma nota entre 2 a 3 para este atributo de usabilidade, afirmando que as mensagens apresentadas na tela no so confusas e os resultados so fceis de entender.

5.2.3 Satisfao

Em relao a satisfao ao utilizar o sistema, 66,67% dos usurios responderam que esto satisfeitos em utilizar o sistema e apenas 8,33% esto muito pouco satisfeitos, conforme demonstra o grfico da figura abaixo.

Satisfao
70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% Muito pouco satisfeito Pouco satisfeito Mais ou menos satisfeito Satisfeito Muito satisfeito

Figura 12: Satisfao Fonte: Dados da pesquisa

5.3 Sugestes de melhoria

As sugestes de melhoria propostas pela pesquisadora foram obtidas durante a observao da interao dos usurios com o sistema. Na tela do Mdulo Papel poderiam ser inseridas informaes nos botes, na operao de recebimento de mercadorias, para que quando o usurio posicionasse o mouse sobre um dos botes fosse exibida a sua finalidade, facilitando a operao caso o usurio no lembrasse em qual boto clicar. Tambm no Mdulo Papel na tela principal, seria necessrio inserir

informaes nos botes de consulta do mapa de servios, pois os usurios ficam confusos em qual boto selecionar para realizar as tarefas. Para amenizar os erros cometidos na tela de gerao do lote de expedio, o ideal seria colocar a caixa de seleo do grid na frente do nmero do lote, facilitando a visualizao e fazendo com que o usurio no se esquea de selecionar o lote antes de gerar a rede de expedio. Uma sugesto de melhoria na tela de portaria seria colocar um filtro por lote e por pedido, facilitando e agilizando a execuo das operaes nesta tela, pois no momento os usurios gastam muito tempo tentando localizar o seu lote ou pedido cadastrados. Os fatores de usabilidade Ajuda e Erros merecem uma ateno importante, pois no tiveram um resultado satisfatrio. O sistema necessita de mensagens de ajuda na realizao das tarefas, bem como tambm mensagens que ajudem a resolver os problemas caso o usurio cometa algum erro na operao. As mensagens de erro devem ser mais claras e de fcil entendimento para que o usurio no necessite consultar o suporte para saber o que ocasionou o erro e tentar resolv-lo caso o erro seja operacional. Atravs destas melhorias pode-se facilitar ainda mais o uso do sistema e aumentar a capacidade de memorizao, pois os usurios tiveram dificuldades em relembrar alguns passos ao realizar as tarefas.

6 CONCLUSES

Com a realizao deste trabalho, buscou-se identificar as falhas de usabilidade do sistema SAGA e propor melhorias, bem como tambm avaliar a utilizao das interfaces, considerando aspectos como a satisfao subjetiva dos usurios. Para obter os resultados, foram realizados um teste de usabilidade com 4 usurios do sistema e o envio de um questionrio via meio eletrnico. Atravs do teste realizado com os usurios e com a aplicao do questionrio, chegouse a concluso que o sistema apresenta boa facilidade de aprendizado, uso e eficincia, pois o mesmo no apresentou grandes dificuldades na operao, bem como tambm obteve as maiores notas nesses atributos. Em relao a capacidade de memorizao, observou-se que os usurios apresentaram dificuldades em relembrar alguns passos a serem realizados na execuo das tarefas, o que pde ser verificado pelo nmero de erros cometidos. Com os resultados obtidos do questionrio, pde-se verificar que dois fatores de usabilidade merecem destaque e reviso: Ajuda e Erros, pois obteram as menores notas 1,42 e 1,77 respectivamente. Os usurios atriburam uma nota mdia de 2,27 para o fator de usabilidade feedback, concluindo-se que o sistema apresenta mensagens de fcil entendimento e resultados satisfatrios. Atravs das respostas obtidas, O grau de satisfao foi de 66,67%, o que indica que os usurios esto satisfeitos com o sistema, ou seja, gostam de utilizar o sistema. Ao final do trabalho foi apresentada uma lista de melhorias para o sistema, contribuindo para facilitar o uso do sistema e aumentar a capacidade de memorizao. De uma maneira geral, pde-se perceber aps a realizao desta avaliao, que o sistema no apresenta srios problemas de usabilidade, fazendo uso das recomendaes e critrios de usabilidade e ergonomia. Contudo, ainda existem pontos que podem ser melhorados, sendo de extrema importncia ter sermpre em mente um processo de melhoria contnua da usabilidade, visto que as exigncias dos usurios esto cada vez maiores e mudam com o passar do tempo.

6.1 Trabalhos futuros

Com base na pesquisa realizada, pode-se fazer algumas sugestes para trabalhos futuros:

Aplicao das mesmas tcnicas de avaliao nos demais mdulos do sistema, para verificar os pontos fracos e fortes de cada um e propor melhorias, assim como foi realizado no mdulo utilizado na pesquisa.

Execuo de uma nova avaliao, desta vez utilizando outra tcnica de avaliao, como por exemplo, a elaborao de um checklist contendo as diversas heursticas de Nielsen (1993).

Aplicar as sugestes de melhoria que foram propostas no trabalho e fazer uma comparao dos resultados obtidos, atravs de outra avaliao a ser realizada depois que as melhorias forem implantadas.

REFERNCIAS BIBLIOGRFICAS

ACEVEDO, Claudia Rosa; NOHARA, Jouliana Jordan. Monografia no curso de administrao: guia completo de contedo e forma. So Paulo: Atlas, 2004. ANDRADE, Lisandra. Desenvolvimento de interfaces ergonmicas para ambientes de ensino a distncia. Disponvel em: <http://www.abed.org.br/congresso2002/trabalhos/texto08.htm> Acesso em 29 fev.2008. BASTIEN; SCAPIN. Critrios Ergonmicos. 1993. Disponvel em: <http://www.labiutil.inf.ufsc.br/CriteriosErgonomicos/Abertura.html> Acesso em 29 fev.2008. BOOCH, G; JACOBSON, I; RUMBAUGH, J. The unified software development process. Reading, MA: Addison-Wesley, 1999. COUTO, Ione C. Avaliao ergonmica de interfaces da urna eletrnica com o eleitor utilizada no processo eleitoral municipal brasileiro de 1996. 1999. Dissertao (Mestrado em Engenharia de Produo) Universidade Federal de Santa Catarina. CYBIS, Walter de Abreu. Engenharia de Usabilidade: uma abordagem ergonmica. Florianpolis, 2003. Disponvel em: http://www.labiutil.inf.ufsc.br/apostila.htm. Acesso em 02 mar.2008. DIX, Alan; FINLAY, Janet; ABOWD, Gregory; D.BEALE, Russel. Human-Computer Interaction. 3. ed. Prentice Hall, 2004. GIL, Antnio Carlos. Como elaborar projetos de pesquisa. 4. ed. So Paulo: Atlas, 2002. 175 p. MARCONI, Marina de Andrade; LAKATOS, Eva Maria. Tcnicas de pesquisa: planejamento e execuo de pesquisas, amostragens e tcnicas de pesquisa, elaborao, anlise e interpretao de dados. 5. ed. rev. ampl. So Paulo: Atlas, 2002. 282p. MANDEL, Theo. The elements of user interface design. New York: John Wiley & Sons, 1997.

NIELSEN, Jakob. Designing Web Usability. Indianapolis, Indiana USA: New Riders Publishing, 2000. NIELSEN, Jakob. Usability Engineering. San Diego: Academic Press, 1993. OLIVEIRA NETTO, Alvim Antnio de. IHC - Interao Humano Computador: modelagem e gerncia de interfaces com o usurio. So Paulo: Visual Books, 2004. 120 p. PAULA FILHO, Wilson de Pdua. Engenharia de software: fundamentos, mtodos e padres. Rio de Janeiro: LTC, 2003. PRATES, Raquel Oliveira; BARBOSA, Simone Diniz Junqueira. Avaliao de Interfaces de Usurio: Conceitos e mtodos. Disponvel em : <http://homepages.dcc.ufmg.br/~rprates/ge_vis/cap6_vfinal.pdf> Acesso em 29 fev.2008. PREECE, Jennifer. Design de interao: alm da interao homem-computador. Porto Alegre: Bookman, 2005. ROCHA, Helosa Vieira da; BARANAUSKAS, Maria Ceclia Calani. Design e avaliao de interfaces humano-computador. Campinas: Unicamp, Nied, 2003. 244p. VERGARA, Sylvia Constant. Projetos e relatrios de pesquisa em administrao. 7. ed. So Paulo: Atlas, 2006. 96p.

APNDICES

APNDICE A Carta de Consentimento

Muito Obrigada por participar deste teste. O objetivo avaliar a interface do sistema SAGA MILLENIUM. Voc utilizar o sistema para realizar as tarefas de expedio e recebimento de mercadorias. Peo por gentileza que pense em voz alta enquanto estiver realizando a tarefa. Estarei registrando a interao atravs de um software de captura de vdeo. Sua identidade permanecer preservada. Agora, necessito que voc revise e assine este formulrio de consentimento. Por gentileza, avise se houver alguma dvida a respeito. Carta de Consentimento Afirmo que sou maior que 18 anos e desejo participar do programa de pesquisa que est sendo conduzido pela Patrcia Fonseca Siqueira. O propsito da pesquisa avaliar a usabilidade do sistema Saga de Gerenciamento de Armazns desenvolvido pela empresa S&A Sistemas. Tambm responderei a um questionrio no final da avaliao. Todas as informaes coletadas neste estudo so confidenciais, e meu nome no ser identificado em momento algum. Estou ciente de que posso fazer perguntas ou desistir da colaborao em qualquer momento, sem qualquer tipo de penalidade. _____________________________ Assinatura do participante _____________ Data

APNDICE B Roteiro do teste

A finalidade de nossa tarefa, hoje, explorar a interface do produto a fim de identificar recursos que possam ser melhorados. Sintam-se vontade para trabalhar na tarefa em um ritmo que lhes seja normal e confortvel. Estarei registrando o tempo que vocs levam para realizar a tarefa, mas no se sintam pressionados. Voc poder fazer perguntas, mas eu no poderei respond-las. Isto ocorrer porque necessrio verificar como voc utiliza o sistema de forma independente. Agora, voc dar incio ao teste. Tarefa: Cadastre um pedido de expedio e execute os servios via Mdulo Papel, depois finalize todo o processo. Por favor, a cada passo que voc der, diga o que est fazendo e verbalize qualquer dvida, pois isto ajudar ao avaliador anotar a ocorrncia e a razo de problemas. Lembre-se: o sistema que est sendo avaliado e no voc. Portanto, no h problema se a tarefa no for realizada completamente. Voc tem alguma pergunta? Agradeo sua colaborao.

APNDICE C Descrio das tarefas Descrio do processo de expedio de mercadorias 1 Cadastre um pedido de expedio utilizando duas mercadorias que possuem estoque (utilize para isso o relatrio de estoque por endereo) 2 - Gerar lote de expedio com o respectivo pedido de venda; 3 - Realizar as movimentaes de paletes para carregamento utilizando o MduloPapel; 4 - Atividades de Movimentao: 4.1 - Atividade de Apanha / Separao; 4.2 - Atividade de Apanha / Separao Palete; 5 - Realizar a conferncia de separao via MduloPapel; 6 - Associar o lote gerado ao veculo; 7 - Realizar a entrada do veculo atravs do mdulo de portaria; 8 - Fazer a conferncia de carregamento via MduloPapel; 9 - Realizar a sada do veculo.

Descrio do processo de recebimento de mercadorias 1 Cadastre um pedido de recebimento utilizando duas mercadorias quaisquer 2 Realize a entrada do veculo na portaria 3 Faa a conferncia de recebimento utilizando o MduloPapel 4 Realizar a sada do veculo da portaria 5 Abrir o Supervisor e realizar as movimentaes de paletes para armazenagem utilizando o MduloPapel

APNDICE D Formulrio utilizado pelo avaliador Coleta de Dados pelo Avaliador O objetivo deste documento ser utilizado pelo avaliador para a coleta manual de informaes originadas da observao do participante durante o teste de usabilidade do sistema SAGA MILLENIUM. Data e hora do incio do teste: ___/___/____ Data e hora de fim do teste: ___/___/____ Perfil do participante: _______________ ___h___min ___h___min

Tarefa Expedio Recebimento

Tempo gasto na realizao da tarefa

Nmero de erros cometidos

Sucesso? (S/N)

Observaes acerca da compreenso em relao s mensagens, cones, smbolos, vocabulrio:

Observaes gerais:

APNDICE E Questionrio de avaliao da usabilidade do sistema SAGA

Questionrio de Avaliao de Usabilidade do sistema SAGA

Marque com um X a opo correta Escolaridade Ensino Fundamental Ensino Mdio Superior incompleto Superior completo Outros: ______________________________________________________________________ Faixa de idade 18-28 29-39 39-49 Acima de 50

______________________________________________________________________ Gnero Masculino Feminino

______________________________________________________________________ Experincia com o sistema Menos de 1 Ano 1 Ano Mais de 1 Ano

______________________________________________________________________ Conhecimento em Tecnologia Pouco Mdio Alto

______________________________________________________________________

Freqncia de utilizao do sistema

Diria

Semanal

Mensal

Ocasionalmente

______________________________________________________________________

Marque com um X a resposta que considerar mais apropriada para cada afirmao

UTILIZAO / APRENDIZADO

AFIRMAO

Discordo totalment e

Discordo Neutro Concordo

Concordo Totalmente

A interface fcil de ser aprendida. As telas apresentam as informaes necessrias para realizar as tarefas. As letras que aparecem nas telas possuem um tamanho adequado. fcil relembrar os nomes e uso dos comandos. Os cones so legveis e de fcil entendimento.

DESEMPENHO / PRODUTIVIDADE

AFIRMAO

Discordo totalment e

Discordo

Neutro

Concordo

Concordo Totalmente

possvel deslocar de um menu para outro rapidamente. Ao utilizar o sistema voc fica mais produtivo. A velocidade com que a tela atualizada com informaes rpida o bastante. O tempo de resposta de uma ao aceitvel.

ERROS

AFIRMAO

Discordo totalment e

Discordo Neutro Concordo

Concordo Totalmente

As mensagens de erro ajudam a resolver os problemas. No ocorrem falhas no sistema freqentemente. As mensagens de erro so de fcil entendimento.

FEEDBACK

AFIRMAO

Discordo totalment e

Discordo Neutro Concordo

Concordo Totalmente

As mensagens apresentadas na tela no so confusas. Os resultados apresentados no so confusos e difceis de entender. O sistema me mantm informado sobre o sucesso ou fracasso de uma ao demorada. FACILIDADE Discordo totalment e

AFIRMAO

Discordo

Neutro

Concordo

Concordo Totalmente

fcil encontrar as informaes. Os ttulos das telas, janelas e caixas de dilogo so claros e fceis de entender. O vocabulrio utilizado fcil de entender. Os resultados dos relatrios so legveis e fceis de entender. Voc consegue usar os atalhos e as funes com facilidade AJUDA

AFIRMAO

Discordo totalment e

Discordo

Neutro

Concordo

Concordo Totalmente

O sistema possui mensagens de ajuda para realizao das tarefas. Voc utiliza o manual do sistema.

Atribua uma nota de 1(um) a 5(cinco) marcando com um X o seu grau de satisfao. Legenda: 1 Muito pouco satisfeito 2 Pouco satisfeito 3 Mais ou Menos satisfeito 4 Satisfeito 5 Muito satisfeito

SATISFAO No sei avaliar

PERGUNTA

Voc est satisfeito com o sistema?

Obrigada pela sua participao no teste.