XXV Encontro Nac. de Eng.

de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

Avaliao de um software utilizando ensaios de interao e a Norma NBR 9241:11.

Isabel Christina Corra Dias (UFPB) isabelccdias@gmail.com Francisco Soares Msculo, PhD (UFPB) masculo@producao.ct.ufpb.br

Resumo Este artigo relata sobre a avaliao do software XYZ produzido pela Universidade Delta atravs dos ensaios de interao com o usurio e a Norma NBR 9241:11/2002 (Ergonomia de Software) sobre usabilidade. Atravs dos ensaios de interao com o usurio e a Norma citada acima, concluiu-se que o software, que j est em fase de comercializao, no se enquadra nos quesitos de usabilidade propostos pela norma referente a este aspecto e que necessita de ajustes para diminuir o nvel de insatisfao dos usurios. Palavras-chave: Software, Avaliao, Usabilidade, Ensaios de interao, NBR 9241:11/2002. 1. Introduo Os trabalhos realizados no campo de HCI - Human Computer Interaction (Interao Homem/Mquina) destacam a necessidade de se avaliar os softwares no somente na sua concepo, mas durante todo o processo de desenvolvimento, porm os estudos ainda buscam qual a melhor maneira de se fazer esta avaliao (CYBIS, 2002). Matias (1995) afirma que o mercado para os softwares est cada vez mais competitivo, com a globalizao da informtica. Preocupado com os requisitos de sade e segurana no trabalho, o Mercado Comum Europeu tem exigido padres de qualidade nos produtos de software com a obrigatoriedade da aplicao de princpios de ergonomia de software em seus produtos. Por isso, a questo da usabilidade de um software vem se tornando fato prioritrio para as indstrias de software, que perceberam que a competio se d, principalmente, na interface do produto. Como mtodo de avaliao de software, os Ensaios de Interao ou Testes de Usabilidade visam averiguar a adequao tarefa com o atendimento s necessidades do usurio, facilidade de uso e tambm facilidade de aprendizado. O emprego de Ensaios de Interao ou Testes de Usabilidade numa anlise ergonmica justifica o princpio fundamental de que a presena de usurios do futuro sistema poder trazer luz, dados reais sobre a qualidade da interao pretendida. A norma NBR 9241:11/2002 esclarece que para se determinar o nvel de usabilidade alcanado necessrio medir o desempenho e satisfao dos usurios trabalhando com um produto. Esta norma ainda explica que a medio de usabilidade particularmente importante para visualizar a complexidade das interaes entre o usurio, os objetivos, as caractersticas da tarefa e os outros elementos do contexto de uso. importante avaliar a usabilidade de um sistema para atingir seus objetivos junto aos usurios. Atravs desta avaliao possvel definir a aceitao de um projeto de software, propor revises, correes de erros e aperfeioamento de sistemas em desenvolvimento e j implementados.

ENEGEP 2005

ABEPRO

2705

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

Esta avaliao de usabilidade tem por objetivo diagnosticar caractersticas e elementos que representem obstculos para os usurios, assim como, os problemas existentes que dificultam a realizao de suas tarefas; e medir os nveis de eficincia, eficcia e produtividade alcanadas com a utilizao do software. A boa usabilidade tem importncia mpar no sucesso e qualidade de um sistema. 2. Objetivos O objetivo desta pesquisa avaliar o software XYZ utilizando ensaios de interao e a Norma NBR 9241:11/2002, atravs de estudos de medidas de eficincia, eficcia e satisfao desta norma, seleo da amostra dos usurios que participaro da avaliao do programa e apresentao dos resultados. 3. Reviso bibliogrfica 3.1 Ergonomia Iida (1998) diz que ergonomia e estudo da adaptao do trabalho ao homem. Os objetivos prticos da ergonomia so a segurana, a satisfao e o bem-estar dos trabalhadores no seu relacionamento com sistemas produtivos. Os conflitos entre o humano e a tecnologia expressam-se atravs de custos humanos do trabalho para o operador, como fadiga, doenas profissionais, leses temporrias ou permanentes, mutilaes, mortes, e de acidentes, incidentes, erros excessivos, paradas no controladas, lentido e outros problemas de desempenho, assim como danificao e m conservao de mquinas e equipamentos, que acarretam decrscimos na produo, desperdcio de matrias-primas, baixa qualidade dos produtos, o que acaba por comprometer a produtividade do sistema homem-mquina. A ergonomia est mais participativa e vrios so os fatores que tm colaborado para essa realidade. Segundo Wilson (1997), entre eles o clima social e poltico mundial que tem sido visto como mais participativo e democrtico, apesar de aparentes e eventuais retrocessos localizados, e a grande nfase na qualidade, flexibilidade e prestao de servios ao consumidor que vem pouco a pouco substituindo os critrios mais quantitativos, relacionados a resultados, provocando uma maior participao dos trabalhadores. 3.1.1 Ergonomia de software Moraes (2001) define ergonomia do software como um caso particular de adaptao do trabalho ao homem: adaptao do sistema informatizado inteligncia humana. A tecnologia informatizada faz parte da vida de cada vez mais pessoas. No entanto, muitas dessas pessoas passam por experincias frustradas e dificuldades ao tentar usar os sistemas. Em muitos casos a ergonomia abordada somente na fase de avaliao de um software, o que, segundo Czaja (1997), limita a utilidade e efetividade das contribuies da ergonomia. Por isso, a Ergonomia do Software trata de aspectos relativos aos programas e programao e busca melhorar a capacidade de utilizao usabilidade - dos softwares por usurios de diferentes caractersticas. 3.2 Usabilidade Segundo Schackel apud Heemann (1997), a usabilidade envolve os quatro componentes principais de uma situao de trabalho: usurio, tarefa, sistema e ambiente. O autor afirma que um projeto com boa usabilidade depende da harmonia desses quatro componentes. importante perceber que a usabilidade no uma simples propriedade da interface com o usurio. Segundo Nielsen (1993), usabilidade tem muitos componentes e tradicionalmente
ENEGEP 2005 ABEPRO 2706

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

associada com cincos atributos: fcil de aprender, eficiente no uso, fcil de ser lembrado, ter poucos erros, gerar satisfao. 3.2.1 Norma NBR 9241:11 A norma NBR 9241 pode ser aplicada tanto como guia de orientao de projeto, quanto ferramenta para avaliao de usabilidade. uma norma com mltiplas partes que tratam dos aspectos ergonmicos do uso de terminais de vdeo, envolvendo software e hardware. Esta norma, na parte 11, indica quais as medidas de usabilidade de eficcia, eficincia e satisfao podem ser especificadas para objetivos globais (p.ex. produzir uma carta) ou para objetivos menores (p.ex. realizar busca e substituir). Ao selecionar medidas de usabilidade para os objetivos mais importantes do usurio pode ser necessrio ignorar muitas funes, mas provavelmente esta seja a abordagem mais prtica. Para efeito deste trabalho, foram escolhidas as seguintes medidas de usabilidade global: - Eficcia (porcentagem de objetivos alcanados): sero consideradas tarefas completadas com sucesso aquelas cujos objetivos sejam atingidos; - Eficincia (tarefas completadas por unidade de tempo): leva-se em considerao o tempo de realizao de uma tarefa completada pela avaliadora, a qual j tem uma certa experincia no uso deste programa. O usurio completar a tarefa com pelo menos 50% a mais do tempo da avaliadora, pois este o tempo esperado de finalizao de uma tarefa arbitrado pela mesma; - Satisfao (escala de satisfao): ser utilizado um questionrio ps-teste para quantificar o nmero de reclamaes feitas pelos usurios. Para efeito deste teste, os itens concordo em parte, tenho dvidas e discordo plenamente deste questionrio representam as reclamaes do usurio. 3.2.2 Ensaios de interao Os ensaios de interao so testes realizados com os usurios do sistema. So uma simulao de uso do mesmo em que so apresentadas algumas tarefas para o usurio realiz-las. Os mesmos so acompanhados pelos avaliadores que analisaro os comandos dados, os erros cometidos, o comportamento do usurio. Os ensaios de interao identificam problemas de interao de mais alto nvel, dificilmente identificados por outros mtodos. Um ensaio de interao consiste de uma simulao de uso do sistema da qual participam pessoas representativas de sua populao alvo, tentando fazer tarefas tpicas de suas atividades, com uma verso do sistema pretendido. Sua preparao requer um trabalho detalhado de reconhecimento do usurio alvo e de sua tarefa tpica, para a composio dos cenrios que sero aplicados durante a realizao dos testes (CYBIS, 2003, p.117). 4. Metodologia Para a validao do referido software, decidiu-se utilizar como mtodo de avaliao os ensaios de interao tendo como base a Norma NBR 9241:11 Para o desenvolvimento dos ensaios seguiram-se as etapas da estrutura dos ensaios de interao apresentados Cybis (1999), que so: Anlise preliminar: esta etapa consiste em reconhecer o software e seus atributos ergonmicos. Fazem parte desta etapa o reconhecimento do software e o pr-dignstico ergonmico. - Definio dos cenrios e da amostra de usurios: com base no pr-diagnstico e nos dados obtidos no reconhecimento do perfil do usurio e sua tarefa, so criados os cenrios, ou seja, elaborar tarefas a serem executadas pelos usurios.

ENEGEP 2005

ABEPRO

2707

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

- Realizao dos ensaios: compreende a obteno da amostra de usurios, ajustes nos cenrios, planejamento dos ensaios, a sua realizao e anlise e interpretao dos dados. 5. Apresentao dos resultados Realizado o ensaio de interao, passou-se a analisar as medidas de usabilidade escolhidas com base na Norma NBR 9241:11. A tabela 1 mostra a porcentagem de usurios que completaram a tarefa com sucesso, ou seja, cujos objetivos foram atingidos em sua totalidade:
Tarefa Tarefas completadas com sucesso

1 50% 2 10% 3 100% 4 0% Tabela 1 Porcentagem de tarefas completadas com sucesso

Com relao tabela acima, percebe-se que apenas uma tarefa foi completada com sucesso.Isso implica em 25% do total esperado, que 100% A tabela 2 mostra os tempos mdios de realizao das tarefas executadas pelos usurios e pela avaliadora. Com base nesta tabela, verifica-se que nenhum usurio completou nenhuma tarefa nos tempos esperados.
Tarefa Tempo (avaliadora) Tempo esperado Tempo (usurios)

1 1min 1min 30s 2 min 2 1min 1min 30s 10min 3 1min 1min 30s 5min 4 2min 3min 20min Tabela 2 Tempos da avaliadora, tempo esperado de execuo e tempo de realizao da tarefa pelos usurios

Os dados das tabelas acima indicam que nenhum dos usurios conseguiu concluir as tarefas nos tempos previstos pela avaliadora. Mais uma vez, o idioma estrangeiro ao qual foi programado o software foi um dos grandes responsveis pela demora na execuo das tarefas. Para a anlise da satisfao do usurio, foi utilizado o questionrio ps-teste que encontra-se no anexo 1. O questionrio ps-teste, que tem por objetivo coletar informaes difceis de identificar no momento da realizao dos ensaios e possibilitar conhecer o sentimento do usurio em relao ao produto, teve como resultado o exposto abaixo.

0% 10%

concordo plenamente concordo em parte tenho dvidas

50% 40%

discordo plenamente

Figura 1 Resposta questo a interface do software agradvel?

ENEGEP 2005

ABEPRO

2708

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

10% 10%

10%

concordo plenamente concordo em parte tenho dvidas discordo plenamente 70%

Figura 2 Resposta questo a navegao do software fcil?

0%

20% 0%
concordo plenamente concordo em parte tenho dvidas discordo plenamente

80%

Figura 3 Resposta questo os comandos so claros?

0%

10% 0% concordo plenamente concordo em parte tenho dvidas discordo plenamente

90%

Figura 4 Resposta questo no tive dificuldades em realizar tarefas

0%
concordo plenamente concordo em parte

50%

50%

tenho dvidas discordo plenamente

0%

Figura 5 Resposta questo fcil usar o software?

ENEGEP 2005

ABEPRO

2709

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

0%
concordo plenamente concordo em parte tenho dvidas

40% 60% 0%

discordo plenamente

Figura 6 Resposta questo estou satisfeito com o software?

De acordo com estas figuras, todas as perguntas foram respondidas de modo que se percebe a insatisfao dos usurios com as porcentagens das alternativas concordo em parte, tenho dvidas e discordo plenamente diferente de zero. A questo 7 do questionrio ps-teste pede ao usurio para atribuir uma nota de 0 a 10 ao software. Abaixo, o grfico 7 mostra as notas dadas, que esto numa mdia de 5,6 pontos.

8
Valor das notas atribudas

6 4 2 0 1 2 3 4 5 6 7 8 9 10
Quantidade de notas atribudas

Grfico 7: Notas atribudas pelos usurios

6. Concluso De acordo com os resultados obtidos, pode-se agora concluir que: - Apenas 25% das tarefas foi concluda com sucesso, o que compromete a eficcia do programa; - A eficincia do software tambm ficou comprometida devido aos grandes intervalos de tempo de realizao das tarefas, o que indica que o programa tem problemas quanto navegao; - Quanto satisfao do usurio, levando-se em considerao o grfico 6 e as notas atribudas ao software mostradas no grfico 7, pode-se concluir que os usurios no ficaram satisfeitos com a utilizao deste. Dessa forma, o programa, em geral, no estaria pronto para a comercializao, uma vez que os testes de usabilidade em conjunto com a norma ISO 9241/11 deram negativos para a usabilidade. Com a realizao deste trabalho comprovou-se, inicialmente, como a ergonomia, em geral, e do software, em particular, contribuem para o desenvolvimento de sistemas que garantem a usabilidade, gerando produtividade e satisfao para o usurio. Isso se deve igualdade dada tanto lgica de utilizao quanto lgica de funcionamento, para isso o usurio deve participar de todo o processo durante todo o ciclo de vida do software, a fim de se obter um sistema que permita uma perfeita interao entre o usurio e a mquina, que gere eficincia, eficcia e satisfao.
ENEGEP 2005 ABEPRO 2710

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

Conclui-se que a participao do usurio a base para o desenvolvimento e avaliao de um sistema. Porm, para que sua interveno tenha valor ainda maior necessrio que ele seja respeitado, ouvido pela equipe de desenvolvimento e que tenha conscincia de que a sua colaborao importante, que suas anlises e sugestes iro garantir a usabilidade do produto e que como consumidor e cidado ele tem direito a produtos com qualidade, eficientes, eficazes, e que o satisfaam. Para isso a escola deve proporcionar um ambiente democrtico, de debates, de reflexo crtica sobre contedos e a realidade, para garantir a formao de cidados e consumidores, conscientes, autnomos, crticos e exigentes. Referncias
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR 9241/11: requisitos ergonmicos para trabalhos em escritrios com computadores: orientaes sobre usabilidade. Rio de Janeiro. 2002. CYBIS, W. A. Ergonomia de Interfaces Homem-Computador. Apostila para o curso de Ps-Graduao em Engenharia de Produo - Universidade de Santa Catarina, Florianpolis. (ltima atualizao 05/11/2002) disponvel em: <http://www.labiutil.inf.ufsc.br>. Acesso em 12 fev 2005. CZAJA, S.J. Systems design and evaluation. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997.p.17-39. HEEMANN, V. Avaliao ergonmica de interfaces de bases de dados por meio de cheklist especializado. Florianpolis, 1997. Dissertao (Mestrado em Engenharia de Produo), Universidade Federal de Santa Catarina. Disponvel em <http://www.eps.ufsc.br>. Acesso em 05 mar 2005. IIDA, I. Ergonomia: projeto e produo. So Paulo: Edgar Blcher, 1998. MATIAS, Mrcio. Checklist: uma ferramenta de suporte avaliao ergonmica de interfaces. Florianpolis, 1995. Dissertao (Mestrado em Engenharia de Produo) - Departamento de Engenharia de Produo, Universidade de Santa Catarina. MORAES, A. Definies. Disponvel em: <http://www.venus.rdc.pucrio.br/moraergo/define.htm> . Acesso em 09 mar 2005. NIELSEN, J. Usability testing. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997. p.1543-1568. WILSON, J.R.; HAINES, H.M. Participatory ergonomics. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997. p.490-513.

Anexo 1: Questionrio ps-teste

1. A interface com o software agradvel ( ) Concordo plenamente ( ) Concordo em parte 2. A navegao do software fcil ( ) Concordo plenamente ( ) Concordo em parte 3. Os comandos so claros ( ) Concordo plenamente ( ) Concordo em parte ( ) Tenho dvidas ( ) Discordo plenamente ( ) Tenho dvidas ( ) Discordo plenamente ( ) Tenho dvidas ( ) Discordo plenamente

4. No tive dificuldades em realizar alguma(s) tarefa(s) ( ) Concordo plenamente

ENEGEP 2005

( ) Tenho dvidas
ABEPRO 2711

XXV Encontro Nac. de Eng. de Produo Porto Alegre, RS, Brasil, 29 out a 01 de nov de 2005

( ) Concordo em parte 5. fcil usar o software ( ) Concordo plenamente ( ) Concordo em parte 6. Estou satisfeito com o software ( ) Concordo plenamente ( ) Concordo em parte

( ) Discordo plenamente

( ) Tenho dvidas ( ) Discordo plenamente

( ) Tenho dvidas ( ) Discordo plenamente

7. Informe uma nota de 0 a 10 a respeito do software (utilizao, facilidades, utilidades, etc)

ENEGEP 2005

ABEPRO

2712