VERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MTODOS DE AVALIAO DE INTERFACES

MARING 2007

VERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MTODOS DE AVALIAO DE INTERFACES

Dissertao apresentada ao Programa de Ps-Graduao em Cincia da Computao da Universidade Estadual de Maring, como requisito parcial para obteno do grau de Mestre em Cincia da Computao. Orientador: Prof. Dr. Dante Alves Medeiros Filho

MARING 2007

AUTORIZO A REPRODUO TOTAL OU PARCIAL DESTE TRABALHO, POR QUALQUER MEIO CONVENCIONAL OU ELETRNICO, PARA FINS DE ESTUDO E PESQUISA, DESDE QUE CITADA A FONTE.

Dados Internacionais de catalogao-na-publicao

Universidade Norte do Paran Biblioteca Central Ana Cristina Gasparini Freitas Bibliotecria CRB9/792
Morais, Everson Matias de. Um estudo sobre a validade e fidedignidade de mtodos de avaliao de interfaces / Everson Matias de Morais. Maring: [s.n], 2007. xii; 114p. Dissertao (Mestrado). Cincia da computao. Universidade Estadual de Maring. Orientador: Prof Dr Dante Alves Medeiros Filho 1- Cincia da Computao - dissertao de mestrado UEM 2Interao humano-computador 3- Avaliao de interfaces 4Validade 5- Fidedignidade I- Medeiros, Dante Alves, orient. IIUniversidade Estadual de Maring III- UEM CDU 004.5

M825e

VERSON MATIAS DE MORAIS

UM ESTUDO SOBRE A VALIDADE E FIDEDIGNIDADE DE MTODOS DE AVALIAO DE INTERFACES

Dissertao apresentada ao Programa de Ps-Graduao em Cincia da Computao da Universidade Estadual de Maring, como requisito parcial para obteno do grau de Mestre em Cincia da Computao.

Aprovado em 23/08/2007.

A toda minha famlia, que sempre me apoiou em todos momentos da minha vida.

AGRADECIMENTOS

A Deus por sempre ter-me direcionado ao longo dessa vida. A minha famlia: Vanir Morais, Sebastio Morais, Rosimeire Morais, Luciano Amadei, Nivaldo Morais, Marli L. Morais, Srgio Morais, Daniely Morais, Eduardo Cambu, Sylvia Morais, Antonio Amaral, Paulo Morais e Fernanda Pomini. Ao meu orientador, Prof. Dr. Dante Alves Medeiros Filho, pelo grande apoio e disponibilidade no decorrer deste processo. Aos professores do Programa de Mestrado em Cincia da Computao da Universidade Estadual de Maring, especialmente a Tania Tait, Maria Madalena Dias, Joo ngelo Martini, Ronaldo Gonalves, Itana Gimenes, Elisa Huzita e Mrcia Samed. Aos meus companheiros de mestrado, em especial a Adriana Herden, J Sato, Flvio Schiavoni, Rafael Ragato, Jos Rafael, Lafaiete Leme, Adriano Heis, Jucimar Mendes, Cristiane Y. H. de Castro, Daniela F. G. Trindade e Josiane M. P. Ferreira. A todos os meus amigos, em especial a Mrcia Cristina dos Reis, Anbal B. Nascimento, Adriana Barrozo, Vincius Vieira, Lia H. Ukubata e Ana Cristina G. Freitas. Ao pessoal do DIN, em especial a Maria Ins Davano, por sua grande competncia. Aos meus professores desde o incio da minha carreira estudantil, em especial: Alairde Albino Canezim, Luis C. Perini, Alan Salvany Felinto, Pedro P. S. Ayrosa. s empresas em que trabalhei, por me auxiliarem em minha formao profissional, especialmente: Grfica Ip, Exactus Software e Usina de Acar Santa Terezinha.

, chegar at aqui, o que isto significa? Pode ser ultrapassar grandes barreiras, vencer o medo e traumas, conquistar um espao, enfrentar ms lembranas, atravessar a incapacidade, olhar para trs e sentir-se orgulhoso, provar algo a algum, ou ser mais que antes! No sei exatamente, tambm no me importa muito, o que pensar dessa fase, mas sei o que quero ser: continuar sendo o que sou, com um pouco mais de experincia, vivendo cada momento da melhor forma possvel, sem grandes provas, sem rivalidades, sem ressentimentos, sem coisinhas daqui ou de l, mas sim com toda a fora de vontade com que Deus me tem alimentado, principalmente atravs das pessoas maravilhosas que ele tem colocado em meu caminho, desde o meu respirar.

(Everson Matias de Morais)

RESUMO

O estudo sobre Interao Humano-Computador (IHC) em Cincia da Computao vem sendo realizado h vrios anos, visando facilitar a utilizao de sistemas computacionais. Devido ao nmero crescente dos sistemas computacionais interativos, esses estudos foram-se intensificando. Nesse contexto, a partir das funcionalidades das aplicaes, o foco geralmente est direcionado satisfao do usurio. Essa satisfao pode ser definida atravs da qualidade de uma interao entre o ser humano e o computador. Para saber se uma interao possui boa qualidade, existem as tcnicas de avaliao de IHC. Vrios autores descrevem modelos diferentes dessas tcnicas, mas muitas vezes estes modelos so elaborados de maneira que possibilitam uma certa subjetividade, comprometendo a validade e a fidedignidade de seus resultados. Diante disso, com base nas anlises sobre fundamentos epistemolgicos que estabelecem a relao da comunicao nas interaes, e a partir das anlises dos principais tipos de avaliaes existentes, criou-se uma proposta para avaliao de IHC. Essa proposta est relacionada principalmente aos atributos de qualidade das avaliaes, permite uma anlise mais detalhada, mostra um caminho para eliminar a subjetividade e possibilita que a avaliao atinja resultados vlidos e fidedignos. Palavras-Chave: Interao Humano-Computador, Avaliao de Interfaces, Validade, Fidedignidade.

ABSTRACT

The study about Human-Computer Interaction (HCI) in Science of the Computation has been accomplished for several years, seeking to facilitate the use of computational systems. Due to the growing number of the computational interactive systems, those studies went intensifying. In that context, starting from the functionalities of the applications, the focus is usually addressed to the user's satisfaction. That satisfaction can be defined through the quality of an interaction between the human being and the computer. To know if an interaction possesses good quality, exists some evaluation techniques of HCI. Several authors describe models different from those techniques, but a lot of times these models are elaborated so that they make possible a certain subjectivity, committing the validity and the trustworthiness of their results. Before that, with base in the analysis on epistemological foundations that establish the relationship of the communication in the interactions, and starting from the analysis of the main types of existent evaluations, it came up for a proposal for evaluation of HCI. That proposal is related mainly to the attributes of quality of the evaluations, it allows a more detailed analysis, display a road to eliminate the subjectivity and it makes possible that the evaluation reaches valid and trustworthy results. Key words: Human-Computer Trustworthiness. Interaction, Evaluation of Interfaces, Validity,

SUMRIO

LISTA DE FIGURAS .............................................................................................................. 25 LISTA DE TABELAS E QUADROS...................................................................................... 26 1 INTRODUO .............................................................................................................. 13 1.1 2 Estrutura do Trabalho ............................................................................................... 14

FUNDAMENTAO TERICA................................................................................. 15 2.1 2.2 2.3 Conceitos sobre IHC................................................................................................. 15 Avaliao.................................................................................................................. 16 Conceitos sobre Qualidade de Uso........................................................................... 20 Usabilidade ....................................................................................................... 20 Comunicabilidade............................................................................................. 23 Aplicabilidade................................................................................................... 24

2.3.1 2.3.2 2.3.3 2.4

Avaliao de IHC ..................................................................................................... 25 Interpretaes sobre Avaliao de IHC ............................................................ 26 Detalhamento dos Mtodos de Avaliaes de IHC .......................................... 28 Mtodos de Avaliao Analticos............................................................. 28 Avaliao Heurstica ............................................................................. 29 Inspees Ergonmicas via Checklists ................................................. 32 Percurso Cognitivo................................................................................ 34 Mtodos de Avaliao Empricos............................................................. 36 Ensaios de Interao ou Testes de Usabilidade .................................... 36 Sistemas de Monitoramento ou Espies ............................................... 41 Testes Focados na Usabilidade e Comunicabilidade................................ 41

2.4.1 2.4.2

2.4.2.1 2.4.2.1.1 2.4.2.1.2 2.4.2.1.3 2.4.2.2 2.4.2.2.1 2.4.2.2.2 2.4.2.3 2.5 2.6

Avaliao de Interfaces segundo a Norma ISO 9241............................................... 45 Critrios Ergonmicos segundo Bastien e Scapin.................................................... 50 Conduo .......................................................................................................... 50 Carga de Trabalho ............................................................................................ 52 Controle Explcito ............................................................................................ 52 Adaptabilidade.................................................................................................. 53 Gesto de Erros................................................................................................. 54 Consistncia...................................................................................................... 54

2.6.1 2.6.2 2.6.3 2.6.4 2.6.5 2.6.6

2.6.7 2.6.8 2.7 3 4

Significado dos Cdigos e Denominaes ....................................................... 55 Compatibilidade ............................................................................................... 55

Quanto Escolha das Tcnicas ................................................................................ 55

CONTEXTUALIZAO DO ESTUDO SOBRE AVALIAO DE IHC .............. 59 UMA PROPOSTA PARA AVALIAO DE IHC ..................................................... 67 4.1 O processo de Avaliao .......................................................................................... 68 Classificao dos Mtodos de Avaliao de Interfaces Humano-Computador 69 Critrios para a Avaliao ................................................................................ 70 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliao ...... 70 Validade Interna ....................................................................................... 71 Validade de Constructo ............................................................................ 71 Validade Externa ...................................................................................... 72 Fidedignidade ........................................................................................... 72

4.1.1 4.1.2 4.1.3

4.1.3.1 4.1.3.2 4.1.3.3 4.1.3.4 4.1.4 4.2 4.3

Ameaas Validade ......................................................................................... 73

Requisitos do Processo de Avaliao ....................................................................... 74 Definio da Proposta para Avaliao de IHC......................................................... 76 Definio dos Objetivos da Avaliao ............................................................. 77 Planejamento e Definio do Delineamento da Avaliao .............................. 77 Determinao dos Atributos de Qualidade segundo os Objetivos Propostos... 77 Determinao dos Pesos dos Atributos ............................................................ 78 Determinao dos Indicadores Quantificveis e Mensurveis......................... 78 Determinao dos Pesos dos Indicadores......................................................... 79 Determinao dos Instrumentos de Medida dos Indicadores ........................... 79 Tipos de Medidas ..................................................................................... 82 Dimenses a serem Medidas .................................................................... 83 Classificao dos Instrumentos de Medida .............................................. 83

4.3.1 4.3.2 4.3.3 4.3.4 4.3.5 4.3.6 4.3.7

4.3.7.1 4.3.7.2 4.3.7.3 4.3.8

Validade, Fidedignidade e Calibrao dos Instrumentos de Medida ............... 86 Validade de Contedo .............................................................................. 86 Validade de Constructo, de Conceito ou Terica ..................................... 87 Validade Aparente .................................................................................... 87

4.3.8.1 4.3.8.2 4.3.8.3 4.3.9

Determinao das Escalas de Referncia ......................................................... 88 Tipos de Escalas de Avaliao ................................................................. 88

4.3.9.1 4.3.10

Validao do Delineamento de Avaliao........................................................ 90

4.4

Aplicao da Proposta para Anlise de Alguns Mtodos de Avaliao de Interface

Humano-Computador .......................................................................................................... 91 4.4.1 Anlise da Norma 9241-11/2002...................................................................... 91 Objetivo .................................................................................................... 91 Caractersticas........................................................................................... 92 Anlise ...................................................................................................... 93

4.4.1.1 4.4.1.2 4.4.1.3 4.4.2

Anlise das Heursticas de Nielsen................................................................... 94 Objetivo .................................................................................................... 94 Caractersticas........................................................................................... 95 Anlise ...................................................................................................... 96

4.4.2.1 4.4.2.2 4.4.2.3 4.4.3

Anlise dos Critrios Ergonmicos Propostos por Bastien e Scapin ............... 99 Objetivo .................................................................................................... 99 Caractersticas........................................................................................... 99 Anlise .................................................................................................... 101

4.4.3.1 4.4.3.2 4.4.3.3 5

CONCLUSES............................................................................................................. 105 5.1 Recomendaes para Trabalhos Futuros ................................................................ 105 Discriminar os Atributos em Indicadores....................................................... 106 Criar Instrumentos e Escalas para os Indicadores .......................................... 106

5.1.1 5.1.2

REFERNCIAS ...................................................................................................................107 ANEXOS ...............................................................................................................................111 ANEXO I. Avaliao Heurstica ............................................................................................112 ANEXO II. Anlise de Caractersticas ...................................................................................114

LISTA DE FIGURAS

Figura 1. O Processo de Interao Humano-Computador........................................................16 Figura 2. Estrutura de Usabilidade ...........................................................................................47 Figura 3. O Processo de Mediao entre Sujeito Cognoscente e Objeto Cognoscvel ............60 Figura 4. Esquema Geral da Comunicao ..............................................................................61 Figura 5. Modelo de Comunicao...........................................................................................62 Figura 6. Fatores de uma Interao X Comunicao................................................................64 Figura 7. Interpretao do Processo de IHC.............................................................................65 Figura 8. Classificao de Mtodos de Avaliao da Experimentao e Anlise....................69 Figura 9. Classificao de Mtodos de Avaliao em Relao Participao do Usurio......70 Figura 10. Etapas do Processo de Avaliao............................................................................90 Figura 11. Anlise dos Indicadores da Norma 9241-1/2002 ....................................................94 Figura 12. Anlise dos Indicadores das Heursticas de Nielsen ...............................................98 Figura 13 Anlise dos Indicadores dos Critrios Ergonmicos de Bastien e Scapin .............103

LISTA DE TABELAS E QUADROS

Quadro 1. Vantagens e Limitaes de Observaes.................................................................84 Tabela 1. Associao entre expresses e classes de problemas ...............................................45 Quadro 2. Vantagens e Limitaes de Questionrios...............................................................85 Tabela 2. Exemplo de Medidas de Usabilidade .......................................................................48 Quadro 3. Vantagens e Limitaes de Entrevistas ...................................................................85 Tabela 3. Exemplo de Medidas para Propriedades Desejveis do Produto..............................49 Tabela 4. Grau de Severidade dos Problemas de Usabilidade .................................................96

13

1 INTRODUO

O estudo sobre Interao Humano-Computador (IHC) em Cincia da Computao vem sendo realizado h vrios anos, visando facilitar a utilizao de sistemas computacionais. Atualmente, diversas pesquisas so produzidas nas reas que envolvem IHC, buscando desenvolver interfaces que interajam cada vez mais com o ser humano. A proliferao dos computadores nos mais diversos setores da vida humana exige que haja facilidade na sua utilizao. A cada dia surgem novos recursos computacionais que esto sendo colocados disposio da sociedade, gerando, assim, maior demanda por sua utilizao. O estudo sobre interao humano-computador no to recente, mas acentuou-se nos ltimos anos com a evoluo dos microcomputadores. Essa crescente demanda pela utilizao de sistemas computacionais e de estudos sobre a interao humano-computador, criou a necessidade de prover mtodos apropriados de avaliao dessa interao e das interfaces existentes. A avaliao torna-se particularmente imprescindvel, mxime por ser um elemento de retroalimentao do processo de desenvolvimento. Apesar da importncia do processo de avaliao nesta linha de pesquisa, ele muitas vezes negligenciado ou realizado de forma insipiente, subjetiva, produzindo resultados que no so representativos da realidade. Esta situao mostra a necessidade de obter mtodos de avaliao de interfaces humano-computador mais precisos, menos subjetivos que, quando empregados, possuam validade e fidedignidade. Assim, procurando mostrar que possvel o desenvolvimento de

14

mtodos consistentes de avaliao de interfaces humano-computador que nasceu a motivao para a realizao do presente trabalho que apresenta um estudo sobre a validade e fidedignidade de alguns mtodos de avaliao de interface humano-computador. Desta forma, o presente trabalho tem como objetivo apresentar uma metodologia para avaliao de interfaces humano-computador. A idia mostrar conceitos e definies que envolvem o processo de avaliao de interfaces, bem como as etapas necessrias para que uma avaliao seja representativa, vlida e fidedigna.

1.1 Estrutura do Trabalho

O captulo 2 apresenta a fundamentao terica, com informaes sobre questes que envolvem o campo de IHC, avaliaes de IHC: conceitos, objetivos, tcnicas e tipos de avaliaes e, ainda, noes sobre medidas ditadas pela norma ISO 9241. O objetivo desta seo identificar os principais conceitos que influenciaro no desenvolvimento deste trabalho, com base nos trabalhos de vrios autores envolvidos nessa rea. O captulo 3 apresenta uma contextualizao do estudo sobre avaliao de IHC, abordando um entorno sobre os objetivos deste trabalho. O captulo 4 apresenta uma proposta para avaliao de IHC, que o objetivo principal desta dissertao. No captulo 5 est a descrio das concluses do contexto apresentado. Em seguida, esto as referncias e os anexos.

15

2 FUNDAMENTAO TERICA

2.1 Conceitos sobre IHC

Quando comeou a ser difundido na rea da informtica, o conceito de interface significou apenas o hardware e o software com o qual o ser humano e o computador podiam se comunicar. No entanto, com a evoluo desse conceito, foi introduzido nos estudos abordagens que levam em considerao aspectos multidimensionais, tais como os cognitivos e os emocionais do usurio durante a comunicao (ROCHA e BARANAUSKAS, 2000). A partir desse conceito, surgiram novas interpretaes a respeito dos aspectos que englobam interfaces. Segundo Moran (1981), a interface de usurio deve ser entendida como sendo uma parte do sistema computacional com a qual uma pessoa entra em contato fsica, perceptiva e conceitualmente. Diante disso, Prates e Barbosa (2003, p. 246) complementam que a dimenso fsica inclui os elementos de interface que o usurio pode manipular, enquanto a dimenso perceptiva engloba aqueles que o usurio pode perceber. A dimenso conceitual resulta de processos de interpretao e raciocnio do usurio, desencadeados pela sua interao com o sistema, com base em suas caractersticas fsicas e cognitivas, seus objetivos e seu ambiente de trabalho. Em seguida, ilustrada uma representao grfica de um modelo bsico de interao humano-computador (Figura 1):

16

Processo de Interao Humano-Computador

Figura 1 O Processo de Interao Humano-Computador, segundo Prates e Barbosa (2003, p. 246)

No contexto do processo de interao humano-computador, segundo Preece et al (1994), o objetivo de IHC produzir sistemas utilizveis e seguros, como tambm sistemas funcionais. Para Preece et al (1994 apud Interacting with Computers, 1989, p. 3), essas metas podem ser resumidas em desenvolver ou melhorar segurana, utilidade, efetividade, eficincia, e usabilidade de sistemas no meio computacional. Nesse caso, para alcanar as metas estabelecidas, necessrio que o processo de interao humano-computador passe por um processo de avaliao, a fim de identificar possveis problemas, bem como servir de retroalimentao para o desenvolvimento.

2.2 Avaliao

No plano de uma avaliao de IHC, alguns conceitos so essenciais para seu entendimento, sendo necessrio esclarecer fundamentos sobre conceitos gerais de avaliao. Do ponto de vista de Raupp e Reichle (2003), o processo de avaliao uma ferramenta capaz de aumentar a eficcia de projetos e programas, no importando em qual fase se encontra e se o resultado das informaes de uma avaliao pode:

17

a) Revelar problemas ocultos; b) Confirmar suposies; c) Retroalimentar a equipe do projeto sobre os efeitos das atividades implementadas; d) Iluminar reas quanto necessidade de mudanas; e) Convencer as pessoas sobre mudanas; f) Habilitar a liderana de um projeto a prestar contas dos recursos obtidos; g) Dar origem a uma cultura organizacional que preze a utilizao da informao e a melhoria continuada. Para chegar aos resultados acima, um processo de avaliao deve atender a alguns critrios, como: relevncia, significncia, validade, confiabilidade, objetividade e

pontualidade (Raupp e Reichle, 2003). Seguindo esses conceitos, uma avaliao pode ser aplicada em qualquer momento da etapa de um projeto, podendo ela, sempre, contribuir para um aperfeioamento. Mas, para um bom resultado, deve-se escolher o tipo mais adequado em cada aplicao. Nesse seguimento, Scriven (1996) relaciona as avaliaes formativa e somativa, e Raupp e Reichle (2003), acrescentam a este contexto a avaliao diagnstica, como se descreve a seguir: a) Avaliao formativa: comprova se as atividades esto sendo desenvolvidas de acordo com o planejado, documenta como esto ocorrendo, aponta sucessos e fracassos, identifica reas problemticas e faz recomendaes que possam tornar o programa mais eficiente; b) Avaliao somativa: trabalha com a quantificao nos termos dos resultados obtidos e converte-se no principal indicador de eficcia de um projeto, com o objetivo de identificar melhorias seguindo decises;

18

c) Avaliao diagnstica: precede o desenho de um projeto, e, identifica um problema e, como conseqncia, um projeto desenhado para solucion-lo. Complementando, Nevo (1986) destaca os seguintes tipos de avaliaes: a) Psicolgica ou sciopoltica: esse tipo de avaliao usado para informar os avaliados sobre atividades especiais e motivar-lhes comportamentos desejveis ou promover relaes pblicas; b) Exerccio de autoridade: exercida em organizaes por pessoas que detm posio de poder e a quem atribudo o privilgio de avaliar os subordinados, demonstrando assim sua autoridade sobre eles. J, os dados coletados com base em uma avaliao podem ser quantitativos e qualitativos, de acordo com Prates e Barbosa (2003); os dados quantitativos so os numricos e os qualitativos so os no-numricos, como: observaes, entrevistas, grupos de enfoque ou similares, casos em que a narrativa substitui os dados numricos. Esses dados podem ser analisados atravs da anlise preditiva ou interpretativa. A parte preditiva refere-se anlise derivada de dados coletados de especialistas, e, a interpretativa representa os dados coletados da interao do usurio com o sistema. Em todo processo de avaliao deve ser verificada a sua consistncia e validade. Ento necessrio conhecer parmetros para identificar se uma avaliao teve seu xito alcanado ou no. Diante disso, Raupp e Reichle (2003) demonstram alguns critrios a serem seguidos, referentes a: a) Eficcia: que especficos; expressa o grau em que o projeto atinge os seus objetivos

19

b) Eficincia: que a menor relao possvel entre custo e benefcio para atingir os objetivos de um projeto; c) Impacto: que identifica o grau da eficincia com que o projeto est contribuindo para o alcance do objetivo geral; d) Sustentabilidade: que mede a capacidade de continuidade dos efeitos benficos alcanados aps o trmino de um projeto; e) Custo-efetividade: que realizado atravs da comparao de formas alternativas da ao para a obteno de determinados impactos, com vistas a identificar aes que atendem queles objetivos pelo menor custo. De um modo geral, as avaliaes so necessrias para responder a dvidas no processo de design e desenvolvimento de um produto, verificando se as idias de um projetista so realmente o que os usurios necessitam ou desejam e auxiliando na criao de um produto til e usvel (ROCHA e BARANAUSKAS, 2000). Segundo Rocha e Baranauskas (2000), a avaliao tem trs grandes objetivos: a) Avaliar a funcionalidade do sistema: o design do sistema deve permitir ao usurio efetuar a tarefa pretendida de modo mais fcil e eficiente; b) Avaliar o efeito da interface junto ao usurio: a facilidade com que se pode aprender a usar o sistema; a atitude do usurio com relao ao sistema e identificar reas do design que sobrecarregam o usurio; c) Identificar problemas especficos com o design: identificar aspectos do design que, quando usados no contexto alvo, causam resultados inesperados ou confuso entre os usurios. Em sntese, os objetivos apresentados por Rocha e Baranauskas (2000) esto

20

relacionados com a qualidade de uso de um software, como apresentados na seo seguinte.

2.3 Conceitos sobre Qualidade de Uso

No dizer de Prates e Barbosa (2003), o conceito geral de qualidade de uso est relacionado com a capacidade e a facilidade de os usurios atingirem suas metas com eficincia e satisfao. E isso servir para um usurio tomar a deciso de forma espontnea, para o uso freqente de um determinado sistema. Alguns dos conceitos que envolvem a qualidade de uso esto identificados nas prximas etapas.

2.3.1 Usabilidade

De acordo com Prates e Barbosa (2003, p.275 apud NIELSEN, 1993; PREECE et al., 2002), a usabilidade o conceito de qualidade de uso mais amplamente utilizado, relacionado facilidade e eficincia de aprendizado e de uso, bem como satisfao do usurio. De acordo com Cybis (2003 apud ISO 9241), usabilidade define-se como a operacionalidade eficiente e agradvel de um sistema interativo, para a realizao das tarefas de um usurio. Por sua vez, Benyon (1993 apud WHITESIDE, BENNETT e HOLTZBLATT, 1988), define usabilidade como uma coleo de tcnicas para apoiar o gerenciamento de recursos, com vistas ao desenvolvimento de interfaces de usurios e sistemas de computador. Assim, a usabilidade est centrada no usurio, ou seja, as adequaes tero de ser a

21

favor dele. Dentro deste contexto, existem fatores importantes a serem analisados, como (PRATES e BARBOSA 2003 apud NIELSEN, 1993; PREECE et al.,2002): a) Facilidade de aprendizado: relaciona-se ao tempo e esforo necessrios para que os usurios aprendam a utilizar uma determinada poro do sistema com determinado nvel de competncia e desempenho; b) Facilidade de uso: refere-se ao esforo cognitivo para interagir com o sistema e, tambm, contornar erros cometidos durante a interao; c) Eficincia de uso: serve para analisar se o sistema faz bem aquilo a que se destina; d) Eficincia de produtividade: serve para avaliar se o usurio consegue fazer de forma rpida e eficaz o que precisa fazer; e) Satisfao do usurio: enfatiza a avaliao subjetiva do sistema feita por seus usurios, incluindo emoes que possam surgir durante a interao; f) Flexibilidade: considera quanto um sistema capaz de acomodar idiossincrasias, ou seja, se pessoas diferentes podem seguir caminhos distintos para um mesmo objetivo; g) Utilidade: refere-se quantidade de funes necessrias que um sistema disponibiliza para os usurios realizarem suas tarefas; h) Segurana no uso: relaciona-se ao grau de proteo de um sistema contra condies desfavorveis para os usurios. Os fatores acima relacionados comprovam a importncia e abrangncia da usabilidade. Mas, para chegar aos resultados desejados, devem conhecer os tipos de problemas de usabilidade. Como descrito em Cybis (2003), os tipos de problemas referentes usabilidade, que se

22

conhecem pela anlise da sua natureza, so os seguintes: a) Barreira: est ligado ao aspecto da interface com o qual o usurio se defronta, sucessivas vezes, e no aprende a domin-lo; b) Obstculo: est ligado ao aspecto da interface com o qual o usurio esbarra, sucessivas vezes, e aprende a domin-lo; c) Rudo: o que h na interao, o qual responsvel pela diminuio do desempenho em uma tarefa; sem se consistir nos aspectos de barreira ou obstculo. Os problemas de usabilidade, causados pelo tipo de tarefa em que se manifestam, so (CYBIS, 2003): a) Principais: so aspectos da interface que comprometem a realizao de tarefas freqentes ou importantes; b) Secundrios: so aspectos da interface que comprometem a realizao de tarefas pouco freqentes ou pouco importantes. Os tipos de problemas de usabilidade, no aspecto da interface, dependendo do tipo de usurio que afetam, podem ser (CYBIS, 2003): a) Gerais: quando atrapalham qualquer tipo de usurio durante a realizao da tarefa; b) De iniciao: que atrapalham o usurio novato ou de prtica intermitente durante a realizao de sua tarefa; c) Avanados: que atrapalham o usurio especialista durante a realizao da tarefa; d) Especiais: quando atrapalham usurios especiais, ou seja, os portadores de deficincia.

23

Por fim, existem os problemas de usabilidade prprios de um aspecto da interface, os ortogonais, relacionados ao sistema de classificao proposto, responsveis pelos possveis efeitos de uma reviso de projeto equivocada, que so os (CYBIS, 2003): a) Falsos: trata-se de enganos decorrentes da falta de experincia do avaliador ou de deficincia em sua ferramenta de avaliao; b) Novos: representam um obstculo, conseqente a uma reviso de usabilidade equivocada. Com a visualizao dos problemas de usabilidade, ser possvel chegar a uma melhor interao.

2.3.2 Comunicabilidade

A Comunicabilidade baseia-se na capacidade de os usurios entenderem o design da mesma maneira como entendido pelos projetistas, possibilitando-lhes interagir com o sistema e transmitir, de maneira eficaz, as intenes projetadas. Segundo de Souza et al. (2001), a comunicabilidade de um sistema a propriedade de transmitir ao usurio, de forma eficaz e eficiente, as intenes e princpios de interao que guiaram o seu design. Da mesma forma, o objetivo da comunicabilidade permitir que o usurio, atravs da sua interao com a aplicao, seja capaz de compreender as premissas, intenes e decises tomadas pelo projetista durante o processo de design. Quanto maior o conhecimento que o usurio, tem da lgica do designer que h na aplicao, maiores so suas chances de conseguir fazer uso criativo, eficiente e produtivo da aplicao. Em sistemas com alta comunicabilidade, os usurios so capazes de responder

24

(PRATES E BARBOSA 2003, p.249 apud DE SOUZA et al, 1999; PRATES ET AL, 2000b): a) Para que o sistema serve; b) Qual a vantagem de utiliz-lo; c) Como funciona; d) Quais so os princpios gerais de interao com o sistema. Assim, um projeto de interface, de concepo mais prxima do processo cognitivo do usurio, pode ter maior eficincia na comunicabilidade.

2.3.3 Aplicabilidade

A qualidade dos sistemas que podem ser usados com sucesso em uma ampla variedade de contextos, incluindo at mesmo aqueles em que o objetivo do usurio no o objetivo original concebido pelos seus designers, depende da sua utilidade na resoluo de problemas variados. Assim, Fischer (1998) define a aplicabilidade. Dentro desse conceito, para Prates e Barbosa (2003), a aplicabilidade permite determinar: a) Quanto o sistema til para o contexto para o qual foi projetado; b) Em que outros contextos o sistema pode ser til. Segundo Fischer (1998), a idia aumentar a participao do usurio nas decises dos sistemas, para que ele tenha um sistema mais aberto, e seja mais participativo, com maior poder de deciso. Nesse caso, uma boa aplicabilidade est relacionada com aplicaes de um sistema

25

que sejam mais condizentes com a realidade de um usurio. Diversos pesquisadores afirmam que necessrio desenvolver sistemas que ampliem as capacidades dos usurios, em vez de tentar substitu-los, possibilitando que eles ajam de forma mais inteligente e eficiente (PRATES e BARBOSA 2003 apud ADLER & WINOGRAD, 1992). A baixa qualidade de uso de sistemas pode trazer diversos problemas, destacados por Prates e Barbosa (2003): a) Requer treinamento excessivo; b) Desmotiva a explorao; c) Confunde os usurios; d) Induz os usurios ao erro; e) Gera Insatisfao; f) Diminui a produtividade; g) No traz o retorno do investimento previsto. At aqui foram identificados alguns estudos sobre avaliao de IHC, que so importantes questes para a prxima seo.

2.4 Avaliao de IHC

Conforme j explanado, o campo de IHC est relacionado qualidade de um sistema de computador, ou seja, qualidade de uso de um software. Para medir essa qualidade, e identificar possveis problemas de interao, existem vrias tcnicas e mtodos de diferentes aspectos. Essas tcnicas e mtodos esto relacionados ao objetivo do contexto a ser avaliado,

26

havendo a necessidade de entender suas caractersticas, para aumentar a eficincia de uma avaliao, como se expor na prxima seo.

2.4.1 Interpretaes sobre Avaliao de IHC

Iniciando alguns aspectos sobre as tcnicas e mtodos de avaliaes de IHC, cujo objetivo conhecer problemas de interface de usurio, esta seo apresentar algumas classificaes das tcnicas e mtodos mais utilizados pelos principais autores da rea. Cybis (2003) classifica as tcnicas como: prospectivas, diagnsticas

(preditivas/analticas) e definitivas (objetivas/empricas). Nas tcnicas prospectivas utiliza-se uma metodologia baseada na aplicao de questionrios e entrevistas com o usurio para avaliar sua satisfao em relao ao sistema e a sua operao. Essas tcnicas podem ser empregadas para auxiliar nas avaliaes analticas. Enquanto as tcnicas diagnsticas (preditivas/analticas) baseiam-se em verificaes e inspees de verses intermedirias ou acabadas de software, feitas por especialistas e nas quais se dispensa a participao direta de usurios; como so as avaliaes heursticas e inspees ergonmicas, via checklists. As tcnicas definitivas (objetivas/empricas) referem-se basicamente aos ensaios de interao e s sesses com sistemas espies, e contam com a participao direta de usurios. Como exemplo tm-se as tcnicas de ensaios de interao e sistemas de monitoramento. Rocha e Baranauskas (2000) agrupam os mtodos de avaliao da seguinte forma: a) De inspeo de usabilidade: no envolve o usurio e pode ser usado em qualquer

27

fase do desenvolvimento de um sistema (ROCHA E BARANAUSKAS, 2000 apud WHITEFIELD et al, 1991); b) Testes de usabilidade: mtodos centrados no usurio, incluindo-se os mtodos experimentais ou empricos, observacionais e tcnicas de questionamento. Para o uso desses mtodos, faz-se necessria uma implementao (ROCHA E BARANAUSKAS, 2000 apud WHITEFIELD et al, 1991); c) Experimentos controlados: so experimentos de laboratrio, em que, se define uma hiptese a ser testada e todas variveis de interesse so controladas. Os dados coletados so analisados quantitativamente e os resultados so validados por conhecimentos estatsticos (ROCHA E BARANAUSKAS, 2000 apud PREECE et al, 1994; DIX et al, 1998); d) Mtodos de avaliao interpretativos: o objetivo neste propiciar, aos designers, um melhor entendimento sobre como os usurios utilizam os sistemas em seu ambiente natural e como o uso destes sistemas se integra com outras atividades. Geralmente, o usurio atuante neste processo de avaliao. Os mtodos deste grupo incluem as avaliaes participativa, conceitual e etnogrfica (ROCHA E BARANAUSKAS, 2000 apud PREECE et al, 1994; MONK et al, 1993; GREENBAUM e KYING, 1991). Em Nielsen e Mack (1994) encontra-se a seguinte classificao de avaliao: a) Automtica: a usabilidade avaliada por softwares que comparam a interface e suas especificaes; b) Emprica: a usabilidade avaliada a partir da observao dos testes feitos com usurios reais, sendo esta a forma de avaliao mais utilizada, , porm, de custo elevado;

28

c) Formal: a usabilidade medida a partir de modelos e frmulas e, de difcil aplicao, sendo problemtica no caso de interfaces altamente interativas e complexas; d) Informal: a avaliao da usabilidade baseia-se em regras heursticas e de experincias, conhecimentos ou habilidades pessoais ou de grupos. Na continuidade, sero descritos os principais mtodos de avaliaes de IHC.

2.4.2 Detalhamento dos Mtodos de Avaliaes de IHC

Devido importncia dos mtodos de avaliao de IHC, faz-se necessrio um conhecimento detalhado dos principais mtodos utilizados, a fim de se identificar a escolha de acordo com o objetivo de cada avaliao, lembrando-se que pode ser utilizado mais de um mtodo em uma mesma avaliao. Esses mtodos so classificados como analticos e empricos, como ser especificado nas prximas sees.

2.4.2.1

Mtodos de Avaliao Analticos

As avaliaes analticas so geralmente empregadas nas primeiras etapas da concepo de interfaces humano-computador, permitindo verificar questes como a consistncia, a carga de trabalho e o controle do usurio sobre o dilogo proposto (CYBIS, 2003). Prates e Barbosa (2003 apud Mack & Nielsen, 1994), ensinam que os mtodos de avaliao analticos esto relacionados inspeo de aspectos de uma interface de usurio com base na usabilidade, e esclarecem sobre seus principais objetivos que so:

29

a) Identificar problemas de usabilidade: identificar, classificar e contar o nmero de problemas de usabilidade encontrados durante a inspeo; b) Selecionar os problemas quem devem ser corrigidos: aps identificar os problemas, a equipe de projeto deve reprojetar a interface para corrigir o maior nmero possvel de problemas. Os problemas a serem corrigidos so priorizados de acordo com a gravidade do problema e o custo associado correo. As avaliaes analticas dispensam a participao direta de usurios nas avaliaes e inspees, que se baseiam em verificaes e inspees de verses intermedirias ou acabadas de softwares interativos, feitos pelos projetistas ou por especialistas em usabilidade.

2.4.2.1.1 Avaliao Heurstica

As avaliaes heursticas representam um julgamento de valor sobre as qualidades ergonmicas das interfaces e so realizadas por especialistas em ergonomia, que examinam o sistema interativo e diagnosticam problemas que o usurio poder ter em uma interao (CYBIS et al, 1998); Nesta dimenso Nielsen (2006) apresenta um conjunto bsico de heursticas: a) De visibilidade do status do sistema: o sistema precisa manter o usurio informado sobre o que est acontecendo, fornecendo-lhe um feedback dentro de um tempo razovel; b) De compatibilidade do sistema com o mundo real: O sistema deve falar a linguagem do usurio, com palavras, frases e conceitos familiares a ele, em vez de usar termos tcnicos. Deve seguir convenes do mundo real, dando-lhe uma

30

informao numa ordem natural e lgica; c) De controle e liberdade do usurio: os usurios escolhem, freqentemente e por engano, funes do sistema e precisam ter sadas de emergncia claramente marcadas, para abandonar a operao sem ter que percorrer um extenso dilogo, possibilitando funes undo e redo; d) De consistncia e padres: os usurios no precisam saber que diferentes palavras, situaes ou aes significam a mesma coisa. Devem seguir convenes de plataforma computacional; e) De preveno de erro: melhor projetar um design cuidadoso, no qual se previne o erro antes dele acontecer, do que, uma boa mensagem de erro; f) De reconhecimento em vez de lembrana: minimize o uso da memria do usurio, disponibilizando objetos, aes e opes visveis. O usurio, na passagem de uma operao para outra no precisa lembrar-se da informao anterior. Instrues para uso do sistema devem estar visveis e facilmente recuperveis, sempre que oportuna; g) De flexibilidade e eficincia de uso: aceleradores no vistos por usurios novatos podem acelerar freqentemente a interao de usurios especialistas, de modo que o sistema possa suprir necessidades de usurios sem experincia e experientes. Permitir a usurios experientes costurar aes, freqentemente; h) Do design esttico e minimalista: dilogos no devem conter informao irrelevante ou utilizada raramente. Toda unidade extra de informao, em um dilogo, compete com as unidades pertinentes de informao, e diminui a visibilidade relativa; i) Para ajudar os usurios a reconhecer, diagnosticar erros e recuperar-se deles: mensagens de erro devem ser expressas em linguagem clara (sem cdigo)

31

indicando precisamente o problema e sugerindo uma soluo; j) Ajuda e documentao: embora seja melhor um sistema que possa ser usado sem documentao, seria bom disponibilizar ajuda e documentao. Essas informaes devem ser fceis de encontrar, focalizadas na tarefa do usurio, com uma lista de passos concretos, e no muito extensas. Portanto, para cada elemento de interface deve ser feita uma anlise de sua conformidade com cada uma das heursticas apresentadas. J, a severidade de um problema de usabilidade consiste na combinao de trs fatores (NIELSEN, 2007): a) Freqncia com que o problema acontece: se comum ou raro? b) Impacto do problema: ser fcil ou difcil de soluo caso acontea? c) Persistncia do problema: o problema no superado, ou, ele causa aborrecimento constante? Para medir a severidade de um problema, Nielsen (2007) sugere a seguinte escala: a) 0 = eu no concordo que este seja um problema de usabilidade; b) 1 = problema cosmtico de usabilidade: no necessrio consertar o problema, a menos que haja tempo disponvel no projeto; c) 2 = problema de usabilidade secundrio (sem importncia): o conserto deste problema no deve ser prioritrio; d) 3 = problema de usabilidade principal (importante): o conserto deste problema de bastante prioridade; e) 4 = problema catastrfico de usabilidade: imperativo consertar este problema

32

antes que o produto seja liberado. A seguir, as inspees ergonmicas via checklists.

2.4.2.1.2 Inspees Ergonmicas via Checklists

As inspees ergonmicas via checklists so vistorias com base em listas de verificao, para diagnosticar problemas de interface. Essas listas so usadas pelos avaliadores como roteiro de princpios bsicos, desejveis em uma interface, para identificar problemas, reduzir a subjetividade e custos. Como em uma lista j esto presentes conhecimentos ergonmicos, no se faz necessria a aplicao destes questionrios por especialistas em usabilidade e ergonomia. A ferramenta ErgoList relaciona uma lista de checklists, tcnica de avaliao rpida, que se destina a apoiar a inspeo da interface e descobrir seus defeitos ergonmicos mais explcitos. Essa lista contm os seguintes itens (LABIUTIL, 2006): a) Presteza: verifique se o sistema informa e conduz o usurio durante a interao; b) Agrupamento por localizao: verifique se a distribuio espacial dos itens traduz as relaes entre as informaes; c) Agrupamento por formato: verifique os formatos dos itens como meio de transmitir associaes e diferenas; d) Feedback: avalie a qualidade do feedback imediato s aes do usurio; e) Legibilidade: verifique a legibilidade das informaes apresentadas nas telas do sistema; f) Conciso: verifique o tamanho dos cdigos e termos apresentados e introduzidos no sistema;

33

g) Aes mnimas: verifique a extenso dos dilogos estabelecidos para a realizao dos objetivos do usurio; h) Densidade informacional: avalie a densidade informacional das telas apresentadas pelo sistema; i) Aes explcitas: verifique se o usurio quem comanda explicitamente as aes do sistema; j) Controle do usurio: avalie as possibilidades do usurio controlar o encadeamento e a realizao das aes; k) Flexibilidade: verifique se o sistema permite personalizar as apresentaes e os dilogos; l) Experincia do usurio: avalie se usurios com diferentes nveis de experincia tm iguais possibilidades de obter sucesso em seus objetivos; m) Proteo contra erros: verifique se o sistema oferece as oportunidades para o usurio prevenir eventuais erros; n) Mensagens de erro: avalie a qualidade das mensagens de erro enviadas aos usurios em dificuldades; o) Correo de erros: verifique as facilidades oferecidas para que o usurio possa corrigir os erros cometidos; p) Consistncia: avalie se mantida uma coerncia no projeto de cdigos, telas e dilogos com o usurio; q) Significados: avalie se os cdigos e denominaes so claros e significativos para os usurios do sistema; r) Compatibilidade: verifique a compatibilidade do sistema com as expectativas e necessidades do usurio em sua tarefa.

34

Com essas orientaes possvel chegar a uma anlise prtica e gil, possibilitando uma avaliao com um baixo custo.

2.4.2.1.3 Percurso Cognitivo

O percurso cognitivo tem o objetivo de identificar problemas de usabilidade, para avaliar a facilidade de aprendizado do sistema atravs da explorao do usurio, que se justifica, para os usurios adquirirem conhecimento sobre novas caractersticas ou funes, apenas quando requeridas em seu trabalho. Esse mtodo examina principalmente (PRATES E BARBOSA, 2003): a) A correspondncia entre a conceitualizao de uma tarefa dos usurios e a dos designers; b) Escolha adequada ou no-adequada de termos ou do vocabulrio utilizado; c) Feedback adequado ou no, para os resultados de uma ao. De acordo com Prates e Barbosa (2003), nessa avaliao necessria, uma fase de preparao para a definio de: a) Hipteses sobre os usurios e sobre o conhecimento que eles tm sobre a tarefa e a interface; b) Cenrios de tarefas, construdos a partir de uma seleo de tarefas importantes e freqentes; c) Seqncia correta de aes para completar cada tarefa, definida pelo projetista; d) Proposta de design em papel ou prottipo ilustrando cada passo e indicando o estado da interface antes e depois de cada passo.

35

Para o procedimento de uma execuo dessa avaliao so relacionados os seguintes passos (PRATES E BARBOSA, 2003): a) O projetista apresenta uma proposta de design; b) Os avaliadores constroem histrias sobre a interao de um usurio com a interface, com base nos cenrios de tarefas selecionados; c) Os avaliadores simulam a execuo da tarefa, efetuando uma srie de perguntas sobre cada passo; d) Os avaliadores anotam pontos-chave, sobre os quais o usurio: Precisa saber antes de realizar a tarefa; Deve aprender ao realizar a tarefa. So necessrias perguntas bsicas, feitas pelos avaliadores, em cada passo das tarefas as quais orientam para identificar problemas que poderiam ocorrer no processo de interao. Algumas dessas perguntas so relatadas a seguir (PRATES E BARBOSA, 2003): a) O usurio tentar atingir a meta correta? Dada a decomposio de tarefa em subtarefas, o usurio saber por onde comear e qual o prximo passo? O que o usurio vai tentar fazer a cada momento? b) O usurio perceber que a ao correta est disponvel? Onde est o elemento de interface correspondente ao prximo passo? Que aes a interface torna disponveis? c) O usurio associar o elemento de interface correto meta a ser atingida? O elemento de interface revela seu propsito e comportamento? O usurio consegue identificar os elementos de interface?

36

d) Se a ao correta tomada, o usurio perceber que progrediu em direo soluo da tarefa? Como a interface apresenta o resultado de cada ao? O resultado apresentado tem correspondncia com o objetivo do usurio? De acordo com as descries das etapas do percurso cognitivo, seu conceito baseia-se em um processo em que os usurios aprendem por tentativas e sem treinamento, sendo de fcil uso e de baixo custo. Na continuao so destacados os mtodos de avaliao empricos.

2.4.2.2

Mtodos de Avaliao Empricos

As avaliaes empricas so mtodos baseados em experincias que se relacionam basicamente aos ensaios de interao e a monitoramentos (sistemas espies). Geralmente essa tcnica envolve a participao de usurios na coleta de dados, dados que so diagnosticados por especialistas, a fim de identificar problemas de usabilidade e comunicabilidade. As prximas sees relatam as principais avaliaes empricas.

2.4.2.2.1 Ensaios de Interao ou Testes de Usabilidade

Os ensaios de interao consistem em uma simulao de uso do sistema da qual participam pessoas representativas da sua populao-alvo, que tenta fazer suas tarefas tpicas, com uma verso do sistema pretendido, sendo necessrio um trabalho detalhado de reconhecimento dos elementos envolvidos (CYBIS, 2003).

37

Na viso de Cybis (2003), para se ter uma noo da complexidade de cada teste, necessrio fazer uma anlise das seguintes caractersticas dos ensaios de interao: a) O constrangimento inerente aos testes e, portanto, algumas medidas devem ser seguidas: Esclarecer o usurio sobre o teste, enfatizando a finalidade do ensaio e da sua participao; No pressionar os usurios a participar dos ensaios; No expor os usurios a comentrios de colegas; Caso o participante se sinta cansado ou constrangido diante de uma determinada situao, prefervel parar a realizao do ensaio de uma forma tranqila; Os ensaios devem ser planejados cuidadosamente quanto divulgao dos resultados, evitando-se invadir a privacidade dos participantes, realizando-se de preferncia, uma coleta annima. b) Para uma melhor informao faz-se necessrio que o usurio verbalize durante ou aps a interao com o software, onde se identifica: Verbalizao simultnea: realizada durante o ensaio de interao, no qual o analista deve controlar a verbalizao de acordo com o que o usurio est pensando, tentando fazer ou, lendo ou de acordo com a maneira como o trabalho est sendo apresentado; Verbalizao consecutiva: feita uma entrevista com o usurio no final do ensaio de interao e, se necessrio, pode-se repassar a gravao do vdeo que registrou o teste. c) O local do teste pode ser no ambiente usual da tarefa, ou em um laboratrio:

38

Teste no local: mais trabalhoso, mas pode trazer informaes mais ricas por estar no seu ambiente com as variantes do dia-a-dia, como, por exemplo, parar para atender um telefonema, suportar presso de superiores, entre outras; Teste em laboratrio: deve ser equipado com recursos e aparelhos sofisticados, que permitiam observar a interao humano-computador de forma contnua, possibilitando ao analista maior controle da situao. Para softwares na fase de concepo, este tipo pode ser mais vivel, pois o analista pode testar uma funo, fazer correes e testar o sistema. d) Registro e coleta de dados: recomendado utilizar cmeras de vdeo para o registro de tudo, sem filmar o rosto do usurio, realizando o ensaio da forma mais conveniente para o usurio e em local e horrio que lhe seja mais favorvel. Para a montagem de um ensaio de interao contam-se vrias etapas, desde a anlise preliminar at a realizao dos ensaios. Neste contexto Cybis (2003) descreve as etapas como seguem: a) Na etapa de anlise preliminar os especialistas tomam conhecimento da composio do software, realizando duas fases: Reconhecimento de software: faz-se uma entrevista com a equipe que desenvolveu o software, abrangendo questes como a populao-alvo do software, o tipo de tarefa que o software visa atender, as funes principais do produto, quantas pessoas foram envolvidas no desenvolvimento e se houver ergonomistas, o tempo de desenvolvimento, o ambiente de programao do sistema, as verses, a situao na rea comercial e tambm sobre o suporte; Pr-diagnstico: pode ser obtido atravs de uma tcnica de avaliao do tipo heurstica ou checklists para inspeo ergonmica, de que resulta um conjunto

39

de hipteses sobre problemas de usabilidade que sero testados nos ensaios de interao. b) Nesta fase so definidos os scripts, os cenrios e a amostra de usurios, a saber: Reconhecimento do perfil do usurio: os projetistas selecionam as pessoas (pblico-alvo), que podero vir a participar dos ensaios; Coleta de informaes sobre o usurio e sua tarefa: o analista deve elaborar questionrios destinados a buscar os dados de uma amostra de usurios. Estes questionrios devem conter os dados a respeito dos recursos disponveis, do contexto da tarefa, do nvel dos usurios, da utilizao do sistema; Definio dos scripts de tarefas para os ensaios: um script nasce a partir da combinao dos parmetros levantados, como os objetivos principais do software, as hipteses dos ergonomistas, as amostras de tarefa dos usurios, a funcionalidade do sistema considerada mais e menos importante pelo usurio e, tambm, as operaes mais freqentes do usurio. c) Enfim, a realizao dos ensaios deve durar no mximo 1 hora, com a participao do usurio, de 1 ou 2 ergonomistas observadores e de 1 assistente tcnico responsvel pelo funcionamento dos equipamentos. Os ensaios so controlados pelos ergonomistas que devem planejar como proceder nos casos de interrupes, retomadas e encerramento precoce do teste e, tambm, fazer anotaes em tempo real sobre o desempenho do usurio, erros e incidentes. Na seqncia complementa-se a caracterizao desta etapa: Obteno da amostra dos usurios: necessrio selecionar algum da amostra de usurios que realiza efetivamente as tarefas dos scripts, e que seja experiente na tarefa, algum que realmente exera suas atividades com o

40

auxlio do software, separando novatos de experientes. Ajustes nos scripts e cenrios: com cada participante deve ser realizada uma nova entrevista para buscar informaes visando os ajustes nos scripts e cenrios. Planejamento dos ensaios: envolve a tomada de deciso e a adoo de providncias relativas ao local dos ensaios, ao equipamento para registro dos acontecimentos, escolha das tcnicas de verbalizao e definio das estratgias de interveno, em caso de impasse. Para lidar com as situaes, sugere-se deixar o usurio tentar resolver sozinho qualquer tarefa, nunca ser grosseiro, propor ao usurio a realizao de uma tarefa alternativa na persistncia do impasse, e, caso os usurios se encontrem constrangidos ou nervosos, os ensaios devem ser interrompidos. Anlise e interpretao dos dados obtidos: a equipe de analistas deve rever todas as gravaes buscando dados relevantes que comprovem ou no as hipteses estabelecidas. Os resultados so relatados e entregues aos projetistas do sistema, com a descrio dos incidentes havidos durante a interao, relacionando-os com um aspecto do software e, tambm, definindo a prioridade dos problemas. Conclui-se que a utilizao da tcnica de ensaios de interao, por utilizar a participao direta do usurio, se mostra capaz de identificar problemas especficos referentes realizao das tarefas que por outras tcnicas no se conseguem identificar. Esta tcnica pode utilizar uma srie de outras tcnicas, como entrevistas, questionrios, checklists, sistemas espies que, em conjunto, caminham para um diagnstico final que busca a satisfao do usurio.

41

2.4.2.2.2 Sistemas de Monitoramento ou Espies

Cybis (2003), diz que os sistemas de monitoramento so softwares espies que permanecem na mquina do usurio simultneos ao aplicativo em teste, os quais capturam e registram aspectos das interaes do usurio com seu aplicativo em sua prpria realidade de trabalho. A quantidade de dados registrados pode tornar-se muito grande, e, devendo dessa forma a durao dos testes ser bem planejada pelos analistas. Esta tcnica no causa constrangimento ao usurio e ao mesmo tempo captura as interferncias causadas por sua realidade de trabalho. Na parte negativa, constata-se que no h como incentivar ou registrar as verbalizaes dos usurios que apresentam limitaes de ordem tcnica, relacionadas principalmente portabilidade das ferramentas de espionagem. Assim, um sistema de monitoramento pode auxiliar outras tcnicas de avaliaes, contribuindo para um melhor resultado de uma avaliao. A abordagem dos prximos pargrafos, ser feita sobre os testes focados na usabilidade e comunicabilidade.

2.4.2.3 Testes Focados na Usabilidade e Comunicabilidade

Para testar a usabilidade, so envolvidas as seguintes questes: facilidade de aprendizado e uso, eficincia de uso e produtividade, satisfao, flexibilidade, utilidade e segurana. Dessa forma, objetiva-se quantificar o desempenho do usurio. Para a preparao do teste, devem ser definidos os limites mnimos aceitveis, os mximos possveis e, tambm, o valor almejado para a medida do projeto (PRATES E BARBOSA, 2003).

42

Cybis (2003), define que se deve propor a elaborao de um plano de testes de usabilidade, cuja composio ser uma seqncia estruturada de avaliao, com base nos objetivos a serem atingidos, como se relata a seguir: a) Constatar, observar e registrar, problemas efetivos de usabilidade durante a interao; b) Calcular mtricas objetivas para eficcia, eficincia e produtividade do usurio na interao com o sistema; c) Diagnosticar as caractersticas do projeto que provavelmente atrapalhem a interao por estarem em desconformidade com padres implcitos e explcitos de usabilidade; d) Prever dificuldades de aprendizado na operao do sistema; e) Prever os tempos de execuo de tarefas informatizadas; f) Conhecer a opinio do usurio em relao ao sistema; g) Sugerir as aes de re-projeto mais evidentes em face dos problemas de interao efetivos ou diagnosticados. O objetivo da comunicabilidade revelar qualitativamente as falhas de comunicao potenciais, que podem ocorrer durante a interao. Segundo Prates e Barbosa (2003), a anlise dos dados dividida em 3 passos: a) Etiquetagem: o avaliador deve identificar as rupturas da interao, por meio de um conjunto de expresses, com o objetivo de ser o conjunto mnimo capaz de caracterizar suficientemente as rupturas de interao que acontecem durante o uso de uma aplicao. Estas expresses so relacionadas com o usurio, como caracterizadas a seguir:

43

Onde est? O usurio sabe o que deseja executar, mas no o encontra de imediato; E agora? O usurio no sabe o que significa e procura descobrir qual o seu prximo passo; O que isto? O usurio no sabe o que significa um elemento na interface; Epa! O usurio realizou uma ao indesejada e percebe imediatamente; Onde estou? O usurio efetua operaes que so apropriadas para outros contextos, e no para o atual; Assim no d! O usurio efetuou uma seqncia longa de operaes, antes de perceber que estava seguindo um caminho improdutivo; Por que no funciona? A operao efetuada no produz o resultado esperado, mas o usurio no entende; U, o que houve? O usurio no entende a resposta dada pelo sistema para a sua ao; Para mim est bom... O usurio acha equivocadamente que concluiu uma tarefa com sucesso; Desisto. O usurio no consegue fazer a tarefa e desiste; Vai de outro jeito. O usurio no consegue realizar a tarefa como o projetista gostaria, e resolve seguir outro caminho; No, obrigado. O usurio j conhece a soluo preferencial do designer, mas opta por uma outra forma de interao; Socorro! O usurio no consegue realizar sua tarefa. b) Interpretao: o avaliador deve associar as expresses identificadas a classificaes de problemas de interao ou diretrizes de design. Como exemplo veja-se a seguinte classificao genrica dos problemas:

44

Execuo: o usurio no consegue atingir o objetivo; Navegao: o usurio se perde durante a interao; Atribuio de significado: o usurio no capaz de atribuir um significado relevante a signos da interface; Percepo: o usurio no consegue perceber alguma resposta ou estado do sistema; Incompreenso de affordance: o usurio no entende uma soluo oferecida pelo designer e executa de uma forma mais complicada; Recusa de affordance: o usurio entende a soluo principal oferecida, mas escolhe outra. c) Perfil semitico: neste passo o especialista interpreta a etiquetagem e tabulao realizada nos passos anteriores, tentando reconstruir a meta-mensagem que transmitida pelo designer ao usurio atravs da interface. Assim, este passo acrescenta avaliao os problemas identificados, podendo fazer consideraes sobre possveis premissas de design e conhecimentos tticos. Abaixo apresentada uma tabela de associao entre expresses e classes de problemas (Tabela 1):

45

Tabela 1. Associao entre expresses e classes de problemas Associao entre expresses e classes de problemas
Expresso de Comunicabilidade Onde est? E agora? O que isto? Epa! Onde estou? Assim no d. Por que no funciona? U, o que houve? Para mim est bom. No, d. Vai de outro jeito No, obrigado. Socorro! Execuo Navegao Problemas de Interao Atribuio Percepo Incompreenso de de affordance significado X X X X X X X X X X X X X X X Recusa de affordance

X X X X X

X X X X X

Fonte: Prates e Barbosa (2003)

Aps alguns aspectos e tipos de tcnicas no campo de avaliao de IHC, a prxima etapa enriquece este estudo com noes sobre medidas da norma ISO 9241.

2.5 Avaliao de Interfaces segundo a Norma ISO 9241

A norma ISO 9241-11 de 1998, de acordo com ISO (2007), foi criada pela International Standard Organization e consideradas como requisitos ergonmicos para trabalho de escritrios com computadores. Essa norma objetiva promover a sade e a segurana de usurios de computadores, garantindo eficincia e conforto, e descreve os benefcios de medir usabilidade em termos de desempenho e satisfao do usurio, considerando o contexto de uso: usurios, tarefas, equipamentos, ambiente fsico e social, possibilitando que os usurios alcancem seus objetivos e satisfaam suas necessidades. As definies dos termos que envolvem a norma ISO 9241-11 so descritas como

46

segue (ISO, 2007): a) Usabilidade: a medida na qual um produto pode ser usado por usurios especficos para alcanar objetivos especficos com eficcia, eficincia e satisfao em um contexto especfico de uso; b) Eficcia: est ligada acurcia e completude com as quais os usurios alcanam objetivos especficos; c) Eficincia: relaciona-se com o nvel de eficcia alcanada no consumo de recursos relevantes, como esforo mental ou fsico, tempo, custos materiais ou financeiros; d) Satisfao: tem a ver com o conforto e com atitudes positivas em relao ao uso de um produto, podendo ser medida pela avaliao subjetiva em escalas de desconforto experimentado, gosto pelo produto, satisfao com o uso do produto ou aceitao da carga de trabalho, quando da realizao de diferentes tarefas, ou a extenso dos objetivos de usabilidade que foram alcanados; e) Contexto de uso: refere-se a usurios, tarefas, equipamentos (hardware, software e materiais) e ao ambiente fsico e social no qual um produto usado; f) Sistema de trabalho: envolve o sistema, composto de usurios, equipamento, tarefas e o ambiente fsico e social, com o propsito de alcanar objetivos especficos. Com esses termos, a ISO (2007) traz uma estrutura de usabilidade, ilustrado na Figura 2:

47

Estrutura de Usabilidade resultado pretendido

usurio

objetivos

tarefa

Usabilidade: medida na qual objetivos so alcanados com eficcia, eficincia e satisfao.

equipamento

resultado de uso

eficcia eficincia satisfao

ambiente

Contexto de uso produto

Medidas de usabilidade

Figura 2 Estrutura de Usabilidade (ISO, 2007).

Na especificao de usabilidade devem descrever os objetivos pretendidos e os componentes do contexto de uso como usurios, tarefas, equipamento e ambientes, detalhando-se os aspectos que influenciam a usabilidade e, descrevem-se, tambm os valores reais ou desejados de eficcia, eficincia e satisfao para o objetivo do contexto que so necessrios. Segundo ISO (2007), no campo de usabilidade, necessrio ter as medidas de eficcia, eficincia e satisfao, de acordo com o contexto de uso e das propostas. O nvel de detalhes de cada medida dependem dos objetivos das partes envolvidas na medio, devendo ser considerada a importncia relativa de cada medida para os objetivos. Essas medidas podem ser especificadas para objetivos globais ou para objetivos menores. Um exemplo de objetivos globais ilustrado na Tabela 2.

48

Tabela 2. Exemplo de Medidas de Usabilidade Medidas de Usabilidade Objetivos de Usabilidade Usabilidade global Medidas de Eficcia Porcentagem de objetivos alcanados; Medidas de Eficincia Tempo para completar uma tarefa; Tarefas completadas por unidade de tempo; Custo monetrio de realizao da tarefa. Medidas de satisfao Escala de satisfao;

Porcentagem de usurios que completam a tarefa com sucesso; Mdia da acurcia de tarefas completadas.
Fonte: ISO (2007)

Freqncia de uso;

Freqncia de reclamaes

Porm, podem ser necessrias algumas medidas adicionais para propriedades particulares do produto que contribuam para a usabilidade, conforme a Tabela 3:

49

Tabela 3. Exemplo de Medidas para Propriedades Desejveis do Produto. Medidas para Propriedades Desejveis do Produto
Objetivos de Usabilidade Adequados s necessidades de usurios treinados Adequados s necessidades para usar facilmente Adequados s necessidades para uso no-freqente ou intermitente Reduo de necessidade de suporte Medidas de Eficcia Nmero de tarefas importantes realizadas; Porcentagem de funes relevantes usadas Porcentagem de tarefas completadas com sucesso na primeira tentativa Porcentagem de tarefas completadas com sucesso depois de um perodo especfico sem uso Nmero de referncias para documentao; Nmero de chamadas ao suporte; Nmero de acessos para obter ajuda Nmero de funes aprendidas; Porcentagem de usurios que conseguem aprender por critrio Medidas de Eficincia Eficincia relativa comparada com um usurio experiente Medidas de satisfao Escala para satisfao com caractersticas importantes Taxa de uso voluntrio

Tempo gasto na primeira tentativa 1) ; Eficincia relativa na primeira tentativa Tempo gasto reaprendendo funes 1) ; Nmero de erros persistentes Tempo produtivo 1) ; Tempo para aprender por critrio 1)

Freqncia de reuso

Escala para satisfao com recursos de apoio

Facilidade de Aprender

Tempo para aprender por critrio 1) ; Tempo para reaprender por critrio 1) ; Tempo gasto na correo de erros

Escala para facilidade de aprendizado

Tolerncia a erros

Legibilidade
1)

Porcentagem de erros corrigidos ou apresentados pelo sistema; Nmero tolerado de erros do usurio Porcentagem de palavras lidas corretamente em uma distncia normal de visualizao

Escala para verificar erros

Tempo para ler corretamente um nmero especificado de caracteres

Escala para desconforto visual

Convm que nesses exemplos os recursos sejam medidos em relao a um nvel especificado de eficcia.
Fonte: ISO (2007)

De acordo com ISO (2007), as medidas de usabilidade dependem dos requisitos do produto e das necessidades da organizao. Os objetivos de usabilidade podem ser: primrios, menores, ou secundrios, em que, determinar objetivos menores pode permitir uma avaliao antecipada no processo de desenvolvimento. Em relao aos critrios, estes podem reduzir-se ao menor nvel aceitvel, ou para o nvel esperado de usabilidade, e seus valores para um grupo de usurios podem ser uma mdia, para todos indivduos ou para uma porcentagem de usurios, tomando-se cuidado para que seja dado o peso apropriado para cada item de medida.

50

Uma outra fonte de informaes importante sobre ergonomia so os critrios estabelecidos pelos pesquisadores Bastien e Scapin (1993), descritos na seguinte seo.

2.6 Critrios Ergonmicos segundo Bastien e Scapin

Os critrios ergonmicos um conjunto de qualidades ergonmicas que auxiliam nas avaliaes de IHC, para verificao de possveis problemas. Esses critrios foram definidos por Bastien e Scapin (1993), e so formados por oito divises. Tais critrios representam as caractersticas mnimas que um sistema interativo deve ter para apresentar um nvel razovel de usabilidade. As divises junto com as subdivises dos critrios relacionados nas prximas etapas so definidas por Bastien e Scapin (1997).

2.6.1 Conduo

A conduo refere-se aos meios disponveis para aconselhar, orientar, informar e conduzir o usurio na interao com o computador, por exemplo: mensagens, alarmes, rtulos, etc. So necessrios quatro critrios: a) Presteza: relaciona-se com as informaes que permitem ao usurio identificar o estado ou contexto no qual se encontra, bem como as ferramentas de ajuda e o modo de acesso, incluindo-se os mecanismos ou meios que permitem ao usurio conhecer as alternativas, no que se refere a aes. Esse critrio engloba os meios utilizados para levar o usurio a realizar determinadas aes, como, por exemplo, entrada de dados, na qual, sua finalidade facilitar a navegao do aplicativo e diminuir a ocorrncia de erros; b) Agrupamento/distino de itens: diz respeito organizao visual dos itens de

51

informao, relacionados uns com os outros, mostrando se esses itens pertencem ou no a uma classe, ou se indicam as diferenas entre as classes. Considera-se a topologia e algumas caractersticas grficas que podem indicar as relaes entre os itens, dependendo, da compreenso do usurio, entre outras coisas, da ordenao, do posicionamento, e da distino dos objetos de uma interface. Esse critrio est subdividido em outros 2 critrios elementares: Agrupamento/distino por localizao: tem relao com o posicionamento relativo dos itens, indicando as diferenas entre as classes, se os itens pertencem ou no a uma determinada classe, e o posicionamento relativo dos itens de uma classe; Agrupamento/distino por formato: est relacionado com as caractersticas grficas por exemplo, formato e cor e indicam se os itens pertencem ou no a uma classe as distines entre classes diferentes e as distines entre itens de uma classe. c) Feedback imediato: a qualidade e rapidez do feedback so fatores importantes para a satisfao e confiana do usurio. Esse critrio diz respeito s respostas do sistema s aes do usurio. Essas entradas podem ir do simples pressionar de uma tecla at uma lista de comandos. As respostas do computador devem ser fornecidas, de forma rpida, com um tempo de resposta condizente e consistente; d) Legibilidade: no que tange s caractersticas cognitivas e perceptivas dos usurios, a legibilidade diz respeito aos aspectos lexicais das informaes apresentadas na tela, que possam dificultar ou facilitar a leitura desta informao. Citam-se como exemplo: brilho do caractere, contraste entre letra e fundo, tamanho da fonte, espaamento entre palavras, espaamento entre linhas, espaamento de pargrafos, comprimento da linha, entre outros.

52

2.6.2 Carga de Trabalho

A carga de trabalho diz respeito a todos elementos da interface que tm um papel importante na reduo da carga cognitiva e perceptiva do usurio e no aumento da eficincia do dilogo, e comporta: a) Brevidade: corresponde ao objetivo de limitar a carga de trabalho de leitura e entradas e o nmero de passos, com base na carga de trabalho perceptiva e cognitiva, para as entradas e sadas ou para os conjuntos de entradas. Esse critrio supe duas qualidades: Conciso: diz respeito carga perceptiva e cognitiva de sadas e entradas individuais, e por definio no se refere s mensagens de erro e feedback; Aes mnimas: procura-se limitar o nmero de passos pelos quais o usurio deve passar para a realizao de uma tarefa, tentando diminuir a carga de trabalho e a probabilidade de ocorrncia de erros. b) Densidade informacional: essa qualidade relaciona-se com a carga de trabalho do usurio, de um ponto de vista perceptivo e cognitivo, com relao ao conjunto total de itens de informao apresentados aos usurios, e no ao item individual, objetivando minimizar a carga de memorizao.

2.6.3 Controle Explcito

O controle explcito refere-se tanto ao processamento das aes do usurio pelo sistema, quanto ao controle que os usurios tm do processamento de suas aes pelo sistema, e subdivide-se em dois critrios:

53

a) Aes explcitas do usurio: referem-se s relaes entre o que se processa pelo computador e as aes do usurio, devendo, o computador processar somente aquelas aes solicitadas pelo usurio e somente quando solicitado a faz-lo. Dessa forma, o usurio aprende e entende melhor o funcionamento da aplicao, ficando menos sujeito a erros; b) Controle do usurio: os usrios devem estar sempre no controle do sistema, ou seja, eles podem interromper, cancelar, suspender e continuar uma determinada ao. E cada ao possvel do usurio deve ser antecipada, e disponibilizadas opes apropriadas. Assim, o computador se torna mais previsvel.

2.6.4 Adaptabilidade

A adaptabilidade de um sistema diz respeito a sua capacidade de reagir conforme o contexto e conforme as necessidades e preferncias do usurio. Dois subcritrios constam na adaptabilidade: a) Flexibilidade: corresponde aos meios colocados disposio do usurio que permitem personalizar a interface levando-se em conta as exigncias da tarefa, de suas estratgias ou seus hbitos de trabalho com vistas a possibilitar ao usurio vrias maneiras para alcanar seu objetivo; b) Considerao da experincia do usurio: a interface deve ser concebida para lidar com as variaes dos nveis de experincia, de novatos a experientes. Atravs dos meios implementados, as opes possveis do sistema devem ser mostradas de maneiras diferentes, de acordo com o tipo de usurio.

54

2.6.5 Gesto de Erros

A gesto de erros compreende todos os mecanismos que permitem evitar ou reduzir a ocorrncia de erros e, quando eles ocorrem, favorecer sua correo. Os erros so aqui considerados como entradas de dados incorretos, entradas com formatos inadequados, entradas de comandos com sintaxes incorretas etc. Trs subcritrios participam da manuteno dos erros: a) Proteo contra os erros: refere-se aos mecanismos empregados para detectar e prevenir os erros de entradas de dados ou comandos, ou possveis aes de conseqncias desastrosas e/ou no sanveis; b) Qualidade das mensagens de erros: fundamenta-se na pertinncia, legibilidade e exatido da informao dada ao usurio sobre a natureza do erro cometido e sobre as aes que se devem executar para corrigi-lo. Este critrio favorece o aprendizado do sistema indicando ao usurio a razo ou a natureza do erro cometido, o que ele fez de errado, o que ele deveria ter feito e o que ele deve fazer; c) Correo dos erros: diz respeito aos meios colocados disposio do usurio com o objetivo de permitir a correo de seus erros para tornar mais gil essa correo.

2.6.6 Consistncia

O critrio da consistncia, tambm chamado de homogeneidade ou coerncia, referese forma pela qual as escolhas, na concepo da interface, so conservadas idnticas em contextos idnticos, e diferentes em contextos diferentes. Essas escolhas podem ser cdigos, denominaes, formatos, procedimentos etc.

55

2.6.7 Significado dos Cdigos e Denominaes

O significado dos cdigos e denominaes diz respeito adequao entre o objeto ou a informao apresentada ou pedida e sua referncia. Cdigos e denominaes significativas possuem uma forte relao semntica com seu referente. Termos pouco expressivos para o usurio podem ocasionar problemas de conduo podendo ele ser levado a fazer uma opo errada.

2.6.8 Compatibilidade

A compatibilidade refere-se ao acordo que possa existir entre as caractersticas do usurio, como: memria, percepo, hbitos, competncias, idade, expectativas etc. As tarefas por um lado, e por outro a organizao das sadas, das entradas e do dilogo de uma dada aplicao. Diz respeito tambm ao grau de similaridade entre diferentes ambientes e aplicaes.

2.7 Quanto Escolha das Tcnicas

Nas sees anteriores expressaram-se questes essenciais sobre as tcnicas de avaliaes de IHC, mas no se pode esquecer que o sucesso de uma avaliao depende, e muito, da escolha correta da tcnica utilizada no contexto a ser avaliado. Para a determinao de uma tcnica de avaliao, faz-se necessrio o entendimento do objetivo particular de um ambiente a ser avaliado, considerando-se os recursos disponveis e as expectativas dos resultados da avaliao. Em Cybis (2003), so relatadas algumas caractersticas importantes para a escolha de uma avaliao:

56

a) Efetividade: refere-se quantidade de problemas srios identificados - tcnicas indicadas: avaliao heurstica e ensaios de interao; b) Abrangncia: refere-se quantidade de problemas reais de todos os tipos identificados tcnicas indicadas: inspees por checklist e avaliao heurstica; c) Eficincia: a razo da quantidade de problemas srios identificados em, face da quantidade de problemas reais identificados de todos os tipos tcnica indicada: ensaios de interao; d) Produtividade: refere-se razo entre a quantidade de problemas reais de todos os tipos identificados e a quantidade de recursos financeiros necessrios; e) Sistematizao: para esta qualidade concorrem dois fatores igualmente importantes: repetitividade e reproduzibilidade. A repetitividade relaciona-se medida pela qual os resultados produzidos pela tcnica se repetem, quando o mesmo avaliador examina o mesmo software algum tempo depois da primeira avaliao. A reproduzibilidade est relacionada com a medida pela qual dois avaliadores diferentes, examinando um mesmo software, produzem os mesmos resultados tcnica indicada: inspees por checklist; f) Facilidade de aplicao: refere-se qualidade da tcnica que no exige formao ou competncias especficas para a realizao da tarefa - tcnica indicada: inspees por checklist; g) Poder de persuaso: refere-se a qualidade da tcnica de produzir resultados capazes de convencer os projetistas da gravidade dos problemas de usabilidade identificados tcnicas indicadas: ensaios de interao e avaliaes heursticas; h) Poder de desobstruo refere-se qualidade da tcnica produzir indicaes de melhorias na usabilidade dos sistemas.

57

Neste captulo, foram descritas vrias questes relacionadas ao campo de IHC, para um melhor entendimento do estudo deste trabalho. O passo seguinte ser contextualizar o estudo sobre avaliao de IHC.

58

59

3 CONTEXTUALIZAO DO ESTUDO SOBRE AVALIAO DE IHC

Com a proliferao dos computadores, existe uma grande demanda pelo desenvolvimento de interfaces intuitivas e amigveis. Muitas pesquisas tm sido desenvolvidas procurando avaliar propostas de interfaces. Apesar disso, possvel notar na literatura trabalhos que tratam superficialmente o tema avaliao, quando no confundem avaliao com a extrao de dados. Assim, com o objetivo de contribuir para o estudo da avaliao de interfaces que surgiu a motivao para o desenvolvimento do presente trabalho, dedicado a mostrar um conjunto de procedimentos que constituem uma metodologia para avaliao de interfaces humano-computador. Em seguida analisam-se alguns mtodos de avaliao consagrados na literatura. O processo de interao humano-computador multidimensinal e envolve vrios fatores, o que o torna complexo e difcil de formalizar. Apesar dessa dificuldade preciso traduzi-lo de forma pragmtica e operacional. Diante dessa situao, o presente trabalho inicia-se interpretando o processo de interao humano computador, para depois, atravs de uma anlise, elencar quais os atributos que maximizam este processo. No h como avaliar algo sem antes conhecer o que se est avaliando. Neste contexto, o presente trabalho optou por interpretar a interao humanocomputador a analogia de que este funciona como um processo comunicacional. Para tanto, inicia-se uma anlise dos fundamentos epistemolgicos que estabelecem a relao de comunicao, ou seja, a relao entre um sujeito cognoscente e um objetivo cognoscvel veiculado atravs de uma interface humano computador.

60

De acordo com este conceito, a interface um elemento de mediao entre o sujeito e o objeto de conhecimento, podendo ser assim expressa (Figura 3):

Processo de Mediao entre Sujeito e Objeto

As Razes Epistemolgicas
SUJEITO COGNOSCENTE

OBJETO COGNOSCVEL INTERFACE (MEDIAO)

Figura 3 O Processo de Mediao entre Sujeito Cognoscente e Objeto Cognoscvel.

O processo de avaliar interfaces requer inicialmente a definio clara dos objetivos da avaliao e em seguida criar situaes factveis de medio para posterior avaliao. A grande preocupao deste trabalho reside no fato de que no processo de avaliao esto presentes aspectos humanos tais como motivao, entendimento, compreenso, percepo, entre outros que so de difcil classificao e mensurao. Dentro desse processo, um fundamento importante o entendimento da comunicao, e nesse sentido Fernandes et al (1996) definem comunicao como efeito ou meio de comunicar, e conceituam comunicar como: fazer saber, participar, transmitir, estabelecer comunicao entre, corresponder-se. Nesse conceito, a comunicao um meio de expresso. Gomes (1988) nos ensina que o ser humano possui uma grande riqueza: a comunicao. A semiologia se encarrega de estudar e compreender os signos que compem os diferentes tipos de linguagens usados na comunicao.

61

De acordo com Hoelzel (2004 apud MASER, 1975), so descritos dois tipos bsicos de comunicao: verbal e no-verbal. O tipo verbal atravs da linguagem escrita ou oral, no no-verbal insere-se, a comunicao visual constitudo pelos recursos de ordem grfica ou pictrica. Abaixo expe-se um esquema da comunicao (Figura 4):

Esquema Geral da Comunicao

Repertrios Emissor

Repertrios Receptor

Figura 4 Esquema Geral da Comunicao (HOELZEL 2004 apud SHANNON e WEAVER, 1949). Esse esquema identifica os elementos de uma comunicao e como se relacionam. A fonte da mensagem construda por vrios elementos (palavras, nmeros, letras, pictogramas, cores, texturas, intermitncias, entre outros) que so repertrios do emissor (REPE) expresso durante a comunicao por um sistema de regras que transforma informao em mensagem. Repertrio e sistema de regras organizam a informao e formam a linguagem do emissor. O receptor o ponto de chegada da mensagem. Ele, por sua vez, tambm tem repertrio (RepR) que, embora seja diverso do emissor, deve ter uma parte em comum a fim de que haja comunicao. A comunicao apenas se torna um fato quando o emitente e o recipiente tm domnio da mesma linguagem. Ao emitente cabe a codificao da mensagem que tem a inteno de transmitir, e ao recipiente, a decodificao com base numa mesma linguagem. Nessa interao, os rudos so interferncias que podem modificar os sinais ou a mensagem transmitidos pelo canal e impedir a comunicao efetiva e eficiente (HOELZEL, 2004).

Uma ilustrao do processo comunicativo, que integra elementos cognitivos da recepo do sinal e considera aspectos socioculturais, apresentada por Hoelzel (2004 apud PETTERSSON, 1982), na Figura 5:

62

Modelo de Comunicao

Figura 5 Modelo de Comunicao (HOELZEL 2004 apud PETTERSSON, 1982).

Portanto, salienta-se a grande importncia da comunicao em uma interao. Nesse contexto, existem variveis subjetivas que so difceis de classificar ou medir, como por exemplo o aprendizado, que envolve questes socioculturais e o tempo. Como auxlio de uma avaliao de IHC, pode-se ainda contar com o estudo sobre a teoria da atividade. De acordo com Hoelzel (2004 apud NARDI, 1997), esta teoria oferece um quadro conceitual para descrever a estrutura, o desenvolvimento e o contexto de atividades apoiadas por um computador, com os seguintes princpios: a) Princpio da unidade entre conscincia e atividade: a atividade e a interao humana com sua realidade objetiva. A mente humana emerge e existe como um

63

componente especial de interao humana com o ambiente. esse processo de interao, que permite a atividade, a evoluo e a sobrevivncia num contexto. Logo, a observao da atividade s tem sentido se contextualizada; b) Princpio de orientao a objetos: foca a teoria da atividade para o ambiente com o qual os seres humanos interagem. O ambiente significativo para o ser que o habita. O ambiente contm entidades que combinam vrias caractersticas objetivas, e pode determinar, em grande parte, como as pessoas agem sobre estas entidades. Por outro lado, a forma, a organizao e o uso dessas entidades, que esto contidas no ambiente, tambm podem servir de indcios do comportamento humano; c) Princpio de estrutura hierrquica da atividade: os procedimentos humanos so diferenciados em atividade, ao e operao, levando em conta os objetivos aos quais estes procedimentos se orientam. til para prever o comportamento humano em situaes reais. So associados em trs nveis: atividade, ao e operao; d) Princpios de internalizao e externalizao: descrevem os mecanismos bsicos da origem dos processos mentais. Internalizao o processo de absoro de informao que ocorre a partir do contato com o ambiente, e externalizao oposto internalizao, a manifestao atravs dos atos, de forma que eles possam ser verificados e analisados; e) Princpio da mediao: a atividade humana mediada por ferramentas externas e internas. As internas, como mapas mentais e as heursticas, as externas, como computador, lpis, interfaces. As ferramentas so "veculos" da experincia social e do conhecimento cultural. Pode-se inferir que elas apresentam uma funo, uma forma de uso, uma representao, eficincia e efetividade;

64

f) Princpio do desenvolvimento: entender o fenmeno significa conhecer como ele se desenvolveu atravs do tempo at sua forma atual. Ao longo do tempo, o trabalho sofre alteraes as quais, compreendidas, possibilitam entender o estado atual e as demandas de um novo desenho. Com base nesses estudos, pode-se fazer uma anlise dos fatores que envolvem a comunicao em uma interao, de acordo com a codificao e decodificao da mensagem, na qual so: icnicos, lingsticos, cinticos e sonoros (Figura 6).

Fatores de uma Interao X Comunicao

Codifica mensagem: Cdigo Comunicao Decodifica mensagem

FATORES: ICNICO LINGUSTICO CINTICO

Decodifica mensagem

SONOROS
Figura 6 Fatores de uma Interao X Comunicao.

Codifica mensagem: Cdigo Comunicao

At o presente momento foram apresentados modelos gerais de uma comunicao. Em sntese, estes modelos so um meio essencial para identificar um problema de interface. A importncia desta parte do estudo est em identificar fatores no abordados por diversas tcnicas de avaliao de IHC. A aplicao dessas tcnicas uma parte do processo para uma soluo em IHC, mas no se pode esquecer que o processo em si comea com a deteco dos problemas e com o estgio de formulao, com vistas a chegar no fim desejado, que fazer uma avaliao vlida e fidedigna. Nesse contexto, faz-se necessrio interpretar o processo de interao, detectando suas fases, com o objetivo de encontrar solues para as medidas que so de difcil classificao e mensurao, e se representam de modo simblico na Figura 7.

65

Interpretao do Processo de IHC

Designer Interface Ao Filtro interpretao Codificao Caractersticas: Fsicas Cognitivas Emocionais Usurio
Figura 7 Interpretao do Processo de IHC.

Objeto X

Conforme a Figura 7 pode-se conhecer como o usurio executa uma ao atravs de uma interface, que recebe a codificao do objeto X, elaborada pelo designer. Essa codificao chega ao usurio atravs de uma interpretao, que, at o seu destino final, passa por um meio, representado por um filtro, o qual depende de variaes baseadas em caractersticas fsicas, cognitivas e emocionais, em razo de aspectos como cultura, tempo, e outros. Em relao aos aspectos que envolvem o filtro de uma comunicao, Raupp e Reichle (2003 apud CAMPBELL e STANLEY, 1966) relacionam os fatores mais comuns de interferncias e imperfeies encontradas na vida real:

66

a) Histria: a influncia dos acontecimentos do mundo exterior, por exemplo, uma eleio, um desastre natural, a situao econmica e a mudana de liderana; b) Maturao: tem a ver com o crescimento pessoal dos participantes ou beneficirios, dissociado daquilo que est ocorrendo no projeto; c) Instrumentao: a ameaa credibilidade de uma avaliao tambm est ligada credibilidade dos instrumentos e procedimentos utilizados para a coleta de dados, que devem ser vlidos e confiveis. Com base na interpretao do processo de interao humano-computador, fica evidente, a complexidade de classificar e mensurar os fatores envolvidos, mas, apesar disso, deve-se procurar a soluo mais prxima possvel de um valor confivel em uma avaliao. Essa soluo poder ser encontrada por meio das anlises qualitativas e dos julgamentos das situaes, pelas quais se chega a dados quantificveis. Essas anlises devem estabelecer os fatores envolvidos, bem como fornecer condies e prever situaes que mostram como mensur-los de forma vlida e fidedigna, subsidiando um processo de avaliao mais preciso e menos subjetivo. preciso definir cada atributo de modo inequvoco, objetivo e funcional, esclarecendo como se manifesta. preciso identificar comportamentos que reflitam nveis diferentes de intensidade, ou seja, estabelecer indicadores e suas gradaes. necessrio montar escalas de mensurao marcando seus limites e entre eles os pontos que correspondem aos graus de intensidade. A abordagem aprofundada sobre essas questes ser apresentada na proposta deste estudo, relacionada na seo seguinte.

67

4 UMA PROPOSTA PARA AVALIAO DE IHC

Como relacionado nos captulos anteriores, existe uma srie de trabalhos sobre avaliao de interfaces humano-computador tais como o de Nielsen (2006 e 2007), o de Bastien e Scapin (1997) ou mesmo o exposto na norma ISO-9241 (2007). Apesar do esforo empreendido por muitos pesquisadores, difcil encontrar na literatura uma classificao clara e representativa dos mtodos de avaliao de interfaces humano-computador. Alm disso, as propostas de avaliao apresentam baixa fidedignidade, ou seja, quando o processo replicado o resultado no o mesmo. bem verdade que preciso considerar que qualquer avaliao ou medida est sujeita a erro, mas este deve ser controlado e estar dentro de padres aceitveis. O fato a se destacar que os mtodos possuem grande carga de subjetividade em vrios pontos, prejudicando a validade dos mtodos e por conseguinte a fidedignidade. Diante desse problema, o presente trabalho apresentou, em captulos anteriores, um arcabouo terico sobre o processo de avaliao que deve ser utilizado quando da avaliao de interfaces. So questes bsicas que so negligenciadas, ou mesmo desprezadas, mas no podem faltar num processo de avaliao, se bem que, no aparecem na maioria dos mtodos utilizados. Assim, com a preocupao de fornecer uma anlise critica sobre a avaliao de interfaces humano-computador, o presente trabalho prope um conjunto de procedimentos que devem ser realizados para minimizar a subjetividade da avaliao de interfaces, bem como melhorar a preciso e exatido dos resultados. Alm disso, vale lembrar que avaliar no algo que ocorra aleatoriamente, requer fundamentao, pois se vale de tcnicas e mtodos

68

apropriados, apreciao segura da realidade, controle do erro e preocupao constante com a exatido e consistncia, e ainda a validade e fidedignidade do processo. Em vista disso que o presente estudo vem dar uma contribuio, procurando mostrar que a avaliao de interfaces humano-computador pode ser realizada respeitando-se esses princpios. Para tanto, sero apresentados os requisitos que envolvem o processo avaliatrio. Aps, ser realizado um mapeamento desses requisitos para o processo de avaliao de interfaces humano-computador, que resulta um delineamento que deve nortear a avaliao de interfaces, para assim se chegar na anlise dos mtodos existentes, ou dos mais utilizados.

4.1 O processo de Avaliao

Como j visto, avaliao o exame sistemtico e objetivo de um projeto ou programa, finalizado ou em curso, que contemple o seu delineamento, implementao e resultados, com vistas determinao do seu impacto, eficcia, eficincia e sustentabilidade (UNICEF, 1991). A palavra avaliar a uma primeira vista est geralmente, relacionada com a idia de fazer juzo de valor em relao a alguma coisa, classificando-a como boa, suficiente, melhor ou pior que outra. Pode-se dizer que avaliar determinar at que ponto uma caracterstica ou fenmeno obedece a certos padres desejados. Para se emitir um juzo de valor, primeiramente necessrio conhecer bem aquilo que se est julgando. Em seguida essencial contar com um padro de comparao, uma norma, um critrio, que permita fazer comparaes (RAUPP e REICHLE, 2003). O principal objetivo de uma avaliao responder seguinte pergunta: A combinao de materiais, mtodos, atividades, procedimentos, tarefas e pessoas

69

que formam um projeto ou programa leva aos objetivos propostos?

4.1.1 Classificao dos Mtodos de Avaliao de Interfaces Humano-Computador

Avaliao no uma atividade isolada e auto-suficiente, mas parte do planejamento de um projeto ou programa, que gera um processo de retro-alimentao, ou seja, cria a possibilidade de retificar as aes e reorient-las na direo do fim desejado. Os mtodos de avaliao de interfaces, podem basicamente podem ser classificados segundo duas grandes linhas: analticos/empricos ou em relao ao papel do usurio no processo de avaliao. A Figura 8 mostra um esquema de classificao para os mtodos quando classificados com base na experimentao e anlise, como se v abaixo:

Classificao de Mtodos de Avaliao: experimentao e anlise

Crticas Incidentes Diagnstico de Uso Mtodos Empricos Avaliao de Interfaces Testes de Concepo Questionrios Monitoramento Seleo de Alternativa Avaliao Interativa Banco de Testes Prototipagem Engenharia de Avaliao Estao de Avaliao Metodologia Geral Mtodos Informais Especialistas Planilha de Avaliao Modelo de Tarefas Modelo Preditivo Modelos Formais Modelo de Qualidade Modelo Lingstico Complexidade Cognitiva Mtodo Cognitivo Mtodo de Otimizao

Mtodos Analticos

Figura 8 Classificao de Mtodos de Avaliao da Experimentao e Anlise (OLIVER, 2001).

J o esquema mostrado na Figura 9 mostra uma classificao baseada na participao

70

do usurio, como segue:

Classificao de Mtodos de Avaliao: participao do usurio

Mtodos Empricos Mtodos Centrados no Usurio Avaliao de Interfaces Estimativa da Carga de Trabalho

Testes de Concepo Mtodos Centrados em Especialistas

Modelos Formais Preditivos Avaliao Automtica Modelos Formais de Qualidade

Mtodos Centrados sobre uma Modelizao de IHC

Generalizao Automtica

Figura 9 Classificao de Mtodos de Avaliao em relao Participao do Usurio (OLIVER, 2001).

4.1.2 Critrios para a Avaliao

Raupp e Reichle (2003) descrevem que, como em qualquer outra atividade, a definio de critrios ou parmetros que permitam dizer se um projeto ou programa teve ou no xito um passo fundamental em um processo de avaliao. Ao avaliar um projeto ou programa necessrio estabelecer critrios ou parmetros que, se atendidos, permitam dizer que o projeto teve sucesso. No caso de interfaces humanocomputador, esses parmetros incluem: eficcia, eficincia, impacto (ou efetividade), sustentabilidade e custo-efetividade.

4.1.3 Validade e Fidedignidade nos Delineamentos de Pesquisas de Avaliao

O processo avaliatrio valido quando suas concluses so corretas. fidedigno

71

quando seus resultados so replicveis. Fidedignidade e validade so requisitos que se aplicam tanto ao delineamento quanto mensurao da pesquisa de avaliao. No nvel do delineamento do processo de avaliao so examinadas as concluses, e a pergunta se esto corretas e aplicveis. No nvel de mensurao so examinados os escores (resultados) ou observaes, e a pergunta se so precisos e replicveis. H muitas maneiras de classificar a validade de delineamentos de pesquisa de avaliao, conforme explicam Cook e Campbell (1979), Yin (1989) e Sykes (1990). Para este estudo, a escolha abrange as seguintes classificaes: validade interna, validade de constructo e validade externa.

4.1.3.1

Validade Interna

Uma pesquisa de avaliao tem validade interna quando identifica relaes causais com preciso, que garantem estratgias cujo o objeto eliminar a ambigidade e a contradio. Quem queira afirmar que um evento foi causa de outro dever estar apto a descartar as explicaes rivais e demonstrar que sua concluso vlida.

4.1.3.2

Validade de Constructo

Uma pesquisa de avaliao possui validade de constructo quando identifica ou nomeia adequadamente as variveis em estudo, estabelecendo definies conceituais e operacionais dos principais termos e variveis do estudo, para que se saiba exatamente o que se quer estudar, medir ou descrever.

72

4.1.3.3

Validade Externa

H validade externa quando a pesquisa de avaliao demonstra algo que verdadeiro para alm dos estreitos limites do seu estudo. Se os resultados forem verdadeiros no apenas para o momento, lugar e pessoas de um certo estudo, mas tambm o forem para outros momentos lugares e pessoas, o estudo possuir validade externa. Esta pode ser obtida pela replicao da pesquisa, testando-se a coerncia entre os achados do estudo e os resultados de outras investigaes semelhantes.

4.1.3.4

Fidedignidade

Os resultados de uma pesquisa de avaliao fidedigna so replicveis: as concluses podem ser generalizadas para alm das condies especificas da pesquisa original. Para demonstrar que a avaliao fidedigna, preciso demonstrar que ela pode ser repetida ou replicada. Contudo, os pesquisadores raramente so recompensados por simplesmente repetir uma pesquisa, seja sua ou de autor. Replicaes fiis so menos criativas e interessantes que novas descobertas; conseqentemente os investigadores acham difcil publicar trabalhos que replicam uma pesquisa anterior ou receber reconhecimento por eles. Replicar um resultado em uma situao diferente e com diferentes procedimentos o mesmo que demonstrar que uma pesquisa de avaliao tem validade externa e pode ser generalizada para diferentes pessoas, lugares e condies. Replicaes exatas de procedimentos e resultados demonstram que os resultados so fidedignos. Replicaes conceituais de idias e concluses demonstram que a pesquisa tem validade externa.

73

4.1.4 Ameaas Validade

Muitos fatores colocam em risco a validade interna de estudos de avaliao experimentais, entre os quais destacam-se (AIRASIAN et al., 1977): a) Histria: refere-se aos acontecimentos exteriores ao programa, mtodo ou atividade de investigar, ocorridos durante o processo de avaliao, alterando seus resultados; b) Maturao: o desenvolvimento natural, biolgico, psicolgico ou sociolgico, que pode ocorrer durante o processo de avaliao; c) Instabilidade: a falta de fidedignidade das medidas que vai causar flutuaes nos escores, independentemente do programa, mtodo ou atividade a ser em estudados; d) Testagem: diz respeito influncia da aplicao de um teste, em determinado momento, sobre a aplicao posterior do mesmo teste; e) Instrumentao: uma grande ameaa credibilidade de uma avaliao so os instrumentos e procedimentos utilizados para a coleta de dados. Para reduzir essa ameaa essencial estabelecer a validade e a confiabilidade das informaes coletadas; f) Seleo: inclui aspectos tendenciosos, resultantes das diferenas entre os tipos de indivduos recrutados para compor amostras ou grupos; g) Mortalidade experimental: consiste na perda de indivduos em propores diferentes quando a avaliao se vale de comparao de amostras; h) Regresso estatstica: refere-se ao efeito decorrente da seleo de indivduos com base em escores extremamente baixos ou altos em determinados instrumentos de

74

medida. Os escores situados nos extremos de uma distribuio no so fidedignos e no reteste observa-se, geralmente, que as pessoas que apresentam escores extremamente altos passam a produzir resultados mais baixos e da a regresso em sentido descendente dos escores no teste; por outro lado, os que obtiveram escores extremamente baixos passam a apresent-los relativamente mais altos, e da a regresso em sentido ascendente. A falta de fidedignidade dos escores situados nos extremos da distribuio causam por si mesmos modificaes nos resultados do reteste.

4.2 Requisitos do Processo de Avaliao

Avaliar uma prtica que permeia a vida humana; a todo instante avalia-se ou se avaliado. Ajuzam-se as caractersticas de objetos e pessoas, que so ditos como incomuns ou vulgares, simples ou complicados, flexveis ou rgidos, atraentes ou desinteressantes, e assim por diante. Embora medida e avaliao se complementem, elas guardam diferenas marcantes, que preciso observar. Na mensurao, verifica-se a extenso, a quantidade, a massa ou grau de intensidade dos atributos de algum ser, comparando-se tais dados com determinada grandeza, adotada como unidade. Na avaliao, as pessoas atribuem um valor ao observado, conforme seus propsitos. O resultado na mensurao um nmero igual para todos os examinadores, j o resultado da avaliao representa uma tomada pessoal de posio diante dos dados colhidos na realidade. Na avaliao h mais risco de erro que na medida, porque ela exige o julgamento de valor. Cada pessoa percebe e interpreta a realidade de acordo com a prpria tica que, por sua vez, depende da experincia de cada um. Dessa forma, as avaliaes

75

refletem os quadros pessoais como referncia. Da a recomendao de apoi-las o mximo possvel com fatos. Dos dois processos, o mais complexo a avaliao, porm ambos se subordinam aos fins visados, que condicionam: o ngulo a que o observador se situa; a ordem de prioridade dos valores que orientam o seu julgamento (quem avalia um quadro aprecia-o diferentemente de quem o pintou, de quem quer compr-lo ou vend-lo), e o grau de preciso exigido da medida. Sabe-se que algo pode ser muito valioso para uma pessoa (certo emprego, por exemplo no caso de quem depende inteiramente dele), mas secundrio ou at indesejvel para a outra, que aspira situao melhor (ou j a tem assegurada). Assim, antes de avaliar uma jia, preciso definir o que se pretende fazer dela para, a seguir, examinar os seus aspectos materiais. O valor final que lhe ser atribudo vai depender de tudo isso, mas tambm do apreo que merece e da beleza nela percebida. No raro o valor estimativo de um objeto supera os dados desapaixonados da medida. Da define-se a avaliao como o processo de conferir valor a pessoas, objetos ou fatos, conforme se afigurem ao avaliador mais ou menos importantes (pertinentes, necessrios, adequados, teis, etc.) para os fins visados. Em razo disso, qualquer avaliao requer a explicitao prvia do seguinte: a) Os propsitos visados, ordenados por seu grau de importncia para o caso; b) A definio funcional da caracterstica a apreciar; c) Os valores que devero orientar os julgamentos traduzidos nos critrios a adotar; d) A escala de propriedade desses valores ou, na prtica, a hierarquizao dos critrios que presidiro o julgamento.

76

Diversamente do processo metdico da avaliao, a opinio situa-se em uma esfera de intenso colorido afetivo, onde cada qual ouve somente o corao, e confia no seu prprio parecer. Com os requisitos estabelecidos, pode-se aplic-los ao processo de avaliao de interfaces humano-computador, pois antes de qualquer coisa um processo de avaliao.

4.3 Definio da Proposta para Avaliao de IHC

O processo de avaliao possui certos requisitos e certamente estes no podem ser desprezados no momento de avaliar uma interface. Nesse sentido podem ser definidas as seguintes etapas para o processo de avaliao de interfaces humano-computador, formando assim uma proposta de delineamento para avaliao: a) Definio dos objetivos da avaliao; b) Planejamento e definio do delineamento de avaliao; c) Determinao dos atributos de qualidade segundo os objetivos propostos; d) Determinao dos pesos dos atributos; e) Determinao de indicadores quantificveis e mensurveis para os atributos previamente estabelecidos; f) Determinao dos pesos dos indicadores; g) Determinao dos instrumentos de medida dos indicadores; h) Determinao da validade, fidedignidade e calibrao dos instrumentos de medida; i) j) Determinao das escalas de referncia; Validao do delineamento de avaliao;

77

k) Avaliao.

4.3.1 Definio dos Objetivos da Avaliao

A definio precisa dos objetivos facilita o processo de avaliao. com a definio dos objetivos que se construir o design do processo de avaliao, bem como os atributos que devero ser considerados. A avaliao pode ser desenhada para comparar desempenho, fazer prognsticos, para prospeco de uma determinada linha de raciocnio, entre outras.

4.3.2 Planejamento e Definio do Delineamento da Avaliao

Aqui chama-se de delineamento o design, o planejamento da situao de avaliao. O delineamento deve contemplar os objetivos de forma a criar situaes que permitam a sua verificao. Alm disso, preciso que o planejamento das situaes de avaliao tambm permita a mensurao dos indicadores. Fazem parte do delineamento todas as etapas de avaliao, ou seja, desde a determinao dos objetivos at a efetivao do juzo de valor.

4.3.3 Determinao dos Atributos de Qualidade segundo os Objetivos Propostos

Todo processo de avaliao determina atributos para julgamento. No processo de avaliao de interfaces no diferente; no entanto, o grande problema da avaliao de interfaces humano-computador a definio dos atributos com a finalidade de contribuir para o cumprimento dos objetivos da avaliao. Os atributos tm de ser representativos no processo avaliatrio. Ocorre que o processo de avaliao de interfaces complexo, por envolver vrias reas de conhecimento e nem sempre os atributos so de fcil determinao e

78

mensurao. Por exemplo, o atributo: satisfao do usurio. Como definir satisfao? Como medir satisfao? Como definir nveis de medio de satisfao? Assim, preciso muita cautela na determinao dos atributos.

4.3.4 Determinao dos Pesos dos Atributos

Uma vez determinados os atributos, preciso realizar um balanceamento graas ao qual se possa verificar qual a contribuio de cada um deles para o processo de avaliao. Por exemplo: tomam-se como atributos de um processo de avaliao dois deles indicados pela norma 9241 eficcia e eficincia. Pergunta-se: todos possuem o mesmo peso, ou seja, a mesma importncia para o processo de avaliao de acordo com os objetivos a serem verificados? A eficcia mais importante que a eficincia? bem verdade que a determinao de qual atributo mais importante, bem como quanto mais importante, depende dos objetivos, e isso mostra a importncia do planejamento do delineamento do processo de avaliao. Exemplificando, Pfleeger (2004) utiliza o termo importncia para uma escala de pesos, com variao de 1 a 5, para cada atributo, em um estudo de caso sobre avaliao de ferramentas de projeto, conforme Anexo II.

4.3.5 Determinao dos Indicadores Quantificveis e Mensurveis

Muitos atributos no so quantificveis e mensurveis diretamente. Alm disso, cabe destacar que mesmo indicadores qualitativos devem ser de alguma forma contabilizados para subsidiar o processo de avaliao. Quando no permitem a quantificao e mensurao de forma direta, os atributos devem ser explicitados em indicadores que possam atender, a esses requisitos. possvel que seja necessrio em alguns casos discriminar indicadores, assim

79

como foi necessrio fazer com os atributos at se chegar a indicadores quantificveis e mensurveis.

4.3.6 Determinao dos Pesos dos Indicadores

Assim como os atributos possuem certo grau de importncia diante de seus pares, um atributo pode ser discretizado em vrios indicadores, que podem receber contribuies diferenciadas para representar o atributo em questo. Dessa forma, cada indicador pode possuir um determinado peso diante de outros indicadores.

4.3.7 Determinao dos Instrumentos de Medida dos Indicadores

Medir significa atribuir magnitudes a certa propriedade de um objeto ou classe de objetos, de acordo com certas regras preestabelecidas e com a ajuda de um sistema numrico, de forma que sua validade possa ser comprovada empiricamente. Existem algumas caractersticas importantes quanto ao processo de medir. Em primeiro lugar, ele implica sempre um resultado numrico e no frases descritivas. Assim dizse que o processo de mensurao sempre quantitativo. Em segundo lugar, apresenta-se em unidades relativamente constantes, desde que as condies de mensurao tambm o sejam. O sistema mtrico um exemplo dessa caracterstica: no tempo em que o metro no existia, a jarda, o palmo, o p etc serviam de medio e, evidentemente, no havia unidade constante, pois essa medida dependia das caractersticas das pessoas que realizavam tal procedimento (tamanho do brao, do p, etc.) Essas implicaes da medida levaram busca da uniformidade.

80

Em terceiro lugar, especificamente no caso da psicologia, a medida relativa por no dispor de um ponto zero absoluto, como certas variveis fsicas. No existe um ponto zero de inteligncia ou um ponto zero de aptido, embora exista um ponto zero para a varivel distncia ou para a velocidade de um corpo em repouso. Dessa forma, preciso exprimir os resultados em dependncia de algum outro quadro de referncia a mdia, por exemplo, que sirva, arbitrariamente, como ponto de partida. Se a mensurao o processo de atribuir smbolos a objetos de acordo com as regras, os nmeros atribudos a esses objetos, ou eventos, devem representar quantidades de atributos. No intuito de esclarecimento, so definidos abaixo os principais termos: a) Smbolo: o que representa o atributo medido. Exemplo: nmero, letra, palavra, etc; b) Objeto: elemento para o qual a mensurao se dirige. Exemplo: em psicologia, pessoas, animais, etc; c) Atributo: caracterstica do objeto deduzida pela mensurao. Exemplo: inteligncia, atitude, tempo de reao, satisfao; d) Instrumento: meio utilizado para medir o atributo do objeto. Exemplo: teste, polgrafo (detector de mentiras), questionrio, etc; e) Regras: formulaes previamente estabelecidas, indicadoras dos procedimentos para a atribuio de smbolos aos atributos dos objetos que determinam as relaes entre o objeto e o smbolo. Exemplo: atribuio de percentil em um teste de inteligncia de acordo com o nmero de pontos atingidos; f) Situao padro: diz respeito ao controle de variveis que podem interferir no resultado da mensurao, chamada medida. Exemplo: instrues padronizadas de aplicao de um teste de atributo.

81

A medida desempenha um papel fundamental na investigao cientfica, mas no um fim em si mesma. Seu valor somente pode ser avaliado sob uma perspectiva instrumentalista, pois do contrrio se exagera o valor atribudo aos nmeros, concedendo-se ateno demasiada objetividade, sem se considerar o que possa ser feito posteriormente com a medida. como se o nmero tivesse um valor cientfico intrnseco. De acordo com Kaplan (1975), a essa distoro costuma-se denominar: mstica da quantidade. De acordo com ERTHAL (2003), so quatro as funes que a medida desempenha: quantificao, comunicao, padronizao e objetividade. Por quantificao entende-se que a medida permite uma descrio precisa do fenmeno. Considerando-se tudo que existe, existe em certa quantidade, uma descrio que inclua uma referncia magnitude com que o fenmeno se mostra uma descrio mais completa e precisa, pois permite, inclusive, compar-lo com outros. A preciso ser to maior, quanto maior tiver sido o cuidado mantido na mensurao e quanto mais adequado tiver sido o smbolo. O smbolo que garante maior preciso o nmero. A medida tambm permite uma melhor comunicao e porque condensa informaes, mais precisa e objetiva. Ao dizer que a medida de uma mesa de trs metros, no se precisa com isso dizer que a mesa grande, pois isso j est implcito, uma vez que foge ao padro. Pode ser um instrumento de padronizao porque assegura a equivalncia entre objetos com caractersticas diversas. O uso do percentil permite, por exemplo, a formalizao na expresso dos resultados de um teste. H uma unificao da linguagem, o que facilita a comunicao. A funo da objetividade a que permite classificaes com menor ambigidade.

82

Utilizam-se numerais para objetivar caractersticas que so diferentes, mas so prximas. Ao se empregar, em uma pesquisa, a expresso idoso em lugar de seu correspondente numrico relacionado idade, a descrio torna-se cientificamente ambgua. Apenas classificaes livres de ambigidade podem permitir ao pesquisador enunciar leis sobre o que est medindo. Lembra-se, ainda, que essencial a construo de um instrumento de medida, relacionando a sua fidedignidade com a sua validade. Como exemplo, tem-se a rgua, que caso em sua construo, ela tiver os centmetros demarcados com impreciso, ser um instrumento fidedigno porque sempre replicar as mesmas medidas, mas no ser vlido porque suas medidas no esto corretas.

4.3.7.1

Tipos de Medidas

Existem dois tipos de medida: a fundamental e a derivada. A medida fundamental aquela que obtida como resultado da mensurao direta, ou seja:

o atributo de um objeto alcanado atravs de uma comparao simples e direta com outro objeto que apresenta uma quantidade padronizada dessa propriedade (HAYS, 1970). Por exemplo, o peso e o comprimento podem ser medidos diretamente atravs de comparaes com padres. As caractersticas dos objetos mensurados atravs desse tipo de medida so chamadas extensivas. A medida derivada o produto de uma operao de mensurao baseada em indcios que se supe estarem relacionados com o atributo do objeto medido. Cita-se como exemplo, a temperatura de um objeto com mercrio: o que diz que a temperatura est alta ou baixa o movimento ascendente ou descendente do mercrio, pois existe a comprovao de que, com

83

temperaturas altas, esse metal apresenta dilatao, o contrrio ocorrendo com temperaturas baixas. As caractersticas dos objetos alcanados por essa medida so chamadas intensivas. A medida de fenmenos psicolgicos , em geral, do tipo derivado, e por isso necessrio estabelecer os indcios associados a essas medidas. Por exemplo: como medir moral de um grupo? A freqncia e rapidez com que o xito alcanado no desempenho de uma tarefa pelo grupo podem ser um ndice adequado para uma medida derivada relativa moral do grupo.

4.3.7.2

Dimenses a serem Medidas

As dimenses so chamadas atributos quando discretas (sexo, estado civil, etc.) e so chamadas variveis quando so contnuas (peso, altura, etc.). A diferena entre uma dimenso contnua e uma dimenso discreta pode ser explicada quando se consideram altura e estado civil como exemplos. Teoricamente, pode-se passar de uma estatura a outra por gradaes mnimas, e somente devido imperfeio de instrumentos que essas gradaes so alcanadas. No caso do estado civil, no h grau intermedirio entre um estado e outro. Suas categorias so qualitativamente distintas (solteiro, casado, etc.).

4.3.7.3

Classificao dos Instrumentos de Medida

De acordo com BABBIE (1999), existem, basicamente trs tcnicas de coleta de informaes: a) Observao; Registros de comportamentos;

84

Escalas de classificao. b) Inquirio; Questionrios: inventrios, escala de atitudes e levantamento de opinies; Entrevistas. c) Testagem. Testes no-padronizados; Testes padronizados. Algumas caractersticas sobre observaes so relacionadas no Quadro 1. Quadro 1. Vantagens e Limitaes de Observaes. Observaes Vantagens Limitaes
Requer-se que um ou mais sua H alta credibilidade porque os acontecimentos so registrados no momento em que ocorrem por um individuo imparcial e capacitado; Os observadores representam um ponto de vista distinto das pessoas mais prximas das A presena do observador pode observadores ateno, perodo por voltem um para modificar os comportamento ou as situaes; Para que a observao seja imparcial, necessrio contar com indivduos competentes e bem capacitados; Elaborao capacitao do dos instrumento e

terminado certos

acontecimentos no momento em que esto ocorrendo. so Aos dadas

observadores

instrues detalhadas de como realizar a observao e como utilizar um instrumento elaborado para esse fim. Ou em uma observao no estruturada se pede que se observe e em seguida se escreva um relato do que ocorreu durante a

observadores

atividades do projeto.

demandam tempo; Pode ser necessrio fazer diversas observaes; Demanda-se a elaborao cuidadosa de um calendrio

observao

Fonte: (Raupp e Reichle, 2003).

As principais vantagens e limitaes dos questionrios so demonstradas no Quadro 2.

85

Quadro 2. Vantagens e Limitaes de Questionrios. Questionrios Vantagens Limitaes

Questionrios so instrumentos que apresentam a informao aos possvel examinar vrios aspectos de um projeto utilizando apenas um instrumento; Por ser annimo permite que o respondente seja sincero e expresse sua verdadeira opinio; As perguntas so as mesmas para todos os respondentes; Permite que o respondente reflita sobre a pergunta e a resposta; No inibe o respondente; Permite utilizao de folhas de No to flexvel quanto a entrevista; A maioria das pessoas se expressa melhor oralmente do que por escrito; A informao pode ser

respondentes por escrito e pedem uma resposta escrita fechada ou aberta. As perguntas com respostas abertas ou fechadas (mltipla

escolha) podem incluir informao demogrfica (idade, formao, tempo de experincia, etc.), informao

superficial; Requer que o instrumento seja enviado ou entregue aos respondentes; Muitas pessoas se

factual (liste ou selecione na lista abaixo as tarefas que voc executa em um dia tpico de trabalho) ou opinies (voc considera que seu gerente utiliza da melhor maneira as habilidades que voc possui?) Aos respondentes so dadas instrues detalhadas instrumento. de como utilizar o

esquecem e devolver os questionrios ameaando preenchidos assim a

resposta prprias para a leitura tica; Baixo custo.

validade de informao.

Fonte: (Raupp e Reichle, 2003).

No Quadro 3 encontra-se aspectos que envolvem as entrevistas. Quadro 3. Vantagens e Limitaes de Entrevistas. Vantagens Limitaes
um Entrevistas podem ser feitas por telefone e em horrio conveniente para o Demandam tempo e esforo, possuindo, assim, custo alto; O entrevistador pode

Entrevistas
Entrevistas supem

encontro entre duas ou mais pessoas durante o qual o s pelo perguntas

entrevistado e entrevistador; Tm um alto grau de flexibilidade, pois permitem que o entrevistador explore caminhos adicionais; Permitem aprofunde interesse; Deixam mais a vontade pessoas que no de expressam bem por escrito; No h perda de sujeitos como ocorre com os questionrios. que em o entrevistador de se

entrevistado perguntas entrevistador.

responde feitas As

influenciar as respostas do entrevistado; Elaborar um protocolo de

podem ser predeterminadas e, nesse caso, um protocolo de entrevistas elaborado, mas o entrevistador com a pode investigar

entrevistas um processo complexo; necessrio capacitar os

questes

maior

entrevistadores; Transcrever a informao

maior

profundidade,

explorar temas interessantes ou esclarecer dvidas surgidas.

obtida uma tarefa muitas vezes rdua.

Fonte: (Raupp e Reichle, 2003).

86

4.3.8 Validade, Fidedignidade e Calibrao dos Instrumentos de Medida

A utilizao de instrumentos de medida em situaes prticas requer a satisfao de pelo menos dois requisitos bsicos: primeiramente, o instrumento de medida deve fornecer medidas confiveis, de modo que se obtenham os mesmos resultados ao tornar a medir o atributo em condies similares s do objeto ou indivduo em questo. Em segundo lugar, os instrumentos usados devem realmente medir aquilo a que se propem. Os resultados obtidos por meio do instrumento de medida devem, ento, ser reproduzveis e significativos. Assim, quanto fidedignidade tem-se o mesmo instrumento, aplicado ao mesmo grupo, em ocasies iguais ou diferentes, possibilitando que uma avaliao possa ter confiabilidade nos resultados obtidos. Quanto validade, observa-se a concordncia de resultados obtidos por mtodos muito diferentes no mesmo grupo. Na determinao da validade, a questo essencial ; Para quem e para que vlido o teste? Assim, sempre que possvel, o teste deve ser validado na situao especfica em que vai ser utilizado. Outro aspecto a ser assinalado que uma alta fidedignidade no indica uma alta validade. A fidedignidade condio necessria, mas no suficiente para que um instrumento seja vlido.

4.3.8.1

Validade de Contedo

O teste uma amostra do universo de observaes em que se est interessado. A validade de contedo consiste no exame sistemtico do contedo do teste, e tem por fim assegurar a representatividade dessa amostra, isto , que todos os aspectos fundamentais do

87

comportamento sejam, adequadamente e em propores corretas, abrangidos pelos itens do teste. A validade de contedo muito utilizada em testes de rendimento escolar e profissional. tambm utilizada na etapa inicial de elaborao de outros instrumentos objetivos.

4.3.8.2

Validade de Constructo, de Conceito ou Terica

Os tipos de validade mencionados anteriormente so utilizados quando um teste vai ter uma aplicao prtica. Algumas vezes, porm, o teste analisado em termos de significado de seus resultados e expresso em conceitos psicolgicos. Assim, ao invs de falar sobre os escores de uma pessoa em determinado teste, fala-se acerca de sua inteligncia, aptido mecnica, ansiedade, depresso etc. Estas so qualidades hipotticas, denominadas constructos. A validade de constructo , ento, a demonstrao de que o instrumento de medida avalia determinado constructo.

4.3.8.3

Validade Aparente

A validade aparente no validade em sentido tcnico, refere-se ao que o teste aparenta medir e no ao que realmente mede. Consiste em uma forma de adequao do material do teste ao seu objetivo, visando uma maior cooperao e motivao por parte dos dois sujeitos. Por exemplo: testes inicialmente elaborados para crianas e adolescentes, quando tiveram seu uso ampliado para adultos, sofreram resistncia e crtica devido falta de validade aparente. Assim, no suficiente a validade objetiva ou cientfica para que o instrumento de medida funcione em situaes prticas; preciso, tambm, que o sujeito aceite como vlidos os objetivos do teste, ou seja, sua validade aparente.

88

4.3.9 Determinao das Escalas de Referncia

Escala de avaliao um instrumento de medida psicolgica, na qual, se ordenam aspectos qualitativos de indivduos ou objetos, para que haja uma correspondncia numrica. O avaliador deve posicionar o indivduo ou objeto cujas caractersticas esto sendo julgadas em determinado ponto de um contnuo ou numa categoria pertencente a uma srie ordenada de categorias. As medidas escalares so utilizadas mais freqentemente na mensurao de atitudes, de traos de personalidade e nas avaliaes de desempenho. Pfleeger (2004), para medir os principais aspectos dos produtos, processos e recursos e determinar a satisfao em relao aos objetivos de produtividade, desempenho, qualidade e outros atributos desejveis, descreve uma escala de 1 a 5, para anlise de caractersticas. Essa escala inicia em 1 caracterizando o atributo como no satisfaz, at atingir o nvel 5 como satisfaz completamente. Um exemplo dessa escala apresentado no Anexo II.

4.3.9.1

Tipos de Escalas de Avaliao

Em qualquer atividade que utilize o planejamento, os resultados obtidos so considerados bons desde que alcancem os objetivos propostos. Neste caso, utiliza-se um indicador daquilo que se havia estabelecido como desejvel. O desafio est em expressar os objetivos de maneira que possam ser medidos e em selecionar os indicadores que demonstrem que se alcanou o nvel que se desejava. a) Escala nominal: a medio nominal apenas distingue as categorias que compem uma varivel. Sexo, por exemplo, uma varivel composta das categorias

89

masculino e feminino. Outros exemplos so filiao religiosa, regio do pas e tipo de curso superior. As categorias que compem uma varivel nominal so mutuamente excludentes, no tem qualquer outra relao entre si; b) Escala ordinal: a medio ordinal reflete uma ordenao entre as categorias que compem uma varivel. Classe social um exemplo de varivel ordinal, geralmente composta das categorias: classe baixa, classe mdia e classe alta. Embora tais medidas sejam muitas vezes representadas por nmeros num ndice ou escala, estes nmeros no tm outro significado alm da indicao da ordem; c) Escala intervalar: A medio de intervalo tambm usa nmeros para descrever condies, mas eles tm mais sentido do que na medio ordinal, porque as distncias entre os pontos tm significado real. O exemplo mais comum a escala de temperatura Fahrenheit. A diferena entre 80 e 90 graus a mesma que a diferena entre 60 e 70 graus. Observe que na escala ordinal esta diferena no teria a mesma relao; d) Escala razo: a medio de razo tem as mesmas caractersticas da de intervalo, com a caracterstica adicional de ter um zero real. Em comparao com a escala Fahrenheit (uma medida intervalar), a escala de temperatura Kelvin (baseada em graus de temperatura de zero absoluto) uma medida de razo: enquanto 40 graus Fahrenheit no so necessariamente duas vezes mais quentes do que 20 graus Fahrenheit, 200 graus Kelvin so duas vezes mais quentes do que 100 Kelvins. Outros exemplos de escala de razo so: idade, altura, peso, tempo de moradia numa cidade, entre outros.

90

4.3.10 Validao do Delineamento de Avaliao

A validade do delineamento verifica se a situao criada para realizar o processo de avaliao capaz de revelar as questes que surgem na busca dos objetivos. O mtodo, ou caminho escolhido, deve ser capaz de mostrar as respostas que subsidiaro o processo de avaliao, deve alm disso, criar situaes e condies que possibilitem mensurar o processo. A validao do delineamento implica uma anlise de toda a situao, bem como do mtodo utilizado e sua capacidade de criar situaes de quantificao e mensurao dos indicadores (tambm vlidos) que formam a correspondncia com o que se pretende elucidar, responder ou explicar. A Figura 10 sintetiza a proposta de avaliao de interfaces humano-computador mostrando suas etapas:

Etapas do Processo de Avaliao

Indicador: X Peso: X Atributo: X Peso: X Indicador: Y Peso: Y Instrumento Y Escala Y Instrumento X Escala X

. . .
Indicador: X Peso: X OBJETO Atributo: Y Peso: Y Indicador: Y Peso: Y Instrumento Y Escala Y Instrumento X Escala X AVALIAR

. . . . . .

- Criar - Validar - Certificar sua Fidedignidade - Calibrar

Figura 10 Etapas do Processo de Avaliao

91

4.4 Aplicao da Proposta para Anlise de Alguns Mtodos de Avaliao de

Interface Humano-Computador

Atualmente muito se tm falado e escrito sobre o processo de avaliao de interfaces humano-computador. Conforme j descrito, acredita-se que esses mtodos em sua grande maioria ainda no conseguem responder adequadamente ou cientificamente aos objetivos propostos. Para ilustrar essa assertiva analisar-se-o alguns mtodos que de certa forma so utilizados com grande freqncia e referidos na literatura, utilizando-se como base a proposta apresentada neste trabalho. Dentre diversos mtodos ou tcnicas apresentadas na literatura, nesta seo sero analisados os seguintes: a) A Norma 9241-11 de 2002 que trata de Requisitos Ergonmicos para o Trabalho de Escritrios com Computadores. Parte 11 Orientaes sobre Usabilidade (ISO, 2007); b) Avaliao heurstica proposta por Nielsen (2006); c) Critrios ergonmicos propostos por Bastien e Scapin (1993).

4.4.1 Anlise da Norma 9241-11/2002

4.4.1.1

Objetivo

O objetivo de projetar e avaliar computadores buscando usabilidade dar condio aos usurios para que alcancem seus objetivos e satisfaam suas necessidades em um contexto particular de uso. A ISO 9241-11 esclarece os benefcios que h em medir usabilidade no respeitante a

92

desempenho e satisfao do usurio. Esses so medidos pela extenso do alcance dos objetivos de uso pretendidos, pelos recursos gastos para alcanar os objetivos pretendidos e pelo tanto de uso do produto que o usurio considera aceitvel (ISO, 2007). importante destacar que a norma tem como objetivo principal a mensurao da usabilidade e para tanto enfatiza-se que se trata de medir a usabilidade no que diz respeito a desempenho e satisfao do usurio.

4.4.1.2

Caractersticas

Princpio utilizado para interpretar o processo de IHC: Usabilidade; Princpio de Avaliao referente ao Usurio: Centrada no Usurio; Tipo de Avaliao suportada: Emprica; Explicitao dos Atributos: Usabilidade; Indicadores: o Satisfao: Freqncia de uso; Freqncia de reclamaes. o Eficcia: Porcentagem dos objetivos alcanados; Porcentagem de usurios que realizam tarefas com sucesso; Mdia da acurcia das tarefas completadas. o Eficincia Tempo gasto para completar uma tarefa; Tarefas completadas por unidade de tempo;

93

Custo monetrio para realizao da tarefa. Instrumentos de Medida: o Planilha de Observao; o Questionrio de Opinies; o Testes de Desempenho; o Entrevistas. Nveis de Medida: O avaliador dever construir os nveis de medida para cada processo de acordo com as caractersticas do uso.

4.4.1.3

Anlise

A Norma 9241-11 mostra-se consistente na sua proposta quanto ao aspecto formal do processo avaliatrio, pois indica claramente seus requisitos, ou seja: explicita o principio da avaliao que o da usabilidade e que sua mensurao ser feita atravs de atributos. Porm, a norma genrica e fala pouco sobre o rigor necessrio para relacionar indicadores com o objetivo da avaliao e, tambm, sobre os instrumentos de medida e o delineamento escolhido para avaliao, nos quais o cuidado importante para a validade e fidedignidade. Alm disso, seus atributos devem ser discretizados em indicadores quantificveis e mensurveis. A Figura 11 ilustra uma sntese da anlise.

94

Anlise dos Indicadores: Norma 9241-11/2002

Freqncia de uso Peso: ? Satisfao Peso: ? Instrumento: X Escala: ?

Freqncia de reclamaes Peso: ? Instrumento: X Escala: ?

Porcentagem dos objetivos alcanados I N D I C A D O R E S Peso: ? Eficcia Peso: ? Instrumento: X Escala: ?

Porcentagem de usurios realizando tarefas com sucesso Peso: ? Instrumento: X Escala: ?

Mdia da acurcia das tarefas completadas Peso: ? Instrumento: X Escala: ?

Tempo gasto para completar uma tarefa Peso: ? Eficincia Peso: ? Instrumento: X Escala: ?

?: significa ausncia Instrumentos X: - Planilha de Observao - Questionrio de Opinies - Testes de Desempenho - Entrevistas

Tarefas completadas por unidade de tempo Peso: ? Instrumento: X Escala: ?

Custo monetrio para realizao da tarefa Peso: ? Instrumento: X Escala: ?

Figura 11 Anlise dos Indicadores da Norma 9241-11/2002

4.4.2 Anlise das Heursticas de Nielsen

4.4.2.1

Objetivo

Avaliao heurstica, definida por Nielsen (2006), um mtodo de avaliao de usabilidade pela qual um avaliador procura problemas de usabilidade em uma interface com o usurio atravs da anlise e interpretao de um conjunto de princpios ou heursticas. Esse mtodo de avaliao baseado no julgamento do avaliador. Neste mtodo importante destacar o significado da palavra heurstica que, segundo Ferreira (2004), : metodologia, ou algoritmo, usado para resolver problemas por mtodos que, embora no rigorosos, geralmente refletem o conhecimento humano e permitem obter

95

uma soluo satisfatria. Por seu significado a palavra heurstica indica que o mtodo de avaliao de interfaces proposto por Nielsen (2006) no rigoroso, ou seja, no preciso e deve ser utilizado levando-se em conta esta premissa.

4.4.2.2

Caractersticas

Princpio utilizado para interpretar o processo de IHC: Usabilidade; Princpio de Avaliao referente ao Usurio: Centrada no Avaliador; Tipo de Avaliao suportada: Analtica; Explicitao dos Atributos: Usabilidade; Indicadores: o Visibilidade do status do sistema; o Compatibilidade do sistema com o mundo real; o Controle e liberdade do usurio; o Consistncia e padres; o Preveno de erro; o Reconhecimento em vez de relembrana; o Flexibilidade e eficincia de uso; o Design esttico e minimalista; o Ajudar os usurios a reconhecer, diagnosticar erros e san-los; o Ajuda e documentao. Instrumentos de Medida: o Planilha de Observao.

96

Nveis de Medida: Nielsen (2007) cria uma regra que funciona como escala nominal aplicada a cada atributo. Essa regra mostrada na Tabela 4. Tabela 4. Grau de Severidade dos Problemas de Usabilidade. Grau de Severidade dos Problemas de Usabilidade Grau de Tipo Descrio Severidade Sem importncia No afeta a operao da interface 0 Cosmtico No h necessidade imediata de soluo 1 Simples Problema de baixa prioridade (pode ser reparado) 2 Grave Problema de alta prioridade (deve ser reparado) 3 Catastrfico Muito grave (deve ser reparado com urgncia) 4 Fonte: Nielsen (2007)

4.4.2.3

Anlise

Conforme as anlises do conjunto bsico de heursticas de Nielsen (2006), numa avaliao, verifica-se a inexistncia de alguns princpios essenciais para um bom desempenho, como a preciso e a exatido, devendo esses princpios ser utilizados apenas de maneira prospectiva para indicar que caminho avanar com mtodos mais rigorosos. Este mtodo no possui a definio de instrumentos de medidas apropriados e no estabelece escalas para comparao, caracterizando-se como um mtodo rudimentar que carece de validao desde seu delineamento at a definio dos instrumentos de medida. Por exemplo, o indicador visibilidade do status do sistema, sugere verificar essa qualidade, diretamente sem ressaltar a necessidade de questes bsicas e importantes, como: a) No demonstra o peso relacionado aos termos de seu indicador; b) O atributo no mensurvel, nem discretizado em indicadores; c) O indicador no quantificvel; d) Os instrumentos de medida so subjetivos, podendo comprometer sua validade e

97

sua fidedignidade. Complementando a anlise das heursticas, Nielsen (2007) apresenta uma escala relacionada severidade de um problema de usabilidade. Para chegar at as escalas apresentadas, Nielsen (2007), baseia-se na freqncia, no impacto e na persistncia do problema. No entanto, no se sabe at que ponto essas escalas apresentam um nvel de validade em uma avaliao. E, ainda, a sua planilha de observao no apresenta validao, de difcil interpretao e configura-se de baixa fidedignidade. A baixa fidedignidade significa que, aplicando-se a planilha por diversos avaliadores, os resultados so diversos e mostram assim variabilidade nos resultados do instrumento. como se uma balana indicasse valores diferentes a cada vez que fosse utilizada, quando diversos avaliadores mensuram um mesmo objeto. Alm disso, os indicadores no so precisos e quantificveis o que depe contra a fidedignidade. De acordo com a anlise acima, fica evidente a falta de um esclarecimento mais detalhado, podendo ela dar com resultado uma avaliao no confivel. Pois, qual a garantia de que uma mesma avaliao, baseada nessas heursticas tenha o mesmo resultado quando feita por vrios avaliadores, levando-se em considerao, que muitos itens ficam relacionados com o que cada pessoa entende. Essa confirmao feita por Bastien e Scapin (1993), que, relatam que 5 avaliadores produzem relatrios com apenas 10% de diagnsticos idnticos, utilizando essas heursticas. Acredita-se que o sucesso deste mtodo se deve pretensa facilidade de aplicao sendo aparado e utilizado por leigos ou iniciantes na rea. um processo modesto de avaliao ancorado em plidos critrios de cientificidade.

98

Os detalhes da anlise das heursticas esto demonstrados na Figura 12.

Anlise dos Indicadores: Heursticas por Nielsen

Visibilidade do status do sistema Peso: ? Instrumento: X Escala: ?

Compatibilidade do sistema com o mundo real Peso: ? Instrumento: X Escala: ?

Controle e Liberdade do usurio Peso: ? Instrumento: X Escala: ?

Consistncia e padres Peso: ? Instrumento: X Escala: ?

INDICADORES

Preveno de erro Peso: ? Instrumento: X Escala: ?

Reconhecimento ao invs de relembrana Peso: ? Instrumento: X Escala: ?

Flexibilidade e eficincia de uso Peso: ? Instrumento: X Escala: ?

Design esttico e minimalista Peso: ? Instrumento: X Escala: ?

?: significa ausncia

Ajudar os usurios a reconhecer, diagnosticar e recuperar de erros Peso: ? Instrumento: X Escala: ?

Ajuda e documentao Peso: ? Instrumento: X Escala: ?

Instrumentos X: - Planilha de Observao

Figura 12 Anlise dos Indicadores das Heursticas de Nielsen

O exemplo de avaliao do Anexo I do projeto Or, por Prates e Barbosa (2003), uma afirmao desta anlise. A primeira considerao do Quadro 3 do Anexo I sobre a heurstica violada: correspondncia entre o sistema e o mundo real, que identifica um problema de gravidade 4 (catastrfico). A segunda heurstica violada o reconhecimento, que sua identificao foi como gravidade 3 (grave). J a terceira heurstica, a correspondncia entre o sistema e o mundo real. A grande dvida sobre as trs violaes enquadradas na escala de gravidade de

99

Nielsen, que, para chegar nesta escala, o autor no teve como auxlio nenhum indicador mais consistente, a no ser o seu prprio entendimento em relao a essas heursticas. Isso pode comprometer o resultado de uma avaliao, por caracterizar subjetivismo.

4.4.3 Anlise dos Critrios Ergonmicos Propostos por Bastien e Scapin

4.4.3.1

Objetivo

Os critrios ergonmicos definidos por Bastien e Scapin (1993), pesquisadores do INRIA (Institut National de Recherche em Informatique et em Automatique da Frana), tm por objetivo incorporar consideraes de ergonomia dentro do processo de design e de avaliao da interface humano-computador. Sendo essas consideraes vistas como definio e operacionalizao de dimenses de usabilidade, para dar origem a um caminho de melhoria da finalizao e exposio da diagnose de padronizao do formato, e uma melhor documentao da avaliao. Neste mtodo, a nfase est na ergonomia apresentada pela interface de interao humano-computador.

4.4.3.2

Caractersticas

Princpio utilizado para interpretar o processo de IHC: Ergonomia; Princpio de avaliao em relao ao usurio: Modelizao de IHC; Tipo de avaliao suportada: Analtica e Emprica; Explicitao dos atributos:

100

o Conduo; o Carga de trabalho; o Controle explcito; o Adaptabilidade; o Gesto de erros; o Homogeneidade/coerncia; o Significado dos cdigos e denominaes; o Compatibilidade. Indicadores: o Conduo: Presteza; Agrupamento/distino de itens: Por localizao; Por formato.

Feedback imediato; Legibilidade. o Carga de trabalho: Brevidade: Conciso; Aes mnimas.

Densidade informacional. o Controle explcito: Aes explcitas do usurio; Controle do usurio.

101

o Adaptabilidade: Flexibilidade; Considerao da experincia do usurio. o Gesto de erros: Proteo contra erros; Qualidade das mensagens de erros; Correo de erros. o Consistncia; o Significado dos cdigos e denominaes; o Compatibilidade. Instrumentos de medida: planilha de observao; Nveis de medida: o avaliador baseia-se nos conceitos de usabilidade e ergonomia.

4.4.3.3

Anlise

Os atributos encontrados em Bastien e Scapin (1993), j possuem uma caracterstica importante, que o incio da alternativa em discriminar os indicadores primrios. Mas mesmo assim, encontra-se com uma certa subjetividade, dificultando uma possvel mensurao. Isto pode comprometer uma avaliao; por isso faz-se necessrio possibilitar que os indicadores sejam mensurveis, para se criar em escalas. Dessa forma, resultar um processo de avaliao mais confivel. Esta anlise permite identificar a falta de importantes componentes do processo de avaliao, relacionados no design elaborado por este trabalho, como: Determinao dos pesos dos atributos;

102

Indicadores mensurveis; Determinao dos pesos dos indicadores; Escalas de referncia. Segundo Cybis et al (1998), os princpios ergonmicos, por no serem processos algortmicos e sua formulao ser o resultado de uma experincia coletiva acumulada pela comunidade de ergonomia e de IHC, que examinam as prticas bem ou mal sucedidas, so apresentados na forma de critrios, recomendaes ou norma. Dessa forma, como so apresentados raramente, so associados a algum mtodo de concepo e por isso, so altamente dependentes de quem os interpreta. Essa confirmao identifica a validade desta anlise e destaca a importncia deste estudo. A anlise dos critrios ergonmicos demonstrada graficamente na Figura 13.

103

Anlise dos Indicadores: Critrios Ergonmicos por Bastien e Scapin

Presteza Peso: ? Conduo Instrumento: X Escala: ? Escala: ? Escala: Por Localizao Peso: ? Instrumento: X Por Formato Peso: ? Feedback Imediato Instrumento: X Peso: ? Legibilidade Peso: ? Instrumento: X Brevidade Escala: ? Escala: ? Instrumento: X Escala: ? Escala: Instrumento: X

Agrupamento / Distino de Itens

Conciso Peso: ?

I N D I C A D O R E S

Carga de Trabalho

Aes Mnimas Peso: ? Instrumento: X Densidade Informacional Instrumento: X Peso: ? Escala: ? Escala: ? Escala: ?

Controle Explcito

Aes Explcitas do Usurio Instrumento: X Peso: ? Controle do Usurio Peso: ? Instrumento: X

Adaptabilidade

Flexibilidade Instrumento: X Escala: ? Peso: ? Considerao da Experincia do Usurio Peso: ? Instrumento: X Escala: ? Proteo Contra os Erros Peso: ? Instrumento: X Escala: ? Qualidade das Mensagens de Erros Peso: ? Instrumento: X Escala: ? Correo dos Erros Peso: ? Instrumento: X Escala: ?

Gesto de Erros

Consistncia Instrumento: X Escala: ? Peso: ? Significado dos Cdigos e Denominaes Peso: ? Instrumento: X Escala: ? Compatibilidade Peso: ? Instrumento: X Escala: ?

?: significa ausncia Instrumentos X: - Planilha de Observao

Figura 13 Anlise dos Indicadores dos Critrios Ergonmicos de Bastien e Scapin (1993).

104

105

5 CONCLUSES

O presente trabalho mostrou que o processo de avaliao complexo e precisa de organizao e planejamento para sua execuo. Particularmente o processo de avaliao de interfaces humano-computador envolve fatores multidimensionais e exige, para sua execuo, conhecimentos de cincia da computao, psicologia cognitiva, sociologia, design, entre outros. E tambm revelou que mtodos de avaliao de interfaces largamente utilizados possuem grande subjetividade, uma vez que seus resultados no so replicveis com preciso. Alm disso, carecem de requisitos importantes indispensveis a um processo avaliatrio. E ainda, identificou que possvel mitigar a subjetividade atravs da utilizao dos quesitos elementares de um genuno processo de avaliao. Apresentou uma seqncia lgica de procedimentos capaz de orientar processos de avaliao de interfaces humano-computador e tornar preciso os resultados minimizando o erro e a subjetividade. Estes procedimentos so vlidos para todos os tipos de avaliao e, se forem respeitados, trazem capacidade de replicao de resultados gerando estabilidade nas mensuraes obtendo, portando fidedignidade, alm do que, orienta a determinao segura dos atributos que devem compor o processo de avaliao e a criao de situaes capazes de revelar indicadores precisos, mensurveis e quantificveis que visam a validade do processo.

5.1 Recomendaes para Trabalhos Futuros

Os aspectos apresentados neste estudo foram sobre questes que envolvem a validade

106

e a fidedignidade de uma avaliao de IHC. Essas questes foram ressaltadas nos captulos 3 e 4, assinalando conceitos para uma melhor consistncia nas avaliaes. Nesse aspecto, a sugesto para o complemento deste trabalho relacionada a seguir.

5.1.1 Discriminar os Atributos em Indicadores

Como visto neste estudo, na maioria das avaliaes existentes, para chegar a uma mensurao, deve-se discriminar seus atributos em indicadores. Uma das propostas para trabalhos futuros em torno dos atributos das principais avaliaes, devendo ser relacionados todos os atributos e divididos em partes menores, para que assim seja possvel mensur-los.

5.1.2 Criar Instrumentos e Escalas para os Indicadores

Outra sugesto para a continuao do estudo proposto , a partir dos indicadores discriminados, criar instrumentos e escalas que possibilitem sua mensurao. Para a efetiva criao destes instrumentos ser necessria a sua validao, certificao de fidedignidade e calibrao.

107

REFERNCIAS
[Airasian et al, 1977] Airasian, P. W. et al; Avaliao educacional: planejamento, anlise de dados, determinao de custos. Petrpolis: Vozes, 1977. [Babbie, 1999] Babbie, E.; Mtodos de Pesquisas de Survey. Belo Horizonte: Editora da UFMG, 1999. [Bastien e Scapin, 1993] Bastien, C.; Scapin, D.; Human factors criteria, principles, and recommandations for HCI: methodological and standardisation issues. Internal Repport INRIA, 1993. [Bastien e Scapin, 1997] Bastien, C.; Scapin, D.; Ergonomic criteria for evaluating the ergonomic quality of interactive system. Behaviour and Information Technology 16 (4/5): 220-231, 1997. [Benyon , 1993] Benyon, D.; Adaptive Systems: A Solution to Usability Problems. Computing Department, Open University, Milton Keynes, MK7 6AA UK, 1993. [Cook e Campbell, 1979] Cook, T. D.; Campbell, D.T.; Quasi-experimentation: design and analysis issues for field settings. Chicago: Rand Mc Nally, 1979. [Cybis, 2003] Cybis, W. A.; Engenharia de Usabilidade: uma abordagem ergonmica, Florianpolis: Universidade Federal de Santa Catarina, 2003. [Cybis et al, 1998] Cybis, W. A. et al; Uma Abordagem Ergonmica para o Desenvolvimento de Sistemas Interativos, Florianpolis: Universidade Federal de Santa Catarina, 1998. [de Souza et al, 2001] de Souza, C. S. et al; Projeto de Interfaces de Usurio Perspectivas Cognitivas e Semiticas. Rio de Janeiro, 2001. [Erthal, 2003] Erthal, T. C.; Manual de Psicometria. Rio de Janeiro: Jorge Zahar Ed., 2003. [Fernandes et al, 1996] Fernandes, F. et al; Dicionrio Brasileiro Globo. 43 ed. So Paulo: Globo, 1996. [Ferreira, 2004] Ferreira, A. B. H.; Novo Dicionrio Aurlio da Lngua Portuguesa. 3 ed. Curitiba: Positivo, 2004.

108

[Fischer, 1998] Fischer, G.; "Beyond 'Couch Potatoes': From Consumers to Designers", Proceedings of the 3rd Asia Pacific Computer Human Interaction Conference, IEEE Computer Society, 1998. [Hoelzel, 2004] Hoelzel, C. G. M.; Design Ergonmico de Interfaces Grficas HumanoComputador: Um Modelo de Processo, Florianpolis: Universidade Federal de Santa Catarina, 2004. [ISO, 2007] ISO 9241-11:1998; Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs), Part 11, Guidance on Usability. Disponvel em: <http://www.inf.ufsc.br/~cybis/pg2003/iso9241-11F2.pdf>; acesso em: Abr. 2007 [Kaplan, 1975] Kaplan, A.; A conduta na pesquisa: metodologia para as cincias do comportamento. 2. ed. So Paulo: EPU, 1975. [LabIUtil, 2006] Laboratrio de Utilizabilidade, ErgoList, Universidade Federal de Santa Catarina, <http://www.labiutil.inf.ufsc.br/ergolist/>; acesso em: jan. 2006. [Moran, 1981] Moran, T.; The Command Language Grammars: a representation for the user interface of interactive computer systems. International Journal of Machine Studies, 1981. [Nevo, 1986] Nevo, D.; The conceptualization of educational evaluation: An analytical review of the literature. House, Ernest R. (editor). New directions in educational evaluation. Philadelphia, USA: The Falmer Press, 1986. [Nielsen, 2007] Nielsen, J.; Severity Ratings for Usability Problems. Disponvel em: <http://www.useit.com/papers/heuristic/ severityrating.html>; acesso em: 5 jan. 2007. [Nielsen, 2006] Nielsen, J.; Ten Usability Heuristics. Disponvel <http://www.useit.com/papers/heuristic/heuristic_list.html>; acesso em: 10 dez. 2006. em:

[Nielsen e Mack, 1994] Nielsen, J. & Mack, R.; Usability inspection methods. EUA: John Wiley & Sons, 1994. [Oliver, 2001] Oliver, H..; Contribution lvaluation des logiciels multimdias pdagogiques, PhD Thesis, University of Technology of Compiegne, France, 2001. [Pfleeger, 2004] Pfleeger, S. L.; Engenharia de Software: teoria e prtica. 2. ed. So Paulo: Prentice Hall, 2004.

109

[Prates e Barbosa, 2003] Prates, R.O.; Barbosa, S.D.J.; Avaliao de Interfaces de Usurio Conceitos e Mtodos. Anais do XXIII Congresso Nacional da Sociedade Brasileira de Computao. XXII Jornadas de Atualizao em Informtica (JAI). SBC2003. Agosto de 2003. [Preece et al, 1994] Preece, J. et al; Human-Computer Interaction. Addison Wesley Longman Limited, England, 1994. [Raupp e Reichle, 2003] Raupp, M.; Reichle, A.; Avaliao: ferramenta para melhores projetos. EDUNISC, Santa Cruz do Sul, 2003. [Rocha e Baranauskas, 2000] Rocha, Heloisa V. da; Baranauskas, Maria C. C.; Design e avaliao de interfaces humano-computador. IME-SP, So Paulo, 2000. [Scriven, 1996] SCRIVEN, M.; Types of evaluation and types of evaluators. Evaluation Pratice, v. 1, n.13, 1996, p.151-161. [Sykes, 1990] Sykes, V.; Validity and Reliability in Qualitative Marketing Research : a Review of Literature. Journal of the Market Research Society, Vol. 32, n 3, July, 1990. [Unicef, 1991] A UNICEF guide for monitoring and evaluation: making a difference? Evaluation Office, 1991. [Yin, 1989] Yin, R. K.; Case Study Research - Design and Methods. Newbury Park. Sage Publications, 1989.

110

111

ANEXOS

112

ANEXO I: Avaliao Heurstica

Este anexo demonstra um exemplo de avaliao heurstica aplicada no item Quadro de Avisos do site do Projeto Ore, elaborado por Prates e Barbosa (2003).

113

114

ANEXO II: Anlise de Caractersticas

O anexo II apresenta uma tabela desenvolvida por Pfleeger (2004), com o exemplo de avaliao de ferramentas de projeto, com os valores e a importncia dos critrios.

Avaliao de Ferramentas de Projeto: valores e importncia de critrios Valores dos Critrios Atributo Ferramenta 1: Ferramenta 2: Ferramenta 3: t-OO-1 ObjectTool EasyDesign Boa interface com o usurio 4 5 4 Projeto orientado a objetos 5 5 5 Verificao da consistncia 5 3 1 Casos de uso 4 4 4 Execuo em UNIX 5 4 5 Pontuao 85 77 73

Importncia 3 5 3 2 5

Escala dos Valores dos Critrios: 1 (no satisfaz) at 5 (satisfaz completamente). Escala da Importncia: 1 a 5. Regra do Clculo da Pontuao: multiplica-se a importncia pelo valor atribudo a cada critrio e, aps, efetua-se a soma.