Reviso das Mtricas para Avaliao de Usabilidade de Sistemas*

Rodrigo Costa dos Santos M.Sc Analista de Sistemas com Especializao pela PUC-RIO Mestre em Administrao pelas faculdades IBMEC-RJ Analista de Sistemas das Centrais Eltricas Brasileiras S.A. Eletrobrs. E-mail: rcosta.santos@gmail.com
* Este artigo foi publicado no Congresso Internacional GBATA 2008 - Global Business And Technology Association Conference em 09 de Julho de 2008 em Madri Espanha, com o ttulo original: Systems Usability Evaluation Metrics Review, na rea de conhecimento: Global Information Management Strategies.

Resumo A usabilidade de sistemas um conceito que vai alm da facilidade de uso ou de aprendizagem, conceito mais abrangente do que isso e compreende vrios critrios para medi-la. Diversos estudos foram desenvolvidos, cada qual com seu conjunto de mtricas ou critrios para se avaliar a usabilidade de sistemas. O objetivo dessa pesquisa apresentar essas mtricas e seus significados, baseando-se em uma reviso da literatura cientfica, e propor um modelo com a unificao desses critrios fazendo uma comparao qualitativa entre as semelhanas e as diferenas entre eles. Chega-se a uma relao de seis critrios unificados, que apresentada e sugerida para ser utilizada em trabalhos futuros. Palavras-chave: Usabilidade de Sistemas; Avaliao de Usabilidade; Critrios de Avaliao. Abstract The systems usability is a concept that goes besides the easiness of use or of learnability, it is a concept more complex than that and it understands several metrics to measure it. Several relevant studies were developed, each one with his set of metrics or criteria in order that the systems usability was valued. The objective of this research is to present these metrics and his meanings, being based on a revision of the scientific literature, and to propose a model with the unification of these metrics doing a qualitative comparison between the similarities and the differences of them. It approaches to a relation of six unified metrics, which is presented and suggested to be used in future studies. Keywords: Systems Usability; Usability Evaluation; Evaluation Metrics.

Introduo

O termo usabilidade freqentemente usado para se referir capacidade de um produto em geral ser facilmente usado. Porm somente essa definio simplifica demais o problema, que envolve atender as expectativas do usurio de forma completa. Com relao usabilidade de sistemas, os detalhes a serem avaliados aumentam, pois envolve aspectos da interao Homem x Mquina alm de tornar esse uso eficaz, eficiente e agradvel para o usurio. Vrios estudiosos da usabilidade de sistemas j escreveram sobre o assunto e propuseram, cada um, seu modelo de avaliao. Vrias tcnicas de avaliao de usabilidade de sistemas tambm foram desenvolvidas: baseadas em questionrios, em modelos formais, checklists, ensaios de interao ou sistemas de monitoramento (Cybis, 2003). A ISO (International Organization for Standardization), uma organizao internacional para definio de normas tcnicas, que define normas em 148 pases, possui algumas normas que tratam

de usabilidade de sistemas. Dentre elas, tem-se a ISO 9126 que versa sobre qualidade de sistemas e define usabilidade como sendo um conjunto de atributos relacionados ao esforo necessrio para seu uso e para o julgamento individual para determinado conjunto de usurios (ISO 9126-1). Outra norma, e uma das mais significativas, a ISO 9241 que trata sobre viso do usurio e seu contexto bem como caractersticas ergonmicas do produto e entende que a usabilidade pode ser compreendida como a capacidade que um sistema oferece a seu usurio, em um determinado contexto de operao, para a realizao de tarefas de maneira eficaz, eficiente e agradvel (ISO 9241). O objetivo do presente artigo fazer uma reviso das mtricas e variveis aplicadas avaliao de usabilidade de sistemas baseado em autores relevantes no assunto e nas normas da ISO alm de propor um modelo que contemple todos esses conceitos. Para isso, o presente artigo est dividido da seguinte forma: primeiramente apresentado um histrico da usabilidade e como ela se inseriu no contexto de interfaces de sistemas, em seguida alguns conceitos e modelos de avaliaes de diversos autores e normas internacionais identificados atravs de uma reviso da literatura em base dados cientficas brasileiras e que sero analisadas e comparadas. Na seqncia um modelo unificado proposto contemplando todos os conceitos apresentados, e por fim as concluses do trabalho so apresentadas.

Histrico da Usabilidade

A usabilidade uma caracterstica de um determinado produto ser fcil de usar, fcil e rpido de aprender, no provocar erros ou caso ocorram sejam facilmente resolvidos, solucionar as tarefas que ele se prope a resolver com eficincia e eficcia e oferecer um alto grau de satisfao para seus usurios (ISO 9241-10, 1993; Nielsen, 1993; Jordan, 1998). De acordo com Shackel (1986), a definio de usabilidade foi introduzida por Miller em 1971 atravs de mtricas relacionadas a facilidade de uso. Miller identificou vrios critrios para mensurar a facilidade de uso, como por exemplo: tempo de aprendizado, nmero de erros e tolerncia falhas (Miller, 1971). Em 1979, Bennett deu incio a questo da usabilidade no contexto da Interao HumanoComputador (IHC), rea de pesquisa que estuda a comunicao entre pessoas e sistemas, apontando que a usabilidade sugere interao e satisfao do usurio (Bennett, 1979). Mais tarde, Shackel (1986) ampliou o conceito de usabilidade incluindo uma viso centrada no usurio e no ambiente em que o sistema est sendo utilizado, e apresentou quatro critrios para medir usabilidade: Eficcia, Aprendizagem, Flexibilidade e Atitude. Outro estudioso no assunto Jakob Nielsen (1993) que defende que a usabilidade tem como objetivo proporcionar interfaces agradveis para o usurio e que permitam fcil interao, com eficcia e eficincia. Aps a publicao de todos esses trabalhos, em 1998 a ISO criou a norma 9241 que trata de qualidade de pacotes de softwares e tambm considera questes sobre usabilidade tratada sobre a viso do usurio e seu contexto bem como caractersticas ergonmicas do produto e defende que a usabilidade pode ser compreendida como sendo a capacidade que apresenta um sistema interativo de ser operado, de maneira eficaz, eficiente e agradvel, em um determinado contexto de operao, para a realizao das tarefas de seus usurios (ISO 9241). A maioria dos estudos na rea de avaliao de usabilidade de software se baseia em uma nica tcnica ou em um conjunto de mtricas estipuladas por um nico autor. Tem-se uma necessidade na busca de padres formais e nas definies de mtricas para esta finalidade.

Critrios de Avaliao de Usabilidade

Nesta seo sero apresentados alguns modelos com seus critrios, desenvolvidos em vrios estudos acadmicos mais influentes neste assunto. Pretende-se analisar a similaridade entre os trabalhos apresentados culminando na unificao desses conceitos. Os autores apresentados foram selecionados aps uma reviso da literatura realizada atravs de uma busca em base de dados cientficas brasileiras classificadas no Qualis da CAPES (Coordenao de Aperfeioamento de Pessoal de Nvel Superior). Foram selecionadas seis revistas cientficas: RAE Revista de Administrao de empresas (ISSN 0034-7593), RAE-Eletrnica (ISSN 1676-5648), RAC Revista de Administrao Contempornea (ISSN 1415-6555), RAUSP Revista de Administrao (ISSN 0080-2107), RESI Revista Eletrnica de Sistemas de Informao (ISSN 1677-3071) e Revista Cincia da Informao (ISSN 0100-1965), alm dos Anais de dois congressos: EnANPAD Encontro da Associao Nacional dos Programas de Ps-Graduao em Administrao e o CATI Congresso Anual de Tecnologia da Informao. A palavra utilizada para busca foi simplesmente usabilidade, o perodo analisado variava de acordo com a data de disponibilidade de pesquisa de cada revista ou congresso. Foram encontrados 17 artigos e o resultado desta compilao encontra-se na Tabela 1. Entre os autores selecionados, o mais referenciado foi Jakob Nielsen citado onze vezes, seguido de Shneiderman citado trs vezes, Bastien & Scapin citados duas vezes, a ISO 9126 foi citada duas vezes e Jordan, Shackel e Quesenbery foram citados uma vez cada um. Perodo analisado 1961 a 2006 2002 a 2006 1997 2006 1977 a 2006 2002 a 2006 1999 a 2006 Quantidade de artigos encontrados 0 1 1 0 2 5 Autores Citados (Quant. de vezes) Bastien & Scapin(1) Nielsen (1) Shackel(1) e Nielsen(1) Nielsen(4), Shneiderman(2), ISO 9126(1) e Jordan(1) ISO 9126(1), Nielsen(3), Shneiderman(1) e Bastien & Scapin(1) Nielsen(2) e Quesenbery(1)

Fonte RAE Revista de Administrao de empresas RAE-Eletrnica RAC Revista de Administrao Contempornea RAUSP Revista de Administrao RESI Cincia da Informao

EnANPAD

1998 a 2005

CATI

2004 a 2006

Total 17 Tabela 1. Resultado dos autores encontrados na reviso da literatura.

Depois de selecionados esses sete autores, buscou-se o trabalho original de cada um deles e se descreveu os critrios que cada um desenvolveu para avaliar usabilidade de sistemas. 3.1 Critrios de Avaliao segundo a ISO 9126

A norma ISO 9126 Engenharia de Software Qualidade de Produto, foi desenvolvida com objetivo de criar um modelo de avaliao de qualidade para de produto de software. A finalidade chegar a um nvel de qualidade para atingir as reais necessidades do usurio. A Qualidade em Uso definida por esta norma a capacidade do produto de software de permitir que usurios especificados atinjam metas especificadas com eficcia, produtividade, segurana e satisfao em contextos de uso especificados (ISO 9126). O modelo proposto para avaliao de qualidade de um produto de software composto de seis caractersticas (funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade) cada um com suas subcaractersticas. Neste caso, para o presente trabalho, detalhamse as subcaractersticas referentes usabilidade, que so: Inteligibilidade: a capacidade do software possibilitar ao usurio identificar se o software apropriado para executar determinada tarefa. Apreensibilidade: a capacidade do software possibilitar ao usurio aprender a manuse-lo. Operacionalidade: a capacidade do software possibilitar ao usurio oper-lo e control-lo. Atratividade: a capacidade do software atrair o usurio, ser agradvel. Conformidade relacionada usabilidade: a capacidade do software estar de acordo com as normas e convenes relacionadas usabilidade. 3.2 Critrios de Avaliao segundo Shackel

Shackel (1986) entende que a usabilidade o meio pelo qual o usurio constri sua percepo em relao ao produto. O autor ainda coloca quatro componentes que devem ser observados antes da avaliao da usabilidade: usurio, tarefa, sistema e ambiente, e que um projeto bem focado na usabilidade deve possuir uma interao harmnica e dinmica entre esses quatros componentes. Para avaliao das tarefas sobe o ponto de vista da usabilidade, o autor coloca em quatro critrios (Shackel, 1986): Eficcia: Avalia o desempenho de uma tarefa focado a um usurio ou a um ambiente especfico. Por exemplo, em funo da velocidade de execuo e da quantidade de erros. Aprendizagem: Avalia o desempenho desde a instalao do produto at o inicio do uso, tempo de treinamento e reaprendizagem com relao freqncia de uso. Flexibilidade: Avalia o desempenho de adaptao a tarefas alm daquelas que j vm especificadas de fbrica, personalizao. Atitude: Avalia o desempenho com relao ao conforto ou satisfao do usurio associado aos nveis aceitveis de desgaste, fadiga, desconforto, frustrao e esforo pessoal. 3.3 Critrios de Avaliao segundo Nielsen

Nielsen (1993), assim como Shackel (1986), considera a usabilidade como sendo um dos aspectos que podem influenciar a aceitabilidade de um produto. Nielsen define usabilidade sob cinco atributos: Facilidade de aprender: O sistema deve ser fcil de aprender, para que um usurio possa concluir uma tarefa rapidamente e sem dificuldades. A interface deve ser clara e objetiva.

Eficincia de uso: O sistema deve ser eficiente na tarefa que se prope a realizar. O usurio deve atingir um alto nvel de produtividade. Memorizao: As funcionalidades do sistema devem ser fcil de relembrar, mesmo aps o usurio ficar um certo perodo de tempo sem us-lo, sem necessidade de um novo treinamento. Poucos Erros: O sistema deve produzir um nmero de erros reduzido e se um erro ocorrer, o usurio deve poder resolv-lo ou ignor-lo de forma rpida e simples. Satisfao: a percepo do usurio diante da interface do sistema. A interface deve ser agradvel e o usurio deve se sentir satisfeito e gostar de usar o sistema. Essa medida totalmente subjetiva. 3.4 Critrios de Avaliao segundo Bastien & Scapin

Bastien & Scapin (1993), pesquisadores franceses do INRA (Institut National de Recherche en Informatique et en Automatique), desenvolveram um conjunto de critrios ergonmicos para construo de interfaces de sistemas. Os autores propuseram oito critrios principais, sendo que alguns desses possuem subcritrios que complementam o conceito. Os oito critrios principais so: Conduo: a caracterstica do software em orientar o usurio atravs da interface e do uso do sistema, atravs de dicas, informaes e respostas simples s aes do usurio. Carga de Trabalho: a capacidade do software em solicitar o mnimo de aes para executar uma tarefa. Quanto menos passos o usurio deva tomar, melhor, pois reduz a memorizao e reduz a possibilidade de cometer erros. Controle Explcito: quando o usurio est sob o controle das aes do sistema e este se mostra obediente as aes do usurio. O processamento do sistema deve ser explicito ao usurio e ter maior controle sobre o sistema. Adaptabilidade: a capacidade do software em se comportar conforme as necessidades e preferncias do usurio. A interface do software deve reagir conforme o contexto. Gesto de Erros: o conjunto de mecanismos capazes de prevenir e reduzir erros causados pelo software, alm de facilitar sua recuperao quando os mesmos ocorrerem. Consistncia: a coerncia no modo que os aspectos de interface so mantidos em contextos semelhantes, e so diferentes quando aplicado a contextos diferentes. Significncia do cdigo: a clareza com que os cdigos e denominaes so apresentados para o usurio. Deve haver uma relao semntica forte entre tais cdigos e os itens ou aes s que eles se referem. Compatibilidade: relao entre as caractersticas dos usurios (percepo, idade, expectativas) e as tarefas, sadas e entradas do sistema. 3.5 Critrios de Avaliao segundo Jordan Jordan (1998) apresenta atravs dos seus estudos cinco componentes de usabilidade: Aprendizagem: o custo para o usurio em atingir um determinado nvel de competncia na realizao de uma tarefa, excluindo as dificuldades encontradas para realiz-la pela primeira vez. Performance do usurio experiente (PUE): o nvel da performance atingido por determinado usurio ao realizar muitas vezes determinadas tarefas com um determinado produto. Potencial do sistema: representa o nvel mximo de performance que pode ser atingido ao realizar uma determinada tarefa com um produto. o limite mximo do PUE. Re-usabilidade: indica uma possvel diminuio da performance que pode ocorrer aps o usurio no utilizar o produto, ou no executar uma determinada tarefa, por um determinado perodo de tempo.

3.6

Critrios de Avaliao segundo Shneiderman

Shneiderman (1998) nos apresenta cinco regras de ouro que so fatores mensurveis para avaliao da usabilidade e qualidade de uma interface de sistema. Essas regras so bem parecidas daquelas apresentadas por Nielsen (1993), porm apresentadas de uma forma mais objetiva. Tempo de Aprendizagem: Tempo necessrio para um usurio iniciante aprender a executar os comandos com objetivo de executar determinada tarefa. Velocidade de Realizao: Tempo necessrio para um usurio concluir uma tarefa chave do sistema. Taxa de Erros do Usurio: Nmero e tipo de erros cometidos pelos usurios. Reteno ao longo do tempo: Forma pela qual os usurios utilizam o sistema depois de passado determinado tempo (horas, dias ou semanas). Esta medida est relacionada com o tempo de aprendizagem e com a freqncia de utilizao. Satisfao Subjetiva: Grau de satisfao do usurio ao utilizar diversas funcionalidades do sistema. 3.7 Critrios de Avaliao segundo Quesenbery

Por fim, Quesenbery (2001) apresenta as cinco caractersticas da usabilidade, conhecida como 5Es (effective, efficient, engaging, error tolerant, easy to learn). Segundo a autora as interfaces devem ser avaliadas confrontando-se com essas caractersticas, a fim de garantir sucesso e satisfao do usurio final. Eficincia: Avalia o tempo (quantidade de cliques ou pginas visitadas) gasto para realizar determinada tarefa. Eficcia: Avalia como as tarefas foram exatamente concludas, e com que freqncia elas produzem erros. Atrao: Avalia o conforto ou satisfao do usurio ao utilizar o sistema. Mede a aceitao de usurio em relao ao software. Tolerncia a erros: Avalia a taxa de erros gerados pelo sistema. Presume-se que os erros sejam apresentados claramente para o usurio e resolvidos facilmente. Facilidade de aprender: Avalia a facilidade de uso para usurios de diversos nveis de experincia com o sistema. O usurio deve concluir uma tarefa com o mnimo de uso de assistentes ou ajuda possvel.

Unificao dos Critrios de Avaliao de Usabilidade

Todos os autores citados procuraram, ao longo do tempo, encontrar o conjunto ideal de regras ou mtricas para medir o grau de usabilidade de sistemas. Muitas dessas regras so bem semelhantes entre si, outras divergentes. Com o propsito de criar um conjunto de critrios que abrangessem todos os trabalhos dos autores apresentados, buscou-se analisar e construir um conjunto de critrios convergentes (significado semelhante), para que se possa medi-los na avaliao da usabilidade de sistemas. Para isso foi feito um estudo qualitativo e comparativo, e atravs da interseo dos vrios critrios, chegou-se a um conjunto de seis critrios, denominados: Facilidade de aprender, Facilidade de Relembrar, Controle de Erros, Eficincia, Eficcia e Satisfao, conforme o esquema apresentado no Apndice A, e sero explicados a seguir.

4.1

Facilidade de Aprender

O primeiro critrio que unanimidade entre os trabalhos apresentados a facilidade de aprender, todos os autores, Shackel (1986), Nielsen (1993), Bastien & Scapin (1993), Jordan (1998), Shneiderman (1998) e Quesenbery (2001) alm da norma da ISO 9126, apresentam de alguma forma um critrio que contemplem a idia do sistema ser fcil de aprender, o que o princpio bsico da usabilidade. O sistema deve ser fcil de aprender e de manusear, a interface deve ser clara e objetiva. Alm disso, Shackel (1986) apresenta ainda um critrio denominado Flexibilidade que avalia se o sistema permite realizar personalizaes para facilitar seu uso, para que o mesmo seja aderente s tarefas que o usurio realize. Na mesma linha, Bastien & Scapin (1993) apresenta um critrio chamado Adaptabilidade que pressupe que o sistema deve reagir conforme o contexto de uso. Bastien & Scapin (1993) tambm apresentam mais dois critrios que ajudam a enriquecer o conceito da facilidade de uso que so: Consistncia que tambm prev um grau de adaptao da interface de acordo com o contexto de uso do usurio e Significncia do cdigo que est ligado clareza na apresentao dos cdigos e expresses para manter uma boa conduo do usurio pelo sistema. 4.2 Facilidade de Relembrar

O segundo critrio, presente em nos estudos de Nielsen (1993), Jordan (1998) e Shneiderman (1998), diz respeito facilidade de relembrar as aes realizadas no sistema, mesmo que essa ao seja executada esporadicamente ou depois de longos intervalos de tempo. Jordan (1998) coloca ainda, atravs do seu critrio re-usabilidade, que a reutilizao dessa ao depois de um tempo sem usar no deve reduzir a desempenho ou o tempo para realizao da tarefa. Se a ao for facilmente relembrada esse tipo de perda no ocorrer. 4.3 Controle de Erros

O terceiro critrio, presente na ISO 9126 e nos trabalhos de de Nielsen (1993), Bastien & Scapin (1993), Shneiderman (1998) e Quesenbery (2001), trata do controle de erros pelo sistema. Os critrios analisados no se resumem em esperar do sistema apenas a ocorrncia de poucos erros, mas sim que o usurio seja claramente informado do que ocasionou o erro e permitir que o mesmo consiga resolv-lo facilmente. A ISO 9126 apresenta um critrio denominado Operacionalidade que compreende o conceito de que o usurio tenha o controle do sistema e compreende que esse controle engloba tambm a tolerncia a erros. 4.4 Eficincia

A Eficincia, presente na ISO 9126 e ns estudos de Nielsen (1993), Bastien & Scapin (1993), Jordan (1998), Shneiderman (1998) e Quesenbery (2001), diz respeito ao sistema fazer a coisa certa e deixar que o usurio consiga oper-lo de modo a atingir um alto grau de produtividade e desempenho na realizao das tarefas. Atravs do seu critrio Controle explcito, Bastien & Scapin (1993) adiciona que o usurio deve ter o controle do sistema e este deve executar o que for solicitado pelo usurio. Jordan (1998) coloca que um alto nvel de performance deve ser atingido a medida que o usurio utiliza o sistema, ou seja, pelo quantidade de vezes que ele executa a mesma tarefa. Shneiderman (1998) acrescenta que a velocidade que o usurio conclui uma tarefa tambm ponto fundamental para se medir a eficincia do sistema.

4.5

Eficcia

O critrio Eficcia, identificado em trs estudos: Shackel (1986), Bastien & Scapin (1993) e Quesenbery (2001), remete a idia de o sistema fazer a coisa certa e da melhor forma possvel. Para Shackel (1986) e Quesenbery (2001) a eficcia atingida, por exemplo, medindo o desempenho do sistema em funo da velocidade de operao e da quantidade de erros produzidos, alm da forma pelo qual a tarefa foi executada pelo sistema. Bastien & Scapin (1993) enriquece o critrio da Eficcia introduzindo atravs do seu critrio Carga de Trabalho que o sistema deve executar a tarefa com o mnimo de passos, ou seja, proporcionar a menor interao com usurio para concluir uma determinada tarefa, consequentemente, reduzindo a ocorrncia de erros. 4.6 Satisfao

Por fim, presente na ISO 9126 e em mais quatro estudos analisados: Shackel (1986), Nielsen (1993), Shneiderman (1998) e Quesenbery (2001), identificou-se o critrio Satisfao que diz respeito da percepo do usurio com o uso do sistema. Este critrio totalmente subjetivo, e est diretamente ligado opinio do usurio com relao s caractersticas como agradabilidade e conforto no uso. Shackel (1986) diz que seu critrio Atitude deve ser medido atravs dos nveis aceitveis de desgaste, fadiga, desconforto, frustrao e esforo pessoal o que nada mais do que a inverso da satisfao, que pode ser medida atravs da agradabildade e do conforto do usurio, conforme j mencionado. Alguns critrios analisados no foram considerados como critrios mensurveis para ser aplicado na avaliao da usabilidade de sistema e por isso foram desconsiderados, como por exemplo, o critrio Conformidade relacionada usabilidade da ISO 9216 que se refere mais a uma regra, que na etapa do desenvolvimento do sistema deve ser seguida, ou seja, necessrio que os desenvolvedores sigam as determinaes de usabilidade especificadas na fase do projeto do sistema. Outro critrio da ISO 9216 a Inteligibilidade que diz que o usurio deve perceber se o sistema ir atender suas expectativas, por isso entende-se que uma etapa que antecede a compra ou solicitao de desenvolvimento do sistema em si, o que no poderia ser medido atravs da avaliao de usabilidade. Bastien & Scapin (1993) tambm traz um critrio chamado Compatibilidade que prega a contextualizao dos usurios versus resultado esperado. A Compatibilidade apontada pelo autor corresponde a uma caracterstica que deve ser levada em considerao quando do planejamento da avaliao da usabilidade de um sistema.

Concluses

O presente artigo teve por objetivo apresentar diversos estudos mais relevantes sobre avaliao de usabilidade de sistemas e fazer uma comparao entre os critrios utilizados por ele. O grande nmero de trabalhos acerca do assunto prejudica um consenso para se realizar avaliao de usabilidade de sistemas, porm, analisando os trabalhos dos diversos autores apresentados, verificase que embora a nomenclatura e a quantidade de critrios apresentados sejam diferentes, existe uma equivalncia de conceito entre eles. Essa reviso dos critrios servir de apoio para futuras pesquisas ou avaliaes de usabilidade de sistemas. Confrontando todos critrios chegou-se a um conjunto de seis, cujos conceitos so a juno das idias de cada um desses trabalhos. Esses critrios so: Facilidade de aprender, Facilidade de Relembrar, Controle de Erros, Eficincia, Eficcia e Satisfao e esto apresentados no Apndice A.

Como sugesto para trabalhos futuros e para enriquecer ainda mais esse conjunto de critrios, poderia ser feito uma reviso da literatura mais extensa abrangendo bases de dados cientficas internacionais, para verificar a existncia de algum outro critrio que no tenha sido contemplado pela presente pesquisa.

Referncias

ABNT. Engenharia de software Qualidade de produto. Parte 1: Modelo de qualidade. NBR ISO/IEC 9126-1. Rio de Janeiro: ABNT, 2003. BASTIEN, J.M.C.; SCAPIN, D.L. Human factors criteria, principles, and recommandations for HCI: methodological and standatdisation issues. Frana: INRIA, 1993. BENNETT, John L. The Commercial Impact of Usability in Interactive Systems. In: Man/Computer Communication, Inglaterra, Infotech International, v. 2, p. 1-17,1979. CYBIS, Walter de Abreu. Engenharia de Usabilidade: Uma Abordagem Ergonmica. Florianpolis, Maio de 2003. Disponvel em: http://www.unoescsmo.edu.br/poscomp/cybis/Apostila_v51.pdf. Acesso em 24 mar. 2006. ISO. Ergonomic requirements for office work with visual display terminals (VDTs). Part 11 Guidance on Usability. ISO 9241-11. Switzerland: ISO, 1998. JORDAN, Patrick W. An Introduction to Usability. London, UK: Taylor & Francis, 1998. MILLER, R. B. Human ease of use criteria and their tradeoffs. Relatrio tcnico. New York: IBM Corporation, 1971. NIELSEN, J. Usability Engineering. Boston, MA: Academic Press, 1993. QUESENBERY, W. What does usability mean: Looking beyond 'ease of use'. In: 48th Annual Conference Society for Technical Communication. Chicago, 2001. SHACKEL, B. Ergonomics in design for usability. In: HCI 86 Conference on People and Computer. New York: Cambridge University Press, 1986. SHNEIDERMAN, B. Designing the User Interface: Strategies for Effective Human-Computer Interaction. 3. ed. EUA: Addison Wesley, 1998.

Apndice A Quadro com a unificao dos critrios de usabilidade de sistemas