Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio Efficiency comparison of usability evaluation methods by the binary

method.
Eliana Formiga, Anamaria de Moraes

ergonomia informacional, avaliao de compreensibilidade, eficincia

A partir de pesquisa de compreensibilidade de imagens pictricas e usabilidade de guias de aplicao de colorantes de cabelos, propomos comparar a eficincia dos mtodos aplicados com especialistas e usurios usando a Tcnica de Avaliao Binria por meio de critrios ponderados proposta por David Meister. Esta proposta parte da pesquisa de doutorado do articulista.

informational ergonomics, evaluation of comprehensibility, efficiency

From searching for understandability and usability of pictorial image guides applying hair coloring, we compare the efficiency of applied methods with experts and users using the Binary Evaluation technique by means of weighted criteria proposed by David Meister. This proposal is part of doctoral research of the writer.

1. Introduo
Existem diferentes mtodos, tcnicas e testes j testados cientificamente em pesquisas internacionais que podemos utilizar para medir o grau de compreensibilidade de smbolos tanto para sinalizao, quanto para informaes de avisos e advertncias em embalagens e equipamentos. Alguns desses mtodos so recomendados pela norma ISO 7001, 9186-2001 para testar smbolos para sinalizao de ambientes pblicos. Esses mtodos foram pesquisados e alguns deles aplicados no Brasil em pesquisa de mestrado. (Formiga, 2002) Alm da compreensibilidade podemos tambm testar a usabilidade de material informativo ou instrucional usando mtodos da ergonomia informacional que fazem parte de uma avaliao formativa, somativa ou de ps-ocupao. Esses mtodos podem ser aplicados com sujeitos especialistas ou usurios do produto, dependendo do mtodo a ser aplicado e dos objetivos da pesquisa. Eles tanto podem apurar entendimento das instrues textuais quanto pictricas.

2. Seleo de material e aplicao de mtodos

A partir de seis (6) guias de aplicao de colorantes selecionados por trs pesquisadores em um universo de dezenove (19) guias e de 20 imagens pictricas escolhidas por outros especialistas, aplicamos dez (10) mtodos de avaliao de usabilidade e compreensibilidade listados no quadro de caractersticas dos mtodos.

3. Aplicao dos Mtodos e Tcnicas com especialistas

Os mtodos aplicados com especialistas (designers pesquisadores) usados na pesquisa foram o mtodo de pr-seleo aplicado em dois momentos e uma adaptao da avaliao heurstica para anlise grfica dos folhetos.

InfoDesign | Revista Brasileira de Design da Informao / Brazilian Journal of Information Design So Paulo | v. 9 | n. 3, p. 143 152 | ISSN 1808-5377

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

4. Aplicao dos Mtodos e Tcnicas com usurios

Os mtodos aplicados com usurios dos produtos, mulheres de 20 a 55 anos, de faixa salarial entre um a trs salrios mnimos e com funo de atendimento ao pblico na cidade do Rio de Janeiro, usados na pesquisa foram: Mtodo de produo; Teste de Compreenso; Mtodo de reidentificao; Teste de eleio; Teste de classe de adequao; Teste de distribuio de classes de adequao; Teste de estimativa de compreensibilidade e o Mtodo de correspondncia.

5. Avaliao dos mtodos

A comparao de eficincia dos mtodos para avaliar compreensibilidade de smbolos grficos foi feita a partir da Tcnica de Avaliao Binria por meio de critrios ponderados proposta por David Meister (1985, apud Moraes e MontAlvo, 2010). Com essa tabela, estamos propondo um instrumento de avaliao comparativa de eficincia dos mtodos de avaliao de compreensibilidade conhecidos pela bibliografia citada, suas caractersticas e adequaes, para facilitar os designers e pesquisadores a escolherem o(s) mtodo(s) que melhor lhe convenham em seus projetos ou pesquisas. Quadro demonstrativo 1 Etapa Na 1 etapa foi feito um quadro demonstrativo especificando caractersticas de cada mtodo usado nesta pesquisa. A norma ISO no foi considerada como mtodo parte, pois os testes nela includos j esto contentados nos mtodos aplicados. Para o quadro demonstrativo, consideramos os critrios: Nome do mtodo; Referncia bibliogrfica; Material necessrio para realizao do teste; Forma de tabulao; Perfil recomendado dos sujeitos; Nmero mnimo de sujeitos participantes do teste; Adaptaes j feitas por pesquisadores; Nvel de dificuldade de aplicao do teste pelos pesquisadores (1 = baixo / 2 = mdio / 3 = alto); Nvel de dificuldade para os respondentes (1 = baixo / 2 = mdio / 3 = alto); Fatores que influenciam o teste; Nvel de objetividade; Tempo de durao de cada teste por referente ou por vrios (curto = 3 segundos a 3 minutos / mdio = 3 a 6 minutos / longo = mais de 6 minutos); Resultado esperado ou objetivo de cada teste.

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 144

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Tabela 1: Quadro demonstrativo de caractersticas Perfil recomendado dos sujeitos o N mnimo de sujeitos Especialistas mnimo 3 Usurios 15 Usurios 30 Usurios 30 Usurios ou Especialistas Usurios ou Especialistas 30 30 Usurios ou Especialistas 30 Usurios 30 Especialistas Mnimo 5 Usurios 20

Nome do Mtodo

Referncia bibliogrfica

Material necessrio

Mtodo de tabulao

1. Mtodos de pr-seleo

Torgerson, 1960 Brugger 1994 Foster 1990/1

Coleta vasta de imagens colocadas em uma pgina A4 por referente. Caneta para marcao das imagens escolhidas. Ficha para tabulao. 1 ficha para os dados do sujeito + 1 ficha de papel branco, formato A5 ou A6, para cada referente com gramatura > 150g. Caneta futura ou lpis 2B. 1 caderno grampeado com capa para os dados do sujeito + 1 folha de papel formato A5 ou A6, para cada referente com lugar para preencher. No usar mais de uma imagem do mesmo referente para o mesmo sujeito. Lpis ou caneta. 2 tipos de baralho de papel com gramatura > 180 g. cada carta com uma imagem. Os baralhos tero todas as imagens. Um baralho com o significado e outro sem. Ficha para o entrevistador colocar as respostas.

Ficha A4 para cada referente, com todas as imagens correspondentes para contagem dos votos. Escolher de 3 a 10 imagens mais votadas. Para cada referente, fazer uma tabela entre a variedade de imagens desenhadas pelos sujeitos, e a quantidade de vezes que elas se repetem durante o teste. necessrio pelo menos 3 avaliadores. Em tabela separada, cada avaliador atribui os pontos de cada imagem conforme a tabela de resposta de Brugger. Contagem de cada referente pela maioria dos pontos dos juzes.

2. Mtodo de produo

Krampen 1969

3. Teste de Compreenso

Brugger 1994 ISO 9186

4. Mtodo de reidentifica o

Zwaga 1973 Stephen Carr 1973

Para cada referente, fazer uma ficha com as imagens correspondentes para contar a quantidade de acertos ou erros.

5. Teste de eleio

Krampen e Sevray 1969 Brugger 1994 Baralho de papel com gramatura > 180 g. cada carta com uma imagem e nome do referente. Lpis ou caneta. Ficha para o entrevistador preencher as respostas.

Em uma ficha A4, separar as imagens em fileiras por referente para tabular a contagem dos votos. Para cada imagem, separadas em tabelas por referente, deve-se anotar a ordem de preferncia do sujeito segundo a escala Linkert. Em uma tabela por referente com os campos: "Altamente Adequado", "Levemente Adequado" e "No Adequado" fazer a contagem do quanto cada imagem aparece em cada um dos casos. Para cada imagem, coloca-se em uma tabela a porcentagem estimada pelas respostas dos entrevistados. Ao final calcula-se a mdia dessas porcentagens. Cada entrevistado responde s perguntas segundo a Escala de Nveis de gravidade de usabilidade de Nielsen e Molich. Ao final calcula-se a mdia dos pontos. Para cada ficha s existe uma resposta certa. Para cada imagem relativa ao referente computado o nmero de acertos.

6. Teste de classe de adequao

Brugger 1994

7. Teste de distribuio de classes de adequao

Brugger 1994

8. Teste de estimativa de compreensibilidade

Zwaga 1989 ISO 9186 Brugger 1994 Olmstead 1994

Caderno de papel A4 com capa para dados e exemplo de resposta + uma pgina com as imagens de cada referente com espao para a resposta. Lpis ou caneta. Pgina com a relao de perguntas para cada objeto avaliado. Caneta. Fichas com quadro de imagens para escolha de uma delas relacionada com o referente escrito. Importante a escolha das imagens includas na ficha.

9. Avaliao Heurstica

Jacob Nielsen e Rolf Molich

10. Mtodo de correspondncia

Easterby& Zwaga 1976

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 145

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Tabela 1: Quadro demonstrativo de caractersticas (continuao) Nvel de dificuldade de aplicao do teste* Nvel de dificuldade para os respondentes*

Nome do Mtodo

Adaptaes

Fatores que influenciam o teste.

Nvel de Objetividade

Tempo**

Resultado Esperado

1. Mtodos de pr-seleo

Pode-se usar os mtodos 5, 6 ou 7, com suas respectivas tabulaes.

Importncia e hierarquia dos parmetros grficos

Opinio tcnica objetiva com fatores subjetivos

Curto para cada referente Curto para cada referente. Tempo total mdio Curto para todos os referentes Mdio para at 20 imagens Curto Curto

Avaliao tcnica dos smbolos quanto pertinncia para a pesquisa. Repertrio dos usurios das imagens relacionadas ao referente para desenvolver novo design. Grau de entendimento de cada imagem pelos usurios. Facilidade de memorizao das imagens.

2. Mtodo de produo

Repertrio e habilidade

Objetivo

3. Teste de compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao

Caso no haja maioria entre os pontos dos juzes, pode-se calcular a mdia. Imagens projetadas

Repertrio

Objetivo

2 1

2 1 1

Memria visual

Objetivo Subjetivo

As imagens tambm podero estar numa pgina, reunidas por referente com espao para a resposta.

Gosto, compreenso, comprometimento

Subjetivo

Teste de opinio baseado no entendimento e gosto do usurio.

Subjetivo

Curto

8. Teste de estimativa de compreensibilidade

Escolher o tipo de escala de respostas.

Comprometimento, Subjetivo avaliao dos outros

Curto a mdio dependend o do sujeito

Opinio do usurio quanto ao entendimento das outras pessoas adicionado ao prjulgamento dos outros em comparao a si mesmo. Avaliao tcnica dos folders e das imagens.

9. Avaliao Heurstica

Importncia e hierarquia dos parmetros grficos Repertrio e percepo

Opinio tcnica objetiva com fatores subjetivos

Longo

Imagens s da pesquisa ou uso de outras 1 imagens que possam confundir Legendas *1 = Baixo ** Curto - 3 seg. a 3 min. 10. Mtodo de correspondncia

Objetivo

Curto

Nvel de distino da imagem entre outras; relao da imagem ao referente.

2 = Mdio Mdio - 3 a 6 min.

3 = Alto Longo - mais de 6 min.

6. Tcnica de avaliao binria atravs de critrios ponderados

Essa tcnica apresentada por David Meister (1985, apud Moraes e MontAlvo, 2010) objetiva tornar menos subjetivas as decises, para selecionar a alternativa mais eficiente comparando as

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 146

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

alternativas planejadas segundo um sistema adequado de critrios. Propomos uma adaptao desta tcnica considerando os mtodos como sendo as alternativas e os critrios como sendo suas caractersticas quantificveis. O primeiro passo da tcnica consiste em explicitar os critrios que o pesquisador, ergonomista ou designer, considera importantes pra avaliar as alternativas, o que j foi feito no item anterior. O segundo passo a definio do peso/importncia de cada critrio, que um julgamento inteiramente subjetivo, pois uma questo de valor. O procedimento apresentado para determinar pesos quantitativos para estes critrios fundamentado em Hagen (1967) e apresentado na Tabela 2... Na situao real de projetao, poucos designers quantificam seus julgamentos, o que propicia infindveis discusses e pouca objetividade. (Moraes e MontAlvo, 2010) Distribuio de pesos - 2 etapa Consideramos, dentre os critrios descritos no quadro demonstrativo, os itens mais importantes e quantificveis para levarmos em considerao na avaliao de eficincia dos mtodos, so eles: Objetividade; Tempo de durao de cada teste; Dificuldade de aplicao do teste; Dificuldade do teste para os respondentes; Nmero de sujeitos.

Atribui-se ento, com base em comparaes binrias 0 ou 1 -, aos pares de critrios, de pesos bons (1) ou ruins (0). Todos os critrios so comparados entre si de dois em dois. O processo continua at que todos os critrios tenham sido comparados entre si. Conforme a tabela 2, podemos observar que a objetividade foi o critrio com peso mais importante que todos os outros, seguido pelo critrio: nvel de dificuldade do teste para os respondentes. Somam-se todos os valores 1 de cada critrio para se ter o total de cada, que dividido pelo nmero total de valores. Com isso teremos um coeficiente de peso para cada critrio que um valor relativo e no um valor absoluto. Na tabela a seguir, o coeficiente de peso do critrio objetividade foi estipulado em 0,4 (maior) enquanto o tempo de durao de cada teste apurou um coeficiente 0 (menor valor).
Tabela 2: Distribuio de pesos para critrios escolhidos

CRITRIOS Objetividade Tempo de durao de cada teste Dificuldade de aplicao do teste Dificuldade do teste para os respondentes Nmero de sujeitos

REGISTRO DE ESCOLHAS 1 0 0 0 0 1 1 1 0 0 0 1 1 1 0 0 1 1 1 0

TOTAL 4 0 1 3 2 10

COEFICIENTE DE PESO 0,4 0 0,1 0,3 0,2 1

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 147

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Temos ento um ranking de coeficientes que somam sempre 1 que a totalidade. Por ordem de importncia apuramos: Objetividade = 0,4 Dificuldade do teste para os respondentes = 0,3 Nmero de sujeitos = 0,2 Dificuldade de aplicao do teste = 0,1 Tempo de durao de cada teste = 0

A partir desses coeficientes sero calculados os valores de eficincia para cada teste no cruzamento final mostrado na tabela 8. Avaliao binria - 3 etapa Na terceira etapa, possvel comparar cada mtodo com todos os outros com base nos critrios estabelecidos. O melhor mtodo recebe o valor 1 e o pior, o valor 0 como ocorreu na tabela de coeficientes de peso. Podemos entender o procedimento observando as tabelas 3 a 7. Cada uma delas se refere a um critrio estabelecido, de acordo com a listagem j mencionada. Temos assim a avaliao binria entre todos os mtodos. A soma dos valores apurados para cada mtodo dividido pelo total de valores, resultando assim o coeficiente de escolha para cada mtodo com base nos critrios apurados. A seguir apresentamos as tabelas relativas aos critrios:
Tabela 3: Comparao de alternativas de configurao critrio: objetividade.

Mtodos 1. Mtodos de prseleo 2. Mtodo de produo 3. Teste de Compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao 8. Teste de estimativa de compreensibilidade 9. Avaliao Heurstica 10. Mtodo de correspondncia

Objetividade
0 0 0 1 1 1 1 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 1 1 0 0 1 1 1 0 0 0

Total 4 5 9 8 3 2 1 0 01

T Coeficiente de escolha 0,0889 0,1111 0,2000 0,1778 0,0667 0,0444 0,0222

0 1 1

0 1 1

0 1

00 0 61 17 45 0 1 1

0,0000 0,1333 0,1556 1

Obs: as colunas em cinza so continuao do quadro e foram ocultas devido largura.

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 148

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Tabela 4: Comparao de alternativas de configurao critrio: tempo.

Mtodos 1. Mtodos de pr-seleo 2. Mtodo de produo 3. Teste de Compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao 8. Teste de estimativa de compreensibilidade 9. Avaliao Heurstica 10. Mtodo de correspondncia

Tempo
0 1 1 0 1 1 1 1 0 1 0 1 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 1 1 0 0

Coeficien Total de te de valores escolha 2 4 9 1 7 5 6 3 0 8 45 0,0444 0,0889 0,2000 0,0222 0,1556 0,1111 0,1333 0,0667 0,0000 0,1778 1

Obs: as colunas em cinza so continuao do quadro e foram ocultas devido largura. Tabela 5: Comparao de alternativas de configurao critrio: nvel de dificuldade de aplicao.

Mtodos 1. Mtodos de pr-seleo 2. Mtodo de produo 3. Teste de Compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao 8. Teste de estimativa de compreensibilidade 9. Avaliao Heurstica 10. Mtodo de correspondncia

Nvel de Dificuldade de Aplicao

1 0 1 0 0 0 1 1 0 0 1 0 1 1 1 0 0 1 0 1 0 0 0 0 0 0 1 0 1 1 1 1 1 1 1 1 0 0

Total de Coeficiente valores de escolha 4 1 9 0 7 6 5 2 3 8 45 0,0889 0,0222 0,2000 0,0000 0,1556 0,1333 0,1111 0,0444 0,0667 0,1778 1

Obs: as colunas em cinza so continuao do quadro e foram ocultas devido largura.

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 149

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Tabela 6: Comparao de alternativas de configurao critrio: dificuldade para os sujeitos.

Mtodos 1. Mtodos de pr-seleo 2. Mtodo de produo 3. Teste de Compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao 8. Teste de estimativa de compreensibilidade 9. Avaliao Heurstica 10. Mtodo de correspondncia

Dificuldade para os sujeitos

1 0 1 0 0 0 1 1 1 0 1 0 1 1 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 1 1

CoeficiTotal ente de de valores escolha 5 1 6 2 9

1 1 1 8 0 0

0,1111 0,0222 0,1333 0,0444 0,2000 0,1778 0,1556 0,0000 0,0889 0,0667 1

7 0
0 4

3 45

Obs: as colunas em cinza so continuao do quadro e foram ocultas devido largura. Tabela 7: Comparao de alternativas de configurao critrio: nmero de sujeitos (amostra).

Mtodos 1. Mtodos de pr-seleo 2. Mtodo de produo 3. Teste de Compreenso 4. Mtodo de reidentificao 5. Teste de eleio 6. Teste de classe de adequao 7. Teste de distribuio de classes de adequao 8. Teste de estimativa de compreensibilidade 9. Avaliao Heurstica 10. Mtodo de correspondncia

Nmero de sujeitos 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 0 1 0 0 0 0 0 0 1 0 1 0 1 1 0 1 0 0 0 1

Total de Coeficiente valores de escolha 9 7 0 1 3 4 5 2 8 6 45 0,2000 0,1556 0,0000 0,0222 0,0667 0,0889 0,1111 0,0444 0,1778 0,1333 1

Obs: as colunas em cinza so continuao do quadro e foram ocultas devido largura.

Matriz para seleo final de eficincia - 4 etapa A quarta e ltima etapa a construo de uma matriz com as alternativas (mtodos) em colunas e os critrios em fileiras (tabela 8). Os valores nas colunas abaixo dos mtodos representam a multiplicao do critrio do coeficiente de peso (tabela 2) pelo coeficiente de escolha do mtodo com base em cada critrio. Os resultados classificam os mtodos em um ranking de eficincia. O nvel comparativo de eficincia de cada mtodo foi ento resultado da avaliao com base em cinco critrios utilizando a tcnica de avaliao binria atravs de critrios ponderados proposta por Meister (1985).

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 150

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

Tabela 8 - Matriz para seleo final dos mtodos.

Mtodos
6. Teste de classe de adequao 7. Teste de 8. Teste de estimativa de compreensibilidade 5. Teste de eleio 10. Mtodo de correspondncia 0,156 0,178 0,178 0,067 0,133 2

1.Mtodos de prseleo

distribuio de classes de adequao

4. Mtodo de reidentificao

3. Teste de Compreenso

2. Mtodo de produo

CRITRIOS Objetividade Tempo de durao de cada teste Dificuldade de aplicao do teste Dificuldade do teste para os respondentes Nmero de sujeitos TOTAL LUGAR

0,089 0,044 0,089 0,111 0,200 5

0,111 0,089 0,022 0,022 0,156 7

0,200 0,200 0,200 0,133 0,000 1

0,178 0,022 0,000 0,044 0,022 8

0,067 0,156 0,156 0,200 0,067 3

0,044 0,111 0,133 0,178 0,089 4

0,022 0,133 0,111 0,156 0,111 5

0,000 0,067 0,044 0,000 0,044 9

0,133 0,000 0,067 0,089 0,178 6

0,5333 0,4000 0,7333 0,2667 0,6444 0,5556 0,5333 0,1556 0,4667 0,7111

7. Concluses do teste
A partir da anlise do mtodo de Meister e da tabela resultante poderemos discutir sobre os critrios utilizados. Ser que deveramos usar mais critrios ou outros critrios? Pode-se perceber que o critrio tempo influenciou bastante a colocao dos mtodos de reidentificao e avaliao heurstica. Pensamos que os critrios devero ser escolhidos de acordo com os objetivos da pesquisas e que novos critrios podero ser escolhidos. Propomos por meio do Mtodo de Meister um instrumento comparativo de eficincia dos mtodos de avaliao da compreensibilidade da informao podendo ser replicado para outros mtodos de avaliao ergonmica informacional de outros objetos de estudos ou casos exemplares e ainda com escolha de critrios diferentes.

Referncias
AICHER, O & KRAMPEN, M. 1979. Sistemas de signos em la comunicacin visual. Barcelona: Gustavo Gilli, BRUGGER, C. 1994. Public information symbols a comparison of ISO testing procedures. In: Proceedings of IEA 1994/HFES 1994 Congress. The Netherlands: Luntheren, EASTERBY, R. S., and ZWAGA, H. 1976. Evaluation of public information symbols, ISO tests: 1975 series (Report AP 60). Birmingham, UK: Applied Psychology Department, University of Aston at Birmingham, FORMIGA, E. 2002. Ergonomia Informacional: compreensibilidade de smbolos para sinalizao de hospitais pblicos e unidades de sade no Rio de Janeiro. Dissertao de mestrado no curso de Design da PUC-Rio. FORMIGA, E. 2012. Avaliao e comparao de mtodos para testar compreensibilidade de smbolos de ilustraes de folhetos de instrues: o caso exemplar de colorantes de cabelos. Tese de doutorado no curso de Design da PUC-Rio. ISO INTERNATIONAL STANDARD ORGANIZATION 2001. (ISO)/DIS 9186. Procedures for the development and testing of public information symbols. Geneva, Switzerland: ISO.

9. Avaliao Heurstica

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 151

Eliana Formiga, Anamaria de Moraes | Comparao de eficincia de mtodos de avaliao de usabilidade pelo mtodo binrio

ISO INTERNATIONAL STANDARD ORGANIZATION n 7001, 9186. 2001. Graphical symbols Test methods for judged comprehensibility and for comprehension. Geneva: ISO, JACOBSON, R. 2000. Information design. London: The MIT Press, MORAES, A; MONTALVO, C. 2010. Ergonomia, conceitos e aplicaes. Rio de Janeiro: 2AB, 4 edio. OLMSTEAD, Wendy T. 1994. Cultural differences in comprehension of public information symbol for health care facilities. In: Visual information for everyday use. Annual Meeting. p. 511-515. The Netherlands: Stichting Public Graphics Research, p. 25.1 25.11. WOGALTER, M. S. 1999. Factors influencing the effectiveness of warnings. In Visual Information for Everyday Use - Design and research perspectives. Taylor & Francis, p. 93-110. ZWAGA, Harm J. G. 1989. Comprehensibility estimates of public information symbols: their validity and use. In: Proceedings of the Human Factors Ergonomics Society 33th Annual Meeting. Denver: HFES, Sobre as autoras Eliana de Lemos Formiga; Doutora (2012) e Mestre em Design (2002) pela PUC-Rio. Especialista em Marketing pela UniverCidade. Graduada em Design pela ESDI/UERJ (1972). Scia-gerente da ELF Eliana Formiga Desenho Industrial Ltda. Coordenadora do Curso de Design da ESPM-Rio. Professora de Projetos Grficos e Ergonomia do Curso de Design da ESPM-Rio. <eformiga@espm.br> Anamaria de Moraes; doutora em comunicao; pesquisadora em ergonomia, professora titular PUC-Rio (1942+2012) [Artigo recebido em dezembro de 2012, aprovado em dezembro de 2012]

InfoDesign | So Paulo | v. 9 | n. 3, p. 143 152

| 152