Você está na página 1de 104

UNIVERSIDADE FEDERAL DE SANTA CATARINA

PROGRAMA DE PS-GRADUAO EM CINCIA DA


COMPUTAO

Usabilidade na Web: uma Proposta de Questionrio


para Avaliao do Grau de Satisfao de
Usurios do Comrcio Eletrnico

FLORIANPOLIS
2004

ADELMO VIEIRA PADILHA

Usabilidade na Web: uma Proposta de Questionrio


para Avaliao do Grau de Satisfao de
Usurios do Comrcio Eletrnico

Dissertao apresentada como requisito


para a obteno do grau de Mestre em
Cincia
da
Computao
pela
Universidade
Federal
de
Santa
Catarina.
Orientadora: Dra Edla Maria Faust
Ramos

FLORIANPOLIS
2004

ADELMO VIEIRA PADILHA

Usabilidade na Web: uma Proposta de Questionrio


para avaliao do grau de satisfao de
Usurios do comrcio eletrnico

Esta Dissertao foi julgada adequada para a obteno do ttulo de Mestre em


Cincia da Computao na rea de Concentrao Sistemas de Conhecimento e
aprovada em sua forma final pelo Programa de Ps-Graduao em Cincia da
Computao.

_________________________
Fernando Ostuni Gauthier, Dr.
Coordenador do Curso de Ps-Graduao em Cincia da Computao

Banca Examinadora
_________________________________
Dra. Edla Maria Faust Ramos.
Orientador

_________________________________
Prof. Raul S. Wazlawick, Dr.
Membro

_________________________________
Prof. Vitrio Bruno Mazzola, Dr.
Membro

_________________________________
Prof. Leila Amaral Gotijo, Dra.
Membro

Dedico este trabalho minha esposa Mrcia e a meus filhos, Cristopher e Krishna,
motivos da minha existncia e da minha felicidade...
A um grande amor, fonte de inspirao...
Aos verdadeiros amigos, tesouros de nossas vidas...

Minha gratido:

A meus filhos - pequenos deuses, pelo seu amor.


A minha mulher, por ser minha mulher.
Ao Jonas, brao direito e amigo de todas as horas, meu especial agradecimento.
Aos meus mestres:
Ado Acei Costa Padilha - meu pai e amigo (in memorian).
Todas as pessoas que passaram pela minha vida e me ensinaram.
A Dr Edla Maria Faust Ramos, minha orientadora, pelo amor, dedicao, compreenso
e respeito, a minha gratido eterna.

O desejo natural dos homens o conhecimento, o nico alimento verdadeiro da alma,


pois no se pode amar a coisa alguma antes de conhec-la. Aquele que desperdia a vida
no deixa sobre a terra trao mais forte que a fumaa no ar ou a espuma sobre as ondas.
Nossas vidas no devem passar sem que deixem alguma memria na mente dos homens.
Leonardo da Vinci

Um sistema com boa usabilidade como um relgio: to confortvel e simples de usar


que quase se no d por ele.
Smith e Hayes

SUMRIO

LISTA DE FIGURAS..................................................................................................................8
LISTA DE GRFICOS...............................................................................................................9
LISTA DE TABELAS ...............................................................................................................10
RESUMO....................................................................................................................................11
ABSTRACT................................................................................................................................12
1
INTRODUO.................................................................................................................13

1.1
Justificativa ................................................................................................. 15
1.2
Formulao do problema ............................................................................. 18
1.3
Hipteses .................................................................................................... 18
1.4
Perguntas de pesquisa.................................................................................. 19
1.5
Objetivo geral.............................................................................................. 19
1.5.1
Objetivos especficos ........................................................................... 20
1.5.2
Resultados esperados ........................................................................... 20
1.6
Metodologia ................................................................................................ 20
1.7
Delimitao do trabalho .............................................................................. 22
2

FUNDAMENTAO TERICA ...................................................................................23

2.1
Ergonomia................................................................................................... 23
2.2
Usabilidade ................................................................................................. 23
2.2.1
Usabilidade na Web............................................................................. 24
2.3
Problemas de usabilidade ............................................................................ 25
2.4
Concluses.................................................................................................. 26
3

AVALIAO DE USABILIDADE.................................................................................27

3.1
Tcnicas de avaliao de usabilidade........................................................... 28
3.1.1
Tcnicas analticas............................................................................... 29
3.1.2
Tcnicas empricas .............................................................................. 32
3.1.3
Tcnicas prospectivas .......................................................................... 34
3.1.4
Escolha de uma tcnica........................................................................ 43
3.2
Concluses.................................................................................................. 46
4

COMRCIO ELETRNICO..........................................................................................47

4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9

Introduo ................................................................................................... 47
O Comrcio Eletrnico no mundo ............................................................... 47
O Comrcio Eletrnico no Brasil................................................................. 48
Vantagens para clientes do Comrcio Eletrnico ......................................... 50
Restries ao uso do Comrcio Eletrnico pelos clientes ............................. 50
Fatores que influenciam o crescimento do Comrcio Eletrnico .................. 50
Classificao de negcios ou formas de e-commerce................................... 51
Empresas que mais venderam na Internet .................................................... 51
Usabilidade no Comrcio Eletrnico ........................................................... 52

5
QUESTIONRIO PARA AVALIAO DA SATISFAO DE USURIOS DE
SITES WEB................................................................................................................................55

5.1
Metodologia de desenvolvimento do questionrio de satisfao .................. 55
5.2
Resultados da pesquisa concernentes Etapa I - Elaborao do questionrio.. 57
5.2.1
Reviso bibliogrfica e coleta de recomendaes................................. 57
5.2.2
Montagem da primeira verso do questionrio .................................... 60

5.2.3
Avaliao da primeira verso do questionrio...................................... 64
5.2.4
Resultados das observaes do pr-teste .............................................. 65
5.3
Avaliao e reviso da segunda verso do questionrio - etapa II ................ 66
5.3.1
Realizao do ensaio de interao........................................................ 66
5.3.2
Aplicao do questionrio.................................................................... 70
5.3.3
Amostra e comparao de resultados ................................................... 74
5.4
Verificao das perguntas da pesquisa......................................................... 81
5.4.1
Pergunta 1 ........................................................................................... 82
5.4.2
Pergunta 2 ........................................................................................... 82
5.4.3
Pergunta 3 ........................................................................................... 82
6

Concluso...........................................................................................................................84

Trabalhos futuros .................................................................................................... 86


REFERNCIAS BIBLIOGRFICAS.....................................................................................87
ANEXO 1: VERSO FINAL DO QUESTIONRIO .............................................................91
ANEXO 2: DESCRIO DO ENSAIO DE INTERAO ..................................................95

LISTA DE FIGURAS

Figura 1 - Exemplo de pergunta do tipo aberta............................................................ 36


Figura 2 - Exemplos de pergunta do tipo fechada........................................................ 36
Figura 3 - Exemplos de pergunta do tipo fechada........................................................ 36
Figura 4 - Escala passo a passo ................................................................................... 37
Figura 5 - Escala comparativa..................................................................................... 37
Figura 6 - Escala de Likert .......................................................................................... 37
Figura 7 - Escala diferencial semntica ....................................................................... 38
Figura 8 - Exemplo de questo do ISONORM 9241/10............................................... 42
Figura 9 - Livraria....................................................................................................... 75
Figura 10 - Mercado ................................................................................................... 76
Figura 11 - Biblioteca ................................................................................................. 78

LISTA DE GRFICOS

Grfico 1 - Resultado geral somando todos os tipos de perfis e retirando os problemas


repetidos..................................................................................................................... 76
Grfico 2 - Resultado geral somando todos os tipos de perfis e retirando os problemas
repetidos..................................................................................................................... 77
Grfico 3 - Resultado geral somando todos os tipos de perfis e retirando os problemas
repetidos..................................................................................................................... 79

LISTA DE TABELAS

Tabela 1 - Comparao entre tipos de avaliao,envolvidos, tcnicas utilizadas e


objetivos ..................................................................................................................... 44
Tabela 2 - Vantagens e desvantagens das tcnicas estudadas....................................... 45
Tabela 3 - Empresa para consumidor B2C .................................................................. 51
Tabela 4 - Empresa para empresa B2B........................................................................ 52
Tabela 5 - Grfico Usabilidade X Nmero de informantes .......................................... 72
Tabela 6 - Resultado da aplicao das avaliaes dividida por perfis no site ............... 75
Tabela 7 - Resultado da aplicao das avaliaes dividida por perfis no site ............... 77
Tabela 8 - Resultado da aplicao das avaliaes dividida por perfis no site ............... 78

RESUMO

H diversos problemas relacionados com a usabilidade de sites Web, muitos


deles so visitados uma nica vez pelos usurios e quase sempre contm contedo que
os interessaria, mas eles no foram capazes de encontrar a informao desejada.
Esta dissertao relata as atividades de desenvolvimento de um questionrio
para determinar o grau de satisfao de usurios de sites Web, em especial de sites de
Comrcio Eletrnico.
A principal crena que motiva esta proposta reside na idia de que os usurios de
sites Web enxergam as qualidades do produto atravs dos recursos de interao. No
basta que o produto possua grande preciso, fundamental que o usurio possa usufruir
dessa preciso. Tendo-se como base leituras e debates com elaboradores de contedo
para Web a respeito da avaliao do grau de satisfao de usurio desses sites atravs de
questionrios, partiu-se em busca de recomendaes de usabilidade para sites Web que
fossem particularmente indicadas para usurios de sites comerciais. As recomendaes
selecionadas foram traduzidas, transformadas em questes e classificadas em sees de
acordo com critrios predeterminados, e aps isso foi revisada a consistncia das
questes, envolvendo ajustes, agrupamentos e eliminao de perguntas similares.
Gerou-se, assim, a primeira verso do Questionrio, para a qual se realizou um pr-teste
com o propsito especfico de observar os possveis problemas referentes aplicao do
questionrio, verificao da compreenso das questes, aos problemas referentes a
texto, relevncia, ambigidade, clareza, simplicidade e preciso das questes. Com os
resultados do pr-teste em mos construiu-se a segunda verso do questionrio. Esta
segunda verso do questionrio passou por testes de avaliao, que se constituram na
aplicao do questionrio e na posterior comparao dos resultados dessa aplicao com
os resultados dos ensaios de interao.
Esses testes permitiram verificar a validade e a eficincia do questionrio
proposto para identificao de possveis problemas nos sites comerciais.

Palavras-chave: Questionrios, sites Web, usabilidade.

ABSTRACT

There are several problems relationed with the usability of Web Sites. Many
visited sites only one time by the usuaries, in many cases, dispose to contents which
would interest them, but their usuaries were not able to find the desired information.
This dissertation relates the development activities of a questionnaire to
determine the degree of satisfaction of web sites usuaries, mainly electronic commerce
sites.
The principal belief that motivates this proposal resides in the idea that the web
sites usuaries see the qualities of the product through the interaction resources. It isnt
enough that the product posses great precision, its fundamental that the usuary can uses
this precision. It having as basis readings and debates with creators of content to Web
about evaluation of the degree of satisfaction of web sites usuaries through
questionnaires, it left in search of recommendations of usability to Web Sites that were
particurlarly indicated to commerce Sites usuaries. The selected regards were translated,
changed in questions, classificated in sections, according to predeterminated criteries
and, after this it fulfilled a rewiew of the consistence of the questions, evolving
adjustments, agroupment and elimination of similar questions. It generated so, the first
version of the questionnaire to that it fulfilled a pre test with the especific proposal to
observe the possible problems relative to the aplication of the questionnaire, to the
verification of the comprehension of the questions, to the problems referred to the text,
to the relevance of each question, to the ambiguity among the questions, to the clarity,
simplicity and precision of the questions. With the results of the pre test on hand it built
the second version of the questionnaire.
The second version of the questionnaire passed by tests of evaluation that
constituted themselves in the aplication of the questionnaire and posterior comparison
of the results of this aplication with the results of essays of interaction.
These tests permited to verify the vality and eficience of the proposed
questionnaire to identification of possible problems in the commercial sites.

Key words: questionnaire, web sites, usability.

13

INTRODUO

Os primeiros computadores eram utilizados para desenvolver tarefas de


especialistas e, por isso, suas interfaces eram extremamente complicadas. Depois que
esses equipamentos se tornaram disponveis para um grande nmero de usurios,
especialmente pela queda dos preos, houve uma busca por interfaces mais
transparentes, de forma a diminuir o tempo de aprendizado das tarefas.
Com isso foi criada a palavra usabilidade, que passou a ser utilizada para medir
a qualidade dessas interfaces. Conforme Nielsen (1993), usabilidade est relacionada
com facilidade de aprendizado, eficincia, facilidade de memorizao, quantidade de
erros e satisfao do usurio. Winckler (2001, p. 3) afirma que a satisfao um
critrio importante, mas no o nico para determinao da qualidade da aplicao. Mas
esse um critrio final para que o usurio adquira um software ou visite regularmente
um Site.
Com o surgimento da Internet e da WWW (World Wide Web) houve uma
preocupao ainda maior com a usabilidade, pois para o usurio navegar bem e voltar a
uma pgina necessitava de uma interface fcil de aprender, com a qual no cometesse
muitos erros e de qualidade. A partir da passa a ter grande importncia a satisfao do
usurio.
No houve mudanas nos fundamentos e mtodos da usabilidade no decorrer dos
ltimos 10 a 20 anos, mas sim algumas trocas, como constata Nielsen (1999), h vrios
anos, tm sido investidos esforos em usurios especialistas, pois essa seria uma
tendncia futura. As pessoas pensaram que aprenderiam mais estudando os peritos. Hoje
a Web foca os usurios novatos que no tm conhecimento do sistema e da interface.
Com Websites, no h nenhum treinamento, voc bateu no local e ele est na sua
frente. Assim, se voc no fizer um Website efetivo nos primeiros segundos, voc
perdeu o usurio.
Segundo o autor, outra mudana deu-se com relao aos custos dos computadores,
que eram elevados em comparao com o treinamento, o que direcionava os esforos

14

para as mquinas. Hoje o custo do computador baixo e fixo, o treinamento mais


varivel, e por isso os esforos se focam mais nos usurios e nas interfaces.
Desde essa poca, a tecnologia para desenvolvimento de interface Web vem
aumentando gradativamente, permitindo o desenvolvimento de interfaces cada vez mais
complexas. O nmero de usurios e de sites Web, aps o processo de evoluo, cresceu
muito, pois o computador se tornou acessvel a muitas pessoas. Mesmo com esse
desenvolvimento, observa-se que isso no significa usurios satisfeitos, visto que apesar
de os sites terem o que os usurios procuram, eles enfrentam dificuldades, no
conseguem achar o que buscam e se frustram com esses sites.
Com o grande aumento de sites na Web de 2000 a 2003, os usurios passaram a
ter um grande nmero de opes em vrios setores, por isso a principal diferena nessa
variedade de sites ser a sua usabilidade. Segundo Winckler (2001, p. 3), se a
usabilidade for levada em conta no processo de desenvolvimento das interfaces Web,
alguns problemas podem ser eliminados, como o tempo de acesso informao e a
frustrao do usurio por no encontrar as informaes que procura no site.
Conforme o autor:

Se o site em questo for uma aplicao de comrcio eletrnico, por


exemplo, tais problemas podem significar reduo nas vendas ou
mesmo venda nenhuma. Se o objetivo for, por exemplo, ensino
distncia, alunos podem se sentir frustrados, desmotivados e
apresentar baixo desempenho devido a ocorrncia freqente de
problemas de usabilidade. (WINCKLER, 2001, p. 3).

Em busca de um alto grau de adequao s necessidades dos usurios, podem ser


empregadas tcnicas de avaliao em todo o processo de desenvolvimento de interface
Web. Essas avaliaes classificam-se com nomenclaturas um pouco diferentes, mas, na
grande maioria, so do tipo Preditiva/Analtica e no envolvem a participao do
usurio. J as que envolvem a participao do usurio podem ser classificadas em duas
categorias: as tcnicas Empricas, que contam com a participao em situaes de uso
do produto; e as Prospectivas, que envolvem tambm sua opinio. Algumas dessas
tcnicas vm sendo empregadas h vrios anos em outros tipos de interfaces, sendo
agora adaptadas para Web.

15

Este estudo prope-se a abordar a confeco, a aplicao e a anlise de um


questionrio para avaliao da usabilidade de sites de comrcio eletrnico. Pretende-se,
por meio desse questionrio, sugerir uma forma de verificao que permita aos
criadores de pginas Web comprovar a satisfao de usurios do comrcio eletrnico.

1.1

Justificativa

A aplicao de questionrios uma tcnica Prospectiva que envolve a opinio do


usurio e serve para avaliar a interao entre ele e a interface. Utilizam-se, para coletar
informaes subjetivas sobre a qualidade da interface, dados sobre o perfil dos usurios
e os possveis problemas encontrados no momento, fazendo ao final uma avaliao
tanto qualitativa quanto quantitativa, pois a nica forma de se obterem os dados
subjetivos dos usurios.
O questionrio um instrumento que pode ser utilizado para um grande nmero
de usurios ao mesmo tempo, quando em ambiente Web, sendo uma das suas principais
vantagens.
Os questionrios citados na seqncia so na grande maioria destinados
avaliao de software. Os questionrios destinados a Web so muito gerais, e a reside a
principal diferena do questionrio proposto, o qual especificamente direcionado para
Websites de Comrcio Eletrnico.
O que motivou a aplicao do questionrio ao comrcio eletrnico foi o
crescimento mundial e promissor desse mercado nos

ltimos anos, mais

especificamente no Brasil, e em virtude das pesquisas realizadas por Nielsen (2001) que
relatam que os sites perdem quase a metade de suas vendas potenciais devido s
dificuldades dos usurios em us-lo.
As empresas optam por vender on-line produtos e servios diretamente ao usurio,
ou consumidor final. Sites de comrcio eletrnico apresentam-se cada vez em maior
nmero e mais acessveis. Porm, suas interfaces devem ser eficientes o bastante para
permitir ao cliente uma boa experincia de compra.

16

Entre os questionrios desenvolvidos especificamente para medir a satisfao dos


usurios com confiabilidade e validade comprovada por meio de vrios estudos
publicados, destacam-se:

QUIS - Questionnaire for User Interaction Satisfaction


Questionrio para medir a satisfao do usurio quanto usabilidade do produto
de maneira padronizada, segura e vlida, a fim de obter informaes precisas em relao
reao dos usurios a novos produtos (http://www.lap.umd.edu/QUIS/index.html).

WAMMI - Web local Analysis and Inventory of Measure


WAMMI uma ferramenta de avaliao para sites Web e baseia-se em um
questionrio que d uma medida de como o usurio acha fcil usar um site Web
(http://www.wammi.com/).

SUMI - Software Usability Measurement Inventory


SUMI um rigoroso teste para medir qualidade de software sob o ponto de vista
do usurio, usado para avaliar a qualidade de uso de um produto de software ou
prottipo, e pode ajudar com a descoberta de falhas de usabilidade (http://sumi.ucc.ie/).

ISONORM 9241/10
Este modelo de questionrio baseia-se na norma ISO 9241 e objetiva avaliar a
conformidade dos produtos de software com as recomendaes constantes da parte dez
da norma (SHNEIDERMAN apud MEDEIROS, 1999).
Um estudo abordando a confeco, a aplicao e a anlise de um questionrio
para avaliao da usabilidade de sites de Comrcio Eletrnico justifica-se, basicamente,
porque:
1) se no processo de criao de interfaces a usabilidade for levada em conta, vrios
problemas podem ser eliminados, como, por exemplo, dificuldade de encontrar
informaes, tempo de acesso informao, podendo, assim, evitar a frustrao e a
queda na audincia do site;

17

2) mesmo aps a implantao do Comrcio Eletrnico, seguem-se as avaliaes. Em


particular, nesta etapa, as pesquisas de satisfao mostram-se relevantes, possibilitando
a deteco de melhorias ou alteraes sentidas pelos usurios;
3) o questionrio de satisfao considerado a proposta fundamental em resposta aos
problemas paralelos satisfao dos usurios;
4) o tema sobre usabilidade de interfaces Web pouco difundido, havendo a
necessidade de mais estudo e aprofundamento sobre o assunto;
5) existem poucos estudos envolvendo a usabilidade de Websites no Brasil,
principalmente, os relacionados a sites de Comrcio Eletrnico;
6) a realizao de pesquisas de opinio, especialmente atravs da aplicao de
questionrios, destaca-se entre as tcnicas mais utilizadas para avaliao de usabilidade
(SHNEIDERMAN apud MEDEIROS, 1999).
7) A realizao de pesquisa de opinio atravs de questionrio no avalia somente a
usabilidade de sites comerciais, mas orienta a avaliao de sites em funo da satisfao
do usurio.
Alm disso, a escolha desta forma de avaliao tem como justificativas:
servir como complemento de inspees de usabilidade;
ser uma tcnica barata;
indicar o impacto das qualidades e falhas encontradas no site (NIELSEN;
MOLICH, 1990);
poder determinar o grau de severidade das falhas e, com isso, estabelecer
prioridades para correes (NIELSEN; MOLICH, 1990).

Pode-se dizer que a sua principal vantagem a abrangncia de aplicao, podendo


atingir um grande nmero de usurios em diversos locais ao mesmo tempo atravs da
Web. J a sua desvantagem que menos de 5% do nmero de visitantes de um site leria
o questionrio.

18

1.2

Formulao do problema

O foco da pesquisa centra-se na terceira tcnica citada anteriormente, ou seja,


verificar a usabilidade das interfaces de sites de Comrcio Eletrnico utilizando a
tcnica prospectiva de questionrio.
Para que um Website comercial alcance os seus objetivos necessrio que os
usurios consigam utiliz-lo de maneira simples e correta. Segundo Krug (2000), a
maioria no quer pensar como navegar nos sites e sim como obter rpido as
informaes. Como existem vrios Websites para cada assunto, o usurio tenta
encontrar um Website que atenda de forma direta sua busca.
A usabilidade em desenvolvimento de sites comerciais recente, mas de
importncia crescente devido ao aumento e expanso desenfreada da Internet. De
acordo com Nielsen (2000), quase todo mundo desenvolve Websites incorretamente.
Existem inmeros ciclos envolvendo o desenvolvimento de um site comercial,
ocasionando um esquecimento sobre a sua usabilidade.
Pesquisas relacionadas a questes de usabilidade na Web conduziram a uma
reflexo dos instrumentos para avaliao dessa usabilidade das interfaces Web. Tal
reflexo dirigiu o desenvolvimento de uma ferramenta para avaliao de usabilidade na
Web e mais precisamente foi criada uma ferramenta para verificar a usabilidade de sites
de Comrcio Eletrnico medindo a satisfao desses usurios, a qual pode ainda ser
usada para orientar a avaliao de outros tipos de sites.

1.3

Hipteses

Uma avaliao da usabilidade de Websites comerciais realizada atravs de


questionrios propostos a partir de recomendaes ergonmicas selecionadas,
sistematizadas e classificadas por critrios para avaliao de interfaces consegue
detectar a maior parte das indicaes de problemas dos usurios de Websites
comerciais.

19

Um questionrio como o proposto uma ferramenta capaz de auxiliar e


orientar a avaliao aps a concluso do produto, pois, medida que o usurio
adquire maior familiaridade com o Website, suas expectativas mudam, por isso
necessrio avaliar mais de um perfil de usurio, pois cada um encontra um
possvel tipo de problema.

1.4

Perguntas de pesquisa

1 - Como a aceitao do questionrio por parte dos usurios dos sites?


2 - A aplicao apenas de questionrios de satisfao resolve que tipo de categoria de
problema de usabilidade?
3 - Qual a diferena dos resultados encontrados nos diferentes perfis de usurios
entrevistados e que tipo de problemas cada um encontrou?
4 - As formas de auxlio para o usurio nos sites so somente ilustrativas?

1.5

Objetivo geral

Este trabalho tem por objetivo propor, aplicar e avaliar um questionrio, baseado
nos conjuntos de normas e recomendaes ergonmicas existentes na Web, destinado a
todos os criadores de contedo Web (autores de pginas e Webdesigner) como
ferramenta para a avaliao da usabilidade de sites de Comrcio Eletrnico.
Gerar um modelo de questionrio de avaliao de satisfao de clientes de
produtos de sites de Comrcio Eletrnicos, baseado nas vrias normas, diretrizes e
recomendaes ergonmicas existentes, adaptando-as aos sites de Comrcio Eletrnico.

20

1.5.1 Objetivos especficos

a) Classificar as perguntas do questionrio proposto atravs da seleo das


classificaes j existentes para as recomendaes ergonmicas, de modo a prover
maior facilidade na hora de identificar as categorias de problemas encontrados.
b) Avaliar o questionrio proposto por meio da comparao dos resultados obtidos com
os da aplicao de um ensaio de interao.

1.5.2 Resultados esperados

Espera-se que o questionrio possa servir como uma ferramenta tanto para avaliar
quanto para orientar a avaliao de sites Web de Comrcio Eletrnico, tendo em vista a
satisfao do usurio, permitindo que as suas reclamaes sejam conhecidas e as suas
causas identificadas e corrigidas promovendo sua usabilidade, tornando mais fcil e
rpido o acesso a informaes disponveis na Web.

1.6

Metodologia

Em relao natureza da pesquisa, do tipo aplicada e visa propor, aplicar e


avaliar uma ferramenta para a avaliao de sites comerciais.
A abordagem da pesquisa ser quantitativa e qualitativa. Quantitativa porque as
informaes coletadas pelos questionrios so expressas na forma de nmeros, e
qualitativa porque a abordagem considera que h uma relao dinmica entre o mundo
real e o sujeito que no pode ser traduzida em nmeros, pois se obtm a opinio do
usurio (GIL apud SILVA, 2001).
Do ponto de vista dos objetivos, a pesquisa, segundo Gil (apud SILVA, 2001),
exploratria e descritiva. Exploratria no intuito de colher informaes para um melhor
entendimento do assunto; e a pesquisa descritiva porque envolve o uso de tcnicas
padronizadas de coleta de dados. Quanto aos procedimentos tcnicos, a pesquisa

21

classifica-se como bibliogrfica, pois se utiliza de material j publicado sobre o assunto


em papel e em meio eletrnico (Internet).
Nesta pesquisa inicialmente faz-se uma reviso bibliogrfica que apresentar os
conceitos de ergonomia e usabilidade, e em seguida sero estudadas as principais
tcnicas de avaliao de interfaces, dando-se maior nfase s de avaliao com a
participao do usurio. A proposta culminar com um estudo sobre Comrcio
Eletrnico. Aps essa fundamentao terica, o trabalho ser desenvolvido em duas
etapas principais, as quais so descritas a seguir.

Etapa I Elaborao do questionrio


1 - Reviso bibliogrfica e coleta de recomendaes sobre a usabilidade em Websites
incluindo a anlise do estado da arte no que se refere a questionrios de satisfao para
avaliao de usurios de Websites comerciais.

Etapas da coleta das recomendaes:


a) pesquisa bibliogrfica;
b) identificao das fontes que tratam do assunto de confeco de sites eletrnicos;
c) traduo de algumas recomendaes/questes existentes nas fontes originais para
portugus;
d) seleo das questes aplicveis em questionrio;
e) transformao das recomendaes em questes;
f) processo de elaborao das questes;
g) reviso da consistncia das questes, envolvendo ajuste, agrupamento e eliminao
de perguntas similares provenientes de fontes diferentes.

2 - Montagem da primeira verso do questionrio.

3 - Avaliao do questionrio atravs de sua aplicao em um pr-teste com a


participao de usurios para avaliar um site comercial, a partir da qual ser gerada a
segunda verso das questes.

22

Etapa II Avaliao do questionrio


Para isso, prevem-se as seguintes etapas:
1. escolha de sites comerciais para aplicao do questionrio proposto e ensaio de
interao para realizar estudos comparativos;
2. aplicao das avaliaes. Ser efetuado um estudo de caso para avaliar a satisfao de
usurios de sites de Comrcio Eletrnico aplicando o questionrio proposto e o ensaio
de interao em sites escolhidos antecipadamente;
3. avaliao e reviso. Classificar os problemas de usabilidade detectados pela avaliao
em sees, de acordo com os critrios definidos;
4. avaliao e reviso do questionrio pelo confronto dos resultados da sua aplicao
diante dos resultados do ensaio de interao;
5. avaliao do questionrio proposto quanto sua condio de identificar problemas
quando comparado a outras tcnicas e quanto sua facilidade de aplicao, originando
da a verso final;
6. confeco do relatrio final da pesquisa.

1.7

Delimitao do trabalho

A proposta deste trabalho gerar e utilizar um questionrio baseado nos conjuntos


de normas, diretrizes e recomendaes ergonmicas existentes na Web, como
ferramenta para avaliar e orientar a usabilidade de Websites comerciais. Portanto:
o questionrio proposto no tem por objetivo substituir uma avaliao de
usabilidade completa. Numa avaliao de usabilidade completa so necessrias a
realizao de ensaios de interao com usurios e a participao de especialistas
em interfaces;
na aplicao do questionrio, o objetivo no avaliar usurios de Websites e
sim o Website. O pblico-alvo deste trabalho constitudo dos criadores de
pginas Web, no intuito de oferecer-lhes uma ferramenta para medir a satisfao
de seus clientes.

23

2.1

FUNDAMENTAO TERICA

Ergonomia

A ergonomia busca a melhoria das condies de trabalho, e seu objetivo a


adaptao do trabalho ao homem com a finalidade de ele obter satisfao e
produtividade.
Segundo Ramos (1995), a ergonomia se interessa de maneira geral pelo
melhoramento das condies de trabalho. J a ergonomia de software concentra-se
particularmente nas condies de utilizao de um software por seus usurios..
De acordo com Andrs e Mattos (1998), dentro da ergonomia existem estudos
sobre a Interface Humano-Computador (IHC), em que so oferecidas bases tericas e
metodolgicas capazes de tratar as dificuldades relacionadas com o homem e a
mquina, tendo como objetivo alcanar o equilbrio, o conforto, a satisfao, a
segurana e a eficincia na utilizao de produtos e ferramentas informatizados.
Para tornar acessvel a todos o conhecimento sobre ergonomia de interfaces
homem-computador, Bastien e Dominique Scapin (1993) criaram um sistema de
critrios, uma ferramenta usada para auxiliar na avaliao de interface homemcomputador.

2.2

Usabilidade

Usabilidade um termo empregado para descrever a qualidade de interao de


usurios com algum tipo de interface.
Nielsen (2003) define usabilidade como uma medida da qualidade da
experincia do usurio ao interagir com alguma coisa seja um site na Internet, um

24

aplicativo de software tradicional, ou outro dispositivo que o usurio possa operar de


alguma forma.
Segundo o autor, existem cinco atributos da usabilidade:
a) ser fcil de aprender;
b) ser eficiente;
c) ser fcil de ser lembrado;
d) ter poucos erros;
e) gerar satisfao.

A ISO 9241, por sua vez, define usabilidade como a efetividade, a eficincia e a
satisfao com que determinados usurios conseguem atingir objetivos especficos em
determinadas circunstncias (ISO 9241 11, 1998).

2.2.1 Usabilidade na Web

A interao entre todas as partes que compem um site juntamente com a


navegao e a compreenso bem-sucedida do site pelo usurio formam a usabilidade do
site na Web.
Para uma boa usabilidade, o Website deve carregar rapidamente, independente da
plataforma operacional que o usurio possua. Nielsen (1996) relata que o tempo de
resposta de um sistema para que o usurio no perca o interesse de no mximo dez
segundos, mas em interfaces para Internet esse tempo pode ser elevado para quinze
segundos. O autor destaca tambm que a sobrevivncia do site depende de outras
condies, um site perder seu usurio se:
for difcil de usar;
falhar em declarar claramente o que uma companhia oferece e o que ele pode
fazer no seu local;
ele se perder durante a navegao;
a informao for difcil de ler ou no responder s suas perguntas.

25

Segundo Shneiderman (apud MEDEIROS, 1999), todo projeto de Websites deve


ser submetido a testes de usabilidade, como o QUIS (Questionnaire for User Interaction
Satisfaction), o WAMMI (Website Analysis and Measurement Inventory) e outras
tcnicas de validao para melhorar e monitorar o seu uso.
Winckler (2001) afirma que um site sem usabilidade no possui clientes, estes
acabam que procuram outro site devido grande oferta no ramo de Comrcio Eletrnico
e facilidade com que o usurio tem na Web de experimentar o produto e depois paglo.
Portanto, ao testar a usabilidade, leva-se em conta a reduo no nmero de
chamadas de suporte sem nus para o cliente e no treinamento de software de in-house.
Agindo dessa maneira, o usurio retm o conhecimento, aumentando a aceitao, aliada
usabilidade, utilidade, preferncia e fidelidade (WINCKLER, 2001).
2.3

Problemas de usabilidade

Uma determinada interface considerada com problemas de usabilidade quando


um usurio ou um grupo de usurios encontra dificuldades para realizar uma tarefa,
chegando a ocasionar at mesmo a sua total rejeio pelo usurio.
Segundo Cybis (2000, p. 79),

Um problema de usabilidade ocorre em determinadas circunstncias,


quando determinada caracterstica do sistema interativo acaba por
retardar, prejudicar ou mesmo inviabilizar a realizao de uma tarefa,
aborrecendo, constrangendo ou at traumatizando a pessoa que usa o
sistema interativo. Deste modo, um problema de usabilidade se revela
durante a interao, atrapalhando o usurio e a realizao de sua
tarefa, mas tem sua origem em decises de projeto equivocadas.

Os principais problemas com que os usurios se deparam nas interfaces Web


centram-se na dificuldade de encontrarem a informao e retornarem pgina, e na
invalidade de links com URLs.

Para Winckler (2001, p. 6),

26

A interpretao do que um problema de usabilidade pode variar, e o


que representa um problema para um usurio pode no ser um
problema para outro. Por exemplo, considere dois usurios sendo que
o primeiro tem uma conexo Internet de rpido acesso (tipo ISDN) e o
segundo usa uma conexo modem de 56 kb; provavelmente eles tm
opinies diferentes sobre a velocidade de apresentao de uma pgina
Web que contm muitas imagens. Outro exemplo de origem de
problemas a incompatibilidade entre browsers que no suportam da
mesma maneira as diferentes tecnologias para construo de interfaces
Web; assim, um usurio pode visualizar sem problemas uma interface
com o browser Internet Explorer enquanto a mesma interface pode
apresentar uma srie de problemas sobre o browser Netscape, e viceversa.

O autor enfatiza que um dos aspectos mais importantes para determinao do que
um problema de usabilidade conhecer bem os usurios da aplicao.

2.4

Concluses

Usabilidade uma medida da qualidade da interao do usurio com uma


interface. O fator primordial para que o usurio determine a boa usabilidade
mensurado pelo tempo utilizado ao carregar, ao monitorar e ao melhorar os Websites.
Portanto, ao se testar a usabilidade, motiva-se tambm o crescimento da clientela.
Problemas de usabilidade podem variar, pois o que um problema de usabilidade
para um usurio, para outro pode no ser.
No captulo a seguir que trata de avaliaes de usabilidade ser apresentada uma
sntese das principais tcnicas de avaliao de usabilidade, em especial, da tcnica de
questionrio.

27

AVALIAO DE USABILIDADE

A avaliao da usabilidade pode ser realizada em qualquer fase do


desenvolvimento de sistemas interativos:
na fase inicial, serve para identificar parmetros ou elementos a serem
implementados no sistema;
na fase intermediria, til na validao ou no refinamento do projeto;
na fase final, assegura que o sistema atenda aos objetivos e s necessidades dos
usurios.

Recomenda-se que essas avaliaes sejam realizadas pelo menos a partir da fase
de refinamento ou validao do projeto.
Considerando as definies apresentadas no captulo anterior, a avaliao de
usabilidade, segundo a ISO 9241 parte onze, tem por objetivo avaliar um sistema
interativo nos seguintes aspectos:
eficcia - grau de preciso e de abrangncia obtidos na interao do usurio com
os sistemas;
eficincia - em relao ao emprego de recursos aplicados para o usurio atingir
seus objetivos, como tempo, esforos mentais, fsicos, operacionais, ambientais,
de hardware, software;
satisfao - compreendida pela norma como o grau de conforto e de reao
favorvel do usurio ao interagir com o sistema.

Conforme Cybis (2000, p. 82), as avaliaes de usabilidade permitem obter os


resultados descritos a seguir.
Constatar, observar e registrar problemas efetivos de usabilidade durante a
interao.
Calcular mtricas objetivas para eficcia, eficincia e produtividade do usurio
na interao com o sistema.

28

Diagnosticar as caractersticas do projeto que provavelmente atrapalhem a


interao por estarem em desconformidade com padres implcitos e explcitos de
usabilidade.
Prever dificuldades de aprendizado na operao do sistema.
Prever os tempos de execuo de tarefas informatizadas.
Conhecer a opinio do usurio em relao ao sistema.
Sugerir as aes de reprojeto mais evidentes diante dos problemas de interao
efetivos ou diagnosticados.

3.1

Tcnicas de avaliao de usabilidade

As classificaes para os tipos de avaliao de usabilidade so referenciadas por


diversos autores, como Nielsen e Mack (1994), Medeiros (1999), Heermann (1997),
Cybis (2000), Moo (1996), Matias (1995), Dias (2002) e Andrs e Mattos (1998), os
quais utilizam nomenclaturas um pouco diferentes para cada tipo de avaliao de
interfaces, mas o principal critrio de classificao a participao ou no do usurio.
Cybis (2000) destaca trs tipos de tcnicas de avaliao:
preditivas/analticas: esta tcnica no necessita da participao do usurio e deve ser
aplicada por avaliadores experientes em avaliao de usabilidade;
objetivas/empricas: o usurio tem participao ativa, com sesses de observao da
interao, a exemplo da tcnica de ensaios de interao.
prospectivas: caracterizam-se pela participao dos usurios do sistema na avaliao
com sua experincia, suas opinies e preferncias. Baseiam-se nas aplicaes de
questionrios de satisfao ou insatisfao do usurio em relao interao com a
interface.

29

3.1.1 Tcnicas analticas

3.1.1.1 Avaliao heurstica

Desenvolvida por Nielsen e Molich (1990), esta avaliao uma tcnica de


inspeo cujo objetivo verificar a conformidade do sistema a padres de qualidade ou
heursticas definidas por especialistas, avaliando, assim, a qualidade do software e
diagnosticando a priori os problemas encontrados pelos usurios provavelmente durante
a interao. Esses problemas de usabilidade a posteriori sero analisados e corrigidos ao
longo do desenvolvimento ou da avaliao.
Esta tcnica, por apresentar um alto grau de subjetividade, exige um grupo
razovel de especialistas em ergonomia. Deste modo, baseados em sua experincia,
competncia e conhecimento, so capazes de identificar a maior parte dos problemas
ergonmicos das interfaces, como demonstra Jeffries (et al. apud CYBIS, 2000). A
tcnica produz timos resultados em termos da rapidez de avaliao e da quantidade e
importncia de problemas diagnosticados. Os resultados das avaliaes heursticas
"dependem diretamente da carga de conhecimento e experincia que as pessoas trazem
para as avaliaes, e do tipo de estratgia com que percorrem a interface" (CYBIS,
2000, p. 84).
A tcnica pode ser utilizada quando o sistema j est pronto ou quando apenas
um prottipo. Nielsen (1993) sugere que a melhor relao custo/benefcio alcanada
quando se utilizam entre trs e cinco avaliadores. Cada avaliador deve realizar a sua
inspeo individualmente e somente depois de todas avaliaes concludas podem se
comunicar. Esse cuidado importante para garantir avaliaes independentes e sem
influncias.
Uma sesso de avaliao heurstica dura entre uma e duas horas, e o resultado lista
problemas de usabilidade, indicando quais princpios foram violados e a sua gravidade
(WINCKLER, 2001, p. 19).
Segundo Winckler (2001), essa tcnica foi utilizada pela primeira vez em uma
interface Web em 1994, num estudo para o Website da Sun Microsystems. Uma das

30

grandes vantagens dessa tcnica que pode ser aplicada em qualquer etapa do
desenvolvimento, mesmo em prottipos em papel.

3.1.1.2 Avaliao via checklist

O checklist uma ferramenta que possui uma lista de questes a responder sobre
usabilidade do projeto, na qual j est embutido o conhecimento ergonmico. A
ferramenta serve para a avaliar a qualidade de um software verificando a conformidade
da interface com as recomendaes ergonmicas originrias de pesquisas aplicadas.
O checklist trata aspectos avaliativos gerais e tambm questes especficas. As
verses personalizadas ou especializadas de um checklist podem ser desenvolvidas a
partir de recomendaes genricas.
Segundo Cybis (2000, p. 85), a avaliao realizada por meio de checklists
apresenta as seguintes caractersticas:
dispensa o profissional de ergonomia, pois o conhecimento ergonmico est
contido no checklist;
facilita a identificao de problemas de usabilidade devido especificidade das
questes do checklist;
reduz o nvel de subjetividade e aumenta a eficcia;
diminui o custo da avaliao, pois um mtodo aplicado rapidamente;
sistematiza a avaliao e garante resultados mais estveis mesmo quando
aplicada

separadamente

por

diferentes

avaliadores,

pois

as

questes/recomendaes constantes no checklist sempre sero efetivamente


verificadas.

Cybis (2000) mostra que esse tipo de resultado depende essencialmente de:
qualidade das listas de verificaes (que nem sempre est presente); e
sistematizao que pode ser prejudicada devido a questes subjetivas, exigindo
do inspetor um conhecimento do contexto que ele no possui.

31

Conforme Winckler (2001, p. 22), esse tipo de inspeo pode ser particularmente
interessante quando se deseja realizar avaliaes rpidas de usabilidade, investigar a
consistncia da interface e verificar mudanas ocasionadas pela manuteno do site.
Trata-se de um tipo de inspeo de relativamente baixo custo, podendo ser adaptado s
diversas fases de avaliaes, bastando, para tanto, selecionar as regras ergonmicas
adequadas.
Matias (1995) enfatiza que o checklist mostrou ser uma ferramenta capaz de dar
suporte avaliao preliminar da interface, pois consegue identificar a maior parte dos
problemas detectados por uma anlise ergonmica completa que abrange a utilizao de
outras tcnicas, aumentando a eficcia da avaliao.
O resultado da aplicao de checklists no identifica todos os tipos de problema de
usabilidade por no envolver ensaios de interao com usurios. Dessa forma, no pode
substituir a anlise ergonmica completa de uma interface (HEERMANN, 1997).

3.1.1.3 Inspeo cognitiva

Heermann (1997) afirma que a inspeo cognitiva tem como objetivo bsico a
avaliao das condies que o software oferece para que o usurio tenha um rpido
aprendizado das telas e das regras de dilogo. Esta inspeo um modo formalizado de
imaginar os pensamentos e as aes de pessoas inexperientes ao utilizarem as interfaces
pela primeira vez. A idia desta tcnica de que os prprios projetistas possam aplic-la
no desenvolvimento do sistema interativo.
Gotijo (apud MEDEIROS, 1999) apresenta um exemplo dessa forma de reviso
em que a avaliao de um editor de textos foi dividida em duas partes: na primeira
parte, executou-se um teste de usabilidade, sendo observados os usurios em tarefas
agendadas pelo grupo de avaliao; na segunda, a equipe de avaliao, simulando o
papel de usurios, executa as tarefas agendadas. Constataram-se problemas com relao
aos dispositivos de entrada, ao mecanismo de ajuda, vocabulrio, sintaxe, lgica de
utilizao e ao gerenciamento de erros.

32

Suas vantagens so:


pode ser aplicado j no incio do ciclo de desenvolvimento;
permite a atuao de analistas, designers e implementadores como avaliadores;
revela a importncia de se conhecerem o usurio e a forma como executa as
tarefas e realiza a anlise cuidadosa dessas tarefas.

Suas desvantagens so:


no identificar imediatamente problemas de utilizao;
induzir a solues errneas;
necessitar de muito tempo.

3.1.1.4 Inspeo formal

Medeiros (1999) destaca a criao de dois grupos de anlise crtica, um grupo de


avaliadores especialistas e um grupo de desenvolvimento, os quais interagem como
oponentes, discutindo as deficincias e os mritos da interface, tendo ainda um
mediador para conduzir os questionamentos at que as concluses finais possam ser
obtidas.
Entre todas as tcnicas, esta a que demanda mais tempo e pessoas. Outra
desvantagem o fato de que a confiabilidade e a validade de seus resultados so
consideradas desconhecidas no levantamento sobre mtodos de avaliao de usabilidade
realizado por Melchior (et al. apud DIAS, 2002).

3.1.2 Tcnicas empricas

Estas tcnicas contam com a participao direta de usurios e se referem


basicamente a ensaios de interao (CYBIS, 2000, p. 86).

33

3.1.2.1 Ensaios de interao

Consistem na principal tcnica de avaliao que conta com a participao direta de


usurios. Sua preparao, ao compor os cenrios aplicados durante a realizao dos
testes, requer um trabalho detalhado de reconhecimento do usurio-alvo e de sua tarefa
tpica. Destinam-se a avaliar a usabilidade de determinadas funes ao simular uma
situao real de trabalho, no ambiente da tarefa ou em laboratrio, com usurios reais
executando tarefas do seu cotidiano. Os resultados desses ensaios referem-se a
problemas de interao de alto nvel, raramente identificados por outras tcnicas
(CYBIS, 2000, p. 86).
Os laboratrios de usabilidade so salas equipadas com cmeras para filmagem do
teste e espelhos falsos que permitem aos avaliadores observar os usurios sem serem
vistos.
Sempre que possvel selecionam-se para o teste usurios reais da interface. Em
alguns casos, se no houver respaldo representativo, todo o teste pode falhar na
identificao de problemas de usabilidade, contudo, pode ser difcil localizar usurios
reais de interfaces Web.
Como forma de viabilizar a avaliao de interfaces Web, Nielsen (1993) sugere
que com cinco usurios j se podem identificar aproximadamente 70% dos problemas
mais crticos da interface.
muito importante antes de comear uma sesso de avaliao lembrar o usurio
de que quem est sendo testado a interface e no ele.
Matias (1995) relata a metodologia de trabalho do LabIUtil - Laboratrio de
Utilizabilidade da Informtica da Universidade Federal de Santa Catarina, que combina
duas tcnicas de avaliao de interfaces: a avaliao heurstica e os testes de
usabilidade. Assim, a descrio de Moo (1996) embasa a aplicabilidade de uma tcnica
envolvendo ensaios laboratoriais de interao para avaliar ergonomicamente um editor
de textos.

34

3.1.3 Tcnicas prospectivas

Caracterizam-se, como o prprio nome sugere, pela participao dos usurios na


avaliao de alguma interface atravs de suas experincias, opinies e preferncias.
Baseiam-se nas aplicaes de questionrios Cybis (2000) para avaliar a satisfao de
usurios de algum tipo de sistema. Segundo Medeiros (1999), o sucesso das tcnicas
prospectivas depende da objetividade do instrumento de coleta adotado, quanto mais
dirigido para os dados a serem analisados e menos ambguo, melhor ser a eficcia do
instrumento. Essas tcnicas tambm denominadas de pesquisa de opinio.

3.1.3.1 Questionrio

Questionrios so ferramentas muito teis para avaliar a interao entre o usurio


e a interface. Utilizam-se, para coletar informaes subjetivas sobre a qualidade da
interface, dados sobre o perfil dos usurios e os problemas encontrados no momento.
Essas informaes so to (ou mais) importantes quanto a performance do sistema e no
podem ser obtidas de outra forma seno perguntando aos usurios.
Como visto em Medeiros (1999), atualmente grandes empresas de software
confeccionam e aplicam regularmente questionrios durante todo o desenvolvimento do
projeto como uma estratgia de busca de qualidade. Esses questionrios mostram-se
pertinentes, pois o usurio quem melhor conhece o software, seus defeitos e suas
qualidades em relao aos seus objetivos e s suas tarefas.
Essa tcnica pode servir como um excelente complemento para os testes de
usabilidade e revises especializadas, como afirma Shneiderman (apud MEDEIROS,
1999, p. 48).
Na maioria das vezes um modelo de questionrio apia-se nas experincias e
heursticas de seus elaboradores. Quando utilizado em pesquisas reais ou simuladas, o
modelo depara-se com circunstncias e necessidades no previstas inicialmente, o que
determinar os refinamentos e ajustes, que, aplicados sucessivamente, permitiro a
evoluo das questes (NIELSEN; MACK, 1994).

35

Winckler (2001, p. 24) afirma que questionrios podem ser teis de diferentes
maneiras dentro do desenvolvimento de interfaces Web, como, por exemplo, para:
identificao do perfil dos usurios - o objetivo coletar informaes de origem
funcional, pessoal, sobre as preferncias ou sobre a utilizao de computadores e
sistemas, entre outras;
determinao do grau de satisfao dos usurios com relao interface;
estruturao das informaes sobre problemas de usabilidade identificados por
usurios.

Questionrios de avaliao de satisfao so considerados aplicveis s fases


finais do projeto de software ou Web. O uso mais freqente d-se aps a concluso do
produto, servindo para calibrar a qualidade do produto, para implementar novos
recursos ou ainda para corrigir falhas de interao ou performance.
Esses questionrios de satisfao devem ser sucintos, com poucas questes e com
espaos livres, caso o usurio deseje dar sugestes ou opinies. Infelizmente eles podem
possuir uma baixa taxa de devoluo, visto que no mximo 30% deles retornam
(CYBIS, 2000).
Emprega-se esta tcnica para aumentar a efetividade de avaliaes analticas,
realizadas por especialistas ao diagnosticar problemas de usabilidade. Atravs das
respostas do questionrio de satisfao, os especialistas centram suas anlises sobre os
pontos problemticos no sistema apontados pelo usurio (CYBIS, 2000).
Uma das grandes vantagens dos questionrios a quantidade de usurios
dispersos geograficamente ou divididos por perfil, visto que podem ser aplicados a
todos ao mesmo tempo utilizando o prprio ambiente Web. Com esse instrumento,
identificam-se problemas de uso do sistema por certo tipo de usurios em um ambiente
proposto ou realizando determinada tarefa (DIAS, 2002).
Para Leite J. C. e Tavares T. A. (2001), os questionrios, divididos em uma srie
de indagaes sobre um determinado assunto, incluem perguntas do tipo abertas ou
fechadas. De acordo com os autores, das perguntas do tipo abertas possvel obter
respostas discursivas dos usurios referentes a determinado assunto atravs do
preenchimento de uma nota. Sabe-se que esse tipo de pergunta depreende tempo para
anlise e tabulao dos dados. J nas perguntas do tipo fechadas, o usurio tem um

36

conjunto de possveis respostas preestabelecidas a escolher. Dessa forma, ele expressa


sua opinio concordando ou discordando de afirmativas dadas.
A Figura 1 a seguir mostra um exemplo de questo do tipo aberta, em que o
usurio preencher o campo em branco registrando sua opinio. muito utilizada para
questionrios cujo objetivo a satisfao do usurio.

Registre suas sugestes/Outros comentrios.

Figura 1 - Exemplo de pergunta do tipo aberta

Nas Figuras 2 e 3, as questes ilustradas so do tipo fechadas, expem a anlise


dos resultados, pois so facilmente mapeadas para nmeros, embora restrinjam as
possibilidades de resposta dos usurios.
O site tem mecanismo de navegao ?
Ruim

Mdio

Bom

timo

No aplicvel

Figura 2 - Exemplos de pergunta do tipo fechada

Como voc avalia a agilidade deste site?


Boa
Regular
Ruim
Figura 3 - Exemplos de pergunta do tipo fechada

Lea (apud LEITE; TAVARES, 2001) cita alguns tipos de escalas, que so descritos na
seqncia.

37

Escala passo a passo: o usurio escolhe uma opo entre uma srie delas, geralmente
expressas por nmeros ou adjetivos. (Figura 4)
1.A navegao neste site uma atividade:
Muito difcil

Difcil

Fcil

Muito Fcil

Figura 4 - Escala passo a passo

Escala comparativa: induz o usurio a confrontar elementos de uma soluo de


interface proposta com outros da mesma categoria.
1.Comparando a navegao do site antigo, como seria a classificao deste site
com relao ao processo de compras?

1%

Melhor
10%

25%

Insatisfatrio
50%
50%

Figura 5 - Escala comparativa

Escala de Likert: as escalas de Likert indicam o grau de concordncia ou discordncia


dos usurios com relao s afirmaes dadas.
1. imprescindvel a simplicidade em um site.
Concordo veementemente Concordo

Figura 6 - Escala de Likert

Indeciso

Discordo

Discordo

veementemente

38

Escala diferencial semntica: permite ao usurio assinalar sua opinio num


subconjunto de alternativas entre pontos extremos de adjetivos opostos.
1. A disposio dos atalhos no sistema antigo :
Simples

complicada

Clara

confusa

Varivel

consistente

Figura 7 - Escala diferencial semntica

Escala ordenada (ranking): induz o usurio a atribuir valores que classifiquem sua
satisfao com aspectos da interface.
Os questionamentos devem ser claros, sem conotaes ambguas, pois a
objetividade define a preciso dos resultados. O estudo desses resultados pode ser feito
atravs de anlise estatstica das respostas, primeiramente individuais e em seguida
juntas, para refletir a opinio do grupo; ou lana-se mo da anlise simples, envolvendo
clculo percentual com base nos resultados colhidos.
O uso de questionrios no processo avaliatrio abrange tanto qualitativa quanto
quantitativamente uma interface. Portanto, esta tcnica serve para mensurar a satisfao
subjetiva do usurio.

3.1.3.1.1

Questionrios reconhecidos

Entre os questionrios reconhecidos como confiveis e validados pela extenso do


seu uso, desenvolvidos especificamente para medir a satisfao dos usurios, destacamse os apresentados a seguir.

39

QUIS - Questionnaire for User Interaction Satisfaction


Mede a satisfao do usurio quanto usabilidade do produto, de maneira
padronizada, segura e vlida. Obtm informaes precisas em relao reao dos
usurios a novos produtos.

Histrico
Desenvolvido por um grupo de pesquisadores da Human/Computer Interaction
Laboratory at the University of Maryland.
O questionrio original (version 2.0, SHNEIDERMAN apud MEDEIROS,
1999) consistia de noventa perguntas.
Na 2 verso foram inseridas mais treze perguntas e foi modificada a escala de 1
a 10 para 1 a 9, pois neste caso pode-se incluir o 0 como no aplicvel.
O QUIS continuamente atualizado e refinado para vrios ambientes
acadmicos e industriais. Atualmente est na verso 7.0.

Estrutura
Hierarquicamente organizado em sete fatores referentes interface:
fatores relacionados s telas;
terminologia e retorno do sistema;
fatores relacionados ao aprendizado;
capacidade do sistema;
manuais tcnicos;
tutoriais on-line;
multimdia;
reconhecimento de voz;
ambientes virtuais;
acesso Internet;
instalao do software.

Cada rea mensura a satisfao do usurio com a interface, em escala de 9.

40

Finalidade do questionrio
Guiar no projeto ou no redesign dos sistemas.
Dar a gerentes uma ferramenta para que possam avaliar reas potenciais de
melhoria do sistema.
Fornecer investigadores de um instrumento validado que conduz a avaliaes
comparativas e serve como uma ferramenta de teste em laboratrios da
usabilidade.

Possui as vantagens de alta confiabilidade, baixa variabilidade e informaes para


projetistas.

WAMMI - Web local Analysis and Inventory of Measure


WAMMI uma ferramenta de avaliao para locais da Web, baseia-se em
questionrios e mede a facilidade de uso de um site Web. As perguntas selecionadas
cuidadosamente foram refinadas para averiguar a avaliao subjetiva dos usurios, a
facilidade de uso de um site Web e a interatividade, testadas em numerosos locais da
WWW.
Possui um banco de dados internacional resultante de um grande nmero de locais
da Web. So analisados os resultados do WAMMI individuais relativos a um local da
Web e atribudo-lhes o valor dado pelos usurios. Portanto, WAMMI representa
qualidade de uso em seu local de Web. oferecido na verso 2.5 para a maioria dos
idiomas europeus.
WAMMI pode ser usado em trs modos bsicos, dependendo em que fase se
encontra o projeto do Website.
Predio - antes de lanar um site Web (atravs de alguns testes com usurios, detectase como reagiro ao produto).
Monitorando - usado quando se deseja saber por que algumas pessoas nunca retornam
ao site ou por que alguns clientes constantemente se queixam de aspectos aparentemente
triviais.
Marcando o nvel de - o que os usurios pensam do Website relativo a outros locais,
englobando uma srie de aspectos de design diferentes.

41

O questionrio est projetado de forma a inserir somente um boto na pgina e


persuadir os visitantes a respond-lo. O processo inteiro leva aproximadamente dez
minutos.

SUMI - Software Usability Measurement Inventory


Kirakowski (et al. 1994) relata que SUMI um rigoroso teste para medir
qualidade de software sob o ponto de vista do usurio. um mtodo consistente para
avaliar a qualidade de uso de um produto de software ou prottipo e ajuda na descoberta
de falhas de usabilidade antes de um produto estar pronto. SUMI apia-se em um banco
de dados.
recomendado a qualquer organizao ou consumidor que deseja medir a
qualidade de uso de softwares.Os usurios usam-no efetivamente para:
calcular o valor de produtos novos durante avaliao desse produto;
fazer comparaes entre produtos ou verses de produtos;
fixar objetivos para desenvolvimento de aplicaes futuras;
identificar o software mais apropriado para sua organizao.

Usa-se SUMI especificamente dentro de ambientes de desenvolvimento para:


estabelecer metas verificveis para qualidade de consentimento de uso;
localizar realizao de objetivos durante o desenvolvimento de produto;
realar aspectos bons e ruins de uma interface.

Vantagens
SUMI o nico questionrio comercialmente disponvel para a avaliao da
usabilidade de software desenvolvido, validado e unificado em uma base internacional.
Est disponvel em grande nmero de idiomas cujas verses so traduzidas e validadas.
A ISO 9241 menciona que o SUMI um reconhecido mtodo para testar a
satisfao do usurio que consiste em cinqenta declaraes nas quais o usurio escolhe
entre as alternativas Concordam, No sabem ou Discordam.

42

Por exemplo:
Este software responde muito lentamente s contribuies (n 1).
As instrues e os lembretes so teis (n 3).
O modo com que a informao do sistema apresentada est claro e
compreensvel (n 13).
Eu no gostaria de usar este software diariamente (n 22).

ISONORM 9241/10
Prunper (apud MEDEIROS, 1999, p. 50) relata que este modelo de questionrio
baseia-se na norma ISO 9241 e objetiva avaliar a conformidade dos produtos de
software com as recomendaes constantes da parte dez da norma.
O formulrio divide as questes em sete sees, de acordo com os princpios de
dilogo da parte dez da norma ISO 9241.
Adequao tarefa.
Autodescrio.
Controlabilidade.
Conformidade com as expectativas do usurio.
Tolerncia a erros.
Adequao individualizao.
Adequao ao aprendizado.

Segue um exemplo do formato das questes.

O software
---

--

+/-

Requer muito tempo


para aprender
Figura 8 - Exemplo de questo do ISONORM 9241/10

++ +++
Requer pouco tempo para
aprender

43

Roteiro para a avaliao de usabilidade


O objetivo principal de uma avaliao melhorar a interface e no apenas
verificar o quanto boa ou ruim. A boa avaliao de usabilidade no aquela que
apenas identifica os problemas de usabilidade, mas aquela que ajuda a equipe de
desenvolvimento a solucion-los e a melhorar a interao do usurio com a aplicao
(WINCKLER, 2001, p. 28).
Winckler (2001) relata ainda que vrios aspectos contam para o sucesso de uma
avaliao, entre eles, a escolha da tcnica adequada a cada situao apresentada.

3.1.4 Escolha de uma tcnica

Para escolher uma tcnica de avaliao importante examinar suas qualidades no


confronto com os recursos disponveis e as expectativas de resultados da avaliao de
usabilidade (CYBIS, 2000).
Diante das diversas abordagens de avaliao de usabilidade, Shneiderman (apud
MEDEIROS, 1999, p. 42) sugere que a adoo de uma tcnica adequada depende de
vrios fatores, como:
estgio em que se encontra o projeto;
grau de inovao do projeto;
nmero de usurios potenciais;
criticidade da interface;
custos do produto e dos recursos destinados a testes;
disponibilidade de tempo e de especialistas em usabilidade;
experincia da equipe de projeto e avaliao.

44

3.1.4.1 Comparao de tipos de avaliao


TIPO DE
AVALIAO

PREDITIVA/
ANALTICA

TCNICAS
OBJETIVAS/
EMPRICAS

ENVOLVIDOS TCNICA/
METODOLOGIA UTILIZAO
(definio)
>Sem a
Avaliao via checklist
participao do >So inspees a requisitos propostos por
usurio.
padres de qualidade baseadas em listas de
>Baseadas nos verificao, guidelines e normas.
conhecimentos e >Possibilidade de ser realizada por projetistas,
nas experincias no exigindo especialistas em interfaces
dos avaliadores homem-computador, pois o conhecimento
e em modelos
ergonmico est contido no checklist.
formais.
Avaliao heurstica
>Anlise de conformidade do sistema diante de
padres de qualidade ou heursticas definidas
por especialista.
>A avaliao da usabilidade d-se a partir de
regras heursticas e de experincias,
conhecimentos ou habilidades pessoais ou de
grupos.
Inspeo cognitiva
(walkthrough, explorao ou navegao
cognitiva)
Confronto entre as lgicas de operao do
projetista e de um usurio novato.
Modo formalizado de imaginar os pensamentos
e as aes dos usurios leigos.
Inspees formais
Dois grupos de anlise crtica so formados:
grupo de desenvolvimento e avaliadores
especialistas (oponentes).
Ensaios de Interao
Simulao de uma situao real de trabalho, em
>Com a
campo ou em laboratrio, da qual participam
participao
usurios representativos da populao-alvo do
direta de
sistema.
usurios.
>Baseadas na
observao da
interao.

TCNICA
Baseadas na
PROSPECTIVA opinio do
usurio sobre a
interao com o
sistema.

Questionrios
So teis para obter informaes quando existir
um grande nmero de usurios ou quando estes
estiverem geograficamente distribudos,
segmentados por perfil ou por amostragem.

OBJETIVO
(tipo de diagnstico)
Grande quantidade de
problemas
intermedirios e
menores; facilita a
identificao de
problemas, reduz o
nvel de subjetividade
e de custos.
Todos os tipos de
problemas
ergonmicos do
software, inclusive os
falsos.

Problemas gerais e
iniciais (ligados
intuitividade do
sistema).

Detectar problemas de
usabilidade.

Revelar problemas
ligados utilizao
real do sistema e obter
dados objetivos sobre
a produtividade na
interao. Revelam
barreiras e obstculos
gerais, iniciais e
definitivos.
Avaliar a satisfao
ou insatisfao
relativa ao sistema e
sua operao.

Tabela 1 - Comparao entre tipos de avaliao,envolvidos, tcnicas utilizadas e objetivos

45

3.1.4.2 Vantagens e desvantagens das tcnicas


TCNICA/METODOLOGIA
UTILIZAO (definio)
Avaliao heurstica
>Anlise de conformidade do sistema
diante de padres de qualidade ou
heursticas definidas por especialista.
>A avaliao da usabilidade d-se a
partir de regras heursticas e de
experincias, conhecimentos ou
habilidades pessoais ou de grupos.
Avaliao via checklist
>So inspees a requisitos propostos
por padres de qualidade baseadas em
listas de verificao, guidelines e
normas.
Inspeo cognitiva (walkthrough,
explorao ou navegao cognitiva)
Confronto entre as lgicas de operao
do projetista e de um usurio novato.
Modo formalizado de imaginar os
pensamentos e as aes dos usurios
leigos.
Inspees formais
Dois grupos de anlise crtica so
formados: grupo de desenvolvimento e
avaliadores especialistas (oponentes).
Ensaios de interao
Simulao de uma situao real de
trabalho, em campo ou em laboratrio,
da qual participam usurios
representativos da populao-alvo do
sistema.

Questionrios
Pode ser usado para aumentar a
efetividade de avaliaes analticas e
assim centrar as anlises dos
especialistas sobre os pontos
problemticos no sistema.
So teis para obter informaes quando
existir um grande nmero de usurios ou
quando estes estiverem geograficamente
distribudos, segmentados por perfil ou
por amostragem.

VANTAGEM

DESVANTAGEM

Avaliao rpida, abrangente.

- Requer conhecimento e
experincias do avaliador.
- So necessrios de trs a cinco
avaliadores para um bom
resultado.
- Subjetiva e pouco sistemtica.

- Avaliao barata, rpida,


sistemtica e de fcil aplicao.
- Outra pessoa no especializada
em usabilidade pode aplicar.

- Limitada a problemas
intermedirios e menores.
- Depende da qualidade da
ferramenta (cheklist).

- Pode ser aplicado j no incio


do ciclo de desenvolvimento.
- Permite que analistas,
designers e implementadores
atuem como avaliadores.
- Reconhece a forma com que o
usurio executa tarefas e realiza
a anlise cuidadosa de tarefas.
Experincia educacional rica.

No leva identificao
imediata do problema.
Despende tempo.

- Evita problemas de menor


importncia.
- Fornece idias para o projeto
atravs das sugestes dos
usurios.
- Promove a participao do
usurio.
- No necessita de grande
nmero de especialistas.
- Os problemas realmente so de
impacto aos usurios.
Importantes para obter
informaes dos usurios a
respeito do sistema, de suas
ansiedades e de sua satisfao.

Tabela 2 - Vantagens e desvantagens das tcnicas estudadas

Demanda muito tempo e


pessoal.

Avaliao demorada e de alto


custo no identifica os
problemas de consistncia.
Pode afetar o comportamento
dos utilizadores.

Torna-se difcil a aferio da


confiabilidade e validade de
seus resultados.
Taxa de respostas pode ser
muito baixa.

46

3.2

Concluses

Durante o perodo de pesquisas a respeito de tcnicas de avaliao de usabilidade


e tambm de leituras e debates paralelos ocorridos com outros colegas e algumas
empresas, observou-se que a anlise de usabilidade deve acompanhar o projeto desde
suas fases iniciais. Para isso, o ato de escolher qual a tcnica que melhor se adapta a
determinado contexto uma tarefa de grande responsabilidade, pois ao selecionar a
tcnica de avaliao adequada levam-se em conta recursos disponveis, custos,
quantidade de pessoas envolvidas, prazos e preciso esperada.
Outro fator importante a se ponderar que, mesmo o sistema sendo avaliado com
a tcnica mais apropriada e por profissionais considerados especialistas, no dada a
garantia de que o sistema seja qualificado para desempenhar satisfatoriamente a tarefa
para o qual foi desenvolvido.
Com relao tcnica de questionrio, reforou-se o fato de que, alm de ajudar a
encontrar falhas nos projetos, pode ser aplicada para guiar avaliaes mais completas,
reduzindo os custos de avaliaes de usabilidade, pois o questionrio a nica forma de
saber a opinio do usurio com relao ao sistema.
O prximo captulo exibe uma viso do e-commerce no mundo e no Brasil,
apresentando vantagens, restries, fatores influenciadores no crescimento do Comrcio
Eletrnico e formas de e-commerce, alm de indicar as empresas que mais venderam na
Internet e abordar a questo da usabilidade no Comrcio Eletrnico.

47

COMRCIO ELETRNICO

4.1

Introduo

Nos ltimos anos o Comrcio Eletrnico tem sido foco de discusso na mdia
nacional e internacional. Esse meio de comercializao modificou a forma de
concorrncia, estratgias de marketing e das estruturas organizacionais das empresas.
Comrcio Eletrnico, ou e-commerce, o nome dado ao sistema com a
capacidade de realizar transaes comerciais efetuadas por uma empresa, com o
objetivo de vender produtos e servios diretamente a seus clientes, utilizando facilidades
de comunicao e transferncia de dados da Web.
O crescimento do nmero de aplicaes do Comrcio Eletrnico destaca-se no
mercado devido ao avano das tecnologias, fazendo com que um grande percentual de
empresas optem pelo Comrcio Eletrnico como uma estratgia de insero na Web,
visando automatizar suas atividades.

4.2

O Comrcio Eletrnico no mundo

No incio dos anos 90, foi criada a Web com a inveno do HTML por Tim
Berners Lee, no Laboratrio CERN, na Sua. Surgiu em 1993 o primeiro browser, o
Mosaic.
A regulamentao para uso comercial da Internet popularizou outros programas
grficos para navegao na rede. Com isso, as empresas comearam a se interligar por
computadores, revolucionando a forma de fazer negcio via empresaempresa e entre
empresaconsumidor.

48

Com o advento do e-commerce surgiram lojas essencialmente virtuais, com venda


somente atravs do Comrcio Eletrnico. As empresas que negociavam da forma
tradicional tambm passaram a usar esse novo endereo de compra.
Na fase de desenvolvimento inicial, a grande dificuldade de previso era a procura
pela nova forma de compra, enfrentavam-se problemas principalmente com logstica
por no se estimarem adequadamente as vendas e planejarem suas operaes para
grandes variaes de demanda.
Aps essa fase, vrios desses Websites de e-commece foram extintos, outros
foram absorvidos por Websites maiores, e alguns cresceram e existem at hoje. Os
Websites que resistiram e os mais novos, segundo Nielsen (2001), so mais
profissionais e mais fceis de usar, mas ainda longe de estarem atuando num mercado
maduro. Os principais desafios daqueles que atuam no Comrcio Eletrnico ainda se
relacionam eficincia no planejamento de estoques, distribuio do produto, coleta
de devolues, segurana, entre outros fatores.
Segundo

estimativa

de

setembro

de

2002

apresentada

no

site

<www.e-commerce.org.br>, no mundo so 605.6 milhes de pessoas conectadas a Web.


Destas, 33.3 milhes so da Amrica Latina.

4.3

O Comrcio Eletrnico no Brasil

A compra pela Internet uma realidade irreversvel crescendo exponencialmente


em todo o mundo e, no Brasil, no uma exceo. O Comrcio Eletrnico mundial
desenvolveu-se h mais de sete anos, e no Brasil metade desse tempo.
Segundo Felipini (2002), a evoluo do nmero de internautas no Brasil cresceu
muito desde julho de 1997, perodo em que o Brasil ultrapassava a marca de um milho
de usurios. At a metade de 2001, houve um crescimento acumulado de mais de
1000% no nmero de usurios, representando um crescimento de 19% ao ms.
O autor ainda aponta outro dado significativo que se refere penetrao da
Internet junto populao, que em 2002 atingiu 7,6%. Nesta pesquisa no se quer
utilizar um parmetro de comparao com o mercado americano, que em um perodo de
pouco mais de dez anos atingiu a marca de 60% da populao conectada rede. Sabe-se

49

que essa expanso de mercado depende muito da conjuntura econmica do perodo,


alm de varivel socioeconmica de cada pas.

Felipini (2002) relata que:

O grau de penetrao serve como um importante indicador do espao


de crescimento disponvel no mercado. Quanto maior a distncia do
limite de 100% da populao, maior a possibilidade de crescimento
e nesse aspecto os nmeros mostram claramente que o mercado
brasileiro tem um enorme espao a ser ocupado.

Dados

estatsticos

de

janeiro

de

2003,

apresentados

no

site

<www.e-commerce.org.br> sobre o Comrcio Eletrnico, revelam que o Brasil possui


14,32 milhes de internautas, atingindo 8,1% da sua populao. O domnio com maior
audincia o da <uol.com.br>, vindo em segundo lugar o <ig.com.br> e em terceiro o
<globo.com.br>.
Segundo a Ibit (empresa de pesquisa e marketing pela Internet) e as pesquisas de
Nielsen (NetRatings) apresentadas no site <www.e-commerce.org.br>, o perfil do
pblico que costuma comprar pela Internet na grande maioria de e-consumidores que
possuem um alto poder aquisitivo, pertencendo classe social A e B. Cerca de 35% tm
renda familiar entre R$ 3.000,00 e R$ 8.000,00. Mesmo assim, observa-se que o
segmento com renda entre R$ 1.000,00 e R$ 3.000,00 tem uma grande participao no
mercado, representando cerca de 32%. Do total de e-consumidores, 6% tm renda
familiar de menos de R$ 1.000, j 8% ganham mais de R$ 8.000 e 19% preferem no
informar sua renda, pois pertencem camada de maior poder aquisitivo.
A Ibit mostra que a maioria dos consumidores de lojas virtuais so pessoas entre
25 e 49 anos de idade, totalizando 71% da populao compradora pela Internet. Esse
mesmo estudo demonstra que apenas 1% dos consumidores tm at 17 anos e 14% entre
18 e 24 anos.
A grande maioria possui pelo menos nvel superior completo (55%), sendo 20%
com ps-graduao. Cerca de 60% dos consumidores das lojas virtuais so homens,
contra 40% do sexo feminino.

50

Os produtos mais vendidos no varejo on-line no Brasil so os cds, dvds e as


revistas. Com isso, constata-se que os empresrios perceberam o crescimento do
Comrcio Eletrnico no Brasil bem como todo o seu potencial de lucro.

4.4

Vantagens para clientes do Comrcio Eletrnico

As vantagens que o Comrcio Eletrnico oferece passam pela facilidade em


comparar preos e produtos sem se deslocar do ambiente, pela comodidade (a qualquer
hora do dia ou da noite), pela disponibilizao de produtos 24 horas por dia, pelo custo
do produto que tende a ser menor, pois est exposto a um mercado global.

4.5

Restries ao uso do Comrcio Eletrnico pelos clientes

O Comrcio Eletrnico sofre com a preocupao e a desconfiana do consumidor


em relao segurana das suas informaes, sendo este o principal fator restritivo. Os
outros fatores de restrio passam pelo custo da linha telefnica, dos equipamentos, do
software, pela baixa cultura da informtica (devido poltica adotada pelo governo
brasileiro) e pela usabilidade de sites de Comrcio Eletrnico malprojetados.

4.6

Fatores que influenciam o crescimento do Comrcio Eletrnico

1) Oportunidade de vendas: em expanso a venda atravs de um novo canal de


distribuio.
2) Oportunidades de marketing: maneira de fazer marketing para se tornar mais prximo
de seus clientes.
3) Oportunidades competitivas: entrar nesse canal de distribuio antes do concorrente.
4) Reduo de custos e preos: no comrcio entre empresas (pequenas, mdias e
grandes), podendo repassar um preo mais baixo a seus clientes.

51

5) Abrangncias: permite empresa fazer negcios em todo o mundo.


6) Aumento da competitividade/qualidade do servio: permite oferecer um melhor
suporte pr e ps-venda e melhorar as informaes dos produtos.
8) Criao de novos produtos voltados exclusivamente para a Internet.
9) Aumento na produtividade das empresas.

4.7

Classificao de negcios ou formas de e-commerce

As partes envolvidas numa interao eletrnica classificam-se sob quatro formas:


B2C (business to consumer): refere-se a transaes eletrnicas realizadas entre empresa
e consumidor;
B2B (business to business): refere-se a transaes eletrnicas realizadas entre empresas;
C2B (consumer to business): so transaes realizadas entre um fornecedor pessoa
fsica e um consumidor pessoa jurdica;
C2C (consumer to consumer): so transaes realizadas entre duas pessoas fsicas.

4.8

Empresas que mais venderam na Internet

Conforme pesquisa realizada pela InfoExame, observa-se que no ranking dos


maiores em B2B e B2C existe um maior nmero de transaes no B2C.

Empresa

Transaes (R$ milhes)

Ramo de atividade

Endereo na Internet

1) General Motors

1044,0

Automotivo

www.celta.com.br

2) Mercado Livre

188,2

Leilo on-line

www.mercadolivre.com.br

3) Carsale

90,5

Venda de carros

www.carsale.com.br

4) Americanas.com

71,4

Varejo

www.americanas.com

5) Submarino

71,1

Varejo

www.submarino.com.br

FONTE: InfoExame (maio 2002, p. 68).


Tabela 3 - Empresa para consumidor B2C

52

Empresa

Transaes (R$ milhes)

Ramo de atividade

Endereo na Internet

1) Ford

4610,9

Automotivo

www.ford.com.br

2) Mercado eletrnico

2000,0

E-marketplace

www.me.com.br

3) Intel

1652,2

Computao

www.intel.com.br

4) Genexis

1200,0

E-marketplace

www.genexis.com

5) Cisco

1196,4

Computao

www.cisco.com.br

FONTE: InfoExame (maio 2002, p. 69).


Tabela 4 - Empresa para empresa B2B

4.9

Usabilidade no Comrcio Eletrnico

A usabilidade em um site de Comrcio Eletrnico deve comear na sua homepage,


pois ela a face de sua empresa para o mundo, segundo Nielsen (2002), os clientes
olharo para a presena on-line de sua empresa antes de negociar com voc.
De acordo com o autor, a homepage a pgina mais importante na maioria dos
Websites e mais vista que qualquer outra pgina, pois, mesmo que os usurios entrem
por mquinas de procura ou por outros Websites que chegam a seu local, a primeira
coisa que fazem ir para a homepage.
Para aumentar a usabilidade de homepages e assim aumentar o nmero de
negcios do Website necessrio seguir algum tipo de diretrizes (NIELSEN, 2002).
A usabilidade vem sendo aplicada h vrios anos em testes com softwares e mais
recentemente comeou a ser aplicada na Web.
Para muitos tipos de projetos, o principal argumento para um processo centrado no
usurio o aumento da produtividade, que gera ganhos econmicos, acarretando
melhorias na usabilidade. Para o design do Comrcio Eletrnico, os argumentos
principais para a usabilidade so os benefcios com o aumento das vendas, a satisfao
do cliente ou ainda a reduo das chamadas telefnicas de apoio, no levando em conta
a produtividade (NIELSEN, 2003).
Vrias pesquisas nas empresas de Comrcio Eletrnico relatam que elas deixaram
de faturar bilhes de dlares por no promoverem uma boa experincia entre site e
consumidor.

53

Nielsen (2001) mostra um estudo feito em 2001 utilizando vinte sites de Comrcio
Eletrnico dos EUA no qual foram observados usurios tentando realizar as tarefas dos
sites (eles tentaram realizar as tarefas 496 vezes), sendo 56% dessas tarefas concludas
corretamente.
Agora em 2003, outro estudo semelhante feito por Nielsen (2003) ao observar
como os jornalistas usam Websites revela a taxa de sucesso de usabilidade, uma mdia
de 73%, demonstrando uma grande melhoria em relao ao ano de 2001.
A maioria desses sites perde quase a metade de suas vendas porque os usurios
no conseguem us-lo corretamente. Em outras palavras, com uma usabilidade melhor,
em mdia, os sites poderiam aumentar suas vendas (NIELSEN, 2001).
A satisfao de diretrizes para locais de e-comrcio ainda muito lenta, est
taxada em 2.7% por ano. Segundo Nielsen (2003), uma explicao plausvel para a
taxao a dificuldade de se redesenharem locais de e-comrcio para implementar todas
as diretrizes de usabilidade existentes .
O trabalho de usabilidade nunca estar completo porque no h interface de
usurio perfeita. Qualquer design pode ser aperfeioado e, assim, continuar somando
diretrizes para a experincia de usurio. Mesmo que as taxas de sucesso se aproximem
de 100%, h necessidade de mais diretrizes de usabilidade para melhorar o design
(NIELSEN, 2003).
Para Nielsen (2002), a usabilidade um desafio no design de Website, pois a
grande maioria dos sites oferece muitas informaes de forma desorganizada e sem
nenhum suporte, por isso no se enquadra em um site do tipo CNN, atravs do qual com
algumas linhas de notcias possivelmente se fica satisfeito, nem em um site do tipo
Amazon.com, por meio do qual possvel comprar um livro com apenas uma
referncia.
Muitas empresas j estabeleceram locais na Web de e-comrcio, e nos prximos
anos mais locais de e-comrcio surgiro. As empresas desenvolvero locais da Web de
e-comrcio por diferentes motivos: para localizar os clientes novos, ficar lado a lado
com os competidores, conhecer as expectativas e a necessidade de seus clientes.
A usabilidade no comrcio eletrnico est longe de ser o ideal, mas j comea a
dar indcios de grandes melhoras. Os desenhistas comearam a aceitar que a usabilidade
um item essencial em um Website, exemplo disso a diminuio da febre pelo uso

54

dos softwares da Macromedia como o Flash em Websites para fazer animaes, em


virtude do peso que causava s pginas. Uma das reas da usabilidade que mais
melhoraram foi a da busca. Os Websites cada vez mais mostram o carrinho de compras
que um local onde o cliente poder ver o que j comprou, isso representa uma
versatilidade para clientes interessados em continuar comprando, utilizam pouco os
menus dropdown, no aprovados pela grande maioria dos clientes, alm de exigirem
menos dados dos usurios, entre outras mudanas. Enfim, nota-se que os Websites de ecommerce esto prestando mais ateno s questes de usabilidade.

Concluso
Neste captulo apresentaram-se uma viso geral do Comrcio Eletrnico e o
crescimento do e-commerce nos ltimos anos, constatando-se que a tendncia cada
vez mais consumidores efetuarem suas compras on-line. Os Websites podero oferecer
vantagens e benefcios para seus clientes, mas para isso devem ter em mente em
primeiro lugar a conquista dos usurios da Internet, principalmente em relao
usabilidade e segurana, os principais entraves para a relao do usurio com o
Website.
Na busca por informaes para a realizao deste trabalho, foram feitas consultas
em livros especializados, jornais, revistas, sites da Internet, e visitas a provedores de
acesso Internet e empresas que j tm site de Comrcio Eletrnico. Concluiu-se com
isso que um nmero cada vez maior de empresas de pequeno, mdio e grande porte est
se adaptando ou pelo menos tentando se adaptar a esse novo tipo de mercado.
Mesmo que uma empresa seja de mdio ou pequeno porte pode sobreviver
concorrncia com empresas de grande porte, para isso deve conquistar seu espao de
especializando-se em algum tipo de produto, pois, se isso no fosse possvel, no
haveria mais minimercados atualmente, somente grandes redes estariam atuando.

55

QUESTIONRIO PARA AVALIAO DA SATISFAO DE

USURIOS DE SITES WEB

O questionrio apresentado neste captulo destina-se a ser aplicado por criadores


de contedos para a Web em clientes de Comrcio Eletrnico, seu objetivo
proporcionar uma forma de verificar o grau de satisfao de usurios do Comrcio
Eletrnico, melhorando assim a usabilidade desses sites. Pode ser usado tambm para
orientar avaliaes analticas, realizadas por especialistas.
A usabilidade nada mais do que uma medida da qualidade da experincia do
usurio ao interagir com alguma interface, seja um site na Internet, seja um aplicativo de
software tradicional, ou outro dispositivo que o usurio possa operar de alguma forma.
As questes desse questionrio foram especialmente formuladas para um
pblico-alvo de sites de Comrcio Eletrnico, apoiando-se em informaes relevantes
ao seu entendimento, e baseiam-se em pesquisas diretamente relacionadas com
usabilidade da Web. Neste tpico sero apresentadas as metodologias de pesquisa e de
desenvolvimento do questionrio proposto e as atividades realizadas para aplicar e
avaliar o questionrio, bem como os resultados obtidos. Este captulo permitir
esquematizar e identificar detalhadamente os caminhos percorridos para o alcance dos
objetivos.

5.1

Metodologia de desenvolvimento do questionrio de satisfao

Adotou-se uma metodologia baseada em atividades de pesquisa bibliogrfica


sobre estado da arte, realizada em duas etapas: etapa I - elaborao incluindo o pr-teste
preliminar do questionrio; e etapa II - avaliao do questionrio atravs de testes com
usurios, chegando ento sua verso final.

56

De forma mais detalhada, foram desenvolvidas em cada etapa as atividades a


seguir.

Etapa I - Elaborao do questionrio


1 - Reviso bibliogrfica e coleta de recomendaes sobre a usabilidade em Websites de
Comrcio Eletrnico, incluindo a anlise do estado da arte no que se refere a
questionrios para avaliao da satisfao de usurios.
a) Pesquisa bibliogrfica.
b) Traduo de algumas recomendaes/questes existentes nas fontes originais para
portugus.

2 - Elaborao das questes e montagem da primeira verso do questionrio.


a) Selecionar e definir as questes aplicveis em questionrio referentes ao Comrcio
Eletrnico, com base na adaptao dos questionrios j existentes e na transformao
das recomendaes de diretrizes e checklists em questes.
b) Classificar as questes em sees, de acordo com critrios definidos.
c) Revisar a consistncia das questes, envolvendo ajuste, agrupamento e eliminao
das perguntas similares provenientes de fontes diferentes.

3 - Avaliao do questionrio pela sua aplicao em um pr-teste, originando assim a


sua segunda verso.

Etapa II - Avaliao e anlise do questionrio


1 - Escolha de sites comerciais para aplicao do questionrio proposto e ensaio de
interao para realizar estudos comparativos.
2 - Aplicao do questionrio e realizao dos ensaios de interao: Efetuar um
experimento de avaliao da satisfao de usurios de sites de Comrcio Eletrnico por
meio da aplicao do questionrio proposto e do ensaio de interao.
3 - Avaliao e reviso do questionrio pelo confronto dos resultados com o ensaio de
interao.

57

4 - Avaliao do questionrio proposto quanto sua capacidade de identificar


problemas quando comparado a outras tcnicas e com relao sua facilidade de
aplicao.

5.2

Resultados da pesquisa concernentes Etapa I - Elaborao do questionrio

5.2.1 Reviso bibliogrfica e coleta de recomendaes

Durante a pesquisa sobre a coleta de recomendaes para compor o


questionrio, descobriu-se que so vrias as organizaes preocupadas com as questes
de usabilidade na Web, mas a grande maioria de empresas que criam recomendaes
de mbito geral, algumas com relao usabilidade de software, outras de sites Web.
Raros so os estudos com foco centrado em algum tipo de pblico da Web em
particular.
A bibliografia sobre recomendaes de usabilidade para usurios do Comrcio
Eletrnico na Web reduzida. Uma das poucas referncias sobre o assunto provm de
Jackob Nielsen (2001), que desenvolveu um relatrio contendo uma lista de 207
diretrizes para o e-commerce voltadas para todas as pessoas interessadas em construir
locais de e-commerce mais fceis de usar. Todas essas diretrizes baseiam-se em
achados de estudo da usabilidade de vinte locais de e-commerce, com usurios dos
Estados Unidos e da Europa. Outro estudo muito importante trata-se das diretrizes de
boas prticas para o e-commerce feitas pela Universidade de Lancaster no Reino Unido.
Esses documentos foram, portanto, fundamentais para a realizao da primeira
verso do questionrio, mas outras referncias tambm foram pesquisadas e utilizadas.
As recomendaes coletadas para a elaborao da primeira verso do questionrio
foram compiladas das referncias citadas na seqncia.

58

Diretrizes de boas prticas para o E-Commerce


As diretrizes apontadas neste documento se baseiam em anlises de locais do ecommerce e introduzem as boas prticas que podem influenciar no design de sistemas
de e-commerce em desenvolvimento. Essas diretrizes foram confeccionadas pelo
Departamento de Computao da Universidade de Lancaster, no Reino Unido.
Nelas so apresentadas as questes de comercializao pertinentes ao design e
implementao do e-commerce, com base nas prticas atuais do Comrcio Eletrnico,
ajudando a conhecer a satisfao de seus clientes.
As diretrizes incluem quatro tipos de exigncias (fases) do servio de ecommerce:

exigncias informadoras (fase de informao);

servio de entrega e exigncias de interface de sistema (fase de acordo);

exigncias operacionais/funcionais (fase de processo);

exigncias transacionais (fase de determinao);

exigncias de assistncia (ps-venda).

Recomendaes selecionadas
Dez enganos de Webdesign de 2002
O pesquisador Jakob Nielsen, em 23 de dezembro de 2002, relata os piores
enganos de design da Web que aborrecem os usurios.
Heursticas para avaliao de usabilidade de portais corporativos
Neste documento elaborado por Cludia Dias (2002) as heursticas explicam
como melhorar a usabilidade de portais corporativos Web e se destinam a todos os
criadores de contedo Web. O principal objetivo dessas recomendaes orientar a
avaliao de sites Web e promover sua usabilidade com base na experincia prtica de
vrios pesquisadores em testes com usurios.
Diretrizes para usabilidade de homepage
Desenvolvidas por Jakob Nielsen, em 12 de maio de 2002, demonstram que a
homepage a pgina mais importante na maioria do Websites.

59

So apresentadas dez diretrizes para aumentar a usabilidade das homepages e,


dessa forma, expandir o valor de negcio de um Website.
Dez boas aes em design de Web
Apresentadas por Jakob Nielsen, em 3 de outubro de 1999, como uma lista de
dez elementos de design adicionais que aumentam a usabilidade de todos os locais da
Web.

Das recomendaes citadas, foram selecionadas as que se referem a aspectos


visuais do site, a experincias de navegao e de procura a produtos, ao processo de
compra e a estratgias de vendas e servios prestados aos clientes. Um dos itens mais
importantes o processo de compra, pois problemas aqui podem causar a desistncia de
uma compra.
As recomendaes escolhidas levam em considerao os critrios de:

especificidade da recomendao (com relao a Comrcio Eletrnico); e

aspectos encontrados em ambientes de Comrcio Eletrnico;

Desconsideraram-se

questes

relacionadas

software

(comunicaes,

equipamentos), a ambientes fsicos ou ainda a entregas de mercadorias.


A maioria das referncias com recomendaes se assemelham com relao a
alguma diretriz apresentada, mudam-se as palavras, mas a recomendao continua a
mesma. A maior diferena encontra-se no contedo das diretrizes, uns so direcionados
ao software, acessibilidade, a Websites e outros especficos do Comrcio Eletrnico.

60

5.2.2 Montagem da primeira verso do questionrio

5.2.2.1

Processo de elaborao das questes

Todas as questes foram elaboradas com base nas fontes citadas. Para seleo
das recomendaes, adotou-se o critrio de buscar as direcionadas ao Comrcio
Eletrnico. Devido escassez de recomendaes, foram reformuladas algumas e
elaboradas outras.

Recomendao
A descrio dos detalhes dos produtos deve estar disposta de maneira que os
clientes entendam.

Como ficou a questo


Os detalhes dos produtos so descritos adequadamente.

Recomendao
Reformulao do item Heursticas para avaliao de usabilidade de portais
corporativos.
Os usurios de qualquer sistema interativo devem ter o controle sobre o sistema,
fazendo com que este responda s suas solicitaes e expectativas.

Como ficou a questo


O processo tanto de remover como de alterar a quantidade de produtos
selecionados para aquisio muito fcil.

Recomendao
Reformulao dos itens Princpios de proteo do consumidor em Comrcio
Eletrnico (7) e Diretrizes para boas prticas do E-Commerce (9.2).

61

A empresa deve explicar sua poltica de proviso de servio e incluir instrues


claras de seu uso, devendo estar bem accessvel a todos os clientes.

Como ficou a questo


As regras sobre troca, devoluo ou polticas de reembolso so claras e fceis de
encontrar no site.

Recomendao
Reformulao do item Diretrizes para boas prticas do E-Commerce (6.2.3.2).
Operaes complexas, sujeitas a erros diversos como as de Comercio Eletrnico,
devem prover guias de ajuda, os quais representam um importante recurso para a
orientao de clientes em geral.

Como ficou a questo


A pgina de ajuda do site na hora da compra est clara e fcil de ser encontrada.

5.2.2.2

Montagem do questionrio

Ao final das atividades de coleta foram selecionadas 60 recomendaes anlogas


aos diversos aspectos de usabilidade para usurios de sites comerciais. Essas
recomendaes formaram uma verso preliminar do questionrio, com 50 questes
fechadas e 10 abertas, divididas em mdulos especficos que procuraram contemplar os
critrios predefinidos. Essas questes resultaram da seleo, traduo, reformulao e
transformao das recomendaes em questes. Depois de definidas, as perguntas foram
classificadas em sees, de acordo com os critrios definidos, e ainda foram feitas
revises da sua consistncia, envolvendo ajustes, agrupamentos e eliminao de
questes similares provenientes de fontes diferentes.
O questionrio proposto foi construdo como escala de avaliao likert (LEA
apud LEITE; TAVARES, 2001), que indica o grau de concordncia ou discordncia dos
usurios com as afirmaes dadas. Os usurios avaliam de acordo com as indicaes de

62

fortemente concordam at discordam fortemente. O questionrio composto de


questes cujo objetivo principal contempla alguns dos fatores responsveis pela
satisfao ou insatisfao do usurio do Comrcio Eletrnico, a fim de conhecer suas
queixas, identificar as causas dos seus problemas e determinar seu grau de satisfao.
Ao apresentar as questes para a primeira avaliao, optou-se por montar uma
estrutura de identificao da relevncia de cada questo, da prioridade e da origem da
questo.
Apresentao das questes selecionadas.

Questo - expressa de forma afirmativa, identifica o que deve ser verificado no


site comercial. Os valores possveis para as respostas variam entre concorda
fortemente quando o cliente est satisfeito at discorda fortemente quando
insatisfeito.

Relevncia - explica o sentido e a importncia da questo.

Prioridade - define o grau de importncia para cada pergunta. Um nvel de


prioridade pode ser nomeado a cada pergunta de acordo com o impacto de cada
uma delas. A prioridade pode ser definida sob trs aspectos.
Prioridade 1: deve satisfazer (quando o no atendimento gera insatisfao por
parte do usurio).
Prioridade 2: deveria satisfazer (se h insatisfao do usurio pelo no
atendimento e h satisfao pelo atendimento).
Prioridade 3: poderia satisfazer (se provoca sentimento de satisfao no usurio
quando atendido, mas de indiferena se no for atendido).

Origem da questo - de onde foi extrada a questo.

Forma de organizao do questionrio


O questionrio inicial apresenta uma explanao dos seus objetivos e logo aps
uma seo destinada a determinar o perfil dos usurios do Website.

Essa seo foi dividida em quatro partes.


Parte 1: Identificao funcional do usurio.
Parte 2: Experincia do usurio com computadores.
Parte 3: Sua experincia com a Internet.

63

Parte 4: Sua experincia com o site comercial.

Aps a identificao do perfil do usurio, inicia-se a segunda seo para definir


o grau de satisfao dos usurios, em que so apresentadas questes fechadas e abertas,
divididas em cinco sees, de acordo com os critrios a seguir.
1 - Experincia de navegao no site e aspectos visuais.
2 - Procura e produtos.
3 - Processo de compra.
4 - Estratgias de vendas.
5 - Servios prestados aos clientes, confiana e credibilidade.

Finaliza-se o questionrio com trs perguntas abertas e com um agradecimento


pela colaborao.
As questes ainda foram organizadas pelos critrios de Bastien e Scapin (1993),
mas nem todos os critrios foram atendidos em virtude do nmero reduzido e da
especificidade das questes, pois foram construdas para avaliar sites comercias. Os
critrios atendidos limitaram-se aos critrios de presteza, feedback imediato,
legibilidade, agrupamento/distino, carga de trabalho e controle de usurio.
Embora cada um dos critrios possua quantidade diferente de recomendaes,
estabeleceu-se um limite mximo de 43 questes para toda a segunda seo referente ao
questionrio de satisfao. No momento do pr-teste contava-se com 60 perguntas,
dentre as quais foram selecionadas as 43 mais relevantes. Segundo Nielsen (2001), o
objetivo da limitao reduzir o tempo de preenchimento do formulrio para, no
mximo, dez minutos.
As respostas so separadas em dois plos, o esquerdo descreve o extremo
positivo, e o direito descreve o extremo negativo. Os valores possveis para as respostas
variam entre concorda fortemente a discorda fortemente, cabendo ao usurio marcar
com um X a sua opo (Figura 9).

64

Questes
Concorda

Concorda

Indeciso

fortemente

Este site tem uma apresentao grfica

Discorda

Discorda
fortemente

agradvel e legvel!
Figura 9 - Apresentao de uma questo

Aps a escolha das questes, verificou-se o questionrio, com releitura crtica de


todas as questes da verso preliminar, buscando identificar correes ortogrficas e
gramaticais, e o vocabulrio empregado no que se refere a termos tcnicos. Em seguida
o questionrio foi preparado para ser aplicado a pessoas como pr-teste, para que
pudesse ser gerada a sua segunda verso.

5.2.3 Avaliao da primeira verso do questionrio

A atividade realizou-se atravs da aplicao (pr-teste) da primeira verso do


questionrio proposto a 18 pessoas, que foram escolhidas em funo de trs dimenses
de anlise: experincia com o domnio de aplicao, experincia com computao em
geral e experincia com o Website avaliado.
Essa avaliao teve o propsito especfico de observar os possveis problemas
referentes verificao da compreenso das questes, identificao dos possveis
problemas referentes a texto, tais como aplicao, relevncia, ambigidade, clareza,
simplicidade e preciso das questes.
Com o pr-teste foi possvel verificar as dificuldades que os usurios tiveram
para responder cada questo, e por isso algumas foram reformuladas e outras retiradas.
O questionrio foi distribudo para cada um desses avaliadores, encarregados de
respond-lo aps terem passado por todas as etapas de compra, menos a ltima,
referente finalizao da compra. Durante a aplicao, os avaliadores foram informados
que qualquer dvida em relao s questes seria esclarecida.

65

5.2.4 Resultados das observaes do pr-teste

Aps os avaliadores conclurem o trabalho, foram revistas todas as reclamaes


registradas por eles durante a avaliao do site, assim como os registros percebidos pelo
tcnico dos problemas de interao com os questionrios.
Ao se analisarem as queixas e os problemas encontrados na avaliao, foi
possvel identificar os principais erros na aplicao do questionrio, so eles:

clareza e compreenso de algumas questes: algumas questes


apresentavam dificuldades de interpretao;

dificuldades em responder questes com termos tcnicos: os usurios


novatos tm dificuldades com os termos tcnicos;

questes que no se aplicam a determinados sites de Comrcio


Eletrnico: quando os sites no possuem determinado recurso;

problemas de linguagem: alguns usurios no entendem o que se deseja


transmitir com as questes;

nmero de questes: reclamaes referentes ao nmero de questes;

dvidas de onde colocar as respostas quando no sabem responder,


colocando-a em uma coluna errada;

dvidas com o sinal de +/- apresentado no lugar das respostas, sendo


confundido com lugar para assinalar quando a pessoa no sabe
responder;

questes similares que poderiam ser aglutinadas;

questes que poderiam ser trocadas de um critrio para outro;

dvidas quando no sabem onde marcar.

A anlise dos resultados do pr-teste permitiu montar a segunda verso do


questionrio a partir da excluso das questes mais problemticas e da correo das
outras, totalizando 36 questes fechadas e 7 abertas. Nessa segunda verso foi ainda
inserida uma nova coluna para que os usurios no marquem questes que no sabem
responder.

66

5.3

Avaliao e reviso da segunda verso do questionrio - etapa II

Para avaliao da segunda verso do questionrio proposto, fez-se uma


avaliao para comparao entre os resultados da avaliao atravs do questionrio e os
apresentados pela tcnica de ensaio de interao.
Realizou-se esta pesquisa de avaliao do grau de satisfao de usurios de sites
comerciais a partir da aplicao real da segunda verso do questionrio proposto e do
ensaio de interao em 3 sites sendo um site de uma biblioteca, um de uma livraria e
outro de um mercado sendo os mesmos sites para as duas avaliaes para poder
comparar os resultados e validar o questionrios proposto.

5.3.1 Realizao do ensaio de interao

O ensaio compreendeu as etapas de determinao do nmero de usurios,


preparao dos ensaios com os equipamentos utilizados para avaliao (cmera,
computadores), teste para verificar se os sites avaliados estavam no ar, realizao dos
ensaios, estratgias relacionadas a situaes de constrangimento, coleta dos dados,
diagnstico e relatrio final.
O ensaio de interao foi realizado em um laboratrio de informtica, com
pessoas dos cursos da Universidade de Cruz Alta (UNICRUZ), escolhidas em funo de
trs dimenses de anlise: sem experincia (usurio novato), experincia com
computao em geral (usurio experiente) e experincia com Internet e Websites de
Comrcio Eletrnico (usurio expert). O ensaio para cada usurio durou em mdia duas
horas, estando presentes um especialista em ergonomia e um assistente tcnico
responsvel pelo funcionamento dos equipamentos.
Foram selecionados para a avaliao trs Websites, por serem locais com pouca
usabilidade e muito procurados pelas pessoas, sendo um site de livraria, um de mercado
e um de biblioteca.

67

Na sesso de ensaio de interao, no primeiro momento foram recebidos os


participantes e explicados os objetivos do teste de usabilidade, alm de ter sido
mostrado como utilizar os equipamentos para a realizao dos testes e ter sido
agradecido o comparecimento de todos. Em seguida os participantes foram conduzidos
para os computadores, nos quais j estava montada a cmera de vdeo direcionada ao
monitor, de forma que o rosto do usurio no aparecesse na filmagem. Foi solicitado aos
usurios que reconhecessem o site, deixando-os livres para que se familiarizem com o
site. Logo aps foi entregue um roteiro com trs tarefas relativas compra de trs
produtos no site, atravs do qual os usurios seguiram todos os passos da compra, desde
a pgina de entrada, passando pelo pedido de compras e por todas as etapas, menos a
ltima, referente finalizao da compra.
Nos ensaios no houve cronometragem do tempo para encerramento de cada
tarefa, o usurio ficou livre para navegar no site. Esses ensaios foram gravados em fita
VHS e foi utilizada verbalizao simultnea para que o usurio comentasse seus
procedimentos em tempo real, dizendo o que e por que estava fazendo, de forma a
expressar oralmente seus raciocnios (decises), todos registrados em fita cassete para
poderem ser revistos juntamente com a fita VHS. O usurio participante do ensaio foi
informado de que poderia interromper a sesso a qualquer momento caso sentisse
qualquer tipo de constrangimento. Como as situaes de impasse representam um
constrangimento a mais para o usurio, algumas regras foram adotadas (MOO, 1996),
so elas:

deixar o usurio tentar resolver sozinho qualquer tarefa;

quando o usurio ultrapassasse cinco minutos tentando resolver uma mesma


tarefa, a situao de impasse estaria caracterizada;

no caso de o usurio no saber resolver a dificuldade encontrada, o analista


deveria ajud-lo na procura da soluo, porm sem mostr-la de imediato,
conduzindo-o a encontrar a funo correta;

nas situaes de impasse, nunca tomar atitudes grosseiras que pudessem inibir o
usurio da continuao do ensaio de interao;

na hiptese da no resoluo da tarefa, o ergonomista responsvel pela direo


do ensaio de interao deveria sugerir ao usurio que fizesse outra tarefa,
previamente estipulada no script;

68

notando-se que os usurios participantes dos ensaios de interao estavam


realmente constrangidos ou muito nervosos, os ensaios deveriam ser
interrompidos totalmente.

Sntese dos ensaios de interao


Foram analisados nove usurios, sendo trs com perfil de usurios novatos, trs
com perfil de usurios experientes e 3 usurios com perfil de usurios experts, para cada
site. Aps a realizao dos ensaios de interao, assistiu-se fita de vdeo buscando
rever os problemas de usabilidade encontrados na interao e identificar os novos
problemas.

Lista dos principais problemas encontrados no ensaio de interao realizado com o site
da livraria baseado em relatrio e filmagem:

mesmo aps sair do site e fechar o internet explorer, fica cadastrado no carrinho
de compras os produtos que foram escolhido anteriormente e quando outro
usurio vai fazer compras do mesmo computador este ele j deixou todas as
compras do ultimo usurio no carrinho sendo um grave problema se esse
computador for de uso coletivo;
muitos produtos indisponveis;
carrinho de compras muito confuso;
quantidade de produtos que a pessoa deseja comprar deveria ser escolhida na
hora que escolhido o produto;
falta uma maneira do usurio acompanhar sua compra na pagina principal sem
ter de voltar para pagina de compras toda vez que escolher um produto;
a excluso de um item de compras esta muito complicada ;
barra de setores deveria aparecer a esquerda, pois o usurio perdendo-se pois
cada vez ela esta em um lugar;

69

falta de informao sobre alguns produtos;


falta um boto voltar a pagina anterior na maioria das paginas;
algumas paginas no esto bem identificadas(o usurio no sabe onde ele esta);
logo na pagina principal aparece alguns livros para comprar mas no diz se
promoo ou o porque desses livros na pagina principal;
a empresa no se identifica logo na entrada;
o local dos menus dos setores no esta padronizado;
os produtos no possuem todas as informaes necessrias;
no possui dados sobre troca, devoluo ou garantia;

Lista dos principais problemas encontrados no ensaio de interao realizado com o site
do mercado baseado em relatrio e filmagem:
falta uma mensagem para o usurio quando ele tenta colocar o mesmo produto
no carrinho de compras, pois o sistema s muda a quantidade do mesmo produto
com a alterao do numero que refere a quantidade desse produto;
como esse tipo de menu as pessoas no conseguem achar alguns produtos;
falta de ferramenta de busca de produtos;
falta de descrio dos produtos;
a ajuda nas compras esta confusa;
local do carrinho de compras muito confuso;
botes para retirar produtos do

carrinho de compras em local que no se

destacam;
link de contato com o mercado esta mau localizado;
h muita informao na tela de entrada;
os links esto sendo apresentados em vermelho e alguns ttulos tambm
ocasionando uma confuso para saber onde titulo e onde link;
a maioria dos produtos no podem serem visualizados;
alguns produtos teriam de apresentarem informaes, sobre sua qualidade;
no processo de remover ou alterar, os botes esto confundido-se com outros
que no so do carrinho de compras;

70

Lista dos principais problemas encontrados no ensaio de interao realizado com o site
da livraria baseado em relatrio e filmagem:
falta de uma maquina de procura para achar livro desejado;
falta um sistema de autenticao de usurio, pois no existe como saber quem
esta fazendo o pedido;
falta sistema tipo carrinho de compras;
o site no possui as sinopses dos livros;
o site no possui segurana;
alguns temas no possuem obras;
no existe nenhuma informao dizendo se um determinado livro est locado, ou
disponvel, e se existem mais cpias;
os locais da locao no so claros, intuitivos;
o menu com os livros muito ruim;
os locais da locao no so claros, intuitivos;

A descrio e comentrios dos ensaios de interao foram relatados no Anexo 2.

5.3.2 Aplicao do questionrio


Esta aplicao determina os possveis problemas de usabilidade, verificando a
satisfao dos usurios com o site avaliado, comparados aos resultados da avaliao do
ensaio de interao, identificando a validade deste questionrio.
O objetivo ser conhecer o grau de satisfao dos usurios de sites de Comrcio
Eletrnico, as principais deficincias caso existam e servir como base para uma
avaliao mais completa.
Aplicou-se o questionrio em pessoas tambm se levando em conta as trs
dimenses de anlise: sem experincia (usurio novato), experincia com computao
em geral (usurio expediente) e experincia com Internet e Websites de Comrcio
Eletrnico (usurio expert).
Os professores e alunos universitrios, alunos do ensino mdio e profissionais da
rea de ergonomia consistiram no pblico-alvo desses testes.

71

A fim de conduzir o estudo, foi transmitido o seu objetivo, que era de cada
usurio deveria passear por toda a estrutura do site e em seguida fazer a compra de trs
produtos no site, seguindo todos os passos, desde a entrada no site, passando pelo
pedidos de compras, acompanhando todas as etapas, apenas no concluindo o ltimo
passo, que faz referncia finalizao da compra.
Ao todo foram selecionados os mesmos trs Websites empregados na avaliao
usando ensaios de interao.
O nmero escolhido de informantes baseou-se em um estudo realizado por Tom
Landauer e Jakob Nielsen (NIELSEN, 2000), o qual afirma que, para se obterem
resultados satisfatrios em um teste de usabilidade, so necessrios apenas cinco
informantes.
Aps aplicar o teste no primeiro usurio e captar as avaliaes, os
conhecimentos sobre os problemas de usabilidade da aplicao atingiro cerca de um
tero (1/3) do total. Com o segundo usurio, descobre-se que esta pessoa faz algumas
coisas semelhantes primeira. Assim, o aprendizado de novos problemas diminui. Com
a aplicao dos testes para novos usurios, a curva de aprendizado de novos problemas
de interface da aplicao vai se reduzindo cada vez mais. Em geral, aps o quinto
usurio, est-se desperdiando tempo observando os mesmos problemas repetidamente
e no identificando nada de novo. hora de retornar aplicao e refin-la em alguns
aspectos da arquitetura.
A Tabela 5 mostra a curva que melhor representa o estudo realizado pelos
autores. De acordo com o nmero de informantes, consegue-se descobrir a quantidade
de problemas envolvendo a usabilidade.

72

Nmero de informantes
FONTE: Why You Only Need to Test With 5 Users (2000).
Tabela 5 - Grfico Usabilidade X Nmero de informantes

Para no haver uma influncia nos resultados da pesquisa e haver uma maior
abrangncia nos seus resultados, foram realizados trs testes para cada classe de
utilizadores-alvo (diante dos trs fatores de experincia citados), o que permitir, em
geral, identificar cerca de 75% dos problemas de usabilidade.
Essa atividade foi realizada por 45 pessoas, sendo 15 respondentes para cada
Website, divididos em:
5 usurios Experts que dominam as funcionalidades do computador, dos softwares, da
Internet e do Comrcio Eletrnico, e baseiam suas aes em automatismo;
5 usurios Experientes que sabem como executar as tarefas bsicas na Internet e
possuem alguma habilidade com o computador;
5 usurios Novatos que se classificam como visitantes por possurem pouca
habilidade com a Internet e necessitarem de um maior auxlio para a execuo de suas
tarefas, pois exploram a rede e o computador de maneira intuitiva e dirigida pelas
tarefas da interface (instrues, cones e campos).

As pessoas envolvidas com esse processo j compram nessa empresa, mas no


no meio eletrnico, mas pretendem um dia comprar, so portanto um agente motivador
para responder ao questionrio.

73

15 Usurios experts
1 professor de Cincia da Computao
1 professor de informtica
2 alunos de mestrado em Cincia da Computao
1 aluno de graduao em Cincia da Computao

15 Usurios experientes
5 alunos do curso de Cincias Contbeis da UNICRUZ (universidade de Cruz Alta)
5 alunos do curso de Computao da UNICRUZ (Universidade de Cruz Alta)
5 alunos do curso de Enfermagem da UNICRUZ (Universidade de Cruz Alta)

15 Usurios novatos
5 alunos do curso de Cincias Contbeis da UNICRUZ (Universidade de Cruz Alta)
5 alunos do curso de Computao da UNICRUZ (Universidade de Cruz Alta)
5 alunos do curso de Enfermagem da UNICRUZ (Universidade de Cruz Alta)

Todas as 45 pessoas escolhidas para responder a essas perguntas pertencem ao


perfil de usurios para o qual o questionrio destinado (pessoas com acesso
Internet).
A aplicao do questionrio se deu em quatro momentos, em um primeiro
momento foi aplicado em usurios experts e experientes por e-mail. Em um segundo
momento foi enviado para o gerente do site da locadora de livros para ser distribudo a
seus clientes, dos vinte questionrios enviados, retornaram apenas dois. No terceiro
momento enviou-se o questionrio para um blog de usabilidade, do qual retornaram 10
questionrios. E no quarto momento aplicou-se o questionrio em um laboratrio da
universidade de Cruz Alta (UNICRUZ) com 30 alunos.
Os resultados obtidos pelos avaliadores foram tabulados, analisados e
apresentados em seguida para se chegarem s devidas concluses.

74

5.3.3 Amostra e comparao de resultados

Esta parte da pesquisa tem por objetivo apresentar e discutir os dados coletados
para avaliao do questionrio proposto, mostrando a viabilidade de se montar um
questionrio de satisfao para coletar os dados subjetivos de clientes de Comrcios
Eletrnicos e, com isso, melhorar sua usabilidade.
A pesquisa procurou comparar os resultados da aplicao do questionrio com
os problemas encontrados na aplicao do ensaio de iterao, identificar a validade ou
no do questionrio proposto e as possveis correes feitas para melhorar o
questionrio.
O objetivo do questionrio conhecer o grau de satisfao dos usurios de
Websites do Comrcio Eletrnico e identificar os provveis problemas de usabilidade.
Aplicou-se o questionrio a uma populao objeto da pesquisa formada por 45
pessoas, usurios de diferentes regies, mas todos com acesso Internet, seja em casa,
no trabalho ou na escola, e que demonstraram interesse na compra on-line. Esses
grupos, tambm chamados de avaliadores, conforme foi citado no captulo anterior,
referem-se aos usurios com diferentes tempos de experincia com Internet e com
Comrcio Eletrnico, possibilitando uma anlise mais abrangente e prevalecendo a
fidelidade dos resultados.
Os dados obtidos na primeira seo do questionrio possibilitaram classificar os
usurrios como experts, experientes e novatos.
Visando verificar a validade do questionrio, foi feita uma comparao do
nmero de situaes com problemas de usabilidade encontrados pelo questionrio e
pelo ensaio de interao. Os resultados obtidos so visualizados nas tabelas e nos
grficos a seguir.

75

Figura 9 - Livraria

Tipo de avaliao

Questionrio

Ensaio de Interao

Tipo de usurio
Expert

Nmero de problemas
encontrados
5

Experiente

Novato

Expert

Experiente

Novato

Tabela 6 - Resultado da aplicao das avaliaes dividida por perfis no site

76

18

16

Questionrio
Ensaio de Interao

Grfico 1 - Resultado geral somando todos os tipos de perfis e retirando os problemas repetidos

Figura 10 - Mercado

77

Tipo de avaliao

Questionrio

Ensaio de Interao

Tipo de usurio
Expert

Nmero de problemas
encontrados
5

Experiente

Novato

Expert

Experiente

Novato

Tabela 7 - Resultado da aplicao das avaliaes dividida por perfis no site

14
18

Questionrio
Ensaio de Interao

Grfico 2 - Resultado geral somando todos os tipos de perfis e retirando os problemas repetidos

78

Figura 11 - Biblioteca

Tipo de avaliao

Questionrio

Ensaio de Interao

Tipo de usurio
Expert

Nmero de problemas
encontrados
6

Experiente

Novato

10

Expert

Experiente

Novato

Tabela 8 - Resultado da aplicao das avaliaes dividida por perfis no site

79

19

21

Questionrio de
Satisfao
Ensaio de
Interao
Grfico 3 - Resultado geral somando todos os tipos de perfis e retirando os problemas repetidos

As tabelas mostram que quantitativamente a avaliao dos trs locais de


comrcio apresenta resultados globais semelhantes. No entanto, aps aplicao e com a
anlise dos resultados, notou-se que o questionrio apresentou um melhor desempenho
em identificar problemas de usabilidade nas questes relacionadas aos critrios
ergonmicos: Presteza, Legibilidade e Carga de trabalho. Isso ocorreu devido maior
especificidade das questes associadas a esses critrios, justificando-se pelo fato de os
trs critrios estarem diretamente relacionados tarefa de uso do Comrcio Eletrnico.
J o ensaio de interao obteve um nvel de profundidade bem maior que o do
questionrio, revelando um nmero elevado de problemas. No ensaio, o feedback do
usurio foi mais sincero, pois o tempo dado foi mnimo para o usurio pensar nas
respostas, facilitando a obteno dos dados sobre os aspectos subjetivos.
Nos aspectos gerais da interface, o questionrio no detectou possveis
problemas de usabilidade.
Os problemas principais encontrados pelo questionrio foram:

os sites no facilitaram a navegao na lista de compras para outra parte


do site;

os locais no comunicaram efetivamente onde e como acrescentar um


artigo lista de compras;

alguns locais no proveram avaliao efetiva de quantos artigos estavam


na lista de compras;

80

os mecanismos de ajuda on-line do site na hora da compra no estavam


claros;

os locais das compras no so claros, intuitivos;

dificuldade em encontrar os produtos;

recursos de navegao no muito claros;

no h clareza nas regras sobre troca, devoluo ou polticas de


reembolso e so difceis de serem encontradas no site.

Ao analisar os dados das avaliaes, comprova-se a hiptese desta dissertao,


que diz que, medida que o usurio adquire maior familiaridade com o site, suas
expectativas mudam, sendo necessrio aplicar os testes em vrios perfis, pois os mais
experientes encontram bugs, percebem falhas grficas e principalmente demoram menos
tempo para realizar as tarefas, afinal so os mais interessados em tirar o mximo do
sistema. Porm, a grande maioria desses usurios avanados no percebe erros de
gramtica e de instrues (ajuda) porque interpretam a tela com muita pressa.
Os usurios novatos ajudaram a perceber falhas na clareza. Se o site no fosse
auto-explicativo, o usurio ficaria visivelmente com dvidas. Notou-se que esses
usurios no sabiam expressar o que estava errado, achavam que a culpa do problema
era deles, alguns tentavam disfarar para no parecerem ignorantes.
Aps a anlise dos dados coletados pelas duas avaliaes, verificou-se que os
questionrios so bons para perceber o que ficou na memria do usurio, pois um
problema que aparece num questionrio pode ser grave, uma vez que o usurio tomou
conscincia dele. Constatou-se tambm que os ensaios de interao podem revelar
muito mais problemas que o questionrio. O feedback do usurio revela mais
espontaneidade que num questionrio, porque ele no possui muito tempo para pensar
nas respostas que vai dar, isso facilita a obteno dos dados sobre os aspectos
subjetivos.

Avaliao do questionrio proposto quanto :

81

condio de identificar problemas


O questionrio possui todas as condies para identificar possveis problemas de
usabilidade, principalmente aps a concluso do produto, pois as questes so todas no
tcnicas, simples e claras, relacionadas com pontos importantes para que o usurio faa
uma compra tranqila.

comparao com outras tcnicas


Em comparao a outras tcnicas, o questionrio serve mais para manter um site
atualizado diariamente ou mensalmente, pois, devido ao baixo custo de aplicao, pode
ser mantido no site ou enviado aos clientes com freqncia. Alm disso, o questionrio
a nica forma de avaliar usurios dispersos geograficamente, o que importante para
o Comrcio Eletrnico em virtude de sua abrangncia e diversidade cultural de cada
pas.
Mesmo o questionrio tido como boa forma de avaliao, muitas situaes
inesperadas de erros apareceram. So importantes os ensaios de interao, pois esses
tipos de erros s se tornam evidentes em situao realista de uso.

facilidade de aplicao
O questionrio para avaliar a satisfao de usurios uma ferramenta muito fcil
de ser aplicado, pois alm da rapidez no precisa de nenhum tcnico na rea de
ergonomia, necessrio apenas uma pessoa para aplicar e explicar os motivos da
avaliao, mostrando que o foco avaliado o site e no o usurio. Quando enviado por
e-mail, deve ser dado algum brinde ou vantagem para o usurio responder, caso
contrrio o retorno ser muito baixo.

5.4

Verificao das perguntas da pesquisa

A verificao das perguntas da pesquisa apresentadas neste trabalho baseou-se


nos resultados, nas tabelas e nos grficos obtidos do questionrio.
Estudos da literatura tambm foram utilizados para confrontar e comparar as
perguntas com os resultados alcanados, de forma a esclarec-las.

82

Com os resultados gerais envolvendo usabilidade foram analisadas as perguntas


iniciais da pesquisa, de maneira a respond-las satisfatoriamente.

5.4.1 Pergunta 1

Como a aceitao do questionrio por parte dos usurios dos sites?


O questionrio uma ferramenta que determina o ndice de satisfao do
consumidor, mas, para alcanar o usurio, foi necessrio algum tipo de vantagem ou
brinde em retribuio, pois a taxa de retorno dos primeiros questionrios enviados para
avaliao foi muito baixa, sendo inferior a 3%. Aps a estratgia de brindes para quem
o respondesse, foi possvel obter um taxa de retorno de 70%.
Com relao aos questionrios aplicados diretamente aos usurios, a aceitao
foi de 100%, pois j eram pessoas interessadas em fazer a avaliao, ou pessoas que j
faziam compras pela Internet ou que pretendiam fazer alguma compra.

5.4.2 Pergunta 2

A aplicao apenas de questionrios de satisfao resolve que categoria de


problemas de usabilidade?
Questionrios so bons para perceber o que ficou na memria do usurio. Um
problema que aparece num questionrio de categoria grave, pois o usurio tomou
conhecimento consciente dele.

5.4.3 Pergunta 3

Qual a diferena dos resultados encontrados nos diferentes perfis de usurios


entrevistados e que tipo de problemas cada um encontrou?

83

A diferena entre os perfis que o usurio experiente j possua modelos


mentais muito avanados de como os softwares se comportam. As telas para ele eram
previsveis, e ele as explorava sem medo. O usurio novato, ao contrrio, achava que
podia cometer erros e estragar tudo.
Os usurios mais experientes encontraram bugs, perceberam falhas grficas no
comportamento da pgina e principalmente demoraram menos tempo para realizar
tarefas por serem os mais interessados em tirar o mximo do site. J os novatos
perceberam mais os erros gramaticais e de instrues (ajuda), os quais no foram
percebidos pelos avanados, porque interpretam a tela com muita pressa.
Os usurios novatos perceberam falhas na clareza. Se o site no era autoexplicativo, os usurios no sabiam expressar o que estava errado e achavam que a
culpa do problema era dele, alguns tentaram disfarar a falta de conhecimento.

84

CONCLUSO

Este trabalho centrou-se no desenvolvimento, na aplicao e na avaliao de um


questionrio baseado nas normas e recomendaes ergonmicas encontradas na Web
para avaliar a satisfao de usurios do Comrcio Eletrnico. O trabalho teve incio com
a coleta das recomendaes na Web, em que se verificou que a grande maioria das
empresas cria recomendaes de mbito geral e no de mbito especfico, sendo
algumas com relao usabilidade de software e outras da Web, no centralizando em
algum tipo de pblico da Web, ou seja, so muito reduzidas as recomendaes
especficas para a usabilidade do Comrcio Eletrnico.
Aps essa pesquisa, realizaram-se dois ciclos de elaborao e avaliao de
verses evolutivas do questionrio, at chegar verso final proposta. Com a anlise e a
discusso das variantes do questionrio tornou-se possvel verificar as dificuldades dos
usurios ao responderem cada questo, reformular as perguntas problemticas e retirar
outras.
A anlise dos resultados obtidos pela aplicao do questionrio juntamente com
os da aplicao do ensaio de interao revelou que a hiptese principal deste trabalho
era verdadeira, ou seja, os questionrios so bons para perceber o que ficou na memria
do usurio. Um problema que aparece num questionrio pode ser grave, porque o
usurio tomou conhecimento consciente dele. O ensaio de interao revelou alguns
problemas a mais que o questionrio. No feedback do usurio houve mais
espontaneidade que no questionrio, pois ele no teve muito tempo para pensar nas
respostas, facilitando a coleta dos dados sobre os aspectos subjetivos.
A aplicao do questionrio para avaliar a satisfao de usurios do Comrcio
Eletrnico permitiu identificar uma surpreendente quantidade de possveis problemas de
usabilidade nos sites estudados, mas esse resultado comparado com os resultados da
aplicao do ensaio de interao no apresenta todos os tipos de problema de
usabilidade. Entretanto, o questionrio mostrou ser uma ferramenta capaz de avaliar

85

e/ou orientar avaliaes de usabilidade de sites de Comrcio Eletrnico, identificando a


maior parte dos problemas detectados ao aplicar o ensaio de interao.
Alm disso, os problemas de usabilidade constatados exclusivamente pelo
questionrio podem orientar a preparao dos ensaios de interao, auxiliando na
criao das situaes e nos pontos problemticos a serem observados nos sites, o que
pode aumentar a eficcia de uma avaliao. Com essa comparao de resultados notouse que diferentes tcnicas de avaliao de interfaces no devem ser de uso exclusivo, e
sim complementar, pois o uso combinado e o aproveitamento das caractersticas
peculiares de cada tcnica geram resultados mais abrangentes. Isso comprova a primeira
hiptese anteriormente estabelecida.
Notou-se a confirmao de uma outra hiptese secundria no trabalho ao se
verificar que, medida que o usurio adquire maior familiaridade com o site, suas
expectativas mudam, sendo necessrio aplicar os testes em vrios perfis, no se
prendendo a pessoas especficas que iro usar o site, pois, se forem consideradas apenas
pessoas com conhecimento tcnico, o site atingir somente esse nvel de usurio. J ao
se fazer o teste com usurios diversos que j possuem noo razovel de Internet ou do
Comrcio Eletrnico, a avaliao ser muito mais abrangente.
Outra considerao muito importante com relao taxa de retorno dos
questionrios enviados para avaliao, que no chegou a 5%. Deve-se encontrar alguma
forma de retribuio ao seu usurio, pois dificilmente algum ir preencher um
questionrio desse tipo por livre e espontnea vontade, sem ganhar um brinde ou uma
vantagem qualquer.
Por outro lado, percebeu-se que a confiana do usurio com relao segurana
do Comrcio Eletrnico pode aumentar com a sua percepo da qualidade do site.
Como se viu neste estudo, o processo de compra on-line requer condies de
confiana acrescidas de facilidade de navegao e mais vantagens do que as compras no
meio fsico.
Na avaliao do grau de satisfao do cliente, o questionrio possibilita no
apenas o conhecimento dirio dos ndices de satisfao relativos ao consumidor mas
tambm dos fatores que determinam essa satisfao ou insatisfao.
Concluiu-se que um questionrio usado de forma isolada ainda muito pouco
eficiente para avaliar a usabilidade de um site, mas que a obteno do grau relativo

86

satisfao dos clientes permite o estabelecimento de um diagnstico e de um plano de


ao para a rea comercial e para todas as outras com impacto na satisfao dos clientes.
Dessa forma, pode-se afirmar que o questionrio uma excelente ferramenta para
auxiliar e orientar a avaliao aps a concluso do site. Para uso dessa tcnica
necessria a avaliao de mais de um perfil de usurio, porque cada um encontra um
tipo de problema.
Pode-se afirmar que os objetivos propostos no incio deste trabalho foram
atingidos. Um questionrio para avaliao do grau de satisfao de usurios do
Comrcio Eletrnico foi desenvolvido, aplicado e avaliado. O questionrio representa
uma ferramenta de apoio aos criadores de pginas comerciais para Web para promover
a usabilidade desses sites tornando mais fcil e rpido o acesso suas informaes.

Trabalhos futuros

Montagem de um questionrio eletrnico com acesso a um banco de dados de


referncias, anlise sobre as questes para apoiar o questionrio e criao de
uma ferramenta de gerao de relatrios que torne a anlise dos questionrios
mais eficiente.

Atualizao e refinamento das questes propostas no questionrio em funo da


evoluo das reas de usabilidade, do Comrcio Eletrnico e das tecnologias de
interface.

87

REFERNCIAS BIBLIOGRFICAS

ANDRS, D. P.; MATTOS, M. C. de. Interao Homem-Computador. In: III


SIMPSIO NACIONAL DE INFORMTICA. Anais... Santa Maria, 1998.

BASTIEN, C.; SCAPIN, D. Critrios ergonmicos para avaliao de interfaces


homem-computador. 1993. Disponvel em: <http://www.labiutil.inf.ufsc.br/indice1.html>. Acesso em: set. 2002.

BORGES, Roberto Cabral de Mello. Projeto de Interfaces Ergonmicas. Porto


Alegre: UFRGS, 1993.

CASTRO, Alvaro de. Confiana: a palavra-chave no comrcio eletrnico. 1998.


Disponvel em: <http://osiris.com.br/artigos/confianca.html>.

CYBIS, W. de A. Ergonomia de Interfaces Homem-Computador. Apostila para o


Curso de Ps-Graduao em Engenharia de Produo, UFSC, 2000. Disponvel em:
<http://www.labiutil.inf.ufsc.br/apostila.htm>.

DIAS, C. Avaliao de usabilidade: conceitos e mtodos. Disponvel em:


<http://www.ii.puc_campinas.br/revista_ii/Segunda_edicao/Artigo_02/Avaliao_de_us
abilidade.pdf>. Acesso em: set. 2002.

DRUCKER, Peter. O futuro j chegou. Revista Exame Digital, So Paulo, ed. 710, p.
112-126, mar. 2000.

FELIPINI, D. O que o futuro reserva para o comrcio eletrnico no Brasil? 2002.


Disponvel em: <http://www.e-commerce.org.br/>.

GONTIJO, L.; DUTRA, A.; GONALVEZ, C. Anlise ergonmica de software: o caso


redator/pc. In: CONGRESSO LATINO-AMERICANO, 2, SEMINRIO BRASILEIRO
DE ERGONOMIA, 6, 1993, Florianpolis, 1993. p. 309-311.

88

GRACE, D. Abacus Web Usability, 2001. Disponvel em:


<http://abacuswebusability.com/usability.html>. Acesso em: 23 out. 2002.

HEERMANN, V. Avaliao Ergonmica de Interfaces de Bases de Dados por meio


de Checklist Especializado. 1997. Dissertao (Mestrado em Engenharia de Produo)
Ps-Graduao em Engenharia da Produo, Universidade Federal de Santa Catarina,
Florianpolis, 1997. Disponvel em: <http://www.eps.ufsc.br/disserta97/heemann>.
Acesso em: set. 2002.

INFOEXAME: Os donos do e-commerce, ed. 194, p. 65-81, maio de 2002. 134 p.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. Ergonomic


requirements for office work with visual display terminals (VDTs) - guidance on
usability, ISO 9241-11. Genebra, 1998.

KRUG, Steve. Dont Make Me Think. Indianopolis: Que Publishing, 2000.

LEITE, J. C.; TAVARES, T. A. Avaliao da interao. 2001.parte 8.

MATIAS, M. Checklist: uma ferramenta de suporte avaliao ergonmica de


interfaces. 1995. Dissertao. Florianpolis.

MEDEIROS, M. Aurlio. ISO 9241: uma proposta de utilizao da Norma para


avaliao do grau de satisfao de usurios de software. 1999. Dissertao (Mestrado
em Engenharia de Produo) Programa de Ps-graduao em Engenharia de
Produo, Universidade Federal de Santa Catarina, Florianpolis, 1999.

MOO, S. O uso de cenrios como uma tcnica de apoio para avaliaes


ergonmicas de softwares interativos. 1996. Dissertao (Mestrado em Engenharia de
Produo) Programa de Ps-graduao em Engenharia de Produo, Universidade
Federal de Santa Catarina, Florianpolis, 1996.

MELLO, Pedro. Tecnologia & voc. Revista Negcios Exame, So Paulo, n. 6, p. 64,
junho 2001. Disponvel em: <http://www.uol.com.br/negociosexame>. Acesso em: abr.
2003.

Revista Negcios exame. As dez regras do site, fcil, fcil.So Paulo, n.1, p. 80, out.
2000. Disponvel em: <http://www.uol.com.br/negociosexame>. Acesso em: abr. 2003.

89

NIELSEN, J.; MOLICH, R. Heuristic evaluation of user interfaces. In: ACM CHI90
CONFERENCE, 1990, Seattle. Proceedings Seattle, 1990. p. 249-256.

NIELSEN, J. Usability Engineering. San Francisco: Morgan Kaufmann Publishers,


1993. 362 p.

NIELSEN, J.; MACK, Robert. Usability Inspection Methods. New York: John Wiley
& Sons, 1994.

NIELSEN, J. Top Ten Mistakes in Web Design. Alertbox, maio 1996. Disponvel em:
<http://www.useit.com/alertbox/9605.html>. Acesso em: 20 dez. 2002.

______. Web usability: past, present and future. 8 agosto 1999. Disponvel em:
<http://webword.com/interviews/nielsen.html>.

______. Designing Web Usability: The Practice of Simplicity. Indiana: New Riders
Publishing, 2000.

______. Why You Only Need to Test With 5 Users. Alertbox, 19 de maro de 2000.
Disponvel em: <http://www.useit.com/alertbox/20000319.html>. Acesso em: abr.
2003.

______. Did Poor Usability Kill E-Commerce? Alertbox, 19 de agosto 2001.


Disponvel em: <URL:http://www.useit.com/alertbox/20010819.html>.

______. Cover Ten Guidelines for Homepage Usability. Alertbox, 12 maio de 2002.
Disponvel em: <http://www.useit.com/alertbox/20010819.html>.

______. PR in Websites: Growing Usability. Alertbox, 10 de maro de 2003.


Disponvel em: <http://www.useit.com/alertbox/20010819.html>.

______. Usability 101 .Alertbox, 25 de agosto de 2003. Disponvel em:


<http://www.useit.com/alertbox/20030825.html>. Acesso em: set. 2003.

90

RAMOS, Edla Maria Faust. Anlise ergonmica do sistema hipernet buscando o


aprendizado da cooperao e da autonomia. 1995. Tese (Doutorado) Universidade
Federal de Santa Catarina, Florianpolis, 1995.

SITE E-COMMERCE. Dados Estatsticos sobre a Internet e Comrcio Eletrnico.


Disponvel em: <http://www.e-commerce.org.br/>.

SILVA, Edna L. da; MENEZES, Estera M. Metodologia da pesquisa e elaborao de


dissertao. 3. ed. rev. atual. Florianpolis: Laboratrio de Ensino a Distncia da
Universidade Federal de Santa Catarina, 2001. 121 p.

WINCKLER, M. Avaliao de Usabilidade de sites Web. In: IV WORKSHOP


SOBRE FATORES HUMANOS EM SISTEMAS DE COMPUTAO. out. 2001,
Florianpolis.

91

ANEXO 1: VERSO FINAL DO QUESTIONRIO


QUESTIONRIO PARA MEDIR A SATISFAO DE CLIENTES DO SITE X
Este servio tem como objetivo principal melhorar permanentemente a qualidade dos
servios prestados.
Seo 1: Perfil do Cliente
1: Identificao funcional do usurio
1.1 Qual a sua profisso? ___________________
2: Informaes pessoais
2.1 Sexo: ( ) M ( ) F
3: Experincia do usurio com computadores
3.1 H quanto tempo voc utiliza um computador?
( ) menos de 6 meses
( ) entre 6 meses e 1 ano
( ) entre 1 e 2 anos
( ) entre 2 e 5 anos
( ) mais de 5 anos
3.2 Quantas horas por semana, em mdia, voc utiliza o computador?
( ) menos de 2 horas
( ) entre 2 e 5 horas
( ) entre 5 e 10 horas
( ) mais de 10 horas
4: Sua experincia com a Internet
4.1 H quanto tempo voc navega na Internet?
( ) menos de 2 semanas
( ) de 2 semanas a 1 ms
( ) de 1 a 3 meses
( ) de 3 a 6 seis meses
( ) de 6 meses a 1 ano
( ) de um ano a dois anos
( ) de dois anos a trs anos
( ) trs anos ou mais
4.2 Quanto tempo voc gasta por semana na Internet?
( ) menos de uma hora
( ) de uma hora a quatro horas
( ) de quatro horas a dez horas
( ) mais de dez horas

92

5: Sua experincia com o sites comerciais


5.1 a primeira vez que compra neste site?
( ) Sim
( ) No
5.2 Com que freqncia voc visita este site?
( ) Diariamente
( ) Algumas vezes por semana
( ) Algumas vezes no ms
( ) Menos de uma vez por ms
( ) Esta a minha primeira visita
5.3 Em mdia quanto tempo voc gasta por semana no site?
( ) menos de uma hora
( ) de uma hora a quatro horas
( ) de quatro horas a dez horas
( ) mais de dez horas
Seo 2: Avaliao da usabilidade
Avalie este local com os critrios descritos abaixo marcando com um X.
Experincia de navegao no site e aspectos visuais
Questes
Concorda
fortemente

Concorda

Este site tem uma apresentao grfica agradvel e


legvel.
Eu sempre sei em que pgina estou e como chegar onde
quero chegar.
Mesmo antes de clicar em um link (ligao com outra
pgina ) eu j sei o destino dele.
De um modo geral, considero rpido o acesso s
informaes do site.
Os recursos de navegao (menus, cones, links e botes)
esto todos claros e fceis de achar.
Logo que entro no site j sei o que esta empresa faz.
O contedo textual est claro e consistente.
Os ttulos das pginas deste site so muito intuitivos.
fcil a navegao neste site.
Voc tem algum comentrio adicional sobre a navegao deste site comercial?

Indeciso

Discorda

Discorda
fortemente

93

Procura e produtos
Questes

Concorda
fortemente

Concorda

Indeciso

Discorda

Discorda
fortemente

Discorda

Discorda
fortemente

Existe um local para fazer uma procura rpida do material


que eu quero.
Foi possvel encontrar os produtos procurados de maneira
fcil.
Todos os servios e produtos esto classificados claramente e
de acordo com o seu segmento.
Gostei da apresentao dos produtos (menus).
A lista com produtos clara e possui todas as informaes
necessrias.
Eu gostei da visualizao das imagens dos produtos.
Gostaria que existisse um local onde pudessem ser vistos
dados da qualidade do produto.
A apresentao das pginas com os produtos rpida.
Encontrei todos os produtos que procurava.
Eu gosto que o site apresente a opinio dos usurios que j
fizeram compras neste local.
Voc tem algum comentrio adicional sobre os produtos deste site comercial ?

Processo de compra (locao, etc.)


Questes
Concorda
fortemente

Concorda Indeciso

Na pgina de compras, eu possuo todas as informaes que


preciso.
O processo tanto de remover,como alterar a quantidade de
produtos selecionados para aquisio muito fcil.
As regras sobre troca, devoluo ou polticas de reembolso
so claras e fceis de encontrar no site.
Eu possuo todas as informaes necessrias sobre a garantia
do produto.
Eu me senti muito seguro fazendo minhas compras.
Eu posso abandonar facilmente um processo de compras.
As informaes sobre a entrega dos produtos so claras.
A Ficha de Inscrio eficiente, objetiva e de fcil
preenchimento.
O local das compras intuitivo.
Possuo todas as informaes necessrias quando estou
fazendo minhas compras.
muito simples fazer minhas compras.
So boas as formas de pagamento.
Voc tem algum comentrio adicional sobre o processo de compras deste site comercial?

94

Servios prestados aos clientes, confiana e credibilidade


Questes

indeciso

Concorda
fortemente

Concorda

Discorda

Discorda
fortemente

Este site possui um timo questionrio para eu expor


meus comentrios, reclamaes ou sugestes.
O cliente facilmente localiza o endereo, telefone ou
mais informaes sobre a empresa.
A pgina de ajuda do site na hora da compra est clara e
fcil de ser achada.
Eu gosto que o site apresente um local com as perguntas
mais freqentes.
Eu me sinto seguro neste site.
Voc tem algum comentrio adicional sobre a o servio prestado aos clientes deste site comercial?

O que voc mais gostou neste site?

Voc tem algum comentrio adicional sobre a facilidade de uso deste site comercial?

Como voc acha que este site pode ser melhorado?

95

ANEXO 2: DESCRIO DO ENSAIO DE INTERAO


Livraria
A avaliao foi realizada por nove usurios no site da livraria convivncia que
encontrado na URL: www.livrariaconvivencia.feesc.org.br.

Figura 1. Site da livraria

Usurios novatos
O primeiro usurio do ensaio de interao encontrou muita dificuldade em navegar
e no conseguiu executar a tarefa mesmo com a ajuda do observador, pois se encontrava
constrangido e muito nervoso. Por isso o ensaio foi totalmente interrompido .
O segundo usurio encontrou dificuldade na navegao eficou muito inseguro.
Nesse caso foi adotada a regra de Moo (1996), que orienta para que o usurio tente
inicialmente resolver sozinho a tarefa. Aos poucos com sua interao com o ambiente
conseguiu fazer a compra.
O terceiro usurio tambm encontrou dificuldade na compra e fez comentrios
dizendo que tinha feito algo errado. Estava muito inseguro e no conseguiu expressar
suas dvidas. Mesmo assim, aps algum tempo e com muita dificuldade, conseguiu
fazer a compra.

96

Alguns comentrios dos usurios

no tenho nem idia de como comear!

no vou conseguir!

no quero mais fazer o teste!

se eu clicar no boto vai debitar em minha conta?

por que no tem uma ajuda aqui?

no est claro para mim como realizo a compra!

achei confusa a movimentao dos produtos.

Usurios experientes e experts


O primeiro usurio achou muito fcil navegar no site, somente reclamou da
dificuldade de voltar da lista de compras para o site.
O segundo usurio descobriu que a ferramenta de busca no funcionava direito,
pois alguns produtos que havia no site no foram achados.
O terceiro usurio achou fcil a navegao, mas no gostou do site porque no
mostrava o status da sua compra.
Alguns comentrios dos usurios

Achei bastante fcil navegar.

Poderia melhorar o carrinho de compras.

Poderia na tela de compras mostrar o status dos produtos que esto no


carrinho.

A excluso e a incluso de produtos devem ser melhoradas.

No est claro para mim como realizo a compra!

Melhorar a forma de manipulao de produtos, pois achei um pouco


confusa.

No est me dizendo como acrescento um artigo lista de compras.

No muito seguro este site!

97

Os Lista de principais problemas encontrados com base em relatrio e filmagem:


Mesmo aps sair do site e fechar o internet explorer fica cadastrado qualquer
produto no carrinho de compras e quando outro usurio vai fazer compras do
mesmo computador ele j deixa todas as compras do ultimo usurio no carrinho
sendo um grave problema se esse computador for de uso coletivo.
Muitos produtos indisponveis.
Carrinho de compras muito confuso
Quantidade de produtos que a pessoa deseja comprar deveria ser escolhida na
hora que escolhido o produto
Falta uma maneira do usurio acompanhar sua compra na pagina principal sem
ter de voltar para pagina de compras toda vez que escolher um produto.
A excluso de um item de compras esta muito complicada poderia apenas clicar .
Barra de setores deveria aparecer a esquerda, pois o usurio acaba perdendo-se
pois cada vez ela esta em um lugar.
Falta de informao sobre alguns produtos
Falta um boto voltar a pagina anterior na maioria das paginas
Algumas paginas no esto bem identificadas(onde o usurio no sabe onde ele
esta)
Logo na pagina principal aparece alguns livros para comprar mas no diz se
promoo ou o porque desses livros na pagina principal.
A empresa no se identifica logo na entrada
O local dos menus dos setores no esta padronizado
Os produtos no possuem todas as informaes necessrias
No possui dados sobre troca, devoluo ou garantia

Mercado

98

Esta avaliao tambm foi realizada por nove usurios utilizando o site do
mercado HIPPO que foi encontrado na URL: www.hippocom.com.br/

Figura 2. Site do Mercado

Usurios novatos
O primeiro usurio da avaliao achou muito complicada a navegao em virtude
do nmero de informaes apresentadas nos menus. Para executar a tarefa, necessitou
da ajuda do observador.
O segundo usurio considerou o local pouco intuitivo na sua navegao,
obrigando-o a avanar por tentativa e erro at conseguir us-lo. Reclamou muito
tambm por estar desorientado por causa da muitas fontes de distrao, mas depois de
muita tentativa e erro conseguiu executar a tarefa.
O terceiro usurio no encontrou dificuldade na compra, somente na finalizao
da compra, porque havia muitas abreviaes das palavras no carrinho de compras. Sem
muita dificuldade conseguiu fazer a compra aps algum tempo.
Alguns comentrios dos usurios

O menu possui muita informao.

Nas telas poderia haver uma ajuda.

Estou meio perdido!

99

No estou entendendo essas palavras!

muita coisa piscando!

Vou de qualquer jeito, vou no erro e acerto at aprender!

Usurios experientes e usurios experts


O primeiro usurio fez comentrios sobre as animaes desnecessrias,
montonas e cansativas das pginas secundrias. Elogiou a pouca informao existente
na pgina principal e gostou muito do carrinho de compras aparecer na pgina principal,
podendo mant-lo informado a respeito da sua compra.
O segundo usurio fez reclamaes sobre a lentido ao carregar as pginas dos
produtos, comentou tambm que, para quem no conhece o sistema, este pode ser
confuso, embora de aprendizagem rpida.
O terceiro usurio reclamou das animaes desnecessrias, elogiou o contedo
da pgina inicial e o carrinho de compras, terminando sua tarefa em muito pouco tempo.
Alguns comentrios dos usurios

Essa pgina est leve.

P! legal! est atualizando o que eu vou adicionando no carrinho de


compras.

Essa cor t um pouco esquisita!

O menu t muito carregado e no intuitivo.

No possui procura de produtos!

As telas deveriam ter mais informao descritiva.

Lista dos principais problemas encontrados com base em relatrio e filmagem:


Falta uma mensagem para o usurio quando a pessoa tenta colocar o mesmo
produto no carrinho de compras pois o sistema s muda a quantidade de do
mesmo produto com a alterao do numero que refere a quantidade desse
produto;

100

Como esse tipo de menu as pessoas no conseguem achar alguns produtos;


Falta de ferramenta de busca de produtos;
Falta de descrio dos produtos;
A ajuda nas compras esta confusa;
Local do carrinho de compras muito confuso;
Botes para retirar produtos do carrinho de compras em local que no se
destacam;
Link de contato com o mercado esta mau localizado.
H muita informao na tela de entrada.
Os links esto sendo apresentados em vermelho e algusn ttulos tambm
ocasionando uma confuso para saber onde titulo e onde link
A maioria dos produtos no podem serem visualizados
Alguns produtos teria de ter dados sobre sua qualidade
No processo de remover ou alterar os botes esto confundido-se com outros
que no so do carrinho de compras

Biblioteca
A ultima avaliao foi realizada como todas as outras, por nove usurios fazendo
ensaios de interao no site de uma biblioteca que foi encontrado na URL:
www.prazerdeler.com.br/

101

Figura 3. Site da Biblioteca


Usurios novatos

O primeiro usurio a utilizar o site demorou a achar o livro sem saber como
procurar e depois no conseguiu locar, pois no descobriu que deveria enviar um e-mail
com o nome do livro para fazer a locao.
O segundo usurio tambm teve muita dificuldade em achar o livro pedido, mas
quando achou, a locao foi fcil, pois foi s mandar um e-mail.
O terceiro usurio achou que o site estava inacabado, s conseguiu cadastrar-se e
no conseguiu simular uma locao.

Alguns comentrios dos usurios

Onde tem locao/contato, no tem como eu fazer a locao.

Pode me diz como acrescento um livro lista de compras?

Gostei do servio de locao.

No existe nenhuma informao dizendo se um determinado livro est


locado, ou disponvel, se existem mais cpias, etc.

Os locais da locao no so claros, intuitivos.

102

No est claro para mim como fao para locar o livro e como fao para
devolver.

Usurios experientes e usurios experts


O primeiro usurio reclamou logo no comeo da avaliao que o site no possua
um link de locao na pgina inicial. Teve dificuldades na localizao do livro, pois no
possua ferramenta de busca, e achou que deveria ter uma sinopse dos livros. Ao final
comentou que o site tinha que ser refeito.
O segundo usurio comentou que, quando havia selecionado o tema, no havia
produtos cadastrados para todos os temas, o que considerou uma falha. Reclamou que o
site no tinha um processo de emprstimo e ao final comentou que o site era
extremamente simples, e que esta simplicidade em excesso que o desqualificava.
O terceiro usurio fez comentrios sobre a falta de uma ferramenta de busca e
sobre a necessidade do envio rpido de um e-mail para confirmar o cadastro. Comentou
que o site deveria ter: um mdulo para identificar o usurio; as sinopses de todos os
livros; a possibilidade da escolha dinmica dos livros (semelhante ao carrinho de
compras).. Comentou ainda a respeito da insegurana do site e sobre ter gostado na
interface unicamente das cores que eram claras e agradveis e do fato do site ser limpo
ou nada poludo.
Alguns comentrios dos usurios

Poderia haver um link que procurasse por livro especfico.

Os livros poderiam ter um resumo.

Poderia haver um link de locao logo na pgina inicial.

O site poderia mandar um e-mail rapidamente para confirmar o cadastro.

A locao est estranha, contato e locao juntos no combinam.

Quando eu seleciono por tema, no h produtos cadastrados para todos os


temas.

No tem processo de emprstimo.

Gostei das cores da Interface, o site no poludo.

Este site est inacabado, no consegui simular uma locao, fiz apenas o
meu cadastro.

103

No tem a opo de listar as obras por autores, ou por assunto.

um site extremamente simples. Esta simplicidade em excesso o que


para mim desqualifica o site.

Uma maneira de melhorar esse site avaliando outros sites de comrcio


eletrnico e reformulando o site.

Quando se escolhe a opo de tema, no tem obras cadastradas para alguns


temas. Deveria listar a partir de uma pr-seleo e mostrar mais detalhes
sobre a mesma.

No existe opo de escolha de livros.

O site muito inseguro.

O que eu mais gostei neste site foi sua performance e rapidez.

Cad a identificao dos usurios, e as sinopses de todos os livros?

necessrio mandar um e-mail com os livros solicitados, e nada garante


que estou fazendo um pedido em meu nome, pois no existe identificao
do usurio, apenas cadastro.

Lista dos principais problemas encontrados com base em relatrio e filmagem:


Falta de uma maquina de procura para achar livro desejado
Falta um sistema de autenticao de usurio, pois no existe como saber quem
esta fazendo o pedido.
Falta sistema tipo carrinho de compras para pessoa apenas clicar no livro e ele ir
para uma rea de locao.
O site no possui as sinopses dos livros
O site no possui segurana.
Alguns temas no possuem obras
No existe nenhuma informao dizendo se um determinado livro est locado,
ou disponvel, e se existem mais cpias.
Os locais da locao no so claros, intuitivos.
O menu com os livros muito ruim