ESCOLA SUPERIOR DE GESTO E TECNOLOGIA DE SANTARM

CET Desenvolvimento de Produtos Multimdia

Web Design

Avaliao de Stios Web

1.

Preparao

O objectivo deste trabalho no s fazer uma avaliao dos sites, como recolher medidas de usabilidade dos mesmos. Para tal h que preparar o ambiente de trabalho para as conseguir recolher de forma correcta.

1.1. Preparao do ambiente de trabalho

Os tempos de carregamento podem variar no apenas com o estado da rede, como tambm da configurao dos browsers utilizados. Para uniformizar os resultados obtidos o browser a utilizar dever ser o Firefox. Para alm disso a ligao Internet dever ser feita de forma directa, (i.e, sem recorrer a proxies) de modo a garantir a independncia dos resultados entre os vrios grupos. Para tal deve-se verificar no menu Tools Advanced Network Settings, se a opo No proxy est seleccionada. (se no estiver, seleccione-a). Para alm disso, e para o resultado das experincias anteriores no influenciar o resultado das demais, antes de comear cada tarefa deve limpar a cache do browser. Para o efeito carregue em crtl + shift + del, marque as opes todas e faa Clear Private Data Now.

1.2. Calibrao do Ambiente de trabalho

Os resultados obtidos vo diferir bastante de acordo com o estado da rede na altura que as medies so efectuadas. Para obter uma medida comparativa desse estado, necessrio efectuar um processo de calibrao. Assim antes de comear a efectuar as tarefas, deve ser medido o tempo de carregamento da pgina seguinte: Pgina para calibrao Aps todas as tarefas para cada site terem sido cumpridas, este tempo deve voltar a ser medido, para se avaliar se houve evoluo do estado da rede. Antes de efectuar a medio em qualquer das vezes, deve ser limpa a cache, segundo o processo anteriormente descrito.

2.

Metodologia

As regras seguintes devem ser escrupulosamente respeitadas, sob pena de desvirtualizao dos resultados obtidos. Os membros do grupo devem alternar na tarefa de navegar nos sites. Um dos elementos navegar exclusivamente no site A e o outro no site B (definidos posteriormente). Enquanto um dos membros do grupo navega (elemento navegador), o outro (elemento observador), deve observar o seu comportamento e reaces de modo a permitir o posterior preenchimento da grelha de avaliao de sites, para o site em causa. O grupo dispe de um mximo de 15 minutos para cumprir cada tarefa. A partir desse limite considera-se que a tarefa no foi cumprida em tempo til. De qualquer forma, o tempo a despender em cada site no deve exceder 30 minutos.

2.1. Metodologia para o elemento Navegador

Todas as tarefas devem comear seguido o link para o site correspondente existente no final desta pgina. Imediatamente antes de seguir o link, devem ser seguidos os passos indicados acima na seco de Preparao de ambiente de trabalho Em princpio, no deve existir comunicao entre os elementos do grupo durante a navegao. No entanto, se o elemento navegador encontrar srias dificuldades no cumprimento de uma tarefa, pode solicitar sugestes ao observador. Este facto deve ser registado na grelha da avaliao dos sites.

2.2. Metodologia para o elemento Observador

O elemento observador de cada grupo deve, especificamente, registar o seguinte: Nmero de enganos cometidos na navegao: o o o o Voltar atrs num link, por se constatar que no condiz pgina desejada. Interromper o carregamento de uma Pgina Erros a preencher campos de formulrios Como regra geral, qualquer outra situao que aparea enquadra-se nesta categoria. Erros por parte do software do lado do cliente (browser crasha),no devem ser considerados. Tempo necessrio para completar cada uma das tarefas Nmero de links seguidos Reaces e comentrios do elemento navegador.

Aps o preenchimento de cada tarefa, o elemento observador dever registar na grelha de avaliao os seguintes elementos (enquanto o elemento navegador prepara o sistema para a tarefa seguinte. Tempo da tarefa. Nmero de erros Nmero de links seguidos Se a tarefa foi cumprida ou no. Em caso afirmativo, indicar qual a resposta pergunta correspondente. Em caso negativo, indicar a razo do insucesso. Um pequeno comentrio sobre o desempenho do elemento navegador e as principais dificuldades encontradas (a partir das reaces observadas no mesmo). Em princpio, no deve existir comunicao entre os elementos do grupo durante a navegao. No entanto, se o elemento navegador encontrar srias dificuldades no cumprimento de uma tarefa, pode solicitar sugestes ao observador. Este facto deve ser registado na grelha da avaliao dos sites.

2.3. Preenchimento da grelha de avaliao

O preenchimento das grelhas de avaliao de cada um dos sites ser feito aps o cumprimento de todas as tarefas nesse site. Cada um dos sites ser avaliado no que diz respeito a diversos critrios, agrupados dentro de quatro grandes grupos. Cada um desses critrios pode ser classificado com um de quatro valores: A, B, C ou D. Para alm dos critrios apresentados, decerto encontrar outros aspectos/erros dos sites que podero ser relevantes para a avaliao do site. Preencha a rea em branco abaixo da grelha de avaliao com esses critrios e classifique o site de acordo com a seguinte escala. A um problema grave que deve ser corrigido de imediato B srio, mas podemos viver com ele se necessrio C uma caracterstica til mas no muito relevante do site; D No um problema. O site fica enriquecido pela sua presena

O significado concreto desses valores para cada um dos critrios predefinidos ser enumerado em seguida:

Navegao
O menu de navegao o o o o A No Existe B Est em locais diferentes de pgina para pgina C Est no mesmo local na maioria dos casos D Est no mesmo local em todas as pginas

Mapa do site o o o o A No existe coerncia B Existe mas de difcil acesso C Existe mas meramente informativo D Existe e permite navegao

As pginas tm um meio de regressar inicial? o o o o A No vi nenhum B Algumas tm C A maioria tem D Tm todas

Ao navegar pelo site, dada informao da localizao dentro do mesmo o o o o A Nunca B Algumas vezes C A maioria das vezes D Sempre

Aspecto visual das pginas

Organizao espacial das pginas o o o o A Sem organizao aparente B Existe, mas dificulta o acesso ao contedo C Cuidada mas no determinante para o fcil acesso ao contedo D Cuidada, contribui para destacar o contedo

reas de navegao/ Agrupamento dos links o o o A No existem B Existem vrias com aparncias diversas C Existem vrias com aparncia consistente

D Existem vrias com aparncia consistente e contribuem para destacar o contedo

Utilizao das cores o o o o A Varivel de pgina para pgina B H consistncia entre grupos de pginas C H consistncia entre grupos de pginas e os grupos fazem sentido D Uniforme

Uso de imagens o o o o A No existem B Existem em excesso/ distraem desnecessariamente C Existe equilbrio entre as imagens e o texto D Existe equilbrio entre as imagens e o texto e contribuem para destacar o contedo

Uso de animaes o o o o A No existem B Existem em excesso/ distraem desnecessariamente C Existe equilbrio entre as imagens e o texto D Existe equilbrio entre as imagens e o texto e contribuem para destacar o contedo

Realimentao
Os campos nos formulrios esto claramente assinalados e existem instrues para o seu preenchimento o o o o A No B Por vezes C Quase sempre D Sempre

Validao dos dados de entrada o o o o A No efectuada B efectuada algumas vezes C sempre efectuada D sempre efectuada e contribui para a resoluo e deteco de erros

Apreciao Global do Site

Identificao das tarefas que cada site suporta o o o o A No existe B Existe por vezes C Existe sempre D Existe e destaca claramente a sua funcionalidade

Organizao do site o o o o A Desorganizado, sendo difcil relacionar as suas partes B Alguma organizao, mas notam-se algumas incoerncias C Est bem organizado, mas a organizao no uma mais-valia na sua utilizao D Organizao cuidada que contribui para suportar a utilizao

Facilidade de efectuar tarefas o o o o A Surgiram 2 ou mais erros graves B Surgiram alguns erros pouco relevantes C No surgiram erros D No surgiram erros e foi extremamente fcil cumprir as tarefas

Se necessitar do servio fornecido pelo site o o o o A Nunca mais o usarei B Usarei de for obrigado C Usarei D Usarei e recomend-lo-ei

As grelhas de avaliao devem, impreterivelmente, ser entregues preenchidas no final da aula.

3.

Consideraes finais

O importante no fazer as tarefas rapidamente ou corretamente, mas sim faz-las na aula. Pretende-se que a recoleco de medidas concretas de usabilidade, o que s pode ser conseguido no ambiente controlado da aula e se no tiver havido um treino prvio por parte dos alunos. O que ir ser avaliado no a rapidez e facilidade em cumprir as tarefas mas a avaliao e as medidas tomadas no cumprimento das mesmas. No importa se os resultados foram melhores ou piores desde que sejam fidedignos. Em suma, o factor determinante para a avaliao o correcto preenchimento da grelha de avaliao de sites. Por correcto, entenda-se o correcto preenchimento da grelha, e de acordo com o procedimento experimental descrito. Pede-se pois, que as tarefas no sejam antecipadamente preparadas antes da aula.

4.

Tarefas a efectuar

O estudo dever incidir sobre dois conjuntos de sites. Metade dos grupos ir trabalhar sobre um dos conjuntos e a outra metade sobre outro. Pretende-se que cada grupo efectue a navegao nos sites que lhe forem atribudos de modo a cumprir, em ambos os sites, as tarefas indicadas. As respostas s questes levantadas devem ser escritas na coluna de observaes correspondente. Como resultado da navegao necessria para responder as essas questes, ser preenchida uma grelha de avaliao de sites.

Local A Seguradoras on-line: Ok-Tele Seguro, Seguro Directo, Logo, Continente: 1. Quero fazer uma simulao de um seguro para o meu carro, com efeitos a partir de amanh. possvel? 2. Dispe de 450 Euros para efectuar uma simulao de um seguro, com o mximo de coberturas possvel (cobertura de danos prprios, se possvel). Escolha entre os produtos existentes o que melhor se adequa s suas necessidades. Quanto dinheiro sobra?

Dados do veculo de teste Marca Modelo Verso Especificaes Matricula Valor de extras Local B Alfa Romeo Brera Diesel 2.4 JTDM Q-TRONIC 2387 cc 210cv 3 Portas 75-AR-00 1200

Sites TV cabo: Unitrio.net e meo.pt: 1. Quantos e quais os canais do pacote base de TV+NET+Telefone? 2. Qual a cobertura nacional do servio por cabo (no inclui satlite)?

Local A

Grupo
Utilizador: Observador:

Critrio
Tarefa1 Nmero de Erros Tempo de Carregamento Tempo da Tarefa Tarefa Cumprida (em 15 min)? Numero de elos seguidos Tarefa 2 Nmero de Erros Tempo de Carregamento Tempo da Tarefa Tarefa Cumprida (em 15 min)? Nmero de elos seguidos

Valor

Comentrio

No

Critrio
Navegao Menu de Navegao Mapa do Local Retorno pgina inicial Localizao dentro do Site Aspecto Visual das Pginas Organizao Espacial rea de navegao Utilizao de Cores Uso de imagens Uso de animaes Realimentao Informao em cada campo Validao dos dados de entrada Ajuda Apreciao Global Identificao das tarefas Organizao espacial Facilidade de efectuar tarefas Uso de imagens Se necessitar do servio

Classificao A B C D

Justificao

Local B

Grupo
Utilizador: Observador:

Critrio
Tarefa1 Nmero de Erros Tempo de Carregamento Tempo da Tarefa Tarefa Cumprida (em 15 min)? Numero de elos seguidos Tarefa 2 Nmero de Erros Tempo de Carregamento Tempo da Tarefa Tarefa Cumprida (em 15 min)? Numero de elos seguidos

Valor

Comentrio

No

Critrio
Navegao Menu de Navegao Mapa do Local Retorno pgina inicial Localizao dentro do Site Aspecto Visual das Pginas Organizao Espacial rea de navegao Utilizao de Cores Uso de imagens Uso de animaes Realimentao Informao em cada campo Validao dos dados de entrada Ajuda Apreciao Global Identificao das tarefas Organizao espacial Facilidade de efectuar tarefas Uso de imagens Se necessitar do servio

Classificao A B C D

Justificao