IHC 2008 | Artigos Completos
Heva: uma ferramenta de suporte à avaliação heurística
para sistemas Web
Janne Yukiko Y. Oeiras David Leonardo M. Bentolila
Federal University of Pará Federal University of Pará
Rua Augusto Corrêa, 01 CEP Rua Augusto Corrêa, 01 CEP
66075-110 66075-110
Belém – PA – BRAZIL Belém – PA – BRAZIL
joeiras@ufpa.br davidbentolila@gmail.com
+55 91 320174-05 +55 91 320174-05
ABSTRACT
In Human Computer-Interaction courses students generally
experience Heuristic Evaluation (HE) and they may have to
produce an individual report as a deliverable. This activity
requires an additional effort because they have to document
all problems while doing the HE.
In this paper we describe Heva, a tool developed to support
HE of Web based systems. This tool can reduce the
workload on the evaluators by giving them a simple way to
capture screenshots and to describe the problems they
found. In the end of the evaluation, the user can generate a
report in RTF or PDF file.
RESUMO
Em disciplinas de Interação humano-computador são
abordados métodos de avaliação de interfaces, dentre eles a
Avaliação Heurística (AH). Cada aluno deve primeiramente
produzir um relatório individual e depois consolidá-lo com
relatórios de outros alunos. Geralmente produzir esse
documento requer certo esforço, pois é necessário registrar
todos os problemas encontrados ao longo do processo.
Neste artigo é descrita a Heva, uma ferramenta para dar
suporte à AH de software desenvolvido para Web, a fim de
minimizar a sobrecarga dos avaliadores por meio da
utilização de funcionalidades que facilitam a captura de
telas e o registro dos problemas encontrados. Ao final da
avaliação, o usuário pode gerar um relatório no formato
RTF ou PDF.
Keywords
HCI Education, curriculum, heuristic evaluation, usability.
ACM Classification Keywords
H.5.2 User Interfaces: Evaluation/methodology
Permission to make digital or hard copies of all or part of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that copies
bear this notice and the full citation on the first page. To copy otherwise,
or republish, to post on servers or to redistribute to lists, requires prior
specific permission and/or a fee.
IHC 2008 – VIII Simpósio Sobre Fatores Humanos em Sistemas
Computacionais. October 21-24, 2008, Porto Alegre, RS, Brazil.
Copyright 2008 SBC. ISBN 978-85-7669-203-4
136
21-24 Outubro | Porto Alegre – RS, Brasil
Mayara Costa Figueiredo
Federal University of Pará
Rua Augusto Corrêa, 01 CEP
66075-110
Belém – PA – BRAZIL
mayfigueiredo@gmail.com
+55 91 320174-05
INTRODUÇÃO
A Association for Computing Machinery (ACM) define, em
seu currículo de referência [14], um conjunto de habilidades
que alunos de computação devem desenvolver ao longo de
sua formação na universidade. Dentre elas destacam-se:
rigor matemático; conhecer métodos científicos;
desenvolver familiaridade com aplicações; ter facilidade de
comunicação; e saber trabalhar em equipe. Essas
habilidades, além de várias outras, também são destacadas
no currículo proposto pela Sociedade Brasileira de
Computação (SBC) [15].
Todas essas habilidades devem ser trabalhadas ao longo da
realização de atividades curriculares que compõem o
projeto pedagógico de um curso de graduação em
Computação. Em disciplinas de Interação humano-
computador (IHC) é possível desenvolver boa parte dessas
habilidades por meio da realização de projetos em grupo
para efetuar o design da interação de softwares. Nesse tipo
de atividade, os alunos podem desenvolver as várias
habilidades sugeridas pela ACM e pela SBC: eles precisam
discutir idéias, trocar conhecimentos, entrar em contato
com usuários e aprender sobre seu domínio, gerenciar
conflitos que surgem do trabalho em grupo e, a depender da
dinâmica proposta pelo professor, realizar apresentações
formais para a turma.
Em um processo de design, a avaliação de interfaces é uma
das atividades-chaves a serem realizadas ao longo do ciclo
de vida de design [1]. A avaliação tem por objetivos
determinar a usabilidade e a aceitabilidade do produto ou
design. Para isso são avaliadas [2]: (1) as funcionalidades
do software, isto é, se estão adequadas aos requisitos das
tarefas do usuário permitindo que estas sejam realizadas de
modo fácil e eficiente; (2) o impacto da interface junto ao
usuário, considerando a taxa de erros cometidos por
usuários, quão fácil para eles é aprender a usar o software e
as áreas do design que requerem mais esforço cognitivo
etc.; (3) os problemas específicos com o design, ou seja,
reconhecer aspectos do design que possam causar confusão
ou resultados inesperados para o usuário quando o software
for usado no contexto alvo.
Na literatura existem vários métodos de avaliação de
IHC 2008 | Artigos Completos
interfaces. A Avaliação Heurística (AH) é um método
amplamente divulgado em vários livros didáticos da área de
IHC [1, 2, 3] porque faz parte do paradigma de inspeção de
usabilidade (predictive evaluation), que se caracteriza por
reunir métodos que têm custos relativamente baixos e serem
rápidos de realizar (já que não envolvem usuários), atraindo
o interesse da indústria, embora tenham suas limitações.
A dinâmica de uma AH [4] é interessante para o
desenvolvimento das habilidades propostas pela ACM e
pela SBC porque cria situações em que o aluno trabalha
individualmente fazendo a sua própria avaliação, o que
permite colocar em prática conceitos e métodos sobre o
design de interação; e em grupo, discutindo, julgando e
compilando resultados de avaliações individuais para gerar
um resultado coletivo que é o relatório final do seu grupo.
Este trabalho apresenta a Heva, uma ferramenta
desenvolvida para dar suporte à realização de Avaliações
Heurísticas de sistemas Web. A motivação para o seu
desenvolvimento se deu a partir da observação da
realização dessa atividade por alunos de graduação em
Ciência da Computação. Notou-se que eles mantinham
abertos simultaneamente vários aplicativos como: o
navegador (browser) no caso de sistemas Web ou a
aplicação desktop; um editor de textos para registrar
comentários e as heurísticas violadas; um editor de imagens
(como o Microsoft Paint) para fazer marcações sobre as
telas capturadas; e o documento que continha os slides da
aula sobre AH. A alternância constante entre esses
diferentes aplicativos tornava a atividade “mais” trabalhosa.
Buscou-se na Web por ferramentas que ajudassem nesse
processo, mas não foram encontradas referências com
trabalhos correlatos.
A adoção dessa ferramenta, em disciplinas da área de
Interação humano-computador, pode facilitar a tarefa de
AH reduzindo principalmente a quantidade de aplicativos a
serem utilizados ao longo desse processo: é necessário
praticamente apenas o navegador. Além disso, sua
implementação na linguagem Java como uma extensão para
o navegador Mozilla Firefox, possibilita seu uso nos
sistemas operacionais Windows e Linux.
Na seção a seguir é descrito brevemente o método de
Avaliação Heurística e sua dinâmica de realização. A seção
“A FERRAMENTA HEVA” descreve as tecnologias
usadas na sua implementação e suas funcionalidades. A
seção “RESULTADOS PRELIMINARES” comenta os
resultados dos testes realizados com alunos de graduação e
pós-graduação e também em uma empresa desenvolvedora
de software. Por fim a seção “CONCLUSÕES” apresenta
as conclusões deste trabalho.
AVALIAÇÃO HEURÍSTICA
Avaliação Heurística (discount usability engeneering) é um
método de inspeção de usabilidade no qual a avaliação é
feita com base em uma lista de heurísticas de usabilidade
137
21-24 Outubro | Porto Alegre – RS, Brasil
[5]. Esse método não envolve usuários e é executado por
um conjunto de avaliadores que verificam aspectos
relacionados à usabilidade de uma interface. A avaliação é
baseada no julgamento dos avaliadores e são sustentados
pela confiança depositada em sua experiência [2].
Realizar uma AH consiste basicamente em analisar a
interface para relatar problemas que, segundo a opinião do
avaliador, não estejam de acordo com princípios de
usabilidade reconhecidos: as heurísticas. O conjunto de
inicial de heurísticas, proposto por Jakob Nielsen e Rolf
Molich em 1990 [6], foi posteriormente revisado por
Nielsen em 1994 resultando em [5]:
• Visibilidade do estado do sistema: o sistema deve
fornecer feedback adequado aos usuários dentro de
um tempo razoável;
• Compatibilidade do sistema com o mundo real: o
sistema deve usar termos familiares ao usuário ao
invés de termos orientados ao software. Devem ser
seguidas convenções do mundo real de modo que
as informações apareçam numa ordem seqüencial
e lógica;
• Controle do usuário e liberdade: prover saídas de
emergência para ações equivocadas dos usuários
(como funções undo e redo);
• Consistência e padrões: um usuário não deve
adivinhar que diferentes palavras, situações ou
ações significam a mesma coisa. Seguir
convenções de plataforma;
• Prevenção de erros: fazer um design que previna o
erro antes de ele acontecer. Eliminar condições
que levem a erros e apresentar aos usuários uma
opção de confirmação antes de eles finalizarem a
ação;
• Reconhecimento ao invés de relembrança: tornar
objetos, ações e opções visíveis. O usuário não
deve ter que lembrar uma informação de uma parte
para outra do diálogo. Instruções devem estar
visíveis ou ser de fácil recuperação quando
necessárias;
• Flexibilidade e eficiência de uso: prover meios
para usuários experientes acelerarem a interação e
de apoiar usuários novatos;
• Estética e design minimalista: diálogos não devem
conter informações irrelevantes ou raramente
necessárias. Exibir apenas as informações que
sejam importantes e necessárias;
• Ajudar os usuários a reconhecer, diagnosticar e
corrigir erros: mensagens de erro devem ser
expressas com linguagem clara indicando o
problema e construtivamente sugerindo uma
IHC 2008 | Artigos Completos
solução;
• Help e documentação: fornecer help e
documentação. Essas informações devem ser
fáceis de encontrar, ser focalizadas na tarefa do
usuário e não devem ser extensas.
As heurísticas descritas anteriormente são as sugeridas por
Nielsen [5] e podem parecer restritas. Porém, esse método
de avaliação permite que esse conjunto de heurísticas seja
estendido para que o avaliador crie novas heurísticas que
sejam específicas ao domínio do software que está
avaliando [2].
A avaliação heurística é feita em um primeiro momento
individualmente por cerca de três a cinco avaliadores que
percorrem a interface por pelo menos duas vezes. O
segundo momento da dinâmica prevê a agregação dos
resultados individuais e a atribuição de graus de severidade
(números de 1 a 5) caso haja a necessidade de priorizar a
correção dos problemas encontrados [2].
De acordo com Nielsen [4], os resultados podem ser
registrados na forma de relatórios gerados por cada
avaliador ou por comentários orais que os avaliadores
fazem para um observador enquanto percorrem a interface.
Cada modo apresenta vantagens e desvantagens. Relatórios
escritos têm a vantagem de representar um registro formal
da avaliação, porém requerem esforço extra por parte dos
avaliadores e, posteriormente, devem ser lidos e compilados
por um gerente. A utilização de um observador retira a
carga dos avaliadores individuais, mas aumenta o custo de
cada sessão de avaliação. Os resultados finais podem ser
alcançados mais rapidamente nesse último caso, já que o
observador necessita organizar anotações pessoais ao invés
de relatórios escritos por outros avaliadores [4].
Nas ofertas de disciplinas de IHC que os autores deste
trabalho têm atuado, a geração de relatórios individuais
(resultados parciais) tem sido adotada para permitir o
acompanhamento da avaliação feita por cada aluno. A
respeito da compilação dos relatórios individuais a fim de
consolidar os problemas encontrados, a dinâmica proposta
nas disciplinas é que os próprios alunos trabalhem em
equipe compilando os resultados, discutindo e atribuindo o
grau de severidade a cada problema encontrado.
Porém, como revelado por Nielsen em suas experiências [4]
e confirmado pela experiência em sala de aula, há uma
sobrecarga para os avaliadores (alunos) durante a atividade
já que eles precisam alternar a cada momento entre
diferentes softwares para registrar suas anotações.
O processo da AH realizada pelo avaliador, embora seja
simples, se mostra cansativo. Para gerar um relatório,
normalmente são executados os seguintes passos:
1) O avaliador encontra na interface do software um
problema de usabilidade;
138
21-24 Outubro | Porto Alegre – RS, Brasil
2) Captura a imagem daquela interface;
3) Manipula a imagem em um programa de edição
para delimitar a região da interface na qual o
problema foi encontrado;
4) Cola a imagem em um editor de texto e descreve o
problema a ela relacionado;
5) Identifica qual(is) heurística(s) foi(foram)
violada(s).
Assim, o processo para relatar um erro encontrado envolve
diferentes passos que são realizados por meio de aplicativos
diferentes (software avaliado, editor de imagens e editor de
textos) e consulta ao material de aula, principalmente para
lembrar as heurísticas. Como esses passos devem ser
repetidos a cada problema encontrado, a avaliação se torna
cansativa para o avaliador aprendiz, além de pouco flexível,
pois um erro, na edição da imagem, por exemplo, pode
acarretar ao reinício do processo. Além disso, os relatórios
produzidos individualmente geralmente têm formatos
diferentes que podem dificultar a avaliação por parte do
professor, pois se leva mais tempo para avaliá-los, a
depender da (des)organização do texto.
Na próxima seção são apresentadas as tecnologias usadas
na implementação ferramenta Heva e as funcionalidades
que foram desenvolvidas para minimizar a sobrecarga dos
avaliadores individuais na geração de seus relatórios e
facilitar o acompanhamento por parte do professor.
A FERRAMENTA HEVA
Tecnologias usadas na implementação da Heva
A Heva foi desenvolvida como uma extensão para o
navegador Mozilla Firefox [7], pois este permite incluir
novas funcionalidades, devido ao seu código aberto.
Extensões são adições que agregam novas funcionalidades
a aplicações Mozilla, no caso o navegador Firefox.
Extensões e plugins são diferentes [8, 9]. Estes últimos são
componentes binários que permitem à aplicação mostrar
conteúdos que ela não mostraria nativamente, por exemplo,
os plugins Adobe Reader, Real Player e Quick Time.
Uma extensão para o Firefox é construída usando,
basicamente, XUL (XML-based User-interface Language)
[10] e Javascript. Porém, as principais funcionalidades da
Heva foram desenvolvidas em Java. A XUL foi usada para
desenvolver o menu da Heva que fica disponível no menu
Ferramentas do navegador Firefox (Figura 1) e o botão para
capturar imagens (Figura 2).
IHC 2008 | Artigos Completos 21-24 Outubro | Porto Alegre – RS, Brasil

Figura 3. Adicionando o botão de capturar imagem ao Firefox.

Avaliação Heurística com a ferramenta Heva

Figura 1. Menu da ferramenta Heva no Firefox.
Figura 2. Botão Capturar imagem.
Para efetuar uma avaliação, primeiramente o usuário deve
criá-la por meio da opção “Nova avaliação” que fica no
menu da Heva no Firefox (Figura 1). Ao executar essa ação,
é solicitado um nome para a nova avaliação e, depois de
pressionar o botão “Ok”, uma pasta correspondente é criada
no diretório que for escolhida (Figura 4). Nessa pasta
ficarão todos os arquivos e imagens referentes àquela
avaliação.

Javascript é a principal linguagem de script usada nas

aplicações Mozilla e nesta implementação foi utilizada
como uma linguagem de programação de primeira camada
[11]: o Javascript é usado para fazer o intermédio entre o
navegador e a Heva. Grande parte das funcionalidades
dessa ferramenta foi implementada na linguagem Java, pela
facilidade oferecida no desenvolvimento de alguns
componentes e pela afinidade dos autores com ela. Além
disso, a funcionalidade de Capturar a imagem da página que
está sendo avaliada também foi desenvolvida nesta
linguagem de script e foi baseada em outra extensão do Figura 4. Indicação do nome da nova avaliação.
Firefox chamada Screengrab [12]. Caso o usuário já tenha criado uma avaliação e planeje
A Heva foi criada para ser multiplataforma, portanto os efetuar mais de uma sessão de uso, ele pode parar a
requisitos para o uso da ferramenta são apenas ter no avaliação corrente e continuá-la em outro momento. Basta
computador o navegador Firefox [7] e máquina virtual do escolher a opção “Parar avaliação” no menu da Heva
Java [13]. (Figura 1). Para dar prosseguimento à atividade, também
está disponível nesse menu a opção de “Continuar uma
A instalação da Heva segue o padrão de outras extensões do avaliação” que já tenha sido iniciada, que pode ser a última
Firefox: basta arrastar o seu arquivo .xpi para dentro do criada ou outra qualquer (Figura 5).
navegador, que confirmará se é realmente para instalar esse
arquivo. Após essa ação, o usuário pode personalizar a
barra de ferramentas do Firefox para acrescentar o botão
para Capturar imagem (clicar e arrastar o botão)1 como
mostrado na Figura 3. Essa personalização pode tornar o
processo de captura mais ágil (1 clique), sem que seja
acessado o menu da Heva da Figura 1 (3 cliques).

Figura 5. Interface para continuar uma nova avaliação.

1
Espera-se que na próxima versão da ferramenta, não seja
necessária esta ação e que o próprio processo de instalação já
configure a barra de ferramentas do Firefox.

139
IHC 2008 | Artigos Completos 21-24 Outubro | Porto Alegre – RS, Brasil

Uma vez criada ou selecionada a avaliação, o usuário o usuário deve clicar sobre o botão “Capturar imagem”
recebe feedback por meio de mensagens e pode dar início a (ícone de “câmera” na Figura 2). Essa ação abre a interface
sua avaliação, percorrendo a interface do software. Ao principal da ferramenta Heva (Figura 6).
identificar algum problema de usabilidade, para registrá-lo

Figura 6. Interface principal da Heva

A maior parte dessa janela é usada para mostrar a imagem
capturada. O usuário pode então selecionar a região da
imagem para indicar onde está o problema de usabilidade.
Para isso ele deve arrastar o mouse, como em um editor de
imagens comum, para desenhar um retângulo de acordo
com a movimentação do mouse (Figura 6). No momento
em que o usuário solta o mouse (finaliza a seleção), uma
nova janela é aberta com a interface para avaliar o problema
identificado pela seleção (Figura 7).
Essa janela é composta de três regiões. A primeira é uma
caixa de texto para que o usuário faça a Descrição do
problema da seleção que acabou de fazer. A segunda região
permite que o usuário registre a(s) Heurística(s) violada(s)
por meio de uma lista que contém todas as heurísticas de
usabilidade propostas por Nielsen [5].
Como a AH prevê a criação de novas heurísticas específicas
a cada contexto, a Heva oferece a possibilidade de o usuário
criá-las e agregá-las às heurísticas de Nielsen [5]. Para isto,
o usuário deve clicar no último item da lista de heurísticas
que é a opção “Inserir Nova Heurística” para abrir o
pequeno diálogo da Figura 8. Figura 7. Interface para descrever o problema selecionado.

140
IHC 2008 | Artigos Completos 21-24 Outubro | Porto Alegre – RS, Brasil

Essa Ajuda contextualizada permeia a ferramenta Heva

para auxiliar o usuário caso ele precise e pode ser acionada
sempre pelo mesmo ícone com o ponto de interrogação.
Ao preencher todas as informações necessárias e confirmá-
las pressionando o botão “Ok” (Figura 7), estas serão salvas
em um arquivo XML na pasta criada para a avaliação e,
posteriormente, serão utilizadas para gerar o relatório
Figura 8. Interface para criação de uma nova heurística.
individual em arquivo RTF ou PDF.
Ao criar a nova heurística ela aparecerá imediatamente na
No lado direito da interface principal (Figura 6), o campo
lista da interface anterior (Figura 7) e também já estará
“Seleções” permite ao usuário escolher uma das seleções
selecionada. Essa nova heurística ficará gravada na
criadas para aquela imagem capturada e verificar os
ferramenta e assim estará disponível também para
respectivos dados (Figura 10). Além disso, é habilitada a
avaliações futuras.
possibilidade para Editar ou Excluir a seleção escolhida.
A terceira região da interface permite ao usuário atribuir um
Grau de severidade ao problema. Embora a recomendação
da literatura [2] seja fazer em essa atribuição em grupo,
deixou-se esta opção disponível na avaliação individual,
pois este é um meio para o professor acompanhar a opinião
individual do aluno sobre a severidade do problema
encontrado.
Ao lado do título de cada região existe um ícone
(interrogação) que aciona uma Ajuda contextualizada que
contém exemplos ou definições para preenchimento dos
campos (Figura 7). A Figura 9 apresenta o conteúdo da
Ajuda para a(s) Heurística(s) Violada(s) para auxiliar o
usuário caso ele não lembre exatamente o que cada uma
significa.
Figura 10. Detalhes da seleção escolhida.
Caso o usuário escolha editar a seleção, a interface da
Figura 7 será apresentada novamente para o usuário, já
preenchida com os dados da seleção escolhida. Caso ele
decida excluir a seleção, todos os dados referentes a ela
serão apagados e a numeração das seleções daquela imagem
será atualizada.
Quando o usuário terminar a coleta de problemas, poderá
finalizar o processo de avaliação gerando o seu relatório da
avaliação heurística. Para isso basta selecionar a opção
“Gerar Relatório” ou no menu da Heva no Firefox (Figura
1) ou no botão na barra de ferramentas da interface
principal da Heva (Figura 5). Ao fazer isso, a interface do
relatório será exibida para o usuário.
A geração do relatório é composta de três etapas nas quais o
usuário fornece informações sobre: 1) a sua instituição; 2) o
avaliador; e 3) sobre o software avaliado. A Figura 11
mostra o formulário para preenchimento de informações da
terceira etapa.

Figura 9. Ajuda contextualizada.

141
IHC 2008 | Artigos Completos 21-24 Outubro | Porto Alegre – RS, Brasil

Figura 12. Resumo do relatório individual.

O conteúdo que segue esse resumo consiste no
detalhamento de cada problema encontrado (Figura 13), que
traz as imagens capturadas com as suas seleções numeradas
Figura 11. Relatório: informações sobre o software.
e seguidas das informações de cada seleção (descrição do
Ao preencher os campos da interface e gerar um relatório problema, heurísticas violadas e grau de severidade).
pela primeira vez, os dados sobre a instituição e o avaliador
ficam salvos e serão carregados automaticamente quando a
funcionalidade de gerar relatório for ativada novamente. O
usuário poderá editar normalmente estes campos caso não
deseje as informações que forem carregadas. Esta medida
foi tomada para facilitar um pouco mais o trabalho do
avaliador, supondo que ele instale a Heva em seu
computador e faça a avaliação de diferentes softwares. Os
campos sobre o software avaliado não são salvos porque
estes dados são específicos de cada sistema avaliado,
portanto considerou-se que não faz sentido tentar
reaproveitá-los.
Para que o botão “Gerar Relatório” fique habilitado na
última etapa, é necessário que todos os campos obrigatórios
(indicados com um asterisco vermelho) estejam
preenchidos. O relatório pode ser gerado nos formatos RTF
ou PDF. O formato RTF é o padrão, pois em uma avaliação
heurística é necessário unir os relatórios individuais de dois Figura 13. Detalhamento do relatório individual.
ou mais avaliadores e, como o RTF permite edição, este foi
escolhido como o padrão da ferramenta. Por ser integrada ao Firefox, a Heva não consegue capturar
imagens de diálogos criados em Javascript, pois, quando
O arquivo do relatório é gerado na mesma pasta criada para estes surgem, “travam” o navegador para qualquer outra
a avaliação. As informações sobre instituição e avaliador operação até que sejam fechados.
são usadas para gerar a capa do relatório, enquanto que as
informações sobre o software permitem gerar um resumo Para contornar essa situação, a solução implementada foi a
sobre a avaliação (Figura 12). possibilidade de substituir uma imagem, pois assim o
usuário poderá capturar e salvar a imagem da página pelos
métodos que conhecer (pressionando a tecla PrintScreen,
por exemplo), para depois inseri-la na Heva e então avaliá-
la exatamente da mesma forma. Para isso basta selecionar a
opção correspondente no menu da Heva (Figura 14).

142
IHC 2008 | Artigos Completos
Figura 14. Funcionalidade de substituir imagem
Como descrito anteriormente, após a AH individual é
necessária a compilação dos resultados individuais para que
se obtenha um relatório final contendo todos os problemas
encontrados por todos os avaliadores. Para a criação deste
relatório único, primeiramente os avaliadores devem fazer
uma reunião para discutirem os problemas encontrados e
eleger um avaliador para realizar a união dos relatórios
individuais por meio da Heva. Esta função está em fase de
desenvolvimento e funciona da seguinte maneira: o
avaliador eleito deve abrir uma das avaliações realizadas
pela Heva e, a partir do menu “Avaliação”, ele deve
escolher a opção “Unir a outra avaliação” (Figura 14). Essa
ação abrirá uma nova janela que permitirá o usuário
selecionar outra avaliação que deseja unir à primeira. A
junção das duas avaliações é feita pela Heva colocando as
páginas da segunda avaliação após as da primeira. Esse
processo deve ser repetido sucessivamente até que todas as
avaliações estejam em uma só, sendo possível assim gerar o
relatório final único para aquele sistema. Para a próxima
versão pretende-se melhorar esta função permitindo que o
usuário possa selecionar quais páginas farão parte do
relatório final, com uma interface semelhante a do
OpenOffice Impress.
RESULTADOS PRELIMINARES
A Heva foi utilizada em duas disciplinas de Interação
humano-computador: uma delas ofertada para 21 alunos de
Ciência da Computação (13 de graduação e 8 de pós-
graduação) e a outra para 18 alunos de graduação em
Sistemas de Informação. Além disso, também foi testada na
Regional Belém do Serviço Federal de Processamento de
Dados (SERPRO) para avaliar um software já em uso pelo
seu cliente. O objetivo desses testes era verificar a
aceitabilidade da ferramenta, especialmente sobre os
aspectos de utilidade (se permite fazer o que deve ser feito)
e usabilidade (quão bem os usuários poderiam utilizar suas
funcionalidades) [2]. Para isso foi feita uma observação
direta do uso da ferramenta pelos alunos e profissionais e as
dificuldades que eles sentiam ou problemas que
enfrentavam eram anotados para posterior ajuste.
Na disciplina para alunos de Ciência da Computação, a
turma foi dividida em dois grupos: um com 11 alunos e
outro com 10 alunos com quantidade igualitária de idade,
sexo e nível (pós e graduação). Em um primeiro momento,
todos fizeram a AH do mesmo software desenvolvido para
a Web, sendo que um grupo usou a ferramenta e o outro
não. Depois, em um segundo momento, foi proposto aos
143
21-24 Outubro | Porto Alegre – RS, Brasil
alunos fazerem a AH de seus projetos, trocando-os entre as
equipes. Nesse segundo momento, somente os alunos que
não utilizaram a Heva na primeira AH fizeram uso e os
demais não usaram.
Os alunos do curso de Sistemas de Informação utilizaram a
ferramenta para avaliar o mesmo software proposto para os
alunos de Ciência da Computação e a turma foi dividida em
dois grupos de 9 alunos cada, devido restrição da
quantidade de máquinas no laboratório de informática (10
máquinas). Os dois grupos usaram a ferramenta para
fazerem suas avaliações.
A experiência na empresa ocorreu por meio de encontros
semanais (três horas de duração) ao longo de três semanas.
Na primeira semana foi realizada uma palestra sobre
usabilidade e avaliação heurística e nas outras duas semanas
foi avaliado um software produzido pela empresa.
Participaram da palestra cerca de 20 funcionários, sendo
que eles não tinham conhecimento algum sobre a área de
IHC. A introdução de IHC foi bem recebida, porque,
posteriormente, alguns deles entraram em contato via email
solicitando os slides da palestra, pois visualizaram os
benefícios da área para o processo de qualidade de
software. A AH contou com a participação de três
funcionários e dois alunos de graduação que já tinham
realizado a disciplina de IHC.
Sobre a utilidade da Heva, dois pontos foram observados:
possibilitar a avaliação heurística por parte dos alunos e o
acompanhamento por parte do professor. A observação
mostrou que os usuários conseguiram se apropriar da
ferramenta rapidamente e se concentraram na atividade de
avaliação (registro de problemas), isto é, a ferramenta não
inviabilizou a realização da tarefa. Apenas no momento de
gerar relatórios foi detectado um bug, que dificultou um
pouco a finalização da avaliação, mas que foi superado com
a ajuda dos autores da ferramenta. Também foi detectado
outro bug no funcionamento da opção “Continuar uma
avaliação”, porém, como este ocorreu apenas em uma
máquina, mais testes devem ser feitos já que não se
conseguiu reproduzi-lo novamente. Além disso, novas
funcionalidades foram incluídas como “Substituir imagem”
e “Excluir página” (Figura 14), esta última se mostrou
necessária quando uma aluna precisou excluir uma imagem
que tinha sido capturada e não havia essa possibilidade na
ferramenta. Sobre a experiência com os alunos de Ciência
da Computação (primeiro uso da Heva), notou-se que os
objetivos dos autores quanto a organizar e uniformizar os
relatórios individuais foram alcançados, facilitando o
acompanhamento de cada aluno por parte da monitora e da
professora da disciplina.
Percebeu-se que, durante a aprendizagem, a ferramenta
também ajuda a conduzir o processo de avaliação no
sentido de direcionar, por meio do formulário, o quê o
avaliador inexperiente deve informar ao longo do seu
registro. Para alguns alunos que não utilizaram a ferramenta
IHC 2008 | Artigos Completos
foi mais difícil organizar as idéias: eles conseguiam
identificar problemas, mas esqueciam
justificar/relacionar às heurísticas violadas, por exemplo.
No contexto da empresa (segunda utilização da Heva), um
imprevisto na realização dos testes foi quanto aos softwares
selecionados inicialmente para avaliação não funcionarem
adequadamente no Mozilla Firefox por terem sido
desenvolvidos, a pedidos do cliente, para o Internet
Explorer. Embora este seja um problema de acessibilidade,
tal situação mostrou a necessidade de construir uma versão
da Heva que permita a AH de softwares implementados
para navegadores diferentes do Firefox. Como os projetos
dos alunos também previam o desenvolvimento de
softwares para desktop, para aumentar a utilidade da Heva é
necessário o desenvolvimento de uma versão totalmente
desvinculada do navegador, atual limitação da ferramenta e
trabalho já em desenvolvimento.
Sobre a usabilidade da Heva, o primeiro problema
identificado foi na janela apresentada na Figura 7, com os
alunos de Ciência da Computação e profissionais da
empresa. Originalmente, as heurísticas estavam dispostas
em uma lista de múltipla seleção (mais de uma opção
poderia ser selecionada pressionando ao mesmo tempo a
tecla CTRL) e não havia os checkboxes. Assim, os usuários
eram induzidos a escolher apenas uma heurística para cada
problema encontrado e quando queriam assinalar mais de
uma não sabiam como fazê-lo. A partir dessa observação, a
mudança foi efetuada; e a experiência com os alunos de
Sistemas de Informação (última a ser realizada) demonstrou
que o problema foi solucionado.
Por meio dos testes com os alunos de Sistemas de
Informação e os profissionais da empresa foi possível
identificar outros problemas. A maior dificuldade deles se
concentrou no momento de gerar relatórios por
desconhecerem termos específicos solicitados como
“Funcionalidades avaliadas” e “Quantidade de sessões de
avaliação”. É possível que isto tenha ocorrido com esses
usuários por não ter havido tempo para a familiarização
com essa terminologia própria de IHC já que esses alunos
eram de um curso de graduação intervalar (cada disciplina
tem a duração curta, cerca de 10 dias) e os profissionais
tiveram uma única palestra sobre o assunto e desconheciam
a área de IHC. Porém, notou-se que, na etapa de geração do
relatório que pedia tal conteúdo, não havia a Ajuda
contextualizada, o que poderia ter minimizado as dúvidas e
a consulta à professora. Além disso, também se mostrou
necessário fazer o redesign da funcionalidade para “Editar”
ou “Excluir” as seleções que não é facilmente percebida
pelo usuário como ativá-las na interface principal da Heva
(Figura 6) para resultar no que pode ser visto na Figura 10.
Além disso, um funcionário da empresa sugeriu que a
janela apresentada na Figura 7, uma vez redimensionada,
guardasse aquele redimensionamento e abrisse com a nova
configuração (maior ou menor, de acordo com a ação prévia
21-24 Outubro | Porto Alegre – RS, Brasil
do usuário).
de
A ferramenta Heva parece ter sido aceita socialmente na
academia e pela indústria. No caso dos alunos de Ciência da
Computação, comentários foram levantados depois da
segunda utilização em uma conversa informal na sala de
aula. De modo geral, os alunos que usaram a Heva no
segundo momento foram os primeiros a se manifestar
dizendo que a ferramenta facilitou a tarefa por não terem
que usar e manter vários aplicativos abertos ao mesmo
tempo para registrar os problemas de usabilidade, fato
esperado pelos autores. Um aluno afirmou que a ferramenta
auxiliou no processo de AH por possibilitar a consulta
rápida às definições das heurísticas na Ajuda
contextualizada no momento de registrar o problema (ao
invés de consultar os slides) e os demais alunos
concordaram. Esse mesmo comportamento foi observado
durante o uso da ferramenta pelos profissionais no contexto
da empresa. Em processo de aprendizagem, era natural que
todos eles consultassem freqüentemente esse recurso. Os
profissionais da indústria reconheceram a importância de
IHC para a qualidade de seus produtos finais e revelaram
interesse em desenvolver parcerias para a incorporação
desse tipo de atividade no ciclo de desenvolvimento de seus
projetos. Para os alunos de Sistemas de Informação, a
apropriação da Heva pareceu transcorrer sem dificuldades e
acredita-se que isso se deve ao pequeno número de
funcionalidades que precisam ser aprendidas e usadas
repetidamente durante o processo de avaliação.
CONCLUSÕES
Os primeiros usos da Heva revelaram bugs que foram
corrigidos, funcionalidades que foram acrescentadas e
problemas de usabilidade que foram ou estão sendo
eliminados. A maior evolução da ferramenta consiste no
atual desenvolvimento de uma versão desvinculada do
navegador Firefox para que seja possível realizar avaliações
de softwares para desktop. Além disso, outra funcionalidade
a ser aperfeiçoada é a parte de consolidação de avaliações
individuais que, na versão atual, permite a concatenação
sucessiva das páginas de cada avaliação feita
individualmente. Na próxima versão, o objetivo é
possibilitar ao usuário escolher quais páginas deseja
concatenar, a exemplo do que ocorre em softwares para
elaboração de slides como OpenOffice Impress. Com todas
essas atualizações, espera-se que a Heva venha facilitar a
realização da Avaliação Heurística tanto no ambiente
acadêmico, ao longo de cursos de IHC, como na indústria,
minimizando a sobrecarga dos avaliadores.
Por fim, novamente sob o olhar de formador, é importante
retomar os benefícios da AH para a formação dos
alunos/profissionais, advindos principalmente por meio das
discussões geradas na etapa realizada em grupo para
consolidação de relatórios individuais. É nesse momento
que cada aluno/profissional desenvolve as competências de
comunicação e de trabalho em equipe, recomendadas pela
144
IHC 2008 | Artigos Completos
ACM e SBC, tendo que expressar e compartilhar
claramente os problemas que encontrou. É nessa etapa
também que os demais podem descobrir aquele “problema”
que não tinham visto antes, tornando mais acurada a
percepção sobre problemas de usabilidade a partir da
experiência dos colegas.
AGRADECIMENTOS
Agradecemos à Universidade Federal do Pará pelo apoio
financeiro concedido por meio de bolsas de Iniciação
Acadêmica; ao Serviço Federal de Processamento de Dados
(SERPRO – Regional Belém) por possibilitar a realização
de testes com a Heva no contexto da indústria; e a todos os
alunos que participaram de testes com a ferramenta durante
aulas e que contribuíram com sugestões para seu
aperfeiçoamento.
REFERÊNCIAS
1. PREECE, Jenny; SHARP, Helen; ROGERS, Yvonne.
Interaction design: beyond human-computer interaction.
New York: John Wiley and Sons, 2002. 519 p.
2. ROCHA, Heloísa V. da; BARANAUSKAS, Maria
Cecília C. Design e Avaliação de Interfaces Humano-
Computador. Campinas: NIED/UNICAMP, 2003. 242 p.
3. DIX, Alan J. et al. Human-computer interaction. 3. ed.
London: Pearson, 2004. 834 p.
4. NIELSEN, Jakob. How to Conduct a Heuristic
Evaluation. Disponível em: <http://www.useit.com/
papers/heuristic/heuristic_evaluation.html>. Acesso em:
04 jul. 2008.
5. NIELSEN, Jakob. Ten usability heuristics. Disponível
em: <http://www.useit.com/papers/
heuristic/heuristic_list.html>. Acesso em: 04 jul. 2008.
6. NIELSEN, Jakob; MOLICH, Rolf. Heuristic evaluation
of user interfaces. In: CONFERENCE ON HUMAN
FACTORS IN COMPUTING SYSTEMS, 8, 1990,
Seattle. Proceedings of the SIGCHI conference on Human
The columns on the last page should be of approximately equal length.
145
21-24 Outubro | Porto Alegre – RS, Brasil
factors in computing systems: Empowering people. New
York: ACM, 1990. p. 249 - 256. Disponível em:
<http://portal.acm.org/citation.cfm?id=97281>. Acesso
em: 04 jul. 2008.
7. MOZILLA (Org.). Firefox 3. Disponível em:
<http://br.mozdev.org/>. Acesso em: 04 jul. 2008.
8. MOZILLA (Org.). Extensões. Disponível em:
<http://developer.mozilla.org/pt/docs/Extens%C3%B5es>
. Acesso em: 13 jun. 2008.
9. MOZILLA (Org.). Plugins. Disponível em:
<http://developer.mozilla.org/pt/docs/Plugins>. Acesso
em: 13 jun. 2008.
10. MOZILLA (Org.). XUL Tutorial. Disponível em:
http://developer.mozilla.org/en/docs/XUL_Tutorial.
Acesso em: 13 jun. 2008.
11. O'Reilly & Associates, Inc. Creating applications with
Mozilla. Disponível em: <http://books.mozdev.org/
html/index.html>. Acesso em: 13 jun. 2008.
12. Screengrab. Screengrab! It's a Firefox Extension!
Disponível em: <http://www.screengrab.org/>. Acesso
em: 13 jun. 2008.
13. SUN MICROSYSTEMS (Org.). Java. Disponível em:
<http://www.java.com/pt_BR/download/manual.jsp>.
Acesso em: 13 jun. 2008.
14. Association for Computer Machinery (Org.). Computing
Curricula 2005: The Overview Report. Disponível em:
<http://www.acm.org/education/ curric_vols/CC2005-
March06Final.pdf >. Acesso em: 04 jul. 2008.
15. Sociedade Brasileira de Computação (Org.). Currículo
de Referência para Cursos de CC, EC e SI. Disponível
em: <http://www.sbc.org.br/index.php?language=1&
subject=28 &content=downloads&id=82>. Acesso em: 04
jul. 2008.