Avaliação de Usabilidade no Portal da Transparência: um estudo

de caso da Prefeitura de Princesa Isabel – PB.

Evaluation of Usability in the Transparency Portal: a case study of

Princesa Isabel City Hall – PB.

Resumo. A usabilidade está relacionada a facilidade do uso de 1. Introdução

algo e apresenta componentes fundamentais para a boa aceitação
do software pelos seus utilizadores. Softwares como o Portal da
transparência são essenciais para os cidadãos. Desenvolvido por
iniciativa da Controladoria Geral da União, o portal ajuda os
usuários no processo de fiscalização da aplicação dos recursos
públicos, porém, muitos destacam a dificuldade em localizar
informações. Dessa forma, com intuito de analisar tal situação, o
portal da transparência do município de Princesa Isabel-PB foi
avaliado, quanto a sua usabilidade, com o objetivo de identificar
problemas que afetam o desempenho dos usuários na execução de
suas tarefas.
Palavras-chave: Avaliação de usabilidade, Interfaces, Portal
eletrônico.
Abstract. Usability is related to the ease of use of something and
presents fundamental components for the good acceptance of the
software by its users. Software’s such as the Transparency Portal
are essential for citizens. Developed on the initiative of the
Federal Comptroller General's Office, the portal helps users in the
process of supervising the application of public resources, but
many point out the difficulty in locating information. Thus, in
order to analyze such situation, the portal of transparency of the
municipality of Princesa Isabel-PB was evaluated as to its
usability, with the objective of identifying problems that affect the
performance of users in the execution of their tasks.
Keywords: Usability evaluation, Interfaces, Web portal.
Ao longo do tempo, as interfaces vêm ganhando espaço
nos campos de estudos da área de Tecnologia da Informação (TI),
tornando possível a interação homem-máquina, permitindo
estabelecer uma comunicação entre ambos. A eficácia desse
processo de comunicação, no entanto, depende de um atributo de
qualidade relacionado à facilidade do uso, que é definido como
usabilidade. Esse atributo diz respeito a rapidez com que o usuário
consegue aprender a usar algo, a eficiência dele ao usá-lo, a
facilidade de memorização, a quantidade de erros ou o grau de
propensão a erros, e a satisfação do mesmo (NIELSEN, 1994).
A necessidade de usabilidade tornou-se algo
imprescindível nos sistemas usados cotidianamente pelos usuários.
Em meio a uma diversidade de softwares projetados, um sistema
que vem sendo bastante utilizado pela sociedade é o Portal da
Transparência, criado por iniciativa da Controladoria Geral da
União (CGU), com intuito de promover maior transparência
pública, engajando cidadãos no processo de fiscalização da
aplicação dos recursos públicos (BRASIL, 2017). O portal
eletrônico foi o objeto de estudo deste trabalho, o qual avaliou a
sua interface, quanto à usabilidade, através da avaliação
heurística, e por meio da observação de campo, com auxílio de
questionários e entrevistas. Essa avaliação identificou uma série
de problemas e mostrou como estes afetam o desempenho do
usuário ao executar determinadas tarefas, causando prejuízos aos
cidadãos.
O presente artigo está organizado da seguinte forma: na
seção 2 e 3 é apresentado o referencial sobre Portal da
Transparência e Usabilidade, respectivamente, a seção 4 é
apresentado os trabalhos relacionados, a seção 5 trata da
avaliação. A seção 6 é apresentado os resultados, e por fim, na
seção 7 são apresentadas as considerações finais.
2. Portal da transparência
Lançado em novembro de 2004, o Portal da
Transparência é regulamentado pela Lei Complementar 131 de
2009 ou simplesmente Lei da Transparência, que altera a redação
da Lei de Responsabilidade Fiscal, determinando a disponibilização
das informações sobre a execução orçamentária e financeira da
União, dos Estados, do Distrito Federal e dos Municípios, em meio
eletrônico, com amplo acesso público (BRASIL, 2009).
O Portal da Transparência do município de Princesa
Isabel foi desenvolvido pela empresa Elmar Tecnologia. Situada
em João Pessoa – PB, que atua há 22 anos no mercado
desenvolvendo sistemas que integram informações das diferentes
áreas da Gestão Pública. O software Transparência Pública é
responsável por gerenciar dados pertinentes as aplicações dos
recursos públicos, integrando-os aos sistemas de Gestão Contábil e
Gestão Pessoal, e segundo informações do setor administrativo da
Elmar, além da prefeitura de Princesa Isabel, cerca de 80 órgãos
municipais paraibanos e pernambucanos utilizam os sistemas da
transparência e contábeis desenvolvidos pela empresa (ELMAR,
2018).
2. Usabilidade
A usabilidade é definida por Nielsen e Loranger (2007),
como um “atributo de qualidade relacionado à facilidade do uso de
algo”, ou seja, está relacionada a rapidez com que o usuário
consegue aprender a usar algo, a eficiência dele ao usá-lo, a
facilidade de memorização, quantidade de erros ou o grau de
propensão a erros e a satisfação do usuário.
Nielsen (2007) considera tais aspectos como atributos
essenciais para usabilidade:
 Facilidade de aprendizagem: se refere ao
esforço necessário para que os usuários consigam
atingir um determinado nível de desempenho dentro
do tempo acessível;
 Eficiência: o quanto o sistema é eficiente, para o
que o usuário apresente uma boa produtividade, a
partir do momento que o mesmo aprende a interagir
com o software;
 Facilidade de memorização: o sistema deve ser
facilmente memorizado, para que depois de algum
tempo sem o utilizar, o usuário se recorde de como
usá-lo;
 Segurança: se refere ao grau de proteção de um
sistema contra condições desfavoráveis ou erros
cometidos por usuários e permitir facilmente a
recuperação ao estado anterior;
 Satisfação: enfatiza a avaliação subjetiva do
sistema feita por seus usuários, de forma que estes o
considerem prazeroso de usar.
Através desses atributos, os projetistas sabem o quanto
é importante desenvolver um produto com enfoque no usuário e
na usabilidade. Mas o que de fato acontece é que os projetos são
desenvolvidos sem pesquisas e aplicação de técnicas e métodos de
usabilidade (MENDONÇA e SILVA, 2014).
Há vários métodos que devem ser utilizados ao longo
de todo o processo de desenvolvimento de um software. A
avaliação de usabilidade é o mais comum e tem como principal
objetivo, segundo Ferreira (2002), “verificar como um usuário
consegue desenvolver tarefas reais, identificando deficiências
específicas de usabilidade”. Essa avaliação, por sua vez, utiliza-se
de vários métodos, cada um com suas particularidades, vantagens
e desvantagens, dependendo dos objetivos almejados e dos
recursos disponíveis, levando em consideração também o sistema
ao qual serão aplicados. Tais métodos podem ser baseados tanto
em usuários quanto em avaliadores, os quais são classificados,
respectivamente, em métodos empíricos e não empíricos (ROCHA
e BARANAUSKAS, 2003).
No método empírico, os usuários realizam tarefas
cotidianas com produto ou sistema, e os avaliadores utilizam os
resultados coletados para analisar como a interface suporta estes
utilizadores na realização das suas atividades. Arranjo de cartões,
avaliação cooperativa, entrevistas, grupo de foco, experimentos
controlados, lista de verificação de características, observações de
campo, protocolos “pensar alto” e questionários, são alguns dos
métodos empíricos utilizados nas avaliações com presença de
usuários.
Jordan (1998) afirma que, nos métodos não empíricos,
o pesquisador fornece sua opinião sobre a interface como se fosse
um perito, dessa forma não utiliza participantes, ou, se utilizar,
somente em caráter confidencial, já que existem casos onde há
uma necessidade de encontrar usuários com características
apropriadas.
 A análise da tarefa, lista de verificação de avaliação heurística, demonstrando assim, como o seu
propriedades, o percurso cognitivo, e a avaliação heurística, são desempenho na execução de suas tarefas foi afetado.
alguns dos métodos não empíricos existentes, sendo que esta
última é “uma das formas de avaliação mais utilizadas, por
apresentar melhores resultados práticos, ser pouco dispendiosa e
fácil de conduzir”, afirma Pereira (2011).

3. Trabalhos relacionados

Ao longo das pesquisas realizadas, foram encontrados

alguns trabalhos que abordam a avaliação de usabilidade. A
dissertação de Lacerda (2014) é um deles, que traz uma análise dos
ebooks produzidos na Universidade Federal do Rio Grande do
Norte (UFRN), no qual algumas amostras foram analisadas e uma
delas submetida a uma avaliação heurística, com intuito de
identificar possíveis problemas de usabilidade. Apesar de não estar
relacionado a avaliações de sites ou portais governamentais, este
estudo é considerado significante, por apresentar um método
(avaliação heurística) de avaliação bastante relevante, fácil de
conduzir e que traz ótimos resultados práticos. Por isso, esse
método também será utilizado na proposta atual, assim como
questionários e observação de campo com auxílio de entrevistas.

O trabalho de Ramos (2011) mostra uma avaliação de

usabilidade e arquitetura da informação do website da Prefeitura
de Embu das Artes, em São Paulo. O autor desenvolveu um
modelo para planejar e executar a avaliação, buscando verificar se
o site disponibiliza as informações de forma eficaz. Figura 1 – Fluxograma das etapas de avaliação

E por fim, Mendes e Nilander (2016), destacam os
conceitos da tecnologia conhecida com Governo eletrônico,
apresentando os principais portais nacionais e internacionais, e
executa uma avaliação quanto a usabilidade, do portal
governamental Compras Pará do governo do estado do Pará e,
além disso, apresenta propostas de melhorias para a relação entre
governo e cidadão.
4. Avaliação
Os métodos utilizados na avaliação da interface do
Portal da Transparência do Município de Princesa Isabel,
proporcionaram resultados satisfatórios em tempo hábil e com
custo acessível. A Figura 1 mostra o fluxograma da sequência
completa de todas as etapas realizadas nessa avaliação, onde
foram convidados profissionais para a realização da avaliação
heurística, que identificarem problemas na interface. Em seguida
foram selecionados os participantes da observação de campo,
através de questionários, elaborados cenários, em que os usuários
realizaram tarefas utilizando o portal e, em cada uma dessas
tarefas, eles enfrentaram os principais problemas identificadas na
Fonte: Próprio autor (2017)
4.1. Avaliação heurística
Para realizar a avaliação heurística foi escolhido uma
equipe, considerando o perfil de formação e de atuação em áreas
de IHC, Engenharia de Software ou áreas afins. Foram convidados
cinco profissionais para compor essa equipe, sendo estes, mestres
ou mestrandos e/ou profissionais com experiências sólidas nesse
âmbito.
Esses profissionais realizaram a inspeção do portal, e em
seguida responderam, de forma individual e isolada, um
questionário, o qual contém, em média, cinco afirmações para cada
uma das heurísticas, baseadas no modelo de escala Likert. Cada
afirmação explora os recursos disponíveis do portal para que, ao
avaliar, o profissional possa examinar a sua conformidade com as
heurísticas de Nielsen e, dessa forma, através dos cinco pontos da
escala Likert, expressar o quanto concorda ou discorda de cada
uma delas.
 Ao finalizar essa etapa, cada profissional responsável por
fazer a avaliação heurística relatou os problemas encontrados,
definindo em uma escala quantitativa os níveis de gravidade.
Através dessas informações foram criadas tarefas comuns do dia a
dia, em que cidadãos se deparam com situações relacionadas a
fiscalização da correta aplicação dos recursos públicos, realizando
buscas no portal da transparência.
4.2. Observação de campo
Após a conclusão da avaliação heurística, iniciou-se a
próxima etapa, selecionar os usuários participantes da observação
de campo. Nessa etapa, foram utilizados alguns critérios de pré-
seleção, como nível de conhecimento na área de informática
(iniciante ou intermediário), ter acessado o Portal da transparência
pelo menos uma vez, entre outros, afim de garantir que os
participantes fossem representativos do público-alvo (cidadãos).
A partir da definição do perfil desejado, um questionário
de pré-seleção foi desenvolvido através da ferramenta Formulários
Google e disponibilizado na página principal da Prefeitura de
Princesa Isabel, no Facebook, com objetivo de escolher os
participantes com as características adequadas. Durante o período
da aplicação do questionário, dentre as 4182 pessoas que tem
acesso as postagens da página da Prefeitura, 131 (3,1%) tiveram
interesse em responder o questionário. Após analisar o mesmo,
devido à restrição de tempo para execução dos testes, optou-se por
seis usuários. Por se tratar de duas variantes a serem comparadas.
Assim, 3 usuários iniciantes e 3 intermediários participaram da
avaliação.
Em seguida, foram definidas tarefas considerando os
diversos problemas identificados na avaliação heurística,
envolvendo situações reais de uso, relacionadas as funções
principais do sistema. Dessa forma, em cada uma das tarefas, os
usuários enfrentaram situações problemáticas, em que os recursos
do portal não funcionavam ou apresentavam limitações.
Os participantes foram instruídos a expor seus
pensamentos, expressar dificuldades que pudessem estar sentindo
ao realizarem determinadas tarefas, propor sugestões de possíveis
melhorias, ou seja, dizer de que forma seria mais fácil encontrar
determinado item ou realizar alguma tarefa. Quanto ao
observador, o mesmo anotava pontos importantes, que serviram
como base para a entrevista realizada com os participantes ao final
da avaliação.
5. Resultados
Alguns métodos como avaliação heurística, observação
de campo, entrevista e questionários foram utilizados para
identificar os problemas de usabilidade que afetam o desempenho
de usuários na execução de suas tarefas no Portal da
Transparência. A partir da análise dos resultados dessas
avaliações, uma série de problemas foram listadas, mostrando sua
gravidade e as reais consequências dos mesmos para os cidadãos.
A utilização da avaliação heurística se mostrou bastante
eficaz para identificar os problemas de usabilidade, visto que
profissionais da área de IHC se empenharam nesta tarefa. Com
isso, situações envolvendo esses problemas foram criadas, de
forma que o público-alvo, os cidadãos, puderam vivenciá-las em
condições naturais. A seguir, destaca-se alguns problemas
identificados em cada uma das heurísticas:
 Visibilidade de Status do Sistema: Carregamento de
páginas do portal é lento e sem progresso, exibindo
apenas um ciclo girando sem tempo de conclusão.
Verificou-se que demora em média 8 segundos para
carregar a página solicitada: gravidade 3. Quando
ocorre falha no carregamento, as mensagens de
feedback não são claras ou muitas vezes nem existem:
gravidade 2. E no processamento de pesquisas longas, o
sistema não apresenta informação a respeito da
evolução: gravidade 3.
 Relacionamento entre a interface do sistema e o
mundo real: Não existe uma ordem lógica e natural de
apresentação de todas as informações no portal:
gravidade 2. O sistema não dispõe de opções que
habilitem interfaces distintas para usuários especiais
(acessibilidade para pessoas com algum tipo de
deficiência): gravidade 3.
 Liberdade e controle do usuário: Em alguns
processamentos não existe opções de controle que
permita cancelar uma transação em andamento:
gravidade 3. O portal oferece opções de controle para
personalizar uma pesquisa, entretanto, essas opções são
confusas e acaba dificultando mais do que ajudando:
gravidade 2. Nem todas as páginas do sistema
apresentam o botão Home funcionando corretamente:
gravidade 2. O sistema não apresenta mensagens de erro
consistentes, e em alguns casos, as mensagens nem são
exibidas: gravidade 3.
 Consistência: Os botões com opções de filtrar,
selecionar, personalizar uma pesquisa, bem como outros
existentes não são padronizados, cada botão possui um
tamanho diferente, e é disposto na tela sem alinhamento
com os demais, além disso, nenhum dos botões presentes
no portal apresentam ícones: gravidade 3. Tamanho de
 fontes nas páginas não é padronizado, assim como nas
tabelas: gravidade 1. As cores não são adequadas a
alguns itens, em especial ao Menu, por não proporcionar
destaque, que torne fácil a visualização: gravidade 3.
Inconsistência ou ausência de elementos, opções de
baixar um arquivo em determinado formato de arquivo,
ou sobre determinado assunto, não apresenta resultado
esperado: gravidade 4.
 Prevenção de erros: Em alguns campos de busca, que
são considerados como dados válidos apenas números, é
possível digitar letras e símbolos de forma natural, sem
que os usuários recebem mensagens de alerta sobre a
inserção incorreta de dados. Além disso, ao processar a
pesquisa nenhuma informação é retornada, mesmo
quando estas estão disponíveis: gravidade 4. Não prover
instruções para navegação e complemento na tela de
itens pesquisados: gravidade 2. Nos itens de
personalização de consultas, não aparece nenhuma
instrução de como proceder para elaborar um filtro que
retorne as informações desejadas pelo usuário:
gravidade 3.
 Reconhecimento ao invés de lembrança: Algumas
opções, em especial exportação de dados, em diferentes
formatos, não está claramente visível, ficando no final
da página: gravidade 2. Alguns ícones e menus não
possuem significados consistentes, que ajudem os
usuários a se localizarem dentro da aplicação: gravidade
2.
 Flexibilidade e eficiência de uso: Não é possível fazer
uso de teclas de atalho para realizar tarefas ou ações
dentro do sistema: gravidade 3. Ao navegar dentro de
tabelas, teclas como as setas direcionais, não funcionam,
é possível apenas fazer uso da tecla Tab: gravidade 2. O
portal apresenta muitas tabelas, e não há uma distinção
entre o que é campo e cabeçalho, os textos não estão
destacados e nem adequados ao tamanho de cada
campo: gravidade 3.
 Estética e design minimalista: O portal não apresenta
uma interface amigável, com telas agradáveis,
esteticamente prazerosas: gravidade 2. Na página inicial
não existem menus e sim grandes botões, que ao
posicionar o mouse sobre eles, aparece as demais opções
referentes aquela categoria em um tamanho pequeno.
Nas telas seguintes, os menus estão presentes, mas o
tamanho e destaque de cores não são adequados:
gravidade 2.
 Ajude os usuários a reconhecer, diagnosticar e sanar
erros: Ao digitar um dado incorretamente, o sistema não
apresenta mensagem construtiva, auxiliando o usuário
na correção: gravidade 4. Ao preencher um determinado
campo com dados incorretos, o cursor do mouse não é
posicionado neste campo destacando a parte a ser
corrigida: gravidade 3. Em operações em progresso, o
sistema não exibe opção de cancelamento: gravidade 3.
 Ajuda e documentação: O portal não oferece ajuda ao
usuário: gravidade 4. A opção de pesquisa que ajudaria a
buscar alguns itens, não existe: gravidade 4. Com
relação a documentação, o portal apresenta apenas as
perguntas frequentes, não disponibilizando nenhum
manual ou tutorial que possa auxiliar o usuário:
gravidade 3. Nenhum tipo de ajuda on-line é
disponibilizado no sistema: gravidade 3.
Na Observação de Campo, com auxílio de questionários
e entrevistas, foi realizada a exploração da interface do Portal da
Transparência, por meio de tarefas, previamente definidas, e
executadas pelos usuários selecionados. Diversos cenários foram
criados, e ao descrever cada um, pede-se ao final, que os usuários
executem as tarefas solicitadas. As mesmas não seguem,
necessariamente, a ordem de problemas encontradas nas
heurísticas, mas sim o grau de dificuldade de execução, ou seja, os
usuários começam da tarefa mais fácil para a mais difícil.
Ao realizar cada uma das tarefas, os usuários
encontraram diversas dificuldades, o que consequentemente
influencia no tempo de execução das tarefas, como mostra o
Gráfico 1, destacando o tempo gasto pelos usuários iniciantes e
intermediários na realização da tarefa 1.
1ª Tarefa - Tempo (em minutos)
07:12
05:45
03:37
04:19 06:18
02:52
01:26
00:00
1
Intermediário Iniciante
Gráfico 1 – Tempo de realização da 1ª tarefa
Fonte: Próprio autor (2018)
Os usuários, quando questionados sobre as maiores
dificuldades enfrentadas, responderam que a falta do item
pesquisar e textos mais visíveis, juntamente com a presença de
menus, foram os pontos mais críticos, aqueles que causaram
maiores transtornos, como é possível perceber nessa fala de um
dos participantes:
P3: Em relação ao site, tem muitas
coisas confusas, é... e também em
questão de organização do site, por
exemplo, na primeira tarefa eu
não consigo encontrar a barra de
pesquisar, que deveria estar
visível, é...
Figura 0 – Consulta a Transferências
Alegaram também que o layout não é muito agradável
e, mesmo ao personalizar com outras cores disponibilizadas, o Fonte: Próprio autor, 2018
resultado não apresenta mudanças significativas:

P4: [...] a aparência do site é

mesmo pra dificultar o acesso do
cidadão às informações, que O Gráfico 2, mostra os resultados obtidos, quando
deveriam estar transparentes e não questionados sobre a navegação no portal.
está.

Durante a entrevista, ao perguntar sobre quais pontos

poderiam melhorar, 83% dos usuários destacaram inicialmente a Navegação no Portal
organização dos itens, criando uma faixa de opções, semelhante
aos outros sites, e por unanimidade, o item pesquisar foi o alvo de
maior reclamação, como mostra a Figura 2, e que eles consideram 17% 17%
essencial, e, portanto, deveria ser a primeira correção a ser feita
no portal.
Muito Fácil
Figura 0.2 – Página inicial do Portal da Transparência de Princesa 67% Fácil
Isabel Nem Fácil
nem difícil
Fonte: Próprio autor, 2018

Nas tarefas seguintes, vários problemas foram

identificados, tais como falta de acessibilidade (Figura 3), alguns
campos permitem inserir qualquer tipo de dados, sem apresentar Gráfico 2 – Resultado de como os usuários consideraram a
uma mensagem de erro ou alerta para que o usuário possa fazer a navegação no portal
inserção correta dos dados (Figura 4), entre outros. Fonte: Próprio autor (2018)

Figura 3 – Página de Acessibilidade

Fonte: Próprio autor, 2018

6. Considerações finais

Neste trabalho foi proposta uma avaliação de

usabilidade para identificar problemas no que diz respeito à
interação homem-computador, com intuito de proporcionar um
aumento na qualidade das interfaces e interatividade fazendo com
que os usuários tenham menos dificuldades em utilizar a interface
do Portal da transparência. Através da utilização de um conjunto
de métodos empíricos e não empíricos, todos os critérios e
instrumentos da avaliação foram definidos, de tal forma que, os
resultados almejados foram alcançados, sem maiores dificuldades.
Dentre os problemas identificados, os mais graves estão
relacionados a falta de ajuda ao usuário, organização e
padronização de objetos, como botões e campos de busca, bem
como visibilidade do status do sistema, dificultando o
reconhecimento do local do sistema onde o usuário se encontra e
ainda questões de liberdade, controle e flexibilidade do usuário em
relação ao sistema. Já nesta seção, foram listadas algumas
recomendações para esses problemas, com intuito de minimizar os
danos causados por estes.
Os resultados mostram que portais como esse avaliado,
são instrumentos essenciais para os cidadãos, no processo de
fiscalização da correta aplicação dos recursos públicos. No
entanto, ainda precisam ser aprimoradas, pois os níveis de
usabilidade ainda são baixos, o que consequentemente acarreta em
maiores dificuldades para os usuários.
REFERÊNCIAS
BRASIL. Lei Complementar nº 131, de 27 de maio de 2009.
Acrescenta dispositivos à Lei Complementar no 101, de 4 de maio
de 2000, que estabelece normas de finanças públicas voltadas para
a responsabilidade na gestão fiscal e dá outras providências, a fim
de determinar a disponibilização, em tempo real, de informações
pormenorizadas sobre a execução orçamentária e financeira da
União, dos Estados, do Distrito Federal e dos Municípios. Diário
Oficial da União, Brasília, DF, 28 maio 2009. Seção 1, p. 02.
BRASIL. Ministério da Transparência e Controladoria-Geral da
União. Portal da Transparência. Disponível em:
<http://www.portaldatransparencia.gov.br/controleSocial/>.
Acesso em: 17 de junho de 2017.
ELMAR. Sobre a empresa. Disponível em:
<http://portalelmar.com.br/site/2017/empresa-quem-somos/>.
Acesso em: 22 de fevereiro de 2018.
FERREIRA, Kátia Gomes. Teste de usabilidade. 2002. Monografia
(Especialização em Engenharia de Software) - UFMG. Belo
Horizonte.
JORDAN, Patrick W. An introduction to Usability. Philadelphia:
Taylor & Francis, 1998.
LACERDA, Luciana Melo de. Análise de Usabilidade de livro
digital na EAD: uma avaliação heurística. (Mestrado em Design) –
Programa de Pós-Graduação em Design, Universidade Federal do
Rio Grande do Norte, Natal, 2014.
MENDES, Gilberto E. F.; Nilander, Rafael Menezes. Perspectivas
do governo eletrônico: avaliando a usabilidade no portal Compras
Pará. (Graduação em Sistemas de Informação) Universidade
Federal Rural da Amazônia, Belém, 2016.
MENDONÇA, Jônatas Medeiros de; SILVA, Rodrigo M. Soares da.
Técnicas de usabilidade e testes automatizados em processos de
desenvolvimento de software empírico. (Graduação em
Engenharia de Software). Universidade de Brasília, Brasília, 2014.
NIELSEN, Jakob; LORANGER, Hoa. Usabilidade na web:
Projetando websites com qualidade. 1. Rio de Janeiro: Campus,
2007. 432 p
NIELSEN, Jakob. Usability engineering. 2º ed. San Diego,
California: Academic Press, 1994.
PEREIRA, Fernanda. Avaliação de usabilidade em bibliotecas
digitais: um estudo de caso. 2011. Dissertação (Mestrado em
Ciência da Informação) – Escola de Ciência da Informação da
Universidade Federal de Minas Gerais.
RAMOS, Marcelo Souza. Usabilidade e Arquitetura de Informação
de Websites de Governos Municipais. (Especialização em
Tecnologia de Análise e Projeto de Sistemas). Faculdade de
Tecnologia de São Paulo, São Paulo, 2011.
ROCHA, Heloísa; BARANAUSKAS, Cecília. Design e avaliação de
interfaces humano-computador. Campinas, SP: NIED/UNICAMP,
2003.