Usabilidade e Experi Encia Do Usu Ario: An Alise Das Resenhas de Aplicativos Do Governo Federal Brasileiro

Usabilidade e Experiência do Usuário: Análise das Resenhas
de Aplicativos do Governo Federal Brasileiro

Lucas Alves Rossi Figueira1
1
Instituto de Ciências Exatas e Informática
Pontifı́cia Universidade Católica de Minas Gerais (PUC Minas)
Rua Cláudio Manoel, 1162, Funcionários – Belo Horizonte – MG – Brasil
larfigueira@sga.pucminas.br
Abstract. It is important that applications (apps) for mobile devices are desig-
ned to promote good usability and user experience (UX). In Brazil, the most
used apps store is Google Play, on Android, where the three most downloaded
applications of the Brazilian Government are also available. Based on 330 user
reviews of these applications, the usability and UX were analyzed through re-
views on Google Play by users of the most popular Android applications of the
Brazilian Federal Government. Through manual analysis of the reviews, a cate-
gorization was created and the results indicate that some of these criteria were
not met. Despite the recognized efforts of the Government and the high score on
Google Play, opportunities for improvements associated with effectiveness and
efficiency were identified, impacted by problems in authentication and facial re-
cognition, in the handling of error messages and the inconsistency of data from
apps.
Resumo. É importante que as aplicações (apps) para dispositivos móveis se-

jam projetadas para promover uma boa usabilidade e experiência do usuário
(UX). No Brasil, a loja de apps mais utilizada é o Google Play, do Android,
onde estão também os três aplicativos mais baixados do Governo brasileiro.
A partir de uma amostra de 330 resenhas dos usuários desses aplicativos,
analisou-se a usabilidade e UX dos aplicativos Android mais populares do Go-
verno Federal brasileiro. Por meio da análise manual das resenhas, criou-se
uma categorização e os resultados indicam o não atendimento a alguns des-
ses critérios. Apesar dos reconhecidos esforços do Governo e das notas al-
tas no Google Play, identificaram-se oportunidades de melhorias associadas
à eficácia e eficiência, impactadas por problemas na autenticação e reconheci-
mento facial, no tratamento de mensagens de erros e na inconsistência de dados
dos apps.
Bacharelado em Engenharia de Software - PUC Minas

Trabalho de Conclusão de Curso (TCC)
Orientador de conteúdo (TCC I): Cleiton Tavares - cleitontavares@pucminas.br

Orientadora de conteúdo (TCC I): Simone de Assis - simone@pucminas.br
Orientador acadêmico (TCC I): Laerte Xavier - laertexavier@pucminas.br
Orientador do TCC II: Rodrigo Baroni de Carvalho - baroni@pucminas.br
Belo Horizonte, 14 de maio de 2023.

1. Introdução
A utilização de tecnologias digitais em diversas tarefas do cotidiano torna-se cada vez
mais comum na sociedade, tanto num contexto global, quanto no Brasil. Esse fato é evi-
denciado inclusive para aplicativos (apps, do inglês applications) para dispositivos mobile
do Governo brasileiro, tendo em vista o grande papel da Internet na manutenção das ati-
vidades econômicas e sociais [Cetic.Br 2022]. Para que a população consiga ter acesso a
essa diversidade de serviços públicos on-line, é importante que as aplicações sejam proje-
tadas com uma boa usabilidade. Esse atributo de qualidade relaciona-se à facilidade de um
indivı́duo utilizar uma interface do usuário (UI, do inglês user interface) [Nielsen 1994].
Associado a esse atributo, pode-se abordar ainda a experiência do usuário (UX, do inglês
user experience), termo que engloba toda a interação que o usuário final tem com um
determinado produto [Nielsen and Norman 2016], podendo este ser um produto de soft-
ware.
O Governo brasileiro adotou os Padrões Web em Governo Eletrônico
[Gov.Br 2022b], buscando estabelecer boas práticas em relação à comunicação e ao forne-
cimento de serviços em meios eletrônicos. Esse material, disponı́vel na forma de cartilhas
(como a de usabilidade e a de Desenho e Arquitetura de Conteúdo), guia o modo como os
aplicativos para dispositivos mobile devem ser desenvolvidos, garantindo que o usuário
tenha fácil acesso aos serviços que necessita. Contudo, apesar desses padrões e diretrizes,
é possı́vel observar, dentro de lojas virtuais em smartphones, como o Google Play, muitos
aplicativos desenvolvidos pelo Governo brasileiro com comentários negativos – também
denominados de “resenhas” – relacionados a várias questões. Diante desse contexto, o
problema que esta pesquisa busca resolver relaciona-se à questão: como a usabilidade e
experiência dos usuários dos aplicativos Android mais populares do Governo brasi-
leiro podem ser analisadas por meio das resenhas no Google Play?
De 2019 a 2020, entre os usuários de Internet no Brasil, houve um aumento de
9% no percentual de cidadãos que realizam algum serviço público pela web, como emitir
um documento. Em 2020, 58% dos usuários utilizaram exclusivamente o telefone celular
para acessar a Internet [Cetic.Br 2021]. Já em termos do sistema operacional utilizado
nos aparelhos, é importante destacar que mais de 80% dos brasileiros utiliza o Android
[StatCounter 2022], cuja loja de aplicativos é o Google Play. Deve-se considerar, ainda,
que as resenhas (reviews) deixadas pelos usuários desses aplicativos auxiliam desenvolve-
dores a identificar melhorias para atualizações futuras [Martin et al. 2016], que impactam
positivamente na usabilidade e experiência do usuário. Assim, a partir de comentários
relacionados à UI, por exemplo, modificações no design são realizadas, garantindo poste-
riormente uma melhor avaliação do usuário para o app [Chen et al. 2021].
Sendo assim, diante ao que foi exposto, este trabalho tem como objetivo ge-
ral analisar a usabilidade e experiência do usuário (UX) dos aplicativos Android
mais populares do Governo Federal brasileiro, a partir das resenhas dos usuários
no Google Play. Para tanto, têm-se os seguintes objetivos especı́ficos: i) identificar os
motivos que causam insatisfação em relação aos aplicativos do Governo brasileiro; ii) ca-
tegorizar, em termos da usabilidade e experiência do usuário, os problemas identificados
nos comentários desses aplicativos; iii) identificar, a partir dos comentários dos usuários
do Google Play, diretrizes dos Padrões Web em Governo Eletrônico que possivelmente
não estão sendo seguidas; iv) propor, a partir das análises realizadas, melhorias para tais
diretrizes e também para os aplicativos.
Este estudo buscou identificar problemas de usabilidade em aplicativos móveis do
Governo Federal brasileiro, que interfiram na UX, verificando também se essas aplicações
estão em conformidade com os Padrões Web em Governo Eletrônico. Além disso, a par-
tir da análise de conteúdo do texto das resenhas dessas aplicações existentes no Google
Play, compreenderam-se as conexões da insatisfação de parte dos usuários com aspec-
tos de usabilidade e UX. Dessa forma, por meio da comparação do que é pontuado pe-
los usuários acerca desses aplicativos no Google Play com os Padrões Web em Governo
Eletrônico, melhorias e adequações foram propostas aos “Serviços e Informações do Bra-
sil”1 , entidade responsável pela manutenção dos aplicativos do Governo Federal na loja
de aplicativos do Android.
Este trabalho está organizado da seguinte forma: a Seção 2 consiste na
fundamentação teórica, que traz os conceitos principais para o entendimento da pesquisa.
A Seção 3 aborda os trabalhos relacionados. A Seção 4 explica a construção do mo-
delo teórico desta pesquisa, utilizado na análise de conteúdo realizada, a qual é detalhada
na Seção 5 de Materiais e Métodos. A Seção 6 traz os resultados encontrados, que são
mais profundamente discutidos na Seção 7, juntamente com as ameaças à validade. Por
fim, a Seção 8 versa sobre a conclusão deste estudo e trabalhos futuros que podem ser
realizados.
2. Fundamentação Teórica
Esta seção aborda os principais conceitos a serem utilizados para o desenvolvimento deste
trabalho, sendo eles: usabilidade, experiência do usuário e governo eletrônico.
2.1. Usabilidade
A usabilidade é conceituada inicialmente na ISO 9241, indicando até que ponto um
sistema, produto ou serviço pode ser usado por usuários especı́ficos para atingir ob-
jetivos especı́ficos com eficácia, eficiência e satisfação em situações especı́ficas de
uso[NBR ISO/IEC 2021]. Assim, enquanto a eficácia relaciona-se à extensão na qual
os resultados reais correspondem àqueles pretendidos, a eficiência aponta, em relação
aos resultados alcançado, os recursos utilizados, que podem ser tempo, esforço humano,
dinheiro e materiais [NBR ISO/IEC 2011].
Ainda, no contexto da qualidade de software, o termo é trazido na ISO 9126,
referindo-se à capacidade de um produto de software, sob uma condição especificada,
ser compreendido, aprendido, operado e atrativo ao usuário [NBR ISO/IEC 2003]. Essa
norma propõe algumas sub-caracterı́sticas, como inteligibilidade, que diz respeito à capa-
cidade de um produto de software de permitir que o usuário compreenda se ele é apropri-
ado e de que maneira ele pode ser utilizado para o contexto que necessita; atratividade, que
se refere à capacidade do software de ser atrativo para o usuário; e a conformidade voltada
à usabilidade, que se relaciona às normas, convenções, guias de estilo ou regulamentações
associadas à usabilidade [NBR ISO/IEC 2003].
A usabilidade pode ser entendida também como atributo de qualidade relacionado
à facilidade de um usuário utilizar uma UI [Nielsen 1994]. Nesse aspecto, de acordo com
1
Link para a entidade no Google Play: https://play.google.com/store/apps/dev?id=5829287075355252046
Nielsen (1994), ela é definida por cinco componentes: i) capacidade de aprendizado (do
inglês, learnability), que diz sobre o quão fácil é para um usuário completar tarefas em um
primeiro contato com o design do software; ii) eficiência, relacionada à velocidade que um
utilizador do software, dado que já o conhece, realiza as tarefas; iii) memorização, que
se refere à capacidade do usuário reestabelecer sua proficiência no sistema de software
após um perı́odo sem utilizá-lo; iv) erros, relacionado à quantidade de erros informados
pelo sistema cometidos pelo usuário, bem como a gravidade e o quão fácil é recuperar-se
deles; v) e satisfação, relacionado ao quão prazeroso é de se utilizar o design proposto na
UI do software.
2.2. Experiência do usuário (UX)

O termo “experiência do usuário” (UX, do inglês user experience) é considerado bastante
amplo, estando relacionado ao cumprimento das exatas necessidades de um consumidor,
de modo que não haja complicações em se atingir o objetivo final desejado pelo usuário
no contexto do software utilizado. Sendo assim, numa organização, para se atingir esse
objetivo, é preciso haver um trabalho multidisciplinar de várias áreas, como a engenharia,
marketing, design gráfico, industrial e de interfaces [Nielsen and Norman 2016]. A UX
volta-se, portanto, a como as pessoas se sentem quando utilizam um produto ou serviço
[Interaction Design Foundation 2022].
Ainda, conforme a ISO 9241, pode-se afirmar que a UX consiste das percepções e
respostas que uma pessoa tem a partir do uso e/ou uso antecipado de um produto, sistema
ou serviço [NBR ISO/IEC 2011]. É importante observar que essa experiência inclui todas
as emoções, crenças, preferências, percepções, respostas fı́sicas e psicológicas, compor-
tamentos e realizações do usuário que ocorrem durante o processo [NBR ISO/IEC 2011].
Nota-se, portanto, que a UX não se refere apenas à usabilidade ou interface de um sistema
[Nielsen and Norman 2016], mas sim a todo o conjunto de fatores envolvidos no processo
de interação entre o usuário e um sistema.
2.3. Governo Eletrônico

O governo eletrônico consiste em uma infraestrutura unificada de comunicação, com-
posta por diversos órgãos públicos que se utilizam da tecnologia da informação e da
comunicação, objetivando a melhora da gestão pública e o atendimento aos cidadãos
[Rover 2009]. No Brasil, esse conceito passou a ser adotado em 2000, com a criação
do Programa de Governo Eletrônico do Estado brasileiro. Na época, um grupo de traba-
lho dentro do Governo foi criado, visando analisar e propor polı́ticas, diretrizes e normas
voltadas às novas maneiras de interação eletrônica [Gov.Br 2019].
Em 2019, após as modificações que foram ocorrendo nesse cenário durante vários
anos, o Governo do Brasil passou a contar com o portal único “gov.br”, concentrando
todos os serviços e informações acerca do Governo Federal num único lugar. Além disso,
no mesmo ano, foram publicados os Padrões Web em Governo Eletrônico (ePWG), que
correspondem a recomendações de boas práticas organizadas em cartilhas, as quais obje-
tivam melhorar a comunicação e a disponibilização de informações e serviços prestados
por meios eletrônicos pelos órgãos da Administração Pública Federal [Gov.Br 2022b].
Dentre as cartilhas mencionadas, esta pesquisa utiliza como referência duas
especı́ficas, sendo elas a Cartilha de Usabilidade e Arquitetura de Conteúdo
[Gov.Br 2022b]. A primeira introduz conceitos de usabilidade no contexto do desen-
volvimento e manutenção dos serviços eletrônicos do Governo brasileiro, apresentando
um conjunto de sete diretrizes de usabilidade, sendo elas: i) contexto e navegação; ii)
carga de informação; iii) autonomia; v) erros; v) desenho; vi) redação; e vii) consistência
e familiaridade [Gov.Br 2010]. Associadas a cada uma delas, encontram-se diversas
recomendações, as quais se encontram listadas na Tabela 4 dos Anexos. Na documentação
completa, além das recomendações, há também textos explicativos para cada uma delas.
A segunda cartilha consiste em um design system (DS), conceito que pode ser de-
finido como um conjunto de diretrizes de boas práticas de design visual, utilizado junto a
produtos, plataformas e serviços [Yang et al. 2021]. Nesse DS do Governo brasileiro, de-
nominado Padrão Digital de Governo, são seguidos princı́pios e práticas a partir de cinco
diretrizes: i) experiência única; ii) eficiência e clareza; iii) acessibilidade; iv) reutilização;
e v) colaboração [Gov.Br 2022a].
A iniciativa de adotar a padronização do DS veio da identificação da necessidade
de se oferecer uma experiência única e consistente, a partir de processos simples e eficazes
que resolvem rapidamente o problema dos usuários [Gov.Br 2022a]. Os itens do DS
Padrão Digital de Governo considerados na pesquisa estão listados nas Tabelas 5 e 6 dos
Anexos. Vale ressaltar que, no caso do desenvolvimento de aplicações para dispositivos
móveis, alguns padrões podem ser opcionais ou suprimidos, já que em algumas situações
a funcionalidade nativa do sistema operacional pode ser mais adequada2 .
3. Trabalhos Relacionados
Esta seção discute alguns trabalhos que possuem relação com a atual pesquisa, seja por
abordar a usabilidade e experiência do usuário no contexto de soluções tecnológicas do
Governo brasileiro, seja por discutir a relação entre a qualidade dos aplicativos e as
avaliações de usuários em lojas de aplicativos de dispositivos móveis, como o Google
Play.
Chen et al. (2021) buscam compreender os problemas de interface de usuário
(UI issues) percebidos pelos usuários finais em aplicativos de dispositivos móveis (apps),
e a maneira como os donos dos apps resolvem esses problemas. Isso é feito por meio
da análise de mais de 3 milhões de resenhas relacionados a UI issues de 22.199 apps
do Google Play. Como resultado, os autores observaram que apps que apresentam mais
resenhas relacionadas a UI issues têm avaliações menores na loja. Ainda, sumarizaram
essas UI issues em 17 tipos, dentre quatro categorias. Além disso, verificou-se também
que as interações entre desenvolvedores e usuários permitem que a UI de um app melhore,
garantindo uma maior satisfação do usuário. A relação com a atual pesquisa, portanto,
dá-se pela também utilização de comentários nos aplicativos do Governo brasileiro, no
Google Play, para avaliar, dentre eles, a usabilidade e experiência do usuário.
Pereira et al. (2021) discutem a questão da usabilidade em portais web da trans-
parência de universidades federais do Nordeste brasileiro. Utilizando-se de uma tabela
com exigências associadas a requisitos de usabilidade não funcional – que se relacio-
nam à maneira como o serviço de um site é prestado e se o usuário considera fácil a
2
Tabela comparativa dos fundamentos do Padrão Digital de Governo nos diversos dispositivos:
https://www.gov.br/ds/padroes/mobile/android-e-ios
interação com a interface – foi feita a observação e relatos por parte dos avaliadores.
Considera-se que os desenvolvedores desses portais da transparência precisam trabalhar
com a experiência do usuário, para garantir que o usuário seja conduzido de forma mais
fácil exatamente às informações que procura. A relação com o presente trabalho se dá
pelo estudo da usabilidade em portais governamentais do Governo Federal do Brasil.
4. Construção do Modelo Teórico de Pesquisa

Para a criação das categorias por meio da análise de conteúdo, detalhado na seção
seguinte, tomou-se como ponto de partida, para a construção de um modelo teórico,
quatro materiais distintos: (i) as recomendações contidas na Cartilha de Usabilidade
[Gov.Br 2010], dos Padrões Web em Governo Eletrônico do Brasil [Gov.Br 2022b];
(ii) as caracterı́sticas relacionadas ao contexto do design system do Governo brasileiro
[Gov.Br 2022a], como suas diretrizes e os aspectos de “Fundamentos Visuais” e “Padrões
de Design”; e as categorias definidas por (iii) Panichella et al. (2015) e (iv) Chen et al.
(2021).
As recomendações da Cartilha de Usabilidade são divididas em sete diretrizes dis-
tintas, que auxiliam o desenvolvimento e manutenção de um site de governo eletrônico ao
colocar o cidadão em foco [Gov.Br 2010]: contexto e navegação; carga de informação;
autonomia; erro; desenho; redação; e consistência e familiaridade. A relação das
recomendações e a diretriz a qual cada uma delas está associada encontram-se na Ta-
bela 4 dos Anexos. Já no contexto do Padrão Digital de Governo, além de diretrizes como
“experiência única” e “clareza”, têm-se os aspectos de “Fundamentos Visuais” e “Padrões
de Design”, cujas caracterı́sticas associadas com uma breve descrição estão listadas nas
Tabelas 5 e 6 dos Anexos.
Panichella et al. (2015) utilizam categorias mais gerais para caracterizar as re-
senhas, sendo elas: busca por informações, fornecimento de informações, requisição de
funcionalidades, descoberta de problemas e outros. No trabalho de Chen et al. (2021), a
categorização dá-se em função aos problemas encontrados na UI (UI issues). Os diversos
tipos, que se associam a categorias dentre Aparência, Interação, Experiência ou Outros,
encontram-se listados na Tabela 7 dos Anexos.
5. Materiais e Métodos
Esta pesquisa consistiu em um estudo de caso, uma vez que se buscou estabelecer relações
entre diferentes atributos a partir da investigação de um fenômeno num determinado
espaço de tempo [Wohlin et al. 2012]. Além disso, o trabalho apresenta as caracterı́sticas
de ser exploratório, descritivo, quantitativo e qualitativo, uma vez que foram explorados
comentários postados no Google Play, de usuários que utilizam os aplicativos do Go-
verno brasileiro. Objetiva-se, assim, estabelecer a relação entre as opiniões dos usuários
e a usabilidade e UX relacionadas a esses apps. Os materiais e métodos necessários para
a realização do estudo são discutidos a seguir.
5.1. Procedimentos para Coleta de Dados

Embora existam aplicativos do Governo nos âmbitos municipal e estadual, este trabalho
considerou apenas os da esfera do Governo Federal brasileiro. Foram analisados os três
apps mais populares dentre os 1503 aplicativos do Governo Federal do Brasil, existentes
no Google Play. As informações dos aplicativos, junto aos respectivos comentários, foram
coletadas por meio do Google-Play-Scraper [Plan B 2022], que consiste num crawler do
Google Play para Python.
Os aplicativos escolhidos foram aqueles desenvolvidos pela entidade “Serviços
e Informações do Brasil”, que identifica, no Google Play, a conta oficial responsável
por apresentar os aplicativos dos órgãos e entidades administrativas da Administração
Pública Federal do Brasil [Google Play Store 2022]. A Tabela 3 do Apêndice A mostra o
ranking dos sete aplicativos mais baixados do Governo brasileiro, em ordem decrescente
por número de instalações. Uma vez que se tratam dos apps mais baixados, espera-se que
aqueles no topo do ranking estejam mais aderentes às diretrizes analisadas neste trabalho,
condizentes com os padrões de usabilidade do Governo Federal brasileiro.
Além da data em que os dados foram extraı́dos, para cada um dos aplicativos,
coletaram-se as, em termos dos metadados do aplicativo, seu nome, identificador do
Google Play, descrição, número de downloads, nota do app, número de usuários que
deram uma nota, número de resenhas, data de lançamento, data da última atualização e
número da versão. Em relação às resenhas do aplicativo, coletaram-se o tı́tulo da resenha,
conteúdo da resenha, nota dada ao app, data de publicação da resenha e a versão a qual se
refere a resenha.
5.2. Procedimentos para Definição de Categorias e Análise de Conteúdo

Esta subseção detalha o material teórico usado como ponto de partida para a análise de
conteúdo, bem como as etapas relacionadas à análise de conteúdo em si.
5.2.1. Análise de Conteúdo
A análise de conteúdo, conforme coloca Bardin (2011), pode ser utilizada como um
método de categorização que permite classificar, dentro de algo semelhante a gavetas,
os significados de um texto [Santos 2012]. Para uma categorização inicial, foram coleta-
das 500 resenhas de cada um dos três aplicativos, totalizando 1500 resenhas. Porém, com
o intuito de analisar resenhas que continham informações mais detalhadas em relação
ao app, apenas aquelas com mais de 30 caracteres (inclusive) foram consideradas para
a caracterização qualitativa. Restaram 477 resenhas para a análise de conteúdo, o que
representou 31,8% do total. Dessas 477 resenhas, 237 pertenciam ao aplicativo Carteira
de Trabalho Digital; 128, ao Carteira Digital de Trânsito; e 112, ao gov.br. Assim, consi-
derando que o app gov.br possuı́a o menor número de resenhas, foram analisadas as 110
primeiras resenhas de cada aplicativo, ordenadas de modo decrescente pelo número de ca-
racteres do texto, para se ter uma análise balanceada e com mais informações relevantes
e detalhadas.
A análise de conteúdo foi realizada de forma iterativa. Portanto, a cada iteração,
todas as resenhas eram relidas e novas categorias eram adotadas, substituindo outras,
a fim de que o modelo proposto ficasse mais ajustado aos dados. As resenhas foram,
então, categorizadas conforme a ideia central do texto publicado pelo usuário. Houve, no
3
Quantidade verificada em acesso realizado ao Google Play no dia 29 de outubro de 2022.
total, três iterações, sendo a última a que gerou as categorias consideradas na análise dos
resultados.
As iterações sucederam-se da seguinte maneira: a primeira ocorreu na primeira
quinzena de março de 2023 e gerou seis categorias; a segunda ocorreu na segunda quin-
zena de março de 2023 e gerou nove categorias, além de quatro subcategorias; e a ter-
ceira e última iiteração ocorreu entre a primeira e segunda quinzenas de abril de 2023,
consolidando as 10 seguintes categorias: “Eficiência”; “Eficácia”; “Eficiência/Eficácia”;
“Genérico”; ”Mecanismos de apoio”; “Navegação”; “Solicitação de funcionalidade”;
“Tratamento de Erros”, “Indefinido (sem conteúdo)” e “Não relacionado”. Ainda, as mes-
mas quatro subcategorias da iteração anterior foram igualmente utilizadas: “Autorização
e Acesso”, “Dados desatualizados”, “Dados incompletos” e “Indisponibilidade do sis-
tema”.
Considerando que a terceira iteração foi a última e a que apresentou o modelo de

categorias mais aderente às resenhas analisadas, têm-se relacionadas as descrições para
cada uma dessas 10 categorias no Apêndice B.
As subcategorias identificadas a partir da segunda iteração podem estar associa-
das a qualquer categoria. A categoria “Autorização e acesso” refere-se a resenhas que
pontuavam questões relacionadas ao acesso e autenticação na conta durante o acesso ao
aplicativo. “Dados desatualizados“ e “Dados incompletos“ estão relacionadas a resenhas
em que os usuários abordam pontos voltados à consistência de dados encontrados no apli-
cativo. Por fim, a subcategoria “Indisponibilidade do sistema“ refere-se a resenhas que
abordam a impossibilidade de acessar o aplicativo por uma indisponibilidade do sistema.
Após a execução dos procedimentos anteriores, os dados obtidos na análise de
conteúdo – um método qualitativo – foram consolidados e analisados em termos quanti-
tativos.
6. Resultados
Os resultados são primeiramente exibidos desconsiderando as notas dadas pelos usuários,
para os aplicativos, por meio das resenhas. A associação da satisfação ou insatisfação
com as categorias é feita num segundo momento.
6.1. Resultados Globais

Os itens desta subseção objetivam analisar a distribuição das categorias sem considerar a
nota dada aos aplicativos, indicadas nas resenhas dos usuários. Dessa forma, os resultados
que constam nesta seção indicam apenas se o aspecto relacionado à categoria foi ou não
tratado no contexto da resenha, independentemente se a percepção do usuário foi positiva
ou negativa.
6.1.1. Resenhas por Categoria
A Figura 1 mostra a distribuição percentual das 330 resenhas, por categoria criada, para
todos os três aplicativos considerados nesta pesquisa: Carteira de Trabalho Digital, Car-
teira Digital de Trânsito e gov.br. É possı́vel observar que a maioria das resenhas (36,67%)
está relacionada à eficácia, indicando que grande parte dos comentários relaciona-se ao
grau de dificuldade dos usuários de realizar as tarefas esperadas.
Em seguida, tem-se que 19,09% das resenhas são relacionadas à eficiência e
eficácia concomitantemente, o que mostra que, além da execução ou não de uma tarefa
especı́fica, os usuários trazem também percepções acerca dos recursos utilizados nessas
tarefas – que aqui se relacionam principalmente ao tempo gasto. Além disso, 13,64%
das resenhas estão associadas à categoria “Tratamento de erros”, trazendo evidências de
que, em suas resenhas, os usuários reportam significativamente erros retornados pelo sis-
tema, que podem não ser facilmente compreensı́veis, impedindo a execução das tarefas
especı́ficas.
Figura 1. Percentual de resenhas por categoria, para os três aplicativos analisa-

dos.
6.1.2. Resenhas por Categoria e Aplicativo
A Figura 2 exibe a distribuição percentual das resenhas, por categoria criada, para cada
um dos aplicativos analisados. Em termos gerais, a eficácia é o tema mais recorrente no
discurso dos usuários, estando presente em 35,4% das resenhas da Carteira de Trabalho
Digital, em 39,09% das resenhas para a Carteira Digital de Trânsito e em 35,45% naquelas
do gov.br. Em termos da categoria “Tratamento de erros”, é possı́vel notar uma dispari-
dade em relação ao aplicativo Carteira de Trabalho Digital: 32,73% das suas resenhas
estão associadas a essa categoria, contra 6,36% do gov.br e 1,82% da Carteira Digital de
Trânsito.
Ainda, em relação à “Eficiência e Eficácia”, os três aplicativos apresentaram uma
distribuição percentual significativa de resenhas com essa categoria, principalmente a Car-
teira de Trabalho Digital e Carteira Digital de Trânsito, que tiveram um percentual de
19,09% e 25,45% respectivamente. Porém, apesar do gov.br ter 12,73% de suas resenhas
categorizadas dessa forma, sua segunda categoria mais frequente é a de “Eficiência”, es-
tando associada a 15,45% dos comentários. Isso indica que, em relação aos outros dois
aplicativos, os cidadãos retratam mais no gov.br questões relacionadas ao tempo (ou ou-
tros recursos) gastos no aplicativo durante a execução das tarefas especı́ficas em seu con-
texto.
Figura 2. Percentual de resenhas por categoria, para cada um dos três aplicati-
vos analisados.
6.1.3. Subcategorias por Categorias e Aplicativos
Conforme foi detalhado na seção de Materiais e Métodos, identificou-se a necessidade

de se criarem subcategorias, tendo em vista a recorrência de alguns temas especı́ficos
relacionados às categorias principais. É necessário ponderar inicialmente que, das 330
resenhas consideradas para análise, 138 foram associadas a uma subcategoria, represen-
tando 41,82%.
Em termos da distribuição percentual das resenhas, por categoria criada, para as
resenhas de todos os aplicativos analisados, foi possı́vel observar que a metade das ca-
tegorias não possui qualquer subcategoria relacionada, principalmente aquelas que não
estão associadas ao contexto de usabilidade, por serem genéricas ou não abordarem al-
gum aspecto relacionado. Contudo, as categorias “Tratamento de erros”, “Eficiência”,
“Mecanismos de Apoio” concentram a subcategoria de “Autorização e Acesso”, sendo
representadas por, respectivamente, 64,44%, 50% e 45,45% de resenhas. A associação
observada é um indı́cio de que os usuários estão relatando a existência de erros no aplica-
tivo, principalmente relacionados à autenticação e acesso inicial.
A Figura 3 mostra a distribuição das subcategorias para cada um dos três apps.
Para os aplicativos Carteira de Trabalho Digital e gov.br, pouco mais da metade das
resenhas, 51,82% e 51,38% respectivamente, não possuem subcategorias relacionadas,
enquanto a Carteira Digital de Trânsito concentra 73,83% de suas resenhas sem subca-
tegorias. Pode-se afirmar que os aplicativos Carteira de Trabalho Digital e gov.br foram
mais significativos no momento da concepção das subcategorias na análise de conteúdo.
Em relação às demais subcategorias, os aplicativos Carteira de Trabalho Digital e
Carteira Digital de Trânsito apresentaram, respectivamente, 20,56% e 10,0% de resenhas
relacionadas a Dados desatualizados. Essa questão, que é mais frequentemente relaci-
onada à categoria “Eficácia”, demonstra que, apesar dos aplicativos permitirem que o
cidadão acesse aos seus documentos, a inconsistência dos dados impede que isso seja
feito de forma eficaz. Além disso, no aplicativo da Carteira Digital de Trânsito, foram
observadas 3,74% resenhas relacionadas a dados incompletos, o que evita que os usuários
atinjam seus objetivos integralmente no contexto do aplicativo, como acessar todas as
informações relacionadas a infrações de trânsito cometidas, por exemplo.
Por fim, tem-se a subcategoria “Indisponibilidade do sistema”, representando, res-
pectivamente, 1,82% e 2,75% das resenhas da Carteira de Trabalho Digital e do gov.br.
Apesar da frequência baixa, a questão afetou a eficácia e eficiência de usuários, já que
não conseguiam acessar as funções que precisavam, tomando muito tempo para se obter
algum resultado.
Figura 3. Percentual de subcategorias por cada um dos três aplicativos analisa-

dos.
6.2. Resultados por Notas

Além da quantidade de resenhas por categoria, os resultados indicados nesta subseção
consideram também a nota dada pelo usuário ao escrever a sua resenha. É possı́vel dar
uma nota que varia de 1 a 5 e alterá-la posteriormente, caso o usuário mude de opinião,
por exemplo. Objetiva-se, assim, compreender a relação das categorias com a satisfação
ou insatisfação dos usuários. É pertinente observar ainda que, no momento da elaboração
deste texto, em abril de 2023, as notas na loja oficial Google Play dos aplicativos Car-
teira de Trabalho Digital, Carteira Digital de Trânsito e gov.br eram, respectivamente, 4,4
estrelas, 4,8 estrelas e 4,7 estrelas.
6.2.1. Notas das Resenhas por Aplicativo
Primeiramente, é importante compreender como a distribuição de notas das resenhas ana-

lisadas se dá de forma gera; e por aplicativo. A Tabela 1 mostra o percentual de resenhas
por aplicativo em relação a dois grupos de notas – intermediárias/negativas, representadas
por resenhas de nota 1, 2 e 3, e positivas, que agrupam resenhas de nota 4 e 5. Constata-se,
assim, grandes diferenças entre os aplicativos: enquanto para Carteira de Trabalho Digital
e gov.br tem-se, respectivamente, 85,45% e 64,55% de resenhas intermediárias/negativas,
apenas 37,27% das resenhas da Carteira Digital de Trânsito encontram-se nesse grupo.
Esse comportamento fornece o indı́cio de que a satisfação dos usuários em relação às
questões de usabilidade está bem abaixo do esperado, principalmente para os apps Car-
teira de Trabalho Digital e Gov.br.
Ainda, de forma geral, verifica-se que a maioria das resenhas analisadas, 62,42%,
tem notas intermediárias/negativas, enquanto os 37,58% restantes possuem notas positi-
vas.
Tabela 1. Distribuição de notas por aplicativo.
% de resenhas por notas Aplicativo % de resenhas
Notas das resenhas Carteira de Trabalho Digital Carteira Digital de Trânsito gov.br
Notas 1, 2 e 3 85,45% 37,27% 64,55% 62,42%
Notas 4 e 5 14,55% 62,73% 35,45% 37,58%
Total 100,00% 100,00% 100,00% 100,00%
6.2.2. Categorias e Subcategorias por Notas
Para compreender como as categorias originadas da análise de conteúdo relacionam-se

às notas das resenhas, a Tabela 2 mostra o percentual de resenhas de cada categoria
em relação aos mesmos grupos de notas anteriores. É possı́vel observar que a catego-
ria “Eficácia”, a qual representa a maior quantidade de resenhas, 36,67%, é a que possui
também maior participação nas resenhas intermediárias/negativas, de forma que 46,12%
das resenhas dessa categoria são representadas por ela. No contexto da usabilidade e da
UX, isso indica que o principal fator que leva os usuários a darem uma nota baixa é a
eficácia, já que o cidadão tem dificuldades de atingir os resultados que espera.
Em termos das resenhas positivas, as relacionadas à eficácia ficam em terceiro lu-
gar, com 20,97%, atrás das categorias “Eficiência/Eficácia” e “Genérico”, que represen-
tam, respectivamente, 33,06% e 21,77% das resenhas positivas. Evidencia-se assim que,
para além de elogios genéricos aos aplicativos, os usuários destacam em seus comentários
aspectos positivos voltados tanto à eficiência quanto à eficácia, fornecendo indı́cios que,
em muitos momentos, os cidadãos brasileiros conseguem acessar os serviços desses apps
e realizar uma tarefa com êxito rapidamente.
Contudo, tendo em vista que 62,42% das resenhas são consideradas inter-
mediárias/negativas, faz-se necessário observar as demais categorias que se relacionam
a esse grupo de notas. “Tratamento de erros”, “Eficiência/Eficácia“ e “Eficiência” re-
presentam, respectivamente, 19,90%, 10,68% e 9,22% dessas resenhas. Infere-se, desse
modo, que os usuários deparam-se muitas vezes com erros cujas mensagens não fornecem
uma possı́vel resolução ao problema, impactando no tempo para a resolução da tarefa.
Tabela 2. Percentual de categorias das resenhas por nota dos aplicativos.

% de categorias por nota Notas das resenhas % de resenhas
Categoria 1, 2 e 3 4e5
Eficácia 46,12% 20,97% 36,67%
Eficiência/Eficácia 10,68% 33,06% 19,09%
Tratamento de erros 19,90% 3,23% 13,64%
Genérico 1,94% 21,77% 9,39%
Eficiência 9,22% 8,87% 9,09%
Indefinido (sem conteúdo) 5,34% 5,65% 5,45%
Mecanismos de apoio 4,85% 1,61% 3,64%
Navegação 1,46% 0,81% 1,21%
Não relacionado 0,00% 2,42% 0,91%
Solicitação de funcionalidade 0,49% 1,61% 0,91%
Total 100,00% 100,00% 100,00%
É válido, ainda, analisar a distribuição das subcategorias das resenhas anterior-

mente mencionadas em relação às notas. Observou-se que, para as resenhas positivas
(notas 4 e 5), 91,67% não estavam associadas a uma subcategoria, de forma que apenas
3,33% e 5,0% estão associadas, respectivamente, às subcategorias “Dados desatualiza-
dos” e ”Autorização e Acesso”. Portanto, considerando a pouca participação dessas sub-
categorias em resenhas com nota positiva, é possı́vel afirmar que a grande maioria dessas
resenhas retrata insatisfação com o processo de autenticação nos aplicativos e com dados
que não representam a realidade. A análise de conteúdo realizada corrobora isso, uma
vez que, em várias resenhas, os usuários relatavam problemas com a autenticação por
reconhecimento facial e com informações faltantes em seus registros.
6.2.3. Categorias e Subcategorias por Notas e Aplicativos
Pode ser considerada, por aplicativo, a distribuição percentual das categorias e sub-
categorias por grupo de notas. Para a Carteira de Trabalho Digital, as categorias
“Eficácia” e “Tratamento de erros” foram as principais responsáveis pelas notas inter-
mediárias/negativas, com 38,30% e 35,11% respectivamente. De suas poucas resenhas
positivas, a maioria foi relacionada à eficiência e eficácia, 31,35%, demonstrando que,
apesar das eventuais dificuldades na execução de tarefas, o app mostra-se útil e rápido
para o seu propósito. Quanto às subcategorias, 40,43% de resenhas com notas 1, 2 e 3
eram relacionadas à ”Autorização e Acesso”, o que corrobora para a ideia de que muito
da dificuldade dos usuários está voltada à autenticação no app. Ainda, 10,64% dessas re-
senhas relaciona-se a “Dados desatualizados”, demonstrando ineficácia nas informações
fornecidas pelo app.
Para o aplicativo Carteira Digital de Trânsito, 65,85% das resenhas de nota baixa
(1, 2 e 3) relacionavam-se à eficácia. Já em termos dos 62,73% de resenhas desse app,
que são positivas, tem-se que 37,68% elogia aspectos voltados à eficiência e à eficácia, de-
monstrando que os usuários realizam os serviços necessários sem muito esforço. Elogios
genéricos, que representam 30,43% dessas notas, confirmam igualmente a satisfação do
usuário com a tecnologia. Quanto às subcategorias, a maioria (46,34%) das reclamações
relaciona-se a dados desatualizados, sendo o principal fator que promove a insatisfação e
ineficácia.
Por fim, quanto ao gov.br, a categoria “Eficiência e Eficácia” é a mais presente
nas resenhas ruins/intermediárias, com 45,07%. Porém, em relação às positivas, a mai-
oria também tem relação com o mesmo tema. Além disso, em relação às subcatego-
rias, “Autorização e Acesso” é a principal representante em cada grupo de notas, sendo
64,79% para o grupo “1, 2 e 3”, e 10,53% para as “4 e 5”. Portanto, observa-se que as
mesmas categorias são abordadas nos comentários com perspectivas diferentes, já que
muitos usuários utilizam os serviços do gov.br com eficácia e agilidade, enquanto outros
não conseguem passar da tela inicial de login do aplicativo.
7. Discussão e Ameaças à Validade

A partir dos resultados encontrados, é possı́vel observar que as resenhas dos aplicativos
analisados trazem informações relevantes ao contexto da usabilidade e experiência do
usuário. Apesar dos apps possuı́rem notas gerais boas no Google Play, com resenhas
elogiando-os, e haver uma documentação de referência consolidada do próprio Governo
brasileiro para esse contexto, verifica-se que os usuários citam em suas resenhas questões
voltadas principalmente à eficácia, eficiência e erros durante a utilização dos serviços.
Os cidadãos não conseguem atingir os resultados esperados no escopo de cada aplicativo
muitas vezes por problemas no login, principalmente no aplicativo da Carteira de Trabalho
Digital, seja em função do reconhecimento facial que não funciona adequadamente e toma
muito tempo, ou por erros que não são devidamente tratados e exibidos sem informações
precisas para o usuário resolvê-lo.
No contexto mais especı́fico dos padrões propostos pelo Governo brasileiro, a Di-
retriz 4 da Cartilha de Usabilidade, que traz recomendações sobre “Erros”, relata que as
mensagens devem ser objetivas e explicativas, orientadas a tarefas sempre que possı́vel.
O princı́pio de “Eficiência e Clareza” do DS “Padrão Digital de Governo” também traz a
necessidade de processos simples, eficientes e eficazes. Portanto, considerando as rese-
nhas analisadas e o caso particular desses aplicativos no contexto do Governo Eletrônico,
evidenciaram-se falhas que não forneceram qualquer tipo de ajuda efetiva, o que vai con-
tra as recomendações das diretrizes e impede o acesso de vários cidadãos aos serviços
públicos disponı́veis eletronicamente.
Além dos problemas de autenticação, que afetaram mais negativamente os apps
Carteira de Trabalho Digital e gov.br, a eficiência, eficácia e satisfação dos usuários – con-
ceitos definidos na ISO 9241 e que não são abordados na Cartilha de Usabilidade – foram
impactados principalmente pela inconsistência nos dados na Carteira Digital de Trânsito
e na Carteira de Trabalho Digital. Durante a análise de conteúdo das resenhas, observou-
se o discurso recorrente de informações que estavam desatualizadas, como o documento
do veı́culo apenas do ano anterior, ou de informações de contratos de trabalho faltan-
tes, demonstrando uma situação de ineficácia no aplicativo. Assim, embora esse pro-
blema não seja necessariamente relacionado ao desenvolvimento dos apps, recomenda-se
a implementação de mensagens com instruções sobre o tempo de espera para atualização
dos dados, bem como um direcionamento para tornar os dados mais atualizados.
Os resultados, portanto, reforçam a fundamentação teórica desta pesquisa, evi-
denciando a necessidade de normatizações e padronizações, principalmente voltadas a
dispositivos móveis. Assim, a partir das melhorias nos critérios sugeridas, assegura-se a
usabilidade dos sistemas com eficácia e eficiência, conceitos que se associam diretamente
à satisfação do usuário e a sua experiência com o serviço. Pode-se afirmar ainda que, de
modo geral, no contexto da análise realizada, a Carteira Digital de Trânsito foi a que mais
se destacou em termos de usabilidade e UX, por se mostrar eficaz e eficiente ao fornecer
facilmente o documento de identificação do cidadão e do veı́culo, além de informações
da habilitação e de infrações, embora exiba eventualmente dados desatualizados.
Em relação às ameaças à validade do presente estudo, pode ser mencionado, pri-
meiramente, que as categorias utilizadas foram consequência da análise de conteúdo, que
consistiu de uma análise interpretativa apenas do autor, de forma que outros pesquisa-
dores poderiam visualizar e construir outra classificação. Além disso, é importante notar
que a análise qualitativa das resenhas pode não representar completamente toda a gama de
dados disponı́veis. Outro fator relevante é que o usuário, ao deixar uma resenha na loja de
aplicativos, geralmente traz mais detalhes quando está insatisfeito. Assim, a quantidade
de resenhas positivas relacionadas à usabilidade e UX pode ser menor, trazendo um viés
à análise.
Ainda no contexto de avaliação, algumas resenhas, mesmo apresentando
reclamações, possuı́am notas boas, fator capaz de comprometer a investigação dos re-
sultados. É possı́vel citar também o grau de alfabetização digital dos usuários. Tendo em
vista a grande diversidade socioeconômica e cultural do Brasil, muitos cidadãos podem
ter dificuldade na utilização dos aplicativos, de forma que sua resenha não se relacione
diretamente à usabilidade e UX dos aplicativos em si. Outra limitação do trabalho é que
a avaliação da experiência do usuário (UX) não foi feita por meio de entrevistas diretas
com usuários, mas a partir da análise de conteúdo de suas resenhas, que constituem uma
expressão limitada da experiência global de uso do app governamental.
8. Conclusão e Trabalhos Futuros

Este trabalho buscou investigar a relação das resenhas de usuários de três aplicativos do
Governo Federal brasileiro no Google Play com as diretrizes governamentais relaciona-
das à usabilidade e à experiência do usuário. Os resultados indicam que essas resenhas
trazem, de fato, essa associação e que, apesar das notas altas dos aplicativos no Google
Play, e da documentação em questão ser bastante consolidada, alguns pontos precisam
de atenção e melhoria. Inicialmente, é válido mencionar que a Cartilha de Usabilidade
é um documento de 2010, voltado para a usabilidade de sites em telas grandes, e não
para dispositivos móveis. Portanto, apesar do design system “Padrão Digital de Governo”
possuir uma parte relacionada ao desenvolvimento mobile, é pertinente atualizar as dire-
trizes considerando um tamanho menor de tela. Trazer também informações associadas
explicitamente à eficiência e eficácia pode aprimorar as recomendações das cartilhas.
Pode-se destacar ainda a necessidade de melhoria no sistema de autenticação das
aplicações, que utiliza o reconhecimento facial para garantir mais segurança aos dados do
cidadão. Assim, embora a louvável iniciativa no âmbito da plataforma gov.br de unificar
o acesso a todos os serviços devesse idealmente trazer eficácia e eficiência para todos
os usuários, muitos têm o resultado oposto em função de erros que fornecem feedbacks
inadequados, não voltados a tarefas. Em termos da ineficácia e ineficiência, pode-se ci-
tar também os dados desatualizados, que não refletem a situação real do cidadão. Tal
fenômeno pode ser explicado por conta da migração de sistemas legados para promover a
integração na plataforma unificada. Nesses casos, é válido que os órgãos públicos tragam
orientações e prazos acerca da atualização dos dados.
Além disso, a partir da análise de conteúdo, contribui-se com a criação de cate-
gorias e subcategorias para esse campo de estudo, as quais podem ser reutilizadas e vali-
dadas em outras pesquisas e contextos, principalmente naquelas relacionadas ao Governo
Eletrônico no cenário brasileiro. Em trabalhos futuros, podem ser avaliados mais aplicati-
vos voltados ao Governo Eletrônico, tanto em nı́vel federal, quanto estadual e municipal.
Ainda, com o auxı́lio de aprendizado de máquina, utilizando-se de ferramentas de Inte-
ligência Artificial, sugere-se treinar um modelo e utilizá-lo para categorizar e classificar
resenhas, permitindo que um número mais significativo de dados seja investigado.
Pacote de Replicação
O pacote de replicação deste trabalho encontra-se disponı́vel em:
https://github.com/ICEI-PUC-Minas-PPLES-TI/plf-es-2022-2-tcci-5308100-pes-
lucas-figueira
Referências
Cetic.Br (2021). Pesquisa sobre o uso das tecnologias de informação e comunicação
nos domicı́lios brasileiros : TIC Domicı́lios 2020 : edição COVID-19 : metodologia
adaptada. Comitê Gestor da Internet no Brasil.
Cetic.Br (2022). Pesquisa sobre o uso das tecnologias de informação e comunicação no
setor público brasileiro : TIC Governo Eletrônico 2021. Comitê Gestor da Internet no
Brasil.
Chen, Q., Chen, C., Hassan, S., Xing, Z., Xia, X., and Hassan, A. E. (2021). How Should
I Improve the UI of My App? A Study of User Reviews of Popular Apps in the Google
Play. ACM Trans. Softw. Eng. Methodol., 30(3).
Google Play Store (2022). Serviços e Informações do Brasil —
https://play.google.com/store/apps/dev?id=5829287075355252046. [Acesso em
22 out. 2022].
Gov.Br (2010). Padrões Web em Governo Eletrônico - Cartilha de Usabilidade —
https://epwg.governoeletronico.gov.br/cartilha-usabilidade.html. [Acesso em 15 set.
2022].
Gov.Br (2019). Do Eletrônico ao Digital — hhttps://www.gov.br/governodigital/pt-
br/estrategia-de-governanca-digital/do-eletronico-ao-digital. [Acesso em 30 set. 2022].
Gov.Br (2022a). Padrão Digital de Governo — https://www.gov.br/ds/home. [Acesso em
12 set. 2022].
Gov.Br (2022b). Padrões Web em Governo Eletrônico —
https://www.gov.br/governodigital/pt-br/acessibilidade-digital/padroes-web-em-
governo-eletronico. [Acesso em 12 set. 2022].
Interaction Design Foundation (2022). The Basics of User Experience Design. Interaction
Design Foundation.
Martin, W., Sarro, F., Jia, Y., Zhang, Y., and Harman, M. (2016). A survey of app
store analysis for software engineering. IEEE transactions on software engineering,
43(9):817–847.
NBR ISO/IEC (2003). Engenharia de software – Qualidade de produto – Parte 1: Modelo
de qualidade. Standard NBR ISO/IEC 9126-1:2003, Associação Brasileira de Normas
Técnicas & International Organization for Standardization.
NBR ISO/IEC (2011). Ergonomia da interação humano-sistema - Parte 210: Projeto cen-
trado no ser humano para sistemas interativos. Standard NBR ISO/IEC 9241-210:2011,
Associação Brasileira de Normas Técnicas & International Organization for Standar-
dization.
NBR ISO/IEC (2021). Ergonomia da interação humano-sistema - Parte 11: Usabilidade:
Definições e conceitos. Standard NBR ISO/IEC 9241-11:2021, Associação Brasileira
de Normas Técnicas & International Organization for Standardization.
Nielsen, J. (1994). Usability 101: Introduction to Usability — https://www.nngroup.com.
[Acesso em 03 set. 2022].
Nielsen, J. and Norman, D. (2016). The Definition of User Experience (UX) —
https://www.nngroup.com. [Acesso em 03 set. 2022].
Panichella, S., Di Sorbo, A., Guzman, E., Visaggio, C. A., Canfora, G., and Gall, H. C.
(2015). How can I improve my app? Classifying user reviews for software maintenance
and evolution. In 2015 IEEE International Conference on Software Maintenance and
Evolution (ICSME), pages 281–290.
Pereira, J. R., Barros, J. F. d. A., Freire, R. d. S., and Vieira França, V. (2021). A qualidade
da usabilidade dos portais de transparência das universidades federais do Nordeste do
Brasil. Revista do Serviço Público, 72(4):803–823.
Plan B (2022). Google-Play-Scraper — https://pypi.org/project/google-play-scraper.
[Acesso em 22 out. 2022].
Rover, A. (2009). Introdução ao governo eletrônico. Revista Democracia Digital e Go-
verno Eletrônico, 1(1).
Santos, F. M. d. (2012). Análise de Conteúdo: a Visão de Laurence Bardin. Revista
Eletrônica de Educação, 6(1):383–387.
StatCounter (2022). Mobile Operating System Market Share Brazil —
https://gs.statcounter.com/os-market-share/mobile/brazil. [Acesso em 24 set.
2022].
Wohlin, C., Runeson, P., Höst, M., Ohlsson, M. C., Regnell, B., and Wesslén, A. (2012).
Experimentation in software engineering. Springer Science & Business Media.
Yang, B., Xing, Z., Xia, X., Chen, C., Ye, D., and Li, S. (2021). Don’t Do That! Hunting
Down Visual Design Smells in Complex UIs Against Design Guidelines. In 2021
IEEE/ACM 43rd International Conference on Software Engineering (ICSE), pages
761–772.
A. Descrição e Instalações dos Aplicativos do Governo Brasileiro
Tabela 3. Ranking, pelo número de instalações, dos aplicativos do “Serviços e

Informações do Brasil”
.
Nome do aplicativo Instalações Descrição
Carteira de Trabalho 66.921.095 A Carteira de Trabalho Digital é uma ferramenta para
Digital o cidadão acompanhar de modo fácil a sua vida labo-
ral, tendo acesso a dados pessoais e aos seus contratos
de trabalho que estão registrados na Carteira de Tra-
balho e Previdência Social.
gov.br 60.902.405 O gov.br é permite que o usuário acesso aos serviços
públicos digitais do Governo brasileiro, utilizando in-
clusive reconhecimento facial. Permite também que
o usuário consulte seus dados e documentos digitais e
faça prova de vida digital.
Carteira Digital de 51.168.508 A Carteira Digital de Trânsito (CDT) permite, além
Trânsito do acesso à Carteira Nacional de Habilitação - CNH,
o download da versão digital do Certificado de Regis-
tro e Licenciamento de Veı́culo – CRLV (Documento
do Veı́culo).
Meu INSS – Central de 42.600.448 O Meu INSS permite que o usuário peça um benefı́cio
Serviços ou serviço e acompanhe o andamento do pedido, so-
licite aposentadoria, calcule quanto tempo falta para
aposentar, tire extratos como imposto de renda, paga-
mento de benefı́cios, dentre outros serviços relaciona-
dos à previdência social.
Conecte SUS 27.725.615 O Conecte SUS Cidadão é o aplicativo oficial do Mi-
nistério da Saúde, onde o cidadão brasileiro pode
visualizar as interações realizadas nos pontos de
atenção à saúde e acompanhar o seu histórico no Sis-
tema Único de Saúde (SUS), como exames, vacinas,
dispensação de medicamentos e localização de esta-
belecimentos de saúde.
Sinesp Cidadão 18.783.196 O Sinesp Cidadão é um aplicativo do Sistema Na-
cional de Informações de Segurança Pública – Si-
nesp, que permite ao cidadão brasileiro acesso direto a
serviços da Secretaria Nacional de Segurança Pública.
Dentre eles, tem-se a consulta à situação de roubo ou
furto de veı́culos, mandado de prisão e desparecimen-
tos.
Pessoa Fı́sica 11.556.950 Aplicativo da Receita Federal que permite a pessoa
fı́sica consultar informações cadastrais sobre o CPF e
gerar comprovantes, registrar a 1ª via do CPF, regu-
larizar o cadastro e ter acesso a perguntas e respostas
sobre o CPF.
B. Descrição das Categorias Criadas na Análise de Conteúdo
Esta seção do apêndice tem o objetivo de descrever as categorias geradas na terceira e

última iteração da análise de conteúdo, detalhada na seção de Materias e Métodos desta
pesquisa.
• Eficiência: resenhas cuja ideia central estivesse relacionada aos recursos gas-
tos para atingir um objetivo especı́fico dentro do aplicativo. Associa-se às
especificações sobre eficiência da ISO 9241 [NBR ISO/IEC 2021] e às orientações
das diretrizes de “Experiência única” e “Eficiência e Clareza” do DS do Governo
brasileiro [Gov.Br 2022a].
• Eficácia: resenhas cuja ideia central estivesse relacionada ao fato do usuário
alcançar ou não os objetivos especı́ficos dentro do aplicativo. Associa-se às
especificações sobre eficácia da ISO 9241 [NBR ISO/IEC 2021] e também às
orientações das diretrizes de “Experiência única” e “Eficiência e Clareza” do DS
do Governo brasileiro [Gov.Br 2022a].
• Eficiência/Eficácia: resenhas cuja ideia central abordasse tanto aspectos relacio-
nados à eficiência, quanto à eficácia, conforme explicadas nos itens anteriores.
• Tratamento de erros: resenhas cuja ideia central estivesse relacionada tanto à
eficácia das mensagens de erros exibidas aos usuários, quanto à possibilidade
do usuário corrigir seus erros no sistema. Associa-se à Diretriz 4 da Carti-
lha da Usabilidade (Erros) [Gov.Br 2010], à categoria “Experiência” proposta na
classificação de Chen et. al (2021); e à caracterı́stica de “Ajuda e Comunicação”
dos “Padrões de Design” do design system do Governo brasileiro [Gov.Br 2022a].
• Genérico: resenhas cuja ideia central estivesse associada a uma observação
genérica do aplicativo, sendo geralmente elogios, mas que não traziam algum
aspecto de usabilidade. Associa-se ao tipo “Resenha genérica” existente na
classificação proposta por Chen et. al (2021).
• Mecanismos de apoio: resenhas cuja ideia central estivesse associada à existência
ou não de informações que auxiliem a utilização dos usuários nos aplicati-
vos. Associa-se à Diretriz 1 da Cartilha da Usabilidade (Contexto e navegação)
[Gov.Br 2010] e à caracterı́stica de “Ajuda e Comunicação” dos “Padrões de De-
sign” do design system do Governo brasileiro [Gov.Br 2022a].
• Navegação: resenhas cuja ideia central estivesse relacionada à navegação e a fa-
cilidade de encontrar recursos dentro do aplicativo. Associa-se à Diretriz 1 da
Cartilha de Usabilidade (Contexto e navegação) [Gov.Br 2010].
• Solicitação de funcionalidade: resenhas cuja ideia central estivesse relacionada
à requisição de uma nova funcionalidade para o aplicativo. Associa-se à categoria
“Requisição de funcionalidades” proposta por Panichella et al. (2015) .
• Indefinido (sem conteúdo): resenhas com conteúdo incompreensı́vel, incoerente
ou que cuja ideia central não estivesse relacionada a nenhum aspecto de usabili-
dade e/ou experiência do usuário.
• Não relacionado: resenhas com conteúdo que não era relacionado aos respectivos
aplicativos.
C. Anexos
Tabela 4. Recomendações relacionadas às diretrizes da Cartilha de Usabilidade

dos Padrões Web em Governo Eletrônico e-PWG, conforme Gov.Br (2010).
Diretrizes Recomendações
1.1 Página inicial clara.
1.2 Estrutura do sı́tio lógica e fácil.
1.3 Estruturar a informação de forma lógica e intuitiva
para o cidadão
1.4 O conteúdo mais importante antes da dobra
Diretriz 1 - Contexto e navegação 1.5 Elementos da identidade visual localizados sem-
pre no mesmo lugar.
1.6 A ferramenta de busca presente em todas as
páginas.
1.7 As páginas, seções ou serviços mais utilizados
visı́veis
1.8 Não use páginas de transição.
1.9 Documentação, tutorial e ajuda.
1.10 Formatos especiais de arquivo e download.
1.11 Não use janelas pop-up ou abra links em nova
janela.
1.15 Não abarrote a página inicial com excesso de
informações.
1.16 Elimine elementos desnecessários das páginas.
1.17 Elimine passos desnecessários em serviços e pre-
Diretriz 2 - Carga de informação enchimento de formulários.
1.18 Em textos extensos, oferecer a opção de baixar o
documento.
1.19 Apenas peça os dados necessários.
1.20 Peça para o cidadão converter dados, medidas ou
valores.
1.21 Cidadão não deve necessitar memorizar dados.
1.22 A rolagem vertical ou horizontal de tela.
1.23 O bom senso no numero de filtros e opções dis-
ponı́veis.
1.24 Mantenha a função do botão de retrocesso
(back/voltar) do navegador
1.25 Não crie páginas que abram e funcionem em tela
cheia.
Diretriz 3 - Autonomia 1.26 Permitir ao cidadão marcar (favoritar) qualquer
página de seu interesse.
1.27 Não usar expressões como “compatı́vel com”,
“melhor visto na resolução...”
1.28 Possibilitar ao cidadão interromper ou cancelar
o processamento ou transação
1.29 É do cidadão o controle sobre a navegação.
1.30 Não usar plugins auto-instaláveis.
1.31 Permitir a cópia de trechos de documentos.
1.32 Quando possı́vel, oferecer a personalização da
página.
1.33 As ações do portal devem ser reversı́veis.
1.34 Permita erros de digitação em busca.
1.35 Avise toda indisponibilidade (ex: troca de servi-
Diretriz 4 - Erros dores).
1.36 Em formulários, mostre o formato desejado.
1.37 Em formulários, só deixe no campo o número de
caracteres desejado.
1.38 As mensagens de erro devem ser sucintas e ex-
plicativas.
1.39 Não limpe o conteúdo do formulário inteiro por
causa de um erro.
1.40 Utilizar um projeto padrão de páginas.

1.41 Agrupar e hierarquizar, de forma clara, as áreas
de informação.
1.42 Usar espaço em branco para separar conteúdos
ou assuntos diferentes.
1.43 Usar fundos neutros, que não comprometam o
Diretriz 5 - Desenho objetivo do sı́tio.
1.44 Evitar o uso de caixa com opções (scroll) ou de
menus de cortina (pull-down) na navegação principal
e persistente.
1.45 O desenho deve estar a serviço da informação.
1.46 Elementos do desenho do sı́tio não devem traba-
lhar em benefı́cio de uma estética particular.
1.47 Utilizar a animação com bom senso
1.48 Conteúdo agradável de ser lido.
1.49 Texto alinhado à esquerda
1.50 Esquema consistente de cores e fontes.
1.51 Respeitar a velocidade de conexão do público-
alvo
1.52 Utilizar de forma consciente plugins e mul-
timı́dia.
1.53 Utilizar uma linguagem clara e familiar
1.54 O texto objetivo.
1.55 Dividir o texto em tópicos.
1.56 Tı́tulos informativos e com destaque visual.
Diretriz 6 - Redação 1.57 Tı́tulo da página explanatório e único.
1.58 Utilizar termos simples e claros como rótulos de
menu.
1.59 Gramática correta.
1.60 Use ênfase e negrito.
1.61 Evitar o uso de caixa alta.
1.62 Usar convenções.
1.63 Usar formato de data e unidades de medida
de acordo com o padrão normalmente utilizado na
Diretriz 7 - Consistência e familiaridade
instituição ou paı́s.
1.64 Planejar a estrutura do sı́tio de acordo com o con-
texto das tarefas realizadas pelos cidadãos.
1.65 Facilitar a navegação do sı́tio.
1.66 Planejar a estrutura do portal de acordo com o
contexto das tarefas realizadas pelos cidadãos.
1.67 Remeter a formulários os links de contato.
Tabela 5. Caracterı́sticas relacionadas ao aspecto de “Fundamentos Visuais” do
design system “Padrão Digital de Governo” [Gov.br 2022a], junto a uma breve
explicação da caracterı́stica.
Aspecto: Fundamentos Visuais

Caracterı́sticas
Breve explicação conforme o Padrão Digital de Governo
relacionadas
Cores A aplicação correta da paleta de cores visa trazer consistência ao Design
System e contribuir para garantir uma interface unificada e facilmente
reconhecı́vel pelos seus usuários.
Iconografia Os ı́cones são representações gráficas que podem simbolizar uma ação,
comunicar ao usuário possibilidades de mudança de estados entre os
elementos de uma interface ou apenas ser uma representação gráfica de
uma ação ou informação textual.
Espaçamento Espaçamento é a distância entre um elemento a outro, representado por
alguma unidade métrica. O espaçamento é um fundamento do design
visual que frequentemente cria uma lacuna entre os designers e os de-
senvolvedores ao projetar uma interface.
Estados Estados são representações visuais para feedbacks interativos ou infor-
macionais relacionados aos elementos na interface. Devem ser consis-
tentes, estabelecendo confiança entre interface e usuário.
Ilustração Ilustração é uma imagem que comunica um estado de forma mais
amigável. As ilustrações ajudam a transmitir ideias simples ou com-
plexas de maneira objetiva. Eles devem ser significativas e refletir o
contexto e o estado emocional do usuário.
Sistema de Grid Grid (ou malha) é uma estrutura geométrica constituı́da por eixos de-
senvolvida para auxiliar o alinhamento de elementos gráficos e textuais
em uma composição visual.
Superfı́cie Superfı́cie é qualquer forma indivisı́vel que pode conter um ou mais
elementos. Todos os componentes desse Design System utilizam su-
perfı́cies como base para a criação dos componentes.
Elevação Elevação é um aspecto importante na organização do layout pois per-
mite que o usuário entenda a relação hierárquica entre diferentes ele-
mentos na tela.
Movimento Movimento é qualquer macro ou micro animação que altera os atribu-
tos visuais de um objeto na tela durante um tempo determinado podendo
ocorrer de forma automática, por meio de uma interação ou pelo con-
trole do usuário.
Tipografia Para a apresentação dos elementos textuais do Design System do Go-
verno Federal, somente uma famı́lia de fonte é utilizada: a Rawline.
Sua escolha foi feita devido à diversidade de pesos da fonte que facilita
o uso e a criação de hierarquias entre os textos, bem como a compre-
ensão dos elementos da tela.
Tabela 6. Caracterı́sticas relacionadas ao aspecto de “Padrões de Design” do
design system “Padrão Digital de Governo” [Gov.br 2022a], junto a uma breve
explicação da caracterı́stica.
Aspecto: Padrões de Design

Caracterı́sticas
Breve explicação conforme o Padrão Digital de Governo
relacionadas
Ajuda e O recurso de ajuda é uma maneira de fornecer respostas às dúvidas ou
Comunicação anseios dos usuários, visando esclarecer os meios pelos quais estes po-
derão concluir suas tarefas, ou acessar algum conteúdo. Já o recurso de
comunicação possibilita o envio de feedback do usuário, como dúvidas,
caso o usuário não encontre a informação desejada no conteúdo de
ajuda, além de ter a possibilidade de enviar sugestões, comentários ou
relatar bugs.
Densidade Densidade é a especificação dos espaçamentos vazios que compõem a
tela ou os componentes de interface, e pode ser ajustada dentro de uma
escala de intensidade, de forma a atender diferentes objetivos no projeto
de layout ou implementação.
Content Overflow Também conhecido como Densidade Informacional, são recursos ou
técnicas para otimizar a organização do conteúdo na tela exibindo ou
ocultando partes do mesmo conforme a prioridade da informação.
Dropdown O padrão Dropdown ocorre quando uma superfı́cie flutuante surge so-
bre a tela, de forma temporária, a partir de um elemento acionador. Esta
superfı́cie pode conter informações adicionais com caracterı́sticas volta-
das para coleta de dados, seleção de opções ou apenas texto informativo.
Formulário Formulário é um grupo de controles de entrada relacionados que per-
mite que os usuários forneçam dados ou configurem opções. Os for-
mulários podem ser simples ou complexos e podem ser apresentados
como páginas dedicadas, painéis laterais ou diálogos, dependendo do
caso de uso e da situação.
Gráfico Os gráficos são representações visuais de dados e informações
numéricas que servem para facilitar sua visualização, bem como para
torná-los mais claros e informativos.
Onboarding Consiste em um padrão para guiar o usuário durante um tutorial,
apresentação ou processo de aprendizado simples.
Collapse O padrão Collapse compreende um modelo para exibir ou ocultar de-
terminado conteúdo em tela, “empurrando” ou “puxando” os elementos
adjacentes na interface.
Navegação A navegação é o processo pelo qual os usuários acessam as telas e fun-
cionalidades de um sistema web, site ou aplicativo, permitindo que estes
realizem suas tarefas, sejam conduzidos através de fluxos de etapas ou
acessem à informação desejada.
Empty States São situações que ocorrem dentro de uma aplicação nas quais não há
dados a serem exibidos para o usuário. Geralmente são visualizados
quando um usuário interage pela primeira vez no sistema, quando os
dados foram excluı́dos ou simplesmente esses dados não estão mais dis-
ponı́veis.
Tabela 7. Categorias e tipos de UI issues, de acordo com Chen et al. (2021).
Tradução do autor.
Categoria Tipos
Layout
Legibilidade e Cor
Aparência Tipografia e Fonte
Iconografia
Imagem
Navegação
Notificação
Interação Movimento
Gesto
Acessibilidade
Redundância
Personalização
Experiência
Propagandas
Feedback
Resenha genérica
Outros Resenha comparativa
Especificação de design

Usabilidade e Experi Encia Do Usu Ario: An Alise Das Resenhas de Aplicativos Do Governo Federal Brasileiro

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Usabilidade e Experi Encia Do Usu Ario: An Alise Das Resenhas de Aplicativos Do Governo Federal Brasileiro

Enviado por

Direitos autorais:

Formatos disponíveis

Usabilidade e Experiência do Usuário: Análise das Resenhas

de Aplicativos do Governo Federal Brasileiro

Resumo. É importante que as aplicações (apps) para dispositivos móveis se-

Bacharelado em Engenharia de Software - PUC Minas

Orientador de conteúdo (TCC I): Cleiton Tavares - cleitontavares@pucminas.br

Belo Horizonte, 14 de maio de 2023.

2.2. Experiência do usuário (UX)

2.3. Governo Eletrônico

4. Construção do Modelo Teórico de Pesquisa

5.1. Procedimentos para Coleta de Dados

5.2. Procedimentos para Definição de Categorias e Análise de Conteúdo

5.2.1. Análise de Conteúdo

Considerando que a terceira iteração foi a última e a que apresentou o modelo de

6.1. Resultados Globais

6.1.1. Resenhas por Categoria

Figura 1. Percentual de resenhas por categoria, para os três aplicativos analisa-

6.1.2. Resenhas por Categoria e Aplicativo

6.1.3. Subcategorias por Categorias e Aplicativos

Conforme foi detalhado na seção de Materiais e Métodos, identificou-se a necessidade

Figura 3. Percentual de subcategorias por cada um dos três aplicativos analisa-

6.2. Resultados por Notas

6.2.1. Notas das Resenhas por Aplicativo

Primeiramente, é importante compreender como a distribuição de notas das resenhas ana-

6.2.2. Categorias e Subcategorias por Notas

Para compreender como as categorias originadas da análise de conteúdo relacionam-se

Tabela 2. Percentual de categorias das resenhas por nota dos aplicativos.

É válido, ainda, analisar a distribuição das subcategorias das resenhas anterior-

6.2.3. Categorias e Subcategorias por Notas e Aplicativos

7. Discussão e Ameaças à Validade

8. Conclusão e Trabalhos Futuros

Tabela 3. Ranking, pelo número de instalações, dos aplicativos do “Serviços e

Esta seção do apêndice tem o objetivo de descrever as categorias geradas na terceira e

Tabela 4. Recomendações relacionadas às diretrizes da Cartilha de Usabilidade

1.40 Utilizar um projeto padrão de páginas.

Aspecto: Fundamentos Visuais

Aspecto: Padrões de Design

Você também pode gostar