Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes para

aplicativos de jogos de realidade aumentada

PIERDICCA ROBERTO, Universidade Politécnica das Marcas (DICEA), Itália

FRONTONI EMANUELE, ZINGARETTI PRIMO, MANCINI ADRIANO,
Universidade Politécnica de Marche (DII), Itália
LONCARSKI JELENA, Departamento de Ciências de Engenharia, Divisão de Pesquisa em Eletricidade,
Universidade de Uppsala, Suécia
PAOLANTI MARINA, Marche Polytechnic University (DII), Itália

A Realidade Aumentada (AR) oferece a possibilidade de enriquecer o mundo real com conteúdos mediados digitalmente,
aumentando assim a qualidade de muitas experiências quotidianas. Enquanto em algumas áreas de pesquisa, como patrimônio
cultural, turismo ou medicina, há um forte investimento tecnológico, a RA para fins de jogo luta para se tornar uma aplicação
comercial generalizada. Neste artigo, é proposto um novo framework para jogos infantis de RA, já desenvolvido pelos autores
para outras aplicações de RA, como Patrimônio Cultural e Artes. Em particular, a estrutura inclui diferentes camadas, como o
desenvolvimento de uma série de jogos infantis de quebra-cabeça AR em uma estrutura intermediária que pode ser usada como
padrão para o desenvolvimento de diferentes aplicativos, o desenvolvimento de uma ferramenta de configuração inteligente ,
juntamente com diretrizes gerais e testes e métricas de uso de longa duração.
O aplicativo proposto foi projetado para aumentar a experiência do quebra-cabeça, mas pode ser facilmente estendido para 41
outros aplicativos de jogos AR. Uma vez que o usuário tenha montado o quebra-cabeça real, a funcionalidade AR dentro do
aplicativo móvel pode ser desbloqueada, dando vida aos personagens do quebra-cabeça, criando um jogo perfeito que mescla
as interações AR com a realidade do quebra-cabeça. Os principais objetivos e benefícios deste framework podem ser vistos no
desenvolvimento de um novo conjunto de testes e métricas de AR na fase de pré-lançamento (a fim de auxiliar o lançamento
comercial e desenvolvedores), e na fase de lançamento introduzindo as medidas para otimização de aplicativos de longa
duração, testes de uso e dicas sobre os usuários finais, juntamente com uma medida para projetar a política, fornecendo um
método para testar automaticamente as melhorias de qualidade e popularidade. Além disso, foram propostas ferramentas
inteligentes de configuração, como parte do framework geral, permitindo o desenvolvimento multi-app e eventualmente também
multi-usuário, facilitando a serialização dos aplicativos. Os resultados foram obtidos a partir de um teste de usuário em larga
escala com cerca de 4 milhões de usuários em um conjunto de oito aplicativos de jogos, fornecendo à comunidade científica um
fluxo de trabalho para análise quantitativa implícita em jogos de realidade aumentada. Diferentes análises de dados
desenvolvidas nos dados coletados pela estrutura provam que a abordagem proposta é acessível e confiável para testes e otimização de longa duração.

Conceitos de CCS: • Organização de sistemas computacionais ÿ Sistemas embarcados; Redundância; Robótica; • Redes ÿ
Confiabilidade da rede;

Endereço dos autores: P. Roberto, Marche Polytechnic University (DICEA), Via Brecce Bianche, Ancona, IT, 60131, Itália; e-mail:
r.pierdicca@staÿ.univpm.it; F. Emanuele, Z. Primo e M. Adriano, Universidade Politécnica das Marcas (DII), Via Brecce Bianche, Ancona, IT, 60131,
Itália; e-mails: {e.frontoni, p.zingaretti, a.mancini}@staÿ.univpm.it; L. Jelena, Departamento de Ciências de Engenharia, Divisão de Pesquisa em
Eletricidade, Universidade de Uppsala, Lägerhyddsvägen 1, Uppsala, SE, S-751 21, Suécia; e-mail: jelena.loncarski@angstrom.uu.se; P. Marina,
Universidade Politécnica de Marche (DII), Via Brecce Bianche, Ancona, IT, 60131, Itália; e-mail: m.paolanti@staÿ.univpm.it.

A permissão para fazer cópias digitais ou impressas de todo ou parte deste trabalho para uso pessoal ou em sala de aula é concedida sem taxa,
desde que as cópias não sejam feitas ou distribuídas com fins lucrativos ou vantagens comerciais e que as cópias contenham este aviso e a citação
completa no primeira página. Os direitos autorais dos componentes deste trabalho pertencentes a terceiros que não a ACM devem ser respeitados.
Abstraindo com crédito é permitido. Para copiar de outra forma, ou republicar, postar em servidores ou redistribuir para listas, requer permissão
específica prévia e/ou uma taxa. Solicite permissões de permissions@acm.org. © 2019 Association for Computing Machinery.

1551-6857/2019/05-ART41 $ 15,00
https://doi.org/10.1145/3311748

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:2 P. Roberto et ai.

Palavras-chave e frases adicionais: realidade aumentada, jogos móveis, testes em larga escala, quebra-cabeças,
estrutura de jogos

Formato de referência ACM:

Pierdicca Roberto, Frontoni Emanuele, Zingaretti Primo, Mancini Adriano, Loncarski Jelena e Paolanti Marina. 2019.
Design, teste de uso em larga escala e métricas importantes para aplicativos de jogos de realidade aumentada. ACM
Trans. Computação Multimídia. Comum. Appl. 15, 2, Artigo 41 (maio de 2019), 18 páginas. https://doi.org/10.1145/3311748

1. INTRODUÇÃO

A utilização de dispositivos móveis na vida quotidiana enquadra-se no paradigma da computação ubíqua graças
à sua constante evolução. Sua implantação mundial abre novas oportunidades para novos e inovadores tipos
de entretenimento. As últimas melhorias nos recursos de dispositivos móveis estão mudando a maneira como
as pessoas interagem com o mundo real. Os dispositivos são até capazes de sentir o ambiente, fornecendo
aos usuários serviços digitais aprimorados. Este é um aspecto fundamental em termos de interação humano-
computador, que desempenha um papel fundamental na melhoria dos serviços de aprendizagem, educação e
entretenimento. Este também é um aspecto importante quando se trata de tornar os aplicativos móveis mais
acessíveis, interativos e agradáveis [14]. Nesse contexto, a Realidade Aumentada (RA) é uma promissora
tecnologia de ponta que dá a possibilidade de realmente ver dados gerados por computador sobrepondo a tela
e tendo o mesmo ponto de vista do usuário, imitando o mundo real. Ele tem a capacidade de melhorar e
aprimorar nossa percepção do espaço, combinando tecnologias de detecção, computação e exibição. AR
descreve novas experiências digitais imersivas adaptadas para combinação visual com o ambiente,
especialmente útil para ambientes externos, aumentando a possibilidade de sua exploração [1, 17, 34].

AR está constantemente ganhando popularidade e valorização dos usuários, como demonstrado por vários
estudos [9, 12]. Até agora, avanços foram dados em termos de usabilidade e rastreamento [22], portanto, a RA
pode ser estendida em vários domínios, como reabilitação [6], educação [20], patrimônio cultural [5, 28] e
geociências [27 ]. Apesar de jogos e entretenimento juntamente com AR móvel terem experimentado um
progresso considerável ao longo dos anos, existem poucos sistemas de entretenimento comercial que utilizam
esta tecnologia promissora [29]. Isso se deve principalmente a algumas limitações que soluções diferentes
(baseadas em sensores, baseadas em marcadores e sem marcadores) ainda apresentam. Atualmente, a
computação móvel permite uma visualização mais realista e responsiva de sobreposições de AR, uma vez que
sistemas de rastreamento, dispositivos de entrada e técnicas de visão computacional melhoram o registro das
imagens e, consequentemente, a interação do usuário. Esse fato, somado à difusão em escala mundial de
dispositivos móveis, torna a tecnologia AR ideal para jogos. Conforme afirmado em [23], a RA é capaz de
produzir experiências físicas, emocionais, sociais e mentais ao mesmo tempo. Tendo em conta outros trabalhos
relacionados com realidade aumentada e dispositivos móveis [2, 31, 36], e os relativos a puzzles [32], de forma
a comprovar a usabilidade da aplicação e garantir uma boa experiência de utilização, dados de diferentes testes
de usuário implícitos diferentes precisam ser coletados. Eles podem ajudar ambos os desenvolvedores no
processo de atualização (ou seja, rastrear relatórios de falhas ou avaliar os sistemas operacionais móveis mais
comuns); e pode dar dicas sobre métricas de usabilidade de AR, popularidade e Indicador Chave de Desempenho (KPI).
O principal objetivo deste artigo é adaptar o novo enquadramento desenvolvido e proposto pelos autores em
[7, 27] para o domínio da Manutenção, Património Cultural e Arte, para o domínio dos jogos AR, em particular
para o puzzle AR jogos. A estrutura inclui várias camadas, começando com o desenvolvimento do jogo de
quebra-cabeça AR em uma estrutura intermediária proposta pelos autores, juntamente com o desenvolvimento
do novo conjunto de teste AR e métricas na fase de pré-lançamento (a fim de ajudar o comercial lançamento e
designers) e, finalmente, para a fase de lançamento, apresentando as medidas para otimização do aplicativo
de longa duração, testes de uso e dicas para usuários finais, juntamente com um

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:3

medida para projetar a política, fornecendo um método para testar automaticamente as melhorias de qualidade
e popularidade. Além disso, também foi proposto um serviço de configuração rápida, escalável para o
desenvolvimento de vários aplicativos, permitindo a cooperação multiusuário e a colaboração entre cientistas da
computação e designers de conteúdo. De fato, a abordagem proposta pode ser facilmente estendida a outros
tipos de jogos AR, adaptando as ferramentas de configuração ao novo tipo de jogo e adaptando as métricas para
atender adequadamente às necessidades de designers, usuários e empresas. Os resultados foram obtidos a partir
de um teste de usuário em larga escala com cerca de 4 milhões de usuários em uma família de oito aplicativos de
jogos, fornecendo à comunidade científica um fluxo de trabalho para análise quantitativa implícita em jogos de
realidade aumentada e a eficácia dos testes propostos e Métricas. Além disso, vale ressaltar que a camada de
dados proposta pode contribuir fortemente também na área de aplicações móveis, uma vez que a estrutura de
dados pode ser adaptada para o desenvolvimento de diferentes soluções adotando a mesma estrutura de dados.
Embora o domínio do jogo possa se beneficiar da camada proposta, ela provou ser útil em muitos campos, como
a manutenção e o patrimônio cultural mencionados anteriormente [7, 27].
O artigo está organizado da seguinte forma: a Seção 2 apresenta uma visão geral das tecnologias habilitadoras
para RA, bem como uma triagem sobre os aplicativos de última geração para fins de entretenimento baseados em
RA. A Seção 3 descreve a arquitetura do nosso sistema e os detalhes técnicos da implantação; além disso, uma
explicação mais aprofundada é dada sobre a importância de nossa abordagem de padronização proposta para o
desenvolvimento de vários aplicativos. A seção 4 é dedicada aos resultados experimentais obtidos a partir de
novos testes de uso e popularidade, seguidos de testes A/B automáticos de conteúdos de AR tanto na fase de pré-
lançamento quanto na fase de lançamento, e a discussão dos resultados obtidos. As considerações finais e os
desenvolvimentos futuros são apresentados na Seção 5.

2 FUNDO: AR PARA JOGOS

Nos últimos anos, grande importância tem sido dada à RA na literatura. Presume-se que pode trazer inúmeros
benefícios para o aprimoramento da aprendizagem e compreensão do ambiente educacional, devido ao seu
desenvolvimento emocional e aumento de funcionalidades [39]. Por exemplo, os alunos podem analisar materiais
através de diferentes perspectivas, aumentando seus interesses e envolvimento [15], e criando desta forma um
ambiente de aprendizagem adequado para diferentes estilos no processo de aprendizagem. Também incentiva a
colaboração entre alunos e professores e entre os alunos [4]. Uma aplicação importante da tecnologia AR na
educação são os jogos AR, pois é comum que os educadores usem jogos para ajudar os alunos a aprender de
maneira mais fácil.
Assim, os jogos aumentados com objetos virtuais fornecem uma ferramenta poderosa para mostrar melhor as
relações não realmente visíveis e tangíveis, ao mesmo tempo em que melhoram sua compreensão [26]. Alguns
jogos usam um mapa, quebra-cabeça ou tabuleiro em geral, onde o uso da tecnologia de marcadores AR pode
ser visto como um cenário 3D. Este tipo de jogo pode ser desenvolvido para diferentes disciplinas: arqueologia,
história, antropologia, geografia, etc. Outra abordagem do jogo é criar pessoas e objetos virtuais que são inseridos
em locais vinculados ao mundo real, permitindo que os jogadores interajam com esses objetos virtuais nas
proximidades do local específico. No caso em que os modelos virtuais 3D são sobrepostos à visão do jogador, o
sistema AR tem que combinar informações geradas por computador com um sensor, capaz de medir a posição e
a orientação do jogador. A experiência do jogador parece mais realista se um registro mais preciso dos objetos
virtuais for usado [35]. Graças ao uso onipresente de smartphones, um número muito grande de pessoas pode
desfrutar de aplicativos AR (ver, por exemplo, aplicativo Augmented Coliseum [16]). O aspecto negativo é que o
jogador tem que segurar o aparelho. Pelo contrário, os aplicativos de exibição montados na cabeça (HMDs) são
mãos-livres, mas as pessoas em geral não gostam de usar HMDs. O sistema Tinmith é um exemplo de sistema
baseado em HMD [25].

Neste artigo, nos referimos apenas a plataformas portáteis para jogos, mas uma discussão mais ampla sobre
o assunto pode ser encontrada em [35] e [3]. ARs portáteis são muito portáteis e combinam a entrada

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:4 P. Roberto et ai.

e a saída em um único dispositivo: entrada (botões do dispositivo) e saída (display do dispositivo).

As características computacionais e gráficas e sua câmera integrada tornam viável o uso de celulares para jogos AR. Os
tablets também podem ser usados para aplicativos AR, pois compartilham os sensores dos smartphones, mas possuem uma
tela maior. O primeiro jogo AR portátil foi desenvolvido em 2004 por Wagner et al. [37], conhecido como Invisible Train, onde
trens virtuais se movem ao longo dos trilhos físicos. O objetivo do jogo é evitar que os trens colidam, modificando seu
caminho através dos cruzamentos e interruptores de trilhos. A novidade do jogo é a combinação de cenários reais e virtuais.
Em 2006, Henrysson et al. [13] desenvolveu uma versão simples do AR Tennis, um jogo de AR para smartphones usando o
ARToolkit, uma biblioteca desenvolvida para construir AR. Os dois jogadores reais sentados frente a frente estão interagindo
por inclinação. Este jogo parece muito simples e foi desenvolvido para jogos curtos.

Um jogo competitivo mais complexo foi projetado e usa um marcador ÿducial para indicar o caminho a seguir para salvar
a vaca [21]. A novidade é que este jogo usa estratégia virtual e física, já que cada jogador pode observar os movimentos dos
outros jogadores e se comunicar cara a cara. Características extraídas de um marcador ÿducial em sistemas baseados em
marcadores são utilizadas para registro de câmera de pose relativa, obtendo altos níveis de precisão (menos de 1cm e 1ÿ).

De acordo com [29], as soluções baseadas em marcadores são menos dispendiosas computacionalmente, menos
complexas de implementar e mais robustas. A principal desvantagem é que o sistema funciona apenas quando o marcador
está visível na cena e é considerado apenas o espaço de trabalho AR planar. Em geral, para aplicações como entretenimento,
publicação e indústria de marketing, os sistemas baseados em marcadores são amplamente utilizados, mas também há
muitos outros casos em que a necessidade de usar marcadores limita o uso de aplicativos de RA. As soluções baseadas
em marcadores são principalmente adequadas para problemas de pequena escala que não consideram a mobilidade [19].
No entanto, a abordagem de adotar este tipo de soluções está começando a ser amplamente aceita pelos usuários, como
afirmado em vários estudos [38]. Por outro lado, três tipos principais de sistemas AR sem marcadores são usados: o caso
em que os mapas 3D do ambiente são conhecidos antecipadamente (sistemas off-line); sistemas de rastreamento extensíveis
onde os mapas 3D são inicialmente conhecidos com antecedência e posteriormente estendidos para áreas previamente
desconhecidas; e o caso em que mapas de ambientes previamente desconhecidos são criados em tempo real (sistemas
online). O primeiro a introduzir um sistema sem marcadores foi Beyond Reality,1 apresentando dois jogos de mesa: PIT
Strategy e Augmented Reality Memory.
Em PIT Strategy, o jogador está em uma corrida da NASCAR e deve agir com base nas condições e previsões do tempo e
nas condições da estrada. Na Memória de Realidade Aumentada, o jogador vira uma carta e vê um objeto 3D, vira outra
carta e vê outro objeto 3D, e no caso de haver correspondência aparecerá uma animação.

As abordagens sem marcadores pretendem detectar características únicas de imagens naturais estáveis extraídas de
uma imagem em vez de marcadores artiÿciais usados para auxiliar no rastreamento. As características são invariantes ao
dimensionamento e rotação da imagem e também parcialmente invariantes à translação e eventuais mudanças no ponto de vista.
Em [8], uma arquitetura completamente automatizada para aplicação AR sem marcadores foi desenvolvida.
O sistema faz um rastreamento robusto também no caso de oclusões e mudanças de cena usando identificação ÿducial
natural muito distinta para criar correspondências de imagem, precisando apenas de um conjunto de fotos de referência
obtidas por uma câmera não calibrada. Ele usa o algoritmo SIFT como um descritor de partes de imagens locais. Outros
aplicativos AR sem marcadores usam métodos alternativos de extração de recursos, como o algoritmo Features From
Accelerated Segment Test (FAST) e o rastreador Kanade-Lucas-Tomasi (KLT).

Métodos AR sem marcador também são aplicados a AR Books, onde a imagem no livro de papel pode ser usada para
rastreamento. Livros pop-up virtuais são livros AR que usam rastreamento de recursos naturais [33].
Outra estrutura interessante desenvolvida para AR baseada em papel pode ser encontrada em [30]. Além disso,

1https://www.augmented-reality-games.com.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:5

Aplicativos de AR book com diferentes formas de interação com os usuários são Digilog Book [10] e ARtalet
[11]. Em [18], os autores desenvolveram um quebra-cabeça de coloração AR que fornece aos usuários peças
de quebra-cabeça para colorir e um mundo AR/VR para animações 3D. Desta forma, as crianças podem colorir
um quebra-cabeça e pintar modelos animados em 3D.

2.1 A necessidade de diretrizes gerais para o desenvolvimento de vários aplicativos

A falta de padrões e diretrizes para a implementação de aplicativos móveis de AR foi revelada pelo crescimento
crescente de aplicativos móveis de AR para diferentes plataformas e diferentes cenários. Por esse motivo, esta
seção apresenta melhor a ideia de criar uma base de conhecimento aplicada ao AR Puzzle, seguindo as
tendências de pesquisa recentes [7, 24], que podem ser facilmente generalizadas para todos os jogos de AR.
Pensando nisso, um dos principais objetivos deste artigo é propor um layout padrão intermediário aplicado ao
AR Puzzle adicionando ao mundo real um modelo 3D, objetos multimídia (como imagem, texto, áudio, vídeo)
e/ ou descrição, permitindo serializações futuras e extensibilidade futura para diferentes quebra-cabeças. A
ideia é definir regulamentos e diretrizes gerais válidas para construir um ambiente AR para aplicações de
quebra-cabeças. A descrição de dados JSON e os padrões de interoperabilidade foram utilizados para a criação
de um modelo de dados, sendo considerado o mais amplamente utilizado para computação em rede e
arquiteturas orientadas a serviços. De fato, seu uso como núcleo modelo traz inúmeras vantagens para
sistemas de informação complexos. Várias características podem ser incluídas entre as mais importantes:
formato de autodocumentação que descreve a estrutura, bem como os tipos de dados e significados dos
valores; formato simultaneamente legível por humanos e máquinas; representação de muitas estruturas de
dados (listas, árvores e registros) e estruturas que podem ser abordadas usando métodos padronizados como
XPath.
Diante disso, a estrutura desenvolvida para esta análise é composta por várias camadas, descritas na seção
a seguir. Mais a fundo, a ideia central por trás do framework está na criação de um middleware que atue como
uma conexão entre a interface do aplicativo e a criação de conteúdos, funcionalidades e estatísticas de uso ao
longo do tempo. Ao adotar a estrutura de dados JSON implementada de acordo com as prescrições ARML, o
desenvolvedor não precisa começar a desenvolver a cada vez do zero, mas apenas o rearranjo do conteúdo
para o novo caso específico. Além disso, mesmo que um Kit de Desenvolvimento de Software (SDK) comercial
tenha sido usado, todos os outros SDK podem ser facilmente adotados para novos desenvolvimentos, pois o
conteúdo é gerenciado pelo serviço do editor, que é sempre compatível com o esquema JSON.

Em particular, a camada de integração é geral e se baseia na camada de dados proposta como padrão
neste artigo. É processado por uma camada de integração que fornece uma tradução entre a camada de dados
e os diferentes SDKs. Esta solução não só garante a escalabilidade para diferentes SDKs e plataformas, como
também permite gerir facilmente diferentes atualizações dos atuais SDKs integrados e de diferentes SOs. As
opções de integração são as seguintes: (i) API RESTful: pacotes de dados podem ser enviados de volta e
encaminhados usando nossa API RESTful; (ii) Integrações Dedicadas: o framework proposto desenvolveu
integrações dedicadas com as principais plataformas de AR (aquelas relatadas anteriormente) com seus SDKs
específicos e usando a camada de dados proposta como a principal camada de integração. No nosso caso,
eles foram traduzidos em três camadas diferentes para lidar com o design específico da plataforma (parte de
quebra-cabeças, parte de AR e parte de estatística); (iii) Secure File Transfer Protocol (SFTP): também é
possível conectar-se às plataformas por meio de um SFTP. Isso é particularmente útil se alguém tiver
ferramentas internas desenvolvidas sob medida ou usar ativamente software de terceiros que não oferece
suporte a uma API RESTful. Este tipo de integração está novamente diretamente relacionado à transferência
da camada de dados proposta. Como consequência, para a abordagem proposta, a única parte que necessita
de mais modificações é a parte estática (bloco mais à esquerda na Figura 1), uma vez que, dependendo do
domínio, esta deverá ser personalizada de acordo com os conteúdos a transmitir. O modo AR (bloco central na
Figura 1) pode ser considerado geral para quase todos os domínios e requer modificações apenas nos conteúdos multimídia. Finalmen

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:6 P. Roberto et ai.

Fig. 1. Representação esquemática das funcionalidades e ferramentas do aplicativo. As funcionalidades são divididas
em três blocos principais: Puzzle, Realidade Aumentada e Estatística.

(bloco mais à direita na Figura 1) são gerais ao lidar com aplicativos móveis, e funções específicas podem
ser facilmente implementadas, ditadas por especialistas do domínio.

3 MATERIAIS E MÉTODOS

Para uma análise mais abrangente, toda a arquitetura da metodologia proposta é apresentada aqui. Ele é
seguido por uma explicação passo a passo do projeto e implementação do aplicativo, bem como das
ferramentas de configuração usadas para o desenvolvimento de vários aplicativos. A análise refere-se à
aplicação Puzzle AR juntamente com ferramentas de configuração úteis que foram implementadas para o
seu desenvolvimento. O aplicativo é composto por uma seção de quebra-cabeça e uma seção AR. Uma
representação esquemática da arquitetura proposta pode ser encontrada na Figura 1. Maiores detalhes serão
apresentados nas seções seguintes.
Enfrentamos dois desafios principais ao criar a arquitetura. O primeiro foi a criação de uma ferramenta de
configuração inteligente para o desenvolvimento de vários aplicativos. Um utilitário de configuração permite
que o administrador do aplicativo crie vários aplicativos para jogos digitais de quebra-cabeça e realidade
aumentada. O alvo eram desenvolvedores de alto nível, interessados no desenvolvimento rápido e escalável
de vários aplicativos. Essa ferramenta também pode ser usada de forma viável para desenvolvimento
multiusuário e para colaboração entre cientistas da computação e designers de conteúdo. A norma proposta
para este fim será explicada na Seção 3.2. A segunda foi sobre a implementação das funcionalidades.
Projetar um aplicativo que considere a interação com o mundo real é uma tarefa desafiadora. É especialmente
verdadeiro para as crianças, onde a necessidade de recriar um continuum entre o virtual e o real é obrigatória.
Para atingir esse objetivo, o aplicativo foi dividido em duas seções principais: o jogo de quebra-cabeça digital
e o jogo de quebra-cabeça AR.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:7

Fig. 2. A camada do quebra-cabeça é a base rastreável para o registro de conteúdos virtuais. A camada de fundo está sobrepondo
o quebra-cabeça real, escondendo-o para criar a base para os personagens virtuais. Personagens virtuais também são
representados (Personagens 1, 2, 3), colocados em uma pose 3D para uma experiência AR.

—Seção de jogo de quebra-cabeça: permite que os usuários construam virtualmente o quebra-cabeça. Esta
seção permite jogar com três níveis de dificuldade, ou seja, baixo, médio e alto (seleção de nível na Figura 1).
O aplicativo foi desenvolvido levando em consideração o conceito de ser baseado em habilidades. Assim,
uma função divide as imagens em 6, 12 ou 24 pedaços, dependendo da seleção do nível. Durante os
primeiros 10 segundos, a imagem de fundo desaparece gradativamente até que finalmente desapareça e,
uma vez que o usuário atinja a disposição correta do enigma, alguns efeitos são desbloqueados e o próprio
usuário pode pintar o quebra-cabeça com carimbos, mudar de cor, e tirar uma foto de sua criação. Durante
a fase de pré-lançamento, percebeu-se (com base em parâmetros que serão descritos na seção de
resultados) que os usuários tinham dificuldade em colocar as peças perfeitamente na posição correta. Para
solucionar esse problema, foi implementada uma função de imã para o baixo nível de dificuldade, capaz de
auxiliar o jogador durante a composição do quebra-cabeça.
— Seção de Realidade Aumentada: graças a esse recurso, a interatividade do quebra-cabeça é estendida com
recursos adicionais. O quebra-cabeça real se transforma em uma interface AR (descoberta AR na Figura 1),
tornando-se a base para jogos AR. Na verdade, o usuário pode acessar essa funcionalidade somente após
terminar o jogo de quebra-cabeça. A seção AR foi enquadrada com o uso da câmera embutida do tablet. Os
personagens aparecem no topo do espaço do quebra-cabeça, criando assim um jogo perfeito conectando a
realidade virtual e aumentada. Além disso, as crianças podem brincar com os personagens, desde que a
função de toque esteja habilitada (interação AR na Figura 1). O usuário pode mover, dimensionar e girar os
personagens do quebra-cabeça. Na Figura 2 é apresentado o princípio de funcionamento da experiência AR.

Uma barra de ferramentas aparece à esquerda da tela assim que o quebra-cabeça é concluído, dando a
possibilidade de alterar o plano de fundo, substituindo o original por N aumentado, e obter informações sobre os
personagens e sua história.
Para os usuários que têm dificuldade em entender como usar a funcionalidade AR, uma tela inicial foi adicionada,
mostrando em poucos passos como se mover no modo AR (Figura 3). Pode ser visto como uma melhoria de
usabilidade, por ser um design centrado no usuário, que é mais intuitivo.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:8 P. Roberto et ai.

Fig. 3. Tela inicial da seção AR fornecendo instruções de como usar.

As funções descritas acima são mediadas por um ÿltro, dando a possibilidade ao usuário de escolher o nível de dificuldade
mais adequado. A seleção de níveis, estudada de acordo com as estatísticas obtidas, é capaz de mesclar as diferentes
funcionalidades desenvolvidas para toda a aplicação.
Os conteúdos e funções são organizados hierarquicamente de acordo com a dificuldade da tarefa a ser realizada pelo usuário.
A próxima seção é dedicada a detalhes técnicos sobre as plataformas, hardware e bibliotecas utilizadas para a implementação
de nossa aplicação.2 Vale ressaltar aqui que, quando se trata da generalização da abordagem proposta para outras aplicações,
o bloco mais à esquerda na Figura 1 (o módulo Puzzle) requer maior adaptação, enquanto o módulo AR permanece
praticamente inalterado para quase todas as aplicações. Para o módulo de Estatística da Figura 1, é necessário apenas fazer
uma integração simples de funções estatísticas adicionais.

3.1 Projeto e implementação do aplicativo O aplicativo é

executado nas plataformas Android e iOS. A estrutura pode usar várias plataformas para alcançar o melhor resultado,
especialmente para a seção AR. Existem várias variáveis a serem levadas em consideração: rastreamento de capacidade de
resposta, rastreamento de estabilidade, qualidade de renderização e também implementação das interações. Para a integração
do módulo AR dentro do aplicativo, quatro diferentes bibliotecas AR foram testadas e integradas: (i) ARToolKit3 e (ii) Vuforia,4
respectivamente, para fins gratuitos e comerciais; (iii) iOS ARKit5 nativo; (iv) Android nativo ARCore.6 Artoolkit é uma biblioteca
AR baseada em marcadores de código aberto, incluindo recursos como

— rastreamento de posição/orientação de câmera única, —

código de rastreamento que usa quadrados pretos simples,
— capacidade de usar qualquer padrão de marcador
quadrado, —código de calibração de câmera fácil,

2As imagens são protegidas por direitos autorais de seus respectivos proprietários e não podem ser relatadas
neste artigo. 3http://artoolkit.org, último acesso: 25 de janeiro de 2019. 4https://www.qualcomm.com, último
acesso: 25 de janeiro de 2019. 5https://developer.apple.com/arkit/, último acesso: 25 de janeiro de 2019. 6https://
developers.google.com/ar, último acesso: 25 de janeiro de 2019.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:9

Tabela 1. Comparação entre as Diferentes Bibliotecas AR Integradas no Framework Proposto

SDK Rastreamento plataformas Gráficos Nuvem GPS

Vuforia 2Dimages, Marcadores NFT, Marcadores 3DUnity, OpenGL sim não
ARToolKit NFT, Marcadores iOS, Android 3DUnity não não
ARKitComment
Imagens 2D, Marcadores iOS 3DUnity, OpenGL sim sim
ARCore 2Dimages, Markers Android 3DUnity, OpenGL sim sim

— rápido o suficiente para aplicativos AR em tempo real e —

desenvolvimento multiplataforma.

Distribuído com código-fonte completo, foi inicialmente projetado para rodar em computadores pessoais, e portar para
dispositivos móveis SDK é bastante impermeável.
Vuforia é um SDK de Realidade Aumentada fornecido pela Qualcomm, AG. Ele oferece suporte a uma variedade de tipos
de alvos 2D e 3D, incluindo alvos de imagem, configurações de vários alvos 3D e uma forma de marcador fiduciário
endereçável conhecido como marcador de quadro. Recursos adicionais do SDK incluem detecção de oclusão localizada
usando “botões virtuais”, seleção de destino de imagem em tempo de execução e a capacidade de criar e reconfigurar
conjuntos de destino automaticamente em tempo de execução. Uma comparação útil pode ser encontrada na Tabela 1, onde
fica evidente que a maior vantagem de usar o ARToolKit é a GPL, enquanto o Vuforia oferece mais recursos e possibilidades.
As outras duas novas bibliotecas nativas de AR na Tabela 1 são realmente eficazes, mesmo no caso em que se está
desenvolvendo com duas bibliotecas diferentes, uma para cada sistema operacional. Mesmo que todas as plataformas
forneçam Natural Feature Tracking (NFT) de nossos testes, o Vuforia forneceu um sistema de rastreamento mais confiável em
termos de rapidez e estabilidade. Também as duas bibliotecas nativas foram integradas para fins de teste, além dos resultados
apresentados aqui, que estão usando um aplicativo testado com desenvolvimento multiplataforma.

Em todos os casos, para implementar as interações com conteúdos digitais sobrepostos, é necessária a biblioteca
OpenGL7 . Especificamente, foi criado um nível suplementar de renderização, configurado com uma cor uniforme. Esse
método é chamado de “escolha de cores”, um procedimento conhecido implementado com OpenGL.8

3.2 Proposta da Camada de Dados Padrão para Desenvolvimento Multi-App A aplicação descrita

acima foi desenvolvida para fins comerciais. Pode ser usado com uma variedade de quebra-cabeças reais, aumentando
consideravelmente a complexidade e quantidade de conteúdos. Este aspecto é crucial, pois a veiculação de diferentes
conteúdos com diferentes formatos dentro de um mesmo aplicativo pode levar a um processo de desenvolvimento demorado
para se obter o melhor resultado.
resultado.

Para ultrapassar a questão da complexidade, este estudo apresenta uma abordagem baseada em ferramentas de
configuração, construídas sobre um modelo de objeto genérico, permitindo futuras serializações e futura extensibilidade para
diferentes puzzles. A ferramenta de configuração segue a estrutura de dados já publicada em pesquisa anterior (leitores
interessados podem encontrar mais detalhes em [7]). Mais detalhadamente, neste artigo, a estrutura de dados padrão proposta
foi reprojetada para atender aos requisitos de aplicativos de jogos. Para a seção AR , ARML 2.0 foi proposto como ponto de
partida, sendo o padrão existente mais atualizado fornecido pelo OGS . ] os dados foram estruturados para aplicações
orientadas para o Património Cultural):

7https://portal.opengeospatial.org/ÿles/?artifact_id=62131, último acesso: 25 de janeiro de

2019. 8http://www.opengl-tutorial.org/miscellaneous/clicking-on-objects/picking-with- an-opengl-hack/, último acesso: 25 de
janeiro de 2019. 9https://portal.opengeospatial.org/ÿles/?artifact_id=62131, último acesso: 25 de janeiro de 2019.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:10 P. Roberto et ai.

Fig. 4. Representação JSON dos componentes de dados da classe AR.

—Dados do FUNDO: com o tipo=“ImageType” são descritos os parâmetros físicos do plano de fundo que
consiste nos parâmetros da imagem (por exemplo, nome, dimensões, resolução e assim por diante).

—Dados RASTREÁVEIS: com o tipo=“ARAnchorType” a localização de um recurso no mundo real (coordenadas

e orientação), zoom da primeira aparição e o mecanismo AR são descritos. Esta Âncora é utilizada para
objetos virtuais que são registrados no mundo real e
se move pela tela conforme o usuário se move.
—Dados da INTERFACE: o tipo=“ScreenAnchorType” foi deÿnido para a interface do usuário e descreve todos
os elementos que aparecem no modo AR. Em outras palavras, uma localização ÿxa de um recurso na tela
que não se moverá quando o usuário estiver em movimento.
—Dados CHARACTER: com o tipo=“ARElementType” são descritos os conteúdos digitais que aparecem no AR.
Isso sustenta uma série de variáveis, como formato, tipo de dados (por exemplo, áudio, texto, imagem, modelo
3D e assim por diante).

Um esquema JSON da estrutura de dados é apresentado na Figura 4, juntamente com os principais componentes
dinâmicos do PUZZLEAPP (somente o aplicativo AR é considerado no esquema). Uma propriedade específica da
classe PUZZLEAPP é representada pela identificação dos componentes individuais e seus elementos. Um aplicativo
AR foi desenvolvido com base nessa estrutura (conforme relatado na Figura 4).
A estrutura pode ser utilizada como um método padronizado para a serialização dos aplicativos AR para um quebra-
cabeça digital, levando em consideração os componentes da classe AR PUZZLEAPP. O conteúdo AR interno também
pode ser identificado como livre de premium e pode ser usado como marketing/engajamento

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:11

proposta para vender conteúdo no aplicativo ou para recompensar os usuários com novos conteúdos depois de atingirem um
determinado nível de interações ou pontos acumulados durante a experiência de jogo.

4 RESULTADOS: TESTES DE USO, POPULARIDADE E NOVAS MÉTRICAS Os objetivos deste

estudo são os seguintes: (a) fazer um teste de pré-lançamento para garantir sua qualidade antes do lançamento comercial, (b)
definir e avaliar um novo conjunto de métricas e testes baseados em AR em uma fase de lançamento para um período de uso
definido e uma grande amostra de usuários para garantir uma otimização de aplicativo de longa duração e uma medida para projetar
políticas, fornecendo um método para testes automáticos de melhorias de qualidade e popularidade. Para atingir os objetivos
supracitados, a metodologia utilizada para o test-bed do aplicativo sustenta duas fases, descritas nas subseções a seguir.

4.1 Métricas e testes de pré-lançamento

A estrutura proposta permite explorar o uso do aplicativo em um estudo de usuário em larga escala. Para os testes da fase de pré-
lançamento, o web-dashboard foi implementado usando o serviço online Fabric.10 A observação foi realizada por 1 mês, coletando
informações de uma amostra de mais de 4 milhões de usuários durante um período de teste de 1 ano. Uma lista completa de todas
as métricas digitais que coletamos é a seguinte:

—Usuários ativos: o número de usuários que iniciaram uma sessão nos últimos 5 minutos.
—Usuários ativos diários: o número de instalações exclusivas de aplicativos em cada dispositivo identificado como
ativo em um dia específico. Observação: o dispositivo está ativo se houver atividade em primeiro plano.
—Novos usuários diários: o número de novas instalações de aplicativos em cada dispositivo em um determinado dia.
Excluir e reinstalar o aplicativo criaria um novo usuário diário, enquanto atualizar as versões do aplicativo não criaria um
novo usuário diário.
—Usuários ativos mensais: o número de instalações de aplicativos exclusivos em cada dispositivo que esteve ativo durante
o período de 30 dias. Observação: o dispositivo está ativo se houver atividade em primeiro plano.
—Usuários livres de falhas: a porcentagem de usuários ativos diários que tiveram uma experiência sem falhas em um
determinado dia. Observação: no Android ou no iOS, as exceções capturadas ou os erros registrados não são considerados
travamentos e não estão incluídos nessa métrica.

—Sessões: o número total de sessões em todas as instalações de aplicativos em um determinado dia.

—Top Builds: Todas as compilações que foram usadas por pelo menos 10% dos usuários ativos diários (DAU) em
qualquer dia nos últimos 30 dias, ou pelo menos 4% da DAU no dia atual.
—Daily Users for Top Builds: a porcentagem de DAU usando uma compilação superior específica.
—Daily Active Users by Device: O número de DAU usando um tipo de dispositivo específico.
—Usuários ativos diários por sistema operacional: o número de DAU usando uma versão específica do sistema operacional.

—Novos usuários sobre usuários ativos: a porcentagem de DAU que instalou o aplicativo em um determinado
dia.
—Retenção: a porcentagem de usuários únicos que eram usuários ativos diariamente em um dia específico, 1,
7 ou 30, pós-instalação.
—Sessões livres de travamento: a porcentagem de sessões que não sofreram travamento em um determinado
dia.

A primeira saída do test-bed está relacionada ao número de instalações, relatado na Figura 5, indicando um uso constante do
aplicativo durante o período determinado, com o valor mais baixo de cerca de 15% em relação ao valor máximo obtido. A
monitorização dos utentes ativos diários (Figura 6) denota um elevado número de utentes ativos, sobretudo ao fim de semana.

10https://fabric.io/dashboard, último acesso: 25 de janeiro de 2019.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:12 P. Roberto et ai.

Fig. 5. O número de instalações exclusivas de aplicativos em todos os dispositivos que estiveram ativos nos últimos 30 dias. A atividade em
primeiro plano deve acontecer para que um dispositivo esteja ativo.

Fig. 6. O número de instalações únicas de aplicativos em todos os dispositivos que estavam ativos em um determinado dia. A atividade em
primeiro plano deve acontecer para que um dispositivo esteja ativo.

Outros indicadores monitorados úteis são a sessão média por usuário e a duração de cada sessão. A
primeira indica uma sessão média de duas vezes por dia, significando um alto nível de interesse dos usuários
pelo aplicativo (Figura 7(a)). A segunda, a mais importante, indica o tempo de uso de cada sessão, com pico
superior a 5min (Figura 7(b)). É importante mencionar que esses valores estão relacionados apenas ao uso
de um quebra-cabeça. A extensão para toda a suíte resultaria em um uso mais satisfatório.

O banco de testes em larga escala, realizado com o painel, provou ser uma ferramenta poderosa para
obter análises em tempo real do uso. Informações canônicas como número de instalação, número de uso
diário, relatório de travamento e taxa de instalação/desinstalação são valores quantitativos que podem ajudar
a entender a qualidade do aplicativo. Esses dados, aliados aos KPIs relacionados ao uso que propomos
neste artigo, fornecem aos desenvolvedores uma nova ferramenta para trabalhar em melhorias do aplicativo
de jogos, não apenas na primeira fase do desenvolvimento do aplicativo, mas também durante o toda a vida
do aplicativo, se mantido monitorado. Baseia-se não apenas nos comentários e sugestões dos usuários
(muito raros no caso de jogos infantis), mas também no uso do novo insight proveniente da análise de dados.

Nas seções a seguir, apresentaremos novas métricas e resultados especificamente dedicados a interações
AR e testes de uso na fase pós-lançamento. As novas métricas foram introduzidas com o objetivo de
enriquecer o estado da arte das métricas digitais.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:13

Fig. 7. A Figura 7(a) é o número de sessões dividido pelo número de usuários ativos diariamente. A Figura 7(b) é uma
medida de quanto tempo o usuário ativo diário típico fica ativo no aplicativo em um determinado dia.

4.2 Métricas e testes pós-lançamento

Do lado do AR, um novo conjunto de métricas para uso e popularidade do AR é relatado aqui como segue:

—tempo médio de uso;

—número de interações AR por sessão (definido como o número de toques por usuários em interações AR;
ou seja, mover um personagem AR no quebra-cabeça, ativar neve, etc.); —Tempo de descoberta do AR
tag (definido como o tempo entre o acionamento da câmera e o aparecimento do conteúdo do AR na tela,
significando que o usuário conseguiu ativar o AR em um determinado momento);

—Taxa de rejeição AR (definida como a porcentagem de usuários que entram na seção AR e voltam sem
qualquer interação ou ativação AR); —distâncias entre o alvo AR (o marcador) e o dispositivo (medido
como a média de
distância durante a interação AR em milímetros);
—quantidade de movimentos em torno do marcador que o usuário realiza para interagir com os conteúdos
de RA de diferentes pontos de vista (medida como a distância total percorrida pelo dispositivo ao redor
do alvo/mercado de AR em milímetros);
—Percentual de perda de alvo de AR (medido como a quantidade de usuários que perdem o foco no AR
marcador e voltar a ele em menos de 10s).

Para melhor agrupar entre os usuários (jovens vs. mais velhos ou novos usuários vs. treinados), vários dados
também foram coletados da seção de quebra-cabeça. O quebra-cabeça tem três níveis diferentes de complexidade
(baixo, médio e alto) que diferem no número de peças, no tempo disponível e no poder de um efeito magnético
que ajuda as crianças a colocar corretamente a peça do quebra-cabeça. a posição correta. A estrutura proposta
pode coletar os seguintes dados de interação e experiência de jogo: taxa de sucesso do quebra-cabeça (definida
como o número de usuários capazes de completar o quebra-cabeça em relação ao número total de usuários que
entraram nesta seção, para cada nível de complexidade), e a taxa de rejeição do quebra-cabeça (definida como
a porcentagem de usuários que entram na seção do quebra-cabeça e voltam sem nenhuma interação).
Nos últimos 3 meses de teste, também adicionamos um KPI final relacionado ao uso, adicionando uma taxa
de compra in-app para um novo conteúdo AR premium (sempre projetado e distribuído de acordo com a
metodologia proposta para AR descrita anteriormente) . Medimos a taxa de conversão em relação ao total de
usuários do aplicativo. Isso pode ser um KPI poderoso para futuras atividades de marketing no aplicativo e
propostas de negócios.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:14 P. Roberto et ai.

Tabela 2. Comparação dos dados obtidos do total de usuários e dos painelistas

Lista de métricas de AR e quebra-cabeças

Descrição da métrica média média de usuários painelistas

tempo de sessão AR 19s 18,2s

Interações por sessão de AR 7.6 # 8.1 #

Tempo de descoberta de tags AR 1,8s 1,7s

Taxa de rejeição AR 32% 26%

Distância média de alvos AR 345mm 351mm

Movimentos médios do dispositivo durante a experiência AR 231 mm 213mm

AR alvo perdendo 13% 14%

Taxa de sucesso do nível 1 do quebra-cabeça 89% 93%
Taxa de sucesso do quebra-cabeça nível 2 78% 81%
Taxa de sucesso do quebra-cabeça nível 3 59% 63%
Taxa de rejeição do quebra-cabeça 22% 16%

Conversão para comprar conteúdo AR premium 0,2% Não aplicável

A Tabela 2 compara os dados obtidos pela análise das novas métricas de AR e quebra-cabeça. Ele considera os dois grupos de usuários:
usuários de aplicativos e painelistas (não especialistas na área ou não familiarizados com aplicativos de jogos AR), a fim de mostrar que os
dados coletados são representativos da população total de usuários.
Além disso, a estrutura relata que a maioria dos usuários (mais de 80%) usa dispositivos Android em vez de iOS. Isso se deve principalmente
ao fato de que o mercado global de dispositivos infantis é preenchido principalmente por dispositivos Android e esse insight pode ser útil para
focar melhor os pré-lançamentos ou testes A/B.

Todos esses dados permitem entender melhor o uso do aplicativo, o desempenho do aplicativo e a popularidade do aplicativo desde a fase
de pré-lançamento até as métricas de desempenho pós-lançamento e de longa duração. Por exemplo, um alto valor da taxa de sucesso do
nível pode indicar a dificuldade adequada por idade específica e a implementação adequada das funcionalidades. Maior número de aplicativos
baixados e não desinstalados, maior tempo e número de interações com AR e menores taxas de rejeição podem indicar maior qualidade e
popularidade. Da mesma forma, a taxa aumentada de conteúdo premium de compra de AR pode indicar maior popularidade, mas também pode

ser vista como uma ferramenta poderosa para fins de marketing. De um modo geral, todos os dados coletados podem ser usados de forma
viável para o desenvolvimento de diferentes análises de dados, produtos, design ou orientados para o mercado. Além disso, pode ser visto
como uma ferramenta viável para comparação de desempenho de aplicativos em termos de taxa de sucesso, mas também com referência ao
novo design do aplicativo. Ressalte-se aqui que devido ao número muito grande de usuários, o teste automático foi adotado de forma viável e
não foi possível implementar outra solução como, por exemplo, uma pesquisa.

4.3 Teste A/B automático de aplicativos AR A estrutura apresentada neste

artigo também tem a capacidade de realizar testes A/B automáticos distribuindo e comparando diferentes lançamentos na mesma população
de usuários como parte da medida para projetar a política, em para avaliar as melhorias gerais. A estrutura é capaz de adicionar aleatoriamente
uma alteração no conteúdo do aplicativo, distribuindo duas versões diferentes do conteúdo AR (com base no padrão JSON descrito
anteriormente). Todas as métricas introduzidas anteriormente são coletadas para dois (ou mais) conteúdos AR diferentes e os resultados
podem ser comparados. Isso pode ser feito online em um período de teste e antes do lançamento de novos conteúdos. No exemplo a seguir
mostrado na Tabela 3, dois conteúdos diferentes foram testados em relação à linha de base (dados coletados nos primeiros 6 meses). As
variações são relatadas para os conteúdos A e B, mostrando um desempenho ligeiramente melhor para

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:15

Tabela 3. Comparação dos dados obtidos do total de usuários e dos painelistas

Resultados do teste AR & Puzzle A/B - % de variações em relação à linha de base

Descrição da métrica Um caso caso B
Tempo de sessão AR +3,3% +12,1% ÿ3,7% ÿ1,6% +6,6% +11,4% ÿ4,4% +1,4%
Interações por sessão de AR +4,5%
Tempo de descoberta de tags AR ÿ1,1%
Taxa de rejeição AR ÿ2,1%
Distância média dos alvos AR +7,3%
Movimentos médios do dispositivo durante a experiência AR +9,1%
Probabilidade de perda do alvo AR ÿ3,2%

a solução B. O teste foi realizado por 1 mês em um subconjunto de 100.000 usuários (50% dos usuários para cada novo
conteúdo) da família de aplicativos testados neste artigo.
Por fim, quando se trata da generalização dos testes propostos, como diretriz para identificação de novas métricas relevantes
para uma aplicação específica, deve-se explorar o conhecimento de especialistas do domínio.

5 CONCLUSÃO E TRABALHOS FUTUROS

Neste artigo, uma nova estrutura para jogos infantis AR é apresentada, começando com o desenvolvimento do aplicativo de
quebra-cabeça AR, propondo uma estrutura de dados que pode ser facilmente generalizada para outros aplicativos e propondo
novas métricas e testes pré e pós-lançamento que pode ajudar tanto na fase de desenvolvimento (lançamento comercial e
desenvolvedores) quanto na fase de lançamento, introduzindo medidas para otimização de aplicativos de longa duração, testes
de uso, popularidade e dicas sobre o perfil dos usuários, juntamente com uma medida para criar políticas, fornecendo um
método para testar automaticamente as melhorias de qualidade e popularidade. Além disso, foram propostas ferramentas de
configuração inteligente como parte das diretrizes gerais para o desenvolvimento de multi-aplicativos, que poderiam
eventualmente ser estendidas também para multiusuário. Ele pode melhorar significativamente a serialização de novos
aplicativos móveis, reduzindo o tempo de desenvolvimento e facilitando a cooperação entre designers gráficos e desenvolvedores.
A camada de dados proposta é utilizada para a construção do framework proposto, juntamente com a deÿnição dos elementos
AR. Facilita a realização da camada de seleção de nível, destinada a diferentes tipos de

usuários.

A estrutura foi desenvolvida para dispositivos iOS e Android e foi concebida para (i) interagir com o jogo real em Realidade
Aumentada; (ii) delinear e adotar as diretrizes gerais para as ferramentas de configuração inteligente que podem ser usadas
para jogos de quebra-cabeça AR ou aplicativos similares usando tecnologia “markerless”; (iii) coletar uma grande quantidade de
dados estatísticos, tanto pré-lançamento quanto pós-lançamento, que possam fornecer indicações sobre o desenvolvimento do
aplicativo e o desempenho de uso de longa duração do aplicativo; e (iv) realizar testes A/B automáticos como parte da medida
para desenhar a política.
Para isso, foram realizados testes de uso em larga escala. Os dados de saída podem ser usados para diferentes propósitos,
tanto no caso de desenvolvedores, mas também de empresas, levando em consideração que a análise de clientes é o
instrumento mais útil para atender às necessidades de consumidores e empresas.
O test-bed realizado para este trabalho apresenta bons resultados em termos de apreciação e utilização.
O período de observação, juntamente com a tendência constante dos gráficos, denota a qualidade da aplicação proposta. Uma
extensa análise das funções AR e funções de quebra-cabeça é apresentada, demonstrando uma nova maneira de medir o uso,
as interações AR, a popularidade, tornando possível a avaliação ativa e o monitoramento constante dessas funções. Com
referência ao SDK utilizado para o desenvolvimento de tal arquitetura, é justo dizer que os lançamentos mais recentes da

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:16 P. Roberto et ai.

Android e Apple (ARCore11 e ARKit12, respectivamente) não foram usados, embora forneçam a mais poderosa
experiência sem marcadores. A principal razão é que, especialmente para Android, o novo SDK não é compatível
com a grande maioria dos dispositivos móveis comerciais, sendo adequado apenas para os mais recentes. Como
este trabalho teve como objetivo principal monitorar as estatísticas de uso de uma amostra muito grande de usuários,
preferimos adotar a arquitetura apresentada. Além disso, como o framework foi projetado para o desenvolvimento de
vários aplicativos, o uso do SDK nativo pode impedir essa funcionalidade.

Como desenvolvimento futuro, este framework pode ser adotado como base para serialização e desenvolvimento
de aplicações similares, com aumento de produtividade para as empresas. Os dados fornecidos com o painel podem
fornecer indicações para as empresas, juntamente com diretrizes significativas para o futuro. Ao analisar esses
dados, pode ser possível desenvolver um sistema de apoio à decisão (SAD), facilitando a escolha da solução e
implementando a decisão.
Trabalhos futuros também podem incluir procedimentos de teste mais automáticos baseados em abordagens de
aprendizado de máquina para classificação de dados, a fim de detectar automaticamente o uso anormal ou
inadequado por usuários jovens. Além disso, a estrutura proposta pode ser estendida com clustering de aplicativos
de jogos AR mais complexos, também baseados em localização.

AGRADECIMENTOS

Os autores gostariam de agradecer a Andrea Petrelli e todos os Dev.Q. equipe por sua preciosa ajuda. Agradecemos
também aos colegas do grupo de pesquisa do VRAI pela ajuda na revisão final. Um agradecimento final especial
também ao editor e revisores que ajudaram a melhorar a qualidade final do artigo.

REFERÊNCIAS

[1] Junho Ahn, James Williamson, Mike Gartrell, Richard Han, Qin Lv e Shivakant Mishra. 2015. Apoiando compras de supermercado saudáveis por
meio de realidade aumentada móvel. ACM Transactions on Multimedia Computing, Communications, and Applications 12, 1s (Out. 2015),
Artigo 16, 24 páginas. DOI: https://doi.org/10.1145/2808207
[2] Sonia M. Arteaga, Víctor M. González, Sri Kurniawan e Raquel A. Benavides. 2012. Jogos móveis e requisitos de design para aumentar a
atividade física dos adolescentes. Computação Pervasiva e Móvel 8, 6 (2012), 900–908. DOI: https://doi.org/10.1016/j.pmcj.2012.08.002

[3] Mafkereseb Kassahun Bekele, Roberto Pierdicca, Emanuele Frontoni, Eva Savina Malinverni e James Gain. 2018.
Uma pesquisa de realidade aumentada, virtual e mista para o patrimônio cultural. Journal on Computing and Cultural Heritage (JOCCH) 11, 2
(2018), 7. DOI:https://doi.org/10.1145/3145534
[4] Mark Billinghurst. 2002. Realidade aumentada na educação. Novos Horizontes para a Aprendizagem 12 (2002). Recuperado em 24 de janeiro de
2019 de http://www.it.civil.aau.dk/it/education/reports/ar_edu.pdf.
[5] Paolo Clini, Emanuele Frontoni, Ramona Quattrini e Roberto Pierdicca. 2014. Experiência de realidade aumentada: Da aquisição de alta resolução
aos conteúdos aumentados em tempo real. Advances in Multimedia 2014 (2014), 18. DOI: https:// doi.org/10.1155/2014/597476

[6] NI De Leon, SK Bhatt e Adel Al-Jumaily. 2014. Terapeuta de reabilitação multiuso baseado em jogo de realidade aumentada para pacientes com
AVC. Jornal Internacional sobre Sensoriamento Inteligente e Sistemas Inteligentes 7, 3 (2014). DOI: https://doi. org/10.21307/ijssis-2017-693

[7] Emanuele Frontoni, Roberto Pierdicca, Ramona Quattrini e Paolo Clini. 2016. Melhorando o desenvolvimento do aplicativo AR para coleções de
obras de arte com camada de dados padrão. Em Conferência Internacional sobre Realidade Aumentada, Realidade Virtual e Computação
Gráfica. Springer, 435–443. DOI: https://doi.org/10.1007/978-3-319-40621-3_31 [8] Iryna Gordon e David G. Lowe. 2006. O quê e onde:
Reconhecimento de objeto 3D com pose precisa. em direção
Reconhecimento de objetos em nível de categoria. Springer, 67-82. DOI: https://doi.org/10.1007/11957959_4
[9] Wei Guan, Suya You e Ulrich Newmann. 2012. Correspondências eficientes e realidade aumentada móvel. ACM Transações sobre Computação
Multimídia, Comunicações e Aplicações 8, 3s, Artigo 47 (Out. 2012), 15 páginas. DOI: https://doi.org/10.1145/2348816.2348826

[10] Taejin Ha, Youngho Lee e Woontack Woo. 2011. Livro Digilog para a experiência de tocar o sino do templo com base em realidade aumentada
interativa. Realidade Virtual 15, 4 (2011), 295–309. DOI: https://doi.org/10.1007/s10055-010-0164-8

11https://developers.google.com/ar/discover/, último acesso: 25 de janeiro de 2019. 12https://

developer.apple.com/arkit/, último acesso: 25 de janeiro de 2019.

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

Design, teste de uso em larga escala e métricas importantes 41:17

[11] Taejin Ha, Woontack Woo, Youngho Lee, Junhun Lee, Jeha Ryu, Hankyun Choi e Kwanheng Lee. 2010. ARtalet: ferramenta de
criação de realidade aumentada imersiva baseada em interface de usuário tangível para o livro Digilog. No Simpósio Internacional
de Realidade Virtual Ubíqua (ISUVR'10). IEEE, 40-43. DOI: https://doi.org/10.1109/ISUVR.2010.20 [12] A.-C. Haugstvedt e John
Krogstie. 2012. Realidade aumentada móvel para patrimônio cultural: um estudo de aceitação de tecnologia. No IEEE International
Symposium on Mixed and Augmented Reality (ISMAR'12). IEEE, 247-255. DOI: https://doi. org/10.1109/ISMAR.2012.6402563 [13]
Anders Henrysson, Mark Billinghurst e Mark Ollila. 2006. AR tênis. Em ACM SIGGRAPH 2006 Esboços. AC, 13.

DOI: https://doi.org/10.1145/1179133.1179135
[14] Hyung-Keun Jee, Sukhyun Lim, Jinyoung Youn e Junsuk Lee. 2014. Uma ferramenta de criação baseada em realidade aumentada
para aplicativos de e-learning. Ferramentas e aplicativos multimídia 68, 2 (2014), 225–235. DOI: https://doi.org/10.1007/
s11042-011-0880-4
[15] Lucinda Kerawalla, Rosemary Luckin, Simon Seljeÿot e Adrian Woolard. 2006. “Making it real”: Explorando o potencial da realidade
aumentada para o ensino de ciências na escola primária. Realidade Virtual 10, 3–4 (2006), 163–174. DOI: https://doi.org/10.1007/
s10055-006-0036-4 [16] Minoru Kojima, Maki Sugimoto, Akihiro Nakamura, Masahiro Tomita, Masahiko Inami e NII Hideaki. 2006.

Coliseu aumentado: um ambiente de jogo aumentado com pequenos veículos. Em nulo. IEEE, 3–8. DOI: https://doi.org/10.1109/
TABLETOP.2006.3
[17] Panos Kourouthanassis, Costas Boletsis, Cleopatra Bardaki e Dimitra Chasanidou. 2015. Respostas dos turistas aos guias de viagem
de realidade aumentada móvel: O papel das emoções no comportamento de adoção. Computação Pervasiva e Móvel 18 (2015),
71–87. DOI: https://doi.org/10.1016/j.pmcj.2014.08.009
[18] Youngho Lee. 2015. Quebra-cabeças de coloração AR com extração de textura e algoritmo de mapeamento auto-UV. Em Distributed,
Ambient, and Pervasive Interactions, Norbert Streitz e Panos Markopoulos (Eds.). Notas de Palestra em Ciência da Computação,
vol. 9189. Springer International Publishing, 182–187. DOI: https://doi.org/10.1007/978-3-319-20804-6_
17
[19] Kaikai Liu e Xiaolin Li. 2015. Habilitando a realidade aumentada interna sensível ao contexto por meio de detecção de smartphone e
rastreamento de visão. ACM Transactions on Multimedia Computing, Communications, and Applications 12, 1s (Out. 2015), Artigo
15, 23 páginas. DOI: https://doi.org/10.1145/2808208 [20] Su-Ju Lu e Ying-Chieh Liu. 2015. Integração da tecnologia de realidade
aumentada para aprimorar o aprendizado das crianças na educação marítima. Environmental Education Research 21, 4 (2015), 525–
541. DOI: https://doi.org/10.1080/13504622.2014.
911247
[21] Alessandro Mulloni, Daniel Wagner e Dieter Schmalstieg. 2008. Mobilidade e interação social como elementos centrais de jogabilidade
em realidade aumentada multijogador. In Proceedings of the 3rd International Conference on Digital Interactive Media in
Entertainment and Arts (DIMEA'08). ACM, Nova York, 472-478. DOI: https://doi.org/10.1145/1413634.1413718 [22] Simona
Naspetti, Roberto Pierdicca, Serena Mandolesi, Marina Paolanti, Emanuele Frontoni, and Raÿaele Zanoli.
2016. Análise automática de dados de rastreamento ocular para aplicativos de realidade aumentada: uma perspectiva prospectiva.
Em Conferência Internacional sobre Realidade Aumentada, Realidade Virtual e Computação Gráfica. Springer, 217–230. DOI:
https://doi.org/10.1007/978-3-319-40651-0_17
[23] Trond Nilsen, Steven Linton e Julian Looser. 2004. Motivações para jogos de realidade aumentada. Procedimentos da FUSE
4 (2004), 86–93.
[24] Parque Jong-Seung. 2011. AR-Room: Uma estrutura de prototipagem rápida para aplicativos de realidade aumentada. Multimídia
Ferramentas e aplicativos 55, 3 (2011), 725–746. DOI: https://doi.org/10.1007/s11042-010-0592-1
[25] Wayne Piekarski e Bruce H. Thomas. 2001. Tinmith-evo5–Uma arquitetura para suportar realidade aumentada móvel
ambientes. No ISAR. IEEE, 177. DOI: https://doi.org/10.1109/ISAR.2001.970530
[26] Roberto Pierdicca, Emanuele Frontoni, Primo Zingaretti, Eva Savina Malinverni, Francesca Colosi e Roberto Orazi. 2015. Tornar
visível o invisível. Visualização de realidade aumentada para reconstruções 3D de sítios arqueológicos. Em Conferência
Internacional sobre Realidade Aumentada e Virtual. Springer, 25–37. DOI: https://doi.org/10.1007/ 978-3-319-22888-4_3

[27] Roberto Pierdicca, Emanuele Frontoni, Primo Zingaretti, Adriano Mancini, Eva Savina Malinverni, Anna Nora Tassetti, Ernesto
Marcheggiani e Andrea Galli. 2016. Manutenção inteligente de margens de rios usando uma camada de dados padrão e realidade
aumentada. Computadores e Geociências 95 (2016), 67–74. DOI: https://doi.org/10.1016/j.cageo.2016.06.018 [28] Roberto
Pierdicca, Emanuele Frontoni, Primo Zingaretti, Mirco Sturari, Paolo Clini e Ramona Quattrini. 2015.
Interação avançada com pinturas por realidade aumentada e visualização em alta resolução: uma exposição de caso real.
Em Realidade Aumentada e Virtual. Springer, 38-50. DOI: https://doi.org/10.1007/978-3-319-22888-4_4 [29] Klen
ÿopiÿ Pucihar e Paul Coulton. 2014. Explorando a evolução da realidade aumentada móvel para futuros sistemas de entretenimento.
Computers in Entertainment (CIE) 11, 2 (2014), 1. DOI: https://doi.org/10.1145/2582179.2633427 [30] Ho-Sub Ryu e Hanhoon
Park. 2016. Um sistema para suportar realidade aumentada baseada em papel. Ferramentas multimídia e
Pedidos 75, 6 (2016), 3375–3390. DOI: https://doi.org/10.1007/s11042-014-2439-7

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.
Machine Translated by Google

41:18 P. Roberto et ai.

[31] Katie Seaborn e Deborah I. Fels. 2015. Gamiÿcação em teoria e ação: Uma pesquisa. Jornal Internacional de Humanos
Computer Studies 74 (2015), 14–31. DOI: https://doi.org/10.1016/j.ijhcs.2014.09.006
[32] Vinícius Emanuel Silva, Caio Lins, André Silva, Rafael Roberto, Cristiano Araujo e Verônica Teichrieb. 2015. Voxar puzzle: Um inovador
jogo de visão computacional de hardware/software para o desenvolvimento infantil. No XVII Simpósio de Realidade Virtual e Aumentada
(SVR'15). IEEE, 147-153. DOI: https://doi.org/10.1109/SVR.2015.29 [33] Nobuko Taketa, Kenichi Hayashi, Hirokazu Kato e Shogo
Noshida. 2007. Livro pop-up virtual baseado em realidade aumentada. Em Interface Humana e Gestão da Informação. Interagindo em
Ambientes de Informação. Springer, 475-484. DOI: https://doi.org/10.1007/978-3-540-73354-6_52

[34] Markus Tatzgern, Raphael Grasset, Eduardo Veas, Denis Kalkofen, Hartmut Seichter e Dieter Schmalstieg. 2015
Explorando pontos de interesse do mundo real: Projeto e avaliação de técnicas de exploração centradas em objetos para realidade
aumentada. Computação Pervasiva e Móvel 18 (2015), 55–70. DOI: https://doi.org/10.1016/j.pmcj.2014.08.010 [35] Bruce H. Thomas.
2012. Uma pesquisa sobre jogos de realidade visual, mista e aumentada. Computadores em Entretenimento (CIE)
10, 3 (2012), 3. DOI: https://doi.org/10.1145/2381876.2381879
[36] Igoris Trimailovas. 2013. MagMAR. Jogo com suporte de realidade aumentada colaborativa e móvel com conteúdo gerado pelo jogador.
Departamento de Engenharia da Computação e Ciência da Informação. Recuperado em 24 de janeiro de 2019 em https://
brage.bibsys.no/xmlui/handle/11250/253555.
[37] Daniel Wagner, Thomas Pintaric e Dieter Schmalstieg. 2004. O trem invisível: um demonstrador colaborativo de realidade aumentada
portátil. Em ACM SIGGRAPH 2004 Tecnologias Emergentes. ACM, 12. DOI: https://doi.org/10.1145/
1186155.1186168
[38] Tetsuo Yamabe e Tatsuo Nakajima. 2013. Treinamento lúdico com jogos de realidade aumentada: estudos de caso para projeto de
sistemas orientados à realidade. Ferramentas e aplicativos multimídia 62, 1 (2013), 259–286. DOI: https://doi.org/10.1007/
s11042-011-0979-7
[39] S. Yuen, Gallayanee Yaoyuneyong e Erik Johnson. 2011. Realidade aumentada: uma visão geral e cinco direções para AR na educação.
Journal of Educational Technology Development and Exchange 4, 1 (2011), 119–140. DOI: https://doi. org/10.18785/jetde.0401.10

Recebido em junho de 2018; revisado em janeiro de 2019; aceito em janeiro de 2019

ACM Trans. Computação Multimídia. Comum. Ap., vol. 15, nº 2, artigo 41. Data de publicação: maio de 2019.