Você está na página 1de 67

Diego Prates de Andrade

Método de classificação de propostas de jogos


digitais utilizando o processo analítico
hierárquico

Manaus
2021
Diego Prates de Andrade

Método de classificação de propostas de jogos digitais


utilizando o processo analítico hierárquico

Dissertação apresentada como pré-requisito


para o mestrado em design de artefatos digi-
tais.

CESAR School
Mestrado em Design de Artefatos Digitais
Programa de Pós-Graduação

Orientador: Narle Silva Teixeira

Manaus
2021
Diego Prates de Andrade

Método de classificação de propostas de jogos digitais


utilizando o processo analítico hierárquico

Dissertação apresentada como pré-requisito


para o mestrado em design de artefatos digi-
tais.

Trabalho aprovado. Manaus, 24 de novembro de 2012:

Narle Silva Teixeira


Orientador

Professor
Convidado 1

Professor
Convidado 2

Manaus
2021
Este trabalho é dedicado à todos os profissionais da indústria de desenvolvimento de jogos
digitais, que lutam todos os dias contra o assédio e desumanas horas de trabalho. Não
vamos nos calar!
Agradecimentos

Agradeço a minha orietadora, Prof a Dra Narle da Silva Teixeixa por guiar-me no
caminho desta pesquisa. Agradeço também a minha esposa Andréa Caetano Gouvêa por
toda a paciência e apoio durante estes dois anos de mestrado. E por último mas não menos
importante à todos os participantes integrantes da indústria de desenvolvimento de jogos
digitais que tornaram esta pesquisa possível.
“Torne o seu sonho maravilhoso uma realidade,
ele se tornará a sua verdade. Se alguém pode, é você.
(N, Pokémon Black/White)
Resumo
O desenvolvimento de jogos digitais é uma tarefa complexa e dispendiosa. Para evitar
o gasto de preciosos recursos desenvolvendo um projeto que não agregue ao portfólio
do estúdio, é necessário uma forma de avaliar os projetos ainda em suas fases iniciais.
Nesta pesquisa, foi elaborado um método baseado no processo analítico hierárquico para
classificar estas propostas de projetos e auxiliar os gestores no processo de tomada de
decisão. Colaboraram da pesquisa pelo menos 37 profissionais de desenvolvimento de jogos
no Brasil e no mundo, participando de 2 questionários ministrados online. Como resultado
destes questionários, pôde-se obter um conjunto de critérios e seus respectivos pesos no
ponderamento de uma proposta de jogo digital, assim como a aplicação destes critérios em
um conjunto de propostas e por fim obter uma lista classificada para o auxílio da tomada
de decisão. A aplicação do método construído à partir do processo analítico hierárquico
foi satisfatória, construindo um bom caminho para que estúdios de pequeno e médio porte
possam melhor gerir os seus portfólios de jogos.

Palavras-chaves: jogos digitais. metodologia. processo analítico hierárquico.


Abstract
Digital game development is a complex and costly task. To avoid wasting precious resources
developing a project that does not add to the studio’s portfolio, a way to evaluate projects
still in their early stages is needed. In this research, a method based on the analytical
hierarchical process was developed to classify these project proposals and help managers in
the decision-making process. At least 37 game development professionals across the world
collaborated in the research, participating in 2 online questionnaires. As a result of these
questionnaires, it was possible to obtain a set of criteria and their respective weights in the
weighting of a digital game proposals, as well as the application of these criteria in a set
of proposals and, finally, obtain a classified list to aid in the decision making process. The
application of the method built from the analytical hierarchical process was satisfactory,
building a good path for small and medium-sized studios to better manage their game
portfolios.

Key-words: digital games. methodology. analytical hierarchical process.


Lista de ilustrações

Figura 1 – Exemplo de agrupamento e simplificação de critérios (elaboração própria) 32


Figura 2 – Escala AHP (TEKNOMO, 2006) (tradução própria) . . . . . . . . . . 32
Figura 3 – Exemplo de par de comparação no segundo questionário (elaboração
própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Figura 4 – Exemplo de elevator pitch utilizado em apresentações do pitch day
(fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Figura 5 – Exemplo de ciclo de jogabilidade utilizado em apresentações do pitch
day (fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Figura 6 – Exemplo de referência de jogabilidade utilizado em apresentações do
pitch day (fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Figura 7 – Exemplo de referência de jogabilidade utilizado em apresentações do
pitch day (fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Figura 8 – Exemplo de enredo utilizado em apresentações do pitch day (fictício) . 40
Figura 9 – Exemplo de referência narrativa utilizado em apresentações do pitch
day (fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Figura 10 – Exemplo de referência de arte utilizado em apresentações do pitch day
(fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Figura 11 – Exemplo de ficha informativa utilizado em apresentações do pitch day
(fictício) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Figura 12 – Exemplo de questionário utilizado para avaliar as propostas apresentadas
no pitch day . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Figura 13 – Especialidades dos participantes do primeiro questionário (elaboração
própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Figura 14 – Experiência dos participantes do primeiro questionário (elaboração
própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Figura 15 – Critérios agrupados do primeiro questionário (elaboração própria) . . . 45
Figura 16 – Satisfação dos processos de seleção de propostas de projetos de de-
senvolvimento de jogos de acordo o nível de experiência (elaboração
própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Figura 17 – Queda no grau de satisfação de acordo com a experiência do participante
(elaboração própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Figura 18 – Redução dos critérios de seleção (elaboração própria) . . . . . . . . . . 47
Figura 19 – Especialidades dos participantes do segundo questionário (elaboração
própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Figura 20 – Anos de experiência dos participantes do segundo questionário (elabo-
ração própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Figura 21 – Tamanho dos estúdios dos participantes do segundo questionário (ela-
boração própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Figura 22 – Análise da razão de consistência de acordo com o tamanho do estúdio
(elaboração própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Figura 23 – Análise da razão de consistência de acordo com a experiência do parti-
cipante (elaboração própria) . . . . . . . . . . . . . . . . . . . . . . . . 50
Figura 24 – Análise da razão de consistência de acordo com a especialidade do
participante (elaboração própria) . . . . . . . . . . . . . . . . . . . . . 50
Figura 25 – Vetores de prioridade obtidos através do segundo questionário (elabora-
ção própria) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Figura 26 – Diagrama do método de seleção de propostas de projetos de jogos
digitais (elaboração própria) . . . . . . . . . . . . . . . . . . . . . . . . 52
Figura 27 – Compilação dos resultados do questionário aplicado ao comitê . . . . . 54
Figura 28 – Gráfico de bolha com os projetos analisados (elaboração própria) . . . 55
Sumário

1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.1 Problematização . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1 Objetivo geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.2 Objetivos específicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2 REFERENCIAL TEÓRICO . . . . . . . . . . . . . . . . . . . . . . . 21
2.1 Definição e caracterização de jogos . . . . . . . . . . . . . . . . . . . 21
2.1.1 Indústria de jogos digitais . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Métodos de classificação para seleção de portfólio . . . . . . . . . . 24
2.2.1 Métodos comparativos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2 Métodos de pontuação ou de ranqueamento . . . . . . . . . . . . . . . . . 25
2.2.3 Abordagens de programação matemática . . . . . . . . . . . . . . . . . . 26
2.2.4 Abordagens de emulação cognitiva . . . . . . . . . . . . . . . . . . . . . . 26
2.2.5 Simulações e modelos heurísticos . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.6 Opções reais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.7 Modelos Ad Hoc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

3 METODOLOGIA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.1 Caracterização da pesquisa . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Procedimentos da pesquisa . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.1 Levantamento de critérios . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.2 Ponderamento dos critérios . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.3 Aplicação dos critérios de seleção . . . . . . . . . . . . . . . . . . . . . . 37

4 RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.1 Análise dos dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 AHP enquanto método para seleção de propostas de projetos de
jogos digitais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

5 CONCLUSÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.1 Resultado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.2 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.3 Trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
17

1 Introdução

1.1 Problematização

Desde o jogo baseado no filme E.T. - The Extraterrestrial, custando cerca de $22
milhões no ano de 1982 (PHIPPS, 2005), indo até o ano de 2020 onde o jogo Cyberpunk 2077
custou cerca de $330 milhões (MACDONALD, 2020), a história das gigantes da indústria do
entretenimento eletrônico tem um fator comum: o custo elevado do desenvolvimento de seus
produtos. A escolha destes dois jogos para exemplificar o alto custo de desenvolvimento não
foi ao acaso. Ambos, mesmo que por razões diferentes, tiveram uma péssima repercussão
na crítica e pelos consumidores.
Como o custo de produção de um jogo digital tende a ser bastante elevado, é
necessária uma forma de selecionar quais jogos serão produzidos pelo estúdio de desen-
volvimento, visando minimizar a possibilidade de um fracasso comercial. Estúdios de
variados tamanhos costumam iniciar o processo de escolha dos jogos que compõem seu
portfólio através de propostas de desenvolvimento, comumente conhecidas como pitch.
Estas propostas precisam ser avaliadas por um comitê que as classifique em relação ao
que a empresa está buscando em relação ao seu portfólio. De acordo com o tamanho do
estúdio de desenvolvimento, este comité pode ser formado por profissionais experientes
no desenvolvimento de jogos, através de entidades externas para evitar o viés interno da
escolha, além da possibilidade da avaliação pelo próprio presidente da empresa no caso de
estúdios menores ou com uma hierarquia bastante vertical.
É importante salientar que nem todos os projetos de desenvolvimento de jogos
digitais ultrapassam a barreira dos milhões de dólares. Esta faixa de orçamento normal-
mente abrange os jogos comumente conhecidos como AAA e em empresas de grande
porte. A designação AAA refere-se ao padrão de qualidade estabelecido para a indústria,
utilizando o sistema de notas dos Estados Unidos, onde A é a nota mais alta. Em estúdios
de pequeno e médio porte o orçamento costuma ser muito menor, em especial no caso dos
estúdios independentes popularmente conhecidos como indie, que normalmente têm pouco
ou nenhum incentivo financeiro para o seu funcionamento. No cenário de desenvolvimento
independente e estúdios de pequeno a médio porte, há um risco bastante agravado de
passar meses ou até anos trabalhando no desenvolvimento de um produto que pode não
ter uma receptividade positiva pelo mercado.
Este agravamento vem da baixa capacidade de produção destes estúdios, que
normalmente por falta de recursos, trabalham apenas em um título de cada vez, não
permitindo uma diversificação de seu portfólio de produtos. Apesar dos problemas de
gestão de portfólio de um estúdio de desenvolvimento de jogos digitais serem muito
18 Capítulo 1. Introdução

parecidos independentemente de sua classificação, a solução para estes problemas pode


variar drasticamente de acordo com o aporte financeiro que estas empresas têm.
Dito isto, esta pesquisa foi focada em estúdios de pequeno e médio porte, visto
que muitas vezes os estúdios independentes são mais focados na liberdade criativa que
o formato proporciona (GUEVARA-VILLALOBOS, 2011), e estúdios de grande porte
costumam ter processos relativamente definidos para a escolha de projetos (ROSE, 2018).
Mesmo no que se refere a escassa literatura acadêmica sobre a produção de jogos
digitais, há um rico material sobre a classificação de jogos. Alguns tratam da classificação
de jogos pelo ponto de vista do jogador (CHENG; CHEN, 2012; LEE et al., 2016; HWANG;
PAI; WU, 2017; PARK; YANG; YANG, 2007), o que poderia ser útil para uma abordagem
baseada em simulação de comportamento consumidor. Outros são mais específicos na
classificação e avaliação de jogos em desenvolvimento (MORADI et al., 2018), (LO;
WEN, 2010), (PUTRI et al., 2019), permitindo que jogos já em produção possam ter
sua efetividade e escopo revistos. Todavia, poucos estudos são focados diretamente na
escolha de projetos de desenvolvimento, como em (RYU; KWON, 2007) onde são estudados
aspectos de sucesso para um jogo online. Infelizmente a maior parte destes estudos não
viabiliza a classificação das propostas de projetos ainda em suas fases iniciais, especialmente
durante a fase de conceituação, anterior até mesmo a pré-produção.
Dentre os vários métodos de desenvolvimento de jogos digitais é bastante comum
a presença de algumas etapas: a fase de conceituação, pré-produção e produção (Van
de Weerd; De Weerd; BRINKKEMPER, 2007). É importante que as propostas de jogos
possam ser avaliadas nos primeiros estágios do desenvolvimento, especialmente antes
da produção, quando o investimento de recursos costuma aumentar significativamente.
Quanto mais um projeto com baixa adequação ao portfólio de produtos da empresa avança
no processo produtivo, maior o potencial de desperdício de tempo e consequentemente
dinheiro. Todavia, o nível de informação necessário para uma tomada de decisão mais
acurada é muito baixo durante estas fases iniciais, como o foco desta pesquisa são estúdios
de pequeno e médio porte estes normalmente não tem equipes para realizar pesquisas de
aceitação ou de tendências mercado, ou mesmo acesso a pesquisas realizadas por empresas
especializadas.
Com esta problemática, este trabalho tem como problema de pesquisa a necessidade
de um método para classificar conceitos ou propostas de projetos dispondo de poucas
informações, mas que possa ao menos ser capaz de arranjá-los de acordo com o quanto
cada projeto corresponde às necessidades e capacidades do estúdio.
1.2. Objetivos 19

1.2 Objetivos
1.2.1 Objetivo geral
Desenvolver um método de avaliação de projetos de jogos digitais ainda em fase
inicial de desenvolvimento.

1.2.2 Objetivos específicos


• Levantar o estado da arte em métodos de avaliação de projetos dentro e fora do
ambiente de desenvolvimento de jogos digitais.

• Identificar as principais dores dos profissionais de desenvolvimento de jogos eletrônicos


além de empresas de publicação de jogos.

• Delinear os requisitos do método de avaliação que tenham maior impacto na seleção


de propostas.

• Indicar uma forma de avaliar a eficácia do método de avaliação

1.3 Justificativa
Como visto anteriormente, o processo de criação de jogos digitais costuma envolver
muitos recursos, seja um pequeno time de desenvolvedores independentes que investem seu
tempo fora do trabalho no desenvolvimento de um pequeno projeto, um estúdio que precisa
utilizar o capital de investimento para desenvolver seu próximo jogo, ou uma publicadora
que precisa escolher em qual jogo deve investir o seu orçamento de marketing. Seja qual
for o recurso a ser utilizado, é necessário não somente minimizar o seu uso com estratégias
de gerenciamento, mas talvez até mais importantemente, selecionar onde utilizá-lo.
Com exceção dos jogos hiper casuais (HARTERY, 2020) ou mesmo outros pequenos
jogos para as plataformas móveis, o processo de desenvolvimento de jogos digitais é
comumente longo e a interação com o usuário final costuma se intensificar apenas nas
etapas finais do desenvolvimento (RAMADAN; WIDYANI, 2013). Com isto em mente, é
muito difícil saber no começo de um projeto, e em especial durante a sua fase de proposta,
o quão alinhado com o mercado, e com a habilidade e capacidade da empresa.
Normalmente em estúdios e empresas de grande porte tem pelo menos um setor
dedicado à pesquisa de usuário, análise de dados e adequação de mercado, o processo
de escolha de projetos é baseado nas informações providas por estes setores. Como este
método de avaliação é iterativo tanto em termos de experiências da própria empresa como
em iterações de mercado, estas empresas de grande porte costumam ser mais assertivas
nas escolhas de seus projetos. Além disso, por normalmente contar com um amplo capital
de investimento, podem se dar ao luxo de investir em projetos mais arriscados.
20 Capítulo 1. Introdução

No caso de empresas de pequeno e médio porte, muitas vezes é inviável a instalação


de setores dedicados exclusivamente à pesquisa de usuário e análise de mercado, podendo
fazer com que a escolha de novos projetos seja puramente baseada na experiência dos
desenvolvedores e não em um processo estruturado.
Com estes fatores em mente, e entendendo que esta pesquisa é voltada a pequenas
e médias empresas, a criação de um método simples e estruturado para a escolha de
propostas de projetos é essencial para reduzir o risco no desenvolvimento de jogos digitais,
permitindo que estas empresas façam um melhor uso de seus recursos e reduzam a taxa de
rotatividade de seus colaboradores devido a baixa moral decorrente de múltiplos projetos
cancelados ou com baixa aceitação de mercado (BATCHELOR, 2017).
Espera-se que proposições desta natureza tragam uma vantagem competitiva para
as empresas que a adotarem tornando o uso de seus recursos mais otimizado e diminuindo
a possibilidade de fracasso financeiro de seus projetos, além de manter o conjunto de
colaboradores mais satisfeitos com os projetos que estes estão realizando.
21

2 Referencial teórico

2.1 Definição e caracterização de jogos

Na língua portuguesa temos palavras específicas para descrever vários aspectos


do que no inglês a palavra play agrega: brincar, jogar, atuar, etc. Todas estas palavras
denotam um forte aspecto lúdico que permeia a cultura humana desde incontáveis eras. O
simples ato de jogar ou brincar está profundamente arraigado da história da humanidade,
sendo considerado um dos aspectos fundamentais da civilização. A brincadeira, o jogo e o
faz-de-conta começam na criança, atuando quase que como um treinamento para a vida
adulta. (HUIZINGA, 1949)
Mas esta não é nem de longe a única função dos jogos, para muitos o ato de jogar
é visto como hobby, sendo um ponto de escape da vida cotidiana nos quais os jogadores
buscam o prazer de jogar, ou jogos mais utilitários como educacionais, que mesmo ainda
tendo um forte caráter lúdico, tem com objetivo primário o aprendizado. (HAMARI;
KERONEN, 2017; HUIZINGA, 1949)
Para outros o atrativo está aspecto da competitividade, seja em esportes profissionais
ou amadores, e até mesmo em brincadeiras onde a competição não é o fator primário
(HUIZINGA, 1949). No que se refere ao fenômeno dos e-sports, que tem crescido muito
durante a última década, a motivação dos jogadores normalmente está relacionada aos
fatores de sociabilidade e competitividade, iniciados principalmente durante a década dos
anos 2000 nas LAN parties (MARTONČIK, 2015).
Ainda que na língua inglesa exista uma distinção clara entre as palavras play e
game, em várias outras línguas (incluindo o português) esta distinção é inexistente ou
muito vaga (SALEN; ZIMMERMANN, 2003). A expressão "jogar um jogo", mesmo que
possa parecer um tanto quanto repetitiva em português, quando traduzida para o inglês
play a game, traz uma diferença de significado entre as duas palavras. Entendendo que esta
diferenciação pode ser melhor explorada com a análise da expressão em inglês, existem
duas principais relações entre play e game.
Primeiramente jogos podem ser descritos como uma subdivisão de play. Podemos
achar atrelados ao significado de play: cães filhotes brincando entre si, adolescentes jogando
queimada, em crianças cantando rimas, jogadores jogando um MMORPG, etc. Todavia,
mesmo que todas estas atividades possam ser consideradas como brincadeiras, apenas as
que são mais estruturadas e seguem um conjunto mínimo de regras são considerados jogos
de fato (SALEN; ZIMMERMANN, 2003; KRAMER, 2000)
Por outro lado, play pode também ser considerada uma parte do jogo. Sendo o
próprio do fenômeno que o jogador experiencia enquanto joga o jogo e como os designers
22 Capítulo 2. Referencial teórico

o projetam para uma experiência específica (SALEN; ZIMMERMANN, 2003).


Tomando como exemplo o xadrez, pode-se definir os componentes como as peças
que compõem o jogo: os peões, torres, bispos, etc., além do próprio tabuleiro. Já as regras,
estão relacionadas em como estes componentes interagem entre si e/ou com o jogador,
ainda com o xadrez em mente: a forma como cada peça se movimenta no tabuleiro, o fato
de o jogador que controla as peças brancas sempre começa o jogo, etc. Em adição aos
componentes e regras também é bastante comum encontrar um objetivo, ou condição de
vitória (KRAMER, 2000). Ainda utilizando o xadrez como exemplo, o objetivo central do
jogo é conquistar o rei adversário. Este conjunto de componentes e regras define o que é o
jogo, não importando se os jogadores estão utilizando um tabuleiro oficial de campeonatos
ou tampas de garrafa em um tabuleiro improvisado, o jogo é o mesmo. Quando se trata
de jogos digitais, a grande diferença em relação aos jogos físicos é a mídia na qual são
representados. Por tratar-se de um meio digital, a capacidade de representação da visão
do autor limita-se apenas pela tecnologia atual, proporcionando uma maior imersão do
jogador.
Outros jogos tem também objetivos secundários que podem ou não contribuir
diretamente com o objetivo central do jogo, como por exemplo em vários jogos da série
Super Mario Bros, onde o jogador pode coletar moedas para aumentar sua pontuação no
jogo, incentivando um caráter de competitividade, mas também pode ganhar uma vida
extra quando uma certa quantidade de moedas é coletada, fazendo com que o jogador
possa cometer erros sem uma punição mais severa (PEDERSEN, 2009).
Todavia existem jogos sem um objetivo central, ou com um objetivo tão raso quanto
apenas permanecer vivo. Este é o caso de boa parte dos jogos de sobrevivência, tendo
como seu mais famoso representante o jogo Minecraft, onde o jogador não tem um objetivo
predeterminado pelos autores do jogo, mas devido a extensa gama de possibilidades que o
jogo oferece, os jogadores acabam delimitando seus próprios objetivos, fazendo com que
este comportamento emergente se torne um dos principais atrativos do jogo (DUNCAN,
2011).
Ainda que exista uma certa sobreposição nas definições do que consiste um jogo,
não há um consenso geral, visto que algumas exceções desafiam mesmo a estrutura básica
de componentes e regras. Em jogos de simulação de caminhada, o componente narrativo
normalmente é o principal foco do jogo, mas muitas vezes consistem apenas em um ambiente
contemplativo com pouca interação do jogador. Esta quebra de paradigma em relação a
uma visão mais tradicional de jogos acaba fazendo com que estes possam muitas vezes
possam ser vistos como experiências, mas não necessariamente jogos (ZIMMERMANN;
HUBERTS, 2019; FRANKLIN, 2013).
Como por ser visto na Tabela 1, vários os mais renomados autores da área tem
visões muito diferentes das definições básicas de jogo. Ainda que a vasta maioria concorde
com a existência de regras que limitam o jogador como uma das bases que definem o
2.1. Definição e caracterização de jogos 23

que é um jogo, de acordo com Costikyan (2013) os jogos são forma de arte interativas,
tornando-a uma definição mais abrangente e incluindo também experiências jogáveis como
os simuladores de caminhada que não se encaixam facilmente na definição mais clássica.
Definição Parlett Abt Huizinga Cailois Suits Crawford Costikyan Avedon / Sutton-Smith
Regras que limitam os jogadores x x x x x x x
Conflito ou competição x x x
Orientado a objetivo ou resultado x x x x x
Atividade, processo ou evento x x x
Involve processo de decisão x x x
Não sério e absorvente x
Nunca associado a ganho material x x
Artificial, seguro, fora da vida ordinária x x x
Cria grupos sociais especiais x
Voluntário x x x
Incerto x
Crível, representativo x x
Ineficiente x
Sistemas de partes/recursos e fichas x x
Uma forma de arte x

Tabela 1 – Diferentes definições de jogos (SALEN; ZIMMERMANN, 2003) (tradução


própria)

2.1.1 Indústria de jogos digitais


Desde o seu surgimento como indústria na década de 80, a indústria de desen-
volvimento de jogos eletrônicos tem visto constante crescimento, tanto em termos de
faturamento quanto em número de novos estúdios surgindo todos os anos. (MARCHAND;
HENNIG-THURAU, 2013) Este crescimento vem em parte da diversificação de mercado
que a indústria vem empregando.
Vindo de um mercado inicial composto apenas por fliperamas (também conhecidos
como arcade em inglês), passando por consoles domésticos, ao longo dos anos a indústria
de desenvolvimento de jogos eletrônicos expandiu suas fronteiras para os computadores
que estavam cada vez mais presentes nos lares dos consumidores, para consoles portáteis
como o Nintendo Game Boy e suas subsequentes atualizações (TAKEDA, 2020), até
chegar ao seu mais moderno e lucrativo segmento: os jogos para dispositivos móveis. É
importante salientar que consoles portáteis são bastante diferente de dispositivos móveis,
pois os primeiros são dispositivos cujo o único objetivo é jogar, enquanto o dispositivos
móveis como celulares e tablets são dispositivos multifuncionais e tem no jogo uma de suas
atividades e não necessariamente sua única função.
Mesmo sendo mais lucrativo que todos os outros segmentos da indústria de desen-
volvimento de jogos combinados, os jogos para dispositivos móveis não eclipsam os outros
segmentos, pois mesmo apesar de seu esmagador faturamento, os outros segmentos da
indústria ainda vem crescendo (WATSON, 2020).
Aproveitando-se desta corrente de crescimento, a indústria brasileira de desenvolvi-
mento de jogos tem crescido consideravelmente ao longo das últimas duas décadas. Apesar
de ainda ser pequena quando comparada à países com indústrias mais estabelecidas, o
24 Capítulo 2. Referencial teórico

Brasil tem tido um crescimento significativo tanto em termos de faturamento quanto


em número de estúdios de jogos, saindo de 133 empresas no ano de 2014 para 375 no
ano de 2018, data na qual foi realizado o último Censo da Indústria Brasileira de Jogos
Digitais pelo extinto Ministério da Cultura (FLEURY; NAKANO; CORDEIRO, 2014;
SAKUDA et al., 2018). Em relação ao faturamento, no ano de 2017 9 das empresas
consultadas faturaram mais que R$3.6 milhões, indicando que mesmo que o mercado ainda
seja predominantemente formado por micro e pequenas empresas, o setor tem aberto
espaço para empresas de grande porte como a Wildlife, tendo seu valor estimado em mais
de ais de US$ 3 bilhões (INGIZZA, 2020).
Devido a pandemia do COVID-19, a indústria mundial de jogos eletrônicos teve
um grande salto em valor no ano de 2020, indo na contramão de vários outros setores
que tiveram uma diminuição significativa de seu faturamento no mesmo período. Este
crescimento vem principalmente do fato de mais e mais pessoas estarem em isolamento
social, trabalhando remotamente e tendo que preencher seu tempo com atividades possíveis
de serem realizadas dentro de casa (SMITH, 2020). De acordo com (WATSON, 2020), no
ano de 2020, houve um crescimento de cerca de 36% no tempo gasto com videogames em
casa, o que impacta diretamente não somente na venda de jogos, consoles e periféricos
novos, mas também no mercado de usados e de colecionadores (HENDRICKS, 2021).
Em contrapartida a este grande crescimento no ano de 2020, o ano de 2021 tem se
mostrado mais modesto, com um declínio de faturamento de cerca de 1.1% e com previsão
de chegar aos 2.8% até o final do ano. Este declínio é decorrente da lenta e crescente volta
à normalidade pós-pandemia, visto que o mercado de consoles domésticos e computadores
tem previsão de redução de 8.9% (WIJMAN, 2021).

2.2 Métodos de classificação para seleção de portfólio


Visto que a seleção de portfólio visa sempre otimizar o uso de recursos, assim
como maximizar os ganhos obtidos, é necessário modelar de forma uniforme todas as
propostas de projetos para que estas possam ser comparadas. De acordo com Iamratanakul
(2008), os vários métodos para escolha de portfólio podem ser classificados em: métodos de
medição de benefícios, abordagens de programação matemática, abordagens de emulação
cognitiva, simulação e modelos heurísticos, opções reais e modelos ad hoc. Apesar de esta
classificação não ser largamente utilizada na literatura, é uma das mais abrangentes em
relação a quantidade de grupos de classificação, facilitando o entendimento dos prós e
contras de cada grupo de métodos.

2.2.1 Métodos comparativos


O grupo de métodos comparativos, como seu nome sugere, compara um projeto
a outro, ou a um grupo de projetos (IAMRATANAKUL; PATANAKUL; MILOSEVIC,
2.2. Métodos de classificação para seleção de portfólio 25

2008). Em métodos como o mapa de benefícios, os resultados, ou potenciais benefícios, são


analisados e utilizados como critério de avaliação. Estes benefícios devem estar alinhados
com um objetivo de negócio da empresa, podendo ser reduzido a algo como: Ser o maior
estúdio de jogos móveis do Brasil. A partir deste objetivo estratégico de negócio, são
levantados os fatores de sucesso e avaliados seus possíveis resultados (MARTINELLI;
MILOSEVIC, 2016).
O cascateamento dos fatores de decisão partindo de um objetivo estratégico de
negócio tende a garantir que a avaliação esteja alinhada com a missão da empresa, além
de tornar mais claros os benefícios de negócio que cada projeto pode adicionar à empresa.
Porém este tipo de método de classificação tem difícil aplicação para objeto de estudo desta
pesquisa (estúdios de pequeno e médio porte), pois necessita de um entendimento claro
não apenas da colocação do estúdio frente ao mercado, mas também das consequências
das características de cada projeto no objetivo estratégico da empresa.
Quando os projetos a serem analisados tem um viés quantitativo bastante forte,
podem ser aplicados métodos econômicos como o tempo de retorno, valor presente líquido
e taxa de retorno interna, que em síntese comparam características numéricas realizadas
ou esperadas dos projetos (MARTINELLI; MILOSEVIC, 2016). Apesar de serem bastante
eficazes na classificação de projetos financeiros, onde existem fatores numéricos fáceis de
serem identificados, no ambiente de desenvolvimento de jogos estes números são muito
difíceis de se obter. É bastante complicado prever a quantidade de cópias vendidas, ou a
taxa de retenção mensal de um jogo, praticamente descartando a possibilidade de usar
métodos econômicos para este fim.
Apesar do grupo de classificação “comparativo” ser bastante genérico, pode-se dizer
que os métodos pertencentes a este compartilham o fato de compararem o projeto ou seus
resultados, em detrimento às suas características individuais, fazendo com que a cada
projeto adicionado exija uma nova avaliação da completa base de comparação.

2.2.2 Métodos de pontuação ou de ranqueamento


Diferentemente dos métodos comparativos, os métodos de pontuação são focados nas
características individuais de cada projeto, estabelecendo uma pontuação individual para
cada uma delas e permitindo que os projetos recebam uma pontuação e sejam ranqueados
em uma lista de prioridades. (IAMRATANAKUL; PATANAKUL; MILOSEVIC, 2008). É
importante salientar que a linha divisória entre os métodos comparativos e de pontuação é
bastante tênue, e tende a ficar mais no caráter filosófico das duas abordagens, visto que
métodos comparativos podem ser ranqueados e métodos de pontuação também podem
levar em consideração o objetivo estratégico da empresa.
Métodos como o processo hierárquico analítico (do inglês AHP, analytical hierar-
chical process) PROMETHEE 1 e 2, fuzzy AHP e outros, fazem parte de uma subcategoria
dos métodos de pontuação chamados métodos de apoio à decisão multicritério (do acrô-
26 Capítulo 2. Referencial teórico

nimo em inglês MCDM, multi-criteria decision making) (MASOUMI, 2016). Todos os


métodos MCDM previamente citados atuam de forma muito parecida, comparando cada
característica que define o projeto e definindo um peso (ou importância) para cada uma
destas características

2.2.3 Abordagens de programação matemática


Quando utilizam-se técnicas de programação matemática como a programação
linear (PAPAHRISTODOULOU; DOTZAUER, 2004), ou não linear (WANG et al., 2006),
a acurácia da seleção costuma ser mais elevada do que quanto comparados a outros métodos
como os comparativos. Porém, para que tal acurácia possa ser alcançada, é necessário um
elevado número de variáveis precisamente mensuráveis, tais como o histórico do preço das
ações, histórico de produção, etc., tornando estas abordagens excelentes para a seleção de
portfólios econômicos por exemplo, onde as variáveis podem ser medidas com facilidade,
mas menos adequada a seleção de projetos cuja a incerteza em relação as variáveis é maior.
Há ainda outras abordagens de programação matemática como modelos de progra-
mação inteira, modelos de programação de objetivo, modelos de programação dinâmica,
modelos de programação estocástica, e modelos fuzzy (IAMRATANAKUL; PATANAKUL;
MILOSEVIC, 2008). Todavia, todos estes modelos sofrem do mesmo problema da necessi-
dade de variáveis bem estruturadas e mensuráveis, tornando-os difíceis de aplicar a seleção
de propostas de desenvolvimento de jogos digitais.

2.2.4 Abordagens de emulação cognitiva


Fugindo da abordagem tradicionalmente matemática, as abordagens de emulação
cognitiva baseiam-se em simular o comportamento humano para a tomada de decisão,
como por exemplo nas árvores de decisão. onde as opções escolhidas por um ou mais
especialistas são analisadas para gerar uma sequência de regras para a seleção de um
projeto (IAMRATANAKUL; PATANAKUL; MILOSEVIC, 2008).
Estas árvores de decisão podem ainda serem utilizadas como entrada para a criação
de um sistema especialista, automatizando em parte o processo de tomada de decisão
(GUERRI; MILANO, 2004). Outra abordagem de emulação cognitiva bastante aplicada é
a de teoria de jogos (BELL; COVER, 1988), em especial para o mercado financeiro, onde
os estudos de comportamento coletivo já são estudados há várias décadas.
Ambas as opções são altamente dependentes do conhecimento de especialistas na
área para a modelagem do comportamento, mas como a indústria de desenvolvimento de
jogos digitais é relativamente jovem e evolui muito rapidamente, é muito difícil prever o
comportamento dos consumidores e portanto muito difícil criar um modelo que se adeque
a realidade.
2.2. Métodos de classificação para seleção de portfólio 27

2.2.5 Simulações e modelos heurísticos


Em diversos segmentos, muitas variáveis são necessárias para uma eficaz análise de
portfólio, ao ponto de que o tempo para computar todos os dados necessários tornaria
proibitivo o seu uso como auxílio na tomada de decisão. Dito isto, é bastante comum a
utilização de heurísticas que se aproximam do resultado que seria obtido pelo algoritmo
matemático, mas com uma fração do tempo (MANSINI; SPERANZA, 1999; IAMRATA-
NAKUL; PATANAKUL; MILOSEVIC, 2008). Este tipo de abordagem também necessita
de uma grande precisão e mensurabilidade das variáveis envolvidas, tornando o seu uso
proibitivo para a seleção de propostas de projetos de jogos digitais.

2.2.6 Opções reais


Novamente em relação ao mercado financeiro, a análise de opções reais compara as
características de uma oportunidade de investimento com as características de um ativo
do mercado de ações (LUEHRMAN, 1998). Apesar de ser uma excelente alternativa para
o mercado financeiro, ela não se adequa facilmente a indústria de jogos, por necessitar de
especificidades numéricas que são desconhecidas ou impossíveis de obter durante a etapa
de proposta e mesmo durante o desenvolvimento do projeto.

2.2.7 Modelos Ad Hoc


Por último, modelos ad hoc são criados com uma finalidade específica e são difi-
cilmente replicáveis para seleção de portfólio em outros segmentos (IAMRATANAKUL;
PATANAKUL; MILOSEVIC, 2008).
De acordo com Hall 1990, para a seleção de projetos de pesquisa e desenvolvimento
é mais importante adequar os critérios de seleção aos projetos e planos correntes do
que necessariamente se apoiar em procedimentos existentes. Apesar desta abordagem ser
bastante aplicável ao desenvolvimento de jogos digitais, a grande diferença entre gêneros
de jogos impossibilitaria o uso de um único modelo, fazendo que sua reusabilidade fosse
bastante limitada.
29

3 Metodologia

3.1 Caracterização da pesquisa


Neste capitulo descreveu-se o caminho metodológico utilizado para investigar o
potencial do processo analítico hierárquico (AHP) enquanto método de classificação de
propostas de projetos de desenvolvimento de jogos.
O processo analítico hierárquico consiste em uma etapa de levantamento de critérios
e posteriormente da ponderação destes mesmos critérios. Durante a etapa de levantamento
de critérios, todas as partes interessadas devem ser consultadas, visto que cada uma
delas tem interesses diferentes e até mesmo conflitantes. Estas diferenças tornam clara
a necessidade de uma análise qualitativa das partes interessadas, para que os critérios
levantados reflitam as suas reais necessidades. Já durante a etapa de ponderação dos
critérios, o próprio processo analítico hierárquico reduz significativamente a necessidade
de uma análise qualitativa, pois o resultado numérico do fator de consistência tende a
eliminar ponderamentos inconsistentes. Devido a esta natureza dualitária do processo
analítico hierárquico, optou-se por realizar uma pesquisa mista: qualitativa para a primeira
etapa do processo e quantitativa para a segunda etapa.
Como a seleção de portfólio é um problema real que várias empresas de desenvolvi-
mento de jogos enfrentam atualmente, optou-se por por realizar uma pesquisa de natureza
prática, visando obter como resultado um método para a seleção de propostas de jogos
digitais que possa ser facilmente aplicado à estúdios de desenvolvimento.
Enquanto procedimentos para a coleta de dados, foram utilizados questionários
realizados remotamente através de plataformas digitais como o Google Forms e Survey
Monkey.
Por fim, a análise de dados utilizada foi descritiva, sendo utilizadas análises estatís-
ticas nos dados quantitativos e uma análise descritiva das características das respostas
qualitativas do questionário.

3.2 Procedimentos da pesquisa


3.2.1 Levantamento de critérios
A coleta de dados com profissionais da área de desenvolvimento de jogos se deu
em duas etapas distintas: o levantamento de critérios e posteriormente o ponderamento
dos critérios. Em um primeiro momento foi ministrado um questionário perguntando
qual haviam sido as experiências prévias dos participantes com processos de seleção de
propostas de projetos de jogos.
30 Capítulo 3. Metodologia

O questionário foi enviado para vários grupos de discussão sobre desenvolvimento


de jogos no Brasil e exterior. Dito isto, utilizou-se uma amostragem probabilística, visto
que não foi possível ativamente selecionar os participantes, mas apenas garantir que estes
sejam do meio de desenvolvimento de jogos eletrônicos. Durante todo o processo não foram
coletadas informações pessoais dos participantes, apenas informações demográficas que
permitiram uma análise superficial das respostas em relação ao tipo de profissional.
Este primeiro questionário esteve disponível entre 19/02/2021 e 25/02/2021 e
obteve um total de 35 participantes
De acordo com (BALDWIN, 2006) é bastante comum um profissional de desenvol-
vimento de jogos ter experiência significativa em mais de uma área de atuação. Portanto,
com o intuito de possibilitar uma posterior análise demográfica das diferentes disciplinas do
desenvolvimento de jogos, foi solicitado aos respondentes que indicassem quais áreas estes
tinham mais afinidade, podendo ser selecionadas múltiplas opções. Ainda em relação as
caraterísticas dos participantes, também foi solicitado a quantidade de anos de experiência
na área de desenvolvimento de jogos, permitindo uma análise de como a senioridade afeta
a percepção e satisfação dos profissionais em relação a seleção de propostas.
Como o questionário foi aplicado tanto para brasileiros quanto estrangeiros, optou-
se por realizá-lo em inglês. Todavia, todas as referências feitas ao questionário neste
documento foram traduzidas para facilitar a comunicação. Na execução deste questionário
foi utilizado o termo pitch, que é bastante utilizado tanto no ambiente de desenvolvimento
de jogos quanto em startups e administração em geral, podendo ser traduzido do inglês
como proposta. Foi perguntado a cada um dos participantes, em caráter livre e descritivo,
quais eram os principais fatores que deveriam ser levados em consideração no momento de
escolha de um projeto de desenvolvimento de jogos, ou simplesmente pitch:

• Quais critérios você considera importantes para selecionar um pitch de jogo?

• Quais critérios são comumente negligenciados pela gerência dos estúdio ou investidores
na seleção de pitches de jogos?

• Qual o seu grau de satisfação em relação a suas experiências prévias com seleção de
propostas de projetos?

Em relação ao grau de satisfação em relação a suas experiências prévias com seleção


de propostas de projetos, foi utilizada uma escala numérica de 1 a 5, onde 1 denota uma
péssima experiência e 5 excelente.

3.2.2 Ponderamento dos critérios


O segundo questionário consiste da aplicação do questionário base do AHP,
tornando-o puramente quantitativo. Os critérios comparados foram extraídos da aná-
3.2. Procedimentos da pesquisa 31

lise do primeiro questionário, que será posteriormente explorado na sessão 4.1 Análise dos
dados.
Este questionário foi enviado aos mesmos grupos de discussão sobre desenvolvimento
de jogos digitais do questionário anterior e esteve disponível entre 23/08/2021 e 01/09/2021,
obtendo um total de 37 respostas das quais apenas 27 foram completadas.
Nesta etapa, foi necessário comparar entre si todos os critérios em cada nível
hierárquico, como pode ser visto na figura, ou seja a quantidade de comparações cresce
em uma progressão geométrica

n(n − 1)
c=
2
Onde c é a quantidade de comparações resultantes e n é a quantidade de critérios
a serem comparados. Portanto é vital manter o menor número possível de critérios a
serem comparados, facilitando não somente a sua análise, mas principalmente reduzindo a
quantidade de critérios comparados pelos participantes no questionário (KARTHIKEYAN;
VENKATESAN; CHANDRASEKAR, 2017).
Por tratar-se de um questionário quase que puramente textual, foi necessário aplicar
uma forma de agrupamento e generalização dos dados obtidos. Para isto optou-se pela
utilização de um mapa mental que generalizasse os critérios levantados enquanto mantém
a característica hierárquica do AHP.
Utilizando como exemplo a comparação de frutas prediletas e tendo como base os
dados fictícios:

• Maçã fuji

• Maçã verde

• Banana pacovã

• Banana prata

• Cereja

• Mirtilo

• Amora

Poderia-se agrupar as frutas em categorias como visto na Figura 1. Reduzindo os


sub-espécies de maçãs e bananas a sua caracterização generalizada e agrupando as frutas
vermelhas.
Fica claro que este tipo de agrupamento e generalização é altamente dependente
do pesquisador, mas como o autor já é experiente na área de desenvolvimento de jogos,
acredita-se que o viés seja mínimo e esteja dentro de margens toleráveis de erro. Todavia,
visto que o tempo gasto para responder perguntas em um questionário não se dá de forma
32 Capítulo 3. Metodologia

Figura 1 – Exemplo de agrupamento e simplificação de critérios (elaboração própria)

linear, sendo que o tempo que o participante gasta analisando e respondendo a pergunta
diminui conforme este progride do questionário, reduzindo a confiabilidade dos dados
obtidos através deste (CHUDOBA, ).
Por último, com o intuito de reduzir ainda mais a quantidade de comparações
realizadas pelos participantes, optou-se por utilizar apenas o primeiro nível hierárquico do
mapa mental.
Todos os pares de comparação foram realizados com a escala padrão do AHP para
o cálculo das matrizes de ponderamento, ou seja: -9 a 9, como pode ser visto da Figura 2.

Figura 2 – Escala AHP (TEKNOMO, 2006) (tradução própria)

Visto que a quantidade de comparações cresce significativamente de acordo com o


número de critérios, mesmo após ao agrupamento e redução dos mesmos, optou-se por uma
abordagem mais simplificada na apresentação do questionário ao participante. Visando
facilitar seu entendimento e eliminando a reduzindo a necessidade de conhecimento prévio
do processo hierárquico analítico, optou-se por utilizar um slider sem nenhuma etiqueta
numérica, como pode ser visto na Figura 3.
Neste questionário foram realizadas as comparações possíveis entre todos os critérios
do primeiro nível hierárquico, portanto as perguntas realizadas aos participantes foram as
seguintes:

• O que é mais importante: time ou escopo?


3.2. Procedimentos da pesquisa 33

Figura 3 – Exemplo de par de comparação no segundo questionário (elaboração própria)

• O que é mais importante: time ou viabilidade técnica?

• O que é mais importante: time ou mercado?

• O que é mais importante: time ou conceito?

• O que é mais importante: escopo ou viabilidade técnica?

• O que é mais importante: escopo ou mercado?

• O que é mais importante: escopo ou conceito?

• O que é mais importante: viabilidade técnica ou mercado?

• O que é mais importante: viabilidade técnica ou conceito?

• O que é mais importante: mercado ou conceito?

Os dados do fomulário 2 são condensados em uma matriz de prioridades, compa-


rando cada critério de avaliação com cada um dos outros critérios.

M açã Banana F. verm.


 
M açã 3 5 
A = Banana 7
 

 
F. verm.
Cada critério é igualmente importante comparado a si mesmo, portanto quando
comparamos maçã vs. maçã, o resultado sempre será 1 e assim por diante.

M açã Banana F. verm.


 
M açã 1 3 5 
A = Banana 1 7
 

 
F. verm. 1
Como o formulário solicitava uma avaliação dimensional entre dois critérios, não
houve a necessidade de realizar a avaliação inversa. Seguindo o exemplo da maçã vs. banana,
não foi necessário solicitar a avaliação inversa: banana vs. maçã, portanto é necessário
apenas utilizar a fórmula:
34 Capítulo 3. Metodologia

1
aji =
aij

Onde ij é o elemento da linha i e coluna j da matriz, possibilitando completar o


restante da matriz:

M açã Banana F. verm.


 
M açã 1 3 5 
A = Banana 13 1 7
 

 
1 1
F. verm. 5 7
1

Ou para simplificar resolvendo as frações:

M açã Banana F. verm.


 
M açã 1 3 5 
A = Banana  0.33 1 7


 
F. verm. 0.2 0.14 1

Este processo de criar a matriz de comparação teve que ser repetido para cada
uma das respostas do questionário, gerando um conjunto de matrizes de comparação
que posteriormente foi utilizado para definir a importância de cada um dos critérios de
avaliação.
Para que se possa gerar os vetores de priorização, ou seja, os pesos de cada um dos
critérios para cada uma das respostas obtidas pelo questionário, é necessário primeiramente
calcular a enésima raiz do produto da matriz, que consiste em multiplicar cada elemento
da linha e elevar o resultado a n1 , onde n é o número de critérios de comparação.

M açã Banana F. verm.


 
M açã 1 3 5 
A = Banana  0.33 1 7


 
F. verm. 0.2 0.14 1

1

(1 × 3 × 5) 3 = 2.47



1
X
(0.33 × 1 × 7) 3 = 1.32 = 4.09
1


(0.2 × 0.14 × 1) = 0.30
3

Para o calcular cada vetor de prioridade P V , é necessário normalizar a enésima


raiz do produto de cada critério, dividindo cara um destes pela soma de todas as raízes do
produto.
3.2. Procedimentos da pesquisa 35

2.47
P VM açã = = 0.60
4.09
1.32
P VBanana = = 0.32
4.09
0.30
P VF.V erm. = = 0.07
4.09
Cada um destes vetores de prioridade P V multiplicados por 100 são os pesos W
de cada critério de avaliação, que deverão ser utilizados no ranqueamento das propostas
de projetos.

WM açã = 0.60 × 100 = 60.27%


WBanana = 0.32 × 100 = 32.31%
WF.V erm. = 0.07 × 100 = 7.42%
Este processo de levantamento de pesos do AHP foi utilizado na resposta de cada
participante do segundo questionário, tornando necessária uma forma de compilar um vetor
de priorização geral à partir das respostas individuais. Porém, mesmo que os participantes
tenham sido escolhidos dentre profissionais experientes na área de desenvolvimento de jogos
digitais, é necessário qualificar a consistência dos vetores de priorização individuais, visando
eliminar respostas menos consistentes que possam degradar a qualidade da priorização.
Apesar de que em um primeiro momento a consistência possa parecer puramente subjetiva,
pode-se aplicar o princípio da transitividade da preferência (HANSSON; GRÜNE-YANOFF,
2021). Se um determinado indivíduo prefere B em comparação a A, ou seja B  A, e então
prefere A em relação a C (A  C), espera-se que pela propriedade transitiva da lógica o
indivíduo prefira B em comparação a C (B  C). Dito isto, uma matriz de prioridades A é
considerada consistente quando aij ajk = aik para cada i, j e k, mas o grau de consistência
deve também ser levado em consideração, pois como como o julgamento individual de
cada um é bastante subjetivo, o ranking pode ainda ser considerado transitivo mesmo que
o julgamento individual não adeque-se a fórmula aij ajk = aik (TEKNOMO, 2006). Mesmo
que a transitividade seja complexa para expressar a preferência, o problema é reduzido
quanto há poucos elementos a serem comparados. No exemplo do café com açúcar, um
intervalo de 1000 diferentes xícaras de café a primeira amostra C0 não contém nenhum
açúcar, C1 contém 1 grão, C2 dois grãos e assim por diante, é praticamente impossível
um indivíduo conseguir diferenciar duas amostras consecutivas, portanto impossibilitando
a preferência (HANSSON; GRÜNE-YANOFF, 2021). Todavia, quando utilizada em um
número pequeno de opções a transitividade tende a ser mais aplicável, como no caso do
AHP.
Com a transitividade em mente, o processo analítico hierárquico utiliza uma razão
de consistência para inticar se as preferências de um participante são utilizáveis ou não. Para
obter a razão de consistência CR são necessárias algumas etapas anteriores, primeiramente
é preciso somar os valores de cada coluna da matriz.
36 Capítulo 3. Metodologia

X
= 1 + 0.33 + 0.2 = 1.53
M açã
X
= 3 + 1 + 0.14 = 4.14
Banana
X
= 5 + 7 + 1 = 13
F.V erm.
A soma de cada coluna da matriz é então multiplicada pelo vetor de prioridade
P V correspondente
X
×P VM açã = 1.53 × 0.60 = 0.92
M açã
X
×P VBanana = 4.14 × 0.32 = 1.34
Banana
X
×P VF.V erm. = 13 × 0.07 = 0.96
F.V erm.
O vetor de priorização principal, ou vetor Eigen principal λmax , é então a soma
dos produtos dos vetores de priorização locais previamente calculados.

λmax = 0.92 + 1.34 + 0.96 = 3.22


O índice de consistência CI é então calculado à partir do vetor de priorização
principal λmax .

λmax − n 3.22 − 3
CI = = = 0.11
n−1 3−1
Com o qual é possível finalmente obter a razão de consistência CR

CI
CR =
RI
O índice de consistência randômica é obtido através de uma tabela pré-definida
gerada através uma amostra randomicamente gerada com 500 amostras de matrizes, como
pode ser visto na Tabela 2

n 1 2 3 4 5 6 7 8 9 10
RI 0 0 0.58 0.9 1.12 1.24 1.32 1.41 1.45 1.49
Tabela 2 – Média do índice de consistência randômico de uma amostra de 500 matrizes
(TEKNOMO, 2006)

CI 0.11
CR = = = 0.19 = 19%
RI 0.58
Por padrão, qualquer razão de consistência CR ≤ 10% é considerada consistente,
portanto o exemplo aqui utilizado deveria ser rejeitado ou solicitado ao participante para
que este reveja suas preferências até obter uma razão de consistência aceitável.
3.2. Procedimentos da pesquisa 37

Como será visto em mais detalhe no capítulo de resultados, pouquíssimos partici-


pantes obtiveram uma razão de consistência igual ou superior a 10%. Portanto, optou-se
por considerar consistentes todos os vetores de priorização iguais ou inferiores ao primeiro
quartil, ou seja, os 25% mais consistentes.
A fim de unificar os vetores de priorização dos participantes mais consistentes,
utilizou-se a média geométrica dos resultados, formando um único vetor de priorização
que pôde ser utilizado para avaliar e classificar algumas propostas de projetos.

3.2.3 Aplicação dos critérios de seleção


Contanto com os vetores de priorização unificados, era ainda preciso uma forma de
avaliar e classificar as propostas de projetos utilizando os critérios e seus respectivos pesos.
Dito isto, foi utilizado como base um estúdio que é parte de um instituto de pesquisa na
cidade de Manaus - AM, e elaborado um padrão de proposta de projeto para que todas as
propostas pudessem ser avaliadas uniformemente.
Nesta seção, é descrito o padrão de proposta de projeto elaborado para o estúdio,
mas é importante salientar que este pode e deve ser adaptado para a realidade do estúdio em
questão. Caso se trate de um estúdio de médio ou grande porte por exemplo, potencialmente
contando com um time de inteligência de dados, é pertinente pedir aos participantes por
informações mais detalhadas do público-alvo, potencial janela de lançamento, etc.
No estúdio, eram realizados periodicamente eventos chamados pitch day, onde
os colaboradores se reuniam em equipes de 3 a 4 pessoas e durante 1 dia elaboravam
uma proposta de jogo que poderia ou não entrar no portfólio de produtos da empresa. É
importante salientar que não existia incentivo financeiro ou de qualquer outra natureza
para a realização destes eventos, a participação não era obrigatória, mas incentivada pela
gerência do estúdio.
Nos pitch days, os participantes foram distribuídos em grupos heterogêneos, ten-
tando misturar o maior número de disciplinas possível e desta forma enriquecendo a visão
geral do grupo em relação as necessidades e características da proposta de projeto. Para
tornar a avaliação o mais fácil e clara possível, cada grupo deveria utilizar um padrão de
apresentação que ajudasse a responder algumas perguntas básicas:

• Qual o conceito do jogo?

• Qual o mercado?

Cada iteração do evento contava com uma temática específica, para ajudar a guiar
os participantes e ter uma coleção de propostas mais coesa. Também era fornecido aos
participantes informações sobre qual era o público-alvo, sua demografia e em alguns casos
personas para facilitar o direcionamento da proposta. A fim de conservar a confidencialidade
das propostas de projetos, todos os exemplos citados nesta pesquisa são fictícios.
38 Capítulo 3. Metodologia

Para facilitar o entendimento do conceito do jogo uma das principais partes da


apresentação era o elevator pitch, ou apresentação de elevador, cujo nome tem origem na
situação imaginária onde alguém que quer propor uma oportunidade de negócio encontra
um investidor em um elevador e tem pouquíssimo tempo para expor sua proposta, ou
seja, o tempo no qual o investidor está no elevador. Apesar da eficácia do elevator pitch
em si ser bastante discutida, enquanto ferramenta para auxiliar a explanação de uma
proposta ele é bastante eficaz (DENNING; DEW, 2012). Um exemplo de elevator pitch
utilizado em uma das apresentações do pitch day pode ser visto na Figura 4. onde os
autores demonstram em poucas palavras a sua proposta de jogo.

Figura 4 – Exemplo de elevator pitch utilizado em apresentações do pitch day (fictício)

Para detalhar o funcionamento do jogo proposto, os participantes tinham também


que elaborar um ciclo de jogabilidade, mostrando como seria a dinâmica do jogo, como
pode ser visto na Figura 5. O ciclo de jogabilidade é de vital importância para um jogo,
visto que os game designers costumam tomar um cuidado especial em manter as sessões
de jogo em um ambiente controlado, com cada etapa do ciclo desenhada com um objetivo
específico (ZIMMERMANN; HUBERTS, 2019).

Figura 5 – Exemplo de ciclo de jogabilidade utilizado em apresentações do pitch day


(fictício)

Cada etapa do cicro de jogabilidade era então descrita em uma lista de funci-
onalidades, como pode ser visto na Figura 6. Cada funcionalidade poderia ou não ter
uma referência, pois caso fosse algo muito inovador, ficaria difícil exemplificar com uma
3.2. Procedimentos da pesquisa 39

referência à outro jogo. Neste caso, os participantes deveriam descrever de forma sucinta
como o jogador deveria interagir com a funcionalidade.

Figura 6 – Exemplo de referência de jogabilidade utilizado em apresentações do pitch day


(fictício)

Ainda em relação ao conceito do jogo, como as propostas eram realizadas em apenas


um dia, era muito difícil construir qualquer protótipo ou escrever qualquer documento que
descrevesse em detalhe como o jogo iria funcionar. Logo era necessário descrever através
de comparações com outros jogos mecânicas semelhantes que seriam implementadas no
jogo, como pode ser visto na Figura 7.

Figura 7 – Exemplo de referência de jogabilidade utilizado em apresentações do pitch day


(fictício)

Também é importante saber sobre a sua narrativa, e em alguns casos o enredo base
é essencial para o entendimento da proposta. Portanto uma das sessões obrigatórias da
apresentação era a de narrativa, contendo um enredo principal, como mostrado na Figura
8, além de referências para outros jogos, filmes, etc., como mostrado na Figura 9.
Como o tempo para a elaboração da proposta era bastante curto, também era muito
difícil elaborar qualquer esboço ou protótipo de arte, fazendo com que os participantes
utilizassem também referências de outros jogos, animações, etc. para descrever como o
jogo se pareceria quando implementado, como pode ser visto na figura 9.
Mesmo tendo como seu principal objetivo demonstrar o conceito do jogo, informa-
ções como o elevator pitch, enredo, referências de jogabilidade, narrativa e arte também
40 Capítulo 3. Metodologia

Figura 8 – Exemplo de enredo utilizado em apresentações do pitch day (fictício)

Figura 9 – Exemplo de referência narrativa utilizado em apresentações do pitch day (fictí-


cio)

Figura 10 – Exemplo de referência de arte utilizado em apresentações do pitch day (fictício)

podem ser utilizadas para descrever o segmento de mercado ao qual o jogo deveria ser
direcionado, em especial a demografia dos potenciais consumidores. Como o público-alvo
era estipulado junto ao tema do pitch day, não havia muito espaço de manobra para escolha
de novos públicos por parte dos participantes, mas estes podiam especificar ainda mais o
seu publico. Como pode ser visto na Figura 11, mesmo que não diretamente, informações
como a classificação indicativa, plataformas, gênero e os idiomas nos quais o jogo seria
traduzido, são um bom indicativo do direcionamento do jogo. É importante salientar que,
normalmente ao aumentar a quantidade de idiomas suportados pelo jogo aumenta também
a sua abrangência de mercado. Todavia, alguns jogos, em especial os que tem na narrativa
3.2. Procedimentos da pesquisa 41

escrita um componente muito forte, é complicado traduzi-los para múltiplos idiomas, pois
como a tradução normalmente é realizada por terceiros, muito da qualidade narrativa
pode se perder, podendo tornar-se um problema.
Ainda em relação a ficha informativa mostrada na Figura 11, a quantidade de
jogadores, além de ajudar a firmar o direcionamento do jogo, ajuda também a entender a
complexidade da produção do jogo. Visto que jogos com mais de um jogador, em especial
os online, tendem a ser significativamente mais trabalhosos e podem envolver custos
adicionais com infraestrutura.

Figura 11 – Exemplo de ficha informativa utilizado em apresentações do pitch day (fictício)

Por fim, cada grupo de participantes apresentava sua proposta no dia seguinte ao
pitch day para todo o estúdio, cada apresentação durava até cinco minutos, com até dois
minutos adicionais para perguntas e respostas. O tempo reduzido foi determinado não
somente pelo elevado número de grupos participantes, mas também para manter todas as
propostas sucintas e com um nível semelhante de detalhamento entre si.
Durante a apresentação, um comitê selecionado dentre os integrantes mais experien-
tes do estúdio, avaliava as propostas através de um questionário detalhado contendo vários
critérios de avaliação, agrupados por semelhança. Os avaliadores não puderam avaliar as
propostas das quais tiveram qualquer participação, portando o viés de escolha foi bastante
reduzido.
Cada critério foi descrito na forma de uma pergunta como por exemplo: "A elabora-
ção dos sistemas e mecânicas não apresenta grande dificuldade"e as possíveis repostas eram
colocadas em uma escala Likert padrão: discordo totalmente, discordo mais ou menos, não
concordo nem discordo, concordo mais ou menos e concordo totalmente, como pode ser
visto na Figura 12.
É importante salientar que os dados obtidos através da respostas dos membros
do comitê foram os primeiros a ser obtidos para esta pesquisa, tendo sido coletados no
início do ano de 2020. Por causa disto, os critérios de avaliação utilizados no questionário
enviado aos membros do comitê não utilizam os mesmos critérios de avaliação levantados
no primeiro questionário desta pesquisa. Entretanto os critérios aqui obtidos são de certa
forma bastante genéricos, tendo sido fácil achar uma equivalência entre os dois. Apesar de
42 Capítulo 3. Metodologia

Figura 12 – Exemplo de questionário utilizado para avaliar as propostas apresentadas no


pitch day

não ser ideal o fato de necessitar de uma equivalência com os critérios desta pesquisa, estes
dados foram obtidos através de uma avaliação real de propostas de projetos, tornando-o
muito mais valiosos do que qualquer simulação que pudesse ser realizada para obtê-los
através de propostas fictícias.
43

4 Resultados

4.1 Análise dos dados

O questionário foi aplicado a diversos profissionais de desenvolvimento de jogos no


Brasil e exterior, em estúdios de médio e grande porte, contando com 35 respostas das
mais diversas especialidades, como pode ser visto na Figura 13.

Figura 13 – Especialidades dos participantes do primeiro questionário (elaboração própria)

Ainda em relação a demografia dos respondentes, é importante salientar que a grande


maioria destes é composta por profissionais experientes no mercado de desenvolvimento
de jogos, com pelo menos seis anos de experiência, como pode ser visto na Figura 14.
Este dado é bastante significativo, pois aumenta a probabilidade de que os participantes
tenham participado (mesmo que não ativamente) de pelo menos um processo de seleção
de projetos durante a sua experiência profissional.
44 Capítulo 4. Resultados

Figura 14 – Experiência dos participantes do primeiro questionário (elaboração própria)

A alta frequência de aparecimento de alguns itens, mesmo que descritos de formas


diferentes e a baixa variação entre as respostas de participantes com diferentes níveis de
experiência, possibilitou que cada resposta fosse devidamente agrupada e categorizada
pelo autor, criando o mapa mental mostrado na Figura 15 visa possibilitar uma melhor
visualização e entendimento dos resultados do questionário

• Habilidade de inovar

• Qualidade de vida e prazer dos desenvolvedores

• Viabilidade técnica

• Atraso no seguimento de tendências de mercado

• Pouco tempo para polimento

• Adequação a experiência do time de desenvolvimento

• Liberdade do time de desenvolvimento

• Velocidade de desenvolvimento

• Fadiga de mercado

• Qualidade do conteúdo

• Planejamento

• Escopo
4.1. Análise dos dados 45

• Suporte pós-lançamento

Figura 15 – Critérios agrupados do primeiro questionário (elaboração própria)

Apesar de à primeira vista alguns itens parecerem virtualmente opostos, como o


atraso do seguimento de tendências de mercado e a habilidade de inovar, estes se referem
a aspectos diferentes do desenvolvimento de jogos. O primeiro relaciona-se ao fato de uma
proposta de projeto de desenvolvimento jogo está seguindo tardiamente uma tendência
de mercado, enquanto o segundo está ligado ao quão inovador o jogo em si seria frente a
competição. Dito isto, um jogo pode sim seguir uma tendência de mercado e ser inovador,
como pode ser visto na história do gênero Battle Royale, descrito por (HORNSHAW,
2019), onde jogos como Apex Legends conseguem, através da inovação, ocupar sua fatia de
mercado mesmo anos depois de gigantes como Fortnite e PUBG já estarem estabelecidos.
É importante perceber também que há uma grande sobreposição entre os itens
descritos pelos participantes como os mais importantes e os mais negligenciados na seleção
de propostas de desenvolvimento de jogos. Esta sobreposição reforça a importância destes
critérios para a seleção e indica um certo nível de insatisfação com a experiência dos
participantes com seleções passadas.
Como esta possível insatisfação já era esperada pelo autor, também foi solicitado
aos participantes que indicassem qual era o seu nível de satisfação com os critérios de
escolha de propostas de projetos ao longo de suas carreiras. Este grau de satisfação foi
estabelecido através de uma pontuação da experiência em uma escala de 1 a 5, onde 1
indica uma experiência passada terrível e 5 uma excelente experiência, como pode ser
observado na Figura 17.
46 Capítulo 4. Resultados

Figura 16 – Satisfação dos processos de seleção de propostas de projetos de desenvolvimento


de jogos de acordo o nível de experiência (elaboração própria)

Apesar da hipótese levantada pelo autor, os dados indicam que o grau de satisfação
dos respondentes com seleções executadas anteriormente foi bastante alto. Porém, mesmo
não sendo muito muito significativo em termos numéricos, há uma queda na média do na
satisfação quando observamos o grau de experiência dos participantes, como mostrado na
Figura 17.

Figura 17 – Queda no grau de satisfação de acordo com a experiência do participante


(elaboração própria)

Com este declínio, além do fato de que a vasta maioria dos respondentes vem de
estúdios de grande porte, com pelo menos 500 desenvolvedores, existe um certo viés em
relação ao grau de satisfação. Como dito anteriormente, o ciclo de desenvolvimento de
jogos AAA costuma ser bastante longo, podendo levar em média de três a cinco anos
até o lançamento. Dito isto, e lembrando que a maior parcela dos participantes tem um
nível de experiência de até 5 anos seguido diretamente pela parcela entre 6 e 10 anos,
a possibilidade destes terem presenciado ou participado de mais de múltiplos processos
4.1. Análise dos dados 47

de seleção de projeto de desenvolvimento de jogos é drasticamente reduzida, mas não o


suficiente para invalidar o ainda alto grau de satisfação.
Como primeiro parâmetro de eliminação, foram removidos os critérios que são
muito difíceis ou mesmo impossíveis de medir durante a fase de proposta, tais como o
potencial de rendimentos e o apelo à audiência. Posteriormente vários critérios foram
unidos por semelhança, como a autonomia do time de desenvolvimento e sua velocidade,
pois uma baixa autonomia de desenvolvimento, com elaborados processos de aprovação
costumam implicar diretamente na capacidade produtiva do time. Outro exemplo de união
foi a viabilidade técnica, visto que todos os fatores previamente existentes como o motor
de desenvolvimento e a tecnologia disponível podem ser entendidos como a viabilidade
técnica propriamente dita. Em relação a inovação, previamente um item da viabilidade
técnica, esta pode ser melhor entendida quando unida à saturação de mercado.

Figura 18 – Redução dos critérios de seleção (elaboração própria)

O segundo questionário contou com a participação de 37 participantes, dos quais


apenas 27 terminaram o questionário. Nesta segunda etapa foram coletadas as informações
sobre as preferências dos participantes em relação aos critérios de avaliação. A distribuição
entre as diferentes especialidades seguiu uma tendência parecida com a do primeiro
questionário, sendo bastante diversa mas com uma grande participação de programadores,
como pode ser visto na Figura 19.
48 Capítulo 4. Resultados

Figura 19 – Especialidades dos participantes do segundo questionário (elaboração própria)

O nível de experiência dos participantes deste segundo questionário também foi


muito parecido com o do primeiro, com exceção da faixa de 6 a 10 anos de experiência
como pode ser visto na Figura 20, que foi maioria neste questionário enquanto no primeiro
a maior parte dos participantes tinha entre 3 e 5 anos de experiência.

Figura 20 – Anos de experiência dos participantes do segundo questionário (elaboração


própria)

Por último em relação à demografia deste segundo questionário, foi também so-
licitado aos participantes que indicassem o tamanho do estúdio no qual trabalhavam,
sendo que a grande maioria respondeu trabalhar em estúdios com uma grande quantidade
de pessoas como pode ser visto na Figura 21, indicando uma grande participação de
trabalhadores de estúdios AAA em detrimento à estúdios menores.
4.1. Análise dos dados 49

Figura 21 – Tamanho dos estúdios dos participantes do segundo questionário (elaboração


própria)

Não houve correlação direta sobre a razão de consistência CR e o tamanho do


estúdio, como mostrado na Figura 22, o que era de certa forma esperado, pois os graus de
experiência dos participantes estão bem distribuídos entre as diversas faixas de tamanho
do estúdio. Todavia, era esperado que participantes com mais anos de experiência na
indústria de jogos digitais tivessem um nível de consistência mais elevado, o que não se
mostrou fundamentado, como pode ser visto na Figura 23.

Figura 22 – Análise da razão de consistência de acordo com o tamanho do estúdio (elabo-


ração própria)
50 Capítulo 4. Resultados

Figura 23 – Análise da razão de consistência de acordo com a experiência do participante


(elaboração própria)

Entretanto, fica claro que especialidades que costumam ficar mais próximas das
tarefas de produção do jogo em si, como designers, animadores, programadores, etc., tendem
a ter uma razão de consistência CR mais baixa (lembrando que quanto menor a CR, mas
consistente são consideradas as preferências do participante). Enquanto especialidades
como produção e gestão, que normalmente ficam distantes da criação do jogo em si, tendem
a ter uma razão de consistência mais elevada, como pode ser visto na Figura 24.

Figura 24 – Análise da razão de consistência de acordo com a especialidade do participante


(elaboração própria)

Os vetores de prioridade obtidos através do processo analítico hierárquico foram


agrupados de acordo com o seu quartil de consistência como mostrado na Figura 25.
4.2. AHP enquanto método para seleção de propostas de projetos de jogos digitais 51

Figura 25 – Vetores de prioridade obtidos através do segundo questionário (elaboração


própria)

É importante salientar que apesar de existir uma grande diferença entre os vetores
de cada um dos quartis, os resultados do primeiro quartil (ou seja, os mais consistentes) são
muito parecidos com os das médias tanto simples quanto ponderada de todos os vetores,
podendo indicar que talvez a consistência em si não seja um fator decisivo na seleção de
propostas de projetos de jogos digitais.

4.2 AHP enquanto método para seleção de propostas de projetos


de jogos digitais

Em resumo, grande parte do método aplicado à esta pesquisa refere-se a utilização


do processo analítico hierárquico como base para a seleção de propostas de desenvolvimento
de jogos digitais, como pode ser visto na Figura 26.
52 Capítulo 4. Resultados

Figura 26 – Diagrama do método de seleção de propostas de projetos de jogos digitais


(elaboração própria)

Contudo algumas das etapas do método foram simplificadas para que pudessem
ser melhor acomodadas a indústria de jogos.
Começando pela coleta de critérios, o processo analítico hierárquico em si não tem
uma forma explícita de como fazê-la, portando para o método aqui proposto optou-se
por utilizar um questionário com questões descritivas para obter o máximo de informação
possível dos participantes enquanto não adiciona o viés da utilização de uma série de
perguntas utilizando a escala Likert.
Este questionário adiciona uma etapa adicional aos pesquisadores, que caso não
sejam profissionais experientes da área de desenvolvimento de jogos, devem contar com
uma consultoria especializada para a extração e formatação dos critérios à partir das
questões descritivas.
De maneira geral, o processo analítico hierárquico apresenta os critérios de seleção
aos participantes da ponderação como uma lista ou tabela. Visando facilitar o entendimento
dos participantes, a criação de um artefato, no caso um mapa mental, descrevesse a
hierarquia dos critérios obtidos dos participantes de forma muito mais visual do que uma
simples lista.
A primeira mudança em si em relação ao processo analítico hierárquico tradicional
foi o uso apenas do primeiro nível hierárquico durante a etapa de ponderação de critérios.
Esta simplificação visa reduzir drasticamente a quantidade de comparações realizadas no
questionário, possibilitando uma maior adesão de participantes e reduzindo a complexidade
do formulário tanto para o participante em si quanto para a análise dos dados pelos
pesquisadores. Esta simplificação vem em detrimento de uma perda de granularidade
das comparações, mas tendo em vista que o mapa mental obtido na etapa anterior está
presente no questionário de ponderação de critérios, esta perda tende a ser reduzida.
4.2. AHP enquanto método para seleção de propostas de projetos de jogos digitais 53

Outra etapa que não está prevista no processo analítico hierárquico padrão é a
padronização das propostas, visando a facilitação do entendimento das mesmas pelos
avaliadores. No capítulo da metodologia foram exemplificados alguns aspectos que podem
ser padronizados, como a forma de descrever a narrativa e a jogabilidade, mas a padroni-
zação deve ser realizada de acordo com as necessidades e capacidades de cada estúdio de
desenvolvimento.
Na avaliação das propostas, o método analítico hierárquico recomenda comparar
cada critério de cada projeto com os mesmos critérios de todos os outros projetos, ou seja:
se tivermos uma lista de 10 projetos à serem comparados, o critério Conceito de cada
projeto deve ser comparado com o critério Conceito de cada outro projeto, repetindo a
mesma comparação para cada um dos outros critérios. Visando simplificar esta comparação,
adotou-se uma simples escala Likert para cada pergunta do questionário de avaliação, desta
forma os avaliadores não precisam comparar cada projeto com todos os outros, mas sim
dar uma nota para cada um dos critérios em cada projeto, diminuindo significativamente a
quantidade de interações dos avaliadores. Esta simplificação diminui a eficácia do processo
analítico hierárquico, mas torna sua adoção viável em um ambiente onde hajam muitos
projetos à serem analisados.
Os dados do questionário são então compilados em uma planilha onde pode ser
realizada a classificação das propostas, utilizando os pesos dos critérios obtidos através
do processo analítico hierárquico. Visto que para evitar um questionário muito longo no
ponderamento dos critérios não foi solicitado aos participantes que comparassem mais de
um nível hierárquico, cada sub-critério S teve associado a si o peso W proporcional do
critério superior C: ∀S ∈ C, WS = W C
|C|
.
As notas de cada critério são então compiladas à partir da média aritmética das
notas dadas pelos membros do comitê e uma pontuação gerada para cada critério utilizando
seu respectivo peso
Esta planilha é um dos principais artefatos do método descrito nesta pesquisa, e
pode ser vista na Figura 27, sendo basicamente o artefato de saída do processo analítico
hierárquico. Esta lista é o resultado de toda a análise realizada pelo AHP e pode ser
utilizada pela gestão intermediária, para inferir recomendações para os executivos do
estúdio, ou mesmo solicitar uma nova etapa de avaliação caso o resultado obtido seja
inconclusivo, ou mesmo uma nova ponderação de critérios caso seja detectado algum
padrão não esperado.
54 Capítulo 4. Resultados

Figura 27 – Compilação dos resultados do questionário aplicado ao comitê

Como normalmente a tomada de decisão em si é realizada por gestores e/ou produ-


tores com uma limitada disponibilidade de tempo, foi necessário simplificar a apresentação
dos resultados dos dados. Para isto, optou-se por utilizar um gráfico de bolhas, que
demonstrasse claramente em qual quadrante cada projeto pertencia (RAMALHO et al.,
2021). Todavia, um gráfico de bolhas bidimensional só consegue expressar até 3 valores: os
eixos x e y e o tamanho de cada bolha. Disto isto, foram utilizados apenas os três critérios
mais significativos de acordo com os vetores de prioridade obtidos dos participantes com
maior consistência: time, mercado e conceito, sendo então normalizados para manter a
distribuição em 100%.
Todavia, algumas nuances podem passar despercebidas se analisarmos puramente
o ranqueamento da lista. O gráfico de bolhas mostrado na Figura 28 torna claro o
posicionamento de cada projeto frente aos critérios mais significativos: eixo x equivale ao
time, eixo y equivale ao mercado e o tamanho das bolhas equivale ao conceito da proposta.
Mesmo que alguns projetos tenham obtido uma pontuação geral baixa, como no caso do
Projeto #08, o conceito do jogo obteve uma boa pontuação, deixando a cargo do tomador
de decisão se os propostas devam ser revistas ou não.
4.2. AHP enquanto método para seleção de propostas de projetos de jogos digitais 55

Figura 28 – Gráfico de bolha com os projetos analisados (elaboração própria)

Este gráfico de bolhas é o artefato final gerado pelo método aqui descrito e é
destinado ao uso dos executivos que podem facilmente ver o posicionamento estratégico
de cada uma das propostas de uma forma visual e de fácil entendimento.
57

5 Conclusão

5.1 Resultado
Assim como em outros setores econômicos, o processo analítico hierárquico mostrou-
se aplicável ao processo de seleção de propostas de jogos digitais. Em especial quando
considera-se a grande quantidade de diferentes fatores que devem ser levados em conside-
ração ao escolher um novo projeto para o portfólio do estúdio.
Todavia, os critérios de avaliação levantados pelos participantes desta pesquisa são
bastante subjetivos e difíceis de medir, como o mercado ao qual o jogo mira, a capacidade
do time de desenvolvimento e o conceito do jogo em si. A subjetividade destes critérios
difere muito dos utilizados em outros setores, onde os critérios são mais sólidos, como o
histórico de ações na bolsa, histórico de rentabilidade, etc. Apesar destes critérios poderem
também ser utilizados na indústria de jogos, estes costumam ter pouco impacto como
fatores decisivos no sucesso de um jogo, portanto não podem ser facilmente aplicáveis a
esta indústria.
Há também o problema de o processo analítico hierárquico ser bastante oneroso em
termos de investimento de tempo para sua realização, aliado à baixa razão de consistência
obtida, tornando-o um fraco candidato a aplicação em estúdios de pequeno porte.
Contudo, o processo é mais facilmente aplicável a estúdios de médio porte, mesmo
sem o auxílio de times de processamentos de dados ou de inteligência de negócios, podendo
ser executado internamente por um time de pesquisa desde que suportados pelos softwares
necessários.
É também muito complexo verificar a eficácia e precisão da classificação em si, visto
que esta somente pode ser averiguada quando o jogo é lançado no mercado, ou em grupos
de foco em suas fases intermediárias e finais de desenvolvimento. Contudo, a aplicação do
processo analítico hierárquico, aliado à um formato padrão das propostas para facilitar
seu entendimento, traz um padrão de avaliação para o estúdio. Este padrão auxilia na
remoção do viés na avaliação e deve ser continuamente revisto a cada iteração, avaliando
se os critérios atuais ainda são relevantes e se os vetores de priorização ainda refletem os
objetivos de negócio do estúdio.

5.2 Metodologia
Apesar de ser possível obter os dados do processo analítico hierárquico através de
um questionário e ferramentas como o Google Forms ou Survey Monkey, fica limitado o
poder de iteração das comparações entre os critérios. Isto fica claro quando verificamos a
58 Capítulo 5. Conclusão

baixa razão de consistência média obtida através do segundo questionário, que poderia
ser melhorada caso o pesquisador tivesse a oportunidade de iterar a comparação junto ao
participante.
Há também o problema do processamento das informações obtidas através do
questionário, apesar de ser possível realizar todos os cálculos necessários em uma planilha
eletrônica, o processo é extremamente oneroso e dificilmente automatizável sem conhe-
cimento de automação como macros e semelhantes. Dito isto, e levando em conta que a
obtenção dos dados em si ainda é um problema, em uma próxima iteração recomenda-se
utilizar uma ferramenta própria para a obtenção e análise de dados para o processo
analítico hierárquico, como o AutoMan ou o HIPRE 3+ (OSSADNIK; LANGE, 1999).
Apesar do uso de um software de auxílio ser altamente recomendado, acredita-se
que manter uma interação próxima entre o pesquisador e o participante seja essencial.
Infelizmente, como esta pesquisa foi realizada durante a pandemia de COVID-19, não
foi possível realizar os questionários pessoalmente, o que certamente dificultou tanto na
explicação da objeto da pesquisa aos participantes, quando na obtenção dos resultados em
si.
Por último, o uso da média para o agregamento dos resultados acaba atuando
como um filtro, eliminando os resultados mais altos e mais baixos. Dito isto, é necessário
encontrar uma forma de melhor agregar os ponderamentos dos critérios de avaliação como
mostrado em (OSSADNIK; SCHINKE; KASPAR, 2016).

5.3 Trabalhos futuros


Além de endereçar alguns dos pontos anteriormente citados como o uso de softwares
específicos para a etapa de ponderamento de critérios e uso de métricas mais precisas do
que a média para o agregamento dos critérios, é necessário ainda experimentar outras
possibilidades de métodos de classificação como o Fuzzy AHP, PROMETHEE, etc.
É possível também explorar o mesmo método para outras aplicações dentro da
indústria de desenvolvimento de jogos digitais.
Um potencial candidato à aplicação do método é a seleção de jogos para uma
publicadora. Na indústria de jogos digitais, normalmente os estúdios de desenvolvimento
ficam a cargo apenas da pesquisa e desenvolvimento dos projetos, enquanto uma publicadora
cuida dos canais de distribuição, propaganda, comunicação com as plataformas, etc. Em
alguns casos o estúdio e a publicadora fazem parte da mesma empresa, mas na maioria
dos estúdios de pequeno e médio porte a publicadora é uma empresa à parte.
Cada publicadora recebe diversas propostas de jogos no decorrer do ano, e tem que
decidir quais destes jogos deve publicar e em que janela de tempo. Os estúdios por sua
vez, devem selecionar qual publicadora tem o perfil ideal para publicar o seu jogo, sendo
uma tomada de decisão bastante complexa.
5.3. Trabalhos futuros 59

Se estabelecermos um ponderamento de critérios baseados no histórico de cada


publicadora, é possível verificar um determinado padrão de publicação e portanto um
conjunto de critérios específico para cada publicadora.
O estúdio de desenvolvimento pode estabelecer diferentes perfis que representem
características das principais publicadoras do mercado, e desta forma aplicar uma possível
adaptação do método descrito nesta pesquisa para indicar qual publicadora tem o melhor
perfil para o seu jogo.
61

Referências

BALDWIN, M. Career Paths in the Game Industry. 2006. Disponível em: <https://www.
gamasutra.com/view/feature/2755/career_paths_in_the_game_industry.php>. Citado
na página 30.

BATCHELOR, J. The GamesIndustry.biz Careers Survey: An industry driven by


passion, not pay. 2017. Disponível em: <https://www.gamesindustry.biz/articles/
2017-04-03-an-industry-driven-by-passion-not-pay>. Citado na página 20.

BELL, R.; COVER, T. M. Game-Theoretic Optimal Portfolios. Management Science,


v. 34, n. 6, p. 724–733, 1988. ISSN 0025-1909. Citado na página 26.

CHENG, J.; CHEN, S. A Fuzzy Delphi and Fuzzy AHP Application for Evaluating Online
Game Selection. International Journal of Education and Management Engineering, v. 2,
n. 5, p. 7–13, 2012. ISSN 23053623. Citado na página 18.

CHUDOBA, B. How much time are respondents willing to spend on your survey?
Disponível em: <https://www.surveymonkey.com/curiosity/survey_completion_times/>.
Citado na página 32.

COSTIKYAN, G. Uncertainty in Games. [S.l.]: MIT Press, 2013. Citado na página 23.

DENNING, P. J.; DEW, N. The myth of the elevator pitch. Communications of the ACM,
v. 55, n. 6, p. 38–40, 2012. ISSN 00010782. Citado na página 38.

DUNCAN, S. C. Minecraft, Beyond Construction and Survival. Well Played, v. 1, p.


1–22, 2011. ISSN 2164-344X. Disponível em: <https://stacks.stanford.edu/file/druid:
qq694ht6771/WellPlayed-v1n1-11.pdf>. Citado na página 22.

FLEURY, A.; NAKANO, D.; CORDEIRO, J. H. D. O. Mapeamento da Indústria


Brasileira e Global de Jogos Digitais. Banco Nacional de Desenvolvimento Econômico e
Social (BNDES), p. 1–266, 2014. Disponível em: <http://www.bndes.gov.br/SiteBNDES/
export/sites/default/bndes_pt/Galerias/Arquivos/produtos/download/aep_fep/
chamada_publica_FEP0211_mapeamento_da_industria.pdf>. Citado na página 24.

FRANKLIN, C. Errant Signal - That’s No Game... 2013. Disponível em:


<https://www.youtube.com/watch?v=dgu76ql6FSo>. Citado na página 22.

GUERRI, A.; MILANO, M. Learning techniques for automatic algorithm portfolio


selection. Frontiers in Artificial Intelligence and Applications, v. 110, p. 475–479, 2004.
ISSN 09226389. Citado na página 26.

GUEVARA-VILLALOBOS, O. U. o. E. Cultures of independent game production:


Examining the relationship between community and labour. DiGRA 2011, 2011. Citado
na página 18.

HALL, D.; NAUDA, A. An Interactive Approach for Selecting IRD Projects. IEEE
Transactions on Engineering Management, v. 37, n. 2, p. 126–133, 1990. Citado na
página 27.
62 Referências

HAMARI, J.; KERONEN, L. Why do people play games? A meta-analysis. International


Journal of Information Management, Elsevier Ltd, v. 37, n. 3, p. 125–141, 2017. ISSN
02684012. Disponível em: <http://dx.doi.org/10.1016/j.ijinfomgt.2017.01.006>. Citado
na página 21.

HANSSON, S. O.; GRÜNE-YANOFF, T. Preferences. In: ZALTA, E. N. (Ed.). The


Stanford Encyclopedia of Philosophy. Fall 2021. [S.l.]: Metaphysics Research Lab, Stanford
University, 2021. Citado na página 35.

HARTERY, D. How to make a hyper-casual game successful: Everything


you need to know. 2020. Disponível em: <https://www.adjust.com/blog/
how-to-make-a-hyper-casual-game-successful/>. Citado na página 19.

HENDRICKS, J. Retro Video Game Values Increase 33COVID Lock-


downs. 2021. Disponível em: <https://www.prnewswire.com/news-releases/
retro-video-game-values-increase-33-since-the-start-of-covid-lockdowns-301263836.
html>. Citado na página 24.

HORNSHAW, P. The history of Battle Royale: From mod to worldwide phenomenon. 2019.
Disponível em: <https://www.digitaltrends.com/gaming/history-of-battle-royale-games/
>. Citado na página 45.

HUIZINGA, J. Homo Ludens - A Study of the Play-Element in Culture. Angelico p. [S.l.]:


Angelico Press, 1949. Citado na página 21.

HWANG, B. N.; PAI, N. Y.; WU, C. H. Fuzzy AHP for determining the key
features and cognitive differences of mobile game development among designer
and game player. Multimedia Tools and Applications, Multimedia Tools and
Applications, v. 76, n. 18, p. 18265–18290, 2017. ISSN 15737721. Disponível em:
<http://dx.doi.org/10.1007/s11042-016-3792-5>. Citado na página 18.

IAMRATANAKUL, S.; PATANAKUL, P.; MILOSEVIC, D. Project portfolio selection:


From past to present. Proceedings of the 4th IEEE International Conference on
Management of Innovation and Technology, ICMIT, p. 287–292, 2008. Citado 4 vezes nas
páginas 24, 25, 26 e 27.

INGIZZA, C. Startup de games Wildlife passa a valer US3bilhõesapósnovoaporte.2020.Disponívelem :


<>. Citado na página 24.

KARTHIKEYAN, R.; VENKATESAN, K.; CHANDRASEKAR, A. A Comparison of


strength and weakness for analytical hierarchy process. International Journal of Pure and
Applied Mathematics, v. 116, n. 8, p. 29–33, 2017. Citado na página 31.

KRAMER, W. What is a game? 2000. Disponível em: <http://www.thegamesjournal.


com/articles/WhatIsaGame.shtml>. Citado 2 vezes nas páginas 21 e 22.

LEE, H.-h. et al. A Study on the Quality Evaluation of Mobile Puzzle Game using AHP.
Journal of Korea Game Society, v. 16, n. 1, p. 43–50, 2016. ISSN 1598-4540. Citado na
página 18.
Referências 63

LO, Y. F.; WEN, M. H. A fuzzy-ahp-based technique for the decision of design feature
selection in massively multiplayer online role-playing game development. Expert Systems
with Applications, Elsevier Ltd, v. 37, n. 12, p. 8685–8693, 2010. ISSN 09574174. Disponível
em: <http://dx.doi.org/10.1016/j.eswa.2010.06.059>. Citado na página 18.
LUEHRMAN, T. Investment Opportunities as Real Options: Getting Started on the Num-
bers. 1998. Disponível em: <https://hbr.org/1998/07/investment-opportunities-as-real-options-getting-
Citado na página 27.
MACDONALD, K. Cyberpunk 2077: Sony pulls game from PlayStation store after
complaints. 2020. Disponível em: <https://www.theguardian.com/games/2020/dec/18/
cyberpunk-2077-sony-pulls-game-from-playstation-store-after-complaints>. Citado na
página 17.
MANSINI, R.; SPERANZA, M. G. Heuristic algorithms for the portfolio selection problem
with minimum transaction lots. European Journal of Operational Research, v. 114, n. 2, p.
219–233, 1999. ISSN 03772217. Citado na página 27.
MARCHAND, A.; HENNIG-THURAU, T. Value creation in the video game industry:
Industry economics, consumer benefits, and research opportunities. Journal of Interactive
Marketing, Elsevier B.V., v. 27, n. 3, p. 141–157, 2013. ISSN 10949968. Disponível em:
<http://dx.doi.org/10.1016/j.intmar.2013.05.001>. Citado na página 23.
MARTINELLI, R.; MILOSEVIC, D. Project Management Toolbox. n. 2nd Edition, p.
25–53, 2016. Citado na página 25.
MARTONČIK, M. E-Sports: Playing just for fun or playing to satisfy life goals? Computers
in Human Behavior, v. 48, p. 208–211, 2015. ISSN 07475632. Citado na página 21.
MASOUMI, R. A framework for project portfolio formation using a hybrid of multicriteria
decision-making methods. Dissertation Abstracts International Section A: Humanities and
Social Sciences, v. 77, n. 1-A(E), 2016. Citado na página 26.
MORADI, N. et al. A Model for Performance Evaluation of Digital Game Industry Using
Integrated AHP and BSC. Journal of Applied Research on Industrial Engineering, v. 5,
n. 2, p. 97–109, 2018. Citado na página 18.
OSSADNIK, W.; LANGE, O. AHP-based evaluation of AHP-Software. v. 118, p. 578–588,
1999. Citado na página 58.
OSSADNIK, W.; SCHINKE, S.; KASPAR, R. H. Group Aggregation Techniques for
Analytic Hierarchy Process and Analytic Network Process: A Comparative Analysis.
Group Decision and Negotiation, Springer Netherlands, v. 25, n. 2, p. 421–457, 2016. ISSN
15729907. Citado na página 58.
PAPAHRISTODOULOU, C.; DOTZAUER, E. Optimal portfolios using linear program-
ming models. Journal of the Operational Research Society, v. 55, n. 11, p. 1169–1177, 2004.
ISSN 01605682. Citado na página 26.
64 Referências

PARK, C.-I.; YANG, H.-S.; YANG, H.-S. Fun Factors by Game Genre. The Journal of the
Korea Contents Association, v. 7, n. 12, p. 20–29, 2007. Disponível em: <http://academic.
naver.com/view.nhn?doc_id=13607125&dir_id=1&field=0&unFold=false&gk_adt=0&sort=
0&qvt=1&query=\protect\begingroup\immediate\write\@unused\def\MessageBreak˙\let\
protect\edefYoumayprovideadefinitionwith\MessageBreak\DeclareUnicodeCharacter\errhelp\
let\def\MessageBreak˙(inputenc)\def\errmessagePackageinputencError:Unicodecharacterìđň(U+
C7AC)\MessageBreaknotsetupforusewithLaTeX.˙˙Seetheinputencpackagedocumentationforexplanation.
˙TypeH<return>forimmediatehelp\endgroup\protect\begingroup\immediate\write\@unused\
def\MessageBreak˙\let\protect\edefYoumayprovideadefinitionwith\MessageBreak\DeclareUnicodeCharacte
errhelp\let\def\MessageBreak˙(inputenc)\def\errmessagePackageinputencError:Unicodecharacterëŕÿ(U+
BBF8)\MessageBreaknotsetupforusewithLaTeX.˙˙Seetheinputencpackagedocumentationforexplanation.
˙TypeH<return>forimmediatehelp\endgroup&gk_qvt=0&citedSearch=false&page.page=
9&ndsCategoryId=10513&library=26>. Citado na página 18.

PEDERSEN, C. Modeling Player Experience through Super Mario Bros Supervisor


Georgios Yannakakis. Technology, n. August, p. 132–139, 2009. Citado na página 22.

PHIPPS, K. Interview with Howard Scott Warshaw. 2005. Disponível em: <https://www.
avclub.com/howard-scott-warshaw-1798208406>. Citado na página 17.

PUTRI, M. F. et al. Ranking of Game Mechanics for Gamification in Mobile Payment


Using AHP-TOPSIS: Uses and Gratification Perspective. ICICOS 2019 - 3rd International
Conference on Informatics and Computational Sciences: Accelerating Informatics and
Computational Research for Smarter Society in The Era of Industry 4.0, Proceedings, 2019.
Citado na página 18.

RAMADAN, R.; WIDYANI, Y. Game development life cycle guidelines. 2013 International
Conference on Advanced Computer Science and Information Systems, ICACSIS 2013, p.
95–100, 2013. Citado na página 19.

RAMALHO, F. D. et al. Multimethod to prioritize projects evaluated in different formats.


MethodsX, Elsevier B.V., v. 8, p. 101371, 2021. ISSN 22150161. Disponível em: <https:
//doi.org/10.1016/j.mex.2021.101371>. Citado na página 54.

ROSE, M. From Game Jam to the Creation of ’Starlink: Battle for Atlas’. 2018. Disponível
em: <https://gdcvault.com/play/1025130/From-Game-Jam-to-the>. Citado na página
18.

RYU, G.-J.; KWON, H.-I. A Study on Success Factors of Online Game Using AHP.pdf.
Journal of Korea Game Society, v. 7, n. 4, p. 135–145, 2007. Citado na página 18.

SAKUDA, L. O. et al. Perfil da Indústria Brasileira de Jogos Digitais (IBJD). 2º Censo


da Indústria Brasileira de Jogos Digitais, n. October 2020, p. 1–190, 2018. Disponível em:
<http://www.sedetur.al.gov.br/servicos-internos/observatorio-da-economia-criativa-e-do-turismo/
publicacoes-de-instituicoes-parceiras/censo-da-industria-brasileira-de-jogos-digitais/send/
Referências 65

62-censo-da-industria/136-2-censo-da-industria-brasileira-de-jogos-dig>. Citado na pá-


gina 24.
SALEN, K.; ZIMMERMANN, E. Rules of Play - Game Design Fundamentals. [S.l.: s.n.],
2003. Citado 3 vezes nas páginas 21, 22 e 23.
SMITH, N. The giants of the video game industry have thrived in the pandemic. Can the
success continue? 2020. Disponível em: <https://www.washingtonpost.com/video-games/
2020/05/12/video-game-industry-coronavirus/>. Citado na página 24.
TAKEDA, L. The History of Nintendo : the Company , Consoles And Games. 2020.
Citado na página 23.
TEKNOMO, K. Pair-wise comparison. 2006. Disponível em: <https://people.revoledu.
com/kardi/tutorial/AHP/Paired-Comparison.htm>. Citado 4 vezes nas páginas 13, 32,
35 e 36.
Van de Weerd, I.; De Weerd, S.; BRINKKEMPER, S. Developing a reference method for
game production by method comparison. IFIP International Federation for Information
Processing, v. 244, p. 313–327, 2007. ISSN 15715736. Citado na página 18.
WANG, S. et al. Non-linear Stochastic Optimization Using Genetic Algorithm for Port-
folio Selection. International Journal of Operations Research, v. 3, n. 1, p. 16–22, 2006.
Disponível em: <http://orstw.org.tw/IJOR/vol3no1/paper-3-IJOR-vol3_1_-Wang.pdf>.
Citado na página 26.
WATSON, A. Consuming media at home due to the coronavirus worldwide 2020, by country.
2020. Disponível em: <https://www.statista.com/statistics/1106498/home-media-consumption-corona
>. Citado 2 vezes nas páginas 23 e 24.
WIJMAN, T. The Games Market’s Bright Future: Player Numbers Will Soar Past 3
Billion Towards 2024 as Yearly Revenues Exceed 200Billion.2021.Disponívelem : <>.
Citado na página 24.
ZIMMERMANN, F.; HUBERTS, C. From Walking Simulator to Ambience Action Game:
A Philosophical Approach to a Misunderstood Genre Introduction: Emergence of a Genre.
Press Start, v. 5, n. 2, 2019. ISSN 2055-8198. Citado 2 vezes nas páginas 22 e 38.

Você também pode gostar