Você está na página 1de 219

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL

INSTITUTO DE INFORMÁTICA
PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO

VINÍCIUS COSTA DE SOUZA

PRESENCE FACTOR SCALE (PFS): UM


MÉTODO PARA AVALIAÇÃO DE
PRESENÇA EM AMBIENTES VIRTUAIS
IMERSIVOS

Tese apresentada como requisito parcial


para a obtenção do grau de
Doutor em Ciência da Computação

Prof. Dra. Luciana Nedel


Orientador

Porto Alegre, fevereiro de 2021


CIP – CATALOGAÇÃO NA PUBLICAÇÃO

Costa de Souza, Vinícius


PRESENCE FACTOR SCALE (PFS): UM MÉTODO PARA
AVALIAÇÃO DE PRESENÇA EM AMBIENTES VIRTUAIS
IMERSIVOS / Vinícius Costa de Souza. – Porto Alegre: PPGC
da UFRGS, 2021.
219 f.: il.
Tese (doutorado) – Universidade Federal do Rio Grande do
Sul. Programa de Pós-Graduação em Computação, Porto Alegre,
BR–RS, 2021. Orientador: Luciana Nedel.
1. Realidade virtual. 2. Presença. 3. Método de avaliação.
I. Nedel, Luciana. II. Título.

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL


Reitor: Prof. Carlos André Bulhões
Vice-Reitora: Profa . Patricia Pranke
Pró-Reitor de Pós-Graduação: Profa . Cintia Inês Boll
Diretora do Instituto de Informática: Profa . Carla Maria Dal Sasso Freitas
Coordenador do PPGC: Profa . Luciana Salete Buriol
Bibliotecária-chefe do Instituto de Informática: Beatriz Regina Bastos Haro
AGRADECIMENTOS

Aos meus pais e irmãos que sempre estiveram ao meu lado e me apoiaram em todas as
minhas escolhas. À minha ex-esposa, Ana Rita Breier, que muito me incentivou e me ofe-
receu apoio incondicional. Aos meus filhos Henrique, Guilherme e Felipe, pela paciência
com a minha ausência e tolerância com as inúmeras horas que fiquei no computador. À
reitoria da Unisinos pelo incentivo e apoio, em especial ao Reitor Prof. Dr. Pe. Mar-
celo Fernandes de Aquino. Ao Professor Regis Kopper, da University of North Carolina
at Greensboro que contribuiu, mesmo a distância, desde o desenvolvimento do projeto
inicial dessa pesquisa. Ao Professor Anderson Maciel do Programa de Pós-Graduação
em Computação da UFRGS, que contribuiu significativamente em todas as etapas desse
trabalho. À Profa. Eliane Schelemmer e ao Prof. Klaus Loges do Programa de Pós-
Graduação em Educação da Unisinos, por compartilharem seus conhecimentos da área de
educação e contribuírem significativamente no desenvolvimento dos jogos em realidade
virtual desenvolvidos nesse trabalho. Aos colegas de pós-graduação da UFRGS e do La-
boratório de Visualização, Interação e Simulação (VISLab): Ivan Boesing e Guilherme
Lacerda, guerreiros de estudos para o exame de qualificação; Victor Oliveira e Jerônimo
Grandi, os mais experientes e sempre disponíveis para ajudar; Aline Menin, parceira dos
primeiros experimentos com usuários; Douglas Rachevsky e Leonardo Tagliaro, excelen-
tes desenvolvedores em RV; Lizeth Béltran, Fabrício Pretto e tantos outros pelas inúmeras
trocas de ideias, incentivo, risadas e boa convivência. Ao doutorando em Psicologia Julio
Frota Lisboa Pereira de Souza (UFRGS/PPGPSICO), que me apresentou professores e
colegas da Psicologia e me apontou caminhos teóricos, especialmente para a validação
do método desenvolvido nesse trabalho. Aos colegas professores da Unisinos: Alexandre
Wolffenbittel, Gustavo Borba, Carmen Copeti e Laura Dalla Zen, colegas de gestão; Karla
Faccio, pela ajuda com a estatística; Maria Aparecida da Rocha e Maura Corcini Lopes,
queridas incentivadoras; aos professores do Programa de Pós-Graduação em Computação
Aplicada da Unisinos: Cristiano André da Costa, Sandro Rigo, Maurício Veronez e Luiz
Gonzaga da Silveira, pelo incentivo, conselhos, troca de ideias e empréstimo dos dispo-
sitivos de realidade virtual. Ao amigo Prof. Leonardo Lemes, pela parceria e inventivo
desde a graduação. Aos 123 voluntários que participaram dos experimentos realizados
nesse trabalho. Aos professores Carla Freitas (UFRGS/PPGC), Fátima Nunes (USP) e
Gustavo Gauer (UFRGS/PPGPSICO), que fizeram importantes contribuições na etapa de
avaliação da proposta de tese. Agradeço, especialmente, à minha orientadora, Professora
Luciana Nedel, que me apresentou a instigante área de pesquisa de Realidade Virtual e
me apoiou durante toda a trajetória.
RESUMO

A eficácia de uma experiência de Realidade Virtual (RV) é fortemente afetada pelo


senso de presença dos usuários, ou seja, pela capacidade do Ambiente Virtual (AV) criar
no usuário a ilusão de estar em outro lugar. Nesse trabalho, foram investigados os prin-
cipais conceitos relacionados à presença, os diferentes métodos propostos para medi-la,
bem como os experimentos com usuários publicados entre 1990 e 2019, nos quais o senso
de presença foi medido. Através de uma revisão sistemática da literatura, 1.214 artigos fo-
ram analisados, sendo 239 desses aceitos e catalogados. Em relação às medidas utilizadas
nos experimentos com usuários, 205 (85,8%) utilizaram subjetivas, 28 (11,7%) usaram
uma combinação de subjetivas e objetivas e 6 (2,5%) usaram apenas objetivas. Além
disso, foram identificados 29 fatores principais que impactam na presença, os quais fo-
ram agrupados em quatro categorias: Engajamento, Características Pessoais, Fidelidade
Interativa e Fidelidade Sensorial. Com o objetivo de avaliar tanto o senso de presença
quanto os métodos propostos para medi-la, cinco experimentos com usuários foram reali-
zados, totalizando mais de 320 horas e envolvendo 123 participantes. O primeiro avaliou
a presença em um simulador virtual com mini-CAVE. O segundo avaliou a presença em
diferentes condições de uso de um jogo de tiro em RV. O terceiro avaliou a possibili-
dade de adaptar dinamicamente o AV para maximizar a presença. No quarto e quinto a
presença foi avaliada em uma aplicação em RV para apoio ao ensino de neuroanatomia.
Os resultados mostraram que as medidas de presença são adequadas e estão relacionadas
à eficácia do AV. Contudo, foi evidenciado que a realização de avaliações com usuários
é extremamente onerosa, dado que exige planejamento, recrutamento de voluntários e
longo período de aplicação, além de análise estatística dos resultados. Adicionalmente,
não foi identificada nenhuma ferramenta que possa auxiliar projetistas de aplicações em
RV a definir e desenvolver sistemas com o grau de presença adequado para sua efetiva
utilização. Nesse contexto, esse trabalho apresenta o desenvolvimento e validação de um
método para avaliação de presença em AVs, de baixo custo e alta aplicabilidade, que dis-
pensa a necessidade de avaliações com usuários e serve como diretriz sobre presença para
o projeto de novas aplicações em RV.

Palavras-chave: Realidade virtual, presença, método de avaliação.


Presence Factor Scale (PFS): a Presence Assessment Method for Virtual Immersive
Environments

ABSTRACT

The effectiveness of a Virtual Reality (VR) experience is strongly affected by the sense
of presence of the users involved, that is, the Virtual Environment (VE) ability to create
in the user the illusion of being somewhere else in the virtual world. In this work, we
investigated the main concepts related to the presence, the different methods proposed
to measure it, as well as the experiments with users, published since 1990, in which the
sense of presence was measured. Through a systematic literature review, 1.214 papers
were analyzed and 239 were accepted and cataloged. Concerning to the measures used in
the user’s experiments, 205 (85.8%) used subjective measures, 28 (11.7%) used a combi-
nation of subjective and objective measures, and e 6 (2.5%) used only objective measures.
In addition, 29 presence impact factors were identified, which were grouped into four cat-
egories: Engagement, Personal Characteristics, Interactive Fidelity and Sensory Fidelity.
In order to evaluate both the sense of presence and the proposed methods to measure it,
five users’ experiments were performed, accounting for more than 320 hours. The first
study evaluated the presence of 15 users in the use of a mini-CAVE virtual simulator. The
second study evaluated the presence of 16 people in different conditions of use of a first-
person shooter VR game. The third experiment evaluated the possibility of dynamically
adapting VE to maximize the presence, based on the physiological reactions of 27 peo-
ple. In the fourth and fifth experiments the presence was evaluated in an VR application
to support neuroanatomy teaching and learning process, in which 39 undergraduate health
students participated. The experiments results demonstrated that the presence measures
are adequate and related to the VE efficacy. Nevertheless, it was evidenced that carry-
ing out user evaluations is extremely costly, as it requires planning, adequate volunteer
recruitment, long application period, with 40 minutes per session in average, and results
statistical analysis. In addition, no work to assist RV application designers and developers
in defining systems with the right degree of presence has been identified. In this context,
this work presents a low cost and high applicability evaluation presence method, which
dispenses the need for user evaluations and can be used as a guideline on presence for
new VR applications’ design.
Keywords:
.
LISTA DE FIGURAS

1.1 Principais Etapas Metodológicas. . . . . . . . . . . . . . . . . . . . 23

2.1 Classificação das medidas de presença. . . . . . . . . . . . . . . . . 33


2.2 Número de experimentos publicados por ano, cuja presença foi me-
dida (1990 - 2019). . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.3 Medidas de presença utilizadas e frequência de uso nos experimen-
tos: Questionário (Q), Frequência Cardíaca (FC), Condutância da
Pele (CP), Observação do Comportamento (OC), Doppler Transcra-
nial (TCD), Eletroencefalograma (EEG), Frequência Respiratória (FR),
Relato Subjetivo (RS), Temperatura da Pele (TP) e Eletromiografia
(EMG). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4 Questionários mais utilizados nos experimentos: Slater-Usoh-Steed
(SUS), Presence Questionnaire (PQ), Questionário Adaptado (QA),
Igroup Presence Questionnaire (IPQ), ITC-Sense of Presence Inven-
tory (ITC-SOPI), Template Presence Inventory (TPI), Scale Develop-
ment (E2 I) e University College London (UCL). . . . . . . . . . . . 48

3.1 Configuração usada no experimento: (A) mini-CAVE, (B) óculos es-


téreo (C) controle de jogo e (D) webcam. . . . . . . . . . . . . . . . 65
3.2 Cenários simulados: praça, acidente de trânsito, estacionamento, as-
salto, caixa eletrônico, floricultura, lotérica e lanchonete. . . . . . . . 66
3.3 Valores médios do questionário SUS e Frequência Cardíaca (FC) acima
da linha de base em cada cenário do simulador: (A) Praça, (B) Aci-
dente de trânsito, (C) Estacionamento, (D) Assalto, (E) Caixa eletrô-
nico, (F) Loja, (G) Lotérica e (H) Lanchonete. . . . . . . . . . . . . . 67
3.4 Captura de tela do jogo: (a) jogador localizado no centro e a mira
tocando um asteroide e (b) duas naves, uma movendo-se para o canto
inferior esquerdo com traço azul, e outra se movendo em direção à
borda superior com traço vermelho. O jogador está localizado no
centro, com a mira ligada. . . . . . . . . . . . . . . . . . . . . . . . 68
3.5 Participante jogando na condição (a) HMD com o controle Rift Touth
e (b) Monitor, teclado e mouse. . . . . . . . . . . . . . . . . . . . . 69
3.6 Boxplot do senso de presença - Questionário SUS. C1: HMD com
mira fixa; C2: HMD com mira livre; C3: monitor com mira fixa; C4:
monitor com mira livre. . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7 Estímulos de excitação: (a) revoada de pássaros, (b) assalto, (c) alarme
e (d) explosão. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.8 Participante do experimento usando o controle sem fio Xbox, Oculus
Rift CV1 e BITalino para coleta dos dados fisiológicos. . . . . . . . . 74
3.9 Boxplot do Senso de Presença – Questionário SUS – nas condições
NS: nenhum estímulo, PS: estímulo em tempo pré-definido e DS:
estímulo dinâmico). . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.10 Primeira versão do jogo de montagem do encéfalo humano em RV. . 77
3.11 Aluna de graduação utilizando o jogo e seus colegas assistindo pelo
projetor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.12 Boxplot referente a facilidade de uso, diversão, desconforto e utili-
dade do jogo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.13 Segunda versão do AV para apoio ao ensino de Neuroanatomia. . . . 81
3.14 Montagem individual do encéfalo humano sintético. . . . . . . . . . 82
3.15 Montagem individual do encéfalo humano virtual. . . . . . . . . . . 82
3.16 Boxplot com o resultado do teste de conhecimento (a) e senso de
presença (b) usando o encéfalo sintético (ST) e o virtual (VR) . . . . . 83
3.17 Grupo de estudantes montando o encéfalo humano sintético. . . . . . 85
3.18 Grupo de estudantes montando o encéfalo humano virtual. . . . . . . 85
3.19 Resultados da autoavaliação (Auto), pré-teste (Pré) e pós-teste (Pós)
de conhecimento com o encéfalo sintético (ST) e virtual (VR), entre
os sujeitos que montaram (MT) e os que observaram (OB). . . . . . . 86
3.20 Resultados do questionário de presença SUS na montagem do encé-
falo sintético (ST) e virtual (VR), e entre os sujeitos de montaram
(MT) e os que observaram (OB). . . . . . . . . . . . . . . . . . . . . 87
3.21 Boxplot do teste de conhecimento em neuroanatomia: condições sin-
tética e virtual no pós-teste (POS) e teste de retenção (RET) para
indivíduos que montaram (MT) e que colaboraram (CL). . . . . . . . 89
3.22 Boxplot do senso de presença: condições sintética (ST) e virtual
(VR), incluindo o grupo de sujeitos que montou (MT) e aqueles que
colaboram (CL). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4.1 Metodologia de desenvolvimento da PFS. . . . . . . . . . . . . . . . 97


4.2 Fatores de impacto no senso de presença. . . . . . . . . . . . . . . . 98
4.3 Formulário para utilização da Presence Factor Scale . . . . . . . . . 120

5.1 Países de atuação dos convidados a participar da pesquisa. . . . . . . 127


5.2 Autoavaliação de conhecimento sobre Realidade Virtual. . . . . . . . 128
5.3 Autoavaliação de conhecimento sobre Presença em Realidade Virtual. 128
5.4 Fatores da categoria Engajamento. . . . . . . . . . . . . . . . . . . . 130
5.5 Opinião dos especialistas sobre os fatores da categoria Engajamento. . 131
5.6 Fatores da categoria Características Pessoais. . . . . . . . . . . . . . 132
5.7 Opinião dos especialistas sobre os fatores da categoria Características
Pessoais. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.8 Fatores da categoria Fidelidade Interativa. . . . . . . . . . . . . . . . 135
5.9 Opinião dos especialistas sobre os fatores da categoria Fidelidade In-
terativa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
5.10 Fatores da categoria Fidelidade Sensorial. . . . . . . . . . . . . . . . 137
5.11 Fatores da categoria Fidelidade Sensorial (cont.). . . . . . . . . . . . 138
5.12 Opinião dos especialistas sobre os fatores de Fidelidade Sensorial. . . 139
5.13 Concordância dos especialistas sobre a relação dos fatores propostos
com o senso de presença em RV. . . . . . . . . . . . . . . . . . . . . 143
5.14 Concordância dos especialistas em relação à categorização dos fatores. 144
5.15 Concordância dos especialistas sobre a não falta de fatores. . . . . . . 144
5.16 Médias finais da concordância dos especialistas. . . . . . . . . . . . 145
5.17 Escala de Fatores de Presença - PFS. . . . . . . . . . . . . . . . . . . 146
5.18 Escala de Fatores de Presença aplicada ao Simulador de Risco. . . . . 147
5.19 Escala de Fatores de Presença aplicada ao Jogo FPS em RV. . . . . . 149
5.20 Escala de Fatores de Presença aplicada ao experimento de Modulação
Dinâmica de Presença. . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.21 Escala de Fatores de Presença aplicada ao jogo em RV para apoio ao
Aprendizado de Neuroanatomia. . . . . . . . . . . . . . . . . . . . . 151
5.22 Escala de Fatores de Presença aplicada ao uso de RV Colaborativa. . 152
LISTA DE TABELAS

2.1 As diferentes medidas de presença, sua classificação, método, pontos


fortes, pontos fracos e referência primária. . . . . . . . . . . . . . . . 35
2.2 Questionários propostos para medir o senso de presença em RV. . . . 38
2.3 Medidas fisiológicas, ano da primeira aplicação, experimentos e re-
ferência. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4 Principais medidas objetivas para avaliação de presença em RV. . . . 45
2.5 Experimentos em que o senso de presença foi avaliado (publicados
entre 1993 e 2003). . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6 Experimentos em que o senso de presença foi avaliado (publicados
entre 2004 e 2006). . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.7 Experimentos em que o senso de presença foi avaliado (publicados
entre 2007 e 2010). . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.8 Experimentos em que o senso de presença foi avaliado (publicados
entre 2010 e 2013). . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.9 Experimentos em que o senso de presença foi avaliado (publicados
entre 2013 e 2016). . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.10 Experimentos em que o senso de presença foi avaliado (publicados
entre 2016 e 2017). . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.11 Experimentos em que o senso de presença foi avaliado (publicados
entre 2017 e 2018). . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
2.12 Experimentos em que o senso de presença foi avaliado (publicados
entre 2018 e 2019). . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.13 Fatores que afetam o senso de presença em realidade virtual. . . . . . 59

3.1 Experimentos com usuários realizados durante o trabalho. . . . . . . 63


3.2 Perfil dos estudantes nas condições de montagem do encéfalo sinté-
tico e virtual. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.3 Resumo dos resultados dos experimentos. . . . . . . . . . . . . . . . 93
3.4 Resumo dos resultados dos experimentos (Cont.). . . . . . . . . . . . 94
4.1 Fatores de impacto no senso de presença em ambientes virtuais. . . . 99
4.2 Fatores da Categoria Engajamento. . . . . . . . . . . . . . . . . . . 103
4.3 Fatores Relacionados às Características Pessoais. . . . . . . . . . . . 108
4.4 Fatores de Fidelidade Interativa. . . . . . . . . . . . . . . . . . . . . 110
4.5 Fatores relacionados à Fidelidade Sensorial. . . . . . . . . . . . . . . 117
4.6 Fatores relacionados à Fidelidade Sensorial (cont.). . . . . . . . . . . 118

5.1 Pesquisadores que responderam a pesquisa. . . . . . . . . . . . . . . 127


5.2 Grau de concordância entre os avaliadores. . . . . . . . . . . . . . . 140
5.3 Validade aparente da PFS. . . . . . . . . . . . . . . . . . . . . . . . 140
5.4 Ajustes de escores baseado no processo de resposta. . . . . . . . . . 142
5.5 Resultado comparativo entre os métodos para avaliação de presença. . 153
5.6 Retestes (T2) de avaliação da presença através da PFS. . . . . . . . . 154
LISTA DE ABREVIATURAS E SIGLAS

ACM Association for Computing Machinery

AFC Análise Fatorial Confirmatória

AFE Análise Fatorial Exploratória

APA American Psychological Association

AERA American Educational Research Association

AR Alternate Reality

AV Ambiente Virtual

BCI International Conference on Brain-Computer Interface

BFI Big Five Inventory

bpm Batimentos por minuto

BS Between-subjects

CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior

CAVE Cave Automatic Virtual Environment

CHI Conference on Human Factors in Computing Systems

CGA Computer Graphics and Applications

CL Colaboraram

CSCL Computer-Supported Collaborative Learning

CSUR Computing Surveys

CP Condutância da Pele

CG Computers Graphics

DTC Doppler Transcraniano

DP Desvio Padrão
ED Estímulo Dinâmico

EEG Eletroencefalografia

EMG Eletromiografia

EP Estímulo Pré-Definido

EVEQ Experimental Virtual Environment-Experience Questionnaire

FC Frequência Cardíaca

FPS First Person Shooter

FPS Frames por segundo

FR Frequência Respiratória

fMRI Ressonância Magnética Funcional

FOV Field of View

HCI Human-Computer Interaction

HMD Head-Mounted Display

HRTF Head-Related Transfer Function

ICVRV International Conference on Virtual Reality and Visualization

IEEE Institute of Electrical and Electronics Engineers

IPQ Igroup Presence Questionnaire

ISMAR International Symposium on Mixedand Augmented Reality

ITC International Test Commission

SOPI Sense of Presence Inventory

JVR Journal of Virtual Reality

MEC Ministério da Educação

NCME National Council on Measurement in Education

MR Mixed Reality

SPQ Spatial Presence Questionnaire

M Média

MIT Massachusetts Institute of Technology

MO Movimentos dos Olhos

ms Milisegundos
mS Milisiemens

MT Montaram

NE Nenhum Estímulo

OB Observaram

OC Observação Comportamental

p p-value

P Spatial Presence

PANAS Positive and Negative Affect Schedule

PC Personal Computer

PFS Presence Factor Scale

PIFF Presence-Involvement-Flow Framework

PPI Pixels por polegada

PQ Presence Questionnaire

PRE Pré-teste

POS Pós-teste

PPG Photoplethysmography

Q Questionário

RET Teste de retenção

RP Resposta da Pupila

RS Relatórios Subjetivos

RV Realidade Virtual

RJPQ Reality Judgement and Presence Questionnaire

SP Self-presence

ST Sintético

SUI Spatial User Interaction

SUS Slater-Usoh-Steed

SVR Symposium on Virtual and Augmented Reality

SVUP Swedish Viewer-User Presence Questionnaire

TAP Transactions on Applied Perception


TCD Doppler Transcranial

TP Temperatura da Pele

TPI Template Presence Inventory

TVCG Transactions on Visualization and Computer Graphics

UCL University College London

UNCG University of North Carolina at Greensboro

VARK Visual, Aural, Read/write, and Kinesthetic

VET Virtual Experience Test

VR Virtual Reality

VRST Conference on Virtual Reality Software and Technology

XR Extended Reality

WS Within-subjects

3DUI 3D User Interfaces


SUMÁRIO

1 INTRODUÇÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.1 Justificativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.2 Questão de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.5 Contribuições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.6 Organização do Documento . . . . . . . . . . . . . . . . . . . . . . . . . 26

2 REVISÃO SISTEMÁTICA DA LITERATURA . . . . . . . . . . . . . . . 27


2.1 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3 Presença . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4 Medidas de Presença . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.4.1 Medidas Subjetivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4.2 Medidas Objetivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.5 Experimentos em RV com Avaliação de Presença . . . . . . . . . . . . . 46
2.6 Fatores de Impacto no Senso de Presença . . . . . . . . . . . . . . . . . 57
2.7 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3 EXPERIMENTOS REALIZADOS . . . . . . . . . . . . . . . . . . . . . 62
3.1 Visão Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2 Simulador de Risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.2.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.2.2 Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.2.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.2.4 Lições Aprendidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.3 Jogo FPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.3.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.3.2 Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.3.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.3.4 Lições Aprendidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.4 Cidade Virtual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.4.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.4.2 Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.4.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.4.4 Lições Aprendidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5 Jogo Educacional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.5.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.5.2 Primeiro Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.5.3 Segundo Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.5.4 Lições Aprendidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.6 RV Colaborativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.6.1 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.6.2 Primeiro Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.6.3 Segundo Experimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.6.4 Lições Aprendidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.7 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4 DESENVOLVIMENTO DO MÉTODO PARA AVALIAÇÃO DE PRESENÇA 96


4.1 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.2 Fatores do Método . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.2.1 Fatores de Engajamento . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.2.2 Fatores Pessoais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.2.3 Fatores de Fidelidade Interativa . . . . . . . . . . . . . . . . . . . . . . . 109
4.2.4 Fatores de Fidelidade Sensorial . . . . . . . . . . . . . . . . . . . . . . . 111
4.3 Utilização do Método . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.4 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5 VALIDAÇÃO DO MÉTODO PARA AVALIAÇÃO DE PRESENÇA . . . 122


5.1 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.2 Avaliação preliminar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3 Evidência Baseada no Conteúdo do Teste . . . . . . . . . . . . . . . . . 126
5.4 Evidência Baseada no Processo de Resposta . . . . . . . . . . . . . . . . 140
5.5 Evidência Baseada na Estrutura Interna . . . . . . . . . . . . . . . . . . 143
5.6 Evidência Baseada nas Relações com Outras Variáveis . . . . . . . . . . 143
5.6.1 Simulador de Risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.6.2 Jogo FPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.6.3 Cidade Virtual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.6.4 Jogo Educacional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.6.5 RV Colaborativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
5.7 Fidedignidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.8 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

6 CONCLUSÃO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.1 Contribuições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.2 Limitações e Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . 160

REFERÊNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

APÊNDICE A INSTRUMENTO PARA PESQUISA COM ESPECIALISTAS 193

APÊNDICE B CONVITE AOS ESPECIALISTAS . . . . . . . . . . . . . . 206

APÊNDICE C PRESENCE FACTOR SCALE . . . . . . . . . . . . . . . . 207

APÊNDICE D RETESTES DA PFS . . . . . . . . . . . . . . . . . . . . . 214


19

1 INTRODUÇÃO

A Realidade Virtual (RV) é definida como um meio de comunicação que possibilita


imersão, gera estímulo sensorial, é interativo e pode transportar mentalmente o usuário
para outro local (SLATER; USOH; STEED, 1994). Na revisão do estado da arte so-
bre RV, publicada por Brooks (BROOKS, 1999), o autor observou que, naquela época,
a área havia feito grandes avanços técnicos e afirmou que a RV realmente funcionava.
Atualmente, a RV se tornou uma ferramenta possível e útil em muitas áreas da ciência,
tecnologia, indústria, saúde, educação, entretenimento, marketing e já está sendo utilizada
em muitos lares (SLATER, 2014; BURRAFATO et al., 2019).
Sistemas de projeção como CAVE - Cave Automatic Virtual Environment, uma sala
onde são projetados gráficos em 3 dimensões, avançaram para uma resolução muito alta,
com base em projetores de múltiplos painéis com alinhamento automático e contínuo das
imagens (BROWN; MAJUMDER; YANG, 2005; DEFANTI et al., 2011). Da mesma
forma, os monitores montados na cabeça (HMDs - Head-Mounted Displays) melhora-
ram drasticamente, apresentando imagens de alta resolução com amplo campo de visão
e baixíssimo atraso entre os movimentos do usuário e a resposta do HMD. Atualmente,
existem soluções leves, de baixo custo e voltadas para o uso doméstico, inclusive feitas
de armações de plástico imprimíveis em 3D e lentes baratas que acomodam smartpho-
nes (OLSON et al., 2011; HOBERMAN et al., 2012; STEED; JULIER, 2013). Outro as-
pecto importante para a eficácia da RV que avançou significativamente foi o rastreamento.
Nos últimos anos, o rastreamento de corpo inteiro tornou-se um produto de custo relativa-
mente baixo, permitindo a captura dos movimentos do usuário em tempo real, condição
extremamente relevante para a interação com o ambiente virtual (AV) (SLATER, 2014).
Quanto ao sentido do tato, apesar do desenvolvimento já realizado este aspecto da RV
ainda carece de avanços. Existem dispositivos táteis que fornecem excelente ponto de
contato incluindo algum nível de retorno tátil e de força, mas somente para configurações
altamente específicas. Além disso, existem dispositivos de exoesqueleto que podem for-
necer retorno de força para diferentes partes do corpo. Na extremidade de baixo custo,
existem dispositivos que fornecem estimulação vibrotátil ou por pressão de ar (SODHI
et al., 2013).
20

Apesar dos muitos avanços, é preciso considerar que haverá sempre algum aspecto da
realidade que não pode ser simulado por um sistema de RV. Caso contrário, a experiência
fornecida pelo sistema seria completamente indistinguível da realidade e, portanto, seria
em si mesma “realidade”. Assim, é preciso considerar que o objetivo da RV não é simular
com precisão todos os aspectos da realidade, mas sim produzir uma ilusão de realidade,
devendo explicitamente explorar as incríveis capacidades do cérebro (SLATER, 2014).
Sanchez-Vives e Slater (SANCHEZ-VIVES; SLATER, 2005; SLATER et al., 2009)
definem conceitualmente a RV como um sistema tecnológico que pode substituir precisa-
mente a entrada sensorial de uma pessoa e transformar o significado de suas saídas mo-
toras com referência a uma realidade alternativa conhecida (“conhecida” para distinguir
dos sonhos ou experiências alucinógenas). Nesta visão, as ações motoras e as entradas
sensoriais não são separáveis. Para perceber é necessário agir – mover e posicionar o
corpo, a cabeça, os olhos, os ouvidos e o nariz na percepção ativa. A possibilidade de
percepções sensório-motoras naturais por um usuário de RV é a chave para a geração da
ilusão fundamental que as pessoas normalmente experimentam em uma RV imersiva – a
ilusão de “presença”, “de estar lá”.
A sensação de estar em outro lugar, um lugar virtual diferente do lugar físico onde se
realmente está, é chamada de senso de presença, e está fortemente relacionada à efetivi-
dade do AV, ou seja, em que grau o AV cria no usuário a ilusão subjetiva de presença –
uma sensação de estar no ambiente virtual em oposição ao real (MEEHAN et al., 2002).
O termo “presença” entrou no amplo debate científico em 1992, quando Sheridan e
Furness o usaram no título de uma nova revista dedicada ao estudo de sistemas de re-
alidade virtual e teleoperações, chamada Presence: Teleoperators and Virtual Environ-
ment (SHERIDAN; FURNESS, 1992).
No campo de pesquisa sobre presença, várias definições e teorias têm sido propos-
tas, assim como diferentes métodos para medi-la. Existem vários significados diferentes
e, de fato, pontos de vista filosóficos associados ao conceito de presença. No entanto,
a presença é comumente referida como a característica definidora dos AVs, isto é, a ca-
racterística que distingue os AVs de outros tipos de simulações geradas por computador.
A importância potencial da presença está na suposição comum de que experimentar um
maior senso de presença resulta em uma melhor experiência e eficácia do AV (YOUNG-
BLUT, 2003).
Os métodos para medir a presença são comumente divididos em subjetivos e objeti-
vos. Os subjetivos são os mais utilizados, especialmente os pós-questionários baseados
em escala e algumas técnicas de observação. Já os métodos objetivos são baseados na
obtenção de dados fisiológicos não invasivos, como a frequência cardíaca, condutância
da pele, movimento ocular, eletromiografia de superfície e atividade cerebral, obtidos
durante o uso do AV (INSKO, 2001; RIVA; WATERWORTH; MURRAY, 2014).
Contudo, apesar de mais de uma década de pesquisa, ainda é incerto se existem rela-
21

ções consistentes entre presença e desempenho, muito menos se tais relacionamentos são
de natureza causal. Embora seja consensual que a presença é um construto multidimensi-
onal, não existe uma teoria abrangente sobre presença, muito menos um consenso sobre
como a presença deve ser medida (YOUNGBLUT, 2003). Em 2004, Salter sinalizou que o
crescimento de grupos de pesquisa interessados no estudo do conceito chamado presença
poderia encontrar uma maneira de abandonar o emprego fácil dos pós-questionários e pro-
curar uma maneira melhor de capturar esse conceito, o que ainda não ocorreu (SLATER,
2004).

1.1 Justificativa

O adequado senso de presença é considerado essencial em qualquer experiência de


RV (COELHO et al., 2012). Isso porque a adequada sensação de presença é crucial para
garantir a credibilidade das ações dos usuários no AV e, consequentemente, tornar o AV
mais eficaz, seja qual for seu objetivo, como por exemplo treinamento, terapia, entrete-
nimento, dentre outros (LEE et al., 2016; DE LEO et al., 2014). Atualmente, a presença
está associada a um comportamento apropriado à situação e, portanto, é usada como mé-
trica nas aplicações de RV – o único resultado de uma experiência de RV que pode ser
universal, independentemente do domínio da aplicação.
Segundo Sjölie (2013), o sentido de presença é determinante e deve ser considerado
desde o projeto até o uso de sistemas de RV (SJöLIE, 2013). Apesar disso, ainda há um
debate vigoroso sobre a melhor forma de medir a presença e nenhum método proposto é
amplamente aceito e totalmente eficaz, além do fato de todos dependerem dos onerosos
estudos com usuários.
A partir da revisão sistemática da literatura e dos experimentos realizados durante
esse trabalho, foi confirmado que a presença é extremamente relevante para a efetividade
da RV, bem como se trata de um construto subjetivo, de complexa compreensão e difí-
cil avaliação. Os métodos para medir presença são, de modo geral, onerosos dado que
necessitam de planejamento, recrutamento da quantidade adequada de voluntários com
o perfil do público-alvo do AV, longo período de execução e análise estatística dos re-
sultados. Quanto às diferentes formas de medir a presença, apesar das vantagens dos
métodos objetivos, como a possibilidade da medida contínua das respostas automatica-
mente produzidas, é difícil afirmar que as alterações fisiológicas ou comportamentais são
estritamente causadas pela experiência no AV. Assim, precisam necessariamente ser com-
plementadas com questionários subjetivos, os quais são fáceis de aplicar e analisar, mas
também possuem limitações como a confiabilidade entre avaliadores e a incapacidade de
medir a variação de presença durante a experiência no AV.
Além das limitações dos métodos atuais, não foi identificada nenhuma ferramenta que
possa auxiliar projetistas de aplicações em RV a definir e desenvolver sistemas com o grau
22

de presença adequado para sua efetiva utilização.


A partir desse contexto, foram definidas a questão de pesquisa e os objetivos desse
trabalho, que visa contribuir para o avanço científico no campo de pesquisa de RV, espe-
cificamente no que tange a avaliação do senso de presença, bem como para o desenvolvi-
mento de sistemas de realidade virtual mais eficazes.

1.2 Questão de Pesquisa


Dada a importância do senso de presença para a eficácia da RV, somada às limitações
dos métodos atuais, ao alto custo e dependência dos testes com usuários e a falta de
diretrizes para orientar o desenvolvimento de sistemas de RV, sob o ponto de vista do
senso de presença, esse trabalho parte da clara necessidade de avanço desse campo de
pesquisa e se propõe a investigar a possibilidade de criação de um novo método para
medir o senso de presença em RV, que supere as limitações dos métodos atuais.
Assim, a seguinte questão de pesquisa foi definida:

É possível desenvolver e validar um método para a avaliação do senso de presença em


RV que dispense testes com usuários?

1.3 Objetivos
Com base no contexto apresentado, esse trabalho teve como objetivo investigar o con-
ceito de presença em profundidade, bem como identificar fatores de impacto no senso
de presença e os métodos propostos para medi-la, contabilizando seu uso ao longo dos
últimos 20 anos. Além de identificar e investigar as potencialidades e limitações de cada
método para avaliação de presença, o trabalho teve como objetivo realizar experimentos
com usuários nos quais os principais métodos para medir presença foram aplicados e ava-
liados na prática, sendo o objetivo geral do trabalho desenvolver e validar um método
inédito para avaliação da presença em ambientes virtuais imersivos, de baixo custo e
alta aplicabilidade, que dispensa a avaliação com usuários. Pretende-se que tal método
possa ser aplicado tanto na fase de projeto, com o objetivo de orientar as decisões para
que o ambiente a ser desenvolvido proporcione o senso de presença adequado, como em
ambientes virtuais previamente desenvolvidos, com o objetivo de determinar o senso de
presença oferecido pelo sistema.
Os objetivos específicos foram:

• compreender o conceito da presença em ambientes virtuais;

• identificar, compreender e experimentar os métodos propostos para avaliação de


presença;
23

• identificar, compreender e catalogar os experimentos com usuários relatados na li-


teratura, nos quais a presença foi avaliada;

• identificar os fatores de impacto na presença em ambientes virtuais;

• desenvolver um método para avaliação de presença que dispense os testes com usuá-
rios;

• validar o método proposto.

1.4 Metodologia
As etapas metodológicas (JACKSON; MARSH, 1996; CSIKSZENTMIHALYI, 1992;
HUTZ; BANDEIRA; TRENTINI, 2015) – que permitem justificar, em função do pro-
blema de investigação e dos objetivos definidos, a qualidade científica dos resultados ob-
tidos – utilizadas nessa pesquisa estão ilustradas na Figura 1.1 e são detalhadas a seguir.

Figura 1.1 Principais Etapas Metodológicas.

Fonte: o autor. Adaptação do duplo diamante do Design Thinking (YAYICI, 2016).

Conforme ilustra a Figura 1.1, esse trabalho foi conduzido em duas grandes etapas
metodológicas, sendo o objetivo da primeira o adequado entendimento do problema e da
segunda a geração da solução para o problema.
24

Como sub-etapas do entendimento do problema, foram realizadas a revisão sistemá-


tica da literatura, que permitiu a adequada compreensão do conceito de presença em RV,
bem como a identificação dos diferentes métodos já propostos para medi-la. Além disso,
foi possível identificar como tais métodos foram utilizados nos últimos anos, bem como
suas potencialidades e limitações. Ainda como contribuição da etapa de revisão da litera-
tura, foram identificados 29 fatores de impacto no senso de presença. Já na segunda etapa
do entendimento do problema, cinco estudos com usuários foram realizados, somando
mais de 320 horas em experimentos, nos quais se aplicou e avaliou os principais métodos
propostos para medir o senso de presença em RV. Tais etapas foram essenciais para a ade-
quada compreensão do conceito de presença, bem como das potencialidades e limitações
dos métodos já propostos para medir o senso de presença em ambientes virtuais.
A próxima grande etapa, geração da solução, iniciou com o desenvolvimento do novo
método para avaliar o senso de presença em RV, o qual foi baseado nos fatores de impacto
identificados na revisão da literatura. A sub-etapa seguinte foi a avaliação do método
proposto por especialistas da área, os quais fizeram importantes contribuições para a ge-
ração da versão que foi então aplicada nos estudos realizados na etapa de entendimento
do problema, com o objetivo de iniciar a validação do método proposto. Posteriormente,
as demais etapas da validação foram realizadas, as quais possibilitaram concluir que o
método proposto é válido.
A seguir, cada uma das etapas metodológicas é explicada em detalhe.
Revisão
A primeira etapa metodológica dessa pesquisa foi a condução de uma revisão siste-
mática da literatura, a qual teve como objetivo investigar em profundidade o conceito de
presença em ambientes virtuais, bem como identificar os diferentes métodos propostos
para sua avaliação e verificar como a presença está sendo avaliada nos experimentos com
usuários. Para isso, foi utilizado o protocolo proposto em Kitchenham (KITCHENHAM;
CHARTERS, 2007). Os componentes deste protocolo incluem todos os elementos da re-
visão sistemática: contextualização, questões de pesquisa, termos de pesquisa, fontes de
pesquisa, critérios de seleção, estratégia de extração de dados e síntese dos dados extraí-
dos. A revisão sistemática da literatura é apresentada em detalhe no Capítulo 2.
Estudos
Na medida que os diferentes métodos para avaliar a sensação de presença foram iden-
tificados, foram realizados alguns experimentos com usuários cujo objetivo foi verificar
na prática tais métodos e investigar os fatores de impacto na presença em ambientes virtu-
ais. Para a realização desses estudos, ambientes virtuais específicos foram desenvolvidos,
tais como um simulador de riscos em uma cidade virtual, um jogo de tiro em primeira
pessoa e um jogo educacional para apoio ao ensino de neuroanatomia.
No primeiro estudo, se avaliou o senso de presença de 15 usuários, através de pós-
questionário e obtenção da frequência cardíaca durante o uso de um simulador de cidade
25

virtual. O segundo estudo avaliou o senso de presença de 16 pessoas, através de pós-


questionário, frequência cardíaca e condutância da pele, em diferentes condições de uso
de um jogo de tiro em primeira pessoa em RV. O terceiro experimento avaliou a possibi-
lidade de adaptação dinâmica do AV para maximizar o senso de presença, com base nas
reações fisiológicas de 27 pessoas e utilizou pós-questionário, frequência cardíaca, condu-
tância da pele e observação comportamental para avaliar o senso de presença. No quarto
e quinto experimentos, o senso de presença foi avaliado, exclusivamente através de pós-
questionário, em uma aplicação de RV para apoiar o processo de ensino e aprendizagem
de neuroanatomia, no qual participaram 39 estudantes de graduação em saúde.
Mais detalhes sobre cada um dos experimentos são apresentados no Capítulo 3 e nos
artigos já publicados (Seção 6.1).
Método
Após a conclusão da revisão sistemática da literatura e dos experimentos com usuários
nos quais se avaliou na prática os principais métodos propostos para a avaliação do senso
de presença em ambientes virtuais, foram confirmadas algumas dificuldades, tais como
a falta de compreensão dos usuários sobre o conceito de presença, baixa disponibilidade
das pessoas para participar de testes, longo período de planejamento, condução e análise
dos resultados, baixa confiabilidade dos resultados, entre outros.
Nesse contexto, foi desenvolvido um novo método, baseado nos fatores que impactam
no senso de presença em RV, identificados na revisão da literatura. Trata-se de um método
que permite avaliar o grau de presença, baseado em uma escala, com antecipação tanto
ao desenvolvimento do sistema quanto aos testes com usuários. Assim, pode ser aplicado
tanto no projeto de novos sistemas, de forma que se adeque as características da aplicação
de acordo com a necessidade de proporcionar diferentes graus de presença aos usuários,
quanto para avaliação de AVs já desenvolvidos, dispensando a necessidade dos onerosos
e pouco precisos testes com usuários. O método desenvolvido nesse trabalho, chamado
Presence Factor Scale (PFS), é apresentado no Capítulo 4.
Validação
A validação teve como objetivo garantir que o método é confiável. Nesse trabalho,
tais etapas seguiram a recomendação dos Standards for Educational and Psychological
Testing (AERA; APA; NCME, 1985), que estabelecem que as evidências de validade
podem ser baseadas no conteúdo do método, no processo de resposta, na estrutura interna,
nas relações com outras variáveis, nas consequências da testagem, além da fidedignidade
do método. A validação do método é apresentada no Capítulo 5.

1.5 Contribuições
A principal contribição desse trabalho foi o desenvolvimento e validação de um mé-
todo inédito para avaliação do senso de presença em ambientes de realidade virtual que
26

dispensa os testes com usuários, é de baixo custo e pode ser amplamente utilizado tanto
para avaliação de AVs prontos, baseado em suas características, como para o desenvolvi-
mento de novos AVs, oferecendo diretrizes de projeto para que o AV proporcione o senso
de presença adequado. Além disso, duas importantes contribuições advieram da revisão
sistemática da literatura: a identificação de 29 fatores de impacto no senso de presença
e o levantamento sobre como os métodos para avaliação de presença foram utilizados ao
longo dos últimos 20 anos.

1.6 Organização do Documento


O Capítulo 2 apresenta a revisão sistemática da literatura, detalhando o método uti-
lizado (contextualização, questões, termos, fontes, critérios de seleção, estratégia de ex-
tração de dados e síntese dos dados extraídos), cujo objetivo foi investigar os principais
conceitos e teorias sobre o senso de presença em RV, identificar os métodos propostos
para avaliar a presença, bem como os fatores que impactam no senso de presença em am-
bientes virtuais. Além disso, a revisão sistemática identificou e catalogou os experimentos
com usuários publicados desde 1990, nos quais a presença foi avaliada.
No Capítulo 3 são apresentados os experimentos com usuários realizados para ava-
liação dos principais métodos para medida de presença, bem como para a avaliação de
diferentes fatores que a influenciam. Nesse capítulo, são apresentados cinco experimen-
tos com usuários em diferentes ambientes virtuais, desenvolvidos especificamente para
permitir a avaliação do senso de presença em RV, através dos principais métodos já pro-
postos. Os experimentos somaram mais de 320 horas e envolveram 123 participantes, no
total.
O Capítulo 4 apresenta o método para avaliação de presença desenvolvido, baseado
nos fatores de impacto identificados na revisão sistemática da literatura, os quais foram
organizados em 4 categorias: fatores de engajamento, pessoais, fidelidade interativa e
fidelidade sensorial. Para cada fator foram mapeadas as possíveis variações e definido um
escore, usado para o cálculo do senso de presença proporcionado pelo ambiente virtual.
No final do capítulo, a forma de uso do método é apresentada.
O Capítulo 5 apresenta o processo de validação do método, que usou como base os
Standards for Educational and Psychological Testing, sendo eles baseados no conteúdo
do teste, processo de resposta, estrutura interna, relações com outras variáveis e fidedig-
nidade.
Finalmente, no último capítulo são apresentadas as contribuições, limitações e traba-
lhos futuros.
27

2 REVISÃO SISTEMÁTICA DA LITERATURA

Na pesquisa sobre o senso de presença experimentado pelos usuários de realidade


virtual, várias definições e teorias têm sido propostas, bem como diferentes métodos para
medi-la. Esse capítulo apresenta a revisão sistemática da literatura sobre presença em RV,
realizada nesse trabalho com o objetivo de aprofundar o conhecimento sobre o conceito
de presença, bem como para identificar seus fatores de impacto, os métodos para sua
avaliação e como tais métodos vêm sendo aplicados nos experimentos de RV nos últimos
20 anos.

2.1 Metodologia
Conforme mencionado no Capítulo 1, nessa revisão sistemática da literatura foi uti-
lizado o protocolo proposto em Kitchenham (KITCHENHAM; CHARTERS, 2007) que
é composto dos seguintes elementos: contextualização, questões de pesquisa, termos de
pesquisa, fontes de pesquisa, critérios de seleção, estratégia de extração de dados e síntese
dos dados extraídos. As questões de pesquisa definidas para essa revisão foram:

• Quais são as principais definições de presença e seus conceitos relacionados?

• Como a presença pode ser avaliada?

• Os experimentos de RV estão avaliando a presença?

• Quais são os métodos usados para avaliar a presença?

• Quais são os fatores relacionados à presença em RV?

Para selecionar os artigos apropriados, foram definidos alguns critérios:

• O artigo deveria propor ou usar pelo menos um método para avaliar presença;

• O artigo deveria usar um sistema de realidade virtual imersivo;

• O experimento deveria fornecer informações suficientes sobre o estudo com usuá-


rios, de forma a permitir a análise e classificação apropriadas.
28

A realidade virtual pode ser aplicada em diversas áreas do conhecimento, por isso
foram identificados artigos publicados em Conferências, Workshops e Simpósios, bem
como em periódicos relevantes para o campo da realidade virtual. As bases de dados
pesquisadas foram:

• ACM (Association for Computing Machinery): Transactions on Applied Perception


(TAP), Conference on Human Factors in Computing Systems (CHI), Conference on
Virtual Reality Software and Technology (VRST) e Spatial User Interaction (SUI);

• IEEE (Institute of Electrical and Electronics Engineers): International Symposium


on Virtual Reality (VR); Transactions on Visualization and Computer Graphics
(TVCG); Computer Graphics and Applications (CG&A); International Conference
on Virtual Reality and Visualization (ICVRV), International Symposium on Mixed
and Augmented Reality (ISMAR) e International Conference on Brain-Computer
Interface (BCI)

• MIT Press (Massachusetts Institute of Technology Press): Presence: Teleoperators


and Virtual Environments;

• Science Direct: Computers & Graphics (C&G);

• Springer: Journal of Virtual Reality (JVR).

A busca por artigos publicados a partir de 1990 foi baseada nos seguintes termos:
“Presence AND user study”, “Presence AND user evaluation”, “Sense of presence”, “Me-
asure presence” e “Measuring presence”. Cada artigo relacionado foi analisado a partir
de seu título e resumo como base para que o mesmo fosse descartado ou aceito para
uma análise mais profunda. Os artigos aceitos foram lidos para identificar se o conteúdo
correspondia aos objetivos da revisão. Para que o artigo fosse aceito, o resumo deveria
indicar que o trabalho realizou avaliação do senso de presença em um AV, ou seja, o artigo
contribui para responder a pelo menos uma das questões de pesquisa.
Para cada trabalho selecionado, foram registradas as seguintes informações: periódico
da publicação, ano de publicação, título, categoria do método (subjetivo, objetivo ou am-
bos), método utilizado, delineamento experimental (mesmos sujeitos ou entre sujeitos);
amostra, média de idade e perfil dos participantes, display utilizado, dispositivos de in-
teração, retorno tátil e olfativo, ambiente virtual, tarefa executada, questão de pesquisa e
resultados principais.
A seguir, são apresentadas algumas revisões de literatura já realizadas sobre presença,
as principais definições sobre o conceito de presença, os métodos já propostos para medir
presença, os experimentos publicados nas bases pesquisadas que realizaram avaliação de
presença e, finalmente, os fatores de impacto no senso de presença.
29

2.2 Trabalhos Relacionados

Uma revisão bibliográfica feita por Draper, Kaber e Usher (1998) define “presença
experiencial” como “um estado mental em que um usuário se sente fisicamente presente
no ambiente mediado por computador”. Isso expressa a visão comum de que a presença
é o sentido de ‘estar lá’ no ambiente virtual ou similarmente a sensação de estar no lugar
representado pela realidade virtual, e não no lugar físico real onde o corpo do participante
está (DRAPER; KABER; USHER, 1998).
Também, em 1998, Stanney, Mourant e Kennedy publicaram uma revisão da litera-
tura sobre fatores humanos em ambientes virtuais que fornece uma visão geral de muitos
dos fatores humanos, incluindo a eficiência do desempenho humano em mundos virtuais,
questões de saúde e segurança e o impacto social da tecnologia (STANNEY; MOURANT;
KENNEDY, 1998).
Em 2000, foi publicada uma revisão da literatura relacionada à presença e desempenho
dentro de AVs, na qual foram avaliados os tipos de estudos que foram realizados, bem
como resultados representativos em diferentes tarefas e AVs (NASH et al., 2000). Dentro
da área geral de atuação, os tópicos de navegação e aquisição de conhecimento foram
ampliados, pois foram vistos como aspectos importantes dos AVs.
Já em 2001, uma pesquisa sobre a presença foi publicada na revista CyberPsychology
and Behavior (SCHUEMIE et al., 2001), especialmente porque um completo entendi-
mento do motivo pelo qual a RV é efetiva e qual efeito ela tem sobre a psique humana
ainda estava faltando. Este artigo forneceu uma visão geral atualizada da pesquisa neste
campo e destacou as definições e teorias mais prevalentes sobre presença, a maioria das
quais atribui papéis especiais para o processo mental de atenção e para modelos mentais
do espaço virtual. Uma revisão dos fenômenos, como respostas emocionais a estímulos
virtuais mostrou que ainda havia uma forte necessidade de pesquisas sobre este assunto,
pois não havia evidências conclusivas sobre a relação entre presença e fenômenos. Esta in-
vestigação mostrou que houve pesquisas substanciais para o desenvolvimento de métodos
para medir a presença e a pesquisa em relação a fatores que contribuem para a presença.
Os autores concluíram que o conhecimento dos fatores contribuintes pode desempenhar
um papel vital no desenvolvimento de novas aplicações de RV, mas os principais elemen-
tos de conhecimento nessa área ainda estavam faltando.
Em 2003 (YOUNGBLUT, 2003) foram identificados mais de 100 estudos que inves-
tigaram várias questões sobre o constructo de presença e houve 83 achados sobre uma
relação entre a presença e o desempenho da tarefa. Aproximadamente metade deles mos-
trou uma correlação significativa na direção esperada e não havia evidência se as relações
que existiam eram de natureza causal. No entanto, existem algumas evidências de que
determinadas características tecnológicas, de tarefas e pessoais podem influenciar a ex-
tensão da presença experimentada em um AV.
30

Slater (SLATER, 2004), mais de uma década depois de seu primeiro trabalho sobre a
presença em AVs, publicou em 2004 um artigo que discute a razão pela qual os questio-
nários são frágeis para a avaliação da presença. Slater argumenta que uma base científica
para a presença, como é geralmente entendida em pesquisas em ambientes virtuais, não
pode ser estabelecida com base apenas em questionários de presença pós-experiência. Ar-
gumentou, também, que não pode haver evidências, apenas com essa base metodológica,
de que a presença desempenhou algum papel na atividade mental ou comportamento real
do usuário no momento da experiência. Assim, Slater concluiu que os pesquisadores de-
vem se afastar da grande dependência de questionários para fazer algum progresso nessa
área.
Em uma pesquisa recente, Skarbez et al. (SKARBEZ; BROOKS JR.; WHITTON,
2017) revisaram muitas das definições de presença e conceitos relacionados da litera-
tura. Além disso, eles revisaram vários construtos relacionados, incluindo a presença
social, copresença, imersão, transporte, realismo e percepção do próprio corpo virtual.
Quanto às medidas de presença, indicaram que os escores dos questionários estão alta-
mente correlacionados. Para uma medida de presença direta, eles recomendam o questi-
onário SUS (SLATER; USOH; STEED, 1994) ou Bouchard (BOUCHARD et al., 2004),
que é uma medida de item único, pois são os questionários mais curtos em uso. Os autores
acreditam que as medidas comportamentais representam uma área de estudo promissora e
que as medidas fisiológicas são limitadas em sua utilidade, já que se mostraram úteis ape-
nas em experimentos que afetam os sinais fisiológicos de maneiras específicas. Assim,
consideram que a identificação de uma medida universal da qualidade de um ambiente
virtual continua sendo um problema em aberto. Por fim, eles recomendam o uso de múl-
tiplas medidas de diferentes tipos, sempre que possível.
As próximas seções apresentam a revisão sistemática da literatura realizada nesse tra-
balho, a qual se difere das anteriores por ter como principal objetivo identificar como os
métodos para avaliação de presença têm sido utilizados nos últimos 20 anos, bem como
identificar os fatores de impacto na presença apresentados na literatura e comprovados
através de experimentos com usuários.

2.3 Presença

O ser humano tem a capacidade de se transportar psicologicamente para lugares dis-


tintos, incluindo locais que talvez não existam na realidade, como por exemplo quando
estamos concentrados na leitura de um livro e nos imaginamos nos lugares descritos. A
RV potencializa essa capacidade por meio de diversos estímulos, substituindo as sen-
sações do mundo real por sensações programadas de acordo com a experiência do AV
(HALE; STANNEY, 2014). A noção de estar presente no mundo virtual tem sido consi-
derada central para os esforços da RV desde sua concepção (MINSKY, 1980). A presença
31

é tradicionalmente considerada como a percepção psicológica de “estar em” ou “existir”


no AV em que se está imerso (HEETER, 1992; SHERIDAN, 1992; STEUER, 1992; WIT-
MER; KLINE, 1998).
Como já mencionado, existem vários pontos de vista diferentes sobre o conceito de
presença. Na revisão de Draper, Kaber e Usher (DRAPER; KABER; USHER, 1998)
“presença experiencial” é definida como “um estado mental no qual um usuário se sente
fisicamente presente dentro do ambiente mediado por computador”. Uma ideia seme-
lhante é expressa por Lombard & Ditton (LOMBARD; DITTON, 1997), que se refere à
presença como “ilusão perceptual da não-mediação”, de modo que o participante tem o
senso de operar diretamente no mundo representado pela tecnologia da RV.
Uma visão fundamentalmente diferente proposta por Zahoric e Jenison (ZAHORIK;
JENISON, 1998) e Flach & Holden (FLACH; HOLDEN, 1998) é que a presença é “equi-
valente à performance do usuário no ambiente”. Esses autores argumentam que a rea-
lidade é formada através de ação, e não através de filtros mentais e que “a realidade da
experiência é definida em relação à funcionalidade, e não às aparências”. O que é impor-
tante nessa abordagem é a ação e as possibilidades oferecidas no ambiente virtual, e não
apenas as aparências, e que a sensação de “estar lá” está fundamentada na capacidade de
“fazer lá”. A abordagem da ‘presença incorporada’ (SCHUBERT; FRIEDMANN; RE-
GENBRECHT, 2001; SLATER; USOH; STEED, 1995) argumenta que é essencial que
haja uma correspondência íntima entre a propriocepção cinestésica e o fluxo de dados
sensoriais. Se o usuário mover a cabeça para à direita, a presença será maior quanto mais
os movimentos corporais da pessoa corresponderem às mudanças visuais no AV (USOH
et al., 1999).
Muitos pesquisadores destacam a importante distinção entre os conceitos de imersão
e presença. Para Slater, imersão é uma descrição da fidelidade geral à realidade física for-
necida pelos sistemas de exibição e interação. Nessa visão, a presença é essencialmente
a realização de experiências que manipulam as variáveis que compõem a imersão, e as
diferenças individuais entre as pessoas devem refletir na sensação de presença (SLATER,
2004). Witmer e Singer (WITMER; KLINE, 1998) definem a imersão como “um estado
psicológico caracterizado por se perceber envolvido, incluído e interagindo com um am-
biente que fornece um fluxo contínuo de estímulos e experiências”. Eles também sugerem
que fatores que afetam a imersão incluem isolamento do ambiente físico, percepção de
autoinclusão no AV, modos naturais de interação e controle, e a percepção de movimento
próprio. Para os autores, os AVs que produzem uma maior sensação de imersão produzi-
rão níveis mais altos de presença.
Em uma perspectiva diferente, Slater e Wilbur (SLATER; WILBUR, 1997) definem a
imersão como “o grau em que as telas de computador são capazes de fornecer uma ilusão
inclusiva, ampla, envolvente e vívida da realidade para os sentidos do participante no
AV". A inclusão indica até que ponto a realidade física é excluída dos sentidos do usuário.
32

Amplitude indica até que ponto o AV é panorâmico, em vez de limitado a um campo de


visão estreito. O envolvimento indica a gama de modalidades sensoriais consideradas e
estimuladas. A vivacidade indica a resolução, fidelidade e qualidade da visualização. Os
autores sugerem que a imersão pode ser uma descrição objetiva e quantificável do que
qualquer sistema em particular fornece.
Assim, o senso de presença é uma reação humana à imersão. Imersão se refere ao
que a tecnologia oferece de um ponto de vista objetivo. Dado o mesmo sistema imersivo,
diferentes pessoas podem experimentar diferentes graus de presença e também diferentes
sistemas imersivos podem dar origem ao mesmo grau de presença em diferentes pessoas.
Presença e imersão são logicamente separáveis, mas fortemente relacionados (SLATER,
2003). Salter faz uma analogia com a ciência da cor, na qual uma cor pode ser descrita
objetivamente em termos de uma distribuição de comprimento de onda. No entanto, a
percepção da cor é uma questão totalmente diferente e, assim, comprimentos de onda ob-
jetivamente diferentes podem ser percebidos como a mesma cor por alguns observadores
humanos.
Com base nesse contexto, a presença discutida na literatura relacionada à RV pode, na
maioria das vezes, ser caracterizada pelo conceito de presença como transporte: as pes-
soas geralmente são consideradas “presentes” em um AV imersivo quando relatam uma
sensação de estar no mundo virtual. Já o termo co-presença está associado à sensação
de estar junto com outro(s) no mundo virtual (“estamos juntos lá”). Além disso, é im-
portante enfatizar a diferença entre presença, que é a sensação de estar em um mundo
gerado por computador, e telepresença, que é a sensação de estar em um local remoto real
(SHERIDAN, 1992).
A seguir, são apresentadas as definições relacionadas à presença em RV adotadas
nesse trabalho, sendo essas as mais comuns entre os mais diversos trabalhos já publicados
nesse campo de pesquisa:

• Imersão: aspectos objetivos fornecidos pela tecnologia;

• Presença: sensação de estar no AV;

• Copresença: sensação de estar junto no AV;

• Telepresença: sensação de estar em um local remoto real.

2.4 Medidas de Presença


Nos últimos anos, muitas pesquisas sobre como avaliar o senso de presença dos usuá-
rios de RV, bem como sobre as características dos AVs que contribuem para aumentar o
senso de presença do usuário foram realizadas. Determinar como efetivamente medir a
33

presença pode fornecer um meio para estabelecer se a presença aumenta a eficácia dos
AVs e para uma maior compreensão dos fatores que impulsionam esse fenômeno.
Conforme ilustra a Figura 2.1, as medidas de presença podem ser divididas em subje-
tivas e objetivas. As subjetivas são as mais utilizadas, especialmente os questionários. Já
as medidas objetivas são baseadas na obtenção de dados do usuário durante o uso do AV,
tais como a frequência cardíaca, condutância da pele, movimento ocular, eletromiografia
de superfície e atividade cerebral.

Figura 2.1 Classificação das medidas de presença.

Fonte: o autor.

Uma medida válida de presença deve ser (a) Relevante, ter uma conexão direta com
a presença e seus componentes; (b) Confiável, com comprovada repetibilidade de teste-
reteste; (c) Sensível, ter sensibilidade nas variáveis que afetam a presença; (d) Não inva-
siva, para evitar a degradação não intencional do desempenho e do senso de presença; e (e)
Conveniente, portátil, de baixo custo e fácil de aprender e administrar (JEX, 1988; HEN-
DRIX; BARFIELD, 1996). No entanto, garantir confiabilidade e validade na estimativa
34

de presença ainda é um desafio, uma vez que sua natureza subjetiva dificulta a relação
com medidas objetivas. Assim, de que forma essas medidas devem ser interpretadas e
relacionadas à presença na teoria e na prática, permanece uma questão aberta.
A Tabela 2.1 apresenta as diferentes medidas de presença e sua classificação, método,
pontos fortes, pontos fracos e referência primária. Em seguida, cada um dos principais
métodos é explicado em detalhe.
Tabela 2.1 As diferentes medidas de presença, sua classificação, método, pontos fortes, pontos fracos e referência primária.
Tipo Medida Descrição Forças Fraquezas Referência
Primária
Questionário Escala pós-experiência Fácil de aplicar e interpretar, Confiabilidade entre avaliadores e in- (BARFIELD;
sobre o senso de presença baixo custo e não interfere na ex- capacidade de medir a variação de pre- WEGHORST,
Subjetiva
no AV. periência do usuário. sença durante a experiência no AV. 1993)
Relatos Subjetivos Questões abertas diretas Impressões sobre presença e per- Difícil de interpretar pela variabilidade (HENDRIX;
para suscitar reações dos cepção direta do usuário. das respostas. BARFIELD,
participantes. 1996)
Comparações Pare- Os usuários devem distin- Não é necessário definir o que se O tamanho da diferença detectável de- (SCHLOERB,
adas guir entre uma cena real e entende por presença. pende dos aspectos dos estímulos que 1995)
uma simulação no AV. são comparados.
Correspondência Participantes devem re- Eficaz quando um conceito não Diferenças individuais na representa- (STANNEY;
de Modalidade presentar as experiências se presta prontamente ao escalo- ção. MOU-
Cruzada de uma modalidade sen- namento verbal. RANT;
sorial através de outra KENNEDY,
subjetivamente igual. 1998)
Observação Com- Respostas inconscien- Medida das respostas automati- Incapacidade de assegurar que um (HELD;
Objetiva portamental temente produzidas por camente produzidas. comportamento foi causado pela con- DURLACH,
estímulos do AV. dição experimental. 1993)
Fisiológicas Respostas fisiológicas Podem ser obtidas de forma au- Dificuldade de garantir que as respos- (WIEDERHOLD;
medidas perifericamente, tomática e contínua. tas estejam diretamente relacionadas ao DAVIS;
produzidas por estímulos nível de presença. WIE-
no AV. DERHOLD,
1998)
Neurofisiológicas Ativação cerebral associ- Medida automática e contínua. “Ruído” interno ou externo pode afetar (HOFFMAN
ada aos estímulos no AV. as medidas, além da dificuldade de re- et al., 2003)
lacionar objetivamente a atividade ce-
rebral com a sensação de presença.
Fonte: o autor.

35
36

2.4.1 Medidas Subjetivas

Medidas subjetivas de presença incluem instrumentos de medição psicológica como


os Questionários, baseados em escalas de avaliação; Relatórios Subjetivos, que usam per-
guntas abertas direcionadas para obter impressões dos participantes relacionadas à pre-
sença; Comparação Pareada, através da qual os participantes são convidados a comparar
o seu sentimento de presença em diferentes ambientes virtuais entre si; e a Correspondên-
cia de Modalidade Cruzada, através da qual os participantes podem representar seu senso
de presença, relacionando-o a uma modalidade sensorial. A principal vantagem das me-
didas subjetivas de presença é que elas geralmente são fáceis de administrar e interpretar.
No entanto, a principal desvantagem é o problema da confiabilidade entre avaliadores.
Além disso, os participantes precisam entender o conceito de presença e interpretar as
perguntas de maneira uniforme (HALE; STANNEY, 2014).

Relatos Subjetivos

Alguns experimentos de RV incorporaram relatos subjetivos como um meio de obter


impressões do usuário sobre a sensação de presença durante o uso do AV (SLATER; MC-
CARTHY; MARINGELLI, 1998; HENDRIX; BARFIELD, 1996). Esses estudos usam
perguntas direcionadas, mas abertas, para suscitar reações e impressões dos participantes
sobre a presença. Como essas respostas são formuladas nas próprias palavras dos partici-
pantes, o método pode ser de difícil interpretação.

Comparações Pareadas

Schloerb propôs, em 1995, um procedimento de comparações pareadas no qual os


participantes devem distinguir entre uma cena do mundo real e a mesma cena simulada
em um AV. Como é provável que qualquer participante distinga um AV gerado por com-
putador do mundo real, esse método pode ser usado para comparar AVs e determinar qual
deles tem a maior influência na presença. Diferentemente dos relatórios subjetivos e dos
questionários, que frequentemente devem definir ou descrever o que se entende por pre-
sença, o método de comparações pareadas requer simples comparações entre alternativas.
O problema desse método é que algumas pessoas são muito mais sensíveis às diferenças
do que outras (SCHLOERB, 1995).

Correspondência de Modalidade Cruzada

Trata-se de um método de escala usado em psicofísica, no qual o participante combina


estímulos em duas modalidades sensoriais, como por exemplo o usuário ajusta o brilho de
uma luz para indicar a intensidade de um som, ou seja, quanto maior for a percepção do
37

usuário da intensidade do som que ele está escutando, maior deve ser o brilho da luz que
o usuário controla para indicar a sua percepção do som. A premissa desse método é que
uma pessoa pode representar as experiências de uma modalidade sensorial por meio de
outra modalidade, produzindo uma representação “subjetivamente igual”. Este método é
eficaz quando um conceito não se presta prontamente à escala verbal. Assim, essa técnica
pode ser utilizada para determinar quais partes de um AV oferecem a maior influência
na presença. Contudo, diferenças individuais na representação de modalidades sensoriais
podem ser problemáticas, pois podem levar a uma alta variabilidade de respostas (STAN-
NEY; MOURANT; KENNEDY, 1998).

Questionários

Questionários pós-teste são a medida de presença mais utilizada. Nos últimos dez
anos, muitos questionários diferentes foram desenvolvidos e variam amplamente em es-
copo e aparência, dependendo da conceituação do autor sobre a presença e seu contexto
de aplicação. Na maioria desses questionários, os participantes avaliam as respostas para
cada questão através de uma escala numérica, embora alguns tenham proposto questões
de resposta livre. No entanto, este método não fornece informações sobre a evolução
temporal e os resultados são influenciados pela opinião do sujeito e podem variar consi-
deravelmente entre os participantes (RIVA; DAVIDE; INSKO, 2003).
Apesar de algumas fraquezas, existem várias vantagens aos questionários. Eles são
relativamente baratos e fáceis de administrar, analisar e interpretar. Porque eles são admi-
nistrados depois do uso do AV, eles não interrompem a experiência. Vários questionários
mostraram ser sensíveis a diferentes níveis de presença. A principal desvantagem é que
eles são retrospectivos e, portanto, dependem das memórias dos participantes, que são um
reflexo incompleto da experiência e propensos a vários preconceitos. Por exemplo, parece
provável que os julgamentos dos usuários sejam mais influenciados por eventos próximos
ao final da experiência (BAREN; IJSSELSTEIJN, 2004).
38
Tabela 2.2 Questionários propostos para medir o senso de presença em RV.

Questionário Ano Items Experimentos Referência


Barfield et al. Questionnaire 1993 3 0 (BARFIELD; WEGHORST, 1993)
Slater-Usoh-Steed Questionnaire (SUS) 1994 6 64 (SLATER; USOH; STEED, 1994)
Kim & Biocca Questionnaire 1997 8 0 (KIM; BIOCCA, 1997)
Presence Questionnaire (PQ) 1998 19 60 (WITMER; KLINE, 1998)
Questionnaire on Presence and Realism (QPR) 1998 10 0 (PARENT, 1998)
Dinh et al. Questionnaire 1999 14 0 (DINH et al., 1999)
Murray et al. Questionnaire 2000 5 0 (MURRAY; ARNOLD; THORNTON, 2000)
Nichols et al. Questionnaire 2000 9 0 (NICHOLS; HALDANE; WILSON, 2000)
Reality Judgment and Presence Questionnaire (RJPQ) 2000 18 1 (BAñOS et al., 2000)
Lombard & Ditton Questionnaire 2000 103 0 (LOMBARD et al., 2000)
Gerhard et al. Questionnaire 2001 19 1 (GERHARD; MOORE; HOBBS, 2001)
Igroup Presence Questionnaire (IPQ) 2001 75 31 (SCHUBERT; FRIEDMANN; REGENBRECHT, 2001)
Swedish Viewer-User Presence (SVUP) 2001 150 0 (LARSSON; VäSTFJäLL; KLEINER, 2001)
ITC Sense of Presence Inventory (ITC-SOPI) 2001 63 19 (LESSITER et al., 2001)
Krauss et al. Questionnaire 2001 42 0 (KRAUSS et al., 2001)
Swedish User-Viewer Presence Questionnaire 2001 19 0 (LARSSON; VäSTFJäLL; KLEINER, 2001)
Schroeder et al. Questionnaire 2001 10 1 (SCHROEDER et al., 2001a)
Experimental Virtual Environment-Experience (EVEQ) 2002 124 0 (TAKATALO, 2002)
E2 I Scale Development 2002 9 4 (LIN et al., 2002)
Cho et al. Questionnaire 2003 4 0 (CHO et al., 2003)
Nowak & Biocca Questionnaire 2003 29 1 (NOWAK; BIOCCA, 2003)
Sas and O’Hare Questionnaire 2003 34 2 (SAS; O’HARE, 2003)
MEC Spatial Presence Questionnaire (MEC-SPQ) 2004 16 1 (VORDERER et al., 2004)
Mid Immersion Presence Questionnaire (MIPQ) 2004 1 1 (BOUCHARD et al., 2004)
Presence-Involvement-Flow Framework (PIFF) 2004 15 1 (TAKATALO et al., 2004)
Template Presence Inventory (TPI) 2009 42 3 (LOMBARD; DITTON; WEINSTEIN, 2009)
Virtual Experience Test (VET) 2010 24 1 (CHERTOFF; GOLDIEZ; LAVIOLA, 2010)
Place Illusion (PI) and Plausibility (Psi) 2010 4 1 (SLATER; SPANLANG; COROMINAS, 2010)
Spatial Presence (P) and Self-presence (SP) 2016 5 1 (BAILEY; BAILENSON; CASASANTO, 2016)
Fonte: o autor.
39

Diferentes questionários foram desenvolvidos ao longo dos anos. A Tabela 2.2 apre-
senta, cronologicamente, 29 questionários propostos para medida de presença, bem como
a quantidade de itens de cada questionário, a quantidade de experimentos identificados na
revisão sistemática que utilizaram o questionário e a sua referência primária. Os questio-
nários mais proeminentes são descritos a seguir.
O questionário desenvolvido por Slater, Usoh e Steed em 1994, o Questionário SUS
(Slater, Usoh e Steed), é um dos mais aplicados em experimentos de RV, e tem recebido
muita atenção em pesquisas sobre presença. Baseia-se em seis questões, que são variações
sobre o sentido de “estar lá” e “localidade”, a extensão em que o AV é pensado como um
“lugar” visitado e não apenas um conjunto de imagens. O participante deve responder a
cada pergunta em uma escala de 1 a 7, onde 7 representa sua experiência real de estar
em um lugar. A pontuação de presença é tomada pelo número de respostas que têm uma
pontuação alta (SLATER; USOH; STEED, 1994).
Kim & Biocca (KIM; BIOCCA, 1997) construíram um questionário de 8 itens com
dois fatores, que foram nominados usando uma metáfora de transporte: chegada e partida.
A chegada, incluiu itens relacionados ao sentimento de que se havia chegado em outro
mundo que não o real. A partida, incluiu itens relativos ao sentimento de que nunca
havia saído do mundo real. Proposto por Witmer & Singer em 1998, o questionário PQ
é baseado em quatro fatores: controle, sensação, realismo e distração. Os fatores de
controle estão relacionados à quantidade de controle que o usuário tem sobre os eventos
no AV. Os fatores sensoriais estão relacionados à qualidade, número e consistência das
exibições. Os fatores do realismo estão relacionados ao grau de realismo do AV retratado,
enquando os fatores de distração estão relacionados ao grau de distração por objetos e
eventos no mundo real. É interessante notar que o PQ tenta medir a presença medindo
suas causas, conforme avaliado pelo usuário, e não seus resultados. Este questionário usa
uma escala Likert de 7 pontos e a pontuação de presença é resultado dessas classificações
(WITMER; KLINE, 1998).
O questionário IPQ, de 75 itens, desenvolvido por Schubert, Friedmann e Regenbre-
cht em 2001, foi construído com base em questionários prévios, entre os quais o SUS e o
PQ, e algumas questões adicionais sobre variáveis tecnológicas e de contexto. Este ques-
tionário é baseado em oito fatores, três deles relacionados à presença e cinco identificados
como fatores de imersão. Os fatores de presença, que envolvem apenas relatos subjetivos
de como os usuários vivenciaram o AV, contemplam a presença espacial, a relação do
AV com o espaço e o próprio corpo; o envolvimento, a consciência devotada ao AV e à
realidade, e o senso de realidade atribuído ao AV (SCHUEMIE et al., 2001).
Lessiter e seus colegas propuseram, em 2001, uma medida que poderia ser aplicada
em diferentes mídias, como televisão, cinema e também RV. Seu questionário, chamado
ITC-SOPI (International Test Commission - Sense of Presence Inventory), possui 63 itens.
Todos os itens usam uma escala Likert de 5 pontos e a análise fatorial encontrou 4 fatores:
40

espaço físico (‘eu estava lá’), engajamento (‘me senti envolvido’), naturalidade (‘o con-
teúdo parecia real’) e efeitos negativos (‘me senti desorientado’) (LESSITER et al., 2001).

2.4.2 Medidas Objetivas

A fim de responder às desvantagens dos métodos subjetivos, métodos objetivos para


medir presença tem sido propostos, os quais podem ser divididos em medidas compor-
tamentais e fisiológicas (INSKO, 2001). Medidas objetivas de presença incluem atos
motores reflexos e indicadores fisiológicos, como alterações fisiométricas e neurológicas.
Dado que as pessoas experimentam respostas fisiológicas ou comportamentais aos estí-
mulos no mundo real, os métodos de medida objetiva consideram que os estímulos em um
AV imersivo também podem produzir tais respostas. Essas respostas são objetivamente
medidas, sem viés dos participantes, e são usadas como um indicador primário ou secun-
dário de influências ambientais na presença percebida no AV (HALE; STANNEY, 2014).

Medidas Comportamentais

Esse método está baseado na análise das respostas comportamentais dos participantes,
produzidas inconscientemente, que se correlacionam com a sensação de estar presente
em um ambiente virtual. A premissa dessa medida é que quanto mais um participante se
sente presente em um AV, mais suas respostas aos estímulos do AV coincidem com seu
comportamento em um ambiente real idêntico (RIVA; DAVIDE; INSKO, 2003).
Na medida comportamental proposta por Prothero et al. em 1995 (PROTHERO; PAR-
KER; FURNESS III, 1995), as respostas comportamentais dos participantes ao AV são
medidas quando os usuários também são expostos a pistas reais conflitantes, como por
exemplo o usuário visualiza um rádio no AV que está localizado à sua direita e escuta uma
música provinda do ambiente real que é emitida à esquerda do usuário. Wilson, Nichols e
Haldane (WILSON; NICHOLS; HALDANE, 1997) usaram respostas a um evento ines-
perado e música de fundo para avaliar a presença. Outros comportamentos, como tentar
tocar um objeto virtual com as mãos, se agachar, pular, desviar, gritar, reposicionar a ca-
beça ou evitar perigos virtuais também podem sugerir que os participantes acreditam que
estão no espaço virtual. Por exemplo, Cohn, DiZio e Lackner (COHN; DIZIO; LACK-
NER, 2000) demonstraram que os participantes responderam com uma resposta motora
automática em um AV projetado para induzir uma sensação de rotação do corpo (HALE;
STANNEY, 2014).
Comportamentos evocados como respostas a estressores também foram examinados
como possíveis medidas de presença. Comportamentos normalmente observados em uma
dada situação real são comparados com o comportamento observado no ambiente vir-
tual correspondente. Nos estudos de Meehan (MEEHAN, 2001) e Insko (INSKO, 2001),
41

verificou-se que os comportamentos evocados corroboram com as avaliações subjetivas


de presença.
Medidas comportamentais são potencialmente mais confiáveis do que medidas sub-
jetivas e não interferem na experiência virtual. No entanto, o comportamento do usuário
pode ser influenciado pelo fato de a sessão de RV ser filmada ou observada. Outra fra-
queza das medidas comportamentais é a incapacidade de garantir que um comportamento
tenha sido causado pela condição experimental e a baixa probabilidade de que uma me-
dida seja apropriada para diferentes ambientes virtuais (RIVA; DAVIDE; INSKO, 2003).
Slater et al. (SLATER; USOH; STEED, 1995) usaram uma medida comportamental
em um estudo e uma correlação significativa foi identificada entre essa medida e o ques-
tionário de presença. Em outro estudo, realizado por Freeman et al. (FREEMAN et al.,
2000), a resposta postural foi usada como uma possível medida de presença.

Medidas Fisiológicas

Existem várias respostas fisiológicas, medidas perifericamente, que podem estar asso-
ciadas ao senso de presença (Tabela 2.3). Essas medidas podem ser usadas para identifi-
car quais elementos do AV captam a atenção ou evocam alterações fisiológicas na pessoa
imersa. Os dados fisiológicos podem fornecer informações sobre efeitos ou eventos am-
bientais específicos experimentados em um AV (HALE; STANNEY, 2014).

Tabela 2.3 Medidas fisiológicas, ano da primeira aplicação, experimentos e referência.


Medida Ano Exper. Referência
Frequência Respiratória 1998 2 (WIEDERHOLD; DAVIS; WIEDERHOLD, 1998)
Temperatura da Pele 1998 2 (WIEDERHOLD; DAVIS; WIEDERHOLD, 1998)
Movimento dos Olhos 1999 0 (GOLDBERG; KOTVAL, 1999)
Resposta da Pupila 1999 0 (HUANG; ALESSI, 1999)
Condutância da Pele 2000 16 (DILLON et al., 2000)
Frequência Cardíaca 2001 19 (WIEDERHOLD; JANG, 2001)
Eletromiografia 2002 1 (RAVAJA, 2002)
Eletroencefalografia 2002 3 (SCHLÖGL; SLATER; PFURTSCHELLER, 2002)
Ressonância Magnética 2003 0 (HOFFMAN et al., 2003)
Doppler Transcraniano 2009 3 (ALCAÑIZ et al., 2009)
Fonte: o autor.

A frequência cardíaca pode ser obtida por meio do eletrocardiograma, que mede a
atividade elétrica do coração através de eletrodos colocados na superfície da pele. Muitos
fatores podem afetar a frequência cardíaca, incluindo estresse, medo, esforço e emoção.
A frequência aumenta quando a pessoa está sob estresse e diminui à medida que a pessoa
relaxa. A frequência também é afetada pela intensidade da resposta emocional, sendo que
há um aumento com emoções positivas e uma diminuição com emoções negativas. Além
disso, a frequência cardíaca diminui em resposta a estímulos inesperados e aumenta em
situações defensivas (RIVA; DAVIDE; INSKO, 2003).
42

Medidas de Condutância da Pele, também conhecidas como Atividade Eletrodérmica


ou Resposta Galvânica da Pele, registram mudanças na condutância elétrica da pele, ge-
ralmente dos dedos ou das palmas das mãos. Essa medida está associada à excitação emo-
cional, aos efeitos da memória e à resposta orientadora à novidade. O aumento da condu-
tância da pele também foi demonstrado na apresentação de estímulo inesperado (RIVA;
DAVIDE; INSKO, 2003). Wiederhold (WIEDERHOLD; JANG, 2001) usou medições
de frequência cardíaca e condutância da pele para avaliação da presença e os resultados
demonstraram alto nível de correlação. Meehan et al. (MEEHAN et al., 2002) realizaram
uma série de experimentos nos quais usaram frequência cardíaca, condutância da pele e
temperatura da pele para medir a presença em uma sala virtual e os resultados mostraram
que a frequência cardíaca foi a mais sensível das três medidas.
Em relação ao movimento dos olhos, existem duas medidas que foram correlacionadas
à presença: rastreamento ocular e resposta da pupila. As medidas de rastreamento ocular
podem ser divididas em duas categorias: espacial e temporal (GOLDBERG; KOTVAL,
1999). As medidas temporais incluem duração da fixação e número de fixações. Laarni,
Ravaja e Saari (LAARNI; RAVAJA; SAARI, 2003) discutiram o uso de medidas de ras-
treamento ocular para pesquisa de presença. Três métodos adequados para pesquisar a
presença espacial foram identificados: o grau em que a atenção do usuário é distraída da
experiência mediada, os aspectos do AV observados pelo usuário e a estratégia de atenção.
A eletromiografia, registrada por eletrodos de superfície colocados na pele, mede a
atividade elétrica das membranas excitáveis das células musculares. A diferença de poten-
cial medida no eletrodo pode ser usada como uma indicação de emoção. A eletromiografia
facial foi usada em um experimento de Ravaja (RAVAJA, 2002) em que os participantes
viram mensagens de notícias financeiras apresentadas em uma exibição muito pequena,
acompanhadas por uma face estática ou em movimento. Os escores da eletromiografia
foram maiores na condição de face móvel.
De maneira geral, se pode afirmar que as medidas fisiológicas têm várias vantagens.
Primeiro, são mais objetivas do que questionários e medidas comportamentais. Além
disso, são obtidas de forma contínua, permitindo que a sensação de presença seja avaliada
ao longo da experiência no AV. No entanto, é importante notar que diferentes estímulos
podem produzir as mesmas mudanças fisiológicas. Assim, é importante que a causa das
respostas seja claramente demonstrada. Por isso, todos os aspectos das condições experi-
mentais devem ser tão semelhantes quanto possível. Outro aspecto importante é neutra-
lizar o efeito inicial à exposição, causado naturalmente pela condição experimental. Um
método para eliminar esse aspecto é expor os participantes ao estímulo antes do início
do experimento. Além disso, como os níveis fisiológicos variam muito de pessoa para
pessoa, níveis de referência devem ser medidos antes do experimento (RIVA; DAVIDE;
INSKO, 2003).
Já a desvantagem do uso de medidas fisiológicas é que coletar os dados pode ser in-
43

vasivo e de difícil execução. Além disso, assegurar que as respostas fisiológicas estejam
“diretamente relacionadas” ao nível de presença que está sendo experimentado no AV é
difícil (HALE; STANNEY, 2014). Contudo, novas técnicas têm surgido, como por exem-
plo o PPG (photoplethysmography), que usa uma tecnologia baseada em luz para detectar
a taxa de fluxo sanguíneo controlada pela ação de bombeamento do coração, as quais de-
vem qualificar o uso de medidas fisiológicas, em diferentes contextos (OGAWA, 2019).

Medidas Neurofisiológicas

Além das medidas fisiológicas periféricas, diferentes técnicas que medem a atividade
neurológica têm sido testadas para a avaliação do senso de presença em AVs, tais como
Imagem por Ressonância Magnética Funcional (fMRI), Doppler Transcraniano e Eletro-
encefalografia (CLEMENTE et al., 2014).
O primeiro estudo de fMRI para medir presença foi realizado em 2003 por Hoffman
et al. (HOFFMAN et al., 2003). Os usuários experimentaram a ilusão de RV, embora
estivessem deitados e com a cabeça parada para que fosse possível detectar a atividade
cerebral via ressonância magnética. Os resultados da análise dos dados mostraram que
o aumento da presença está associado ao aumento da ativação de uma rede distribuída,
dorsal e visual, o córtex parietal, o córtex pré-motor, as áreas temporais mesiais, o tronco
cerebral e o tálamo. Já em um estudo realizado por Clemente et al. (CLEMENTE et al.,
2013), foi utilizada fMRI para a medida de presença em um AV, comparando três condi-
ções experimentais: fotos, vídeo e RV. Eles encontraram diferenças significativas no nível
de presença experimentado no AV, principalmente na ínsula e no lobo parietal.
Em relação ao Doppler Transcraniano, uma técnica ultrassonográfica segura e não-
invasiva para avaliar as alterações hemodinâmicas do encéfalo, alguns estudos (ALCAÑIZ
et al., 2009; REY; ALCAÑIZ, 2010) foram realizados com participantes imersos em AVs.
Os resultados mostraram mudanças na velocidade do fluxo sanguíneo nas principais ar-
térias cerebrais durante os momentos associados a diferentes níveis de presença em dife-
rentes condições imersivas.
Outra medida neurológica que tem sido aplicada para a medição de presença é a ele-
troencefalografia (EEG), devido à liberdade de movimento do sujeito, especialmente em
comparação com técnicas que impõem restrições severas a movimentos como fMRI e
Doppler Transcraniano. O EEG mede a atividade elétrica do cérebro, mais especifica-
mente, mede os potenciais sinápticos no córtex cerebral. Os sinais mostram a diferença
de potencial entre dois eletrodos, um ativo e um de referência. A resolução temporal da
técnica é da ordem de milissegundos, permitindo a medição das flutuações no sinal EEG
devido às tarefas desenvolvidas (CLEMENTE et al., 2014). Baungarther e seus colegas
(BAUMGARTNER et al., 2006), avaliaram a atividade cerebral relacionada ao senso de
presença usando um EEG multicanal, aplicando o método de baixa resolução de tomogra-
44

fia eletromagnética cerebral (LORETA) para estudar as estruturas corticais que produzem
a ativação neurológica. O experimento comparou as ativações entre 12 crianças e 11 ado-
lescentes, em um AV que simula uma montanha russa, e encontrou ativação nas áreas
parietais do cérebro, uma área na qual ocorrem atividades relacionadas à navegação espa-
cial.
Mais recentemente, alguns estudos foram realizados utilizando um dispositivo sem fio,
o Emotiv EPOC, que se propõe a medir a atividade cerebral via eletrodos e que permite
a livre movimentação do usuário (DUVINAGE et al., 2012). Contudo, esse dispositivo
ainda não é considerado válido para uso em pesquisas que objetivem analisar a atividade
cerebral.
A Tabela 2.4 apresenta os principais métodos objetivos já utilizados para avaliar a
sensação de presença em RV, bem como suas vantagens e desvantagens.
Tabela 2.4 Principais medidas objetivas para avaliação de presença em RV.
Medida Descrição Forças Fraquezas Referência
Comportamental Respostas inconscientemente Medida das respostas automati- Incapacidade de assegurar que um (HELD; DUR-
produzidas por estímulos do camente produzidas. comportamento foi causado pela con- LACH, 1993)
AV. dição experimental.
Frequência Cardíaca Obtida por meio do eletrocar- Medida de fácil obtenção e alta Necessidade de fixação de eletrodos (WIEDERHOLD;
diograma, que mede a ativi- correlação com a sensação de no usuário e incapacidade de assegurar JANG, 2001)
dade elétrica do coração atra- presença. que as alterações cardíacas são causa-
vés de eletrodos colocados na das exclusivamente pela condição ex-
superfície da pele perimental.
Condutância da Pele Registra mudanças na condu- Medida de fácil obtenção, muito Necessidade de fixação de dispositivo (DILLON et al.,
tância elétrica da pele, geral- utilizada em psicometria. no usuário e incapacidade de assegurar 2000)
mente nos dedos ou palmas que as alterações são causadas exclusi-
das mãos, e está associada à vamente pela condição experimental.
alterações emocionais.
Movimento dos olhos Rastreamento ocular e res- Fácil obtenção e dispensa dis- Mais relacionado a atenção do que a (GOLDBERG;
posta da pupila. positivo extra em contato direto sensação de presença. KOTVAL, 1999;
com o usuáio. HUANG; ALESSI,
1999)
Eletromiografia Registrada a atividade elé- Fácil obtenção Necessidade de fixação de eletrodos e (RAVAJA, 2002)
trica das membranas das cé- incapacidade de assegurarque as altera-
lulas musculares, através de ções são causadas exclusivamente pela
eletrodos de superfície. condição experimental.
fMRI Registro da atividade cere- Alta precisão no registro da ati- Impossibilidade de movimentação do (HOFFMAN et al.,
bral através de ressonância vidade cerebral. usuário no ambiente real. 2003)
magnética.
Doppler Transcraniano Ultrassonografia para avaliar Método seguro e não invasivo. Impossibilidade de movimentação do (ALCAÑIZ et al.,
as alterações hemodinâmicas usuário no ambiente real. 2009)
do encéfalo.
Eletroencefalografia Mede a atividade elétrica do Liberdade de movimento do Necessidade de muitos eletrodos fixa- (SCHLÖGL; SLA-

45
cérebro. usuário no ambiente real. dos no usuário. TER; PFURTS-
CHELLER, 2002)
Fonte: o autor.
46

2.5 Experimentos em RV com Avaliação de Presença


Com o objetivo de investigar como a presença tem sido medida em experimentos com
usuários, uma extensa pesquisa foi realizada em artigos publicados desde 1990 em di-
ferentes fontes, como Conferências, Workshops e Simpósios, bem como em periódicos
relevantes para o campo da realidade virtual. Para cada experimento identificado na lite-
ratura, foram registradas as seguintes informações: revista publicada, ano de publicação,
título do artigo, tipo de método para avaliação de presença (subjetivo, objetivo ou am-
bos), método utilizado, delineamento experimental (mesmos sujeitos ou entre sujeitos);
tamanho da amostra, média de idade e perfil dos participantes, display utilizado, dispo-
sitivos de interação, existência ou não de retorno tátil e olfativo, ambiente virtual, tarefa
executada, questão de pesquisa e os principais resultados.
Do total de 1.214 artigos resultantes da pesquisa, 239 descrevem experimentos com
usuários cuja presença foi avaliada. A Figura 2.2, apresenta a quantidade de estudos
identificados por ano de publicação, que utilizaram pelo menos um método para medir a
presença em AVs.

Figura 2.2 Número de experimentos publicados por ano, cuja presença foi medida (1990
- 2019).

Fonte: o autor.

Com relação aos experimentos, 205 (85,8%) usaram medidas subjetivas, 28 (11,7%)
47

usaram uma combinação de medidas subjetivas e objetivas e 6 (2,5%) usaram apenas


medidas objetivas. Sobre o método, como mostra a Figura 2.3, o questionário (Q) foi
o mais utilizado (96,7%), sendo utilizado mais de um questionário em 14 experimentos.
Em relação às medidas objetivas, a Frequência Cardíaca (FC), a Condutância da Pele
(CP) e a Observação Comportamental (OC) foram as medidas mais utilizadas, em 19, 16
e 14 experimentos respectivamente. Doppler Transcraniano (TCD) e Eletroencefalograma
(EEG) foram utilizados em 3 experimentos cada um, assim como Frequência Respiratória
(FR) e Relatórios Subjetivos (RS) foram utilizadas em 2 estudos cada e a Temperatura da
Pele (TP) e Eletromiografia (EMG) foram utilizados em 1 experimento cada.

Figura 2.3 Medidas de presença utilizadas e frequência de uso nos experimentos: Ques-
tionário (Q), Frequência Cardíaca (FC), Condutância da Pele (CP), Observação do Com-
portamento (OC), Doppler Transcranial (TCD), Eletroencefalograma (EEG), Frequência
Respiratória (FR), Relato Subjetivo (RS), Temperatura da Pele (TP) e Eletromiografia
(EMG).

Fonte: o autor.

Quanto aos questionários, os mais utilizados foram o Slater-Usoh-Steed (SUS), utili-


zado em 64 (27,7%) experimentos e o PQ, usado em 60 (26,0%) estudos. Já o IPQ foi
utilizado em 31 (13,4%) e o ITC-SOPI foi usado em 21 (9,1%) estudos, seguidos pelo
TPI usado em 5 estudos and o E2 I e o UCL usados em 3 estudos cada. Outros 16 questio-
nários foram utilizados em apenas um estudo e questionários adaptados à literatura foram
utilizados em 39 estudos (Figura 2.4).
As Tabelas 2.5 a 2.12 apresentam as informações registradas para cada experimento
identificado na literatura: ano de publicação, revista, medida (subjetiva, objetiva ou am-
bas), método, tamanho da amostra, design experimental within-subjects (WS) ou between-
subjects (BS), display e referência. O tamanho médio das amostras foi de 49,34 (DP=64,20),
48

Figura 2.4 Questionários mais utilizados nos experimentos: Slater-Usoh-Steed (SUS),


Presence Questionnaire (PQ), Questionário Adaptado (QA), Igroup Presence Question-
naire (IPQ), ITC-Sense of Presence Inventory (ITC-SOPI), Template Presence Inventory
(TPI), Scale Development (E2 I) e University College London (UCL).

Fonte: o autor.

variando de 3 a 604 participantes, sendo composta por estudantes em 98 (42,4%) expe-


rimentos, outros voluntários em 20 (8,7%) e público-alvo do AV somente em 9 (3,9%).
Em 104 (45%) experimentos o perfil da amostra não foi informado. Quanto ao design dos
experimentos, 134 (58%) usaram o método within-subjects (WS) e 97 (42%) o between-
subjects (BS). Já quanto ao dispositivo utilizado para a visualização do AV, o HMD foi
o mais utilizado, em 137 (59%) experimentos, o monitor usado 34 (15%) vezes, CAVE
usada em 29 (12,5%) estudos e projetor usado 9 (4%) vezes. Em alguns experimentos,
o dispositivo utilizado para a visualização não foi informado. Quanto ao retorno háptico,
apenas 24 (10%) experimentos afirmaram ter utilizado. Já o retorno olfativo foi utilizado
em apenas 7 (3%) estudos.
Tabela 2.5 Experimentos em que o senso de presença foi avaliado (publicados entre 1993 e 2003).
Ano Publicação Método Tipo Amostra Design Visualização Referência
1993 VR Subjetivo Relato Subjetivo 17 BS HMD (SLATER; USOH, 1993)
1994 PRESENCE Subjetivo Questionário Adaptado 24 BS HMD (SLATER; USOH; STEED, 1994)
1995 CHI Subjetivo Questionário Adaptado 16 BS HMD (SLATER; USOH; STEED, 1995)
1995 JVR Subjetivo Questionário Adaptado 13 WS HMD (BARFIELD; HENDRIX, 1995)
1998 PRESENCE Subjetivo PQ 72 BS BOOM2C display (WITMER; KLINE, 1998)
1999 PRESENCE Subjetivo Questionário Adaptado 20 WS Projetor (BYSTROM; BARFIELD, 1999)
1999 PRESENCE Subjetivo Escala Contínua 20 WS Monitor (FREEMAN et al., 1999)
1999 SIGGRAPH Subjetivo Questionário Adaptado 33 BS HMD (USOH et al., 1999)
1999 VR Subjetivo Uma questão (0-100) 322 BS HMD (DINH et al., 1999)
2000 PRESENCE Subjetivo SUS 20 BS HMD (USOH et al., 2000)
2000 PRESENCE Subjetivo PQ, SUS 20 BS HMD (SLATER; STEED, 2000)
2000 PRESENCE Subjetivo Questionário Adaptado 15 WS HMD (MURRAY; ARNOLD; THORNTON, 2000)
2001 C&G Subjetivo Questionário Adaptado 132 BS Projetor, Monitor (SCHROEDER et al., 2001b)
2001 PRESENCE Ambos Questionário Adaptado, OC 24 WS Projetor (IJSSELSTEIJN et al., 2001)
2001 PRESENCE Subjetivo Questionário Adaptado 266 WS HMD, Monitor (SCHUBERT; FRIEDMANN, 2001)
2001 PRESENCE Subjetivo ITC-SOPI 604 BS Óculos polarizado (LESSITER et al., 2001)
2001 VR Subjetivo PQ 156 WS TV (SEAY et al., 2001)
2002 PRESENCE Subjetivo IPQ 56 BS HMD (REGENBRECHT; SCHUBERT, 2002)
2002 PRESENCE Subjetivo PQ 16 WS Projetor (STEVENS et al., 2002)
2002 SIGGRAPH Ambos UCL, FC, CP, TP 43 BS HMD (MEEHAN et al., 2002)
2002 VR Subjetivo E2 I 10 WS Simulador de direção (LIN et al., 2002)
2003 C&B Ambos fMRI, Duas questões 7 WS HMD (HOFFMAN et al., 2003)
2003 PRESENCE Subjetivo SUS 20 BS HMD (LOK et al., 2003a)
2003 PRESENCE Subjetivo IPQ 400 WS Tunel (WATERWORTH; WATERWORTH, 2003)
2003 PRESENCE Subjetivo SAS 32 WS Projetor (SAS; O’HARE, 2003)
2003 VR Ambos UCL, FC, CP 164 BS HMD (ZIMMONS; PANTER, 2003)
2003 VR Ambos SUS, FC CP 55 WS HMD (MEEHAN et al., 2003)
2003 VR Subjetivo SUS 40 BS HMD, Luvas (LOK et al., 2003b)

49
2003 VR Subjetivo PQ, SUS 35 BS HMD, Monitor (YOUNGBLUT, 2003)
2003 VR Subjetivo Questionário Adaptado - - TV (CHO et al., 2003)
Fonte: o autor.
50
Tabela 2.6 Experimentos em que o senso de presença foi avaliado (publicados entre 2004 e 2006).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2004 CHI Subjetivo Questionário Adaptado 12 WS CAVE (LIN et al., 2004)
2004 CHI Subjetivo ITQ, ITC-SOPI - WS HMD (ZANBAKA et al., 2004)
2004 VR Subjetivo SUS 44 BS HMD (MCCALL; O’NEIL; CARROLL, 2004)
2004 VRST Subjetivo ITQ, PQ 36 BS HMD (RYU; KIM, 2004)
2004 VRST Subjetivo ITQ 16 WS HMD (LEE; KIM; LEE, 2004)
2004 VRST Subjetivo Questionário Adaptado 15 WS Projeção (MOON; KIM, 2004)
2005 C&G Subjetivo SUS 105 BS HMD, Monitor (MANIA; ROBINSON, 2005)
2005 TVCG Subjetivo SUS 49 BS HMD, Monitor (ZANBAKA et al., 2005)
2005 VR Subjetivo SUS 32 WS HMD (COHN et al., 2005)
2005 PRESENCE Ambos Questão aberta, FR, CP 40 BS CAVE (GARAU et al., 2005)
2005 PRESENCE Subjetivo PQ 89 BS HMD (RAND et al., 2005)
2005 PRESENCE Subjetivo PQ 22 WS HMD (DURLACH; FOWLKES; METEVIER, 2005)
2005 PRESENCE Subjetivo PQ 60 BS PowerBook PC (SALINäS, 2005)
2005 PRESENCE Subjetivo PQ 19 WS Monitor (BORMANN, 2005)
2005 PRESENCE Subjetivo SUS 20 WS Monitor (Lee et al., 2005)
2006 CHI Subjetivo Relato Subjetivo 38 WS Monitor (KRAMER; OH; FUSSELL, 2006)
2006 CHI Subjetivo ITC-SOPI 36 WS TV (WANG et al., 2006)
2006 JVR Subjetivo Questionário Adaptado 60 WS HMD, Projeção (MIKROPOULOS, 2006)
2006 PRESENCE Subjetivo SUS 3 WS Monitor, HMD, CAVE (LEEB et al., 2006)
2006 PRESENCE Subjetivo SUS 27 BS HMD (TURNER; TURNER, 2006)
2006 PRESENCE Subjetivo SUS 41 WS HMD (JUAN et al., 2006)
2006 PRESENCE Ambos ITC-SOPI, EMG, FC 99 WS Game Boy (RAVAJA et al., 2006)
2006 PRESENCE Subjetivo ITC-SOPI 24 WS Projetor (IJSSELSTEIJN et al., 2006)
2006 TAP Subjetivo IPQ 15 WS Monitor curvo (RIECKE et al., 2006)
2006 TAP Objetivo CP 22 WS Projeção (WILCOX et al., 2006)
2006 VRST Subjetivo SUS, ITC-SOPI 40 BS CAVE (HELDAL; SPANTE; CONNELL, 2006)
2006 VRST Subjetivo SUS 66 WS CAVE (BROGNI et al., 2006)
2006 VRST Ambos SUS, FC, CP, FR, OC 33 WS HMD (KHANNA et al., 2006)
2006 VRST Subjetivo PQ 54 BS Monitor (PETRIDIS et al., 2006)
2006 VRST Subjetivo SUS, PQ 25 WS Monitor (HWANG; JUNG; KIM, 2006)
Fonte: o autor.
Tabela 2.7 Experimentos em que o senso de presença foi avaliado (publicados entre 2007 e 2010).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2007 CHI Subjetivo ITC, PQ 20 WS AR, Monitor (DOW et al., 2007)
2007 PRESENCE Subjetivo PQ 53 BS HMD (CAVAZZA; LUGRIN; BUEHNER, 2007)
2007 PRESENCE Subjetivo SUS 3 WS CAVE (FRIEDMAN et al., 2007)
2008 CHI Ambos ITC-SOPI, FC, CP 20 WS Monitor (LIN et al., 2008)
2008 JVR Subjetivo PQ 19 WS Monitor (BORMANN, 2008)
2008 PRESENCE Subjetivo PQ 31 WS HMD (BOUCHARD et al., 2008)
2008 PRESENCE Subjetivo Questionário Adaptado 23 BS HMD (INTERRANTE et al., 2008)
2008 PRESENCE Ambos Questionário Adaptado, OC 66 BS Monitor (PERSKY; BLASCOVICH, 2008)
2008 PRESENCE Ambos Questionário Adaptado, CP, EEG 30 WS CAVE (GARAU et al., 2008)
2008 PRESENCE Ambos PQ, CP, EEG, FC 47 WS HMD (Kim et al., 2008)
2008 VR Subjetivo SUS 24 WS HMD (PECK; WHITTON; FUCHS, 2008)
2008 VR Subjetivo SUS 27 BS HMD, Projeção (JOHNSEN; LOK, 2008)
2009 JVR Subjetivo PQ 99 WS Helmet (WALLACH; SAFIR; ALMOG, 2009)
2009 JVR Subjetivo SUS 20 WS HMD (JEONG et al., 2009)
2009 PRESENCE Ambos SUS, FC, DTC 34 WS CAVE (ALCAÑIZ et al., 2009)
2009 PRESENCE Subjetivo Questionário Adaptado 36 BS HMD (FRIEDMAN; KARNIEL; DINUR, 2009)
2009 PRESENCE Subjetivo Questionário Adaptado 69 BS HMD (FOX; BAILENSON; BINNEY, 2009)
2009 PRESENCE Subjetivo SUS 25 WS HMD, CAVE (JUAN; PéREZ, 2009)
2009 TAP Subjetivo IPQ 18 BS Monitor curvo (RIECKE; VäLJAMäE; SCHULTE-PELKUM, 2009)
2009 VR Subjetivo UCL 45 BS CAVE (PAWAR; Steed, 2009)
2009 VR Ambos SUS, OC, CP, FC 10 WS HMD (STEINICKE et al., 2009)
2009 VR Subjetivo IPQ, ITC-SOPI 18 WS Monitor, HMD (BRUCE; REGENBRECHT, 2009)
2010 C&G Subjetivo SUS 20 WS HMD (JUAN; PéREZ, 2010)
2010 C&G Subjetivo SUS 10 WS HMD (STEINICKE et al., 2010)
2010 C&G Subjetivo SUS 8 WS CAVE (KOEPNICK et al., 2010)
2010 JVR Subjetivo Questionário Adaptado 162 WS Projetor (WISSMATH; WEIBEL; MAST, 2010)
2010 JVR Subjetivo IPQ 46 BS HMD (PORTNOY; SMOAK; MARSH, 2010)
2010 JVR Subjetivo PQ 22 WS Helmet (WALLACH; SAFIR; SAMANA, 2010)

51
2010 JVR Objetivo Visual/Tactile Distraction 66 BS Monitor (NORDAHL; KORSGAARD, 2010)
2010 JVR Objetivo DTC 42 BS Monitor, CAVE (REY et al., 2010)
Fonte: o autor.
52
Tabela 2.8 Experimentos em que o senso de presença foi avaliado (publicados entre 2010 e 2013).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2010 PRESENCE Subjetivo PQ 20 WS Monitor (CIFLIKLI; Güdükbay, 2010)
2010 PRESENCE Subjetivo Questionário Adaptado 24 BS Projetor (Groenegress et al., 2010)
2010 PRESENCE Ambos PQ, SUS, OC 24 WS HMD (VICIANA-ABAD; LECUONA; POYADE, 2010)
2010 VR Subjetivo VET, ITC-SOPI 62 WS TV (CHERTOFF; GOLDIEZ; LAVIOLA, 2010)
2010 VRST Subjetivo ITC-SOPI 38 WS CAVE (LUGRIN et al., 2010)
2011 C&G Subjetivo IPQ 58 BS Monitor (BLAKE; LADEIRA, 2011)
2011 PRESENCE Subjetivo Jin & Park Questionnaire - BS Monitor (ANNIE JIN, 2011)
2011 PRESENCE Subjetivo ITC-SOPI 160 WS Monitor (SHAFER; CARBONARA; POPOVA, 2011)
2011 TVCG Subjetivo SUS 10 WS HMD, Óculos estéreo (STEINICKE et al., 2011)
2011 VR Subjetivo SUS 30 BS CAVE (VON KAPRI; RICK; FEINER, 2011)
2011 VR Subjetivo SUS 36 BS HMD (PECK; FUCHS; WHITTON, 2011)
2011 VR Subjetivo SUS 40 BS HMD (SUMA et al., 2011)
2011 VR Subjetivo SUS 10 WS HMD (BRUDER; STEINICKE; WIELAND, 2011)
2012 C&G Subjetivo IPQ 45 WS Monitor (REGENBRECHT et al., 2012)
2012 PRESENCE Subjetivo PQ 30 WS L-Shape (LARRUE et al., 2012)
2012 PRESENCE Subjetivo PQ 46 WS HMD (Ferrer-García et al., 2012)
2012 PRESENCE Ambos IPQ, SUS, FC 86 WS HMD (Ling et al., 2012)
2012 PRESENCE Ambos PQ, FC, CP 40 BS HMD (PHILLIPS et al., 2012)
2012 PRESENCE Ambos PQ, FC, OC 40 WS HMD (Malbos; Rapee; Kavakli, 2012)
2012 TAP Subjetivo Bormann & Armbruster 40 BS LaMAPs (MATTHIAS; BECKHAUS, 2012)
2012 VR Ambos SUS, CP 53 WS CAVE, HMD, Monitor (KIM et al., 2012)
2012 VR Ambos SUS, FC, CP, TP 20 WS HMD (NORDAHL et al., 2012)
2012 VRST Subjetivo ITC-SOPI 40 WS CAVE (LUGRIN et al., 2012)
2012 VRST Subjetivo Girard & Turcotte 48 BS Projeção (RÉBILLAT et al., 2012)
2013 CHI Subjetivo PQ 21 WS Tablet (RAMALHO; CHAMBEL, 2013)
2013 JVR Subjetivo Relato Subjetivo 17 WS Monitor (HOULIEZ; GAMBLE, 2013)
2013 PRESENCE Subjetivo IPQ 20 WS HMD (Qu et al., 2013)
2013 PRESENCE Subjetivo PQ, IPQ 12 WS HMD (WALLIS; TICHON, 2013)
2013 TAP Subjetivo Questionário Adaptado 15 WS L-shape (POESCHL; WALL; DOERING, 2013)
2013 VR Subjetivo SUS 66 WS Projeção (BLOM; BECKHAUS, 2013)
2013 VR Subjetivo OC 20 WS VSTHWD (WEIR et al., 2013)
Fonte: o autor.
Tabela 2.9 Experimentos em que o senso de presença foi avaliado (publicados entre 2013 e 2016).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2013 VRST Subjetivo SUS 32 WS Projetor (LUGRIN et al., 2013)
2013 VRST Subjetivo SUS 44 BS CAVE (BOURDIN et al., 2013)
2013 VRST Ambos PQ, FC, FR 16 BS HMD (GUO; SAMARAWEERA; QUARLES, 2013)
2014 CHI Subjetivo ITC-SOPI 65 BS CAVE (BUSCH et al., 2014)
2014 JVR Subjetivo Sas & O’Hare 54 BS LAIR (CAMPBELL et al., 2014)
2014 JVR Subjetivo SUS 24 BS Monitor, HMD (NAPIERALSKI et al., 2014)
2014 JVR Subjetivo Questionário Adaptado 18 WS CAVE (CHAPOULIE et al., 2014)
2014 PeerJ Subjetivo IPQ 38 BS HMD, Projeção (MORINA et al., 2014)
2014 PRESENCE Subjetivo ITC-SOPI 100 BS Monitor (SHAFER; CARBONARA; POPOVA, 2014)
2014 PRESENCE Subjetivo Questionário Adaptado 292 BS HMD (SOBIERAJ; KRäMER, 2014)
2014 PRESENCE Ambos Pi PSi, EEG 10 WS Projetor (AZEVEDO; JORGE; CAMPOS, 2014)
2014 PRESENCE Subjetivo Questionário Adaptado 20 WS HMD (LEONARDIS et al., 2014)
2014 VR Subjetivo SUS 22 BS HMD (GUO; SAMARAWEERA; QUARLES, 2014)
2014 VRST Subjetivo PQ 116 WS HMD (LLORACH; EVANS; BLAT, 2014)
2015 CHI Subjetivo IPQ 16 WS HMD (MCGILL et al., 2015)
2015 CHI Subjetivo SUS 20 WS HMD (SIMEONE; VELLOSO; GELLERSEN, 2015)
2015 PRESENCE Ambos FC, Questionário Adaptado 14 WS Mini-CAVE, Monitor (MILLEVILLE-PENNEL; Charron, 2015)
2015 PRESENCE Ambos CP, CPhenider questionário 39 WS Nintendo 3DS (MILLEVILLE-PENNEL; Charron, 2015)
2015 PRESENCE Subjective SAM 317 BS Cab-based Simulator (WEIBEL et al., 2015)
2015 VR Subjetivo ITC-SOPI 32 BS CAVE (LORENZ et al., 2015)
2015 VR Subjetivo SUS 22 WS CAVE (ZIELINSKI et al., 2015)
2015 VR Ambos IPQ, CP, ECG 50 BS HMD (CARULLI; BORDEGONI; CUGINI, 2015)
2015 VR Subjetivo PQ 75 BS HMD (SOYKA et al., 2015)
2015 VR Subjetivo PQ 24 BS TV (BERTRAND et al., 2015)
2016 CG&A Ambos SUS, FC 15 WS CAVE (NEDEL et al., 2016)
2016 CHI Subjetivo E2 I 16 WS HMD (FAITA et al., 2016)
2016 CHI Subjetivo PQ 20 WS HMD (KERN; ELLERMEIER; WOJTUSCH, 2016)
2016 JVR Subjetivo MEC-SPQ 53 WS HMD (COXON; KELLY; PAGE, 2016)

53
2016 JVR Subjetivo PQ 24 BS HMD, Monitor (PARMAR et al., 2016)
2016 PRESENCE Subjetivo SUS 17 WS CAVE (BRUDER et al., 2016)
Fonte: o autor.
54
Tabela 2.10 Experimentos em que o senso de presença foi avaliado (publicados entre 2016 e 2017).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2016 SUI Subjetivo PQ 12 WS HMD (PFEIFFER; SCHMIDT; RENNER, 2016)
2016 TVCG Subjetivo SUS 87 BS CAVE (FREITAG; WEYERS; KUHLEN, 2016)
2016 VR Subjetivo PQ, SUS 6 WS HMD (AZMANDIAN et al., 2016)
2016 VR Subjetivo IPQ 12 BS HMD (GUGENHEIMER et al., 2016)
2016 VR Subjetivo PQ 20 BS Projeção (BOUSTILA et al., 2016)
2016 VR Subjetivo PQ, OC 24 BS Projeção (LEE et al., 2016)
2016 VR Subjetivo PQ 40 BS Projeção (DAHER et al., 2016)
2016 VR Subjetivo Nowak & Biocca 16 WS HMD (PARMAR et al., 2016)
2016 VR Subjetivo SUS 17 WS HMD (BOZGEYIKLI et al., 2016)
2016 VRST Subjetivo SUS 45 BS HMD (NARANG et al., 2016)
2016 VRST Subjetivo IPQ 13 WS HMD (WESTHOVEN; PAUL; ALEXANDER, 2016)
2016 VRST Subjetivo Questionário Adaptado 20 WS HMD (OUTRAM; NAKATANI; MINAMIZAWA, 2016)
2016 VRST Subjetivo SUS 22 WS HMD (LIND et al., 2016)
2016 VRST Subjetivo IPQ 24 WS HMD (NIELSEN et al., 2016)
2016 VRST Subjetivo PQ 36 WS HMD (SIKSTRöM et al., 2016)
2017 C&G Subjetivo PQ 9 WS Tablet (SAALFELD et al., 2017)
2017 CHI Subjetivo SUS 25 BS HMD (SRA et al., 2017)
2017 CHI Subjetivo SUS 16 WS HMD (VERHULST et al., 2017)
2017 CHI Subjetivo PQ 20 WS HMD (GUGENHEIMER et al., 2017)
2017 JVR Subjetivo Questionário Adaptado 160 BS HMD (VAN KERREBROECK; BRENGMAN; WILLEMS, 2017)
2017 JVR Subjetivo ITC-SOPI 72 BS HMD (BAUS; BOUCHARD, 2017)
2017 JVR Subjetivo PQ 70 BS Monitor (SMOLENTSEV; CORNICK; BLASCOVICH, 2017)
2017 SUI Subjetivo RJPQ 33 BS HMD (RANASINGHE et al., 2017)
2017 PRESENCE Subjetivo Questionário Adaptado 13 WS HMD (HOANG; COX, 2017)
2017 SUI Subjetivo PQ 40 BS HMD (BHANDARI; TREGILLUS; FOLMER, 2017)
2017 TAP Subjetivo SUS 19 WS HMD (VALKOV; FLAGGE, 2017)
2017 VR Subjetivo PQ 142 BS HMD (RIETZLER; GEISELHART; RUKZIO, 2017)
2017 VR Subjetivo PQ 23 WS Monitor (BOUYER; Chellali; Lécuyer, 2017)
Fonte: o autor.
Tabela 2.11 Experimentos em que o senso de presença foi avaliado (publicados entre 2017 e 2018).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2017 VRST Subjetivo PQ 12 WS HMD (SRA et al., 2017)
2017 VRST Subjetivo PQ 48 BS CAVE (JEANNE; THOUVENIN; LENGLET, 2017)
2017 VRST Subjetivo PIFF 70 BS HMD (JO et al., 2017)
2017 VRST Subjetivo Questionário Adaptado 12 WS HMD (CHOWDHURY; Costa; Quarles, 2017)
2017 VRST Subjetivo E2 I 12 WS HMD (JUNG et al., 2017)
2017 VRST Subjetivo Questionário Adaptado 22 WS HMD (JANEH et al., 2017)
2018 C&G Subjetivo IPQ 128 BS HMD (MELO; VASCONCELOS-RAPOSO; BESSA, 2018)
2018 C&G Ambos IPQ, OC 35 BS HMD (MONTEIRO et al., 2018)
2018 C&G Subjetivo IPQ 59 BS HMD (BESSA et al., 2018)
2018 CHI Subjetivo Questionário Adaptado 67 BS HMD (KIM et al., 2018)
2018 CHI Subjetivo SUS 16 WS HMD (BOLDER; GRüNVOGEL; ANGELESCU, 2018)
2018 CHI Ambos PQ, FC, CP 20 WS HMD (OBERDöRFER; FISCHBACH; LATOSCHIK, 2018)
2018 CHI Subjetivo PQ, E2 I 28 WS HMD (RANASINGHE et al., 2018)
2018 JVR Subjetivo Questionário Adaptado 160 BS HMD (DE GAUQUIER et al., 2018)
2018 PRESENCE Subjetivo UCL 61 WS HMD (PALLAVICINI et al., 2018)
2018 JVR Subjetivo ITC-SOPI 207 BS HMD (SEIBERT; SHAFER, 2018)
2018 JVR Subjetivo TPI 99 BS HMD, Monitor (SHU et al., 2018)
2018 SUI Subjetivo P & SP 24 WS HMD (JUNG et al., 2018)
2018 SUI Subjetivo ITQ, PQ 49 WS HMD (CONGDON; WANG; STEED, 2018)
2018 TVCG Subjetivo SUS 24 WS HMD (SKARBEZ; BROOKS JR.; WHITTON, 2018)
2018 TVCG Subjetivo IPQ 96 BS Monitor, HMD (BUTTUSSI; Chittaro, 2018)
2018 VRST Subjetivo IPQ 30 BS HMD (KOLKMEIER et al., 2018)
2018 VRST Subjetivo SUS 36 WS HMD (OH; KIM, 2018)
2018 VRST Subjetivo IPQ 30 BS HMD (RIETZLER et al., 2018)
2018 VRST Subjetivo PQ and SUS 32 BS HMD (PODKOSOVA; KAUFMANN, 2018)
2018 VRST Subjetivo SUS 131 BS HMD (PARGER et al., 2018)
2018 VRST Subjetivo PQ, SUS 17 grupos BS HMD (AITAMURTO et al., 2018)
2018 VRST Subjetivo Questionário Adaptado 7 WS HMD (TRAN et al., 2018)

55
Fonte: o autor.
56
Tabela 2.12 Experimentos em que o senso de presença foi avaliado (publicados entre 2018 e 2019).
Ano Publicação Método Tipo Amostra Design Visualização Referência
2018 VRST Subjetivo SUS 38 WS HMD (SRA; XU; MAES, 2018)
2018 VRST Subjetivo IPQ 40 WS HMD (NAGAO et al., 2018)
2018 VRST Subjetivo Questionário Adaptado 55 WS HMD (MOTTELSON; HORNBÆK, 2017)
2018 VRST Subjetivo TPI 25 BS HMD, Projeção (HE et al., 2018)
2019 C&G Subjetivo TPI 25 WS CAVE (SCHMIDT; NUNEZ; STEINICKE, 2019)
2019 ISMAR Subjetivo Questionário Adaptado 15 WS HMD (Thompson; Chalmers; Rhee, 2019)
2019 ISMAR Subjetivo Questionário Adaptado 45 BS HMD (Shin et al., 2019)
2019 JVR Subjetivo PQ 30 BS Monitor, HMD (JOHNSON; DAMIAN; TZANETAKIS, 2019)
2019 JVR Subjetivo SUS 24 BS Projetor (NARAYANAN; POLYS; BUKVIC, 2019)
2019 SUI Subjetivo IPQ 10 WS CAVE (NISHIMOTO; JOHNSON, 2019)
2019 SUI Subjetivo ITC-SOPI, TPI 40 BS CAVE (SCHMIDT; NUNEZ; STEINICKE, 2019)
2019 SUI Subjetivo SUS 23 WS HMD (COOLS; SIMEONE, 2019)
2019 TVCG Subjetivo IPQ 75 BS HMD (Buttussi; Chittaro, 2019)
2019 TVCG Ambos IPQ, OC 37 BS HMD (Gonçalves et al., 2019)
2019 VR Subjetivo Questionário Adaptado 32 BS HMD (Kim et al., 2019)
2019 VR Subjetivo IPQ 60 BS HMD (Prachyabrued et al., 2019)
2019 VR Subjetivo ITC-SOPI 24 WS HMD (Toothman; Neff, 2019)
2019 VR Subjetivo ITC-SOPI 28 WS HMD (Khenak et al., 2019)
2019 VR Subjetivo MIPQ 48 WS HMD (Heidrich; Oberdörfer; Latoschik, 2019)
2019 VR Subjetivo PQ 22 WS HMD (Matthews et al., 2019)
2019 VR Subjetivo PQ 52 BS HMD (Zielasko; Weyers; Kuhlen, 2019a)
2019 VR Subjetivo PQ 50 BS HMD (Zielasko; Weyers; Kuhlen, 2019b)
2019 VR Subjetivo SUS 43 BS HMD (Rewkowski et al., 2019)
2019 VR Subjetivo TPI 40 WS HMD (Herder et al., 2019)
2019 VRST Subjetivo IPQ 25 WS HMD (WU et al., 2019)
2019 VRST Subjetivo IPQ 22 WS HMD (KHAMIS et al., 2019)
2019 VRST Subjetivo IPQ 17 WS HMD (HORST; DöRNER, 2019)
2019 VRST Subjetivo IPQ 22 WS HMD (JEON et al., 2019)
2019 VRST Subjetivo PQ 36 BS HMD (MCHUGH et al., 2019)
2019 VRST Subjetivo PQ 9 WS HMD (SINNOTT et al., 2019)
Fonte: o autor.
57

2.6 Fatores de Impacto no Senso de Presença

Na revisão sistemática da literatura, foram identificados diferentes estudos que rela-


cionam tanto as características do sistema como as dos usuários como principais fatores
de impacto no senso de presença. Para Schubert et al. (SCHUBERT; FRIEDMANN; RE-
GENBRECHT, 2001), o sistema é apenas a matéria-prima para a mente que constrói um
mundo mental.
Quanto às características do sistema, muitos aspectos foram apontados como fatores
que afetam a presença, como por exemplo: campo de visão, taxa de atualização, atraso de
retorno, estereoscopia, realismo, sincronia das imagens, dispositivo de visualização (mo-
nitor, CAVE, HMD, projetor, etc.), interação (controle, gestos, etc.), som espacial, pistas
táteis e olfativas e rastreamento do corpo. Em relação aos fatores humanos, é necessá-
rio considerar que as pessoas diferem em uma variedade de aspectos, incluindo fatores
psicológicos como personalidade, habilidades cognitivas, estilo cognitivo, conhecimento
específico do domínio e fatores demográficos, como sexo e idade. Assim, existem várias
maneiras pelas quais os fatores individuais podem influenciar experiências de presença.
Um dos primeiros estudos que investigou a relação entre as características do usuário
e o senso de presença foi conduzido por Slater e Usoh (SLATER; USOH, 1993). Nesse
estudo, foi proposta uma distinção entre fatores exógenos e endógenos, como fatores res-
ponsáveis pela determinação da presença. Já de acordo com Steuer (STEUER, 1992), os
fatores que afetam a presença são agrupados em três dimensões: vivacidade, interativi-
dade e características do usuário. Steuer define vivacidade como a maneira em que um AV
impacta os sentidos do usuário, enquanto interatividade é definida como a extensão em
que os usuários podem manipular e interagir no AV. Já as características do usuário estão
relacionadas às diferenças individuais dos sujeitos que utilizam o AV. Lombard e Ditton
(LOMBARD; DITTON, 1997) sugerem que a presença seja determinada pelas caracterís-
ticas da mídia e pelas características do usuário. As características da mídia são divididas
em forma e conteúdo de mídia e as características do usuário referem-se as diferenças in-
dividuais. Kim (KIM, 2005) sugere que o campo de visão, resolução, detalhes do objeto
e tamanho, grau de interatividade e enredo, que envolvem psicologicamente os usuários,
são fatores importantes para a presença em ambientes virtuais. Sadowisky & Stanney
(HALE; STANNEY, 2014) resumiram a literatura sobre fatos que afetam a presença em
cinco dimensões: facilidade de interação, controle do usuário, realismo pictórico, duração
da exposição, fatores sociais, fatores internos e fatores do sistema.
Nesse trabalho, foram identificados e classificados 29 fatores que influenciam no
senso de presença do usuário em um AV. Esses fatores foram agrupados em quatro ca-
tegorias: Engajamento, Características Pessoais, Fidelidade Interativa e Fidelidade Sen-
sorial (Tabela 2.13). A categoria Engajamento agrupa os fatores que impactam na medida
em que o AV mantém a atenção do usuário, sendo eles inclusão, narrativa, atenção, emo-
58

ção, tarefa e co-presença. As características pessoais do usuário estão relacionadas às


diferenças individuais dos sujeitos, sendo elas personalidade, estilo cognitivo, capacidade
de imaginação, capacidade de concentração, conhecimento de domínio e experiências
anteriores em RV e em jogos digitais 3D. Na categoria Fidelidade Interativa estão os
fatores que definem como os usuários podem manipular e interagir no AV, sendo eles se-
leção/manipulação e navegação, que permitem que o usuário interaja e se desloque. Os
fatores que compõem a categoria Fidelidade Sensorial estão relacionados à medida que o
AV impacta os sentidos do usuário, sendo eles dispositivos, propriocepção, corpo virtual,
latência, transição, sincronização, plausibilidade, realismo, campo de visão, resolução,
taxa de quadros, som, retorno háptico e retorno olfativo.
Tabela 2.13 Fatores que afetam o senso de presença em realidade virtual.
Categoria Fator Descrição Referência
Inclusão Grau de exclusão/substituição da realidade física (NASH et al., 2000)
Narrativa História vivenciada (KIM, 2005)
Atenção Grau de atenção exigido (WITMER; KLINE, 1998)
Engajamento
Emoção Estado mental provocado (SLATER; USOH, 1993)
Tarefa Tarefas exigidas (SLATER; USOH, 1993)
Co-Presença Existência de outro(s) no AV (JORISSEN; WIJNANTS; LAMOTTE, 2005)
Personalidade Maneira característica de ser, sentir e se comportar (SLATER; USOH, 1993)
Cognição Característica de como a pessoa pensa, percebe e lembra (STEUER, 1992)
Imaginação Capacidade de imaginar (LOMBARD; DITTON, 1997)
Características
Concentração Capacidade de concentrar o esforço mental (WITMER; KLINE, 1998)
Pessoais
Conhecimento de domínio Conhecimento da tarefa e ambiente simulado (SOUZA et al., 2019)
Realidade Virtual Experiência prévia com realidade virtual (NEDEL et al., 2016)
Vídeo game 3D Frequência de uso de vídeo game 3D (RACHEVSKY; SOUZA; NEDEL, 2018)
Fidelidade Inte- Selecção/Manipulação Possibilidade/maneira de selecionar/manipular objetos (KIM, 2005)
rativa Navegação Possibilidade/maneira de se deslocar (USOH et al., 1999)
Dispositivos Dispositivos utilizados pelo usuário (NAKANO; YANAGIDA, 2016)
Propriocepção Senso de auto-movimento e posição do corpo (GIROUX et al., 2018)
Corpo virtual Visualização do próprio corpo no AV (SLATER; MCCARTHY; MARINGELLI, 1998)
Latência Atraso entre a ação do usuário e a reação do AV (MEEHAN et al., 2003)
Transição Mudança de estado entre o mundo real e o virtual (STEINICKE et al., 2009)
Sincronização Coordenação entre as ações do usuário e as saídas do AV (ROCCHESSO et al., 2003)
Fidelidade Sen- Plausibilidade Até que ponto o AV é considerado aceitável ou admissível (SLATER, 2009a)
sorial Realismo Até que ponto o AV parece real (HENDRIX; BARFIELD, 1996)
Campo de Visão Extensão angular da visão que o usuário tem do AV (SEAY et al., 2001)
Resolução Número de pixels que podem ser exibidos por área (KIM, 2005)
Taxa de Quadros Número de imagens exclusivas mostradas por segundo (BARFIELD; HENDRIX, 1995)
Áudio A maneira que o som é percebido pelo usuário no AV (RIECKE; VäLJAMäE; SCHULTE-PELKUM, 2009)
Tato Senso de tocar ou ser tocado por algo no AV (INSKO, 2001)

59
Olfato Senso de sentir os odores do AV (RANASINGHE et al., 2018)
Fonte: o autor.
60

2.7 Considerações Finais

Nesse capítulo, foram apresentadas as definições mais comuns de presença, os dife-


rentes métodos propostos para medi-la e os experimentos de RV publicados nos principais
jornais e conferências, nos quais o senso de presença dos usuários foi avaliado. Além
disso, foram identificados diferentes fatores relacionados à presença em RV. De acordo
com a revisão da literatura apresentada nesta pesquisa, é indiscutível que uma forte ilusão
de presença – senso de estar no ambiente virtual – é essencial para uma experiência efe-
tiva em realidade virtual. Quanto ao conceito de presença e demais conceitos correlatos,
é possível destacar que presença é a percepção subjetiva de estar no AV, a imersão é o
resultado objetivo das características fornecidas pelo sistema que indicam até que ponto
a realidade física é excluída e substituída por estímulos sintéticos, a co-presença é a sen-
sação de estar junto com outro(s) no mundo virtual e a telepresença é a sensação de estar
em um local real remoto. Visto que a presença é uma experiência subjetiva e consciente,
não há uma maneira direta que a mensure e, ainda hoje, há um debate vigoroso sobre a
melhor forma de avaliar esse sentimento do usuário de RV.
Na revisão sistemática da literatura foram identificados 239 experimentos de RV com
usuários, publicados entre 1990 e 2019, nos quais o senso de presença foi avaliado. Em
relação às medidas, as subjetivas foram a esmagadora maioria (85,8%), sendo as ob-
jetivas utilizadas apenas seis vezes (2,5%), e uma combinação de medidas subjetivas e
objetivas utilizadas 28 vezes (11,7%). Quanto ao método, o questionário foi o mais utili-
zado (96,6%), principalmente o Slater-Usoh-Steed (SUS), utilizado em 64 (26,8%) expe-
rimentos, e o Questionário de Presença (PQ), utilizado em 60 (25,1%) estudos. Medidas
objetivas foram raramente utilizadas e quase sempre em combinação com questionários
subjetivos, sendo a frequência cardíaca (7,9%) e a condutância cutânea (6,7%) as mais
frequentes.
Quanto aos questionários para avaliação de presença em RV, foram identificados 28
propostas, com números de itens variando de 1 a 150. Além disso, muitos estudos reali-
zam adaptações dos questionários da literatura para melhor atender às características de
cada experimento. A questão que permanece aberta é por que tantos questionários para
medir a presença foram propostos. Uma possível razão é que a tecnologia de RV avan-
çou consideravelmente, permitindo experiências novas e diferentes para os usuários ano
após ano. Outra possibilidade é que a presença seja um construto complexo de mensu-
rar devido às suas características subjetivas e multidimensionais, de modo que nenhum
dos questionários atualmente disponíveis se mostrou totalmente eficaz. Um ponto obser-
vado é que os questionários mais utilizados foram aqueles que possuem poucos itens e
que são, portanto, mais fáceis de aplicar e interpretar. Contudo, devido às limitações dos
questionários, foram propostas diferentes medidas fisiológicas, que são obtidas de forma
automática e contínua durante a experiência de RV. As mais comumente usadas são a
61

frequência cardíaca e a condutância da pele. No entanto, as medidas fisiológicas são li-


mitadas em sua utilidade, pois é difícil garantir que as variações sejam, de fato, causadas
pelos estímulos do AV.
Sobre a amostra, foi observado que a maior parte dos estudos utilizaram amostras de
conveniência (42,4%), sendo a maioria composta por alunos das universidades onde os
experimentos foram realizados, o que pode causar alguma influência indesejada. Apenas
14 (5,8%) dos 239 estudos relataram ter envolvido nos testes uma amostra do público-
alvo do sistema de RV e 43,9% não relataram o perfil dos usuários que participaram
do teste. Quanto ao tamanho da amostra, foi identificada uma variação entre 3 e 604,
com média de 49,34 (DP = 64,7). Por fim, foram identificados e classificados 29 fatores
que influenciam no senso de presença do usuário, os quais foram organizados em quatro
categorias relacionadas ao engajamento, características pessoais, interação e fidelidade
de exibição. O conhecimento desses fatores foi determinante para o desenvolvimento do
método para avaliação de presença, que é apresentado no Capítulo 4.
62

3 EXPERIMENTOS REALIZADOS

Ao longo das pesquisas sobre presença e sobre os diferentes métodos para medi-la,
foram realizados vários experimentos com usuários com o objetivo de avaliar na prática
os métodos identificados na literaura e investigar os fatores de impacto na sensação de
presença em ambientes virtuais.

3.1 Visão Geral


A Tabela 3.1 apresenta um resumo dos cinco experimentos realizados. O primeiro es-
tudo avaliou o senso de presença de 15 usuários, por meio de questionário e da frequência
cardíaca, no uso de um simulador virtual com mini-CAVE. O segundo estudo avaliou o
senso de presença de 16 pessoas, através de questionário, frequência cardíaca e condu-
tância da pele, em diferentes condições de uso de um jogo de tiro em primeira pessoa em
RV. O terceiro experimento avaliou a possibilidade de adaptação dinâmica de um AV para
maximizar o senso de presença, com base nas reações fisiológicas de 27 pessoas e utilizou
questionário, frequência cardíaca, condutância da pele e observação comportamental para
avaliar a presença. No quarto e quinto experimentos, o senso de presença foi avaliada,
exclusivamente através de questionário, em uma aplicação de RV para apoiar o processo
de ensino e aprendizagem de neuroanatomia, no qual participaram 39 estudantes de gra-
duação em saúde. Nas próximas seções são apresentados, resumidamente, os resultados
desses experimentos. Informações detalhadas podem ser obtidas nos artigos publicados
(Seção 6.1).
Tabela 3.1 Experimentos com usuários realizados durante o trabalho.

Experimento Objetivo Tipo de Método Design* Display Interação Publicação Referência


Método
Simulador de Aplicar na prática os Subjetivo e Questionário SUS e WS Mini- Controle CG&A (NEDEL et al.,
Risco métodos mais utilizada- Objetivo Frequência Cardíaca CAVE 2016 2016)
dos para avaliação de
presença.
Jogo FPS Aplicar mais um dos Subjetivo e Questionário SUS, WS Monitor e Controle SVR 2018 (RACHEVSKY;
métodos muito utili- Objetivo Frequência Cardíaca HMD Oculus SOUZA; NE-
zado para avaliação de e Condutância da Touch DEL, 2018)
presença, a condutância Pele
da pele.
Cidade Virtual Avaliar a possibilidade Subjetivo e Questionário SUS, BW HMD Controle SVR 2018 (SOUZA et al.,
de modulação dinâ- Objetivo Observação Com- 2018)
mica da sensação de portamental,
presença a partir das Frequência Car-
medidas fisiológicas do díaca e Condutância
usuário. da Pele
Jogo Educaci- Avaliar o uso exclusivo Subjetivo Questionário SUS WS HMD e Controle SBGames (SOUZA et al.,
onal do questionário SUS Projetor 2019 2019)
para medir o senso de
presença
RV Colabora- Avaliar a sensação de Subjetivo Questionário SUS WS e HMD e Controle SVR 2020 (SOUZA et al.,
tiva presença entre os usuá- BS Projetor 2020)
rios de RV colaborativa.
*Design: within-subjects (WS), between-subjects (BS)
Fonte: o autor.

63
64

3.2 Simulador de Risco

Nesse primeiro experimento, foi avaliada a sensação de presença dos usuários de um


simulador projetado para ajudar os recrutadores na avaliação do perfil psicológico de
candidatos a trabalhadores e avaliar periodicamente a capacidade de trabalhadores de per-
ceber riscos em diferentes cenários (Figuras 3.1 e 3.2).
Milhares de pessoas morrem ou ficam inválidas todos os anos após um acidente de
trabalho. Embora a disponibilidade de equipamentos de segurança seja uma das causas, os
problemas comportamentais causados por fatores psicossociais também são considerados
extremamente relevantes nesse contexto. Muito além do treinamento para medidas de
segurança, o simulador é capaz de detectar padrões de comportamento que podem levar
a um aumento da predisposição à exposição ao risco. O sistema simula situações do dia-
a-dia, analisa as reações do usuário e classifica os comportamentos. Um relatório final
ajuda a determinar a adequação de um trabalhador ou candidato a uma determinada tarefa
ou ambiente de trabalho.

3.2.1 Objetivos

Do ponto de vista do senso de presença, objetivou-se aplicar na prática os dois méto-


dos mais utilizados, conforme revisão sistemática da literatura, para avaliação do senso de
presença em AVs, o questionário SUS (SLATER; USOH; STEED, 1994) e a frequência
cardíaca (INSKO, 2001). Através desse experimento, foi possível verificar a complexi-
dade e tempo necessário para a coleta de dados fisiológicos, bem como para a aplicação
do pós-questionário. Além disso, o experimento teve como objetivo avaliar a eficácia do
simulador de risco em ajudar os recrutadores na avaliação do perfil psicológico de can-
didatos a trabalhadores, sendo a presença fundamental para garantir a credibilidade das
ações do usuário.

3.2.2 Experimento

Em uma típica sessão de simulação, o usuário deve identificar os riscos potenciais de


cada cenário. Participaram desse experimento funcionários de uma empresa de energia
elétrica que presta serviços no sul do Brasil. Para registrar suas percepções sobre o uso
do sistema e a presença subjetiva, foi utilizado um protocolo experimental típico com as
seguintes etapas: introdução, formulário de consentimento, questionário de perfil, am-
bientação, uso do simulador e pós-questionário. Além dos registros feitos pelo próprio
simulador, as sessões de teste foram filmadas e a frequência cardíaca dos participantes foi
registrada.
O simulador foi implementado na Unity3D e executado em um PC com processador
Intel Core i7 de 3,4 GHz, 8 Gbytes de RAM e uma placa gráfica NVidia GTX 680.
Para a visualização (Figura 3.1), foram utilizados uma mini-CAVE baseada em três TVs
65

Figura 3.1 Configuração usada no experimento: (A) mini-CAVE, (B) óculos estéreo (C)
controle de jogo e (D) webcam.

Fonte: (NEDEL et al., 2016).

de 55 polegadas e óculos estéreo, o que forneceu boa imersão e evitou a maior parte
dos desconfortos causados pelos HMDs disponíveis naquele momento. Para a rotação e
locomoção, foi utilizado um controle de XBox. Para a obtenção e processamento do sinal
referente à frequência cardíaca, o Pulse Sensor1 foi utilizado.

3.2.3 Resultados

A avaliação envolveu 15 funcionários da empresa de energia elétrica, oriundos de


diferentes departamentos: administrativo, recursos humanos, tecnologia da informação,
serviços técnicos (eletricista), engenharia de segurança e vendas. A idade média dos par-
ticipantes foi de 29 anos. Os participantes usaram um sensor de cinta torácica (com um
transmissor polar) para o registro da frequência cardíaca. Antes dos participantes usarem
o simulador, os valores basais da frequência cardíaca foram obtidos com o objetivo de
separar os estímulos experimentais das diferenças biológicas intrínsecas entre os partici-
pantes.
Nesse estudo, foi utilizada uma abordagem dupla para avaliar tanto a sensação subje-
tiva de presença, através do questionário de presença do SUS (Slater-Usoh-Steed), como
parâmetros mais objetivos, ou seja, a resposta fisiológica do sistema nervoso, que se tra-
duz em variações de frequência cardíaca, em cada um dos cenários simulados (Figura
3.2): praça, acidente de trânsito, estacionamento, assalto, caixa eletrônico, floricultura,
lotérica e lanchonete. Cabe destacar que a escala SUS varia de 1 à 7, sendo 7 a sensação
1
https://pulsesensor.com/
66

Figura 3.2 Cenários simulados: praça, acidente de trânsito, estacionamento, assalto, caixa
eletrônico, floricultura, lotérica e lanchonete.
(a) Praça (b) Acidente

(c) Estacionamento (d) Assalto

(e) Caixa Eletrônico (f) Floricultura

(g) Lotérica (h) Lanchonete

Fonte: (NEDEL et al., 2016).


67

real de estar em um determinado local (USOH et al., 2000).


A Figura 3.3 apresenta os resultados do questionário SUS e da variação da frequência
cardíaca em cada cenário. Destaca-se que todas as respostas do questionário SUS foram
positivas, com valores médios acima de 4,2. Uma observação dos resultados sobre a
frequência cardíaca é que houve um aumento ao longo do experimento e redução no
final. Esta tendência se dá, geralmente, devido ao estresse inicial de estar sendo testado.
Podemos observar que, para algumas das situações, quando a atenção do usuário e a
atividade motora estão em maior demanda, a frequência cardíaca é localmente mais alta.
Isso sugere uma possível maior correlação entre atividades de manipulação com um maior
sentimento de presença do que meras atividades observacionais. Esta possibilidade é
ainda mais evidente quando correlacionada com as respostas do questionário de presença
SUS.

Figura 3.3 Valores médios do questionário SUS e Frequência Cardíaca (FC) acima da
linha de base em cada cenário do simulador: (A) Praça, (B) Acidente de trânsito, (C) Es-
tacionamento, (D) Assalto, (E) Caixa eletrônico, (F) Loja, (G) Lotérica e (H) Lanchonete.
(a) Questionário SUS (b) FC acima da linha de base

Fonte: (NEDEL et al., 2016).

3.2.4 Lições Aprendidas

O estudo realizado demonstrou que o sentimento de presença foi alto, apesar da sim-
plicidade dos equipamentos usados. A longo prazo, tal estudo ajudará a quantificar o
impacto deste tipo de tecnologia sobre a redução dos acidentes de trabalho para atrair
investimentos e interesse legal.
Quanto às medidas utilizadas para avaliar a presença, identificou-se a necessidade de
explicar o conceito de presença para que os participantes pudessem responder adequada-
mente o questionário SUS. Apesar dessa dificuldade, o questionário foi considerado fácil
de aplicar e interpretar. Quanto à frequência cardíaca, destaca-se que exige considerá-
vel tempo adicional nas sessões do experimento, dado que se faz necessária a instalação
do dispositivo para captura e o registro da frequência em repouso, anterior ao início do
uso do AV, para cada participante. Além disso, pode ser frágil relacionar diretamente a
frequência cardíaca com o senso de presença, dado que a frequência cardíaca também
68

aumenta quando a atividade motora está em maior demanda.


Mais informações sobre esse estudo estão disponíveis no artigo publicado na revista
IEEE Computer Graphics and Applications em 2016 (NEDEL et al., 2016).

3.3 Jogo FPS


Com o obejtivo de melhor compreender o senso de presença em um AV cujo objetivo
é exclusivamente entretenimento, foi desenvolvido um jogo de tiro em primeira pessoa
(FPS) em RV. Para avaliar o senso de presença, desempenho, grau de diversão e conforto
na experiência de um jogo em RV, foi realizado um experimento controlado, através do
qual se testou a hipótese de que, usando visualização imersiva e interação natural, o senso
de presença aumenta e o jogador pode ter uma melhor experiência de jogo.
O gênero de jogo escolhido para este estudo apresenta uma jogabilidade simples com
poucos comandos e regras, o que permitiu que qualquer pessoa pudesse participar dos
testes, incluindo pessoas sem experiência com vídeo game. Considerando as poucas pes-
quisas investigando o senso de presença em AVs que simulam lugares distintos daqueles
frequentados na vida real, o jogo foi definido no espaço sideral (Figura 3.4), e o joga-
dor, que controla um atirador, tem como objetivo destruir o maior número possível de
asteroides e naves inimigas, durante o tempo de jogo, que é fixo.
Figura 3.4 Captura de tela do jogo: (a) jogador localizado no centro e a mira tocando
um asteroide e (b) duas naves, uma movendo-se para o canto inferior esquerdo com traço
azul, e outra se movendo em direção à borda superior com traço vermelho. O jogador está
localizado no centro, com a mira ligada.
(a) Mira tocando o asteroide (b) Naves com rastro vermelho e azul

Fonte: (RACHEVSKY; SOUZA; NEDEL, 2018).

O tempo limite do jogo foi definido em dois minutos. O limite de tempo do jogo foi
definido considerando a Teoria do Fluxo, “[. . . o canal de fluxo é o espaço entre o tédio e
a ansiedade em que ocorre o entretenimento ” (SWEETSER; WYETH, 2005). Portanto,
o tempo não pode ser curto, de modo que o jogador fique extremamente ansioso, e não
pode ser longo, de modo que cause tédio. O escore foi definido de tal forma que os objetos
mais difíceis de acertar valem o suficiente para o jogador querer destruí-los. Além disso,
foi definido que tiros que não atingem os alvos reduzem a pontuação, a fim de evitar que
69

o jogador atire, indiscriminadamente, em qualquer direção. Assim, as naves destruídas


valem mil pontos, os asteroides destruídos valem cem pontos e errar um alvo ou acertar
uma nave com a cor errada faz com que o jogador perca dez pontos.

3.3.1 Objetivos

No que se refere ao senso de presença, esse experimento teve como objetivo verificar
na prática as potencialidades e limitações de mais uma medida fisiológica muito utilizada
para avaliação de presença em AVs, a condutância da pele. Além disso, o experimento
teve como objetivo avaliar o desempenho, grau de diversão e conforto dos jogadores em
um jogo FPS em RV.

3.3.2 Experimento

Diferentes versões do jogo foram desenvolvidas (Figura 3.5). As diferenças entre as


versões são relacionadas à visualização (HMD ou monitor), à interação (controles Oculus
Touch ou teclado/mouse) e ao mecanismo e mira (livre ou fixa). As variáveis dependentes
foram a pontuação final, tiros em alvos rápidos (naves), tiros em alvos lentos (asteroides),
erros (tiros que não interceptaram objetos), tiros totais, frequência cardíaca e condutância
da pele. As variáveis dependentes subjetivas foram o senso de presença e a usabilidade.

Figura 3.5 Participante jogando na condição (a) HMD com o controle Rift Touth e (b)
Monitor, teclado e mouse.
(a) Versão HMD (b) Versão monitor

Fonte: (RACHEVSKY; SOUZA; NEDEL, 2018).


70

O experimento foi realizado com a participação de 16 pessoas, sendo 9 do sexo mas-


culino e 7 do feminino. A faixa etária dos participantes foi de 19 a 53 anos, com média de
28,6 anos e desvio padrão de 12,2. Com relação à experiência com vídeo game e com RV,
os participantes responderam a uma escala Likert de 5 pontos, que variou de muito inex-
periente a muito experiente. Os participantes que se consideravam muito inexperientes ou
inexperientes ficaram no grupo G1 e os demais participantes no grupo G2.
O jogo foi desenvolvido na Unity 3D e no experimento foi utilizado um PC Dell XPS
8900 com processador Intel Core i7-6700 de 3,4 GHz, 16 GbRAM e uma placa de vídeo
AMD Radeon R9 370 4 Gb. Nas condições 1 e 2, o HMD Oculus Rift CV1 foi usado para
a visualização, e o controle Oculus Touch foi utilizado para a interação. Nas condições
3 e 4, um monitor Dell de 21,5” (modelo D2216H) foi usado para a visualização, e um
teclado Microsoft Wired Keyboard600 e um mouse Logitech M100 foram usados para a
interação. Para as medidas fisiológicas, foi utilizado o BITalino (r)evolution, que é um
kit composto de hardware e software de baixo custo que permite o desenvolvimento de
projetos e aplicações envolvendo a aquisição de dados fisiológicos (Batista et al., 2019).
Medidas objetivas (desempenho), subjetivas (presença, usabilidade e diversão) e fi-
siológicas (frequência cardíaca e condutância da pele) foram utilizadas neste estudo. O
desempenho foi obtido no log do jogo, as medidas subjetivas foram coletadas através da
aplicação de questionários, e as medidas fisiológicas foram obtidas pelo BITalino. Para
o processamento dos sinais fisiológicos foi utilizada uma biblioteca em Python chamada
BioSPPy2 , que agrupa vários métodos de processamento de sinal e reconhecimento de
padrões voltados para a análise de sinais biológicos.
Para medir a presença, foi utilizado o questionário de presença SUS (SLATER; USOH;
STEED, 1994). O questionário de usabilidade SUS (System Usability Scale) foi utilizado
para mensurar a usabilidade, sendo o escore final com escala de 0 a 100 e o escore aceitá-
vel igual ou maior que 68 pontos (BROOKE, 1996). Para mensurar a diversão, perguntas
do questionário GameExperience (GEQ) foram selecionadas (IJSSELSTEIJN; de Kort;
POELS, 2013).

3.3.3 Resultados

O experimento sugere que jogos imersivos com interação natural e intuitiva podem
induzir uma maior presença (Figura 3.6) e entretenimento, tendo em vista que foi en-
contrado um aumento significativo no senso de presença e diversão, especialmente para
medidas subjetivas. Os jogadores com pouca experiência em jogos de computador obtive-
ram um melhor desempenho na versão imersiva do que os parcitipantes com experiencia
em jogos. Esse resultado sugere que a interação natural oferecida pela versão imersiva fa-
cilita a aprendizagem dos leigos e, consequente, proporciona maior diversão. As medidas
fisiológicas dos participantes apresentaram variações durante o experimento, atreladas
2
https://biosppy.readthedocs.io/en/stable/index.html
71

Figura 3.6 Boxplot do senso de presença - Questionário SUS. C1: HMD com mira fixa;
C2: HMD com mira livre; C3: monitor com mira fixa; C4: monitor com mira livre.

Fonte: (RACHEVSKY; SOUZA; NEDEL, 2018).

tanto a sensação de presença como a demonstração de emoções (felicidade, frustração,


concentração, risos e até mesmo gritos). No entanto, nenhuma diferença significativa
foi evidenciada, embora cada condição tenha diferentes médias de frequência cardíaca e
condutância da pele.

3.3.4 Lições Aprendidas

Quanto ao uso da condutância da pele como medida objetiva de presença, assim como
evidenciado no experimento anterior, em relação a frequência cardíaca, trata-se de uma
medida que exige maior tempo de teste em função dos dispositivos para coleta e da ne-
cessidade de medição em condição de repouso. Além disso, é de difícil interpretação
dado a impossibilidade de garantir que a alteração é exclusivamente causada pelo senso
de presença. Assim, recomenda-se que tanto a frequência cardíaca como a condutância
da pele sejam utilizadas como medidas complementares ao questionário subjetivo, dado
que agregam a possibilidade de investigar a variação de presença ao longo do uso do AV.
Mais informações sobre esse experimento estão disponíveis no artigo publicado no XX
Symposium on Virtual and Augmented Reality – SVR 2018 (RACHEVSKY; SOUZA;
NEDEL, 2018).
72

3.4 Cidade Virtual


Neste experimento, investigou-se a possibilidade de modular dinamicamente o senso
de presença em uma experiência de RV. Embora muitos estudos já tenham sido realiza-
dos sobre como a presença pode ser avaliada e correlacionada aos dados fisiológicos do
usuário, a possibilidade de modular o AV a partir do biofeedback, a fim de manter um alto
senso de presença não foi explorada. Nesse contexto, um estudo com 27 participantes
foi realizado para verificar a possibilidade de aumentar o senso de presença em um AV
fisicamente sensível, modulado a partir do biofeedback do usuário. O AV recebe como
entrada os dados fisiológicos do usuário, frequência cardíaca e condutância da pele, e re-
age apresentando um estímulo sempre que os dados fisiológicos estão próximos da linha
de base do usuário, ou seja, os dados fisiológicos do usuário quando ele está em repouso.
Para isso, adaptou-se um AV desenvolvido no grupo de pesquisa em RV da UFRGS,
que simula uma cidade virtual com diferentes cenários: praça, estacionamento, avenidas,
lojas, caixa eletônico, lotérica e lanchonete (Figura 3.7).

3.4.1 Objetivos

O objetivo principal deste estudo foi investigar a possibilidade de modular dinamica-


mente o senso de presença em uma experiência de RV, com base nas medidas fisiológicas
do usuário. Além disso, foi objetivo desse experimento verificar a aplicação prática do
método de observação comportamental para avaliação do senso de presença.

3.4.2 Experimento

O AV simulou um cenário urbano comum, sendo que a experiência iniciou com o par-
ticipante em uma praça. Um total de cinco tarefas foram solicitadas: ir ao estacionamento
e pegar uma carteira esquecida no carro, ir até um shopping, sacar dinheiro no caixa ele-
trônico, escolher e pagar por um produto em uma das lojas e ir ao restaurante e sentar em
uma mesa livre. O AV foi implementado na Unity3D e foi executado em um PC equipado
com um Processador Intel R Core TM i7-7700 de 3,6 GHz, 16 GB de RAM e um cartão

gráfico NVIDIA Gforce GTX 1060 de 6 GB. Para a visualização, foi utilizado o Oculus
Rift CV1 e um controle Xbox sem fio para locomoção e seleção de itens (Figura 3.8). Para
realizar medições fisiológicas, utilizou-se o BITalino (r) evolution. Para o processamento
dos sinais fisiológicos foi utilizada a biblioteca BioSPPy3 .
Reações subjetivas, fisiológicas e comportamentais de 27 indivíduos foram registra-
das durante a experiência totalmente imersiva sob três condições distintas (NS: Nenhum
Estímulo, PS: Estímulo Pré-Definido e DS: Estímulo Dinâmico), variando o estímulo ba-
seado na frequência cardíaca e variação da condutância da pele. As variáveis dependentes
foram a presença, frequência cardíaca, condutância da pele e Observação Comportamen-
3
https://biosppy.readthedocs.io/en/stable/
73

tal. Os estímulos de excitação (Figura 3.7) foram (A) revoada de pássaros, (B) assalto,
(C) alarme e (D) explosão. Utilizou-se o delineamento experimental do quadrado Latino
para a ordem de apresentação dos estímulos (ABDC, BCAD, CDBA e DACB).

Figura 3.7 Estímulos de excitação: (a) revoada de pássaros, (b) assalto, (c) alarme e (d)
explosão.
(a) Pássaros (b) Assalto

(c) Alarme (d) Explosão

Fonte: (SOUZA et al., 2018).

Os participantes (idade média 29,26, desvio padrão 8,97, 17 mulheres, 10 homens)


eram estudantes de diferentes cursos e membros da equipe administrativa de uma univer-
sidade. Para avaliar o estado emocional dos participantes, utilizou-se a escala de emoções
Positivas e Negativas (PANAS) (WATSON; CLARK; TELLEGEN, 1988). O PANAS é
um instrumento muito utilizado, cuja escala atribui um resultado positivo e negativo en-
tre 10 e 50 pontos. No estudo original, com universitários americanos, o efeito positivo
médio foi de 29,7, enquanto o efeito negativo médio foi de 14,8 pontos (n 660). Neste ex-
perimento, o efeito positivo médio foi de 30 pontos (DP=5,41) e o efeito negativo médio
foi de 13,56 pontos (DP=3,54), mesmo padrão da amostra do estudo original do PANAS.
Para determinar em que medida os sujeitos se sentiram presentes no AV, foram utilizados
os três métodos mais comuns e confiáveis: questionário do SUS (USOH et al., 2000),
observação do usuário (INSKO, 2001; RIVA; DAVIDE; INSKO, 2003) e medidas fisio-
lógicas (frequência cardíaca e condutância da pele) (MEEHAN, 2001; MEEHAN et al.,
2003; SCHUEMIE et al., 2001).
O experimento seguiu um protocolo típico, iniciando com a assinatura do formulário
74

Figura 3.8 Participante do experimento usando o controle sem fio Xbox, Oculus Rift CV1
e BITalino para coleta dos dados fisiológicos.

Fonte: (SOUZA et al., 2018).

de consentimento, questionário de perfil, escala PANAS, ambientação, registro da linha


de base das medidas fisiológicas, uso do AV e pós-questionário com perguntas sobre
a facilidade de uso, diversão, medo, desconforto, sensação geral de presença e estado
emocional (PANAS).

Na condição NS (Nenhum Estímulo), nove participantes realizaram as tarefas no AV, e


nenhum estimulo de excitação foi apresentado. Na condição PS (Estímulo em tempo Pré-
definido), nove outros participantes realizaram as tarefas no AV e, durante a experiência,
quatro estímulos de excitação foram apresentados, em tempos predefinidos e diferente
ordenação. Na condição DS (Estímulo Dinâmico), foram realizadas as mesmas tarefas no
AV, assim como os mesmos estímulos ocorreram. Contudo, o tempo de apresentação de
cada estímulo foi definido dinamicamente pelo feedback fisiológico dos usuários. Nessa
condição, um estímulo era exibido cada vez que a frequência cardíaca ou a condutância da
pele do usuário atingiam um limite predefinido, linha de base + 5bpm (batidas por minuto)
ou a condutância da pele do usuário era menor ou igual à linha de base + 2mS. Esses
valores foram definidos a partir da observação dos resultados dos testes preliminares, o
que mostrou que dificilmente a frequência cardíaca e condutância da pele retornam à linha
de base durante o uso do AV.
75

3.4.3 Resultados

Quando questionados se levaram algum susto, apesar das médias das condições PS
(M=3,67) e DS (M=3,78) serem maiores que a condição NS (M=2,22), não foi encontrada
diferença significativa. Na pergunta aberta subsequente, os participantes foram solicita-
dos a listar as situações em que sentiram medo durante o uso do AV. Foram encontradas
18 citações para explosão, 5 para revoada de pássaros, 5 para alarme e 3 para o ladrão.
Curiosamente, quatro participantes da condição de NE relataram medo quando desceram
escadas, quando um carro apareceu de repente em sua frente e quando atingiram alguém
ou algo no AV. Essas situações de susto, não previstas na condição NS, podem ter dificul-
tado a identificação de diferença entre as condições.
Quanto ao estado emocional (PANAS), durante o experimento, a média para o re-
sultado positivo foi de 33,96 (DP=4,25) e para o negativo foi de 12,78 (DP=3,61), sem
diferença significativa ao estado emocional anterior ao experimento (positivo 30,0 e ne-
gativo 13,56). Cabe destacar que, ao observar a categoria medo, foco deste estudo, a
diferença é maior, com M=1,15 antes do uso da AV e M=1,74 após.
Considerando-se os resultados de presença (Figura 3.9), embora as médias tenham
sido maiores nas condições em que ocorreram estímulos, PS (M=5,87 DP=0,14) e DS
(M= 5,96 DP=0,18), do que na condição sem estímulo, NS (M=5,80 DP=0,19), não houve
diferença significativa entre as condições confirmadas pelo teste paramétrico One-way
ANOVA (p=0,895). A alta sensação de presença promovida pelo AV, independentemente
dos estímulos, poderia explicar a diferença não significativa entre as condições, uma vez
que, mesmo no primeiro grupo os participantes experimentaram alto senso de presença.

Figura 3.9 Boxplot do Senso de Presença – Questionário SUS – nas condições NS: ne-
nhum estímulo, PS: estímulo em tempo pré-definido e DS: estímulo dinâmico).

Fonte: (SOUZA et al., 2018).


76

Quanto à observação do comportamento, verificou-se que alguns dos participantes


expressaram reações verbais e corporais diante das situações no AV, muito semelhantes
às reações que as pessoas geralmente apresentam em situações reais semelhantes. Foi
possível perceber que três participantes ficaram assustados na condição NE, também con-
firmado através do pós-questionário. Nas condições PS e DS, tanto o pós-questionário
quanto a observação comportamental mostraram que o estímulo mais forte foi a explosão,
seguido dos pássaros e alarme. O assalto foi o estímulo mais fraco, provavelmente devido
ao baixo nível de realismo do avatar.
Em relação às medidas fisiológicas, os resultados mostraram que os usuários apre-
sentaram uma menor variação da média da frequência cardíaca na condição de DS. Foi
encontrada diferença significativa na variação da frequência cardíaca para as condições
NS (M=12,53, DP=6,88) e DS (M=5,68, DP=4,33). Com relação à condutância da pele,
os participantes também apresentaram menor variação na condição de DS. Também foi
encontrada diferença significativa na variação da condutância da pele para as condições de
NS (M=38,92, DP=56,87) e DS (M=-0,58, DP=15,79). Estes resultados sugerem que, na
condição modulada pela frequência cardíaca e condutância da pele do usuário, houve me-
nor variação da frequência cardíaca e da condutância da pele, pois quando a frequência ou
a condutância da pele diminuiu para o limiar o sistema iniciou um estímulo que repercutiu
no sentidos e fisiologia do usuário, evitando que a frequência cardíaca e a condutância da
pele baixassem muito.
Embora não tenha sido encontrada diferença significativa para o questionário de pre-
sença SUS, verificou-se diferença significativa para as medidas fisiológicas entre as con-
dições NS e DS, sugerindo que é possível modular dinamicamente a experiência de RV
utilizando a frequência cardíaca e a condutância da pele, em tempo real, para aumentar a
eficácia das experiências de RV.

3.4.4 Lições Aprendidas

Quanto às medidas de presença, foi avaliada mais atentamente a aplicação da obser-


vação comportamental, a qual foi considerada útil para a avaliação de presença. Entre-
tanto, precisa ser utilizada como medida complementar, pois depende da expressividade
de cada usuário, sendo que alguns podem não reagir exatamente como o esperado frente
a determinadas situações simuladas no AV. Mais informações sobre esse experimento es-
tão no artigo publicado no XX Symposium on Virtual and Augmented Reality – SVR
2018 (SOUZA et al., 2018).

3.5 Jogo Educacional

Para esse experimento, foi desenvolvido um jogo em RV para apoiar o processo de


ensino e aprendizagem de neuroanatomia em cursos de ensino superior da área da saúde.
77

A aplicação está ambientada em uma sala virtual, na qual as partes de um encéfalo


humano (lobo frontal, lobo parietal, lobo ocipital, lobo temporal, cerebelo, corpo ca-
loso, tronco encefálico e diencéfalo) estão aleatoriamente dispostas em uma mesa (Figura
3.10). O objetivo principal do jogo é montar o encéfalo através da junção das partes, cu-
jas cores também são aleatoriamente definidas a cada partida. A aleatoriedade de posição
e cor das peças tem como objetivo manter o desafio entre partidas, minimizando a pos-
sibilidade de solução por mera memorização de cores e posicionamento. Os jogadores
visualizam um encéfalo como referência e utilizam as mãos virtuais para pegar as partes,
rotacionando e transladando cada peça para realizar o encaixe entre as partes até que o
todo seja completo.

Figura 3.10 Primeira versão do jogo de montagem do encéfalo humano em RV.

Fonte: (SOUZA et al., 2019).

O jogo foi desenvolvido na Unity3D e para o experimento com usuários utilizou-se


um computador Dell XPS 8900 com processador Intel(R) Core(TM) i7-7700 3.6 GHz,
16 Gb de RAM e placa de vídeo NVIDIA Gforce GTX 1060 6GB. Para a visualização
utilizou-se o Oculus Rift CV1 e para a interação os controles Oculus Touch.

3.5.1 Objetivos

Esse estudo teve como objetivo investigar a relação entre o senso de presença e o
aprendizado, bem como verificar a possibilidade de avaliação da presença exclusivamente
através do uso do pós-questionário subjetivo SUS (SLATER; USOH; STEED, 1994), re-
comendado por Skarbez et al. (SKARBEZ; BROOKS JR.; WHITTON, 2017), em sua
revisão da literatura sobre presença.
78

3.5.2 Primeiro Experimento

Com o objetivo de realizar uma primeira avaliação com usuários, o jogo foi utilizado
por um grupo de estudantes do ensino superior, que estiveram presentes na última aula
da disciplina de Neuroanatomia. O objetivo da avaliação foi identificar limitações e po-
tencialidades do jogo, bem como obter sugestões para versões futuras. Um total de 10
estudantes participaram da avaliação do jogo, sendo 5 homens e 5 mulheres, entre 17 a 20
anos (M=21,8 DP=4,8). Entre os participantes, haviam 2 alunos do curso de graduação
em Educação Física, 3 da Fisioterapia e 5 do curso de Psicologia.

Figura 3.11 Aluna de graduação utilizando o jogo e seus colegas assistindo pelo projetor.

Fonte: (SOUZA et al., 2019).

O procedimento utilizado iniciou com uma explicação geral, seguida da assinatura


do termo de consentimento livre e esclarecido e do termo de uso de imagem. Posterior-
mente, foi aplicado um questionário para caracterização dos participantes e, logo após,
o óculos de realidade virtual e os controles foram ajustados no usuário para o início do
teste (Figura 3.11). Após completar o jogo, cada sujeito respondeu um questionário, com
perguntas abertas e fechadas, para avaliação da experiência. Através de uma escala Likert
de 5 pontos, os participantes opinaram sobre a facilidade de uso, diversão, utilidade e
possível desconforto causado pela realidade virtual. Já em uma escala de 7 pontos, cada
participante respondeu 6 perguntas do questionário SUS sobre o senso de presença no
jogo. Adicionalmente, os participantes registraram suas percepções sobre os potenciais
e limitações do jogo em perguntas abertas. Todas as partidas foram gravadas para pos-
terior análise do comportamento do usuário por uma câmera fixada em um tripé ao lado
79

esquerdo do jogador (Figura 3.11).

3.5.2.1 Resultados

Conforme ilustrado na Figura 3.12, o jogo foi considerado fácil de usar (M=4.0),
mesmo que a maioria dos participantes não tivesse experiência anterior com RV, e po-
tencialmente útil (M=4.3) para o processo de ensino e aprendizagem de neuroanatomia.
Além disso, o jogo foi considerado divertido (M=4.7) e não causou desconforto (M=1.9).
A facilidade de uso está potencialmente associada à forma intuitiva e natural de pegar e
largar as peças, proporcionada pelo uso dos controles Oculus Touch, que controlam as
mãos virtuais. Já a diversão, está possivelmente associada a experiência imersiva propor-
cionada pelo Oculus Rift e pelo fato de aprender jogando. Considerando os resultados
do questionário de presença, obteve-se uma média alta (5,8), sendo que para três das seis
questões obteve-se médias superiores a 6,1.

Figura 3.12 Boxplot referente a facilidade de uso, diversão, desconforto e utilidade do


jogo.

Fonte: (SOUZA et al., 2019).

Sobre as potencialidades do jogo, registradas pelos sujeitos nas questões abertas,


pode-se destacar que os participantes valorizaram a experiência de manipular as partes
do encéfalo humano, considerada muito próxima da realidade. Os participantes afirma-
ram que o jogo pode auxiliar no aprendizado de neuroanatomia de uma forma diferente,
motivadora e de mais fácil compreensão. Quando questionados sobre como se sentiram
durante o jogo, os participantes relataram que se sentiram como se de fato estivessem em
outro ambiente, um ambiente calmo que facilita a concentração, sendo que um partici-
pante relatou que sentiu-se como em uma aula prática real. Sobre o que cada participante
aprendeu com o jogo, obteve-se respostas como “aprendi as partes do cérebro”, “deter-
minadas posições de algumas estruturas que não me recordava exatamente o seu local”,
“Onde se localizam as peças do cérebro”, além de alguns registros sobre o aprendizado
80

da própria RV, sendo essa a primeira experiência para a maioria dos participantes.

Quanto às limitações, foi registrada alguma dificuldade relacionada ao encaixe das


peças, a falta de som no ambiente virtual, não poder desencaixar as peças já encaixadas e
sobre a precisão para pegar as partes do cérebro com as mãos virtuais.

Na última questão aberta, na qual o participante foi convidado a registrar comentários,


críticas ou sugestões, se destacam os seguintes comentários: “me senti muito confortá-
vel durante o jogo, aprender dessa maneira me estimulou a querer saber mais sobre o
assunto”, “Foi muito divertido, mas faltou o som”, “Acho que vai ser muito bom para alu-
nos que não tem noção do que sejam essas peças, fica mais fácil entender”, “Sugiro mais
informações sobre o que tem e o que está acontecendo no jogo (como o nome da peça
que tu está segurando no momento), além de algum evento ao concluir o quebra-cabeça,
como som, escrita, animação e/ou efeito”, e “seria interessante poder mover o cérebro
de referência para melhor orientação”. Alguns desses comentários corroboraram resul-
tados obtidos em questões fechadas, bem como sugeriram melhorias importantes para o
uso sistemático do jogo no processo de ensino e aprendizagem de neuroanatomia. Mais
informações sobre esse estudo estão disponíveis no artigo publicado no XVII Simpósio
Brasileiro de Jogos e Entretenimento Digital – SBGames 2018 (SOUZA et al., 2018).

3.5.3 Segundo Experimento

A partir dos resultados da avaliação preliminar, uma nova versão foi desenvolvida e
testes formais com usuários foram realizados. Foram incluídos som ambiental e efeitos
sonoros em diferentes momentos da interação, bem como a possibilidade de configurar o
ambiente para exibir o nome das partes do encéfalo e a possibilidade de movimentação do
cérebro de referência (Figura 3.13). O objetivo do estudo manteve-se o mesmo, ou seja,
investigar a relação entre a presença e o aprendizado e avaliar a possibilidade de utilização
exclusiva de um método subjetivo para medir a presença.

Nesse estudo, foi realizada uma comparação do aprendizado e do senso de presença


entre o atual método de ensino utilizado na disciplina, que faz uso de um encéfalo sin-
tético, e o método com o encéfalo virtual, através do jogo em RV. O protocolo do teste
iniciou com uma explicação geral do experimento, assinatura do termo de consentimento
e de uso de imagem, caracterização do participante e aplicação de um teste preliminar
de conhecimentos sobre neuroanatomia, elaborado pelo professor responsável pela disci-
plina. Posteriormente, o participante realizou a montagem do encéfalo humano sintético
(Figura 3.14) e virtual (Figura 3.15), variando essa ordem entre os participantes. Após a
montagem de cada encéfalo, questões sobre presença e o teste de conhecimentos foram
aplicados. Finalmente, após a montagem dos dois encéfalos, questões comparativas entre
as experiências virtual e sintética foram aplicadas.
81

Figura 3.13 Segunda versão do AV para apoio ao ensino de Neuroanatomia.

Fonte: (SOUZA et al., 2019).

3.5.3.1 Resultados

Participaram desse estudo 16 estudantes (13 mulheres e 3 homens, idade M=26,8


DP=6,3), de diferentes períodos dos cursos de graduação de uma universidade, sendo 7
da Psicologia, 4 da Fisioterapia, 2 do Direito, 1 da Biologia, 1 da História e 1 da Publici-
dade. Quando questionados sobre o seu grau de conhecimento sobre a anatomia do encé-
falo humano, em uma escala com quatro opções (nenhum, pouco, intermediário e muito),
4 estudantes reportaram que não possuíam conhecimento algum, 6 possuíam pouco co-
nhecimento e 6 possuíam conhecimento intermediário. Em uma segunda pergunta sobre
o grau de conhecimento da anatomia do encéfalo, foi solicitado que cada participante in-
dicasse o seu grau de conhecimento em uma escala numérica de zero a 100, obtendo-se
como resultado 28,33 de média e 20,5 de desvio padrão. Já no teste de conhecimento,
elaborado pelo professor da disciplina de neuroanatomia da universidade, em uma escala
de zero a 100, os participantes obtiveram 20 de média.
Quanto ao senso de presença (Figura 3.16 b), medida pelo questionário SUS (USOH
et al., 2000), não foi encontrada diferença significativa entre as condições de teste, sendo
a média na condição sintética ligeiramente menor (M=5,98 DP=0,61) do que na condição
virtual (M=6,13 DP=0,85). Da mesma forma, não foi encontrada diferença significativa
no teste de conhecimento, pós experimento, entre as condições, sendo a média na con-
82

Figura 3.14 Montagem individual do encéfalo humano sintético.

Fonte: (SOUZA et al., 2019).

Figura 3.15 Montagem individual do encéfalo humano virtual.

Fonte: (SOUZA et al., 2019).

dição sintética 42,66 e na virtual 43,33. Já no comparar o desempenho dos participantes


no teste de conhecimentos preliminar (M=20) e posterior ao experimento, foi encontrada
diferença significativa, demonstrando que de fato a atividade contribui para o processo de
83

Figura 3.16 Boxplot com o resultado do teste de conhecimento (a) e senso de presença (b)
usando o encéfalo sintético (ST) e o virtual (VR) .
(a) Teste de conhecimento

(b) Senso de presença

Fonte: (SOUZA et al., 2019).

aprendizagem, tanto com o uso do encéfalo sintético como do virtual (Figura 3.16 a).

Os resultados desse estudo sugerem que é possível utilizar a aplicação de RV desen-


volvida, de forma equivalente a técnica atualmente usada na disciplina de neuroanatomia,
com ganho motivacional, já que a técnica em RV foi considerada mais divertida pelos
estudantes.
84

3.5.4 Lições Aprendidas

Quanto à utilização exclusiva do questionário subjetivo para a avaliação de presença,


foram confirmados seus aspectos positivos bem como suas limitações. Seu uso é de fácil
aplicação, sendo que, em oposição às medidas objetivas, não necessita de preparação
prévia do participante como a fixação de dispositivos nem obtenção de linha de base.
Além disso, não interfere na experiência propriamente dita, já que só é aplicado após o uso
do AV. Como limitações, foi evidenciado dificuldade para capturar a variação da sensação
de presença durante o uso do AV, sendo que a principal dificuldade foi a de garantir
a adequada e equivalente compreensão do conceito de presença entre os participantes.
Mais informações sobre esse experimento estão disponíveis no artigo publicado no XIII
Simpósio Brasileiro de Jogos e Entretenimento Digital – SBGames 2019 2019 (SOUZA
et al., 2019).

3.6 RV Colaborativa
Ainda com o uso da aplicação desenvolvida para apoio ao processo de ensino e apren-
dizagem de neuroanatomia, foram realizados novos experimentos com o objetivo de ava-
liar o aprendizado e o senso de presença em sessões multiusuário, envolvendo grupos de
3 participantes, sendo um ativo (sujeito que manipula as peças) e os demais passivos (au-
xiliam verbalmente), em uma atividade de colaboração para solução do desafio proposto
(Figuras 3.17 e 3.18).
No primeiro experimento, participaram 16 estudantes e utilizou-se o design expe-
rimental no qual todos os grupos montaram tanto o encéfalo sintético como o virtual
(within-subjects). Já no segundo experimento, participaram 23 estudantes e grupos distin-
tos (between-subjects) montaram o encéfalo virtual e o sintético. Nos dois experimentos
utilizou-se um computador Dell XPS 8900 com processador Intel(R) Core(TM) i7-7700
3.6 GHz, 16 Gb de RAM e placa de vídeo NVIDIA Gforce GTX 1060 6GB. Para a visu-
alização utilizou-se o Oculus Rift CV1 e o projetor Epson e para a interação os controles
Oculus Touch. Mais informações sobre esses experimentos estão disponíveis no artigo
publicado no XXII Symposium on Virtual and Augmented Reality – SVR 2020 (SOUZA
et al., 2020).

3.6.1 Objetivos

Esse estudo teve como objetivo avaliar o aprendizado e o senso de presença em ses-
sões de RV multiusuário, buscando verificar a correlação entre o senso de presença e o
aprendizado em diferentes condições de imersão e interação. Além disso, o experimento
teve como objetivo verificar na prática os benefícios e limitações do uso exclusivo do
pós-questionário SUS (SLATER; STEED, 2000) como método para avaliação do senso
de presença em AVs.
85

Figura 3.17 Grupo de estudantes montando o encéfalo humano sintético.

Fonte: (SOUZA et al., 2020).

Figura 3.18 Grupo de estudantes montando o encéfalo humano virtual.

Fonte: (SOUZA et al., 2020).

3.6.2 Primeiro Experimento

Nesse primeiro experimento, foi utilizado o protocolo experimental de medidas repe-


tidas, ou seja, a mesma pessoa testou todas as condições (within-subjects). A sensação
de presença foi avaliada com o questionário SUS e a aprendizagem, entre as diferentes
condições, com o teste de conhecimentos em neuroanatomia. Na condição da montagem
virtual, o estudante que realizou a montagem utilizou o HMD e os controles e os demais
86

visualizaram pela projeção (Fig. 3.18).


As variáveis independentes foram o encéfalo (sintético e virtual), a visualização (HMD
e projeção) e a interação (ativa ou passiva). As variáveis dependentes foram o senso de
presença (questionário SUS) e o aprendizado (nota no teste de conhecimento).
O protocolo iniciou com uma explicação geral do experimento, assinatura do termo
de consentimento e de uso de imagem, caracterização dos participantes e aplicação de um
teste preliminar de conhecimentos sobre neuroanatomia. Posteriormente, os estudantes
foram divididos em grupos de 3 pessoas, sendo que cada grupo recebeu a tarefa de mon-
tar o encéfalo humano virtual e sintético, variando a ordem. Após a montagem de cada
encéfalo, questões sobre presença e o teste de conhecimentos foram aplicados. Final-
mente, após a montagem dos dois encéfalos, questões comparativas entre as experiências
virtual e sintética foram aplicadas.

Figura 3.19 Resultados da autoavaliação (Auto), pré-teste (Pré) e pós-teste (Pós) de co-
nhecimento com o encéfalo sintético (ST) e virtual (VR), entre os sujeitos que montaram
(MT) e os que observaram (OB).

Fonte: (SOUZA et al., 2020).

3.6.2.1 Resultados
Participaram desse estudo 16 alunos da disciplina de Neuroanatomia, com idade mé-
dia de 20,75 anos, sendo 25% homens e 75% mulheres. Quando questionados sobre seu
conhecimento relacionado a anatomia do encéfalo humano, 31% afirmaram ter pouco
conhecimento e 69% afirmaram ter conhecimento intermediário. Além disso, os partici-
pantes foram convidados a autodeclarar, em uma escala de 0 a 10, seu conhecimento. A
87

nota média foi de 4,84 com desvio padrão de 1,34. A pontuação média no teste preliminar
de conhecimento foi de 7,75 com desvio padrão de 3,79.
A Figura 3.19 apresenta os resultados da auto-avaliação, pré-teste e pós-teste de co-
nhecimento de neuroanatomia, na montagem do encéfalo sintético e virtual. Quanto aos
resultados, não há evidências para afirmar que exista diferença no aprendizado utilizando
o encéfalo sintético e o virtual (p=0,9243). Além disso, a figura apresenta os resultados
do pós-teste de conhecimentos entre os sujeitos que manipularam o encéfalo e os que
apenas observaram. Igualmente não há evidências para afirmar que existe diferença no
aprendizado entre os sujeitos ativos e passivos, em ambas condições.

Figura 3.20 Resultados do questionário de presença SUS na montagem do encéfalo sin-


tético (ST) e virtual (VR), e entre os sujeitos de montaram (MT) e os que observaram
(OB).

Fonte: (SOUZA et al., 2020).

Quanto à presença (Figura 3.20), conforme esperado, a média obtida através do questi-
nário SUS na condição virtual (M=5,51) foi menor do que na condição sintética (M=6,76).
Contudo, as médias da sensação de presença entre os sujeitos que montaram (M=6,69) e
os que observaram (M=6,8) o encéfalo sintético e entre os que montaram (M=4,81) e os
que observaram (M=5,45) o encéfalo virtual foram muito próximas, sendo ligeiramente
menores entre os que montaram. Uma das possíveis razões para esse resultado pode es-
tar relacionada ao maior foco no desafio por parte dos sujeitos que montaram, enquanto
os que observaram puderam atentar para o ambiente como um todo, já que não estavam
executando a tarefa. O teste de Wilcoxon confirmou que existe diferença na sensação de
presença entre a condição sintética e virtual. Já entre os que montaram e os que observa-
88

ram, não há evidências de que exista diferença nas duas condições.


Quanto aos resultados comparativos, em uma escala de 1 a 7, os estudantes opina-
ram sobre o quanto foi possível estabelecer relações entre as peças virtuais e as aulas de
neuroanatomia, obtendo-se média de 6,44 e desvio padrão de 1,09. Quando questionados
sobre qual modelo preferem para estudar as partes anatômicas do encéfalo, 13 estudantes
optaram pelo modelo virtual e 3 pelo modelo sintético. De forma geral, os resultados
demonstram potencialidade para o uso de RV no aprendizado baseado em grupo.

3.6.3 Segundo Experimento

Esse estudo também avaliou a sensação de presença e a aprendizagem entre a mon-


tagem do encéfalo humano com peças sintéticas e com peças virtuais e acrescentou a
avaliação da retenção do conhecimento, através da aplicação do teste 7 dias após o expe-
rimento. Além disso, utilizou-se a avaliação entre usuários distintos, ou seja, um grupo
montou apenas o encéfalo sintético e outro apenas o virtual. As variáveis independentes
foram mantidas e nas dependentes, além da presença e do aprendizado, acrescentou-se a
retenção do conhecimento. Quanto a presença, o objetivo foi validar os resultados obtidos
no experimento anterior, com o uso exclusivo do questionário SUS, sendo agora utilizada
o método de avaliação entre usuários distintos.

3.6.3.1 Resultados

Participaram desse estudo 23 estudantes de uma segunda turma da disciplina de Neu-


roanatomia, sendo divididos em dois grupos, um com 12 e outro com 11 sujeitos (Tabela
3.2). O protocolo usado foi similar ao dos experimentos anteriores, iniciando com ex-
plicação geral do experimento, assinatura do termo de consentimento, caracterização dos
participantes e aplicação de um teste preliminar de conhecimentos. Posteriormente, os
estudantes foram divididos em grupos de 3 pessoas, sendo que cada grupo recebeu a ta-
refa de montar o encéfalo humano sintético ou virtual. Após a montagem do encéfalo,
questões sobre presença e teste de conhecimentos foram aplicados. Além disso, o teste de
conhecimento foi novamente aplicado 7 dias após o experimento.
A Figura 3.21 apresenta o gráfico de barras do pós-teste e do teste de retenção de
conhecimento, nas condições sintética e virtual, para indivíduos que montaram (ativos) e
para aqueles que apenas observaram e colaboraram verbalmente (passivos). Os resultados
demonstram que, tanto no pós-teste quanto no teste de retenção de conhecimento, não há
evidências de que exista diferença entre os participantes que montaram e os que colabo-
raram. Esses resultados sugerem potencial para o aprendizado através do uso de RV em
grupo.
Com relação à presença (Figura 3.22), também foi considerado adequado o uso do
questionário subjetivo com o método de avaliação entre usuários distintos. Contudo, é
de igual importância que o conceito de presença seja adequadamente apresentado para
89

Tabela 3.2 Perfil dos estudantes nas condições de montagem do encéfalo sintético e vir-
tual.
Sintético Virtual
Amostra 12 11
Idade M=21,08 M=19,45
Sexo 3 Masculino, 9 Feminino 4 Masculino, 7 Feminino
Curso 1 Fisioterapia, 11Psicologia 2 Fisioterapia, 9 Psicologia
Conhecimento 2 Baixo, 10 Intermediário 1 Baixo, 10 Intermediário
Auto-avaliação M=5,11 M=5,67
Teste preliminar M=6,00 M=5,73
Experiência em VR 6 Nunca, 5 Uma 10 Nunca, 1 Uma
Use de vídeo game 9 Nunca, 1 Mensal, 1 Sema- 6 Nunca, 3 Mensal, 1 Sema-
nal, 1 Diário nal, 1 Diário
Fonte: o Autor.

Figura 3.21 Boxplot do teste de conhecimento em neuroanatomia: condições sintética e


virtual no pós-teste (POS) e teste de retenção (RET) para indivíduos que montaram (MT)
e que colaboraram (CL).

Fonte: (SOUZA et al., 2020).

cada participante. As médias da sensação de presença entre os sujeitos que montaram


(M=5,54) e os que observaram (M=5,55) o encéfalo sintético e entre os que montaram
(M=6,17) e os que observaram (M=5,63) o encéfalo virtual foram muito próximas, não
havendo evidências de que exista diferença entre quem monta e quem colabora tanto da
condição sintética (p=0,591) como na virtual (p=0,413).
Os resultados gerais sugerem que há equivalência entre a técnica sintética, atualmente
usada no aprendizado da neuroanatomia e a técnica virtual proposta, tanto no aprendizado
como na retenção do conhecimento. Além disso, os resultados mostraram que o senso de
90

Figura 3.22 Boxplot do senso de presença: condições sintética (ST) e virtual (VR), in-
cluindo o grupo de sujeitos que montou (MT) e aqueles que colaboram (CL).

Fonte: (SOUZA et al., 2020).

presença, aprendizado e retenção de conhecimento são equivalentes entre os sujeitos que


manipularam e visualizaram o ambiente no HMD e aqueles que visualizaram na projeção
e colaboraram verbalmente, tanto na condição sintética quanto virtual. Mais informações
sobre esses experimentos estão disponíveis no artigo publicado no XXII Symposium on
Virtual and Augmented Reality – SVR 2020 (SOUZA et al., 2020).

3.6.4 Lições Aprendidas

Quanto ao uso do questionário SUS de forma exclusiva para a medida de presença,


fica evidenciado seu custo-benefício, dado que é curto e, consequentemente, rápido de
aplicar e analisar. Contudo, confirmamos que se faz necessária clara explicação sobre o
conceito de presença aos participantes para que se obtenha resultados confiáveis. Esse
resultado vai ao encontro do recomendado por Skarbez et al. (SKARBEZ; BROOKS JR.;
WHITTON, 2017), na revisão da literatura mais atual sobre presença.

3.7 Considerações Finais


As Tabelas 3.3 e 3.4 apresentam um resumo com os principais resultados dos experi-
mentos com usuário realizados nesse trabalho, que totalizaram mais de 320 horas e e en-
volveram 123 participantes, sendo destacado o objetivo de cada experimento, o tamanho
da amostra, a idade média dos participantes, a duração total do experimento, os principais
91

resultados e a referência do artigo publicado sobre cada experimento. Como pode ser ob-
servado, aplicações com diferentes objetivos e público-alvo foram desenvolvidas para que
fosse possível examinar com maior amplitude a aplicação prática dos principais métodos
para avaliação do senso de presença.
No primeiro experimento, no qual 15 funcionários de uma empresa de energia elétrica
utilizaram o simulador de risco em RV, os resultados demonstraram que o simulador é
válido para seu objetivo e que o senso de presença foi alto, bem como foi adequada a
aplicação conjunta do questionário e frequência cardíaca para avaliar a presença. Cabe
destacar que a utilização exclusiva da frequência cardíaca para a avaliação de presença é
insuficiente, dada a sua incapacidade de garantir que a variação é constante e diretamente
relacionada ao senso de presença.
No segundo experimento, o objetivo foi avaliar o senso de presença em um jogo imer-
sivo de entretenimento. Para isso, além do questionário e da frequência cardíaca, foi
acrescentada a condutância da pele como medida de presença. Participaram 16 pessoas e
os resultados sugerem que aplicações em RV mais imersivas e com interação mais natural
promovem maior sensação de presença. Já a condutância da pele, foi considerada, tal
como consta na literatura, menos precisa que a frequência cardíaca para a avaliação da
sensação de presença e, da mesam forma, inviável garantir que sua variação é diretamente
relacionada à variação do senso de presença.
No terceiro estudo, foi demonstrada a possibilidade de modulação dinâmica da sensa-
ção de presença a partir da variação da frequência cardíaca e da condutância da pele do
usuário. Além disso, foi acrescentada a observação comportamental para a avaliação do
senso de presença, considerada muito útil, porém restrita aos participantes que demostram
através de seu comportamento seus sentimentos, o que de fato não ocorreu com todos os
sujeitos do estudo.
A partir da constatação dos esforços necessários na condução de estudos que utilizam
medidas fisiológicas, ou seja, instalação dos sensores, registro das medidas em repouso,
cálculo da variação, remoção dos sensores, e das limitações, ou seja, incapacidade de
garantia da constante correlação das respostas fisiológicas à sensação de presença, além
da possível inconveniência da utilização dos sensores pelos participantes, optou-se por
avaliar a utilização exclusiva de questionário no quarto e quinto experimentos, o que
demonstrou adequado custo-benefício. Conforme já mencionado, esse resultado está em
conformidade com o recomendado na revisão da literatura sobre presença publicada em
2017 por Skarbez et. al (SKARBEZ; BROOKS JR.; WHITTON, 2017).
Assim, no quarto experimento se avaliou o aprendizado e o senso de presença em
sessões multiusuário em uma atividade de colaboração para a montagem de um encé-
falo humano sintético e virtual com medidas repetidas (within-subjetcs). Os resultados
demonstraram potencialidade para o uso de RV colaborativa.
No quinto estudo, também se avaliou a sensação de presença e a aprendizagem na
92

montagem do encéfalo humano sintético e virtual e se acrescentou a avaliação da reten-


ção do conhecimento, através da aplicação do teste 7 dias após o experimento. Utilizou-se
a avaliação entre usuários distintos, ou seja, alguns grupos montaram apenas o encéfalo
sintético e outros apenas o virtual. Novamente, não foi encontrada diferença no apren-
dizado, nem na retenção de conhecimento e no senso de presença entre as condições de
teste e nem entre os participantes no uso colaborativo da RV. Além disso, o uso do pós-
questionário SUS foi considerado suficiente para avaliação do senso de presença.
Tabela 3.3 Resumo dos resultados dos experimentos.
Experimento Objetivo Amostra Idade Duração Resultado Referência
Média Total
Simulador de Avaliar a eficácia do simu- 15 29 55h O estudo realizado demonstrou que a abordagem (NEDEL et al.,
Risco lador de risco, bem como é prática, que o senso de presença foi alto e que o 2016)
a aplicabilidade dos métodos simulador reporta resultados consistentes. Tam-
SUS e frequência cardíaca bém foram considerados adequados os métodos
para avaliação de presença. SUS e Frequência Cardíaca para avaliação da
presença.
Jogo FPS Avaliar o senso de presença, 16 28,6 45h O experimento sugere que jogos imersivos com (RACHEVSKY;
desempenho, grau de diver- interação natural e intuitiva podem induzir uma SOUZA; NE-
são e conforto de um jogo maior presença e entretenimento, tendo em vista DEL, 2018)
FPS imersivo. Avaliar a con- que foi identificado um aumento significativo
dutância da pele na avaliação no senso de presença e diversão, especialmente
de presença. para medidas subjetivas. A condutância da pele
foi considerada útil, porém menos precisa que a
frequência cardíaca.
Cidade Virtual Investigar a possibilidade de 27 29,3 68h Embora não tenha sido encontrada diferença es- (SOUZA et al.,
modular dinamicamente o tatística para o questionário de presença SUS, 2018)
sentido de presença em uma verificou-se diferença significativa para as me-
experiência de RV, baseada didas fisiológicas entre as condições, sugerindo
nas medidas fisiológicas do que é possível modular dinamicamente a experi-
usuário. Avaliar o método de ência de RV a partir de medidas fisiológicas. A
Observação Comportamental observação comportamental foi considerada ade-
na avaliação de presença. quada.
Fonte: o autor.

93
94
Tabela 3.4 Resumo dos resultados dos experimentos (Cont.).
Experimento Objetivo Amostra Idade Duração Resultado Referência
Média Total
Avaliar preliminarmente o 10 21,8 23h O jogo foi considerado fácil de usar e potenci- (SOUZA et al.,
Jogo Educacional
AV para identificar necessi- almente útil para o processo de ensino e apren- 2018)
dades de melhoria (primeiro dizagem de neuroanatomia. Quanto às limita-
experimento). ções, foi registrado dificuldade no encaixe das
peças, falta de som ambiente, não poder de-
sencaixar as peças e imprecisão para pegar as
peças com as mãos virtuais.
Investigar a correlação en- 16 26,8 45h Não foi encontrada diferença significativa na (SOUZA et al.,
tre o senso de presença sensação de presença bem como no teste de 2019)
e o aprendizado e avaliar conhecimento pós-experimento entre as con-
o uso exclusivo do pós- dições de teste. O uso exclusivo do ques-
questionário SUS para medir tionário SUS demonstrou adequado custo-
a presença (segundo experi- benefício.
mento).
Verificar possível diferença 16 20,7 42h Não foi encontrada diferença estatística signi- (SOUZA et al.,
RV Colaborativa
na sensação de presença e no ficativa no aprendizado nem no senso de pre- 2020)
aprendizado, entre os partici- sença entre os participantes no uso colabora-
pates no uso colaborativo de tivo de RV.
RV (primeiro experimento).
Verificar a sensação de pre- 23 21,1 56h Não foi encontrada diferença no aprendizado,
sença, a aprendizagem e a re- na retenção de conhecimento e no senso de
tenção do conhecimento en- presença entre as condições de teste e nem en-
tre os participantes no uso tre os participantes no uso colaborativo da RV.
colaborativo da RV (segundo O uso do pós-questionário SUS foi conside-
experimento). rado suficiente para avaliação do senso de pre-
sença.
Fonte: o autor.
95

Os resultados do quarto e quinto estudos sugerem que o método de apoio ao ensino


baseado em RV não se difere do método atualmente utilizado para o aprendizado de neu-
roanatomia. Da mesma forma, não foi encontrada diferença significativa tanto no apren-
dizado como no senso de presença entre os estudantes passivos e ativos.
Quanto ao uso do questionário SUS de forma exclusiva para a avaliação de presença,
ficou evidenciado seu custo-benefício, dado que é curto e, consequentemente, rápido de
aplicar e analisar. Contudo, confirmou-se que se faz necessária clara explicação sobre o
conceito de presença aos participantes para que se obtenha resultados confiáveis. Ficou
evidenciado que a realização de avaliações com usuários é extremamente onerosa, pois
requer planejamento, recrutamento adequado de voluntários, longo período de aplicação,
em média 40 minutos por sessão, e análise estatística dos resultados.
A realização dos experimentos foi de extrema valia para a melhor compreensão dos
métodos para avaliação de presença já propostos, sendo que foi possível observar na prá-
tica as suas potencialidade e limitações, o que contribuiu de maneira muito importante,
juntamente com a revisão sistemática da literatura (Capítulo 2), para o desenvolvimento
do método proposto nesse trabalho, o qual será apresentado no próximo capítulo.
96

4 DESENVOLVIMENTO DO MÉTODO PARA AVALIAÇÃO


DE PRESENÇA

Esse capítulo apresenta o desenvolvimento de um método inédito para avaliar a pre-


sença em ambientes virtuais. O método é baseado em fatores já evidenciados na literatura
e permite avaliar o grau de presença, baseado em uma escala, com antecipação tanto ao
desenvolvimento da aplicação quanto aos testes com usuário. Assim, pode ser aplicado
por designers de AVs no projeto de novos sistemas, de forma que se adeque as carac-
terísticas da aplicação à necessidade de proporcionar diferentes níveis de presença aos
usuários, bem como por especialistas em geral de RV para avaliação de AVs já desenvol-
vidos, dispensando a necessidade dos onerosos testes com usuários.
As seções seguintes apresentam a metodologia utilizada para o desenvolvimento do
método, o detalhamento de cada um dos fatores (nome, categoria, descrição, variações,
descrição de cada variação, escore de cada variação e referência) e a maneira de utilização
do método.

4.1 Metodologia
Como ilustrado na Figura 4.1, o desenvolvimento do método para avaliação de pre-
sença iniciou a partir da revisão sistemática da literatura (Capítulo 2), na qual foram
identificados diferentes fatores de impacto no senso de presença, que foram mapeados
(nome do fator, descrição e referência) e, posteriormente categorizados pelo autor nas
categorias Engajamento, Características Pessoais, Fidelidade Interativa e Fidelidade Sen-
sorial. Além disso, a experiência prática de aplicação dos métodos subjetivos e objetivos
já propostos para avaliar o senso de presença, nos experimentos com usuários (Capítulo
3), contribuiu significativamente para a melhor compreensão das potencialidades e limi-
tações de cada método e para verificação do impacto dos fatores mapeados no senso de
presença.
Cada fator identificado na literatura foi investigado profundamente para adequada
compreensão e definição da sua descrição e de suas possíveis variações em um ambiente
virtual. Posteriormente, para cada variação foi determinado um escore, em uma escala de
97

Figura 4.1 Metodologia de desenvolvimento da PFS.

Fonte: o autor.

1 a 7, cuja média final indicará o senso de presença proporcionado pelo AV. Utilizou-se
a mesma escala do questionário SUS (SLATER; USOH; STEED, 1994), por ser esse o
método mais utilizado para medir presença, o que contribui para a validação do método
proposto. O escore inicial foi determinado empiricamente, baseado na revisão da lite-
ratura e nos experimentos realizados, o qual foi posteriormente calibrado nas etapas de
validação do método.
Assim, a partir da revisão sistemática e dos experimentos com usuários realizados, foi
iniciado o desenvolvimento do método que será apresentado a seguir, um método baseado
em fatores de impacto que tem como objetivo permitir a avaliação do senso de presença
em ambientes virtuais imersivos sem a necessidade de testes com usuários.
Para a utilização do método, foi criado um formulário no qual se seleciona, para cada
um dos fatores, a variação correspondente às características do AV que se deseja avaliar
o senso de presença. Após a seleção de uma variação para cada um dos fatores, o formu-
lário calcula e apresenta a média final entre os escores dos fatores, indicando o senso de
presença proporcionado pelo AV.

4.2 Fatores do Método


Conforme já mencionado, a partir da revisão sistemática da literatura foram identifica-
dos 29 fatores de impacto no senso de presença, os quais foram organizados em 4 catego-
rias: Engajamento, Características Pessoais, Fidelidade Interativa e Fidelidade Sensorial
(Figura 4.2). A Tabela 4.2 apresenta os fatores de cada categoria, sua descrição e suas
possíveis variações.
98

Figura 4.2 Fatores de impacto no senso de presença.

Fonte: o autor.
Tabela 4.1 Fatores de impacto no senso de presença em ambientes virtuais.
Categoria Fator Descrição Variação
Inclusão Até que ponto a realidade física é excluída/substituída Total, Parcial, Mínima
Narrativa História vivenciada virtualmente Incompleta, Completa, Envolvente
Atenção Tipo de atenção do usuário que o AV está mantendo Alternada, Seletiva, Concentrada, Sustentada
Engajamento
Emoção Emoção experimentada pelo usuário no AV Nenhuma, Fraca, Média, Forte
Tarefa Ação de fazer algo no AV Nenhuma, Simples, Média, Complexa
Co-Presença Sentimento de estar com alguém no AV Nenhuma, Parcial, Total
Personalidade Maneira característica de sentir e se comportar Abertura para a experiência, Conscienciosidade, Extroversão, Neuroti-
cismo, Amabilidade
Estilo Cognitivo Maneira como as pessoas preferem aprender Visual, Auditivo, Leitura/Escrita, Cinestésico
Características
Imaginação Capacidade de se imaginar em um lugar não real Baixa, Média, Alta
Pessoais
Concentração Capacidade de concentrar o esforço mental Pouca, Média, Alta
Domínio Conhecimento da tarefa e ambiente simulado Nenhum, Pouco, Médio, Muito
Realidade Virtual Experiência com realidade virtual Inexperiente, Pouco Experiente, Experiente, Muito Experiente
Vídeo game 3D Experiência com vídeo game 3D Inexperiente, Pouco Experiente, Experiente, Muito Experiente
Fidelidade Seleção/Manipulação Possibilidade do usuário selecionar/manipular objetos no AV Nenhuma, Pouco Intuitiva, Intuitiva, Muito Intuitiva
Interativa Navegação Possibilidade de se deslocar no AV Nenhuma, Teletransporte, Controle, Voo, Caminhada parado, Cami-
nhada Real, Veículo
Dispositivos Dispositivos fixados no usuário Nenhum, Um, Dois, Mais de dois
Propriocepção Senso de auto-movimento e posição do corpo Ausente, Pouco, Médio, Muito
Corpo virtual Visualização do próprio corpo no AV Ausente, Parcial, Total
Latência Atraso entre a ação do usuário e a reação do AV 0 - 10ms, 11 - 20ms, Acima de 20ms
Transição Mudança de estado entre o mundo real e o virtual Instantânea, Gradual
Sincronização Coordenação entre as ações do usuário e todas as saídas do AV Assíncrona, Síncrona
Fidelidade Plausibilidade Até que ponto o AV é considerado aceitável ou admissível Não Plausível, Plausível
Sensorial Realismo Até que ponto o AV parece real Nenhum, Estático, Dinâmico
Campo de Visão Extensão angular da visão que o usuário tem do AV Até 100◦ , Até 130◦ , Até 180◦ , Maior que 180◦
Resolução N◦ de pontos que cabem em uma linha de 1 polegada LDPI, MDPI, TVDPI, HDPI, XHDPI, XXHDPI, XXXHDPI
Taxa de Quadros Número de imagens exclusivas mostradas por segundo Até 60 FPS, 60 - 90 FPS, Maior que 90 FPS
Áudio Forma como o som é percebido pelo usuário no AV Mono, Estéreo, Surround, 3D
Tato Senso de tocar ou ser tocado por algo no AV Ausente, Cinestésico, Cutâneo
Olfato Senso de sentir os odores do AV Ausente, Presente
Fonte: o autor.

99
100

4.2.1 Fatores de Engajamento

Na categoria Engajamento estão agrupados os fatores associados à capacidade de o


ambiente virtual envolver o usuário durante a experiência de RV. O envolvimento pode
ser superficial ou tão profundo que se torna espontâneo ou automático. Quando ocorre
o envolvimento profundo, não há consciência de si como separado da experiência no AV
(SLATER, 2004). Os fatores dessa categoria são apresentados na Tabela 4.2 e detalhados
a seguir.

Inclusão
Esse fator remete a que ponto as características dos dispositivos usados para a imersão
no AV permitem a exclusão/substituição da realidade física. Interferências da realidade
física, como por exemplo ouvir sons, visualizar o ambiente físico ou se movimentar nesse
ambiente e esbarrar em objetos reais são causas de diminuição ou interrupção do envolvi-
mento e da presença (WITMER; KLINE, 1998).
As variáveis consideradas para esse fator são: Total, quando nenhuma interferência
do meio físico ocorre; Parcial, quando ocorre interferência em alguns momentos da ex-
periência no AV ou Mínima, quando o usuário recebe interferências do ambiente físico
durante toda a experiência no AV.

Narrativa
A narrativa envolve a história projetada, sequência de fatos interligados que ocorrem
ao longo de certo tempo, a ser vivenciada pelo usuário no AV. Os elementos básicos de
uma narrativa são: fato – corresponde à ação narrada; tempo – em que linha temporal
acontece o fato; lugar – descrição de onde acontece o fato; personagens – participantes
ou observadores da ação; causa – razão pela qual acontece o fato; modo – de que forma
acontece o fato; consequência – resultado do desenrolar da ação. Assim, a narrativa é uma
importante característica do AV, que contribui para o usuário sentir-se mais ou menos in-
teressado e envolvido na experiência. Alguns elementos de uma narrativa envolvente são
suspense, curiosidade, surpresa e desafio. Isso porque esses elementos têm a capacidade
de afastar as pessoas de seus habituais modelos de pensamento e cria uma ampla diversão
que lhes desperta o grau de atenção e interesse. Por outro lado, uma narrativa incompleta
ou pouco envolvente pode desmobilizar o usuário, permitindo que desvie seus pensamen-
tos da experiência no AV (BUCHER, 2018; RYAN, 2004).
Assim sendo, a narrativa de um AV, dependendo do seu planejamento poderá ser in-
completa, completa ou envolvente. Uma narrativa é considerada incompleta quando não
apresenta todos os elementos básicos (fato, tempo, lugar, personagens, causa, modo e con-
sequência). Já a narrativa completa apresenta todos os elementos e a narrativa envolvente
apresenta todos os elementos e, adicionalmente, inclui pelo menos uma das seguintes ca-
racterísticas: desafio, suspense, curiosidade, surpresa (KIM, 2005).
101

Atenção
A atenção refere-se à concentração da atividade mental sobre um objeto determinado,
e o tipo de atenção que o AV está demandando do usuário é um dos fatores de forte
influência na sensação de presença, dado que dificilmente o usuário se sentirá presente
caso o AV não esteja prendendo sua atenção. Como exemplo da importância da atenção,
pode-se citar a leitura de um livro, que mesmo sem todos os estímulos sensoriais de um
AV, se for capaz de prender a atenção do leitor poderá levá-lo a se imaginar dentro da
história (BARKLEY, 1997).
A psicologia afirma que existem vários tipos de atenção, sendo que alguns são cons-
cientes e outros automáticos. Os quatro tipos de atenção, segundo a psicologia são: con-
centrada, alternada, sustentada e seletiva. A atenção concentrada é caracterizada pela
concentração do cérebro em apenas uma atividade, excluindo todos os estímulos ao redor.
A atenção alternada é caracterizada pela divisão da atenção entre duas ou mais atividades.
A atenção sustentada é a habilidade de manter-se focado durante uma atividade contínua
e repetitiva, quando a mente está focada em uma mesma tarefa por um longo período,
sem distrações. Já a atenção seletiva é um tipo de atenção consciente, quando escolhemos
onde nossa mente deve permanecer focada (BARKLEY, 1997).

Emoção
Responsáveis por gerar respostas e comportamentos de uma pessoa diante de um estí-
mulo externo, as emoções fazem parte da vida humana. Uma das teorias mais difundidas
sobre as emoções foi desenvolvida pelo psicólogo Paul Ekman (EKMAN; DAVIDSON,
1994). Existem estudos que encontraram até 27 emoções, contudo, seis são conside-
radas básicas, segundo a teoria de Ekman, porque indivíduos de todo o mundo podem
experimentá-las, independente da cultura na qual se está inserido. São elas: alegria, medo,
nojo, raiva, surpresa e tristeza.
A alegria está relacionada à sensação de prazer e contentamento, o medo é um me-
canismo de proteção contra perigos reais ou criados pelo inconsciente, o nojo ou repulsa
é a reação que uma pessoa tem ao se deparar com algo que considere extremamente
desagradável, a raiva é o sentimento que impulsiona o indivíduo a agir para superar as
dificuldades de forma construtiva ou destrutiva, a surpresa está relacionada a algo inespe-
rado que causa admiração ou espanto e a tristeza é o contrário da alegria, gera desânimo
e descrença (EKMAN; DAVIDSON, 1994).
As variáveis do fator emoção estão relacionadas à intensidade de emoções que o AV
provoca no usuário, sendo possível que não provoque nenhuma emoção ou provoque emo-
ções leves, medianas ou fortes.

Tarefa
102

Esse fator está relacionado à necessidade ou não de o usuário realizar tarefas no AV,
dado que a realização de tarefas contribui para a sensação de presença na medida que
envolve e exige atenção e raciocínio do usuário (NEDEL et al., 2016). Um AV pode não
exigir ações do usuário, além da visualização do ambiente, ou pode solicitar que o usuário
realize tarefas de diferentes graus de complexidade (simples, médias ou complexas).

Co-presença
A co-presença é definida como “[...] a experiência subjetiva de estar junto com os
outros em um ambiente gerado por computador”. Os “outros” mencionados na definição
não precisam ser seres humanos, mas também podem ser agentes gerados por computador
(SHERIDAN, 1992). Um AV pode não contemplar a presença de humanos virtuais ou de
outros seres, como por exemplo robôs, animais, etc. bem como pode incluir a presença
de um ou mais seres durante parte ou a totalidade da experiência.
Tabela 4.2 Fatores da Categoria Engajamento.
Fator Variação Descrição Escore Referência
Mínima Ocorrem interferências do ambiente físico durante toda a experiência 2,0
Inclusão Parcial Ocorrem interferências do ambiente físico em alguns momentos 4,5 (NASH et al., 2000)
Total Nenhuma interferência do meio físico ocorre 6,5
Incompleta Não apresenta todos os elementos da narrativa 2,5
Narrativa Completa Apresenta todos os elementos da narrativa 5,0 (KIM, 2005)
Envolvente Apresenta todos os elementos e pelos menos mais um adicional 6,5
Alternada Possibilita que o usuário alterne a atenção com atividades externas 2,5
Seletiva Possibilita alteração da atenção, mas mantém o usuário focado 5,5 (WITMER; KLINE, 1998)
Atenção
Concentrada Exige concentração total e exclusiva do usuário 6,5
Sustentada Exige atenção do usuário por um longo período, sem distrações 7,0
Ausência Não provoca emoções no usuário 1,5
Fraca Provoca fracas emoções no usuário 3,5 (SLATER; USOH, 1993)
Emoção
Média Provoca emoções medianas no usuário 5,0
Forte Provoca fortes emoções no usuário 6,5
Nenhuma Não exige nenhuma tarefa além da visualização 1,5
Simples Exige a execução de tarefas simples 3,5 (SLATER; USOH, 1993)
Tarefa
Média Exige a execução de tarefas de média complexidade 5,0
Complexa Exige a execução de tarefas complexas 6,5
Nenhuma Não existem outros atores no AV 2,0
(JORISSEN; WIJNANTS;
Co-presença Parcial Existem outros atores em alguns momentos da experiência 4,5
LAMOTTE, 2005)
Total Contempla outros atores durante toda a a experiência 6,5
Fonte: o autor.

103
104

4.2.2 Fatores Pessoais

Nesta categoria estão os fatores relacionados às características pessoais (Tabela 4.3),


que variam entre os usuários e influenciam no senso de presença. Diferentes autores têm
afirmado que as diferenças individuais dos sujeitos são um dos componentes do senso de
presença em ambientes virtuais (STEUER, 1992; LOMBARD; DITTON, 1997), sendo
que Schubert afirma que o sistema é apenas a matéria-prima para a mente que constrói
uma ilusão (SCHUBERT; FRIEDMANN; REGENBRECHT, 2001).
Fatores relacionados à personalidade, estilo cognitivo, capacidade de concentração e
de imaginação, conhecimento do domínio da aplicação simulada no AV e experiências
anteriores tanto em realidade virtual como em vídeo game 3D são influenciadores da sen-
sação de presença, e se diferem entre os usuários.

Personalidade
A personalidade é o conjunto de qualidades e características psicológicas que define a
individualidade de uma pessoa, ou seja, sua forma de pensar, sentir e agir (JUNG, 2016).
Essas diferenças individuais influenciam na disposição que os diferentes indivíduos têm
para se “entregar” à uma experiência de realidade virtual e isso influencia, consequente-
mente, na capacidade de se sentir presente em um mundo virtual.
Os traços de personalidade Big Five Inventory (BFI) (JOHN; SRIVASTAVA, 1999)
são as medidas de personalidade cientificamente mais aceitas e mais comumente utiliza-
das. Através do questionário de 44 itens do BFI é possível avaliar eficientemente as cinco
dimensões da personalidade:

• Abertura à Experiência - o primeiro fator do modelo Big Five, a abertura para a


experiência, enfoca o interesse pela arte, emoção, aventura, curiosidade, bem como
uma recepção geral à novidade. Este traço distingue as pessoas imaginativas das
convencionais. Indivíduos com pontuação alta na abertura à experiência tendem a
ser muito criativos e receptivos às novas ideias e atividades. As pessoas com baixo
grau de abertura tendem a ter interesses mais convencionais e tradicionais. Elas
preferem o simples, claro e óbvio ao complexo e ambíguo;

• Conscienciosidade - é a tendência de autodisciplina, orientação para os deveres e


para atingir os objetivos, gira em torno da ideia de organização e perseverança. Este
traço mostra uma preferência pelo comportamento planejado em vez do espontâneo.
Sujeitos com alta pontuação nesse traço tendem a ser muito confiáveis e trabalhado-
res dedicados. Eles dependem fortemente da organização e usam uma abordagem
metódica para atingir seus objetivos. Já aqueles com baixa pontuação tendem a
ser mais impulsivos e descontraídos. A espontaneidade costuma caracterizar sua
abordagem;
105

• Extroversão - é caracterizada por emoções positivas e pela tendência para procurar


estimulação e a companhia dos outros, se concentra na sociabilidade, que é de onde
os indivíduos retiram sua energia. Os extrovertidos gostam de estar com pessoas,
e tendem a ser indivíduos entusiastas. Em grupos eles tendem a ser faladores, as-
sertivos e a chamar as atenções para si. Os introvertidos tendem a parecer calmos,
ponderados e menos envolvidos com o mundo social. Os introvertidos necessitam
de menos estimulação e de mais tempo sozinhos do que os extrovertidos;

• Amabilidade - gira em torno da ideia de confiança, honestidade e conformidade.


Indivíduos “amáveis” valorizam a boa relação com os outros e são geralmente res-
peitosos, amigáveis e generosos. Elas acreditam que as pessoas são honestas, de-
centes e dignas de confiança. Indivíduos “não-amigáveis” põem o interesse próprio
acima da boa relação com os outros. Eles estão mais dispostos a usar a lisonja ou a
astúcia para receberem favores dos outros;

• Neuroticismo - também chamado de instabilidade emocional, se concentra na expe-


riência das emoções negativas, como raiva, ansiedade ou depressão. Aqueles com
um grau elevado de neuroticismo são emocionalmente reativos e vulneráveis ao es-
tresse. Estes estão mais predispostos a interpretar situações normais como sendo
ameaçadoras, e pequenas frustrações como dificuldades sem esperança. No outro
extremo da escala, indivíduos com baixo neuroticismo são mais difíceis de serem
perturbados e são menos reativos emocionalmente. Eles tendem a ser calmos, emo-
cionalmente estáveis e livres de sentimentos negativos persistentes.

Estilo Cognitivo
O estilo cognitivo está relacionado à forma como cada indivíduo prefere aprender,
memorizar, pensar, processar e utilizar a informação. É possível encontrar na literatura
diversos modelos do processo de aprendizagem. Nesse trabalho, foram adotados os esti-
los de aprendizagem VARK1 , um acrônimo da língua inglesa que designa quatro estilos de
aprendizagem: visual (Visual), auditivo (Auditory), leitura/escrita (Read/Write) e cines-
tésico (Kinesthetic) (FLEMING; MILLS, 1992). O VARK se baseia nos canais sensoriais
das pessoas, através dos quais percebem o mundo. Embora a maioria das pessoas possa
usar todas as modalidades sensoriais trabalhadas no VARK, quando ocorre a incorpora-
ção inconsciente de informação, muitos preferem utilizar-se de modalidades específicas
(FLEMING, 2006). São elas:

• Visual: indivíduos que têm facilidade com esse tipo de aprendizado costumam as-
similar informações dispostas em gráficos, diagramas, mapas e símbolos. Trata-se
de uma percepção essencialmente gráfica do conhecimento;
1
http://vark-learn.com/
106

• Auditivo: apresentam preferência auditiva, assimilam com mais eficiência informa-


ções sonoras. São grandes memorizadores de conversas, palestras, entrevistas, ou
seja, do conhecimento falado e ouvido;

• Leitura/Escrita: pessoas que têm facilidade em lidar com informações expressas na


forma de palavras. Geralmente tomam nota, elaboram resumos e esquemas para
registrar, de sua maneira, os conhecimentos adquiridos;

• Cinestésicos: necessitam da prática e da experimentação no aprendizado. São pes-


soas cujo senso de realidade no momento da aprendizagem é concreto, e que, por-
tanto, precisam vivenciar o conhecimento.

No contexto da RV, é natural que pessoas com estilo cognitivo visual e cinestésico
tenham maior propensão para se sentirem imersos e presentes no AV do que pessoas com
estilo auditivo e de leitura/escrita.

Imaginação
Segundo o dicionário, imaginação é a capacidade que a mente tem de imaginar, de
criar imagens e representar objetos, seres, cenários e situações na ausência destes ou com
os quais não se teve uma experiência direta. Sonhar, por exemplo, é uma atividade de
imaginação involuntária. A imaginação, seja voluntária ou não, pode provocar altera-
ções no organismo, como aumento da adrenalina, frequência cardíaca, tensão arterial e
respiração, mesmo que a situação exista apenas na imaginação. No contexto do uso de
ambientes virtuais, as pessoas com maior capacidade de imaginação têm mais propensão
de se sentirem presentes, visto que essas pessoas tendem a dar menor importância para
pequenos detalhes que possam não retratar com perfeição a realidade (HUNTER, 2011).
As variações propostas nesse trabalho para o fator Imaginação são: baixa, média e alta
capacidade de imaginação.

Concentração
A concentração é o estado de quem se concentra, de quem focaliza sua atenção em
determinado assunto ou atividade, ou em suas próprias meditações e pensamentos. O su-
jeito com maior capacidade de concentração tem maior propensão de se sentir presente,
dado que tende a relevar possíveis interferências do mundo real, bem como atentar para
os estímulos do ambiente virtual com maior atenção (WITMER; KLINE, 1998). As vari-
ações possíveis para esse fator são: pouca, média e alta capacidade de concentração.

Conhecimento de Domínio
Esse fator está relacionado ao conhecimento que o usuário possui sobre o contexto
que está sendo exibido no ambiente virtual e/ou das tarefas que estão sendo solicitadas
107

que ele execute no mundo virtual. De acordo com esse fator, os usuários podem se sentir
mais familiarizados com o ambiente simulado, bem como mais confortáveis com as tare-
fas que terão que executar e, assim, os diferentes graus de domínio são influenciadores do
quanto o usuário poderá se sentir presente no AV. Sujeitos com maior conhecimento do
domínio têm maior propensão para se sentirem presentes no AV (NEDEL et al., 2016). As
variações possíveis para esse fator são: nenhum, pouco, médio ou muito conhecimento
de domínio.

Experiência em Realidade Virtual


Esse fator está relacionado às experiências já vivenciadas pelo participante em ambi-
entes de realidade virtual. Pessoas com muita experiência em realidade virtual tendem a
ser mais criteriosas com a fidelidade que o AV proporciona e, em função disso, podem
ter maior dificuldade em se sentirem presentes (SKARBEZ; BROOKS JR.; WHITTON,
2017). Nesse trabalho foi proposto que a experiência do público de um AV pode ser clas-
sificada da seguinte forma: Inexperiente, quando o usuário nunca utilizou uma aplicação
de realidade virtual; Pouco experiente, quando utilizou menos de 5 aplicações de RV;
Experiente, quando utilizou entre 5 e 15 aplicações de RV e Muito Experiente, quando
utilizou mais de 15 aplicações RV.

Experiência em Vídeo Game 3D


O mesmo vale para o fator relacionado à experiência do participante com vídeo game
3D. Jogadores experientes são mais criteriosos com as características do AV e, em função
disso, podem ter maior dificuldade de se sentirem presentes (RACHEVSKY; SOUZA;
NEDEL, 2018). A experiência com vídeo game 3D pode classificada da seguinte forma:
Inexperiente, quando o usuário nunca jogou vídeo game 3D; Pouco experiente, joga uma
vez por mês; Experiente, joga pelo menos uma vez por semana e Muito Experiente, joga
mais de uma vez por semana.
108
Tabela 4.3 Fatores Relacionados às Características Pessoais.
Fator Variação Descrição Escore Referência
Abertura à Experiência Enfoca a recepção geral à novidade 2,5 (baixa) 6,0 (alta)
Conscienciosidade Gira em torno da ideia de organização e perseverança 5,5 (baixa) 2,0 (alta)
(SLATER; USOH,
Personalidade Extroversão Se concentra na sociabilidade 2,5 (baixa) 6,0 (alta)
1993)
Amabilidade Ideia de confiança, honestidade e conformidade 2,5 (baixa) 6,0 (alta)
Neuroticismo Se concentra na experiência das emoções negativas 2,5 (baixa) 6,0 (alta)
Leitura/Escrita Preferem assimilar informações expressas por palavras 1,5
Auditivo Preferem assimilar informações sonoras 3,0
Estilo Cognitivo (STEUER, 1992)
Visual Preferem assimilar informações dispostas visualmente 5,5
Cinestésico Preferem aprender realizando tarefas 7,0
Baixa Baixa capacidade de imaginação 2,0
(LOMBARD; DIT-
Imaginação Média Capacidade média de imaginação 4,5
TON, 1997)
Alta Alta capacidade de imaginação 6,5
Pouca Baixa capacidade de concentração 2,0
(WITMER; KLINE,
Concentração Média Capacidade média de concentração 4,5
1998)
Alta Alta capacidade de concentração 6,5
Nenhum Nenhuma experiência no ambiente e tarefas a serem executadas 1,5
Pouco Já esteve em ambiente similar ou realizou as tarefas poucas vezes 3,5
Domínio (SOUZA et al., 2019)
Médio Vivencia ambiente similar e executa as tarefas com frequência 5,5
Muito Vivencia ambiente similar e executa as tarefas diariamente 7,0
Muito Experiente Experimentou mais de 15 AVs 2,0
Experiência
Experiente Experimentou entre 5 e 15 AVs 4,0
em Realidade (NEDEL et al., 2016)
Pouco Experiente Experimentou menos de 5 AVs 5,5
Virtual
Inexperiente Nunca experimentou RV 6,5
Muito Experiente Joga vídeo game 3D mais de uma vez por semana 2,0
(RACHEVSKY;
Experiência em Experiente Joga vídeo game 3D pelo menos uma vez por semana 4,0
SOUZA; NEDEL,
Vídeo Game 3D Pouco Experiente Joga vídeo game 3D uma vez por mês 5,5
2018)
Inexperiente Nunca jogou vídeo game 3D 6,5
Fonte: o autor.
109

4.2.3 Fatores de Fidelidade Interativa


Na categoria Fidelidade Interativa estão os fatores associados à forma como o usuá-
rio interage no ambiente virtual, tanto na seleção e manipulação de objetos 3D como na
forma de deslocamento dentro do AV (Tabela 4.4). A interação é fundamental em rea-
lidade virtual e é crucial para que o usuário se sinta presente no mundo virtual. Não há
maior prova e sensação de estar em algum lugar do que exercer seu poder nesse mundo,
ligando-se diretamente a ele. Dificilmente alguém pode se sentir em algum lugar se o
mundo não reagir a você e você não puder interagir. Assim, quanto mais intuitiva ou
natural for a forma de interação e navegação, maior a possibilidade de o usuário se sentir
presente, dado que não será necessário esforço cognitivo para realizar as ações de intera-
ção e navegação (GALDIERI; CARROZZINO, 2019; ROGERS et al., 2019).

Seleção e Manipulação
No que tange às possibilidades de seleção e manipulação dos objetos 3D, é possível
que o AV não exija nenhuma ação. Nos casos em que há previsão de seleção ou manipu-
lação, dependendo do dispositivo ou técnica utilizada, a forma de interagir poderá ser ou
não intuitiva/natural. A interação por gestos, por exemplo, tende a ser mais natural que
a interação por controles. Outro exemplo é a interação em um simulador cirúrgico, que
utiliza o próprio instrumento para interação no AV (KIM, 2005).

Navegação
Da mesma forma, no que se refere à técnica utilizada para o usuário se deslocar no
AV, conforme Usoh (USOH et al., 1999), quanto mais natural a técnica utilizada, maior o
potencial de o usuário se sentir presente. Nesse trabalho, foi definido que o AV pode ou
não exigir deslocamento e, caso exija, utiliza uma das atuais técnicas de navegação: tele-
transporte, voo, controle, caminhada parado, caminhada real ou deslocamento veicular.
110
Tabela 4.4 Fatores de Fidelidade Interativa.
Fator Variação Descrição Escore Referência
Nenhuma AV não possibilita interação 2,0
Seleção/Manipulação Não Intuitiva AV possibilita interação de maneira não intuitiva 4,5 (KIM, 2005)
Intuitiva AV possibilita interação de maneira intuitiva 6,5
Nenhuma AV não possibilita deslocamento 1,5
Teletransporte Usuário seleciona o destino e é teletransportado para tal local 2,5 (USOH et al., 1999)
Voo Voo a partir do próprio corpo virtual 4,0
Navegação
Controle Navegação através da haste do controle de vídeo game 4,0
Caminhada parado Usuário caminha sem sair do lugar 5,5
Veículo Deslocamento controlado por interface veicular 6,5
Caminhada real Caminhada real 7,0
Fonte: o autor.
111

4.2.4 Fatores de Fidelidade Sensorial

Nessa categoria estão todos os fatores que influenciam a presença de acordo com a
intensidade que proporcionam fidelidade perceptiva aos usuários, a partir dos sentidos da
visão, audição, tato e olfato (Tabelas 4.5 e 4.6). Relacionados à visão, foram identificados
diversos fatores como a possibilidade de visualização do corpo virtual, latência, resolução,
taxa de apresentação dos quadros, realismo e campo de visão. Com relação ao sentido do
tato, foram elencados os fatores de retorno háptico e dispositivos. Adicionalmente, além
dos fatores diretamente relacionados ao olfato e a audição, foram identificados fatores
mais gerais, sendo eles propriocepção, transição, sincronização e plausibilidade.

Dispositivos
A necessidade do uso de dispositivos de RV pode influenciar na presença, dado que
são elementos que fazem o usuário tomar consciência de que está em um ambiente simu-
lado, como por exemplo o peso na cabeça causado pelo HMD, o fio do HMD, os controles
nas mãos, dentre outros. Nesse contexto, quanto menor o número de dispositivos utiliza-
dos ou fixados no usuário, maior a possibilidade dele esquecer o ambiente real e se sentir
presente no AV (NAKANO; YANAGIDA, 2016). Nesse trabalho, foram definidas as se-
guintes variações possíveis para o fator dispositivo: nenhum, um, dois ou mais de dois
dispositivos usados/fixados no usuário.

Propriocepção
Também chamada de cinestesia, refere-se à capacidade de reconhecer a localização
espacial e movimento do corpo, posição e orientação, força exercida pelos músculos e a
posição de cada parte do corpo em relação às demais. Dependendo das características,
o ambiente virtual pode proporcionar menor ou maior senso proprioceptivo ao usuário,
sendo que quanto melhor for essa percepção, maior será a contribuição para o senso de
presença, pois mais fidedigno à realidade será o AV (Kim et al., 2019). As possibilidades
relacionadas à propriocepção são o AV não proporcionar senso proprioceptivo ou propor-
cionar pouco, médio ou muito senso proprioceptivo.

Corpo Virtual
Esse fator está relacionado à possibilidade de o ambiente virtual realizar correlações
multissensoriais para produzir a ilusão do corpo virtual do usuário. Os achados suge-
rem que a propriedade de membros e corpos virtuais pode envolver os mesmos processos
perceptivos, emocionais e motores que nos fazem sentir que possuímos nossos corpos bio-
lógicos, aumentando, portanto, a probabilidade de o usuário se sentir presente e responder
realisticamente a eventos e situações virtuais (SLATER et al., 2009). As possibilidades
para esse fator são o AV não proporcionar a visualização do corpo virtual, proporcionar
visão parcial do corpo ou proporcionar visão total do corpo do usuário.
112

Latência
A latência é uma característica relacionada ao atraso entre ação / movimento do usuá-
rio e quando essa ação é visível no ambiente virtual. Tal característica é conhecida por
ter um efeito adverso tanto no desempenho como no conforto dos usuários em AVs (ME-
EHAN et al., 2003). Atualmente, considera-se que uma latência maior do que 20 mili-
segundos (ms) é ruim para RV. Sendo assim, as variações consideradas foram: entre 0 e
10ms, entre 10 e 20ms e maior que 20ms.

Transição
A transição está relacionada a uma mudança de estado entre o mundo real e o virtual
ou entre mundos virtuais distintos, sendo, normalmente, instantânea (JUNG et al., 2018).
No cinema, as transições entre cada par de cortes comunicam uma quebra na ação em
tempo real, para transmitir uma mudança no tempo e/ou lugar para o espectador. Em RV,
essa mudança entre o mundo real e o virtual, se instantânea e brusca, pode dificultar ou
quebrar a sensação de presença do usuário (MEN et al., 2017). Assim, transições rápi-
das mas suaves podem reduzir o choque de entrar em um novo ambiente, o que pode ser
obtido de diferentes formas, inclusive via software. Por exemplo, na inicialização, o AV
pode iniciar simulando o ambiente real e gradativamente apresentar as imagens e sons do
ambiente virtual e, somente após essa transição breve, mas significativa, o usuário inicia
a interação com o mundo virtual. Nesse contexto, os AVs realizam a transição entre o
mundo real e o virtual de forma instantânea ou gradual.

Sincronização
A sincronização está relacionada à capacidade de o ambiente virtual apresentar todas
as saídas, seja visual, sonora, tátil e outras, de forma síncrona ao usuário. A falta de sin-
cronia, como por exemplo na vibração do controle relacionado a uma interação do usuário
ou no som atrasado em relação a uma movimentação na cena, causa interferência negativa
na sensação de presença (FRIEDMANN; STARNER; PENTLAND, 1992). As variações
para esse fator são assíncrono, quando não apresenta adequada sincronia entre os eventos
visuais, sonoros e interacionais, ou síncrono, quando apresenta sincronia entre todos os
estímulos.

Plausibilidade
Conforme o dicionário, plausível é um adjetivo que caracteriza algo que se pode ad-
mitir, que é aceitável ou razoável. Com base nas pesquisas já realizadas, pode-se dizer
que um componente chave da plausibilidade em RV é que o AV forneça correlações entre
eventos externos, não causados diretamente pelo participante, e suas próprias sensações,
ou seja, uma relação de causa e efeito aceitável. Assim, é importante observar que a
113

plausibilidade não exige realismo físico, mas sim credibilidade dos eventos que estão
ocorrendo – até que ponto eles correspondem às expectativas do que normalmente acon-
teceria nas circunstâncias reais. Essa camada de conformidade com a expectativa, com
conhecimento e crenças anteriores, também deve desempenhar um papel muito impor-
tante na manutenção da ilusão de que os eventos que ocorrem são verdadeiros, sendo,
assim, necessário um cenário confiável e interações plausíveis entre o participante, obje-
tos e personagens virtuais no ambiente, com muito pouco espaço para erros (SLATER,
2009a). Nesse contexto, os AVs podem ou não ser plausíveis para os usuários.

Realismo Visual
O realismo visual tem dois componentes – o realismo geométrico (o objeto virtual
parece como o objeto real) e o realismo de iluminação (referindo-se à fidelidade do mo-
delo de iluminação). Ambos tipos têm aspectos estáticos e dinâmicos. Um objeto pode
parecer estaticamente realista, mas com o tempo, suas alterações dinâmicas podem não
ser. Diferentes estudos evidenciaram que o maior realismo visual induz maior presença
de participantes (SLATER et al., 2009). Assim, um AV pode proporcionar nenhum re-
alismo visual, realismo visual apenas estático, quando proporciona realismo dos objetos
apenas quando estão parados, ou realismo dinâmico, quando o AV proporciona realismo
dos objetos parados, em movimento e quando são alterados.

Campo de Visão
O campo de visão, ou a extensão do ambiente observável, é um dos aspectos mais
importantes da realidade virtual. Existem dois tipos de campo de visão que trabalham
juntos para formar a visão humana, o monocular e o binocular. O campo monocular des-
creve o campo de visão de um dos olhos, sendo que o horizontal está entre 170o e 175o ,
o nasal entre 60o e 65o e o temporal entre 100o e 110o . Já o campo de visão binocular é a
combinação dos dois campos de visão monoculares, que fornece aos humanos uma área
visível de 200o a 220o . Onde os dois campos de visão monoculares se sobrepõem, existe
o campo de visão binocular estereoscópico, de cerca de 114o , que possibilita perceber as
coisas em 3D. Ao criar um amplo campo de visão, os AVs podem oferecer excelente imer-
são e profundidade de visualização a todos os conteúdos que renderiza para o usuário e,
consequentemente, potencializar a sensação de presença (LIN et al., 2002). Sendo assim,
nesse trabalho, foram propostas as seguintes variações para o campo de visão: até 100o ,
entre 100o e 130o , entre 130 e 180o e maior que 180o .

Resolução
A resolução está relacionada ao número de pontos que podem ser exibidos por pole-
gada no display e geralmente é definida pela medida de pontos por polegada (PPI). Alta
resolução possibilita imagens nítidas, claras e detalhadas. Baixa resolução pode fazer com
114

que os pixels se tornem visíveis aos olhos humanos, ou seja, visão pixelizada das imagens.
Para uma imersão ideal, os pixels devem ser densos o suficiente para ficarem invisíveis
aos olhos humanos, quando vistos de perto (SCHUEMIE et al., 2001). Atualmente, uma
das maiores resoluções em RV é a do HMD HTC Vive Pro, de 2880 x 1600 (615 PPI).
Para o método proposto, a resolução foi categorizada da seguinte forma: LDPI - baixa
densidade (120 PPI), MDPI - média densidade (120–160 PPI), TVDPI - média alta densi-
dade (160–213 PPI), HDPI - alta densidade (213–240 PPI), XHDPI - extra alta densidade
(240–320 PPI), XXHDPI - extra extra alta densidade (320–480 PPI) e XXXHDPI - extra
extra extra alta densidade (480–640 PPI).

Taxa de Apresentação
Quadros por segundo (frames per second - FPS) se refere ao número de imagens mos-
tradas por segundo de vídeo. Um vídeo normal é reproduzido a 30 FPS, mas para uma
experiência cinematográfica melhor, é necessário pelo menos 60 FPS. Já para uma boa ex-
periência de realidade virtual, com uso de HMD, precisamos de uma taxa de 90 quadros
por segundo. Estudos mostraram que, qualquer configuração de RV que gere taxas de
quadros abaixo de 90 quadros por segundo provavelmente induzirá desorientação, náusea
e outros efeitos negativos no usuário (WEECH; KENNY; BARNETT-COWAN, 2019).
Quanto menor a taxa de apresentação, pior os efeitos. Assim, o objetivo dos desenvolve-
dores de RV é atingir 90 FPS durante toda a experiência no AV (BARFIELD; HENDRIX,
1995). A HTC e a Oculus usam uma taxa de atualização de 90 Hertz, exigindo, assim, que
o conteúdo seja idealmente reproduzido a 90 quadros por segundo. Ao atingir essa taxa é
possível obter uma experiência mais suave e imersiva. A manutenção da taxa de quadros
é extremamente importante porque a RV amplifica até os menores lapsos de desempe-
nho. Esses lapsos, por menores que sejam, interrompem instantaneamente a conexão dos
usuários com o mundo virtual e seu sentido de presença, mas também podem causar uma
sensação muito desagradável de náusea. Essencialmente, se você se move e o mundo
virtual ao seu redor não acompanha esse movimento, seu cérebro instantaneamente reco-
nhece que algo está errado e provoca mal-estar. No método proposto, as variações dos
quadros por segundo consideradas são: até 60 FPS, entre 60 e 90 FPS ou maior que 90
FPS.

Áudio
O sistema auditivo humano usa os dois ouvidos para distinguir entre frente e verso,
para cima e para baixo e tudo mais. Infelizmente, os equipamentos de áudio de hoje e
os formatos de gravação e reprodução são inadequados para a tarefa de recriar de forma
convincente o som em diferentes contextos. Para uma experiência realista, é preciso du-
plicar a direção e a posição precisas de cada som – de cima para baixo, longe e perto,
para trás e para frente – e atualizá-lo dinamicamente à medida que o usuário se desloca no
115

mundo virtual. Alguns produtores de realidade virtual já começaram a usar a tecnologia


de áudio 3D de primeira geração para melhorar o som estéreo e surround bidimensional.
O formato de áudio mais usado atualmente é o som de dois canais ou estéreo. Um sis-
tema estéreo registra dois sinais, esquerda e direita; o ouvinte os reproduz através de um
par de alto-falantes ou fones de ouvido – novamente, um para a esquerda e outro para a
direita. Os sistemas de som surround vão além do estéreo adicionando um alto-falante
frontal central, dois ou quatro alto-falantes traseiros e um subwoofer para saída de graves
dedicada. Esses sistemas começam a dar uma ilusão em 3D, mas não podem criar um
mundo virtual porque exigem que o ouvinte ocupe posição fixa (JOHANSSON, 2019).
No mundo real, os sons vêm de todas as direções e ao se mover a experiência audi-
tiva muda sensivelmente. Para simular esse efeito em realidade virtual, os sons ouvidos
por cada ouvido devem mudar à medida que a pessoa se move dentro do mundo virtual,
enquanto as fontes de som mantêm suas posições virtuais. Atualmente, para aplicativos
interativos como jogos, os desenvolvedores simplificam as informações acústicas. Eles
separam o som em um conjunto de fontes de som direcionais, juntamente com um campo
de som ambiente combinado, em vez de simular as características acústicas de uma cena
inteira. Os sons direcionais podem então ser processados por funções de transferência
relacionadas à cabeça (HRTF - head-related transfer function), enquanto o som ambiente
é assumido com igual intensidade em todas as direções. Para a maioria das pessoas, essa
técnica produz um som 3D razoavelmente convincente (JOHANSSON, 2019).
Assim, as variações possíveis relacionadas ao áudio de um sistema de realidade vir-
tual são: mono - som captado e reproduzido por um único canal; estéreo - som captado
e reproduzido por dois canais (direito e esquerdo) sincronizados no tempo; surround -
sistema de som multicanal, ou seja, captado e reproduzido por 5 ou 7 canais mono ao
mesmo tempo e 3D - emulação do som ambiente, utilizando de seis a oito canais.

Tato
O retorno tátil é um recurso disponível em alguns ambientes virtuais e tem potencial
para aumentar a eficácia dos sistemas, fornecendo ao usuário uma resposta tátil à interação
com objetos dentro do ambiente virtual (TALVAS, 2014).
Nosso senso de toque é uma combinação de vários receptores diferentes como a tex-
tura, geometria, dureza, temperatura e peso. A interação háptica dos seres humanos com
os objetos e o meio ambiente é, geralmente, obtida através das mãos e dedos e envolve
sinergicamente duas partes, que são o retorno háptico cinestésico e o retorno tátil cutâneo.
A percepção háptica cutânea é mediada pelas respostas dos mecanorreceptores de baixo
limiar sob a pele, na área de contato. Já o retorno háptica cinestésico, referindo-se ao
sentido de posição e movimento da mão com as forças associadas, é mediado pelos me-
canorreceptores em torno das articulações, tendões e músculos (MAEREG et al., 2017).
Muitos dispositivos hápticos comerciais foram desenvolvidos para fornecer retorno
116

háptico cinestésico. No entanto, esses dispositivos são volumosos e caros. Por outro lado,
os dispositivos hápticos cutâneos podem ser de baixo custo e soluções portáteis, embora
possa haver alguma limitação na produção de todas as sensações hápticas. A maioria
dos dispositivos hápticos aplica força e pressão usando atuadores elétricos, pneumáticos,
hidráulicos ou outros sistemas eletromecânicos. Dispositivos como luvas de dados usam
bexigas de ar para endurecer e restringir sua aderência, para que você possa sentir objetos
em realidade virtual. O exoesqueleto usável usa tendões e atuadores para aplicar resis-
tência a cada dedo. Os visores vibrotácteis foram desenvolvidos para uma variedade de
aplicações, incluindo a melhoria da aprendizagem motora através da melhoria do retorno
auditivo e visual (MAEREG et al., 2017).
Nesse contexto, as possibilidades definidas para o retorno tátil foram: sem retorno
tátil, com retorno háptico cinestésico ou com retorno tátil cutâneo.

Olfato
O sentido do olfato é um dos principais meios pelos quais humanos investigam o meio
ambiente. O cheiro pode afetar vários aspectos do estado psicológico dos seres humanos,
tais como atividade, nível de atenção e humor das pessoas. Pode induzir estados de ati-
vação ou relaxamento em pessoas e está estritamente ligado à memória. Nestas bases, os
cheiros têm sido usados recentemente para uma infinidade de aplicações, como aroma-
terapia e marketing, para caracterizar ambientes, para melhorar o humor, para provocar
emoções positivas nas pessoas e para comunicar informações sobre produtos. Estudos
recentes concentraram-se na integração de cheiros em ambientes virtuais, por meio de
displays olfativos, que geram ar odorizado. Infelizmente, a maioria desses dispositivos
são pesados e limitados em termos do número de aromas que podem ser armazenados e
gerados (CARULLI; BORDEGONI; CUGINI, 2015).
Apesar de uma quantidade limitada de pesquisas sobre a inclusão de estímulos mul-
tissensoriais adicionais em RV, muitos benefícios potenciais de sua utilização foram com-
provados. Similarmente aos métodos para fornecer estímulos táteis, os dispositivos para
geração de estímulos olfativos controlados podem ser estáticos ou vestíveis. Como re-
quer a entrega de ar odorizado para o usuário através de um fluxo de ar, métodos para
fornecer estímulos olfativos também podem sofrer latência, questões de intensidade, peso
e tamanho (RANASINGHE et al., 2018).
Assim, as variáveis consideradas para o fator relacionado ao olfato foram: ausência
ou presença de retorno olfativo.
Tabela 4.5 Fatores relacionados à Fidelidade Sensorial.
Fator Variação Descrição Escore Referência
Mais de dois Mais de dois dispositivos no usuário 1,5
Dois Dois dispositivos dispostos no usuário 3,5
Dispositivos (NAKANO; YANAGIDA, 2016)
Um Um dispositivo é disposto no usuário 5,5
Nenhum Nenhum dispositivo no usuário 7,0
Ausente Ambiente virtual não proporciona senso proprioceptivo 1,5
Pouco Senso proprioceptivo pouco disponibilizado pelo AV 3,5
Propriocepção (GIROUX et al., 2018)
Médio Senso proprioceptivo parcialmente disponibilizado pelo AV 4,5
Muito Senso proprioceptivo fortemente fornecido pelo AV 6,5
Ausente AV não proporciona visão do corpo virtual do usuário 2,0
(SLATER; MCCARTHY; MARIN-
Corpo Virtual Parcial AV proporciona visão parcial do corpo virtual do usuário 4,5
GELLI, 1998)
Total AV proporciona visão total do corpo virtual do usuário 6,5
Acima de 20ms Latência maior que 20ms 2,0
Latência 10 - 20ms Latência entre 10 e 20ms 4,5 (MEEHAN et al., 2003)
0 - 10ms Latência até 10ms 6,5
Instantânea Não existe transição entre o mundo real e o virtual 3,0
Transição (STEINICKE et al., 2009)
Gradual Transição gradual entre o mundo real e o virtual 6,5
Assíncirno AV não apresenta adequada sincronia entre os estímulos 2,5
Sincronização (ROCCHESSO et al., 2003)
Síncrino AV apresenta sincronia entre todos os estímulos 6,0
Não Plausível AV não aceitável, admissível 2,5
Plausibilidade (SLATER, 2009b)
Plausível AV aceitável, admissível 6,0
Nenhum AV não proporciona realismo geométrico e de iluminação 1,5
Realismo Visual Estático AV proporciona realismo dos objetos quando estão parados 4,0 (HENDRIX; BARFIELD, 1996)
Dinâmico AV proporciona realismo dos objetos parados e em movimento 6,5
Até 100◦ Campo de visão de até 100◦ 1,5
Até 130◦ Campo de visão até 130◦ 3,5
Campo de Visão (SEAY et al., 2001)
Até 180◦ Campo de visão até 180◦ 5,5
Acima de 180◦ Campo de visão acima de 180◦ 6,5

117
Fonte: o autor.
118
Tabela 4.6 Fatores relacionados à Fidelidade Sensorial (cont.).
Fator Variação Descrição Escore Referência
LDPI Baixa densidade (120 PPI) 1,0
MDPI Média densidade (120–160 PPI) 2,0
TVDPI Média alta densidade (160–213 PPI) 3,0
Resolução HDPI Alta densidade (213–240 PPI) 4,0 (KIM, 2005)
XHDPI Extra alta densidade (240–320 PPI) 5,0
XXHDPI Extra extra alta densidade (320–480 PPI) 6,0
XXXHDPI Extra extra extra alta densidade (480–640 PPI) 7,0
Até 60 FPS AV exibe até 60 quadros por segundo 2,5
Taxa de Quadros 60 - 90 FPS AV exibe entre 60 e 90 quadros por segundo 5,5 (BARFIELD; HENDRIX, 1995)
Mais de 90 FPS AV exibe mais de 90 quadros por segundo 7,0
Mono Som captado e reproduzido por um único canal 2,0
Estéreo Som captado e reproduzido por dois canais 5,0 (RIECKE; VäLJAMäE; SCHULTE-
Áudio
Surround Sistema de som multicanal 6,5 PELKUM, 2009)
3D Emulação do som ambiente 7,0
Ausente Av não proporciona retorno tátil 2,0
Tato Cinestésico Retorno tátil das forças associadas 5,0 (INSKO, 2001)
Cutâneo Retorno do contato com a pele 6,0
Ausente AV não proporciona retorno olfativo 2,5
Olfato (RANASINGHE et al., 2018)
Presente AV proporciona retorno olfativo 6,0
Fonte: o autor.
119

4.3 Utilização do Método


Para a utilização do método, foi criado um formulário (Figura 4.3) no qual se deve
selecionar a variação correspondente às características do AV, para cada um dos 29 fatores
do método. Após a seleção de uma variação para cada um dos fatores, o formulário calcula
e apresenta a média final entre os escores dos fatores, indicando o senso de presença
proporcionado pelo AV. O formulário foi criado em inglês, tendo em vista que o público-
alvo é composto pela comunidade global de RV.
Quando utilizado na etapa de projeto de um AV, é possível alterar as variações dos
fatores para que se verifique o impacto no senso de presença, o que contribui para que
decisões sobre a implementação do AV sejam tomadas ainda na fase de projeto. Esse é
um ganho considerável, pois evita retrabalho e gera economia de tempo e recursos no
desenvolvimento do AV. Como já mencionado, o percurso mais comum é a realização da
avaliação do senso de presença apenas após a implementação completa do AV, através
dos onerosos testes com usuários. Após a análise dos resultados dos testes, a partir da
identificação de que o senso de presença não é satisfatório é que se iniciam os ajustes no
AV com o objetivo de maximizar o senso de presença proporcionado aos usuários.
Já no contexto de um AV pronto, o avaliador deverá selecionar a variação para cada
um dos fatores do método de acordo com as características do AV em questão. Para
isso, é necessário ter conhecimento exato sobre as características do AV, tais como taxa
de apresentação de quadros, resolução, campo de visão, etc. Além das características
técnicas, é necessário conhecimento do conteúdo e forma de uso do AV para que seja
possível indicar as opções correspondentes à atenção, emoção, tarefa, etc.
Dado que o método contempla alguns fatores cuja definição das variações é subjetiva,
como por exemplo os fatores da categoria Engajamento, recomenda-se que a avaliação do
senso de presença do AV através da PSF seja realizada por mais de um avaliador com o
objetivo de aumentar a confiabilidade do resultado.

4.4 Considerações Finais


Nesse capítulo, foi apresentado um método inédito para avaliação de presença baseado
em fatores de impacto identificados na revisão sistemática da literatura sobre presença em
RV. Os 29 fatores que fazem parte do método foram organizados em quatro categorias
(Engajamento, Características Pessoais, Fidelidade Interativa e Fidelidade Sensorial) e
para cada fator um escore inicial, em uma escala de 1 a 7, foi atribuído. Para facilitar
o uso do método, foi criado um formulário contendo os 29 fatores, através do qual é
possível realizar a seleção da variação de cada fator conforme a característica do AV que
se pretende avaliar o senso de presença. A partir da seleção da variante de cada fator, o
formulário calcula e apresenta o grau de presença oferecido pelo AV, na mesma escala de
1 a 7 do pós-questionário SUS (SLATER; USOH; STEED, 1994), um dos métodos mais
120

Figura 4.3 Formulário para utilização da Presence Factor Scale

Fonte: o autor.

utilizados para avaliação de presença.


O método partiu da constatação de que os fatores de impacto identificados na lite-
121

ratura foram validados através de extensos experimentos com usuários e, sendo assim,
podem ser utilizados para avaliar o senso de presença sem a necessidade de novos testes
com usuários. Para isso, uma importante etapa foi a investigação profunda de cada fator
de impacto para que fosse possível identificar todas as suas possíveis variações, no atual
contexto tanto do uso como das tecnologias disponíveis para RV. Nesse contexto, embora
tenha se realizado todo o esforço possível para que o método seja suficientemente gené-
rico, abrangente e estável, destaca-se que o método precisará ser atualizado na medida
que as tecnologias e a própria RV evoluírem.
122

5 VALIDAÇÃO DO MÉTODO PARA AVALIAÇÃO DE PRE-


SENÇA

A validação se refere ao grau em que um teste mede aquilo que se propõe a medir
(BUCKINGHAM, 1921). Já os passos necessários para a validação de um método são
diversos e não há consenso sobre a quantidade de validação necessária para que seja con-
siderado válido. Assim, considera-se que mais evidências são melhores porque isso tende
a aumentar a confiabilidade das medições (HUTZ; BANDEIRA; TRENTINI, 2015).
Segundo Hutz, Bandeira e Trentini (HUTZ; BANDEIRA; TRENTINI, 2015), algu-
mas exigências precisam ser satisfeitas a fim de que um teste para avaliar algo subjetivo
possa ser considerado válido. Em 1954, a American Psychological Association (APA),
a American Educational Research Association (AERA) e o National Council on Mea-
surement in Education (NCME), publicaram a primeira versão dos padrões para testes:
Technical Recommendations for Psychological Tests and Diagnostic Techniques, no qual
a validade foi classificada em três tipos: Validade de Conteúdo, os itens do teste devem
cobrir um determinado conteúdo; Validade de Critério, os itens do teste devem se rela-
cionar de maneira definida com um critério e Validade de Construto, parte-se de uma
hipótese e os itens podem ou não confirmá-la (CHAN et al., 2014).
A visão de validade em três categorias foi a base para os Standards for Educational
and Psychological Testing (AERA; APA; NCME, 1985). Essas normas foram a base
para o desenvolvimento de outras orientações e da legislação sobre testagem. A partir
delas, outras categorias de validade surgiram, como a Validade Convergente e a Validade
Discriminante, propostas por Campbell e Fiske (CAMPBELL; FISKE, 1959).
Messick (MESSICK, 1989) sugeriu uma definição de validade a partir de um julga-
mento integrado da medida que as evidências empíricas e as bases teóricas apoiam as
inferências baseadas nos escores dos testes. Essa definição refletiu na quarta edição dos
Standards for Educational and Psychological Testing (AERA; APA; NCME, 1999), que
já está em sua quinta edição (AERA; APA; NCME, 2014). Segundo seus preceitos, a
validade se refere ao grau no qual evidência e teoria dão suporte às interpretações dos
resultados de um teste, conforme o uso para o qual é proposto e envolve também quem
aplica, onde aplica e como aplica o teste.
123

5.1 Metodologia

Nesse trabalho, inicialmente foi realizada uma avaliação preliminar, com a partici-
pação de dois especialistas em RV, que possibilitou a realização de um conjunto de me-
lhorias. Posteriormente, foi utilizada a mais atual versão dos Standards (AERA; APA;
NCME, 2014), sendo que as fontes de evidência de validade foram baseadas no conteúdo
do teste, no processo de resposta, na estrutura interna e nas relações com outras variá-
veis (AERA; APA; NCME, 2014). Além disso, foi utilizada a validação de fidedignidade
que refere-se à estabilidade com que os escores conservam-se em aplicações alternativas
de um mesmo teste ou em formas equivalentes de teste distintos (URBINA, 2014).

Conteúdo do Teste

A evidência baseada no conteúdo pode ser obtida a partir da análise da relação entre
o conteúdo do teste e o construto que ele pretende medir. Também pode incluir análise
lógica ou empírica quanto à adequação e à relevância do conteúdo para a interpretação
proposta dos escores e pode ser obtida por especialistas que julgam a relação entre os
itens do teste.
Lawshe (LAWSHE, 1975) desenvolveu um método para avaliar evidências de vali-
dade de conteúdo tendo como base a concordância entre avaliadores sobre a importância
de um item no teste. De acordo com Cohen, Swerdlik e Sturman (COHEN; SWERDLIK;
STURMAN, 2014), o teste era submetido à avaliação de juízes, os quais deveriam indicar
se o item era essencial ao teste; útil, mas não essencial; ou não necessário. Se o item
for considerado essencial por mais da metade dos avaliadores, ele tem evidência de vali-
dade de conteúdo. Quanto mais o item for indicado como essencial, mais consistente a
evidência de validade de conteúdo.
Uma outra forma de validade de conteúdo é a evidência de face ou validade aparente,
que se refere ao julgamento subjetivo das pessoas sobre o teste. Quando um teste é apli-
cado, o respondente forma uma opinião sobre ele. Pode achar, com base em sua percepção
sobre os itens ou sobre as tarefas, que se trata de um teste interessante, que mede algo im-
portante, ou que não mede nada relevante. Essa percepção pode afetar as respostas que
o respondente dará ao completar os itens, a sua motivação para responder ao instrumento
e, consequentemente, pode prejudicar seu desempenho. Há vários estudos mostrando que
é importante determinar a validade de face dos instrumentos e que esse tipo de validade
pode interferir com outras fontes de evidências de validade (BORNSTEIN, 1996).

Processo de Resposta

A análise teórica e empírica do processo de resposta pode fornecer evidências sobre


124

o ajuste entre o construto e as respostas. É uma evidência que advém da análise de res-
postas individuais e pode ajudar a responder a questões sobre a diferença em sentido ou
interpretação dos escores. Se o processo de raciocínio usado tem relação com o que a
teoria que embasa o teste afirma, então há evidências de validade baseadas no processo
de resposta.

Estrutura Interna

A evidência baseada na estrutura interna afere o quanto as partes de um teste estão em


conformidade com o construto sendo avaliado, a partir das interpretações propostas para
os escores. Através da análise fatorial é possível identificar fatores ou variáveis especí-
ficas, que são os atributos ou dimensões nos quais os escores variam de um sujeito para
o outro. O fator é formado por um conjunto de itens que apresentam correlação entre si.
Quando os fatores identificados correspondem àqueles descritos pela teoria ou por hipó-
teses teóricas, pode-se dizer que há evidência de validade.

Relações com Outras Variáveis

Conforme os Standards (AERA; APA; NCME, 2014), a interpretação proposta pelo


teste implica que o construto esteja relacionado a outras variáveis. Portanto, análises de
correlação entre os resultados do teste e variáveis externas são uma importante fonte de
evidência de validade. Variáveis externas podem incluir medidas de algum critério que o
teste deverá predizer, assim como relações que são hipotetizadas e verificadas por outros
testes que avaliam o mesmo construto ou ainda construtos opostos. Entre as evidências
baseadas nas relações com outras variáveis, a evidência pode ser convergente, discrimi-
nante e/ou envolver relações teste-critério em que um estudo preditivo ou concorrente
pode ser realizado.
A convergente abarca relações entre escores e outras medidas que pretendem avaliar
o mesmo construto ou um construto similar. Já ao verificar que os escores de dois tes-
tes diferentes avaliando esses construtos não apresentam correlação, o pesquisador terá
encontrado evidência de validade discriminante. Relações teste-critério são as relações
entre o escore de um teste e um critério relevante e estão relacionadas à questão: quão
acurados são os escores de um teste para predizer a performance de um critério? (AERA;
APA; NCME, 2014)

Fidedignidade

A fidedignidade, ou precisão, refere-se à estabilidade com que os escores conservam-


se em aplicações alternativas de um mesmo teste ou em formas equivalentes de testes
125

distintos (URBINA, 2014). A fidedignidade é uma propriedade fundamental, sendo que


um teste com baixa fidedignidade não será válido, pois não mede apropriadamente o
construto de interesse.
O erro de medida está presente em todas as testagens e representa uma variável que
pode limitar ou impossibilitar o uso dos testes. Contudo, como podemos estimá-lo, é
possível utilizá-lo para avaliar a pertinência de usar determinado teste. O valor de erro
aceito dependerá do propósito do teste. O erro resulta da diferença entre escore observado
e escore real, sendo que o escore observado é obtido durante a testagem e o escore real
corresponde à real característica, que nem sempre é possível de ser observada (HUTZ;
BANDEIRA; TRENTINI, 2015).
Dois tipos de erros podem influenciar os escores de um teste: erros aleatórios e erros
sistemáticos. O erro sistemático afeta todas as aplicações do teste igualmente. Já o erro
aleatório pode ou não ocorrer a cada testagem e está relacionado à fadiga, fome, sonolên-
cia, esquecimento de informações, ruídos, entre outros. Além disso, sorte e conhecimento
prévio também são considerados erros aleatórios. Por essa razão, todo cuidado é neces-
sário antes, durante e depois das testagens. Contudo, é importante ressaltar que deve-se
ter como objetivo minimizar o erro, já que sua eliminação total é praticamente impossível
(HUTZ; BANDEIRA; TRENTINI, 2015).
Já a fidedignidade teste-reteste consiste em uma correlação dos escores dos mesmos
testandos avaliados em momentos distintos, o que permite avaliar a consistência dos esco-
res ao longo do tempo. De forma geral, a reaplicação de um teste com alta fidedignidade
revelará coeficientes de correlação com valores superiores a 0,80, que indicam conside-
rável manutenção do valor dos escores entre o primeiro teste (T1) e o reteste (T2), sendo
que quanto mais próximo a 1 for o valor, maior é a relação entre as variáveis. É impor-
tante destacar que o período entre as aplicações impacta significativamente no coeficiente
de correlação. Quanto menor o intervalo de tempo, maior deverá ser o coeficiente de
correlação (HUTZ; BANDEIRA; TRENTINI, 2015).

5.2 Avaliação preliminar


Antes de iniciar as etapas de validação propostas pelos Standards (AERA; APA;
NCME, 2014), o método proposto para avaliar a presença em ambientes virtuais foi sub-
metido a dois especialistas em RV, que fizeram sugestões de melhoria.
As sugestões de melhoria propostas pelo primeiro especialista foram: ajustes no texto
de apresentação, inclusão das referências sobre os passos metodológicos, redução do ta-
manho do formulário (inicialmente possuía 30 páginas), inclusão de um preâmbulo expli-
cando a escala, adequação de algumas nomenclaturas e ajustes em alguns escores.
As sugestões do segundo especialista foram: ajustes em alguns escores, referenciar
estudos anteriores utilizados para definição dos fatores e escala e alteração de algumas
126

nomenclaturas.
Cabe destacar que a maioria das sugestões foram acolhidas e implementadas na versão
do método do Apêndice A, a qual foi utilizada nas próximas etapas da validação.

5.3 Evidência Baseada no Conteúdo do Teste

Conforme já mencionado, a evidência baseada no conteúdo pode ser obtida a partir


da análise da relação entre o conteúdo do teste (temas, forma de escrever, formato dos
itens/tarefas/questões) e do construto que ele pretende medir. Dessa forma, o construto
avaliado fica evidente bem como as inferências possíveis. Também pode incluir análise
empírica obtida por especialistas que julgam a relação entre os itens do teste e o construto
(AERA; APA; NCME, 2014).
As técnicas de validação são essenciais para que evidências de validade de conteúdo
sejam alcançadas. A preocupação com ela começa antes mesmo que se construam os
itens para testar o construto. É preciso que seja feito um exame sistemático do construto
a ser avaliado a fim de que, ao determinar o conteúdo que se deseja testar, ele esteja
corretamente definido. Assim, ao desenvolver um instrumento é necessário pesquisar
a literatura relacionada ao tema e consultar pesquisadores e peritos que trabalham na
área, buscando definir todos os aspectos do construto (HUTZ; BANDEIRA; TRENTINI,
2015). Nesse trabalho, essa etapa foi realizada com a revisão sistemática da literatura, que
possibilitou a adequada compreensão e conceituação do construto relacionado ao senso
de presença e, posteriormente, dos fatores do método.
Concluída a avaliação preliminar, o instrumento de pesquisa atualizado (Apêndice A)
foi enviado para 43 pesquisadores da área de Realidade Virtual, atuantes em diferentes
países do mundo (Figura 5.1). Os pesquisadores foram escolhidos a partir das publica-
ções identificadas na revisão sistemática da literatura, sendo quatro da Alemanha, dois
da Austrália, dois da Áustria, cinco do Brasil, um do Canadá, um da Colombia, dois da
Coréia, um da Espanha, um da Grécia, dois da Holanda, dois da Inglaterra, um de Israel,
três da Itália, um de Portugal, um da Suécia e quatorze dos EUA. Desse total, foram ob-
tidas respostas de 9 pesquisadores (Tabela 5.1). O convite para responder a pesquisa foi
enviado por e-mail (Apêndice B).
Os fatores, bem como sua descrição, categorização, variáveis e escores propostos para
cada variável, foram avaliados, de forma independente, por diferentes pesquisadores fa-
miliarizados com o conceito de presença. Esses avaliadores classificaram cada item em
termos de relevância e adequação. Itens classificados como menos relevantes foram subs-
tituídos ou excluídos, e a redação dos itens foi melhorada com base no feedback desses
avaliadores. Esse processo resultou na versão final dos itens que compõem o método
proposto para avaliação da presença em AVs, a Presence Factors Scale - PFS (Apêndice
C).
127

Figura 5.1 Países de atuação dos convidados a participar da pesquisa.

Fonte: o autor. Gerado no Google Maps.

Tabela 5.1 Pesquisadores que responderam a pesquisa.


Universidade País Posição Tópicos de Pesquisa
Universidad del Cauca Colômbia Professor HCI, CSCL, ICT
Design Interactive Inc. USA Pesquisador AR, VR, HCI
Korea University Coréia Professor VR/AR/MR, HCI
PUCRS Brasil Doutorando Neuropsicologia, VR
University of Central Florida USA CEO AR, VR, HCI
University of Barcelona Espanha Professor VR
Universidade de Passo Fundo Brasil Professor VR, AR, 3DUI, Visão Computacional
La Trobe University Austrália Professor VR, HCI, Presença
St. Pölten University Áustria Pesquisador VR, HCI
Fonte: o autor.

As Figuras 5.2 e 5.3 apresentam a autoavaliação de conhecimento dos respondentes


sobre realidade virtual e sobre presença, em uma escala de zero a dez. Como pode ser
observado, todos os respondentes se autoavaliaram com notas entre 7 e 10.
A seguir são apresentados os resultados da avaliação dos especialistas sobre cada um
dos fatores propostos, em cada uma das quatro categorias. Em cada categoria foram
apresentados os fatores, bem como suas descrições, variações e escores propostos. Além
disso, foram apresentadas descrições para cada variação possível em cada um dos fatores.
A Figura 5.4 ilustra como os fatores da categoria engajamento foram apresentados aos
especialistas, sendo os textos em inglês dado que participaram dessa etapa pesquisadores
de diversos países.
Na sequência da apresentação da tabela com os fatores de cada categoria, sete afir-
mações foram apresentadas e sobre essas foi solicitada a opinião dos especialistas, que
128

Figura 5.2 Autoavaliação de conhecimento sobre Realidade Virtual.

Fonte: o autor.

Figura 5.3 Autoavaliação de conhecimento sobre Presença em Realidade Virtual.

Fonte: o autor.

registraram sua resposta em uma escala Likert de sete pontos com as seguintes opções:
discordo totalmente, discordo, não concordo nem discordo, concordo e concordo total-
mente. As afirmações apresentadas aos entrevistados foram as seguintes:

1. Todos os fatores contribuem para eliciar a presença;

2. Todos os fatores são relacionados à categoria proposta;

3. A descrição dos fatores é adequada;

4. As variações dos fatores são adequadas;

5. Os escores são adequados;

6. A descrição das variações dos fatores é adequada;

7. Não está faltando nenhum fator nessa categoria.

A Figura 5.5 apresenta o resultado da pesquisa de opinião com os especialistas sobre


os fatores da categoria engajamento. Como pode ser observado, os itens relacionados às
129

variações e aos escores (questões 4 e 5) dividiram as opiniões e, por isso, foram revisados.
Os demais items foram considerados adequados, dado que a maioria dos especialistas
concordaram com o proposto.
Nos comentários livres, foi sugerido por mais de um especialista que se avalie se os
usuários podem ou não sentir emoção ou excitação e sua intensidade ao invés de avaliar
emoções específicas. Houve também uma sugestão quanto ao fator “tarefa”. O especia-
lista afirmou que simplesmente contar o número de tarefas que um usuário deve executar
dificilmente contribuirá com o modelo. Isso porque uma tarefa complexa e interessante
pode ser muito mais envolvente do que 10 tarefas simples. Além disso, foi sugerido a
inclusão de um novo fator relacionado a existência ou não de interação do usuário com
outros atores do AV, o que chama-se Presença Social.
130
Figura 5.4 Fatores da categoria Engajamento.

Fonte: o autor.
131

Figura 5.5 Opinião dos especialistas sobre os fatores da categoria Engajamento.

Fonte: o autor.

Todas as sugestões foram acolhidas e, assim, as seguintes melhorias foram realizadas


nos fatores da categoria Engajamento:

• os valores do fator “Emoção” foram ajustados de tal forma que o modelo passa a
verificar se o AV causa ou não emoções no usuário e em que intensidade e não mais
quais tipos de emoções;

• os valores do fator “Tarefa” foram ajustados. A quantidade de tarefas foi substituída


pela complexidade das tarefas;

• foi incluído o fator “Presença social”, que avalia se existe e em que intensidade
existe interação entre o usuário e outros atores do AV.

A Figura 5.7 apresenta a opinião dos especialistas sobre os fatores da categoria de


Características Pessoais do usuário (Figura 5.6). É possível observar que houve um certo
grau de discordância em todos os itens.
132
Figura 5.6 Fatores da categoria Características Pessoais.

Fonte: o autor.
133

Figura 5.7 Opinião dos especialistas sobre os fatores da categoria Características Pessoais.

Fonte: o autor.

Essa certamente foi a categoria de fatores que gerou mais dúvidas na avaliação dos es-
pecialistas. De forma geral, eles concordam que as características pessoais são um com-
ponente importante, mas também extremamente difícil de capturar e correlacionar com
a presença. As pessoas são quase infinitamente variáveis, então dificilmente um modelo
simples e único permite capturar essa variação importante. Para um dos especialistas,
“as características pessoais desempenham um papel para talvez melhorar ou diminuir,
mas a presença básica (espacial) deve ser destacada desse fator, pois o senso de presença
espacial é comum a todos.”
Ainda na questão aberta sobre os fatores dessa categoria, um dos especialistas regis-
trou que parece válido considerar a personalidade no contexto de presença, mas não está
absolutamente certo sobre como esse fator corresponderia à probabilidade de experimen-
tar um maior ou menor senso de presença. Da mesma forma, o especialista registrou
que níveis mais altos de cognição não necessariamente se correlacionam com maior pre-
sença. Além disso, foi registrado que o fator “Cognição” possui uma definição ampla
para processos específicos avaliados subjetivamente. Assim, foi sugerida alteração da
nomenclatura para algo como “preferência de entrada sensorial”.
Quanto ao conhecimento de domínio, um especialista registrou que considera impro-
vável que funcione como o proposto. Ele sugere que seja inversamente relacionado à
presença. Ele justifica com um exemplo: digamos que um AV esteja simulando um ce-
nário de combate a incêndios. Se eu não tenho conhecimento de domínio, mesmo uma
simulação ruim pode parecer razoável. Por outro lado, se eu tiver conhecimento total do
domínio, posso me concentrar nas maneiras pelas quais a simulação “falha”.
Sobre a experiência prévia com RV e Jogos, foi considerado inadequado considerar a
quantidade, haja visto que algumas experiências podem durar uma hora e outras podem
durar 5 minutos. Além disso, o especialista registrou que não está convencido dessa
134

correlação. No caso de manter, foi sugerido especificar um período de tempo, como por
exemplo “nos últimos x meses”.
A partir da avaliação dos especialistas, as seguintes melhorias foram realizadas nos
fatores da categoria de Características Pessoais:

• a nomenclatura do fator “Cognição” foi alterada para “Estilo Cognitivo”, bem como
sua descrição foi alterada para “estilo de aprendizado preferido pela pessoa”;

• inversão dos valores do fator conhecimento de domínio, sendo agora inversamente


proporcional a presença;

• a mensuração da experiência em RV e Jogos foi alterada para quantidade de horas


ao invés de frequência, com a ressalva do período a ser considerado.

Além disso, considerando os argumentos dos especialistas e o entendimento da difi-


culdade de capturar as diferentes características pessoais, bem como de correlacioná-las
adequadamente à presença, optou-se por manter essa categoria apenas como referência de
que as diferenças pessoais podem influenciar na sensação de presença.
A Figura 5.9 apresenta o resultado da pesquisa de opinião com os especialistas so-
bre os fatores da categoria Fidelidade Interativa (Figura 5.8). Como pode ser observado,
houve um maior consenso sobre os itens 1 e 2, que indicam que os fatores de fato im-
pactam na presença e são relacionados à fidelidade interativa. Já quanto as descrições e
escores, percebe-se uma neutralidade, sendo que a maioria dos especialistas não discor-
dou mas também não concordou com o que foi proposto.
Na questão aberta, foram registrados os seguintes comentários e sugestões: a interação
é mais importante do que a fidelidade da interação para a sensação de presença; o grau de
intuição de uma interação será diferente para cada usuário; melhorar a descrição do fator
“travel”; improvável que técnicas específicas de navegação correspondam a valores espe-
cíficos em uma escala Likert. Além disso, foi sugerido definir valores independentemente
do tipo de técnica de navegação, variando conforme o grau em que as técnicas são fiéis às
expectativas do usuário;
Figura 5.8 Fatores da categoria Fidelidade Interativa.

Fonte: o autor.

135
136

Figura 5.9 Opinião dos especialistas sobre os fatores da categoria Fidelidade Interativa.

Fonte: o autor.

A partir da avaliação dos especialistas e considerando os estudos já publicados que


identificaram o impacto das diferentes técnicas de navegação na sensação de presença,
apenas uma melhoria foi realizada nos fatores da Fidelidade Interativa:

• a descrição do fator Navegação foi alterada de “Técnica de mudança de um lugar


para outro no AV” para “Forma de atravessar o espaço no AV”.

A Figura 5.12 apresenta a opinião dos especialistas sobre os fatores da categoria Fide-
lidade Sensorial (Figuras 5.10 e 5.11). É possível observar um maior consenso sobre as
três primeiras afirmações, bem como sobre a última. Novamente os especialistas não se
sentiram confortáveis em opinar sobre os escores propostos.
Figura 5.10 Fatores da categoria Fidelidade Sensorial.

137
Fonte: o autor.
138
Figura 5.11 Fatores da categoria Fidelidade Sensorial (cont.).

Fonte: o autor.
139

Figura 5.12 Opinião dos especialistas sobre os fatores de Fidelidade Sensorial.

Fonte: o autor.

Na questão aberta, um dos especialistas registrou que não se pode definir “fidelidade”
em RV para o mundo imaginário (sem realidade correspondente). Na opinião dele, a fi-
delidade deve ser considerada em relação ao tempo de exposição e familiaridade. Outro
sujeito fez algumas sugestões de melhoria na descrição de alguns fatores. Na opinião de
mais de um especialista, nem todos os fatores dessa categoria são exclusivamente elemen-
tos da fidelidade da exibição, como por exemplo a propriedade do corpo, plausibilidade e
realismo visual. Para outro especialista é um problema mapear alguns desses fatores para
uma escala de 1 a 7, tendo em vista que estas características devem melhorar à medida
que a tecnologia avança. Um dos mais críticos registrou: “Penso que este é um trabalho
importante e felicito-o por assumi-lo.”
A partir da avaliação dos especialistas e considerando os estudos já publicados, as
seguintes melhorias foram realizadas:

• alteração na descrição dos fatores “Áudio” e “Sincronização”, além de algumas


descrições das variações;

• alteração da nomenclatura da categoria, na versão de inglês, de “Display Fidelity”


para “Sensorial Fidelity”.

Conforme sugerido por Lawshe (LAWSHE, 1975), foi contabilizada a concordância


entre os especialistas sobre as duas primeiras afirmações do questionário para as 4 catego-
rias de fatores da PFS. Conforme apresentado na Tabela 5.2, a quantidade e o percentual
de concordâncias entre os 9 especialistas, que participaram dessa etapa, sobre a questão
1 (Q1: todos os fatores da categoria impactam na presença) e questão 2 (Q2: todos os fa-
tores estão relacionados à essa categoria) é apresentada para cada uma das quatro catego-
rias de fatores da PFS. Como pode ser observado, a categoria Características Pessoais não
atingiu o percentual mínimo de 50% de concordância recomendado por Cohen, Swerdlik
140

e Sturman (COHEN; SWERDLIK; STURMAN, 2014). Assim, em função desse resul-


tado associado às restrições registradas pelos especialistas, essa categoria de fatores foi
excluída do método proposto.

Tabela 5.2 Grau de concordância entre os avaliadores.

Categorias de Fatores Concordância Q1 Concordância Q2


Engajamento 66,7% 88,9%
Características Pessoais 33,3% 44,4%
Fidelidade Interativa 66,7% 66,7%
Fidelidade Sensorial 77,8% 66,7%
Fonte: o autor.

Como terceria etapa da validação de conteúdo, foi realizada a evidência de face ou va-
lidade aparente, que se refere ao julgamento subjetivo das pessoas sobre o método (BORNS-
TEIN, 1996). Assim, a PFS foi utilizada por três desenvolvedores que participaram da
criação dos ambientes virtuais utilizados nos experimentos com usuários apresentados no
Capítulo 3. A Tabela 5.3 apresenta a avaliação subjetiva de cada um dos desenvolvedores,
a partir de sua percepção ao aplicar a PFS no contexto do AV que participaram do desen-
volvimento. Com base em suas respostas, podemos concluir que a PSF foi considerada
útil e adequada para avaliação da presença.

Tabela 5.3 Validade aparente da PFS.

Desenvolvedor Julgamento Subjetivo


01 “Eu achei que, em geral, ela é bem completa e útil. Só a última
parte me pareceu muito técnica, tipo é dificil de avaliar isso se tu
não conhece o AV, como ele foi desenvolvido e que dispositivos
serão utilizados.”
02 “Eu achei o método muito útil e bem adequado ao que se propõe,
que é avaliar quanto o VE pode proporcionar maior ou menor grau
de presença, a partir das suas características. De maneira geral, foi
fácil definir a variação relacionada ao AV, na lista de fatores.”
03 “Achei o método adequado, com exceção de Copresence e So-
cial presence serem algo que conta muito no teste na parte de
Engagement. Acredito que sim, essas duas características podem
aumentar ou diminuir a presença dependendo dos problemas que
tiverem, porém acredito que a ausência delas não caracteriza que
existe um sentimento de presença menor.”
Fonte: o autor.

5.4 Evidência Baseada no Processo de Resposta


Conforme os Standards (AERA; APA; NCME, 2014), a análise teórica e empírica do
processo de resposta pode fornecer evidências sobre o ajuste entre o construto e as res-
postas. Ao analisar as respostas dos desenvolvedores, percebeu-se necessidade de ajuste
141

em três fatores, conforme apresentado na Tabela 5.4. A versão final da PFS pode ser
consultada no Apêndice C.
142
Tabela 5.4 Ajustes de escores baseado no processo de resposta.

Categoria Fator Variação Escore Escore Justificativa


Inicial Ajustado
Controle 4 5 Por ser uma das formas de interação mais utilizadas nos Avs e já
Fidelidade considerado intuitivo por muitos usuários.
Navegação
Interativa Voo 4 5 Considerado uma forma de navegação intuitiva.
Caminhada parado 5,5 6 Navegação muito próxima da natural.
Veículo 6,5 7 Navegação natural.
Instantânea 3 4 Condição da maioria dos AVs.
Transição
Fidelidade Gradual 6,5 7 Considerado ideal.
Sensorial Up to 100o 1,5 3 Característica de muitos HMDs usados no passado recente.
Campo de Visão
Up to 130o 4 6 Característica da maioria dos atuais HMDs.
Fonte: o autor.
143

Figura 5.13 Concordância dos especialistas sobre a relação dos fatores propostos com o
senso de presença em RV.

Fonte: o autor.

5.5 Evidência Baseada na Estrutura Interna


Nesse trabalho, a estrutura dos fatores foi validada através da revisão sistemáica da
literatura e da pesquisa com especialistas, que indicaram para cada categoria de fatores
do método se os fatores são relacionados à presença, se são relacionados à categoria e
se não está faltando algum fator em tal categoria. As Figuras 5.13, 5.14, 5.15 e 5.16
apresentam os gráficos com os percentuais de concordância, neutralidade e discordância
para as três questões relacionadas à cada uma das categorias de fatores: 1) Os fatores são
relacionados à presença, 2) Os fatores são relacionados à categoria e 3) Não há fatores
ausentes.
Como pode ser observado nos gráficos, a média de concordância foi alta (acima de
70%) e de discordância baixa (menos de 11,1%) nas categorias Engajamento e Fidelidade
Sensorial. Na categoria Fidelidade Interativa, apesar da média de concordância ser um
pouco menor (59,3%), a discordância também foi baixa (7,4%). Já na categoria de Ca-
racterísticas Pessoais, a concordância ficou abaixo de 50% (37%) e a discordância acima
de 25% (29,6%). Com base nesses resultados, a estrutura da categoria Características
Pessoais não foi considerada válida.

5.6 Evidência Baseada nas Relações com Outras Variáveis


Nessa etapa, a escala de fatores de presença (PFS) foi aplicada nos AVs dos experi-
mentos com usuários realizados nesse trabalho (Capítulo 3). Com o objetivo de evitar viés
por parte do autor, a PFS foi enviada para que os desenvolvedores respondessem à escala,
de acordo com as características de cada aplicação. Assim, para cada uma das aplicações
144

Figura 5.14 Concordância dos especialistas em relação à categorização dos fatores.

Fonte: o autor.

Figura 5.15 Concordância dos especialistas sobre a não falta de fatores.

Fonte: o autor.
145

Figura 5.16 Médias finais da concordância dos especialistas.

Fonte: o autor.

em RV utilizada nos experimentos relatados nesse trabalho, um desenvolvedor preencheu


a PFS. Após a aplicação, os resultados foram comparados com os obtidos através dos
métodos para avaliação de presença utilizados nos experimentos.
A Figura 5.17 apresenta a versão da PFS utilizada nessa etapa. Como pode ser obser-
vado, a escala foi construída em um planilha Google Sheets, na qual deve-se selecionar
uma das variações (na lista de seleção) para cada um dos fatores, conforme a característica
do AV que se está querendo avaliar a presença. A partir da seleção, a planilha preenche
automaticamente o escore correspondente aquela variação do fator e vai calculando a mé-
dia, sendo que ao finalizar a seleção para todos os fatores, das três categorias, a planilha
informa o valor correspondente ao senso de presença proporcionado pelo AV, em uma
escala de 1 a 7, sendo 7 a maior presença possível. Cabe ressaltar que, considerando os
argumentos dos especialistas e o entendimento da dificuldade de capturar as diferentes
características pessoais, bem como de correlacioná-las adequadamente a presença, optou-
se por excluir a categoria de Características Pessoais da Escala de Fatores de Presença
(PFS).

5.6.1 Simulador de Risco


Conforme apresentado no Capítulo 3, o objetivo desse experimento foi avaliar a efi-
cácia do simulador de risco, bem como a aplicabilidade dos métodos SUS e frequência
cardíaca para avaliação de presença. Participaram desse experimento 15 pessoas e a ava-
liação de presença obtida foi 4,83 (DP=0,22), em uma escala de 1 a 7. A Figura 5.18
apresenta o resultado da avaliação da presença do simulador de risco, a partir da Escala
de Fatores de Presença (PFS). Como pode ser observado, o resultado foi 4,88, bem pró-
ximo ao obtido através do método usado no experimento.
146

Figura 5.17 Escala de Fatores de Presença - PFS.

Fonte: o autor.
Figura 5.18 Escala de Fatores de Presença aplicada ao Simulador de Risco.

147
Fonte: o autor.
148

5.6.2 Jogo FPS


O experimento realizado com o jogo FPS em RV teve como objetivo avaliar o senso
de presença, desempenho, grau de diversão e conforto de um jogo FPS imersivo, bem
como a condutância da pele para a avaliação de presença. Participaram desse estudo 16
pessoas e o resultado da presença foi 4,68 (DP=1,89). A partir da Escala de Fatores de
Presença (PFS) o resultado obtido foi 5,10, como pode ser observado na figura 5.19.

5.6.3 Cidade Virtual


O experimento realizado no AV que simula uma cidade virtual teve como objetivo
investigar a possibilidade de modular dinamicamente o senso de presença em uma expe-
riência de RV, baseada nas medidas fisiológicas do usuário, bem como testar o método de
observação comportamental na avaliação de presença. Participaram desse estudo 27 pes-
soas e o resultado para presença foi 5,9 (DP=0,73). Como pode ser observado na Figura
5.20, o resultado da presença através da Escala de Fatores de Presença (PFS) foi 5,58.

5.6.4 Jogo Educacional


Nesse estudo, o objetivo foi investigar a relação entre o senso de presença e o apren-
dizado, com o uso de um jogo em RV para apoio ao ensino e aprendizagem de neuroana-
tomia. Como já apresentado no Capítulo 3, foram realizados dois experimentos, sendo o
primeiro uma avaliação preliminar com a participação de 10 estudantes e o segundo com
a participação de 16 alunos. O resultado da avaliação da presença, obtido através da apli-
cação do questionário SUS foi 5,44 (DP=1,15). A avaliação da presença obtida através
da Escala de Fatores de Presença (PFS) foi 5,62, conforme pode ser observado na Figura
5.21.

5.6.5 RV Colaborativa
Nesse estudo, o objetivo foi avaliar o aprendizado e a sensação de presença no uso
colaborativo de RV. Para isso, foi utilizado o mesmo ambiente virtual do estudo anterior,
ou seja, o jogo em RV para apoio ao aprendizado de neuroanatomia. Participaram do
estudo 27 estudantes e o resultado da avaliação de presença, obtido através da aplicação
do questionário SUS foi 6,0 (DP=0,90). Conforme pode ser observado na Figura 5.22, a
avaliação da presença obtida através da Escala de Fatores de Presença (PFS) foi 5,53.
Figura 5.19 Escala de Fatores de Presença aplicada ao Jogo FPS em RV.

149
Fonte: o autor.
150
Figura 5.20 Escala de Fatores de Presença aplicada ao experimento de Modulação Dinâmica de Presença.

Fonte: o autor.
Figura 5.21 Escala de Fatores de Presença aplicada ao jogo em RV para apoio ao Aprendizado de Neuroanatomia.

151
Fonte: o autor.
152
Figura 5.22 Escala de Fatores de Presença aplicada ao uso de RV Colaborativa.

Fonte: o autor.
153

A Tabela 5.5 apresenta um resumo comparativo dos resultados da avaliação de pre-


sença, obtidos por método similar (SUS) ao método proposto (PFS). Como pode ser ob-
servado, a diferença absoluta entre os métodos variou entre 0,05 a 0,47 (M=0,29).
Tabela 5.5 Resultado comparativo entre os métodos para avaliação de presença.

Experimento SUS PFS Diferença


Simulador de Risco 4,83 4,88 0,05
Jogo FPS 4,68 5,10 0,42
Cidade Virtual 5,90 5,58 0,32
Jogo Educacional 5,44 5,62 0,18
RV Colaborativa 6,00 5,53 0,47
Fonte: o autor.

5.7 Fidedignidade
Conforme já mencionado, a fidedignidade refere-se à estabilidade com que os escores
conservam-se em aplicações alternativas de um mesmo teste ou em formas equivalentes
de testes distintos (URBINA, 2014).
Nesse contexto, o erro de medida resulta da diferença entre escore observado e o es-
core real, sendo que o escore observado é obtido durante a testagem e o escore real corres-
ponde à real característica ou escore obtido através de outro método já validado (HUTZ;
BANDEIRA; TRENTINI, 2015). Neste trabalho, o erro da média foi obtido a partir da
diferença entre a medida de presença obtida com o questionário SUS, considerado escore
real, e a medida obtida através da PFS, escore observado (Tabela 5.5). Como apresen-
tado na tabela, o erro, ou seja a diferença, em cada um dos cinco experimentos foi de
0,05; 0,42; 0,32; 0,18 e 0,47, diferenças consideradas aceitáveis (HUTZ; BANDEIRA;
TRENTINI, 2015).
Já a fidedignidade teste-reteste, conforme mencionado anteriormente, consiste em
uma correlação dos escores dos mesmos testandos avaliados em momentos distintos, o
que permite avaliar a consistência dos escores ao longo do tempo (HUTZ; BANDEIRA;
TRENTINI, 2015). Nesse trabalho, foram realizados retestes (Apêndice D) dos cinco
experimentos 20 dias (T2) após a primeira avaliação (T1) da presença através da PFS.
Os resultados dos retestes são apresentados na Tabela 5.6. Como pode ser observado, a
diferença absoluta ficou entre zero e 0,28, o que gerou um coeficiente de correlação entre
os resultados obtidos em T1 e T2 de 0,89, o que permite considerar a PFS um teste de alta
fidedignidade (HUTZ; BANDEIRA; TRENTINI, 2015).

5.8 Considerações Finais


Conforme já mencionado, Buckingham (BUCKINGHAM, 1921) afirma que a vali-
dação se refere ao grau em que um teste mede aquilo que se propõe a medir, sendo que
154

Tabela 5.6 Retestes (T2) de avaliação da presença através da PFS.

Experimento T1 T2 Diferença
Simulador de Risco 4,88 4,96 0,08
Jogo FPS 5,10 5,38 0,28
Cidade Virtual 5,58 5,50 0,08
Jogo Educacional 5,62 5,62 0,00
RV Colaborativa 5,53 5,40 0,13
Fonte: o autor.

as etapas são diversas e não há consenso sobre a quantidade de validação necessária para
que um método seja considerado válido. Contudo, segundo Hutz, Bandeira e Trentini
(HUTZ; BANDEIRA; TRENTINI, 2015), algumas exigências precisam ser satisfeitas a
fim de que um método para avaliar algo subjetivo possa ser considerado válido.
Esse capítulo apresentou o processo de validação do método proposto nesse trabalho
para a avaliação do senso de presença em ambientes virtuais. Foram cinco etapas baseadas
na versão mais atual dos Standards for Educational and Psychological Testing (AERA;
APA; NCME, 2014). Assim, inicialmente foi realizada uma avaliação preliminar com
dois especialistas em RV que possibilitou a realização de um conjunto de melhorias. Pos-
teriormente foi realizada a validação baseada no conteúdo do teste, no processo de res-
posta, na estrutura interna e nas relações como outras variáveis. Além disso, foi utilizada
a validação de fidedignidade.
Quanto ao conteúdo do teste, foram realizadas três validações. Inicialmente o método
foi avaliado por um grupo de juízes, especialistas em RV, que julgam a relação entre os
fatores e o senso de presença. A partir dessa avaliação, alguns fatores foram ajustados,
sendo a maioria considerado adequado. A categoria de fatores relacionados às caracterís-
ticas pessoais certamente foi a que gerou mais discordância na avaliação dos especialistas.
Apesar de concordarem que é um componente importante, os juízes afirmaram que são
extremamente difíceis de capturar e correlacionar com a presença, dado que as pessoas
são quase infinitamente variáveis. Na segunda etapa da validação baseada no conteúdo,
foi contabilizada a concordância entre os especialistas sobre os fatores do método, sendo
que a categoria de fatores relacionados às características pessoais foi a única que não atin-
giu o percentual mínimo de 50% de concordância recomendado por Cohen, Swerdlik e
Sturman (COHEN; SWERDLIK; STURMAN, 2014). Já na terceira etapa foi realizada a
evidência da validade aparente, que se refere ao julgamento subjetivo das pessoas sobre o
método. Assim, o método foi utilizado por três desenvolvedores de RV. Como resultado
da validação de conteúdo, de acordo com a literatura sobre validação, os fatores foram
considerados válidos com exceção da categoria de fatores relacionados com as caracterís-
ticas pessoais dos usuários. No que se refere a validação baseada no processo de resposta,
a análise teórica e empírica do processo de resposta forneceu evidências sobre os ajustes
necessários, sendo que foram realizados ajustes em três fatores.
155

Já a estrutura interna dos fatores foi validada através da revisão sistemática da litera-
tura e da pesquisa com especialistas. A média de concordância foi alta (acima de 70%)
e de discordância baixa (menos de 11,1%) nas categorias Engajamento e Fidelidade Sen-
sorial. Na categoria Fidelidade Interativa, apesar da média de concordância ser um pouco
menor (59,3%), a discordância também foi baixa (7,4%). Já na categoria de Característi-
cas Pessoais, a concordância ficou abaixo de 50% (37%) e a discordância acima de 25%
(29,6%). Com base nesses resultados, a estrutura da categoria Características Pessoais
não foi considerada válida.
Na validação baseada nas relações com outras variáveis, o método foi aplicado nos
AVs dos experimentos com usuários realizados nesse trabalho e os resultados foram com-
parados com os obtidos através dos métodos para avaliação de presença utilizados nos
experimentos. As diferenças entre os métodos variaram entre 0,05 a 0,47 (M=0,29).
Quanto à fidedignidade, o erro da média foi obtido a partir da diferença entre a medida
de presença obtida com o questionário SUS (considerado escore real) e a medida obtida
através do método proposto (escore observado). O erro encontrado em cada um dos cinco
experimentos foi de 0,05; 0,42; 0,32; 0,18 e 0,47, diferenças consideradas aceitáveis
segundo a literatura de validação. Já quanto à fidedignidade teste-reteste foram realizados
retestes dos cinco experimentos 20 dias após a primeira avaliação e os resultados ficaram
entre zero e 0,28, o que gerou um coeficiente de correlação entre os resultados de 0,89,
o que permite considerar o método um teste de alta fidedignidade (HUTZ; BANDEIRA;
TRENTINI, 2015).
Sendo assim, a partir das diferentes etapas de validação realizadas, foi possível con-
siderar três das quatro categorias de fatores válidas. A única categoria não validada foi a
dos fatores relacionados às características pessoais dos usuários, a qual, por esse motivo,
foi excluída do método. Contudo, mesmo que tenham sido excluídos do método, os fato-
res pessoais são relevantes e devem ser considerados no projeto e avaliação de qualquer
AV.
Como conclusão, cabe destacar que mesmo tendo sido realizadas diferentes valida-
ções, conforme os Standards (AERA; APA; NCME, 2014), deve-se considerar que a vali-
dação é algo em constante construção, sempre em busca de evidências que permitam que
as conclusões acerca dos escores dos testes sejam progressivamente mais válidas.
156

6 CONCLUSÃO

Esse capítulo apresenta as principais contribuições do trabalho, bem como as limita-


ções e trabalhos futuros. Além disso, são apresentados os artigos gerados a partir dos
resultados do trabalho.
A partir da revisão da literatura e dos experimentos realizados foi confirmado que a
presença é extremamente relevante para a efetividade da RV, bem como se trata de um
construto subjetivo, de complexa compreensão e difícil avaliação. Os métodos para medir
o senso de presença são de modo geral onerosos, dado que necessitam de planejamento,
recrutamento da quantidade adequada de voluntários com o perfil do público-alvo do
AV, longo período de execução e análise estatística dos resultados. Quanto às diferentes
formas de medir a presença, apesar das vantagens dos métodos objetivos, como a possi-
bilidade da medida contínua das respostas automaticamente produzidas, é difícil afirmar
que as alterações fisiológicas ou comportamentais são estritamente causadas pela expe-
riência no AV. Assim, precisam necessariamente ser complementadas com questionários
subjetivos, os quais são fáceis de aplicar e analisar, mas também possuem limitações
como a confiabilidade entre avaliadores e a incapacidade de medir a variação de presença
durante a experiência no AV. Além das limitações dos métodos atuais, não foi identifi-
cada nenhuma ferramenta que possa auxiliar projetistas de aplicações em RV a definir e
desenvolver sistemas com o senso de presença adequado para sua efetiva utilização.
Dada a importância da sensação de presença para a eficácia da RV, somada as limi-
tações dos métodos atuais, ao alto custo e dependência dos testes com usuários e a falta
de diretrizes para orientar o desenvolvimento de sistemas de RV, do ponto de vista do
senso de presença, esse trabalho partiu da clara necessidade de avanço desse campo de
pesquisa e apresentou o desenvolvimento e validação de um novo método para avaliação
do senso de presença em RV, com o objetivo de superar as limitações dos métodos atuais
e dispensar os testes com usuários. O método proposto nesse trabalho pode ser aplicado
tanto na fase de projeto, para orientar as decisões de forma que o sistema proporcione
o senso de presença adequado, como em ambientes virtuais previamente desenvolvidos,
para determinar o senso de presença fornecido pelo sistema.
Cabe destacar que o trabalho teve como objetivo investigar o conceito de presença em
157

profundidade, bem como identificar seus fatores de impacto e os métodos propostos para
medi-la, além de verificar como esses métodos tem sido utilizados ao longo dos últimos
20 anos e identificar suas potencialidades e limitações. Além disso, foram realizados ex-
perimentos com usuários nos quais os principais métodos para avaliar o senso de presença
foram aplicados e avaliados na prática, sendo o objetivo geral do trabalho desenvolver e
validar um método inédito para avaliação da presença em ambientes virtuais imersivos,
de baixo custo e alta aplicabilidade, que dispensa a avaliação com usuários.

Como pode ser constatado ao longo desse documento, todos os objetivos foram atin-
gidos, sendo que através da revisão sistemática da literatura (Capítulo 2) foi possível a
compreensão do conceito de presença em AVs, bem como a identificação dos métodos
para sua avaliação. Além disso, também foi possível identificar os experimentos com
usuários nos quais o senso de presença foi avaliado, bem como identificar 29 fatores de
impacto na presença.

Através dos cinco experimentos com usuários realizados (Capítulo 3), que somaram
mais de 320 horas e envolveram 123 participantes, foi possível avaliar na prática os prin-
cipais métodos propostos para medir o senso de presença em RV e verificar suas potenci-
alidades e limitações.

A partir dos resultados das etapas anteriores foi possível o desenvolvimento do novo
método para avaliar o senso de presença em RV (Capítulo 4), o qual está baseado nos
fatores de impacto identificados na revisão da literatura. Finalmente, tão ou até mais im-
portante que desenvolver um método é a sua validação, a qual garante que o método é
confiável. Assim, o método proposto passou por diversas etapas de validação, iniciando
com uma avaliação preliminar e seguindo com as etapas propostas pelos Standards for
Educational and Psychological Testing (AERA; APA; NCME, 2014), que baseiam a va-
lidade no conteúdo do teste, no processo de resposta, na estrutura interna e nas relações
com outras variáveis. Além disso, o método proposto passou por uma etapa de validação
de fidedignidade.

Após a conclusão de todas as etapas de validação, 3 (Engajamento, Fidelidade Inte-


rativa e Fidelidade Sensorial) das 4 categorias de fatores foram consideradas válidas, as
quais compuseram a versão final do método chamado Presence Factor Scale. A única
categoria não validada foi a dos fatores relacionados às características pessoais, resultado
esse associado principalmente à impossibilidade de se prever todas as variações possí-
veis entre as diferentes pessoas e, consequentemente, entre os diferentes públicos dos
AVs. Contudo, mesmo que tenham sido excluídos do método, os fatores pessoais são
relevantes e devem ser considerados no projeto e avaliação de qualquer AV, devendo ser
consideradas as características específicas do público-alvo de cada sistema.
158

6.1 Contribuições
A principal contribuição desse trabalho foi o desenvolvimento e validação de um mé-
todo inédito para avaliação do senso de presença em ambientes de realidade virtual que
dispensa os testes com usuários, é de baixo custo e pode ser amplamente utilizado tanto
para avaliação de AVs prontos, baseado em suas características, como para o desenvol-
vimento de novos AVs, oferecendo diretrizes de projeto para que o AV proporcione a
sensação de presença desejada. Além disso, três importantes contribuições advieram da
revisão sistemática da literatura: a identificação atualizada de todos os métodos dispo-
níveis para a avaliação do senso de presença, o mapeamento sobre como esses métodos
foram utilizados ao longo dos últimos 20 anos e a identificação de 29 fatores de impacto
no senso de presença. Já através dos experimentos com usuários, realizados nesse traba-
lho, foi possível evidenciar as potencialidades e limitações dos principais métodos para
avaliação do senso de presença, bem como avaliar a eficácia de diferentes ambientes vir-
tuais, sendo que os resultados de todos esses experimentos foram publicados em veículos
da área.

Artigos Completos:

• Using Immersive Virtual Reality to Reduce Work Accidents in Developing


Countries. NEDEL, L.; SOUZA, V.; MACIEL, A.; MENIN, A.; SEBBEN, L.;
OLIVEIRA, J; FARIA, F. IEEE Computer Graphics and Applications, [S.l.], v.36,
n.2, p. 36–46, 2016.

• Effects of Physiologically-Adaptive Virtual Environment on User’s Sense of


Presence. SOUZA, VINICIUS C.; NEDEL, LUCIANA; KOPPER, REGIS; MA-
CIEL, ANDERSON; TAGLIARO, LEONARDO. The In: Symposium on Virtual
and Augmented Reality – SVR, Foz do Iguaçu. Proceedings of the Symposium on
Virtual and Augmented Reality, 2018.

• Visualization and Interaction in Immersive Virtual Reality Games: a User


Evaluation Study. RACHEVSKY, DOUGLAS C.; SOUZA, VINICIUS C.; NE-
DEL, LUCIANA. In: Symposium on Virtual and Augmented Reality – SVR, Foz
do Iguaçu. Proceedings of the Symposium on Virtual and Augmented Reality, 2018.

• Development and Evaluation of a Immersive Serious Game to Support Neu-


roanatomy Teaching and Learning. SOUZA, VINICIUS; NEDEL, LUCIANA;
LOGES, KLAUS; SCHLEMMER, ELIANE. Simpósio Brasileiro de Jogos e En-
tretenimento Digital, SBGames. Rio de Janeiro, 2019. Proceedings of SBGames,
2019.
159

• The Effect of Virtual Reality on Knowledge Transfer and Retention in Colla-


borative Group-Based Learning for Neuroanatomy Students. SOUZA, VINI-
CIUS; NEDEL, LUCIANA; MACIEL, ANDERSON, KOPPER, REGIS; LOGES,
KLAUS; SCHLEMMER, ELIANE. In: Symposium on Virtual and Augmented Re-
ality – SVR 2020.

Artigo Resumido:

• Desenvolvimento e Avaliação de um Jogo em Realidade Virtual para o Ensino


e Aprendizagem de Neuroanatomia. SOUZA, VINICIUS C.; RACHEVSKY,
DOUGLAS C.; NEDEL, LUCIANA; LOGES, KLAUS.; SCHLEMMER, ELI-
ANE. In: Simpósio Brasileiro de Jogos e Entretenimento Digital, SBGames, Foz
do Iguaçu. Proceedings of SBGames, 2018.

Demonstrações:

• DEMO: A Virtual Reality Game for Neuroanatomy Teaching and Learning.


SOUZA, VINICIUS C.; RACHEVSKY, DOUGLAS C.; NEDEL, LUCIANA; LO-
GES, KLAUS.; SCHLEMMER, ELIANE. In: Symposium on Virtual and Augmen-
ted Reality – SVR. Foz do Iguaçu. Proceedings of the Symposium on Virtual and
Augmented Reality, 2018.

• DEMO: Visualization and Interaction in a Virtual Reality FPS Game RA-


CHEVSKY, DOUGLAS C.; SOUZA, VINICIUS C.; NEDEL, LUCIANA. In: Sym-
posium on Virtual and Augmented Reality – SVR. Foz do Iguaçu. Proceedings of
the Symposium on Virtual and Augmented Reality, 2018.

Além dos artigos relatando os resultados dos experimentos, mais dois artigos com os
resultados desse trabalho foram produzidos. O primeiro apresenta a revisão sistemática da
literatura e está em processo de avaliação pela revista ACM Computing Surveys (CSUR).
O segundo artigo apresenta o desenvolvimento e validação do método proposto nesse
trabalho e está sendo aperfeiçoado para submissão.

• Measuring Presence in Virtual Environments: a Survey. SOUZA, V.; NEDEL,


L.; MACIEL, A.; KOPPER, R. Submitted to ACM Computing Surveys (CSUR)
2020 (em avaliação).

• Presence Factor Scale: a Presence Assessment Method for Virtual Immersive


Environments. SOUZA, V.; NEDEL, L.; MACIEL, A.; KOPPER, R. (em processo
de aperfeiçoamento para submissão).
160

6.2 Limitações e Trabalhos Futuros


Conforme os Standards (AERA;APA; NCME, 2014), não há evidência única de va-
lidade para um método. Assim, estabelecer a validade deve ser um trabalho constante
e envolve acumular evidências relevantes que forneçam base segura para a interpretação
dos resultados. Pode-se dizer que a validação é algo em constante construção, sempre em
busca de evidências que permitam que as conclusões acerca dos escores dos testes sejam
progressivamente mais válidas. Baseado nesse contexto, novas aplicações do método PFS
devem ser realizadas, em diferentes contextos, envolvendo diferentes perfis de aplicado-
res e de ambientes virtuais, tando em fase de projeto como já concluídos. A cada nova
aplicação, evidências de validade devem ser examinadas e ajustes devem ser sugeridos
para que o método se torne cada vez mais preciso em avaliar o senso de presença em
ambientes virtuais imersivos.
A limitação do método proposto é a não garantia de que se contemple todos os fatores
de impacto no senso de presença, bem como todas as variações atuais e futuras para cada
um desses fatores, dado que as tecnologias e, consequentemente, os diferentes usos da
RV estão em constante evolução. Sendo assim, a PFS deverá ser continuamente evoluída
para acompanhar o desenvolvimento da área.
161

REFERÊNCIAS

AERA; APA; NCME. Standards for educational and psychological testing. [S.l.: s.n.],
1985.

AERA; APA; NCME. Standards for educational and psychological testing. [S.l.: s.n.],
1999.

AERA; APA; NCME. Standards for educational and psychological testing. [S.l.: s.n.],
2014.

AITAMURTO, T. et al. Sense of Presence, Attitude Change, Perspective-Taking and Usa-


bility in First-Person Split-Sphere 360 Video. In: CHI CONFERENCE ON HUMAN
FACTORS IN COMPUTING SYSTEMS, 2018., 2018, New York, NY, USA. Procee-
dings. . . ACM, 2018. p.545:1–545:12. (CHI ’18).

ALCAÑIZ, M. et al. A Neuroscience Approach to Virtual Reality Experience Using


Transcranial Doppler Monitoring. Presence: teleoperators and virtual environments,
[S.l.], v.18, n.2, p.97–111, 2009.

ANNIE JIN, S.-A. “It Feels Right. Therefore, I Feel Present and Enjoy”: the effects of
regulatory fit and the mediating roles of social presence and self-presence in avatar-based
3d virtual environments. Presence, [S.l.], v.20, p.105–116, 04 2011.

AZEVEDO, A. S.; JORGE, J.; CAMPOS, P. Combining EEG Data with Place and Plausi-
bility Responses as an Approach to Measuring Presence in Outdoor Virtual Environments.
Presence: teleoperators virtual environments, [S.l.], v.23, n.4, p.354 – 368, 2014.

AZMANDIAN, M. et al. Haptic Retargeting: dynamic repurposing of passive haptics for


enhanced virtual reality experiences. In: CHI CONFERENCE ON HUMAN FACTORS
IN COMPUTING SYSTEMS, 2016., 2016, New York, NY, USA. Proceedings. . . ACM,
2016. p.1968–1979. (CHI ’16).

BAILEY, J. O.; BAILENSON, J. N.; CASASANTO, D. When Does Virtual Embodiment


Change Our Minds? Presence: teleoperators and virtual environments, [S.l.], v.25, n.3,
p.222–233, 2016.
162

BAREN, J. van; IJSSELSTEIJN, W. Measuring Presence : a guide to current measure-


ment approaches. Measurement, [S.l.], p.1–86, 2004.

BARFIELD, W.; HENDRIX, C. The effect of update rate on the sense of presence within
virtual environments. Virtual Reality, [S.l.], v.1, n.1, p.3–15, Jun 1995.

BARFIELD, W.; WEGHORST, S. The Sense of Presence within Virtual Environments: a


conceptual framework. In: HCI (2), 1993. . . . Elsevier, 1993. p.699–704. 0-444-89540-X.

BARKLEY, R. A. Behavioral Inhibition, Sustained Attention, and Executive Functions:


constructing a unifying theory of ADHD. Psychological Bulletin, [S.l.], v.121, p.65–94,
1997.

Batista, D. et al. Benchmarking of the BITalino biomedical toolkit against an established


gold standard. Healthcare Technology Letters, [S.l.], v.6, n.2, p.32–36, 2019.

BAUMGARTNER, T. et al. Neural Correlate of Spatial Presence in an Arousing and No-


ninteractive Virtual Reality: an eeg and psychophysiology study. Cyberpsy., Behavior,
and Soc. Networking, [S.l.], v.9, n.1, p.30–45, 2006.

BAUS, O.; BOUCHARD, S. Exposure to an unpleasant odour increases the sense of


Presence in virtual reality. Virtual Reality, [S.l.], v.21, n.2, p.59–74, Jun 2017.

BAñOS, R. M. et al. Presence and Reality Judgment in Virtual Environments: a unitary


construct? Cyberpsy., Behavior, and Soc. Networking, [S.l.], v.3, n.3, p.327–335, 2000.

BERTRAND, J. et al. The role of dimensional symmetry on bimanual psychomotor skills


education in immersive virtual environments. In: IEEE VIRTUAL REALITY CONFE-
RENCE, VR 2015 - PROCEEDINGS, 2015., 2015. . . . IEEE, 2015. p.3–10.

BESSA, M. et al. The effects of body position on Reflexive Motor Acts and the sense of
presence in virtual environments. Computers Graphics, [S.l.], v.71, p.35 – 41, 2018.

BHANDARI, J.; TREGILLUS, S.; FOLMER, E. Legomotion: scalable walking-based


virtual locomotion. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE
AND TECHNOLOGY, 23., 2017, New York, NY, USA. Proceedings. . . ACM, 2017.
p.18:1–18:8. (VRST ’17).

BLAKE, E.; LADEIRA, I. Cultural reinterpretation and resonance: the san and hip-hop.
Computers Graphics, [S.l.], v.35, n.2, p.383 – 391, 2011. Virtual Reality in Brazil Visual
Computing in Biology and Medicine Semantic 3D media and content Cultural Heritage.

BLOM, K. J.; BECKHAUS, S. Virtual Travel Collisions: response method influences


perceived realism of virtual environments. ACM Trans. Appl. Percept., New York, NY,
USA, v.10, n.4, p.25:1–25:19, Oct. 2013.
163

BOLDER, A.; GRüNVOGEL, S. M.; ANGELESCU, E. Comparison of the Usability


of a Car Infotainment System in a Mixed Reality Environment and in a Real Car. In:
ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
24., 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.8:1–8:10. (VRST ’18).

BORMANN, K. Presence and the Utility of Audio Spatialization. Presence: teleoperators


virtual environments, [S.l.], v.14, n.3, p.278 – 297, 2005.

BORMANN, K. Visuals are not what they look. Virtual Reality, [S.l.], v.12, n.2, p.115–
123, Jun 2008.

BORNSTEIN, R. F. Face validity in psychological assessment: implications for a unified


model of validity. American Psychologist, US, v.51, n.9, p.983–984, 1996.

BOUCHARD, S. et al. Reliability and validity of a single-item measure of presence in


VR. In: THE 3RD IEEE INTERNATIONAL WORKSHOP ON HAPTIC, AUDIO AND
VISUAL ENVIRONMENTS AND THEIR APPLICATIONS, 2004. . . . [S.l.: s.n.], 2004.
p.59–61.

BOUCHARD, S. et al. Anxiety Increases the Feeling of Presence in Virtual Reality. Pre-
sence: teleoperators and virtual environments, [S.l.], v.17, n.4, p.376–391, 2008.

BOURDIN, P. et al. Persuading People in a Remote Destination to Sing by Beaming


There. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECH-
NOLOGY, 19., 2013, New York, NY, USA. Proceedings. . . ACM, 2013. p.123–132.
(VRST ’13).

BOUSTILA, S. et al. New hybrid projection to widen the vertical field of view with large
screen to improve the perception of personal space in architectural project review. Proce-
edings - IEEE Virtual Reality, [S.l.], v.2016-July, p.159–160, 2016.

BOUYER, G.; Chellali, A.; Lécuyer, A. Inducing self-motion sensations in driving si-
mulators using force-feedback and haptic motion. In: IEEE VIRTUAL REALITY (VR),
2017., 2017. . . . [S.l.: s.n.], 2017. p.84–90.

BOZGEYIKLI, E. et al. Locomotion in Virtual Reality for Individuals with Autism Spec-
trum Disorder. In: SYMPOSIUM ON SPATIAL USER INTERACTION, 2016., 2016,
New York, NY, USA. Proceedings. . . ACM, 2016. p.33–42. (SUI ’16).

BROGNI, A. et al. Variations in physiological responses of participants during diffe-


rent stages of an immersive virtual environment experiment. In: IN: PROCEEDINGS
OF THE ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNO-
LOGY, 2006. . . . [S.l.: s.n.], 2006. p.376–382.
164

BROOKE, J. SUS-A Quick and Dirty Usability Scale. Usability evaluation in industry,
[S.l.], v.189, n.194, 1996.

BROOKS, F. P. What’s Real About Virtual Reality? IEEE Comput. Graph. Appl., Los
Alamitos, CA, USA, v.19, n.6, p.16–27, Nov. 1999.

BROWN, M.; MAJUMDER, A.; YANG, R. Camera-based calibration techniques for se-
amless multiprojector displays. IEEE Transactions on Visualization and Computer
Graphics, [S.l.], v.11, n.2, p.193–206, 2005.

BRUCE, M.; REGENBRECHT, H. A virtual reality claustrophobia therapy system - im-


plementation and test. Proceedings - IEEE Virtual Reality, [S.l.], p.179–182, 2009.

BRUDER, G. et al. CAVE Size Matters: effects of screen distance and parallax on dis-
tance estimation in large immersive display setups. Presence, [S.l.], v.25, n.1, p.1–16,
July 2016.

BRUDER, G.; STEINICKE, F.; WIELAND, P. Self-motion illusions in immersive virtual


reality environments. 2011 IEEE Virtual Reality Conference, [S.l.], p.39–46, mar 2011.

BUCHER, J. Storytelling for Virtual Reality: methods and principles for crafting im-
mersive narratives. [S.l.]: Routledge, 2018.

BUCKINGHAM, B. R. Intelligence and Its Measurement: a symposium–xiv. Journal of


Educational Psychology, [S.l.], v.12, n.5, p.271–275, may 1921.

BURRAFATO, S. et al. Virtual Reality in D & C: new approaches towards well digi-
tal twins. In: OFFSHORE MEDITERRANEAN CONFERENCE AND EXHIBITION,
2019. . . . [S.l.: s.n.], 2019.

BUSCH, M. et al. Being There for Real: presence in real and virtual environments and
its relation to usability. In: NORDIC CONFERENCE ON HUMAN-COMPUTER IN-
TERACTION: FUN, FAST, FOUNDATIONAL, 8., 2014, New York, NY, USA. Procee-
dings. . . Association for Computing Machinery, 2014. p.117–126. (NordiCHI ’14).

BUTTUSSI, F.; Chittaro, L. Effects of Different Types of Virtual Reality Display on Pre-
sence and Learning in a Safety Training Scenario. IEEE Transactions on Visualization
and Computer Graphics, [S.l.], v.24, n.2, p.1063–1076, Feb 2018.

Buttussi, F.; Chittaro, L. Locomotion in Place in Virtual Reality: a comparative evaluation


of joystick, teleport, and leaning. IEEE Transactions on Visualization and Computer
Graphics, [S.l.], p.1–1, 2019.
165

BYSTROM, K.-E.; BARFIELD, W. Collaborative Task Performance for Learning Using


a Virtual Environment. Presence: teleoperators virtual environments, [S.l.], v.8, n.4,
p.435 – 448, 1999.

CAMPBELL, A. G. et al. Why, when and how to use augmented reality agents (AuRAs).
Virtual Reality, [S.l.], v.18, n.2, p.139–159, Jun 2014.

CAMPBELL, D. T.; FISKE, D. W. Convergent and discriminant validation by the


multitrait-multimethod matrix. Psychological Bulletin, [S.l.], v.56, n.2, p.81–105,
mar 1959.

CARULLI, M.; BORDEGONI, M.; CUGINI, U. Visual-olfactory immersive environment


for product evaluation. 2015 IEEE Virtual Reality Conference, VR 2015 - Proceedings,
[S.l.], v.2, p.161–162, 2015.

CAVAZZA, M.; LUGRIN, J.-L.; BUEHNER, M. Causal Perception in Virtual Reality


and its Implications for Presence Factors. Presence: teleoperators virtual environments,
[S.l.], v.16, n.6, p.623 – 642, 2007.

CHAN, E. K. H. et al. Validity and Validation in Social, Behavioral, and Health Sciences.
Validity and Validation in Social, Behavioral, and Health Sciences, [S.l.], v.54, p.243–
255, 2014.

CHAPOULIE, E. et al. Evaluation of direct manipulation using finger tracking for com-
plex tasks in an immersive cube. Virtual Reality, [S.l.], v.18, n.3, p.203–217, Sep 2014.

CHERTOFF, D. B.; GOLDIEZ, B.; LAVIOLA, J. J. Virtual Experience Test: a virtual en-
vironment evaluation questionnaire. Proceedings - IEEE Virtual Reality, [S.l.], p.103–
110, 2010.

CHO, D. et al. The Dichotomy of Presence Elements: the where and what. In: VR, 2003.
. . . IEEE Computer Society, 2003. p.273–274.

CHOWDHURY, T. I.; Costa, R.; Quarles, J. Information recall in VR disability simu-


lation. In: IEEE SYMPOSIUM ON 3D USER INTERFACES (3DUI), 2017., 2017. . . .
[S.l.: s.n.], 2017. p.219–220.

CIFLIKLI, B.; Güdükbay, U. Increasing the Sense of Presence in a Simulation Envi-


ronment Using Image Generators Based on Visual Attention. Presence, [S.l.], v.19, n.6,
p.557–568, Dec 2010.

CLEMENTE, M. et al. An fMRI Study to Analyze Neural Correlates of Presence during


Virtual Reality Experiences. Interacting with Computers, [S.l.], v.26, n.3, p.269–284,
2013.
166

CLEMENTE, M. et al. Assessment of the Influence of Navigation Control and Screen


Size on the Sense of Presence in Virtual Reality Using EEG. Expert Syst. Appl., Tarry-
town, NY, USA, v.41, n.4, p.1584–1592, Mar. 2014.

COELHO, C. et al. Media presence and inner presence: the sense of presence in virtual
reality technologies. , [S.l.], v.9, p.25–45, 2012.

COHEN, R.; SWERDLIK, M.; STURMAN, E. Testagem e Avaliação Psicológica -


8.ed.: introdução a testes e medidas. [S.l.]: AMGH Editora, 2014.

COHN, J. V.; DIZIO, P.; LACKNER, J. R. Reaching During Virtual Rotation: context
specific compensations for expected coriolis forces. Journal of Neurophysiology, [S.l.],
v.83, n.6, p.3230–3240, 2000.

COHN, J. V. et al. Comparing VE Locomotion Interfaces. In: IEEE CONFERENCE 2005


ON VIRTUAL REALITY, 2005., 2005, Washington, DC, USA. Proceedings. . . IEEE
Computer Society, 2005. p.123–130. (VR ’05).

CONGDON, B. J.; WANG, T.; STEED, A. Merging Environments for Shared Spaces in
Mixed Reality. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND
TECHNOLOGY, 24., 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.11:1–
11:8. (VRST ’18).

COOLS, R.; SIMEONE, A. L. Investigating the Effect of Distractor Interactivity for Re-
directed Walking in Virtual Reality. In: SYMPOSIUM ON SPATIAL USER INTERAC-
TION, 2019, New York, NY, USA. . . . Association for Computing Machinery, 2019. (SUI
’19).

COXON, M.; KELLY, N.; PAGE, S. Individual differences in virtual reality: are spa-
tial presence and spatial ability linked? Virtual Reality, [S.l.], v.20, n.4, p.203–212,
Nov 2016.

CSIKSZENTMIHALYI, M. Flow: the psychology of happiness. [S.l.]: Rider, 1992.

DAHER, S. et al. Exploring social presence transfer in real-virtual human interaction.


Proceedings - IEEE Virtual Reality, [S.l.], v.2016-July, p.165–166, 2016.

DE GAUQUIER, L. et al. Leveraging advertising to a higher dimension: experimental re-


search on the impact of virtual reality on brand personality impressions. Virtual Reality,
[S.l.], May 2018.

DE LEO, G. et al. Measuring Sense of Presence and User Characteristics to Predict Ef-
fective Training in an Online Simulated Virtual Environment. Simulation in Healthcare:
the journal of the society for simulation in healthcare, [S.l.], v.9, n.1, p.1–6, feb 2014.
167

DEFANTI, T. et al. The future of the CAVE. Open Engineering, Berlin, Boston, v.1, n.1,
p.16 – 37, 2011.

DILLON, C. et al. Aroused and immersed: the psychophysiology of presence. 2nd


and 3rd International Workshop on Presence, [S.l.], v.Eindhoven„ n.January, p.[CD–
ROM], 2000.

DINH, H. Q. et al. Evaluating the Importance of Multi-sensory Input on Memory and the
Sense of Presence in Virtual Environments. In: VR, 1999. . . . IEEE Computer Society,
1999. p.222–228.

DOW, S. et al. Presence and Engagement in an Interactive Drama. In: SIGCHI CONFE-
RENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2007, New York, NY,
USA. Proceedings. . . ACM, 2007. p.1475–1484. (CHI ’07).

DRAPER, J. V.; KABER, D. B.; USHER, J. M. Telepresence. Human Factors, [S.l.],


v.40, n.3, p.354–375, 1998. PMID: 9849099.

DURLACH, P. J.; FOWLKES, J.; METEVIER, C. J. Effect of Variations in Sensory


Feedback on Performance in a Virtual Reaching Task. Presence: teleoperators virtual
environments, [S.l.], v.14, n.4, p.450 – 462, 2005.

DUVINAGE, M. et al. A P300-based Quantitative Comparison between the Emotiv Epoc


Headset and a Medical EEG Device. In: BIOMEDICAL ENGINEERING / 765: TE-
LEHEALTH / 766: ASSISTIVE TECHNOLOGIES, 2012. . . . [S.l.: s.n.], 2012.

EKMAN, P. E.; DAVIDSON, R. J. The nature of emotion: fundamental questions. [S.l.]:


Oxford University Press, 1994.

FAITA, C. et al. Investigating the Process of Emotion Recognition in Immersive and Non-
immersive Virtual Technological Setups. In: ND ACM CONFERENCE ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 22., 2016, New York, NY, USA. Proce-
edings. . . ACM, 2016. p.61–64. (VRST ’16).

Ferrer-García, M. et al. Predictors of Smoking Craving During Virtual Reality Exposure.


Presence, [S.l.], v.21, n.4, p.423–434, Nov 2012.

FLACH, J. M.; HOLDEN, J. G. The reality of experience: gibson’s way. Presence: tele-
operators and virtual environments, [S.l.], v.7, n.1, p.90–95, 1998.

FLEMING, N. Teaching and Learning Styles: vark strategies. [S.l.]: N.D. Fleming,
2006.

FLEMING, N. D.; MILLS, C. Not Another Inventory, Rather a Catalyst for Reflection.
To Improve the Academy, [S.l.], v.11, n.1, p.137–155, 1992.
168

FOX, J.; BAILENSON, J.; BINNEY, J. Virtual Experiences, Physical Behaviors: the
effect of presence on imitation of an eating avatar. Presence: teleoperators virtual envi-
ronments, [S.l.], v.18, n.4, p.294 – 303, 2009.

FREEMAN, J. et al. Effects of Sensory Information and Prior Experience on Direct Sub-
jective Ratings of Presence. Presence: teleoperators virtual environments, [S.l.], v.8, n.1,
p.1 – 13, 1999.

FREEMAN, J. et al. Using Behavioral Realism to Estimate Presence: a study of the utility
of postural responses to motion stimuli. Presence: teleoperators virtual environments,
[S.l.], v.9, n.2, p.149 – 164, 2000.

FREITAG, S.; WEYERS, B.; KUHLEN, T. W. Examining Rotation Gain in CAVE-like


Virtual Environments. IEEE Transactions on Visualization and Computer Graphics,
Piscataway, NJ, USA, v.22, n.4, p.1462–1471, Apr. 2016.

FRIEDMAN, D. et al. Navigating Virtual Reality by Thought: what is it like?. Presence:


teleoperators virtual environments, [S.l.], v.16, n.1, p.100 – 110, 2007.

FRIEDMAN, D.; KARNIEL, Y.; DINUR, A. L. Comparing Group Discussion in Virtual


and Physical Environments. Presence: teleoperators virtual environments, [S.l.], v.18,
n.4, p.286 – 293, 2009.

FRIEDMANN, M.; STARNER, T.; PENTLAND, A. Synchronization in Virtual Realities.


Presence: teleoperators and virtual environments, [S.l.], v.1, n.1, p.139–144, 1992.

GALDIERI, R.; CARROZZINO, M. Natural Interaction in Virtual Reality for Cul-


tural Heritage: first international conference, vrtch 2018, brasov, romania, may 29–30,
2018, revised selected papers. [S.l.: s.n.], 2019. p.122–131.

GARAU, M. et al. The Responses of People to Virtual Humans in an Immersive Virtual


Environment. Presence: teleoperators virtual environments, [S.l.], v.14, n.1, p.104 – 116,
2005.

GARAU, M. et al. Temporal and Spatial Variations in Presence: qualitative analysis of


interviews from an experiment on breaks in presence. Presence: teleoperators virtual
environments, [S.l.], v.17, n.3, p.293 – 309, 2008.

GERHARD, M.; MOORE, D. J.; HOBBS, D. J. Continuous Presence in Collaborative


Virtual Environments: towards a hybrid avatar-agent model for user representation. In:
IVA, 2001. . . . Springer, 2001. p.137–155. (Lecture Notes in Computer Science, v.2190).

GIROUX, M. et al. The respective contributions of visual and proprioceptive afferents to


the mirror illusion in virtual reality. PLOS ONE, [S.l.], v.13, n.8, p.1–14, 08 2018.
169

GOLDBERG, J. H.; KOTVAL, X. P. Computer interface evaluation using eye move-


ments: methods and constructs. International Journal of Industrial Ergonomics, [S.l.],
v.24, n.6, p.631–645, 1999.

Gonçalves, G. et al. Impact of different sensory stimuli on presence in credible virtual


environments. IEEE Transactions on Visualization and Computer Graphics, [S.l.],
p.1–1, 2019.

Groenegress, C. et al. Effects of P300-Based BCI Use on Reported Presence in a Virtual


Environment. Presence, [S.l.], v.19, n.1, p.1–11, 2010.

GUGENHEIMER, J. et al. SwiVRChair: a motorized swivel chair to nudge users’ orien-


tation for 360 degree storytelling in virtual reality. In: SPRINGER, 2016. . . . [S.l.: s.n.],
2016. p.1996–2000.

GUGENHEIMER, J. et al. ShareVR: enabling co-located experiences for virtual reality


between hmd and non-hmd users. In: CHI CONFERENCE ON HUMAN FACTORS IN
COMPUTING SYSTEMS, 2017., 2017, New York, NY, USA. Proceedings. . . ACM,
2017. p.4021–4033. (CHI ’17).

GUO, R.; SAMARAWEERA, G.; QUARLES, J. The Effects of VEs on Mobility Im-
paired Users: presence, gait, and physiological response. In: ACM SYMPOSIUM ON
VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 19., 2013, New York, NY,
USA. Proceedings. . . ACM, 2013. p.59–68. (VRST ’13).

GUO, R.; SAMARAWEERA, G.; QUARLES, J. A unique way to increase presence of


mobility impaired users - Increasing confidence in balance. In: IEEE VIRTUAL REA-
LITY, 2014. Proceedings. . . [S.l.: s.n.], 2014. p.77–78.

HALE, K. S.; STANNEY, K. M. Handbook of Virtual Environments: design, implemen-


tation, and applications. In: . 2nd ed. Boca Raton, FL, USA: CRC Press, Inc., 2014.

HE, L. et al. Am I in the Theater?: usability study of live performance based virtual reality.
In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
24., 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.28:1–28:11. (VRST ’18).

HEETER, C. Being There: the subjective experience of presence. Presence: teleoper.


virtual environ., Cambridge, MA, USA, v.1, n.2, p.262–271, May 1992.

Heidrich, D.; Oberdörfer, S.; Latoschik, M. E. The Effects of Immersion on Harm-


inducing Factors in Virtual Slot Machines. In: IEEE CONFERENCE ON VIRTUAL RE-
ALITY AND 3D USER INTERFACES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.793–
801.
170

HELD, R.; DURLACH, N. Pictorial Communication in Virtual and Real Environments


(2Nd Ed.). In: ELLIS, S. R.; KAISER, M. K.; GRUNWALD, A. J. (Ed.). . Bristol, PA,
USA: Taylor & Francis, Inc., 1993. p.232–246.

HELDAL, I.; SPANTE, M.; CONNELL, M. Are Two Heads Better Than One?: object-
focused work in physical and in virtual environments. In: ACM SYMPOSIUM ON VIR-
TUAL REALITY SOFTWARE AND TECHNOLOGY, 2006, New York, NY, USA. Pro-
ceedings. . . ACM, 2006. p.287–296. (VRST ’06).

HENDRIX, C.; BARFIELD, W. Presence within virtual environments as a function of


visual display parameters. Presence: teleoperators and virtual environments, [S.l.], v.5,
n.3, p.274–289, 6 1996.

Herder, J. et al. Avatars for Co-located Collaborations in HMD-based Virtual Environ-


ments. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFA-
CES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.968–969.

HOANG, T. N.; COX, T. N. Alternating Reality: an interweaving narrative of physical


and virtual cultural exhibitions. Presence: teleoperators virtual environments, [S.l.], v.26,
n.4, p.402 – 419, 2017.

HOBERMAN, P. et al. Immersive training games for smartphone-based head moun-


ted displays. In: IEEE VIRTUAL REALITY WORKSHOPS (VRW), 2012., 2012. . . .
[S.l.: s.n.], 2012. p.151–152.

HOFFMAN, H. G. et al. The Illusion of Presence in Immersive Virtual Reality during an


fMRI Brain Scan. Cyberpsy., Behavior, and Soc. Networking, [S.l.], v.6, n.2, p.127–
131, 2003.

HORST, R.; DöRNER, R. Virtual Reality Forge: pattern-oriented authoring of virtual


reality nuggets. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND
TECHNOLOGY, 25., 2019, New York, NY, USA. . . . Association for Computing Machi-
nery, 2019. (VRST ’19).

HOULIEZ, C.; GAMBLE, E. Dwelling in Second Life? A phenomenological evaluation


of online virtual worlds. Virtual Reality, [S.l.], v.17, n.4, p.263–278, Nov 2013.

HUANG, M. P.; ALESSI, N. E. Presence as an emotional experience. Studies in health


technology and informatics, [S.l.], p.148–153, 1999.

HUNTER, M. Imagination may be more important than knowledge: the eight types of
imagination we use. Orbus, [S.l.], v.2013, 07 2011.

HUTZ, C. S.; BANDEIRA, D. R.; TRENTINI, C. Psicometria. [S.l.]: Artmed, 2015.


171

HWANG, J.; JUNG, J.; KIM, G. J. Hand-held Virtual Reality: a feasibility study. In:
ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
2006, New York, NY, USA. Proceedings. . . ACM, 2006. p.356–363. (VRST ’06).

IJSSELSTEIJN, W. A. et al. Virtual Fitness: stimulating exercise behavior through media


technology. Presence: teleoperators virtual environments, [S.l.], v.15, n.6, p.688 – 698,
2006.

IJSSELSTEIJN, W.; de Kort, Y.; POELS, K. The Game Experience Questionnaire.


[S.l.]: Technische Universiteit Eindhoven, 2013.

IJSSELSTEIJN, W. et al. Effects of Stereoscopic Presentation, Image Motion, and Screen


Size on Subjective and Objective Corroborative Measures of Presence. Presence: teleo-
perators virtual environments, [S.l.], v.10, n.3, p.298 – 311, 2001.

INSKO, B. E. Passive Haptics Significantly Enhances Virtual Environments. 2001.


Tese (Doutorado em Ciência da Computação) — . AAI3007820.

INTERRANTE, V. et al. Elucidating Factors that Can Facilitate Veridical Spatial Percep-
tion in Immersive Virtual Environments. Presence: teleoperators virtual environments,
[S.l.], v.17, n.2, p.176 – 198, 2008.

JACKSON, S. A.; MARSH, H. W. Development and Validation of a Scale to Measure


Optimal Experience: the flow state scale. Journal of Sport and Exercise Psychology,
Champaign IL, USA, v.18, n.1, 1996.

JANEH, O. et al. Walking in Virtual Reality: effects of manipulated visual self-motion


on walking biomechanics. ACM Trans. Appl. Percept., New York, NY, USA, v.14, n.2,
p.12:1–12:15, Jan. 2017.

JEANNE, F.; THOUVENIN, I.; LENGLET, A. A Study on Improving Performance in


Gesture Training Through Visual Guidance Based on Learners’ Errors. In: ACM SYM-
POSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 23., 2017, New
York, NY, USA. Proceedings. . . ACM, 2017. p.24:1–24:10. (VRST ’17).

JEON, S.-G. et al. Being More Focused and Engaged in Firefighting Training: applying
user-centered design to vr system development. In: ACM SYMPOSIUM ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 25., 2019, New York, NY, USA. . . . As-
sociation for Computing Machinery, 2019. (VRST ’19).

JEONG, D. H. et al. User experimentation: an evaluation of velocity control techniques


in immersive virtual environments. Virtual Reality, [S.l.], v.13, n.1, p.41–50, Mar 2009.

JEX, H. R. Measuring Mental Workload: problems, progress, and promises. Advances in


Psychology, [S.l.], v.52, p.5–39, 1988.
172

JO, D. et al. The Impact of Avatar-owner Visual Similarity on Body Ownership in Immer-
sive Virtual Reality. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE
AND TECHNOLOGY, 23., 2017, New York, NY, USA. Proceedings. . . ACM, 2017.
p.77:1–77:2. (VRST ’17).

In: [S.l.]: IEEE Press, 2019.

JOHN, O. P.; SRIVASTAVA, S. The Big Five Trait taxonomy: history, measurement, and
theoretical perspectives. In: ACM, 1999. . . . [S.l.: s.n.], 1999.

JOHNSEN, K.; LOK, B. An evaluation of immersive displays for virtual human experi-
ences. In: IEEE VIRTUAL REALITY, 2008. Proceedings. . . IEEE, 2008. p.133–136.

JOHNSON, D.; DAMIAN, D.; TZANETAKIS, G. Evaluating the effectiveness of mixed


reality music instrument learning with the theremin. Virtual Reality, [S.l.], Jul 2019.

JORISSEN, P.; WIJNANTS, M.; LAMOTTE, M. Dynamic interactions in physically


realistic collaborative virtual environments. IEEE Transactions on Visualization and
Computer Graphics, [S.l.], v.11, n.6, p.649–660, Nov 2005.

JUAN, M. C. et al. An Augmented Reality System for the Treatment of Acrophobia: the
sense of presence using immersive photography. Presence: teleoperators virtual environ-
ments, [S.l.], v.15, n.4, p.393 – 402, 2006.

JUAN, M. C.; PéREZ, D. Comparison of the Levels of Presence and Anxiety in an


Acrophobic Environment Viewed via HMD or CAVE. Presence: teleoperators virtual
environments, [S.l.], v.18, n.3, p.232 – 248, 2009.

JUAN, M. C.; PéREZ, D. Using augmented and virtual reality for the development of
acrophobic scenarios. Comparison of the levels of presence and anxiety. Computers
Graphics, [S.l.], v.34, n.6, p.756 – 766, 2010. Graphics for Serious Games Computer
Graphics in Spain: a Selection of Papers from CEIG 2009 Selected Papers from the SIG-
GRAPH Asia Education Program.

JUNG, C. Psychological Types. [S.l.]: Taylor & Francis, 2016. (Routledge Classics).

JUNG, S. et al. RealME: the influence of body and hand representations on body ow-
nership and presence. In: SYMPOSIUM ON SPATIAL USER INTERACTION, 5., 2017,
New York, NY, USA. Proceedings. . . ACM, 2017. p.3–11. (SUI ’17).

JUNG, S. et al. Over My Hand: using a personalized hand in vr to improve object size
estimation, body ownership, and presence. In: SYMPOSIUM ON SPATIAL USER IN-
TERACTION, 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.60–68. (SUI
’18).
173

KERN, A. C.; ELLERMEIER, W.; WOJTUSCH, J. Noise-cancelling, Steps and Sounds-


capes: the effect of auditory stimulation on presence in virtual realities while walking.
In: ND ACM CONFERENCE ON VIRTUAL REALITY SOFTWARE AND TECHNO-
LOGY, 22., 2016, New York, NY, USA. Proceedings. . . ACM, 2016. p.87–90. (VRST
’16).

KHAMIS, M. et al. ElectroCutscenes: realistic haptic feedback in cutscenes of virtual


reality games using electric muscle stimulation. In: ACM SYMPOSIUM ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 25., 2019, New York, NY, USA. . . . As-
sociation for Computing Machinery, 2019. (VRST ’19).

KHANNA, P. et al. Presence in Response to Dynamic Visual Realism: a preliminary


report of an experiment study. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFT-
WARE AND TECHNOLOGY, 2006, New York, NY, USA. Proceedings. . . ACM, 2006.
p.364–367. (VRST ’06).

Khenak, N. et al. Spatial Presence in Real and Remote Immersive Environments. In: IEEE
CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES (VR), 2019.,
2019. . . . [S.l.: s.n.], 2019. p.1016–1017.

Kim, A. et al. The Influence of Body Position on Presence When Playing a Virtual Reality
Game. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFA-
CES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.1020–1021.

KIM, G. J. Designing virtual reality systems - the structured approach. [S.l.]: Sprin-
ger, 2005. I-IX, 1-233p.

KIM, J. et al. Effects of Head-display Lag on Presence in the Oculus Rift. In: ACM SYM-
POSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 24., 2018, New
York, NY, USA. Proceedings. . . ACM, 2018. p.83:1–83:2. (VRST ’18).

KIM, K. et al. Comparison of desktop, head mounted display, and six wall fully immersive
systems using a stressful task. In: IEEE VIRTUAL REALITY (VR), 2012., 2012. . . .
IEEE, 2012. p.143–144.

KIM, T.; BIOCCA, F. Telepresence via Television: two dimensions of telepresence


may have different connections to memory and persuasion.[1]. Journal of Computer-
Mediated Communication, [S.l.], v.3, n.2, p.0, 1997.

Kim, Y. Y. et al. The Application of Biosignal Feedback for Reducing Cybersickness from
Exposure to a Virtual Environment. Presence, [S.l.], v.17, n.1, p.1–16, 2008.
174

KITCHENHAM, B.; CHARTERS, S. Guidelines for performing Systematic Literature


reviews in Software Engineering Version 2.3. Engineering, [S.l.], v.45, n.4ve, p.1051,
2007.

KOEPNICK, S. et al. RIST: radiological immersive survey training for two simultaneous
users. Computers Graphics, [S.l.], v.34, n.6, p.665 – 676, 2010. Graphics for Serious
Games Computer Graphics in Spain: a Selection of Papers from CEIG 2009 Selected
Papers from the SIGGRAPH Asia Education Program.

KOLKMEIER, J. et al. With a Little Help from a Holographic Friend: the openimpress
mixed reality telepresence toolkit for remote collaboration systems. In: ACM SYMPO-
SIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 24., 2018, New
York, NY, USA. Proceedings. . . ACM, 2018. p.26:1–26:11. (VRST ’18).

KRAMER, A. D. I.; OH, L. M.; FUSSELL, S. R. Using Linguistic Features to Mea-


sure Presence in Computer-mediated Communication. In: SIGCHI CONFERENCE ON
HUMAN FACTORS IN COMPUTING SYSTEMS, 2006, New York, NY, USA. Proce-
edings. . . ACM, 2006. p.913–916. (CHI ’06).

KRAUSS, M. et al. Measurement of presence in virtual environments. In: PSYCHO-


LOGIE IM SPANNUNGSFELD VON GRUNDLAGENFORSCHUNG UND ANWEN-
DUNG, 2001. . . . [S.l.: s.n.], 2001. p.358–362.

LAARNI, J.; RAVAJA, N.; SAARI, T. Using eye tracking and psychophysiological
methods to study spatial presence. , [S.l.], 2003.

LARRUE, F. et al. Brain Computer Interface vs Walking Interface in VR: the impact
of motor activity on spatial transfer. In: ACM SYMPOSIUM ON VIRTUAL REALITY
SOFTWARE AND TECHNOLOGY, 18., 2012, New York, NY, USA. Proceedings. . .
ACM, 2012. p.113–120. (VRST ’12).

LARSSON, P.; VäSTFJäLL, D.; KLEINER, M. The Actor-Observer Effect in Virtual Re-
ality Presentations. Cyberpsy., Behavior, and Soc. Networking, [S.l.], v.4, n.2, p.239–
246, 2001.

LAWSHE, C. H. A quantitative approach to content validity. Personnel Psychology,


[S.l.], p.564–575, 1975.

LEE, M. et al. The Wobbly Table: increased social presence via subtle incidental mo-
vement of a real-virtual table. Proceedings - IEEE Virtual Reality, [S.l.], v.2016-July,
p.11–17, 2016.

Lee, S. et al. Haptic Teleoperation of a Mobile Robot: a user study. Presence, [S.l.], v.14,
n.3, p.345–365, 2005.
175

LEE, S.; KIM, G. J.; LEE, J. Observing Effects of Attention on Presence with fMRI.
2004. (VRST ’04).

LEEB, R. et al. Walking by Thinking: the brainwaves are crucial, not the muscles! Pre-
sence: teleoperators and virtual environments, [S.l.], v.15, n.5, p.500–514, 2006.

LEONARDIS, D. et al. Multisensory Feedback Can Enhance Embodiment Within an En-


riched Virtual Walking Scenario. PRESENCE: teleoperators virtual environments, [S.l.],
v.23, n.3, p.253 – 266, 2014.

LESSITER, J. et al. A Cross-Media Presence Questionnaire: the itc-sense of presence


inventory. Presence: teleoperators and virtual environments, [S.l.], v.10, n.3, p.282–297,
2001.

LIN, J. J. . et al. Effects of field of view on presence, enjoyment, memory, and simulator
sickness in a virtual environment. In: IEEE VIRTUAL REALITY 2002, 2002. Procee-
dings. . . [S.l.: s.n.], 2002. p.164–171.

LIN, J. J. W. et al. Effects of field of view on presence, enjoyment, memory, and simulator
sickness in a virtual environment. In: IEEE VIRTUAL REALITY 2002, 2002. Procee-
dings. . . [S.l.: s.n.], 2002. p.164–171.

LIN, J. J. W. et al. Virtual Guiding Avatar: an effective procedure to reduce simulator


sickness in virtual environments. In: SIGCHI CONFERENCE ON HUMAN FACTORS
IN COMPUTING SYSTEMS, 2004, New York, NY, USA. Proceedings. . . ACM, 2004.
p.719–726. (CHI ’04).

LIN, T. et al. Preliminary Evaluation of the Audience-driven Movie. In: CHI ’08 EX-
TENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING SYSTEMS, 2008,
New York, NY, USA. . . . ACM, 2008. p.3273–3278. (CHI EA ’08).

LIND, S. et al. Effects of vibrotactile stimulation during virtual sandboarding. Procee-


dings - IEEE Virtual Reality, [S.l.], v.2016-July, p.219–220, 2016.

Ling, Y. et al. Effects of Stereoscopic Viewing on Presence, Anxiety, and Cybersickness


in a Virtual Reality Environment for Public Speaking. Presence, [S.l.], v.21, n.3, p.254–
267, 2012.

LLORACH, G.; EVANS, A.; BLAT, J. Simulator Sickness and Presence Using HMDs:
comparing use of a game controller and a position estimation system. In: ACM SYMPO-
SIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 20., 2014, New
York, NY, USA. Proceedings. . . ACM, 2014. p.137–140. (VRST ’14).
176

LOK, B. et al. Effects of Handling Real Objects and Self-Avatar Fidelity on Cognitive
Task Performance and Sense of Presence in Virtual Environments. Presence: teleopera-
tors and virtual environments, [S.l.], v.12, n.6, p.615–628, 2003.

LOK, B. et al. Effects of handling real objects and avatar fidelity on cognitive task per-
formance in virtual environments. In: IEEE VIRTUAL REALITY, 2003. Proceedings. . .
IEEE Comput. Soc, 2003. v.2003-Janua, p.125–132.

LOMBARD, M.; DITTON, T. At the Heart of It All: the concept of presence. Journal of
Computer-Mediated Communication, [S.l.], v.3, n.2, p.0–0, 1997.

LOMBARD, M.; DITTON, T. B.; WEINSTEIN, L. 1 Measuring Presence: the temple


presence inventory. 2009.

LOMBARD, M. et al. Measuring presence: a literature-based approach to the develop-


ment of a standardized paper-and-pencil instrument. 2000.

LORENZ, M. et al. I’m There! the influence of virtual reality and mixed reality environ-
ments combined with two different navigation methods on presence. In: IEEE VIRTUAL
REALITY CONFERENCE, VR 2015 - PROCEEDINGS, 2015., 2015. . . . [S.l.: s.n.],
2015. p.223–224.

LUGRIN, J.-L. et al. Exploring the Usability of Immersive Interactive Storytelling. In:
ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
17., 2010, New York, NY, USA. Proceedings. . . ACM, 2010. p.103–110. (VRST ’10).

LUGRIN, J.-L. et al. CaveUDK: a vr game engine middleware. In: ACM SYMPOSIUM
ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 18., 2012, New York,
NY, USA. Proceedings. . . ACM, 2012. p.137–144. (VRST ’12).

LUGRIN, J.-L. et al. Usability Benchmarks for Motion Tracking Systems. In: ACM
SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 19.,
2013, New York, NY, USA. Proceedings. . . ACM, 2013. p.49–58. (VRST ’13).

MAEREG, A. T. et al. Wearable Vibrotactile Haptic Device for Stiffness Discrimination


during Virtual Interactions. Frontiers in Robotics AI, Biomedical Robotics, [S.l.], v.4,
08 2017.

Malbos, E.; Rapee, R. M.; Kavakli, M. Behavioral Presence Test in Threatening Virtual
Environments. Presence, [S.l.], v.21, n.3, p.268–280, 2012.

MANIA, K.; ROBINSON, A. An experimental exploration of the relationship between


subjective impressions of illumination and physical fidelity. Computers Graphics, [S.l.],
v.29, n.1, p.49 – 56, 2005.
177

Matthews, B. J. et al. Remapped Physical-Virtual Interfaces with Bimanual Haptic Retar-


geting. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFA-
CES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.19–27.

MATTHIAS, H.; BECKHAUS, S. Adaptive Generation of Emotional Impact Using


Enhanced Virtual Environments. Presence: teleoperators and virtual environments, [S.l.],
v.21, n.1, p.96–116, 2012.

MCCALL, R.; O’NEIL, S.; CARROLL, F. Measuring Presence in Virtual Environments.


In: CHI ’04 EXTENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING
SYSTEMS, 2004, New York, NY, USA. . . . ACM, 2004. p.783–784. (CHI EA ’04).

MCGILL, M. et al. A Dose of Reality: overcoming usability challenges in vr head-


mounted displays. In: ANNUAL ACM CONFERENCE ON HUMAN FACTORS IN
COMPUTING SYSTEMS, 33., 2015, New York, NY, USA. Proceedings. . . ACM, 2015.
p.2143–2152. (CHI ’15).

MCHUGH, N. et al. Investigating a Physical Dial as a Measurement Tool for Cybersick-


ness in Virtual Reality. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE
AND TECHNOLOGY, 25., 2019, New York, NY, USA. . . . Association for Computing
Machinery, 2019. (VRST ’19).

MEEHAN, M. Physiological Reaction As an Objective Measure of Presence in Vir-


tual Environments. Chapel Hill, NC, USA: [s.n.], 2001.

MEEHAN, M. et al. Physiological measures of presence in stressful virtual environments.


ACM Transactions on Graphics; Proceedings of ACM SIGGRAPH 2002, July 23,
2002 - July 26, 2002, [S.l.], v.21, p.645–652, 2002.

MEEHAN, M. et al. Physiological measures of presence in stressful virtual environments.


In: SIGGRAPH, 2002. . . . ACM, 2002. p.645–652.

MEEHAN, M. et al. Effect of latency on presence in stressful virtual environments. In:


IEEE VIRTUAL REALITY, 2003. Proceedings. . . IEEE Comput. Soc, 2003. v.2003-
Janua, p.141–148.

MELO, M.; VASCONCELOS-RAPOSO, J.; BESSA, M. Presence and cybersickness


in immersive content: effects of content type, exposure time and gender. Computers
Graphics, [S.l.], v.71, p.159 – 165, 2018.

MEN, L. et al. The impact of transitions on user experience in virtual reality. In: IEEE
VIRTUAL REALITY (VR), 2017., 2017. . . . [S.l.: s.n.], 2017. p.285–286.
178

MESSICK, S. Validity. In: Educational measurement, 3rd ed. [S.l.]: American Council
on Education, 1989. p.13–103. (The American Council on Education/Macmillan series
on higher education.).

MIKROPOULOS, T. A. Presence: a unique characteristic in educational virtual environ-


ments. Virtual Reality, [S.l.], v.10, n.3, p.197–206, Dec 2006.

MILLEVILLE-PENNEL, I.; Charron, C. Driving for Real or on a Fixed-Base Simulator:


is it so different? an explorative study. Presence, [S.l.], v.24, n.1, p.74–91, Feb 2015.

MINSKY, M. Telepresence. , [S.l.], 1980.

MONTEIRO, P. et al. Application of the steering law to virtual reality walking navigation
interfaces. Computers Graphics, [S.l.], v.77, p.80 – 87, 2018.

MOON, T.; KIM, G. J. Design and Evaluation of a Wind Display for Virtual Reality.
In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
2004, New York, NY, USA. Proceedings. . . ACM, 2004. p.122–128. (VRST ’04).

MORINA, N. et al. Sense of presence and anxiety during virtual social interactions
between a human and virtual humans. PeerJ, [S.l.], v.2, p.e337, Apr. 2014.

MOTTELSON, A.; HORNBÆK, K. Virtual Reality Studies Outside the Laboratory. In:
ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
23., 2017, New York, NY, USA. Proceedings. . . ACM, 2017. p.9:1–9:10. (VRST ’17).

MURRAY, C. D.; ARNOLD, P.; THORNTON, B. Presence Accompanying Induced He-


aring Loss: implications for immersive virtual environments. Presence: teleoperators
virtual environments, [S.l.], v.9, n.2, p.137 – 148, 2000.

NAGAO, R. et al. Ascending and Descending in Virtual Reality: simple and safe system
using passive haptics. IEEE Transactions on Visualization and Computer Graphics,
[S.l.], v.24, n.4, p.1584–1593, April 2018.

NAKANO, T.; YANAGIDA, Y. Measurement of wind direction perception by the entire


head. In: IEEE VIRTUAL REALITY (VR), 2016., 2016. . . . [S.l.: s.n.], 2016. p.237–238.

NAPIERALSKI, P. E. et al. An evaluation of immersive viewing on spatial knowledge


acquisition in spherical panoramic environments. Virtual Reality, [S.l.], v.18, n.3, p.189–
201, Sep 2014.

NARANG, S. et al. PedVR: simulating gaze-based interactions between a real user and
virtual crowds. In: ND ACM CONFERENCE ON VIRTUAL REALITY SOFTWARE
AND TECHNOLOGY, 22., 2016, New York, NY, USA. Proceedings. . . ACM, 2016.
p.91–100. (VRST ’16).
179

NARAYANAN, S.; POLYS, N.; BUKVIC, I. I. Cinemacraft: exploring fidelity cues in


collaborative virtual world interactions. Virtual Reality, [S.l.], Apr 2019.

NASH, E. B. et al. A Review of Presence and Performance in Virtual Environments. In-


ternational Journal of Human–Computer Interaction, [S.l.], v.12, n.1, p.1–41, 2000.

NEDEL, L. et al. Using Immersive Virtual Reality to Reduce Work Accidents in Develo-
ping Countries. IEEE Computer Graphics and Applications, [S.l.], v.36, n.2, p.36–46,
2016.

NICHOLS, S.; HALDANE, C.; WILSON, J. R. Measurement of presence and its conse-
quences in virtual environments. Int. J. Hum.-Comput. Stud., [S.l.], v.52, n.3, p.471–
491, 2000.

NIELSEN, L. T. et al. Missing the Point: an exploration of how to guide users’ attention
during cinematic virtual reality. In: ND ACM CONFERENCE ON VIRTUAL REALITY
SOFTWARE AND TECHNOLOGY, 22., 2016, New York, NY, USA. Proceedings. . .
ACM, 2016. p.229–232. (VRST ’16).

NISHIMOTO, A.; JOHNSON, A. E. Extending Virtual Reality Display Wall Environ-


ments Using Augmented Reality. In: SYMPOSIUM ON SPATIAL USER INTERAC-
TION, 2019, New York, NY, USA. . . . Association for Computing Machinery, 2019.
(SUI ’19).

NORDAHL, R. et al. Enhancing realism in virtual environments by simulating the audio-


haptic sensation of walking on ground surfaces. In: IEEE VIRTUAL REALITY, 2012.
Proceedings. . . IEEE, 2012. p.73–74.

NORDAHL, R.; KORSGAARD, D. Distraction as a measure of presence: using visual


and tactile adjustable distraction as a measure to determine immersive presence of content
in mediated environments. Virtual Reality, [S.l.], v.14, n.1, p.27–42, Mar 2010.

NOWAK, K. L.; BIOCCA, F. A. The Effect of the Agency and Anthropomorphism on


Users’ Sense of Telepresence, Copresence, and Social Presence in Virtual Environments.
Presence, [S.l.], v.12, n.5, p.481–494, 2003.

OBERDöRFER, S.; FISCHBACH, M.; LATOSCHIK, M. E. Effects of VE Transition


Techniques on Presence, Illusion of Virtual Body Ownership, Efficiency, and Naturalness.
In: SYMPOSIUM ON SPATIAL USER INTERACTION, 2018, New York, NY, USA.
Proceedings. . . ACM, 2018. p.89–99. (SUI ’18).

OGAWA, M. Digital Game Devices with Physiological Measurement; For Games as Fu-
ture Healthcare Bases. In: IEEE 7TH INTERNATIONAL CONFERENCE ON SERIOUS
180

GAMES AND APPLICATIONS FOR HEALTH (SEGAH), 2019., 2019. . . . [S.l.: s.n.],
2019. p.1–5.

OH, J.; KIM, G. J. Effect of Accompanying Onomatopoeia with Sound Feedback Toward
Presence and User Experience in Virtual Reality. In: ACM SYMPOSIUM ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 24., 2018, New York, NY, USA. Proce-
edings. . . ACM, 2018. p.81:1–81:2. (VRST ’18).

OLSON, J. L. et al. A design for a smartphone-based head mounted display. In: IEEE
VIRTUAL REALITY CONFERENCE, 2011., 2011. . . . [S.l.: s.n.], 2011. p.233–234.

OUTRAM, B. I.; NAKATANI, M.; MINAMIZAWA, K. Extra-normal interactions in me-


diated virtual environments: an investigation of an audio-visual crossed-sense modality.
In: IEEE VIRTUAL REALITY, 2016. Proceedings. . . IEEE, 2016. v.2016-July, p.255–
256.

PALLAVICINI, F. et al. What Is the Relationship Among Positive Emotions, Sense of


Presence, and Ease of Interaction in Virtual Reality Systems? An On-Site Evaluation of
a Commercial Virtual Experience. Presence: teleoperators virtual environments, [S.l.],
v.27, n.2, p.183 – 201, 2018.

PARENT, A. A Virtual Environment Task Analysis Workbook for the Creation and
Evaluation of Virtual Art Exhibits. [S.l.: s.n.], 1998.

PARGER, M. et al. Human Upper-body Inverse Kinematics for Increased Embodiment


in Consumer-grade Virtual Reality. In: ACM SYMPOSIUM ON VIRTUAL REALITY
SOFTWARE AND TECHNOLOGY, 24., 2018, New York, NY, USA. Proceedings. . .
ACM, 2018. p.23:1–23:10. (VRST ’18).

PARMAR, D. et al. Programming moves: design and evaluation of applying embodied


interaction in virtual environments to enhance computational thinking in middle school
students. Proceedings - IEEE Virtual Reality, [S.l.], v.2016-July, p.131–140, 2016.

PAWAR, V. M.; Steed, A. Evaluating the Influence of Haptic Force-Feedback on 3D Se-


lection Tasks using Natural Egocentric Gestures. In: IEEE VIRTUAL REALITY CON-
FERENCE, 2009., 2009. . . . [S.l.: s.n.], 2009. p.11–18.

PECK, T. C.; FUCHS, H.; WHITTON, M. C. An evaluation of navigational ability com-


paring Redirected Free Exploration with Distractors to Walking-in-Place and joystick lo-
comotio interfaces. In: IEEE VIRTUAL REALITY, 2011. Proceedings. . . IEEE, 2011.
p.55–62.

PECK, T.; WHITTON, M.; FUCHS, H. Evaluation of Orientation for Walking in Large
Virtual Environments. IEEE Virtual Reality, [S.l.], p.121–127, 2008.
181

PERSKY, S.; BLASCOVICH, J. Immersive Virtual Video Game Play and Presence: influ-
ences on aggressive feelings and behavior. Presence: teleoperators virtual environments,
[S.l.], v.17, n.1, p.57 – 72, 2008.

PETRIDIS, P. et al. Usability Evaluation of the EPOCH Multimodal User Interface:


designing 3d tangible interactions. In: ACM SYMPOSIUM ON VIRTUAL REALITY
SOFTWARE AND TECHNOLOGY, 2006, New York, NY, USA. Proceedings. . . ACM,
2006. p.116–122. (VRST ’06).

PFEIFFER, T.; SCHMIDT, A.; RENNER, P. Detecting movement patterns from inertial
data of a mobile head-mounted-display for navigation via walking-in-place. In: IEEE
VIRTUAL REALITY, 2016. Proceedings. . . IEEE, 2016. v.2016-July, p.263–264.

PHILLIPS, L. et al. Correlations Between Physiological Response, Gait, Personality, and


Presence in Immersive Virtual Environments. Presence: teleoperators virtual environ-
ments, [S.l.], v.21, n.2, p.119 – 141, 2012.

PODKOSOVA, I.; KAUFMANN, H. Co-presence and Proxemics in Shared Walkable


Virtual Environments with Mixed Colocation. In: ACM SYMPOSIUM ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 24., 2018, New York, NY, USA. Proce-
edings. . . ACM, 2018. p.21:1–21:11. (VRST ’18).

POESCHL, S.; WALL, K.; DOERING, N. Integration of spatial sound in immersive vir-
tual environments an experimental study on effects of spatial sound on presence. Virtual
Reality (VR), 2013 IEEE, [S.l.], p.129–130, mar 2013.

PORTNOY, D. B.; SMOAK, N. D.; MARSH, K. L. Perceiving interpersonally-mediated


risk in virtual environments. Virtual Reality, [S.l.], v.14, n.1, p.67–76, Mar 2010.

Prachyabrued, M. et al. Toward Virtual Stress Inoculation Training of Prehospital Health-


care Personnel: a stress-inducing environment design and investigation of an emotional
connection factor. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER
INTERFACES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.671–679.

PROTHERO, J.; PARKER, D.; FURNESS III, T. Towards a Robust, Quantative Measure
for Presence. Proceedings of the Conference on Experimental Analysis and Measure-
ment of Situation Awareness, [S.l.], p.359–366, 1995.

Qu, C. et al. The Effect of Priming Pictures and Videos on a Question–Answer Dialog
Scenario in a Virtual Environment. Presence, [S.l.], v.22, n.2, p.91–109, 2013.

RACHEVSKY, D.; SOUZA, V. Costa de; NEDEL, L. Visualization and Interaction in


Immersive Virtual Reality Games: a user evaluation study. In: 2019 , 2018. . . . [S.l.: s.n.],
2018.
182

RAMALHO, J. a.; CHAMBEL, T. Windy Sight Surfers: sensing and awareness of 360
immersive videos on the move. In: EUROPEAN CONFERENCE ON INTERACTIVE
TV AND VIDEO, 11., 2013, New York, NY, USA. Proceedings. . . ACM, 2013. p.107–
116. (EuroITV ’13).

RANASINGHE, N. et al. Ambiotherm: enhancing sense of presence in virtual reality by


simulating real-world environmental conditions. In: CHI CONFERENCE ON HUMAN
FACTORS IN COMPUTING SYSTEMS, 2017., 2017, New York, NY, USA. Procee-
dings. . . ACM, 2017. p.1731–1742. (CHI ’17).

RANASINGHE, N. et al. Season Traveller: multisensory narration for enhancing the


virtual reality experience. In: CHI CONFERENCE ON HUMAN FACTORS IN COM-
PUTING SYSTEMS, 2018., 2018, New York, NY, USA. Proceedings. . . ACM, 2018.
p.577:1–577:13. (CHI ’18).

RAND, D. et al. Comparison of Two VR Platforms for Rehabilitation: video capture


versus hmd. Presence: teleoperators virtual environments, [S.l.], v.14, n.2, p.147 – 160,
2005.

RAVAJA, N. Presence-Related Influences of a Small Talking Facial Image on Psychophy-


siological Measures of Emotion and Attention. In: FIFTH ANNUAL INTERNATIONAL
WORKSHOP PRESENCE 2002, 2002. Proceedings. . . [S.l.: s.n.], 2002.

RAVAJA, N. et al. Spatial Presence and Emotions during Video Game Playing: does it
matter with whom you play?. Presence: teleoperators virtual environments, [S.l.], v.15,
n.4, p.381 – 392, 2006.

RÉBILLAT, M. et al. Audio, Visual, and Audio-visual Egocentric Distance Perception by


Moving Subjects in Virtual Environments. ACM Trans. Appl. Percept., New York, NY,
USA, v.9, n.4, p.19:1–19:17, Oct. 2012.

REGENBRECHT, H. et al. Visual manipulations for motor rehabilitation. Computers


Graphics, [S.l.], v.36, n.7, p.819 – 834, 2012. Augmented Reality Computer Graphics in
China.

REGENBRECHT, H.; SCHUBERT, T. Real and Illusory Interactions Enhance Presence


in Virtual Environments. Presence: teleoperators virtual environments, [S.l.], v.11, n.4,
p.425 – 434, 2002.

Rewkowski, N. et al. Evaluating the Effectiveness of Redirected Walking with Auditory


Distractors for Navigation in Virtual Environments. In: IEEE CONFERENCE ON VIR-
TUAL REALITY AND 3D USER INTERFACES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019.
p.395–404.
183

REY, B.; ALCAÑIZ, M. Research in Neuroscience and Virtual Reality. Virtual Reality,
[S.l.], p.377–394, 2010.

REY, B. et al. Brain activity and presence: a preliminary study in different immersive
conditions using transcranial doppler monitoring. Virtual Reality, [S.l.], v.14, n.1, p.55–
65, Mar 2010.

RIECKE, B. E. et al. Cognitive Factors Can Influence Self-motion Perception (Vection) in


Virtual Reality. ACM Trans. Appl. Percept., New York, NY, USA, v.3, n.3, p.194–216,
July 2006.

RIECKE, B. E.; VäLJAMäE, A.; SCHULTE-PELKUM, J. Moving Sounds Enhance the


Visually-induced Self-motion Illusion (Circular Vection) in Virtual Reality. ACM Trans.
Appl. Percept., New York, NY, USA, v.6, n.2, p.7:1–7:27, Mar. 2009.

RIETZLER, M. et al. Breaking the Tracking: enabling weight perception using perceiva-
ble tracking offsets. In: CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING
SYSTEMS, 2018., 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.128:1–
128:12. (CHI ’18).

RIETZLER, M.; GEISELHART, F.; RUKZIO, E. The Matrix Has You: realizing slow
motion in full-body virtual reality. In: ACM SYMPOSIUM ON VIRTUAL REALITY
SOFTWARE AND TECHNOLOGY, 23., 2017, New York, NY, USA. Proceedings. . .
ACM, 2017. p.2:1–2:10. (VRST ’17).

RIVA, G.; DAVIDE, F.; INSKO, B. E. Being There: concepts, effects and measurement
of user presence in synthetic environments 7 measuring presence: subjective, behavioral
and physiological methods. , [S.l.], 2003.

RIVA, G.; WATERWORTH, J.; MURRAY, D. Interacting with presence: hci and the
sense of presence in computer-mediated environments. [S.l.]: De Gruyter Open Ltd, 2014.

ROCCHESSO, D. et al. The Sounding Object Edited by. 2003.

ROGERS, K. et al. Exploring Interaction Fidelity in Virtual Reality: object manipula-


tion and whole-body movements. In: CHI CONFERENCE ON HUMAN FACTORS IN
COMPUTING SYSTEMS, 2019., 2019, New York, NY, USA. Proceedings. . . ACM,
2019. p.414:1–414:14. (CHI ’19).

RYAN, M. Narrative Across Media: the languages of storytelling. [S.l.]: University of


Nebraska Press, 2004. (Frontiers of narrative).
184

RYU, J.; KIM, G. J. Using a Vibro-tactile Display for Enhanced Collision Perception and
Presence. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECH-
NOLOGY, 2004, New York, NY, USA. Proceedings. . . ACM, 2004. p.89–96. (VRST
’04).

SAALFELD, P. et al. The FAUST framework: free-form annotations on unfolding vas-


cular structures for treatment planning. Computers Graphics, [S.l.], v.65, p.12 – 21,
2017.

SALINäS, E.-L. Effects of Communication Mode on Social Presence, Virtual Presence,


and Performance in Collaborative Virtual Environments. Presence: teleoperators virtual
environments, [S.l.], v.14, n.4, p.434 – 449, 2005.

SANCHEZ-VIVES, M. V.; SLATER, M. From presence to consciousness through virtual


reality. Nature Reviews Neuroscience, [S.l.], v.6, p.332–339, 2005.

SAS, C.; O’HARE, G. Presence Equation: an investigation into cognitive factors un-
derlying presence. Presence, [S.l.], v.12, p.523–537, 10 2003.

SCHLOERB, D. W. A Quantitative Measure of Telepresence. Presence: teleoper. virtual


environ., Cambridge, MA, USA, v.4, n.1, p.64–80, Jan. 1995.

SCHLÖGL, A.; SLATER, M.; PFURTSCHELLER, G. Presence research and EEG. Pro-
ceedings of the 5th International Workshop on Presence, [S.l.], p.154ñ160, 2002.

SCHMIDT, S.; NUNEZ, O. J. A.; STEINICKE, F. Blended Agents: manipulation of


physical objects within mixed reality environments and beyond. In: SYMPOSIUM ON
SPATIAL USER INTERACTION, 2019, New York, NY, USA. . . . Association for Com-
puting Machinery, 2019. (SUI ’19).

SCHROEDER, R. et al. Collaborating in networked immersive spaces: as good as being


there together? Computers Graphics, [S.l.], v.25, n.5, p.781–788, 2001.

SCHROEDER, R. et al. Collaborating in networked immersive spaces: as good as being


there together? Computers Graphics, [S.l.], v.25, n.5, p.781 – 788, 2001. Mixed realities
- beyond conventions.

SCHUBERT, E. T.; FRIEDMANN, F. The Experience of Presence: factor analytic in-


sights. Presence, [S.l.], v.10, n.3, p.266–281, 2001.

SCHUBERT, T.; FRIEDMANN, F.; REGENBRECHT, H. The Experience of Presence:


factor analytic insights. Presence: teleoper. virtual environ., Cambridge, MA, USA, v.10,
n.3, p.266–281, June 2001.
185

SCHUEMIE, M. J. et al. Research on Presence in VR : a survey. CyberPsychology and


Behavior, [S.l.], v.4, n.2, p.183–201, 2001.

SEAY, A. F. et al. Simulator sickness and presence in a high FOV virtual environment. In:
IEEE VIRTUAL REALITY 2001, 2001. Proceedings. . . [S.l.: s.n.], 2001. p.299–300.

SEIBERT, J.; SHAFER, D. M. Control mapping in virtual reality: effects on spatial pre-
sence and controller naturalness. Virtual Reality, [S.l.], v.22, n.1, p.79–88, Mar 2018.

SHAFER, D. M.; CARBONARA, C. P.; POPOVA, L. Spatial Presence and Perceived


Reality as Predictors of Motion-Based Video Game Enjoyment. Presence: teleoperators
virtual environments, [S.l.], v.20, n.6, p.591 – 619, 2011.

SHAFER, D. M.; CARBONARA, C. P.; POPOVA, L. Controller Required? The Im-


pact of Natural Mapping on Interactivity, Realism, Presence, and Enjoyment in Motion-
based Video Games. Presence: teleoper. virtual environ., Cambridge, MA, USA, v.23,
n.3, p.267–286, Oct. 2014.

SHERIDAN, T. B. Musings on Telepresence and Virtual Presence. Presence: teleoper.


virtual environ., Cambridge, MA, USA, v.1, n.1, p.120–126, Jan. 1992.

Presence: teleoper. virtual environ., [S.l.], v.1, n.1, 1992.

Shin, J. et al. Is Any Room Really OK? The Effect of Room Size and Furniture on Pre-
sence, Narrative Engagement, and Usability During a Space-Adaptive Augmented Reality
Game. In: IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED
REALITY (ISMAR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.135–144.

SHU, Y. et al. Do virtual reality head-mounted displays make a difference? A compari-


son of presence and self-efficacy between head-mounted displays and desktop computer-
facilitated virtual environments. Virtual Reality, [S.l.], Nov 2018.

SIKSTRöM, E. et al. Shop ’til you hear it drop: influence of interactive auditory feedback
in a virtual reality supermarket. In: 2019 , 2016. . . . [S.l.: s.n.], 2016. p.355–356.

SIMEONE, A. L.; VELLOSO, E.; GELLERSEN, H. Substitutional Reality: using the


physical environment to design virtual reality experiences. In: ANNUAL ACM CONFE-
RENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 33., 2015, New York,
NY, USA. Proceedings. . . ACM, 2015. p.3307–3316. (CHI ’15).

SINNOTT, C. et al. Underwater Virtual Reality System for Neutral Buoyancy Training:
development and evaluation. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFT-
WARE AND TECHNOLOGY, 25., 2019, New York, NY, USA. . . . Association for Com-
puting Machinery, 2019. (VRST ’19).
186

SJöLIE, D. Human brains and virtual realities: computer-generated presence in theory


and practice. 2013.

SKARBEZ, R.; BROOKS JR., F. P.; WHITTON, M. C. A Survey of Presence and Re-
lated Concepts. ACM Comput. Surv., New York, NY, USA, v.50, n.6, p.96:1–96:39,
Nov. 2017.

SKARBEZ, R.; BROOKS JR., F. P.; WHITTON, M. C. Immersion and Coherence in a


Stressful Virtual Environment. In: ACM SYMPOSIUM ON VIRTUAL REALITY SOFT-
WARE AND TECHNOLOGY, 24., 2018, New York, NY, USA. Proceedings. . . ACM,
2018. p.24:1–24:11. (VRST ’18).

SLATER, M. A Note on Presence Terminology. Presence Connect, [S.l.], v.3, 01 2003.

SLATER, M. How Colorful Was Your Day? Why Questionnaires Cannot Assess Presence
in Virtual Environments. Presence, [S.l.], v.13, n.4, p.484–493, 2004.

SLATER, M. Place Illusion and Plausibility Can Lead to Realistic Behaviour in Immer-
sive Virtual Environments. Philosophical transactions of the Royal Society of London.
Series B, Biological sciences, [S.l.], v.364, p.3549–57, 12 2009.

SLATER, M. Place illusion and plausibility can lead to realistic behaviour in immersive
virtual environments. Philos Trans R Soc Lond B Biol Sci, [S.l.], v.364, n.1535, p.3549–
3557, Dec 2009.

SLATER, M. Grand Challenges in Virtual Environments. Frontiers in Robotics and AI,


[S.l.], v.1, p.3, may 2014.

SLATER, M. et al. Inducing illusory ownership of a virtual body. Frontiers in Neurosci-


ence, [S.l.], v.3, p.29, 2009.

SLATER, M. et al. Visual Realism Enhances Realistic Response in an Immersive Virtual


Environment. IEEE Computer Graphics and Applications, [S.l.], v.29, n.3, p.76–84,
May 2009.

SLATER, M.; MCCARTHY, J.; MARINGELLI, F. The Influence of Body Movement on


Subjective Presence in Virtual Environments. Human Factors, [S.l.], v.40, n.3, p.469–
477, 1998.

SLATER, M.; SPANLANG, B.; COROMINAS, D. Simulating Virtual Environments


within Virtual Environments as the Basis for a Psychophysics of Presence. ACM Trans.
Graph., [S.l.], v.29, 07 2010.

SLATER, M.; STEED, A. A Virtual Presence Counter. Presence: teleoperators and vir-
tual environments, [S.l.], v.9, n.5, p.413–434, 2000.
187

SLATER, M.; USOH, M. Presence in immersive virtual environments. In: IEEE VIR-
TUAL REALITY ANNUAL INTERNATIONAL SYMPOSIUM, 1993. . . . [S.l.: s.n.],
1993. p.90–96.

SLATER, M.; USOH, M.; STEED, A. Depth of Presence in Virtual Environments. Pre-
sence: teleoperators and virtual environments, [S.l.], v.3, n.2, p.130–144, 1994.

SLATER, M.; USOH, M.; STEED, A. Taking Steps: the influence of a walking technique
on presence in virtual reality. ACM Trans. Comput.-Hum. Interact., New York, NY,
USA, v.2, n.3, p.201–219, Sept. 1995.

SLATER, M.; WILBUR, S. A framework for immersive virtual environments (FIVE):


speculations on the role of presence in virtual environments. Presence Teleoperators
and Virtual Environments, [S.l.], v.6, n.6, p.603–616, 1997.

SMOLENTSEV, A.; CORNICK, J. E.; BLASCOVICH, J. Using a preamble to increase


presence in digital virtual environments. Virtual Reality, [S.l.], v.21, n.3, p.153–164,
Sep 2017.

SOBIERAJ, S.; KRäMER, N. C. Do 3D Moviegoers Enjoy Screenings More than 2D


Moviegoers?–On the Impact of 3D Fantasy Movie Perception on Enjoyment. Presence:
teleoperators virtual environments, [S.l.], v.23, n.4, p.430 – 448, 2014.

SODHI, R. et al. AIREAL: interactive tactile experiences in free air. ACM Trans.
Graph., New York, NY, USA, v.32, n.4, July 2013.

SOUZA, V. C. d. et al. The Effects of Physiologically-Adaptive Virtual Environment on


User’s Sense of Presence. In: SYMPOSIUM ON VIRTUAL AND AUGMENTED REA-
LITY (SVR), 2018., 2018. . . . [S.l.: s.n.], 2018. p.133–142.

SOUZA, V. C. d. et al. The Effect of Virtual Reality on Knowledge Transfer and Retention
in Collaborative Group-Based Learning for Neuroanatomy Students. In: SYMPOSIUM
ON VIRTUAL AND AUGMENTED REALITY (SVR), 2020., 2020. . . . [S.l.: s.n.], 2020.

SOUZA, V. et al. Desenvolvimento e Avaliaçõo de um Jogo em Realidade Virtual para o


Ensino e Aprendizagem de Neuroanatomia. In: SBC – PROCEEDINGS OF SBGAMES
2018, 2018. . . . [S.l.: s.n.], 2018.

SOUZA, V. et al. Development and Evaluation of a Immersive Serious Game to Support


Neuroanatomy Teaching and Learning. In: SBC – PROCEEDINGS OF SBGAMES 2019,
2019. . . . [S.l.: s.n.], 2019.

SOYKA, F. et al. Turbulent motions cannot shake VR. 2015 IEEE Virtual Reality Con-
ference, VR 2015 - Proceedings, [S.l.], p.33–40, 2015.
188

SRA, M. et al. Auris: creating affective virtual spaces from music. In: ACM SYMPO-
SIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 23., 2017, New
York, NY, USA. Proceedings. . . ACM, 2017. p.26:1–26:11. (VRST ’17).

SRA, M.; XU, X.; MAES, P. BreathVR: leveraging breathing as a directly controlled
interface for virtual reality games. In: CHI CONFERENCE ON HUMAN FACTORS IN
COMPUTING SYSTEMS, 2018., 2018, New York, NY, USA. Proceedings. . . ACM,
2018. p.340:1–340:12. (CHI ’18).

STANNEY, K. M.; MOURANT, R. R.; KENNEDY, R. S. Human Factors Issues in Vir-


tual Environments: a review of the literature. Presence: teleoperators and virtual environ-
ments, [S.l.], v.7, n.4, p.327–351, 1998.

STEED, A.; JULIER, S. Design and implementation of an immersive virtual reality sys-
tem based on a smartphone platform. In: IEEE SYMPOSIUM ON 3D USER INTERFA-
CES (3DUI), 2013., 2013. . . . [S.l.: s.n.], 2013. p.43–46.

STEINICKE, F. et al. Does a gradual transition to the virtual world increase presence?
Proceedings - IEEE Virtual Reality, [S.l.], p.203–210, 2009.

STEINICKE, F. et al. Gradual transitions and their effects on presence and distance esti-
mation. Computers Graphics, [S.l.], v.34, n.1, p.26 – 33, 2010.

STEINICKE, F. et al. Natural Perspective Projections for Head-Mounted Displays. IEEE


Transactions on Visualization and Computer Graphics, [S.l.], v.17, n.7, p.888–899,
July 2011.

STEUER, J. Defining Virtual Reality: dimensions determining telepresence. Journal of


Communication, [S.l.], v.42, n.4, p.73–93, dec 1992.

STEVENS, B. et al. Putting the Virtual into Reality: assessing object-presence with
projection-augmented models. Presence: teleoperators virtual environments, [S.l.], v.11,
n.1, p.79 – 92, 2002.

SUMA, E. A. et al. Leveraging change blindness for redirection in virtual environments.


In: IEEE VIRTUAL REALITY, 2011. Proceedings. . . IEEE, 2011. p.159–166.

SWEETSER, P.; WYETH, P. GameFlow: a model for evaluating player enjoyment in


games. Comput. Entertain., New York, NY, USA, v.3, n.3, p.3–3, July 2005.

TAKATALO, J. Presence and Flow in Virtual Environments: an explorative study.


2002. Tese (Doutorado em Ciência da Computação) — .

TAKATALO, J. et al. The Experiential Dimensions of Two Different Digital Games. In:
IEEE, 2004. . . . [S.l.: s.n.], 2004.
189

TALVAS, A. Bimanual haptic interaction with virtual environments. 2014. Theses —


INSA de Rennes. (2014ISAR0015).

Thompson, S.; Chalmers, A.; Rhee, T. Real-Time Mixed Reality Rendering for Underwa-
ter 360 Videos. In: IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUG-
MENTED REALITY (ISMAR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.74–82.

Toothman, N.; Neff, M. The Impact of Avatar Tracking Errors on User Experience in
VR. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES
(VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.756–766.

TRAN, T. Q. et al. Can We Perceive Changes in Our Moving Speed: a comparison


between directly and indirectly powering the locomotion in virtual environments. In:
ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY,
24., 2018, New York, NY, USA. Proceedings. . . ACM, 2018. p.36:1–36:10. (VRST ’18).

TURNER, P.; TURNER, S. Place, Sense of Place, and Presence. Presence: teleoperators
virtual environments, [S.l.], v.15, n.2, p.204 – 217, 2006.

URBINA, S. Essentials of behavioral science. Essentials of psychological testing (2nd


ed.). [S.l.]: John Wiley Sons Inc., 2014.

USOH, M. et al. Walking > walking-in-place > flying, in virtual environments. In: COM-
PUTER GRAPHICS AND INTERACTIVE TECHNIQUES - SIGGRAPH ’99, 26., 1999.
Proceedings. . . [S.l.: s.n.], 1999. p.359–364.

USOH, M. et al. Using presence questionnaires in reality. Presence: teleoperators and


virtual environments, [S.l.], p.1–16, 2000.

VALKOV, D.; FLAGGE, S. Smooth Immersion: the benefits of making the transition
to virtual environments a continuous process. In: SYMPOSIUM ON SPATIAL USER
INTERACTION, 5., 2017, New York, NY, USA. Proceedings. . . ACM, 2017. p.12–19.
(SUI ’17).

VAN KERREBROECK, H.; BRENGMAN, M.; WILLEMS, K. When brands come to


life: experimental research on the vividness effect of virtual reality in transformational
marketing communications. Virtual Reality, [S.l.], v.21, n.4, p.177–191, Nov 2017.

VERHULST, A. et al. A study on the use of an immersive virtual reality store to investi-
gate consumer perceptions and purchase behavior toward non-standard fruits and vegeta-
bles. In: IEEE VIRTUAL REALITY (VR), 2017., 2017. . . . [S.l.: s.n.], 2017. p.55–63.

VICIANA-ABAD, R.; LECUONA, A. R.; POYADE, M. The Influence of Passive Hap-


tic Feedback and Difference Interaction Metaphors on Presence and Task Performance.
Presence: teleoperators virtual environments, [S.l.], v.19, n.3, p.197 – 212, 2010.
190

VON KAPRI, A.; RICK, T.; FEINER, S. Comparing steering-based travel techniques for
search tasks in a CAVE. In: IEEE VIRTUAL REALITY, 2011. Proceedings. . . IEEE,
2011. p.91–94.

VORDERER, P. et al. MEC Spatial Presence Questionnaire (MEC-SPQ) Short Documen-


tation and Instructions for Application. Report to the European Community, Project
Presence: mec, [S.l.], 2004.

WALLACH, H. S.; SAFIR, M. P.; ALMOG, I. Attachment and sense of presence in a


virtual environment. Virtual Reality, [S.l.], v.13, n.3, p.205–217, Sep 2009.

WALLACH, H. S.; SAFIR, M. P.; SAMANA, R. Personality variables and presence.


Virtual Reality, [S.l.], v.14, n.1, p.3–13, Mar 2010.

WALLIS, G.; TICHON, J. Predicting the Efficacy of Simulator-based Training Using a


Perceptual Judgment Task Versus Questionnaire-based Measures of Presence. Presence:
teleoperators virtual environments, [S.l.], v.22, n.1, p.67 – 85, 2013.

WANG, S. et al. Face-tracking As an Augmented Input in Video Games: enhancing pre-


sence, role-playing and control. In: SIGCHI CONFERENCE ON HUMAN FACTORS
IN COMPUTING SYSTEMS, 2006, New York, NY, USA. Proceedings. . . ACM, 2006.
p.1097–1106. (CHI ’06).

WATERWORTH, J. A.; WATERWORTH, E. L. Being and Time: judged presence and


duration as a function of media form. Presence: teleoperators virtual environments, [S.l.],
v.12, n.5, p.495 – 511, 2003.

WATSON, D.; CLARK, L. A.; TELLEGEN, A. Development and Validation of Brief


Measures of Positive and Negative Affect: the panas scales. Journal of Personality and
Social Psychology, [S.l.], v.54, n.6, p.1063–1070, 1988.

WEECH, S.; KENNY, S.; BARNETT-COWAN, M. Presence and Cybersickness in Vir-


tual Reality Are Negatively Related: a review. Frontiers in Psychology, [S.l.], v.10,
p.158, 02 2019.

WEIBEL, D. et al. Measuring Spatial Presence: introducing and validating the pictorial
presence sam. Presence: teleoperators virtual environments, [S.l.], v.24, n.1, p.44 – 61,
2015.

WEIR, P. et al. Burnar: involuntary heat sensations in augmented reality. In: IEEE VIR-
TUAL REALITY, 2013. Proceedings. . . IEEE, 2013. p.43–46.

WESTHOVEN, M.; PAUL, D.; ALEXANDER, T. Head Turn Scaling Below the Th-
reshold of Perception in Immersive Virtual Environments. In: ND ACM CONFERENCE
191

ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY, 22., 2016, New York,


NY, USA. Proceedings. . . ACM, 2016. p.77–86. (VRST ’16).

WIEDERHOLD, B.; JANG, D. An investigation into physiological responses in vir-


tual environments: an objective measurement of presence. Towards CyberPsychology:
mind, cognitions and society in the internet age, [S.l.], p.175–184, 2001.

WIEDERHOLD, B. K.; DAVIS, R.; WIEDERHOLD, M. D. The effects of immersive-


ness on physiology. Studies in health technology and informatics, [S.l.], v.58, p.52–60,
1998.

WILCOX, L. M. et al. Personal Space in Virtual Reality. ACM Trans. Appl. Percept.,
New York, NY, USA, v.3, n.4, p.412–428, Oct. 2006.

WILSON, J. R.; NICHOLS, S.; HALDANE, C. Presence and Side Effects: complemen-
tary or contradictory? In: HCI (2), 1997. . . . Elsevier, 1997. p.889–892.

WISSMATH, B.; WEIBEL, D.; MAST, F. W. Measuring presence with verbal versus
pictorial scales: a comparison between online- and ex post-ratings. Virtual Reality, [S.l.],
v.14, n.1, p.43–53, Mar 2010.

WITMER, B. G.; KLINE, P. B. Judging Perceived and Traversed Distance in Virtual


Environments. Presence: teleoperators virtual environments, [S.l.], v.7, n.2, p.144 – 167,
1998.

WU, Y. et al. Exploring the Use of a Robust Depth-Sensor-Based Avatar Control System
and Its Effects on Communication Behaviors. In: ACM SYMPOSIUM ON VIRTUAL
REALITY SOFTWARE AND TECHNOLOGY, 25., 2019, New York, NY, USA. . . . As-
sociation for Computing Machinery, 2019. (VRST ’19).

YAYICI, E. Design Thinking Methodology Book. [S.l.]: Emrah Yayici, 2016.

YOUNGBLUT, C. Experience of Presence in Virtual Environments. , [S.l.], n.September,


p.158, 2003.

ZAHORIK, P.; JENISON, R. L. Presence as Being-in-the-World. Presence: teleoperators


and virtual environments, [S.l.], v.7, n.1, p.78–89, 1998.

ZANBAKA, C. A. et al. Comparison of path visualizations and cognitive measures rela-


tive to travel technique in a virtual environment. IEEE Transactions on Visualization
and Computer Graphics, [S.l.], v.11, n.6, p.694–705, Nov 2005.

ZANBAKA, C. et al. Effects of travel technique on cognition in virtual environments.


In: VIRTUAL REALITY ANNUAL INTERNATIONAL SYMPOSIUM, 2004. Procee-
dings. . . IEEE, 2004. p.149–156.
192

Zielasko, D.; Weyers, B.; Kuhlen, T. W. A Non-Stationary Office Desk Substitution for
Desk-Based and HMD-Projected Virtual Reality. In: IEEE CONFERENCE ON VIR-
TUAL REALITY AND 3D USER INTERFACES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019.
p.1884–1889.

Zielasko, D.; Weyers, B.; Kuhlen, T. W. Travel Your Desk? An Office Desk Substitution
and its Effects on Cybersickness, Presence and Performance in an HMD-based Explora-
tory Analysis Task. In: IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER
INTERFACES (VR), 2019., 2019. . . . [S.l.: s.n.], 2019. p.1285–1286.

ZIELINSKI, D. J. et al. Exploring the effects of image persistence in low frame rate
virtual environments. In: IEEE VIRTUAL REALITY CONFERENCE, VR 2015 - PRO-
CEEDINGS, 2015., 2015. . . . IEEE, 2015. p.19–26.

ZIMMONS, P.; PANTER, A. The Influence of Rendering Quality on Presence And Task
Performance in a Virtual Environment. In: VR, 2003. . . . IEEE Computer Society, 2003.
p.293–294.
193

APÊNDICE A INSTRUMENTO PARA PESQUISA COM


ESPECIALISTAS
194
195
196
197
198
199
200
201
202
203
204
205
206

APÊNDICE B CONVITE AOS ESPECIALISTAS

Hi

I am Vinicius Souza, a brazilian Computer Science phD candidate. As part of my re-


search in the Virtual Reality (VR), a predictive method for the evaluation of presence in
virtual environments was developed, based on factors already evidenced in the literature.

The proposed method can be applied in the design of new VR systems, allowing de-
velopment teams to modulate the application to elicit a desired sense of presence. Also, it
is useful to evaluate already developed environments, minimizing the need for costly user
testing.

The next step is to realize an evaluation by judges, experts in the field, to verify if the
proposed factors agree with the proposal and if nothing is missing.

Could you please answer the survey at https://forms.gle/gSYe6vSnP5UhrV3NA

Thank you so much for your time and contribution!

Sincersly, Vinicius Souza


207

APÊNDICE C PRESENCE FACTOR SCALE


208
209
210
211
212
213
214

APÊNDICE D RETESTES DA PFS


215
216
217
218
219