QUIVRR para Website v2 7/2020

Rubrica de Qualidade da Educação

em Realidade Virtual
(QUIVRR)
Dra. Mina C. Johnson-Glenberg
Departamento de Psicologia da
Arizona State University
e
Embodied Games, LLC
www.embodied-games.com

A compor S. L. Macrine e J. Fugate (Eds.) Movement Matters: How Embodied

Cognition Informs Teaching and Learning. Cambridge, MA: The MIT Press

1
Versão resumida para a web.

Todo o capítulo oferece o raciocínio pedagógico de cada item. Após a rubrica, há uma descrição
mais detalhada do item e alguns exemplos para o sistema de numeração.

Em 2020, o trabalho encontra-se em andamento e a autora agradece o envio de feedback para:

Mina.Johnson@asu.edu

O jogo Catch a Mimic está disponível em https://www.embodied-games.com/games/natural-

selection-catch-a-mimic/

Observações antes do uso da QUIVRR:

Duas respostas possíveis. O usuário principal desta rubrica é um(a) professor(a) que tenta decidir, ou
justificar para os demais, a escolha de um módulo educacional. Professores são pessoas ocupadas.
Entendemos que é melhor evitar perguntas com mais de um construto para uma resposta de item
único, mas isso resultaria em mais de 30 itens, o que tornaria esta rubrica mais complexa. Assim, às
vezes pedimos que os usuários façam julgamentos tanto sobre a quantidade quanto a qualidade,
com uma única pontuação. (Os fiscais de projetos de pesquisa precisam respirar fundo.)

Números inteiros. Os usuários podem adicionar 0,50 se desejarem. No entanto, não perca
muito tempo pensando em precisão. Este projeto é modelado por uma rubrica curta e simples
de 20 itens do “Cognitive thinking skills in videogames”, publicado por Rice (2007).

2
 QUIVRR: Rubrica de Qualidade da Educação em Realidade Virtual Imersiva
Título do Módulo: Hardware
M.C. Johnson-Glenberg, em geral: 0 = ausente, 1 = baixa, 3 = moderada, 5 = alta
A: Pedagogia/Conteúdo Observações Pontuação (0-5)
1. Clareza dos objetivos de aprendizagem estabelecidos:
O módulo está bem alinhado com os objetivos de aprendizagem
e padrões de pensamento crítico?
2. Adequado para RV imersiva:
O conteúdo é aprimorado com 3D e/ou ganha mais presença?
3. O módulo corrobora uma “aprendizagem transformativa” de alto nível? Veja
as observações sobre o modelo SAMR e o uso ideal da tecnologia
4. Há um arcabouço?
O módulo vai aumentando em complexidade?
5. Aprendizagem ativa: apenas qualidade
Pode incluir escolhas orientadas para o usuário e movimentos corporais; com
autonomia, os alunos praticam os objetivos de aprendizagem de forma cinestésica
6. As ações são coerentes com o conteúdo ou o reforçam?
Existe uma combinação autêntica entre ações, agência e aprendizagem?
7. Exploração guiada:
Existe um tutorial inicial? O módulo não deve ser de exploração totalmente livre, contém
algumas orientações
8. Estimula a metacognição:
Pensar sobre o pensar; há oportunidades de reflexão (também pode incluir estímulos fora
do dispositivo de exibição (HMD), trabalhar com um colega etc.)?
9. Feedback corretivo:
Fornecido adequadamente durante a atividade
10. Avaliação:
No headset ou posteriormente – mais sofisticada do que simples v/f

B: Funcionamento
11. Projetado para o conforto: Quantidade de texto e fadiga ocular. 0 = muito texto/objetos
pequenos para acompanhar, 3 = quantidade moderada de texto, esforços para se manter
confortável, 5 = quantidade mínima de texto
12. Cybersickness (náusea digital): 0 = Alta probabilidade de causar náusea e
desorientação, por exemplo, como uma montanha-russa; 1 = mais do que relativamente
provável, 3 = talvez após um período prolongado, 5 = Probabilidade muito baixa de
causar náusea e desorientação
13. O conteúdo é interativo e manipulável: Quantidade
Frequência e tipo de manipulação (refere-se ao item 5)
14. Criação de avatar:
Tem vários aspectos sob o design do usuário
15. Avatar em jogo:
O movimento corresponde aos gestos do usuário, com facilidade de controle dos
gestos. (Se o módulo for todo em terceira pessoa, mas os controles manuais forem
bem mapeados = 2)
16. Interface geral e facilidade de uso:
Interface intuitiva e fácil de navegar
17. Qualidade de som:
ex.: ambissônico, não causa distração
18. Percepção háptica/Outras modalidades:
Além dos estímulos visuais e auditivos, por exemplo, feedback vibrotátil bem integrado
19. Engajamento:
Prende a atenção, não é repetitivo
20. Qualidade geral do módulo/Outros:
O que é importante para você que não está listado – aspectos de design, se evita vieses
de gênero/raça, uso criativo de low poly etc. Escreva nas observações.
Subtotal Subtotal
C: Bônus (Opcional - deve ser a norma daqui a alguns anos.)
21. Adaptativo: Escalas com o desempenho do aluno
22. Colaborativo: Vários usuários no mesmo espaço síncrono

Pontuação final TOTAL

3
Descrições dos itens QUIVRR

As pontuações podem variar de 0 a 5. A QUIVRR é ponderada em relação à experiência

corporalizada e ativa (ou seja, mais pontos são concedidos quando o conteúdo é projetado para
uso de controles manuais e inclui várias instâncias de metáforas corporais bem desenvolvidas
para aprendizagem). Pode ser mais relevante para conteúdo STEM (Ciências, Tecnologia,
Engenharia e Matemática) do que para Humanas.
A QUIVRR é dividida em três seções: Pedagogia/Conteúdo, Funcionamento e itens extras. Os
primeiros 50 pontos estão relacionados à pedagogia e ao conteúdo, e os últimos 50 pontos estão
relacionados ao funcionamento. No final, há dois itens “extras", mas é improvável que um módulo
chegue à pontuação 110.

1. Objetivos de aprendizagem. Os objetivos de aprendizagem estabelecidos podem ser

incorporados no início do módulo. Aqui, o termo módulo significa o que é vivenciado “dentro do
dispositivo de exibição (head-mounted display, HMD)”. Como é aconselhável minimizar o texto para
uso em headsets, os objetivos de aprendizagem também podem estar presentes em um documento
separado. Os objetivos precisam ser acessíveis e atingíveis, e o aluno deve ser exposto a eles antes
do início do módulo para preparação. O módulo deve estar bem alinhado com os objetivos de
aprendizagem e padrões de pensamento crítico. Idealmente, os objetivos deveriam incluir os níveis
mais elevados da versão revisada da Taxonomia de Bloom. Os níveis inferiores são: lembrar,
compreender e aplicar, e os níveis superiores de Bloom são: analisar, avaliar e criar.
Exemplo 0 = nenhum objetivo estabelecido, 1 = objetivos incompletos, listados apenas no
final, apenas de nível inferior, 3 = objetivos adequados, mas basicamente de nível médio, 5 =
objetivos claros, de fácil acesso e nível superior.

2. Conteúdo adequado para RV imersiva. Esses pontos podem ser atribuídos com base em
duas grandes possibilidades da RV (destacadas acima; ver J (Johnson-Glenberg, 2018), ou com base
em vários outros critérios de outros pesquisadores de RV (ver, por exemplo, Dalgarno e Lee (2010)
ou Bailenson, 2018), a saber:
1) Presença - o módulo é eficiente em prender a atenção e transportar o aluno de uma forma que
reforce a aprendizagem? e 2) Uso de múltiplas dimensões. Alguns bons exemplos de manipulação
em 3D são o enovelamento de proteínas e a compreensão do fluxo em campos magnéticos ao
redor da Terra ao longo do tempo etc.
Exemplo: 0 = o conteúdo pode ser aprendido da mesma forma em 2D, 1 = o conteúdo é
adequado para RV, mas o design não oferece vantagem (ou seja, grande parte da arte é em 2D, um
tanto quanto estática), 3) = o conteúdo é adequado e o módulo utiliza de forma apropriada o 3D e a
presença, 5 = o conteúdo é adequado e aproveita muitas das possibilidades da RV, incluindo
presença e manipulação em 3D.

3. A tecnologia leva o conteúdo em direção a uma aprendizagem transformativa? Há uma

combinação de produto (a nova tecnologia) e processo (a nova forma de aprendizagem). Usamos o
modelo de SAMR (Substituição, Aumento, Modificação e Redefinição) (Hamilton, Rosenberg, &
Akcaoglu, 2016) para tecnologia para explicar os níveis. No nível de Substituição, a tecnologia não
faz diferença em relação ao antigo método de aprendizagem 2D. No nível de Aumento, a tecnologia
está “agregando algo novo, mas não transformador”. Um exemplo seria que, em vez de um
professor ler uma história em voz alta, agora os alunos usam um tablet para ouvir e ler o texto. No
nível de Modificação, a integração da tecnologia envolve uma modificação significativa na
aprendizagem ou avaliação. Um exemplo pode ser que, em vez de oferecer ao aluno uma resposta
de múltipla escolha em relação ao conceito de aceleração, ele pode mover o dedo sobre um tablet
grande para mostrar a compreensão da aceleração de uma maneira corporalizada facilitada pela
tecnologia (ver Johnson-Glenberg e Megowan-Romanowicz (2017). No nível mais alto, Redefinição,
a aprendizagem se transforma em uma nova tarefa, em algo antes inconcebível. Um exemplo pode

4
ser uma aula de realidade mista compartilhada em que equipes de alunos usam rastreadores
portáteis para manipular a frequência das ondas de luz e alterar as cores digitalizadas projetadas no
chão (para exemplos de aulas de realidade mista transformativa, consulte SMALLab Learning 1)

1 Paraexemplos de SMALLab Learning, veja https://www.smallablearning.com/videos, para ver um artigo

original sobre SAMR, acesse
http://www.hippasus.com/rrpweblog/archives/2014/06/29/LearningTechnologySAMRModel.pdf
Exemplo: 0 = nenhuma modificação tecnológica real, serve apenas como um substituto, 1 = baixo nível
de aumento e/ou baixo nível de modificação, 3 = nível moderado de modificação, 5 = alto nível de
redefinição para aprendizagem, essa experiência só poderia acontecer em RV imersiva 3D.

4. Arcabouço. Significa que o módulo desenvolve sistematicamente os conceitos mais

complexos no decorrer do tempo. Os designers adicionaram componentes mais complexos em um
ritmo de aprendizagem adequado. Por exemplo, em um laboratório de biologia virtual, os alunos
podem primeiro ver uma simulação complexa e depois podem começar a manipular e explorar o
sistema dinâmico (Hossain, Bumbacher, Blikstein, & Riedel-Kruse, 2017). Outro caminho envolve a
avaliação durante o processo (em tempo real); conforme os alunos mostram domínio de um
conceito, um novo conceito é adicionado. O módulo deve apresentar alguma evidência de aumento
de dificuldade baseado em tempo ou domínio, o que está relacionado com o Triple E Framework for
learning with tecnhology de Kolb (2017), ou seja, engajar, aprimorar e estender.
Exemplo: 0 = nenhum, 1 = um certo aumento de dificuldade, mas muitas variáveis de
uma vez, 3 = tentativas de nivelamento e arcabouço, mas não com um ritmo adequado/bem
projetado às vezes, 5 = arcabouço adequado, útil e com bom ritmo.

5. Qualidade da Aprendizagem Ativa. Aprendizagem ativa significa que os alunos estão

fazendo escolhas ativamente no módulo e movendo o corpo cinestesicamente para interagir com o
conteúdo (além de mover os olhos). Isso sugere que eles têm agência. Por exemplo, em uma
simulação de astronomia de realidade mista, os alunos correram para mostrar a trajetória de um
meteoro (Lindgren et al., 2016), o que é de alta qualidade, mas de ocorrência limitada (ver: Questão
de Funcionamento). É possível aderir a uma definição "gerativa" mais tradicional do termo
aprendizagem ativa e construtiva. Uma metanálise de Freeman et al. (2014) demonstrou que os
alunos com aulas STEM tradicionais tinham 1,5 vezes mais probabilidade de reprovação do que
alunos com aprendizagem ativa.
Exemplo: 0 = apresentações basicamente passivas de conteúdo, 1 = quantidade muito
pequena de atividade do aluno (cliques para avançar), 3 = uma certa aprendizagem ativa, 5 =
aprendizagem ativa criativa e de alta qualidade.

6. Ações coerentes com o conteúdo. Isso significa que as ações dos alunos correspondem
bem com a aprendizagem do tópico. Nem todo movimento precisa ser isomórfico aos movimentos
do mundo real, mas deve haver sobreposição. No jogo Catch a Mimic, a localização e velocidade do
controle manual de RV corresponde à localização e velocidade do movimento da rede virtual de
captura de borboletas. Outro exemplo: se o objetivo de aprendizagem é construir um motor de
carro inteiro em um curto espaço de tempo e escolher um parafuso de tamanho adequado é
importante, então pode não ser tão importante para o aluno gastar muitos minutos girando o
controle manual várias vezes para simular o giro do parafuso. (ver lição 3, número 4, de Schell
(2015))
Exemplo: 0 = nenhuma instância, 1 = poucas instâncias de congruência e de baixa qualidade,
2 = várias instâncias de qualidade razoável, 3 = uma boa quantidade de congruência e as ações
promovem um objetivo de aprendizagem, 5 = várias instâncias de congruência que são criativas e
promovem vários objetivos de aprendizagem.

7. Exploração Guiada. Em jogos educacionais/sims, faz sentido permitir alguma descoberta

5
e exploração livre no início do jogo, mas é importante que depois os alunos recebam orientação de
navegação cognitiva e perceptiva. Caso contrário, os alunos – principalmente de STEM – tendem a
fazer hipóteses espúrias (Kirschner, Sweller, & Clark, 2006). Vários métodos de orientação em
multimídia são visuais (iluminação, setas, texto etc.), mas também podem ser por áudio ou dicas
hápticas.
Exemplo: 0 = nenhum, 1 = exploração basicamente livre, 2 = alguma orientação, 3 = mais
orientação, mas não com ritmo adequado, 5 = orientação bem definida e com ritmo adequado.

8. Prompts (estímulos) para metacognição: O conteúdo incentiva os alunos a “pensar sobre

o que eles pensam”? Existe espaço para os alunos refletirem? Para este item, você pode levar em
consideração situações “fora do headset”. O plano de aula elaborado inclui prompts no dispositivo
de exibição (HMD), bem como prompts pós-módulo? Alguns exemplos de prompts metacognitivos
baseados em evidências são: perguntar aos alunos se eles querem fazer uma pausa para pensar
sobre algo ou pedir-lhes que façam de conta que estão ensinando outro aluno. Essa última
pergunta pode incluir o que eles diriam ou pedir que eles tentem descobrir (Palincsar & Brown,
1984) o que pode acontecer em seguida ou que criem uma pergunta que poderia cair em uma
prova.
Exemplo. 0 = sem prompt; 1 = um prompt, com nível bastante baixo, 3 = vários prompts
de vários níveis de qualidade, 5 = vários prompts de alta qualidade.

9. Feedback corretivo útil. O feedback não é simplista na educação formativa e mediada

(Shute, 2008). Quando o feedback é constante, ele pode se tornar uma distração, principalmente se
for dado muito depois do incidente. Quando há feedback avaliativo formativo, ele não deve ser uma
notificação pop-up simplista de “ótima tentativa” após um erro. Quando o feedback é avaliativo, ele
deve também dar dicas significativas. Uma caixa de dica poderia ser exibida com informações mais
detalhadas caso uma resposta incorreta tenha sido enviada por várias vezes consecutivas.
Exemplo. 0 = sem feedback; 1 = feedback mínimo ou apenas no final do módulo, 3 =
feedback de qualidade mediana; 5 = Feedback útil e prático com ritmo adequado.

10. Avaliação incluída. A avaliação ocorre de diversas formas. Quando acontece durante a
experiência, ela é chamada formativa. Quando acontece no final – seja no headset de RV ou fora
dele – ela é chamada de somativa. É possível incorporar a avaliação na aprendizagem para que os
jogadores nem percebam que estão sendo avaliados. A literatura sobre qualidade de avaliação é
extensa (para um resumo conciso de qualidade, veja Darling-Hammond et al. (2013) (para formato
baseado em evidências, consulte Mislevy, Behrens, DiCerbo e Levy (2012). O teste pode ser feito
pelo antigo modelo de lápis e papel, mas deve ser sempre “válido, confiável e justo”. Se apenas
perguntas simplistas de verdadeiro ou falso forem feitas, o módulo terá uma pontuação baixa.
Exemplo: 0 = nenhuma avaliação, 1 = alguma avaliação, de nível baixo, 3 = alguma
avaliação dentro do módulo (formativa ou no processo) e no final, 5 = a avaliação é de alta
qualidade e ocorre tanto dentro do módulo (formativa) quanto no final para reflexão somativa.

11. Projetado para dar conforto. Na época desta publicação (2020), todos os headsets de
RV disponíveis comercialmente forçam os músculos oculares, provocando fadiga após certo tempo.
Esse efeito também é chamado de tensão de vergência e acomodação. Certas tarefas fazem essa
tensão ocorrer mais rapidamente (por exemplo, acompanhar objetos de tamanhos
desproporcionais em planos diferentes). A leitura causa tensão. Os designers devem reduzir a
quantidade de texto e utilizar um fundo escuro com texto branco. Ao mensurar o conforto e a
quantidade de texto no módulo, considere a duração total do módulo e o tempo de exibição visual
dedicado à leitura de texto ou ao acompanhamento de objetos minúsculos. Observe que a narração
acompanhada de texto não significa que os jogadores não acompanharão a leitura. Lembre-se de
que "menos é mais".
Exemplo: 0 = muito texto/acompanhamento de objetos pequenos causa fadiga ocular; 3 =

6
quantidade moderada de texto, com esforços feitos para manter a experiência confortável; 5 =
quantidade muito reduzida de texto, no geral tornando a composição e a experiência muito
confortáveis. (Não conte o título ou "conteúdo visível opcional", como os créditos ou respostas de
dicas).

12. Redução de cybersickness. O cybersickness é polissintomático e poligenético, afetando a

cada indivíduo de forma diferente. O Simulator Sickness Questionnaire (SSQ) (Kennedy, Lane,
Berbaum e Lilienthal, 1993) inclui três categorias: 1) náusea (por exemplo, desconforto abdominal,
náusea etc.), 2) problemas oculomotores (por exemplo, dor de cabeça, fadiga ocular) 2 e 3)
desorientação (por exemplo, vertigem, tontura etc.). Com o tempo, muitos desses efeitos se
atenuam e os jogadores se habituam. Em um estudo, cerca de 50% do desconforto desapareceu até
a 10ª sessão (Rebenitsch e Owen, 2016). É comumente aceito que os efeitos negativos são causados
por uma desconexão visual/vestibular. São listados diversos aperfeiçoamentos no design de RV,
como "… limitar parcialmente os níveis de liberdade de controle durante a navegação (…) e maior
feedback tátil…" (p. 122) A velocidade ideal de navegação do avatar ainda é desconhecida, mas o
cybersickness tende a piorar com o aumento da velocidade (So, Ho e Lo, 2001). Existem artifícios
conhecidos para diminuir o cybersickness, incluindo o uso de rampas em vez de escadas, e dar aos
alunos mais autonomia, estando no controle de onde vão e com o que interagem.
Exemplo: 0 = alta probabilidade de que a experiência cause náusea e desorientação
(por exemplo, inclui instâncias de navegação acelerada, movimento excessivo do eixo vertical,
pouco controle da agência – por exemplo, uma montanha-russa; 1 = mais do que relativamente
provável; 3 = pode causar cybersickness após um período prolongado, por exemplo, mudança
frequente do ponto de visão; 5 = probabilidade muito baixa de causar náusea e desorientação;
por exemplo, há um alto grau de controle da agência e nada deve induzir a vertigem etc.

13. Quanto do conteúdo é manipulável, e com que frequência? Manipulável significa

conteúdo acionável e deslocável no mundo virtual; não inclui diversas instâncias em que o usuário
meramente pressiona um botão para iniciar uma sequência complexa (isto é, pressionar a tecla "T"
para girar um parafuso). No decorrer de todo o módulo, com que frequência o aluno é encorajado a
interagir com o conteúdo ou manipulá-lo? Este item tenta quantificar as instâncias de "objetos
interativos" e a frequência de interatividade sob o controle do usuário. A navegação em uma sala
deve ser contada apenas como uma instância e não repetidamente. Concordamos com o conselho
de Schell (2015) na lição 3, ponto 1: “É mais sensato criar um jogo simples com muitas interações
com objetos do que um jogo complexo com poucas interações.”
Exemplo: 0 = nenhuma manipulação, apenas visualização passiva. 1 = nível muito baixo de
conteúdo manipulável; 2 = algum conteúdo manipulável, mas poucas oportunidades de interagir;
3 = mais instâncias e mais oportunidades, porém repetitivo; 5 = grande quantidade de conteúdo
manipulável e alta frequência de interação, novas instâncias em todo o percurso.

2 Observação. Esta rubrica retirou a fadiga ocular do SSQ e o trata como um item à parte, pois geralmente há uma grande quantidade de texto em módulos educacionais.
Deixamos dor de cabeça na definição de cybersickness; a fadiga ocular é apenas um dos elementos que levam à dor de cabeça.

7
 14. Criação de avatar. Há um avatar presente? O aluno pode escolher um avatar?
Quantos componentes do avatar são personalizáveis? Pesquisas em 2D sugerem que é positivo
haver alguma personalização (Lin et al., 2017). No entanto, quando os usuários podem
personalizar totalmente seus avatares, será que pode haver um ponto de inflexão em que muitas
opções causem perda de tempo? Além disso, quais são os prós e os contras de habitar formas
não humanas? Mais pesquisas são necessárias nessa área3.
Exemplo: 0 = nenhum avatar; 1 = sim, mãos ou corpo presentes, mas sem escolha de
avatar – pré-atribuído; 3 = sim, um corpo e dois ou três componentes podem ser escolhidos (por
exemplo, roupas, cabelo etc.), mas apenas opções humanoides; 5 = sim, um corpo e mais de
quatro componentes são personalizáveis, e há opções não humanas disponíveis.

15. Avatar em jogo: Especificamente, este item depende das seguintes duas dimensões:
a) Quantidade exibida de avatar; e b) Alinhamento de movimentos em conjunto com facilidade
de controle (isto é, não há uma sequência complexa de botões para memorizar). Para mais
informações sobre avatares, veja Gonzalez-Franco e Peck4.
Exemplo: 0 = sem avatar, sem controle; 1 = apenas mão(s) ou pouca combinação de
movimentos; 3 = mais partes do corpo são exibidas e há uma combinação adequada de
movimentos; 5 = o corpo inteiro é exibido e há uma combinação de alta qualidade, como boa
sincronização de lábios.

16. Interface intuitiva. Intuitivo significa que "a aplicação inconsciente de conhecimento
prévio dos usuários leva a interações eficazes" (Israel et al., 2009). O jogo não deve depender de
sequências complicadas de botões para navegação nem da obtenção de respostas a perguntas. Os
itens acionáveis não devem ser espalhados excessivamente pela interface (isto é, o aluno nunca
deve ser forçado a girar rapidamente em uma aula; veja também o item "Cybersickness"). Os
módulos e interfaces devem ser projetados tendo em mente os usuários iniciantes. Lembre-se de
que nem todos os jovens são jogadores. Há uma porcentagem da população que é daltônica,
portanto os elementos críticos e o feedback não devem depender de distinções entre vermelho e
verde.
Exemplo: 0 = muito atulhado e não navegável; 1 = um pouco atulhado e não muito fácil de
navegar; 3 = interface limpa, mas não fácil de navegar; 5 = interface limpa e muito fácil de navegar.

3 O jogo Catch a Mimic não mostra outra parte do corpo além das mãos, porém foi uma ferramenta de aprendizagem eficaz. Devemos aguardar pesquisas adicionais sobre
avatares em RV, pois agora os pontos são atribuídos em uma escala de permitir aos usuários mais liberdade e criatividade na construção de avatar.
4 A seção de avatar foi baseada parcialmente na revisão criteriosa de Gonzalez-Franco e Peck (2018) de mais de 30 experimentos de corporalização que usaram questionários
desde 1998. Eles escolheram as 25 questões mais indicativas em relação à corporalização em RV e executaram uma análise de componentes principais (ACP). Eles chegaram
a seis “tipos” de perguntas que estão presentes para a corporalização dos avatares (Gonzalez-Franco e Peck, 2018, p.3).

Nossa rubrica QUIVRR proposta aborda os tipos 1, 2, 3 e 5.

1. Propriedade do corpo. Presente sempre que houver uma substituição do corpo ou de uma parte dele.
2. Agência e controle motor do corpo. Presente sempre que houver acompanhamento de
movimento e o participante puder mover partes ou todo o corpo virtual.
3. Sensações táteis. Presentes sempre que houver estimulação tátil ou háptica para melhorar
a ilusão de corporalização.
4. Localização do corpo. Presente sempre que houver uma substituição do corpo ou de uma
parte dele que esteja anexa ou não ao participante. Os participantes devem sentir que seu
corpo está no mesmo local que o corpo virtual para experimentar uma ilusão de
corporalização.

8
 17. Qualidade de som. O som em RV eleva todas as experiências. No entanto, uma melodia
unidirecional pode tocar repetidamente e causar distração. Mesmo os sons omnidirecionais com
muitas nuances, quando usados em excesso, podem ficar exagerados. A qualidade também
depende do quanto o som promove os objetivos de aprendizagem. Sons criativos usados na
contagem de feedback.
Exemplo: 0 = silencioso; 1 = baixa qualidade e/ou mau mapeamento direcional; 3 = qualidade
aceitável e mapeamento aceitável; 5 = alta qualidade, criativo e sincronizado omnidirecionalmente.
Se o som for de qualidade extremamente baixa, causar distração e for irritante, deve receber uma
classificação mais baixa.

18. Percepção háptica/Outras modalidades. Embora a percepção háptica ainda não

seja comum em muitos módulos de RV, o feedback vibrotátil deve se tornar mais comum.
Complementos (add-ons) táteis e hápticos estão evoluindo rapidamente e devem ser
incluídos quando promoverem a aprendizagem, sem causar distração.
Exemplo: 0 = apenas visual; 1 = elemento auditivo incluído, integrado de forma
adequada; 2 = uma modalidade extra, bem integrada; 3 = duas modalidades (além dos
elementos auditivo e visual) bem integradas; 5 = multimodal e muito bem integrado, de modo
que a inclusão promove a aprendizagem de forma criativa.

19. Engajamento. É possível cumprir todos os itens acima e criar uma experiência que não
seja engajadora e divertida. A autora já participou de uma aula de realidade mista que receberia
pontuações altas na maioria dos itens, mas uma vez em campo, constatou-se que poucos alunos do
ensino médio puderam compreender como andar com uma "aceleração negativa". A jogabilidade
repetida causou expressões de frustração.5 Vários Estudos Randomizados Controlados (RCT, na sigla
em inglês) não sugeriram que uma quantidade maior de narrativa leva a ganhos significativos de
aprendizagem multimídia (Adams, Mayer, MacNamara, Koenig e Wainess, 2011; Johnson-Glenberg e
Megowan-Romanowicz, 2017). Confie nos seus instintos. O engajamento deve estar ligado à
recompensa educacional, e os objetivos de aprendizagem devem ser sustentados.
Exemplo: 0 = nada engajador (mais brócolis do que chocolate); 1 = relativamente engajador;
3 = engajador; 5 = muito engajador, indicando alto valor educacional. Também é possível alterar
qualquer uma dessas pontuações após observar os usuários se engajarem com um módulo e o
discutirem.

5. Aparência externa. Presente quando o autoavatar é um avatar semelhante ou como

perguntas de controle quando há forma, gênero, raça, roupas ou outras modificações visuais
diferentes da pessoa.
6. Reação a estímulos externos. Em muitas ocasiões durante o experimento, há um evento
que modifica ou ameaça o corpo ou partes do corpo do autoavatar (p. 3).

5 Arcabouços inadequados podem ser responsabilizados, mas não percebemos até estarmos em campo que os alunos do ensino médio não possuíam o conhecimento
prévio do termo “aceleração”.

9
 20. Qualidade geral/outros. Esta questão permite que se tome uma decisão somatória ou
pode incluir um item que se considere relevante. Se raça e gênero não estiverem bem
representados, insira uma campainha no módulo e escreva uma observação em Notas. Alguns
avaliadores não gostam de arte low poly (com aparência poligonal); outros esperam um
sombreamento perfeito. A resolução em relação ao frame rate (taxa de quadros) é um conflito
constante em RV; pergunte se isso foi abordado com criatividade. Certos elementos devem resultar
na dedução de pontos. Por exemplo, existem linhas pontilhadas óbvias? O conteúdo é altamente
repetitivo? Há aliasing (serrilhado) óbvio em linhas finas? 4) Os ícones não podem ser
interpretados? 5) Houve um julgamento muito ruim do conforto fisiológico (por exemplo, letras que
se aproximam da pessoa ou ponto de visão que inclui voar sem agência, efeito também conhecido
como “tapete mágico”, etc.)?
Exemplo: 0 = qualidade muito baixa ou ausência de algo relevante para o avaliador; 1 =
tentou-se obter alguma qualidade; 3 = boa qualidade; 5 = alta qualidade geral.

BÔNUS
Os dois itens a seguir podem valer um total de 10 pontos; no entanto, a autora nunca
experimentou um módulo com pontuação 110. A esperança é que essas duas estruturas se tornem
a norma em um futuro não muito distante e não sejam mais consideradas bônus.

21. Adaptativo. Adaptativo significa que a experiência no módulo muda de acordo com o
desempenho do aluno. A experiência é "dinâmica" e baseada nas escolhas que os jogadores fazem
durante a codificação. Percursos lineares custam menos para ser criados em relação a percursos
dinâmicos, mas certamente todos devemos nos empenhar por experiências dinâmicas.
Exemplo: 0 = sem adaptatividade; 2 = o usuário controla apenas uma série de percursos
lineares predefinidos; 3 = até três percursos de adaptatividade; 5 = quatro ou mais percursos
parecem bem integrados; pesquisas rigorosas foram realizadas para otimizar a seleção dos
percursos. Observação: Ter a opção de escolher entre uma série de percursos lineares vale apenas
de 2 a 3 pontos.

22. Colaboração multiusuário. Colaboração e cooperação são estruturas bem-pesquisadas e

bem-conceituadas na educação (Johnson e Johnson, 1989). Atualmente, este item está na “seção
bônus”, pois é caro e complexo criar experiências multijogador em RV. Também observamos que há
desvantagens relacionadas à resolução colaborativa de problemas (RCP), incluindo: a) divisão de
responsabilidade para concluir tarefas (o que afeta as avaliações de alunos individuais); b)
desacordos que podem paralisar o progresso; e c) alunos distraídos por discussões irrelevantes
(Graesser, Kuo e Liao, 2017).
Exemplo: 0 = apenas um único usuário, 1 = uma opção de screencast (captura de tela de
vídeo) incluída – mas apenas um aluno participa na experiência; 3 = multiusuário apenas para
grupos pequenos; 5 = multiusuário para grupos maiores com painel de suporte síncrono do
professor.

10
 Agradecimentos
A autora agradece a James Comstock, Hannah Bartolomea, Man Su, Elena Kalina,
Ricardo Nieland Zavela e Vanessa Ly.

11
 Referências do capítulo

Adams, D. M., Mayer, R. E., MacNamara, A., Koenig, A., & Wainess, R. (2011). Narrative
games for learning: Testing the discovery and narrative hypotheses. Journal of
Educational Psychology, 104(1), 235-249
Antle, A. A., Corness, G., & Droumeva, M. (2009). What the body knows: Exploring the
benefits of embodied metaphors in hybrid physical digital environments. Journal of
Interactive Computing, 21(1-2), 66-75.
Banakou, D., Kishore, S., & Slater, M. (2018). Virtually Being Einstein Results in an
Improvement in Cognitive Task Performance and a Decrease in Age Bias. Frontiers
in Psychology, 9(917). doi:10.3389/fpsyg.2018.00917
Dalgarno, B., & Lee, M. J. W. (2010). What are the learning affordances of 3-D virtual
environments? British Journal of Educational Technology, 41(1), 10-32.
doi:10.1111/j.1467-8535.2009.01038.x
Darling-Hammond, L., & etal. (2013). Criteria for high-quality assessment. Retrieved from
Stanford, CA: https://edpolicy.stanford.edu/sites/default/files/publications/criteria-
higher-quality-assessment_2.pdf
Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., &
Wenderoth, M. P. (2014). Active learning increases student performance in science,
engineering, and mathematics. Proceedings of the National Academy of Sciences,
111(23), 8410-8415. doi:10.1073/pnas.1319030111
Goldin-Meadow, S. (2011). Learning through gesture. WIREs Cognitive Science, 2, 595–607.
doi:10.1002/wcs.132
Goldin-Meadow, S. (2014). Widening the lens: What the manual modality reveals about
learning, language and cognition. Philosophical Transactions of the Royal Society,
Biological Sciences, 369(20130295 ). doi:10.1098/rstb.2013.0295
Gonzalez-Franco, M., & Peck, T. C. (2018). Avatar Embodiment. Towards a Standardized
Questionnaire. Frontiers in Robotics and AI, 5(74). doi:10.3389/frobt.2018.00074
Graesser, A., Kuo, B., & Liao, C. (2017). Complex problem solving in assessments of
collaborative problem solving. Journal of Intelligence, 5(10), 1-14.
doi:10.3390/jintelligence5020010
Greenbaum, Z. (2020). Going high tech in academia. Monitor on Psychology, 51(1).
Hamilton, E. R., Rosenberg, J. M., & Akcaoglu, M. (2016). The Substitution Augmentation
Modification Redefinition (SAMR) Model: a Critical Review and Suggestions for its
Use. TechTrends, 60(5), 433-441. doi:10.1007/s11528-016-0091-y
Hossain, Z., Bumbacher, E., Blikstein, P., & Riedel-Kruse, I. (2017). Authentic Science
Inquiry Learning at Scale Enabled by an Interactive Biology Cloud Experimentation
Lab. Paper presented at the Proceedings of the Fourth (2017) ACM Conference on
Learning @ Scale, Cambridge, Massachusetts, USA.
Israel, J., Hurtienne, J., Pohlmeyer, A. E., Mohs, C., Kindsmuller, M., & Naumann, A.
(2009). On intuitive use, physicality and tangible user interfaces. International
Journal of Arts and Technology, 2(4), 348-366.
Johnson-Glenberg, M. C. (2018). Immersive VR and education: Embodied design principles
that include gesture and hand controls. Frontiers in Robotics and AI, 5(81).
doi:10.3389/frobt.2018.00081
Johnson-Glenberg, M. C. (2019). The Necessary Nine: Design Principles for Embodied VR
and Active Stem Education. In P. Díaz, A. Ioannou, K. K. Bhagat, & J. M. Spector
(Eds.), Learning in a Digital World: Perspective on Interactive Technologies for
Formal and Informal Education (pp. 83-112). Singapore: Springer Singapore.

12
Johnson-Glenberg, M. C., Birchfield, D., Megowan-Romanowicz, M. C., & Snow, E. L.
(2015). If the gear fits, spin it! Embodied education and in-game assessments.
International Journal of Gaming and Computer-based Simulations, 7(7), 40-65.
doi:DOI: 10.4018/IJGCMS.2015100103
Johnson-Glenberg, M. C., & Megowan-Romanowicz, M. C. (2017). Embodied science and
mixed reality: How gesture and motion capture affect physics education. Cognitive
Research: Principles and Implications, 2(24). doi:10.1186/s41235-017-0060-9
Johnson-Glenberg, M. C., Megowan-Romanowicz, M. C., Birchfield, D., & Savio-Ramos, C.
(2016). Effects of embodied learning and digital platform on the retention of physics
content: Centripetal force. Frontiers in Psychology, 7:1819. doi:doi:
10.3389/fpsyg.2016.01819
Johnson, D. W., & Johnson, R. T. (1989). Cooperation and Competition: Theory and
Research. Edina, MN: Interaction Book Company.
Kennedy, R. S., Lane, N. E., Berbaum, K. S., & Lilienthal, M. G. (1993). Simulator sickness
questionnaire: An enhanced method for quantifying simulator sickness. Int J Aviat
Psychol, 3(3), 203–220.
Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why Minimal Guidance During
Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery,
Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist,
41(2), 75-86. doi:10.1207/s15326985ep4102_1
Lamb, R., Antonenko, P., Etopio, E., & Seccia, A. (2018). Comparison of virtual reality and
hands on activities in science education via functional near infrared spectroscopy.
Computers & Education, 124, 14-26.
doi:https://doi.org/10.1016/j.compedu.2018.05.014
Lin, L., Parmar, D., Babu, S., Leonard, A. E., Daily, S. B., & Joerg, S. (2017). How character
customization affects learning in computational thinking. Paper presented at the
Proceedings of the ACM Symposium on Applied Perception, Cottbus, Germany.
Lindgren, R., Tscholl, M., Wang, S., & Johnson, E. (2016). Enhancing learning and
engagement through embodied interaction within a mixed reality simulation.
Computers & Education, 95, 174-183.
Mislevy, R. J., Behrens, J. T., DiCerbo, K. E., & Levy, R. (2012). Design and discovery in
educational assessment: Evidence-centered design, psychometrics, and educational
data mining. JEDM-Journal of Educational Data Mining, 4(1), 11-48.
Palincsar, A. S., & Brown, A. L. (1984). Reciprocal teaching of comprehension-fostering and
comprehension-monitoring activities. Cognition and Instruction, 1(2), 117-175.
doi:10.1207/s1532690xci0102_1
Radianti, J., Majchrzak, T. A., Fromm, J., & Wohlgenannt, I. (2020). A systematic review of
immersive virtual reality applications for higher education: Design elements, lessons
learned, and research agenda. Computers & Education, 147, 103778.
doi:https://doi.org/10.1016/j.compedu.2019.103778
Rebenitsch, L., & Owen, C. (2016). Review on cybersickness in applications and visual
displays. Virtual Reality, 20(2), 101-125. doi:10.1007/s10055-016-0285-9
Rice, J. W. (2007). Assessing Higher Order Thinking in Video Games. Journal of
Technology and Teacher Education, 15(1), 87-100.
Schell, J. (2015). Making Great VR: Six Lessons Learned From "I Expect You To Die".
Retrieved from
https://www.gamasutra.com/blogs/JesseSchell/20150626/247113/Making_Great_VR_
Six_Lessons_Learned_From_I_Expect_You_To_Die.php
Shute, V. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153-
189. doi:10.3102/0034654307313795

13
Slater, M., & Wilbur, S. (1997). A framework for immersive virtual environments (FIVE):
speculations on the role of presence in virtual environments Presence: Teleoperators
and virtual environments, 6, 603–616.
So, R. H. Y., Ho, A., & Lo, W. T. (2001). A Metric to Quantify Virtual Scene Movement for
the Study of Cybersickness: Definition, Implementation, and Verification. Presence:
Teleoperators and virtual environments, 10(2), 193-215.
doi:10.1162/105474601750216803
Yoon, S., & Wang, J. (2014). Making the invisible visible in science museums through
augmented reality devices. Tech Trends, 58(1), 49–55.

14