Assine o DeepL Pro para traduzir arquivos maiores.

Mais informações em www.DeepL.com/pro.

Journal of Science Education and Technology (2020) 29:713-724

https://doi.org/10.1007/s10956-020-09847-3

Perguntas pop-up em vídeos educacionais: Efeitos

na aprendizagem dos alunos
Marjolein E. Haagsman 1 - Karin Scager2 - Johannes Boonstra1 - Margot C. Koster1

Publicado on-line: 7 de agosto de 2020

O(s) autor(es) 2020

Resumo
Os vídeos educacionais são cada vez mais usados para permitir que os alunos preparem o material da aula em casa antes
das atividades em sala de aula nas salas de aula invertidas. O principal desafio dessa estratégia de ensino é estimular os alunos
a assistirem a esses vídeos com atenção antes de irem para a aula. Este artigo descreve o uso de perguntas que aparecem em
vídeos educacionais relativamente longos, de 16 minutos em média, e que foram criadas para aumentar o envolvimento e a
compreensão dos alunos ao se prepararem para as atividades em sala de aula. Os efeitos dessas perguntas pop-up sobre o
desempenho de aprendizagem dos alunos foram estudados em um curso invertido de biologia molecular. Os alunos tiveram
acesso a vídeos com ou sem um conjunto variável de perguntas pop-up. O grupo experimental com perguntas pop-up
apresentou resultados de teste significativamente mais altos em comparação com o grupo sem perguntas pop-up. É
interessante notar que os alunos que responderam a perguntas pop-up sobre determinados conceitos não obtiveram
melhores resultados nos itens que testaram esses conceitos específicos do que o grupo de controle. Esses resultados
sugerem que a simples presença de perguntas pop-up melhora o aprendizado dos alunos. Dados adicionais de entrevistas,
pesquisas e análise de aprendizagem sugerem que as perguntas pop-up influenciam o comportamento de visualização,
provavelmente promovendo o envolvimento. Conclui-se que as perguntas pop-up estimulam o aprendizado ao estudar vídeos
fora da sala de aula por meio de um efeito de teste indireto.

Palavras-chave Vídeo interativo . Perguntas pop-up . Sala de aula invertida . Efeito de teste . Biologia molecular . Graduação

Material eletrônico suplementar A versão on-line deste artigo

(https://doi.org/10.1007/s10956-020-09847-3) contém material
Introdução suplementar, que está disponível para usuários autorizados.

Os vídeos educacionais são usados regularmente para Marjolein E. Haagsman M.E.Haagsman@uu.nl

estudar informações em casa na educação em sala de aula
invertida (Bishop e Verleger 2013). A ideia principal desse 1 Instituto de Educação, Departamento de Biologia, Faculdade de
modelo de sala de aula invertida é que as atividades Ciências, Universidade de Utrecht, Padualaan 8, 3584 CH Utrecht,
tradicionais em sala de aula são transferidas ou "invertidas" Países Baixos
para atividades fora da sala de aula e vice-versa. Assim, os 2 Departamento de Educação, Faculdade de Ciências Sociais e
alunos estudam o conteúdo da aula fora da sala de aula, o Comportamentais, Universidade de Utrecht, Heidelberglaan 1, 3584
CS Utrecht, Holanda
que geralmente é feito com o auxílio de vídeos
educacionais. Depois disso, os alunos usam o
conhecimento em um nível cognitivo mais elevado durante as
atividades em sala de aula. O principal objetivo dessa
configuração é que os professores estejam presentes
quando os alunos aplicam as informações e, provavelmente,
quando mais ajuda é necessária.
Dessa forma, as aulas invertidas demonstraram melhorar o
desempenho dos alunos em testes no ensino superior de
Ciências, Tecnologia, Engenharia e Matemática (STEM)
(Baepler et al. 2014; Gross et al. 2015; Lax et al. 2016;
Barral et al. 2018).
Embora esses resultados das aulas invertidas sobre o
desempenho da aprendizagem sejam promissores, alguns
desafios permanecem (Lo e Hew 2017). Herreid e Schiller
(2013) descreveram dois grandes desafios para a educação
em sala de aula invertida enfrentados pelos professores de
STEM. O primeiro desafio, bastante prático, é que os
professores acham difícil obter ou criar vídeos adequados
para estudar o conteúdo da aula em casa. O segundo desafio
é que alguns alunos não estão suficientemente bem
preparados para as atividades em sala de aula. Esse último
desafio é uma questão fundamental do modelo de sala de
aula invertida, pois a preparação do aluno é um pré-
requisito para atividades aprofundadas em sala de aula. O
objetivo deste artigo é investigar se o aprendizado dos
alunos fora da sala de aula pode ser aprimorado por meio
do design de vídeo, usando perguntas que aparecem nos
vídeos educacionais.
Algumas sugestões para um design de vídeo eficaz
para a aprendizagem foram feitas a partir da perspectiva
da teoria cognitiva da aprendizagem multimídia (Mayer,
2002). Essa teoria sugere que a mídia na aprendizagem
deve estimular o processamento cognitivo das
informações relevantes sem sobrecarregar a capacidade de
processamento dos alunos. Acredita-se que esse processo
cognitivo seja principalmente
714 J Sci Educ Technol (2020) 29:713-724

ser promovida por duas condições no design do vídeo: o efeito direto do teste é que os alunos precisam recuperar e
segmentação e sinalização (Ibrahim 2011). Nesse modelo, processar informações específicas ao fazer os testes (Roediger
a segmentação é definida como a divisão de vídeos em e Karpicke 2006). Um segundo mecanismo possível para o
segmentos menores, enquanto a sinalização abrange sinais efeito de teste direto das perguntas pop-up em particular é
visuais e sonoros que aumentam o foco dos alunos nas que essas perguntas funcionam como uma ferramenta de
informações mais relevantes. Dessa forma, espera-se que sinalização, recapitulando e testando o conteúdo de vídeo
os alunos que assistem a vídeos com sinais claros e mais relevante.
pequenos fragmentos prestem menos atenção a informações
irrelevantes e se lembrem melhor das informações
relevantes (Ibrahim 2011).
Uma ferramenta altamente promissora para aumentar a
eficácia dos vídeos educacionais é a introdução de
perguntas que aparecem no vídeo (Szpunar et al. 2013, 2014;
Cummins et al. 2016; Lavigne e Risko 2018). Essas perguntas
podem ser na forma de perguntas pop-up únicas e
espaçadas ou como os chamados testes interpolados com
várias perguntas. Em ambos os casos, as perguntas são
incluídas em determinados intervalos em um vídeo
educacional e espera-se que promovam o envolvimento
ativo e, portanto, o aprendizado (Kumar 2010; Brame
2016). Quando usadas em intervalos regulares durante o
vídeo, essas perguntas pop-up têm funções de segmentação e
sinalização, conforme aconselhado por Ibrahim (2011). O
grande interesse em perguntas pop-up como ferramenta de
aprendizado se reflete no número de empresas que
fornecem ferramentas para enriquecer vídeos com
perguntas integradas (HapYak 2020; Hihaho 2020; H5P
2020; Panopto 2020;
PlayPosit 2020; Scalable Learning 2020).
Um dos primeiros estudos sobre vídeos com perguntas
revelou que os alunos de psicologia obtiveram melhor
desempenho nas perguntas do teste relacionadas ao vídeo
quando assistiram ao vídeo com perguntas orientadoras em
uma folha de papel separada (Lawson et al. 2006). Além
disso, vários estudos mostram que os testes interpolados
dentro ou entre os vídeos de fato melhoram o desempenho
final dos alunos no teste (Szpunar et al. 2013; Vural 2013;
Lavigne e Risko 2018). Os testes interpolados parecem até
ser mais eficazes no desempenho do teste do que o tempo
extra de estudo (Szpunar et al. 2013). Em contrapartida, em
um estudo de Wieling e Hofman (2010), os testes
interpolados não afetaram o desempenho dos alunos no
teste final em um curso de Direito Europeu.
O efeito positivo dos testes interpolados no desempenho
do teste final observado em alguns estudos pode estar
relacionado ao efeito de recuperação ou teste, que é a
constatação de que fazer ou praticar testes em geral
melhora a retenção de informações (Glover 1989). Esse
efeito de teste foi apoiado por muitos estudos e pode ser
explicado por efeitos diretos e indiretos (por exemplo,
Karpicke e Blunt 2011; Pastötter e Bäuml 2014; Roediger
e Butler 2011; Szpunar et al. 2008). O efeito direto do teste
ocorre quando o teste aumenta a retenção em um tópico
específico testado (Jacoby et al. 2010). Uma explicação para
J Sci Educ Technol (2020) 29:713-724
Além de aumentar a retenção no tópico específico testado, Métodos 715

os testes também demonstraram aumentar a retenção no

material da aula subsequente não testado (Chan et al. 2006; Para este estudo, foi usado um projeto de avaliação
Szpunar et al. 2008). Esse efeito de teste indireto implica que multimétodo. Foram empregados métodos qualitativos e
outros fatores, além da reexposição e da recuperação, também quantitativos
contribuem para melhorar o desempenho da aprendizagem
nos testes. Mecanismos sugeridos recentemente para os
efeitos de teste indireto das perguntas pop-up são um
aumento na tomada de notas (Lawson et al. 2006; Szpunar
et al. 2013) e passar mais tempo no material de
aprendizagem on-line (Vural 2013). Além disso, os alunos
relataram estar mais concentrados após cada fragmento de
vídeo quando foram testados durante os vídeos (Szpunar
et al. 2013), sugerindo que as perguntas funcionam como
uma ferramenta de segmentação. Resumindo, estudos
anteriores sobre vídeos com perguntas integradas sugerem
que eles podem promover o aprendizado direta e
indiretamente, ajudando os alunos a se concentrarem nas
informações testadas e mais relevantes, a processarem as
informações testadas de forma mais elaborada, a reterem a
atenção e a permanecerem ativamente envolvidos. No
entanto, o número de estudos sobre perguntas pop-up é
bastante escasso e os resultados são inconclusivos.
Mais informações sobre o efeito das perguntas pop-up na
aprendizagem podem ajudar os professores a criar vídeos
eficazes. Essas percepções podem ser essenciais para a
educação em sala de aula invertida, pois o sucesso desse
modelo depende da preparação dos alunos. Neste estudo,
foram usados vídeos educativos sobre biologia molecular
com duração média de cerca de 16 minutos. Esses vídeos
educativos bastante longos são segmentados com
perguntas que aparecem aproximadamente uma vez a cada
5 ou 6 minutos. O objetivo deste artigo é examinar se as
perguntas pop-up melhoram o aprendizado dos alunos fora
da sala de aula em um curso invertido de biologia
molecular. Esse estudo visa especificamente abordar as
três perguntas a seguir:

1. Os alunos acham que as perguntas pop-up os ajudam

a aprender o conteúdo do vídeo?
2. O conteúdo das perguntas pop-up resulta em um
efeito de teste direto?
3. A presença de perguntas pop-up resulta em um efeito de
teste indireto?

Com base nos resultados desses estudos, realizamos

um estudo exploratório adicional para abordar a questão:

4. Como os alunos usam as perguntas pop-up?

Os estudos foram realizados em um ambiente autêntico,

o que significa que os alunos assistiram aos vídeos em
casa, enquanto os dados foram obtidos por meio de testes,
pesquisas, entrevistas e análise de aprendizagem.
716 J Sci Educ Technol (2020) 29:713-724

Fig. 1 Representação
PERGUNTA 1
esquemática dos três primeiros
estudos primários e do quarto Os alunos
acham que as
estudo exploratório final perguntas pop-
estudo realizado para esta up os ajudam a
pesquisa. As conexões entre as aprender?
perguntas de pesquisa mostram
como o resultado de um estudo
é usado para informar o
próximo

ESTUDO pesqui
1 sa
95% dos alunos (totalmente)
concordam que as perguntas
pop-up os ajudam a aprender.

PERGUNTA 2 PERGUNTA 3

O conteúdo A presença de
das perguntas perguntas pop-
pop-up resulta up resulta em
em um efeito um efeito de
de teste teste indireto?
direto?

A+ de A+
ESTUDO sempenho do ESTUDO test
2 teste 3
As pontuações dos testes são semelhantes com ou As pontuações dos testes são mais e
desempenho
altas para os alunos
sem perguntas pop-upquem assiste a
vídeos com pop-up
relacionadas ao teste. perguntas.

PERGUNTA 4

Como os alunos
respondem a
Perguntas
pop-up?

ESTUDO entrevist
4A a
Alguns alunos indicam que
retrocedem os vídeos quando
aparecem perguntas pop-up.

ESTUDO questionário
4B
37% dos alunos retrocedem
quando não sabem a resposta
de uma pergunta pop-up.

análise
ESTUDO de
4C aprendiz
Os alunos retrocedem comado
muito mais frequência logo
após o surgimento de
perguntas pop-up.

sequencialmente, usando os resultados de um método para dos alunos sobre o efeito do

projetar o próximo (Fig. 1). Em primeiro lugar, a percepção
vídeos
J Sci Educem seu aprendizado
Technol foi medida por meio de uma
(2020) 29:713-724 717
pesquisa de avaliação em 2015 (Tabela 1). Em segundo
lugar, em 2016, estudamos a
718 J Sci Educ Technol (2020) 29:713-724

Tabela 1Estatísticas descritivas dos estudos sobre os efeitos Os estudos comparativos foram divididos aleatoriamente
das perguntas pop-up na aprendizagem dos alunos
entre grupos experimentais. As estatísticas descritivas sobre
esses grupos podem ser
Estudo Pergunta de pesquisa Instrumento Número de Ano da encontrados na Tabela 2.
participantes, coleta de
N (%) dados Projeto do curso
Estud Os alunos acham Pesquisa168 (69%)
o1 que as perguntas 2015 O estudo foi realizado no curso de Biologia Molecular para
pop-up os ajudam calouros, ministrado na Universidade de Utrecht, na
a aprender o
Holanda. O curso é ministrado em holandês e é obrigatório
conteúdo do
vídeo? para todos os alunos que participam do programa de
graduação de
Estud O conteúdo das Teste 253 (94%) 2016 biologia. O conteúdo do curso foi baseado no livro-texto
o2 perguntas pop-up desem Biology, A Global Approach; Capítulos 2-13 e Capítulos
resulta em um penho 16-20 (10ª e 11ª edições internacionais) (Campbell et al.
efeito de teste
Estud direto? Teste 170 (57%) 2017
2015, 2017). A pesquisa sobre o uso de vídeos foi realizada
o3 A presença de desem somente nas primeiras cinco semanas do curso. Durante
perguntas pop-up penho esse período, os alunos receberam de quatro a oito vídeos
resulta em um por semana. Os alunos
efeito de teste puderam assistir aos vídeos voluntariamente em casa, em seu
indireto? próprio ritmo
Estud Como os alunos Entrevista14 (8%)
o usam as perguntas 2017 e em seu próprio tempo. Além disso, a compreensão do
4A pop-up? conteúdo do vídeo era testada semanalmente em testes on-
Estud O que os alunos Questionário 118 (69%) 2017 line e depois aplicada em tarefas de grupo. Todos os testes,
o fazem quando tarefas e respostas a perguntas pop-up foram discutidos
4B aparecem
perguntas pop-up? Aprendizagem244 semanalmente com o professor durante as atividades
Estud Os alunos (82%) 2017 obrigatórias em sala de aula em grupos de
o retrocedem o análises aproximadamente 40 alunos.
4C vídeo com mais
frequência
quando aparecem
Design de vídeo
perguntas pop-
up?
direto incluiu 253 participantes (taxa de resposta de 94%). O
terceiro estudo sobre o efeito de teste indireto foi conduzido
efeitos de teste de perguntas pop-up específicas sobre a com 170 participantes (taxa de resposta de 57%). Os estudos
compreensão dos conceitos correspondentes. Em uma extras resultantes sobre o comportamento de visualização de
terceira etapa em 2017, estudamos os efeitos indiretos do entrevistas, questionários e análise de aprendizado
teste a partir dos desempenhos gerais do teste. incluíram, respectivamente, 14 (taxa de resposta de 8%), 118
Com base nos resultados desses estudos, realizamos um (taxa de resposta de 69%) e 244 participantes (taxa de
estudo adicional usando entrevistas com grupos de foco resposta de 82%). Observe que o número total de alunos
para explorar como os alunos usam as perguntas pop-up. difere por experimento, pois os experimentos foram
Esse resultado também resultou em um próximo estudo para conduzidos em um período de 3 anos. Os participantes dos
explorar o comportamento de visualização dos alunos com experimentos
o auxílio de questionários. O resultado desse exame levou a
um estudo final para medir os efeitos das perguntas pop-up
no comportamento de visualização dos alunos com base
em dados de análise de aprendizagem.

Participantes

Os participantes deste estudo eram alunos do primeiro ano

do curso de Biologia Molecular (Departamento de
Biologia, Universidade de Utrecht). O primeiro estudo
sobre a percepção dos alunos incluiu 168 participantes (taxa
de resposta de 69%). O segundo estudo sobre o efeito de teste
J Sci Educ Technol (2020) 29:713-724 719
Os vídeos educacionais foram gravados pelo professor do
curso. Os vídeos foram gravados como screencasts de slides
com áudio e duraram, em média, 16 minutos. Os tópicos
discutidos nos vídeos foram átomos e moléculas, química
da água, química do carbono, macromoléculas biológicas
e lipídios, energia, estrutura e função celular, membranas
celulares, sinalização celular, ciclo celular, respiração
celular e fotossíntese. Os objetivos de aprendizagem dos
vídeos estão relatados no Recurso On-line 1. Os vídeos
foram vinculados à plataforma de vídeo on-line
ScalableLearning (Aprendizagem Escalável) para incluir
perguntas pop-up em vídeos pré-fabricados.

Design de perguntas pop-up

Os vídeos educacionais foram enriquecidos com

perguntas pop-up que revisavam os conceitos explicados
anteriormente. Em 2015, as perguntas nos vídeos
apareciam uma vez a cada 8 minutos, em média. No ano
seguinte, o professor principal acrescentou perguntas extras
ao vídeo, pois os alunos relataram que gostariam de ter mais
perguntas. As perguntas extras foram adicionadas até uma
pergunta a cada 5 ou 6 minutos, em média, dependendo
do grupo experimental. As perguntas foram elaboradas no
nível de conhecimento conceitual da taxonomia de Bloom
(Bloom et al. 1956). Os vídeos eram pausados quando
apareciam perguntas pop-up no vídeo e um feedback
automático era fornecido após a resposta à pergunta. Os
alunos que assistiam ao videoclipe pela primeira vez só
podiam continuar o vídeo depois que o pop-up
720 J Sci Educ Technol (2020) 29:713-724

Tabela 2 Estatísticas descritivas para estudos comparativos sobre os efeitos de perguntas pop-up no aprendizado dos alunos

Ano Estudo comparativo Instrumento Grupo Taxa de resposta, N %Home %Femini Nota média do segundo exame
(%) m no (DP)a
2016 Estudo 2 Efeito de teste direto Grupo A 149 (95%) 42% 58% 5.6 (1.50)
Grupo B 104 (94%) 38% 62% 5.9 (1.44)
2017 Estudo 3 Efeito de teste indireto Grupo de controle 83 (56%) 33% 67% 6.2 (1.52)
Grupo experimental 87 (59%) 39% 61% 6.5 (1.46)
Estudo 4C Comportamento de Grupo de controle 121 (82%) 47%b 53%b 6,0b (1,62)
retrocesso
Grupo experimental 123 (83%) 43%b 57%b 6,3b (1,48)

a Todos os estudos comparativos foram realizados na primeira parte do curso. A nota apresentada é a nota média do exame da segunda parte do
curso. Os alunos recebem notas de exame em um intervalo de 1,0 (mais baixa) a 10,0 (mais alta)
b As informações demográficas e as notas dos exames do estudo 4C são fornecidas para o número total de alunos em vez de para os entrevistados,

pois os dados sobre o comportamento de rebobinar são anônimos

A pergunta foi respondida corretamente. No entanto, os alunos responderam aos comentários em uma escala Likert
alunos que assistiram novamente ao videoclipe podem de 5 pontos, variando de discordo totalmente (1) a concordo
continuar assistindo ao vídeo a qualquer momento totalmente (5). A pesquisa continha 14 perguntas sobre como
pressionando o botão play. O número de tentativas e os alunos usavam essas ferramentas interativas na plataforma
respostas corretas é fornecido ao professor para o grupo de vídeo e se essas ferramentas afetavam seu aprendizado.
como um todo, mas não para cada aluno específico. Durante o Somente as três afirmações a seguir, referentes ao pop-up
videoclipe, os alunos também tiveram a oportunidade de
usar outras ferramentas interativas. Essas ferramentas
incluíam fazer anotações digitais, fazer perguntas ao
professor e/ou aos colegas e pressionar o botão "I am
confused" (Estou confuso) para rotular fragmentos de
vídeo que eles não entendiam. Os alunos também podiam
retroceder, avançar, pausar e alterar a velocidade do vídeo.

Projeto de teste

Os testes on-line foram elaborados para praticar os conceitos

explicados nos vídeos. Os testes, da mesma forma que as
perguntas pop-up, foram elaborados no nível de
compreensão da taxonomia de Bloom (Bloom et al. 1956).
Além disso, esses testes também foram usados para medir
o desempenho de aprendizagem dos alunos para os
estudos 2 e 3, discutidos mais adiante. Os alunos foram
solicitados a fazer oito testes com aproximadamente 20
perguntas cada. Os testes foram realizados digitalmente em
casa, e o prazo final para esses testes foi um dia antes das
atividades correspondentes em sala de aula. A pontuação
média dos oito testes foi responsável por 5% da nota final
do curso.

Estudo 1 - Explorando a experiência dos alunos sobre

o efeito das perguntas pop-up em seu
aprendizado

Em 2015, os vídeos do curso de Biologia Molecular foram

incorporados ao ScalableLearning pela primeira vez. A
percepção geral dos alunos sobre os vídeos (interativos) foi
explorada por meio de uma pesquisa no final do curso. Os
perguntas e (2020)
J Sci Educ Technol o efeito de aprendizado dos vídeos
29:713-724 721
educacionais são considerados neste documento: Os
videoclipes me ajudaram a aprender; responder às
perguntas pop-up me ajudou a aprender; e eu gostaria de
ter menos perguntas em um videoclipe. Uma versão
traduzida da pesquisa de avaliação completa é fornecida
no Recurso on-line 2.

Estudo 2 - Medindo o efeito do teste direto

Os alunos foram divididos aleatoriamente em dois grupos

(A e B) no início do curso. Cada um desses grupos usou
um ambiente de curso diferente para assistir aos vídeos
educacionais. Os vídeos nos ambientes do curso eram os
mesmos, mas 14 perguntas pop-up adicionais foram
inseridas para os grupos alternados (Fig. 2).
As perguntas pop-up foram baseadas nas metas de
aprendizado do curso e desenvolvidas no nível de
compreensão. Perguntas de teste correspondentes foram
elaboradas para cada uma dessas perguntas e incorporadas
aos testes que abrangem todo o conteúdo do estudo. As
perguntas do teste não eram idênticas às perguntas pop-
up, mas testavam o mesmo conceito no mesmo nível de
compreensão. Por exemplo, uma pergunta pop-up era:
"Qual dos seguintes aminoácidos não contém átomos de
carbono assimétricos?" Por outro lado, a pergunta
correspondente do teste continha uma fórmula estrutural
com a pergunta: "Qual dos átomos de carbono da fórmula
estrutural abaixo é assimétrico?" Uma versão traduzida
das questões do teste com os objetivos de aprendizado
correspondentes é fornecida no Recurso on-line 3. Cada
pontuação individual por pergunta específica do teste foi
obtida para comparação. Somente as pontuações dos
testes foram analisadas para os alunos que tentaram
responder à pergunta pop-up correspondente. Os alunos
que fizeram o teste digital antes de assistir aos vídeos
correspondentes foram excluídos da análise para obter uma
medida sólida do efeito da preparação do vídeo no
desempenho do teste. Os demais alunos fizeram os testes
com um intervalo de tempo médio de 1 dia, 6 horas e 58
minutos após assistirem aos vídeos.
722
Fig. 2 Desenho esquemático para medir a compreensão dos conceitos
(estudo 2). Nesse experimento, os alunos foram divididos em grupos
A e B. Ambos os grupos assistiram aos mesmos vídeos com diferentes
perguntas pop-up (PQ). As perguntas de teste correspondentes (TQ) no
teste são marcadas de forma semelhante
Estudo 3 - Medindo o efeito do teste indireto
No ano seguinte, os alunos foram divididos aleatoriamente
entre um grupo experimental e um grupo de controle.
Ambos os grupos assistiram a dois vídeos educativos sobre
sinalização celular, com duração de, respectivamente,
20:10 min e 19:33 min. Quatro perguntas pop-up foram
elaboradas para os dois vídeos educacionais. No entanto,
nesse experimento, apenas um grupo experimental recebeu
essas perguntas pop-up, enquanto o outro grupo de controle
não recebeu nenhuma pergunta pop-up (Fig. 3).
A compreensão conceitual geral dos alunos sobre esses
dois vídeos foi testada com um teste correspondente sobre
sinalização celular. As pontuações desse teste foram
comparadas entre o grupo de controle e o experimental e
corrigidas para outras pontuações de teste obtidas antes do
experimento. Uma versão traduzida das perguntas pop-up,
das perguntas do teste e dos objetivos de aprendizagem
correspondentes é fornecida no Recurso On-line 4.
Mais uma vez, os alunos foram excluídos da análise
quando fizeram o teste digital antes de assistir aos vídeos
correspondentes.
Fig. 3 Projeto esquemático para medir o desempenho geral dos alunos
no teste (estudo 3) e o comportamento de visualização (estudo 4C).
J Sci Educ Technol (2020) 29:713-724
Estudo 4A - Explorando o uso de perguntas pop-up
pelos alunos por meio de grupos de foco
Após o curso de Biologia Molecular em 2016, dois grupos
de seis e oito alunos participaram de uma entrevista
semiestruturada com um grupo de foco sobre o uso de
perguntas pop-up. Foi solicitado aos alunos que
descrevessem suas ações quando as perguntas apareciam
no vídeo. Uma versão traduzida d a s perguntas
orientadoras da entrevista do grupo de foco é fornecida no
Recurso on-line 5.
Estudo 4B - Explorando o uso de perguntas pop-up
pelos alunos por meio de questionários
Os resultados das entrevistas do grupo de foco foram usados
para elaborar um questionário sobre o uso de vídeos e
perguntas pop-up. O questionário continha perguntas
fechadas sobre o uso de vídeos pelos alunos, e as respostas
de múltipla escolha para essas perguntas foram derivadas
das discussões dos alunos durante as entrevistas do grupo de
foco. Apenas uma pergunta sobre o comportamento dos
alunos quando não sabem a resposta de uma pergunta pop-
up é usada neste artigo (N = 118). Outras perguntas sobre o
uso geral de vídeo pelos alunos foram consideradas
irrelevantes para o presente trabalho. Uma versão traduzida
do questionário é fornecida no Recurso On-line 6.
Estudo 4C - Avaliação do comportamento de retrocesso
dos alunos
O comportamento de visualização foi analisado para os
mesmos videoclipes sobre sinalização celular (Fig. 3). Os
dados específicos usados para esse estudo foram o número
de retrocessos por aluno. Somente retrocessos de mais de 1
s foram usados para análise. A porcentagem de retrocessos
por aluno foi determinada para cada período de tempo de 30 s
Nesse experimento, os alunos foram divididos em um grupo
experimental e um grupo de controle. Ambos os grupos assistiram aos
mesmos vídeos sobre sinalização celular. O grupo experimental
J Sci Educperguntas
Technol (2020) 29:713-724 O grupo de controle não recebeu nenhuma pergunta pop-up. 723 Os
recebeu pop-up (PQ) dentro dos vídeos, enquanto o grupo
desempenhos dos alunos nos testes sobre o conteúdo geral do vídeo
de controle
foram comparados entre o grupo experimental e o de controle. Os
grupos também foram comparados quanto ao número de retrocessos e
avanços rápidos por aluno
724 J Sci Educ Technol (2020) 29:713-724

no vídeo. O uso total dos botões de retrocesso e avanço

rápido no vídeo também foi determinado para os grupos Efeito de teste direto
experimental e de controle e comparado com um clipe de
controle. Esse clipe de controle era um vídeo de 18:07 Os testes foram realizados antes das atividades em sala de
minutos sobre estrutura e função celular que continha cinco aula para investigar se uma pergunta pop-up sobre um
perguntas pop-up idênticas para os grupos experimental e de
controle. Os dados brutos sobre retrocessos e avanços
rápidos foram fornecidos pessoalmente pela equipe de
desenvolvimento da plataforma de vídeo ScalableLearning.

Análise estatística

Na primeira etapa das análises, realizamos estatísticas

descritivas. As respostas às perguntas do teste no estudo 2
foram pontuadas como corretas ou incorretas, e a análise
de qui-quadrado de Pearson foi realizada para comparar
esses resultados para grupos com ou sem perguntas pop-up
correspondentes. Para o estudo 3, foi realizada uma análise
unidirecional de covariância (ANCOVA) para comparar as
pontuações dos testes do grupo experimental e de controle.
As pontuações dos testes foram controladas pela nota do
segundo exame do curso. Um teste t independente foi
usado no estudo 4C para comparar as porcentagens médias
de retrocessos nos 30 segundos após as perguntas pop-up
entre o grupo de controle e o grupo experimental. O número
médio de retrocessos e avanços rápidos ao longo de todos os
vídeos não foi distribuído normalmente e foi comparado
com o teste Mann-Whitney. Os retrocessos e avanços
rápidos individuais superiores a três vezes a faixa
interquartil de cada grupo experimental foram considerados
discrepantes e removidos dessa análise. Todas as análises
estatísticas foram realizadas com o IBM SPSS Statistics
Version 24.

Resultados

Percepção dos alunos sobre o efeito do vídeo

interativo em seu aprendizado

O presente estudo começou com uma avaliação geral dos

alunos sobre a plataforma de vídeo interativo. Algumas
perguntas dessa pesquisa examinaram se os alunos
acreditavam que os vídeos educacionais e as perguntas
pop-up os ajudavam a aprender (Tabela 3).
A Tabela 3 mostra que 97% (totalmente) concordaram
que os videoclipes em geral os ajudaram a estudar o
conteúdo de aprendizagem. Além disso, 91% dos alunos
(totalmente) concordaram que as perguntas pop-up,
especificamente, os ajudaram a estudar. Essa atitude
positiva em relação às perguntas pop-up foi confirmada pela
constatação de que 79% dos alunos (totalmente)
discordaram da diminuição do número de perguntas no
vídeo.
A
J Scipergunta sobre
Educ Technol o conceito
(2020) 29:713-724 ajudou os alunos a entender
ônibus, mas a maioria assistia em casa. Alguns alunos 725
esse conceito específico. Foi elaborada uma configuração explicaram que assistiam ao vídeo de uma só vez, enquanto
experimental na qual dois grupos assistiram aos mesmos outros disseram que usavam o telefone ou o computador ao
videoclipes com diferentes perguntas pop- u p sobre mesmo tempo:
diferentes conceitos. Em seguida, os dois grupos fizeram
um teste sobre o conteúdo do vídeo. As pontuações dos
testes sobre os itens individuais são mostradas na
Tabela 4. Surpreendentemente, a porcentagem de
perguntas de teste respondidas corretamente não foi
significativamente diferente entre os alunos que
receberam (72%) ou não (69%) perguntas pop-up
correspondentes (χ2 (1, N = 2901) = 2,52, p = 0,11). Os
alunos com perguntas pop-up correspondentes só tiveram
um desempenho significativamente melhor em uma
pergunta (item 5), que foi a única pergunta quase idêntica
à pergunta pop-up (χ2 (1, N = 181) = 15,10, p < 0,001).

Efeito de teste indireto

No experimento anterior, os grupos A e B tiveram de

responder a perguntas pop-up, embora sobre conceitos
diferentes. Um experimento de acompanhamento foi
realizado para examinar se a simples presença de
perguntas pop-up poderia afetar o desempenho dos alunos
no conteúdo completo do vídeo. Nesse experimento, os
alunos assistiram a um vídeo sobre sinalização celular com
ou sem perguntas pop-up. Depois disso, os alunos foram
testados em todo o conteúdo do vídeo e suas pontuações
foram comparadas com uma ANCOVA. É interessante
notar que houve um efeito significativo da presença de
perguntas pop-up sobre essas pontuações gerais do teste
após o controle da nota do exame (Fig. 4). Os alunos que
assistiram a vídeos com perguntas pop-up tiveram
pontuação significativamente melhor no teste (Madj =
79%, SE = 1,17) do que os alunos que assistiram ao
mesmo vídeo sem perguntas pop-up (Madj = 7 5 % , SE =
1 , 1 1 ) ; F ( 1 , 2 1 8 ) = 7, 6 8 , p = 0,006
(Recurso on-line 7). Os alunos com perguntas pop-up, em
particular, obtiveram pontuações acima de 85% com mais
frequência quando as perguntas pop-up estavam presentes
(Fig. 4).

Uso de perguntas pop-up pelos alunos

Os dois experimentos anteriores sugerem que as

perguntas pop-up não melhoram o desempenho do teste
no conceito específico testado, mas que apenas a presença
de perguntas pop-up afeta o desempenho do teste no
conteúdo do vídeo como um todo. Esses resultados nos
motivaram a realizar um conjunto de estudos adicionais e
explorar as possíveis causas dos efeitos indiretos dos
testes. Foram realizadas duas entrevistas semiestruturadas
com grupos focais para investigar como os alunos usam as
perguntas pop-up. Primeiro, perguntamos aos alunos como,
onde e quando eles estavam assistindo ao vídeo. Alguns
alunos assistiam ao vídeo durante o trajeto no trem ou no
726 J Sci Educ Technol (2020) 29:713-724

Tabela 3 Estatísticas descritivas de uma pesquisa de avaliação sobre vídeo interativo para itens sobre videoclipes e perguntas pop-up (estudo 1, N =
168)

Resposta da escala Likert (%)

Item Declaração 1 Discordo 2 3 Neutro 4 5 Concordo N Média S.D

totalmente Discordânc Concordo totalmente
ia
3b Os videoclipes me ajudaram a aprender 0 (0%) 0 (0%) 4 (2%) 51 (31%) 108 (66%) 163 4.64 0.53
12a Responder às perguntas pop-up ajudou 0 (0%) 3 (2%) 11 (7%) 95 (61%) 48 (31%) 157 4.20 0.65
eu no aprendizado
12b Eu gostaria de ter menos perguntas pop-up 38 (24%) 87 (55%) 22 (14%) 9 (6%) 1 (1%) 157 2.03 0.82
em um videoclipe

Os números em cada categoria representam o número de alunos que responderam naquela categoria. A média (M) e o desvio padrão (SD) apresentados
são os valores de média e desvio padrão derivados da escala Likert que varia de 1 (discordo totalmente) a 5 (concordo totalmente). A soma das
porcentagens não é igual a 100% devido a erros de arredondamento

ALUNO 8: Não é que eu esteja sempre no meu
celular ou algo assim. Não. Caso contrário, não
conseguiria acompanhar a história.
ALUNO 9: Às vezes, ligo essa coisa (vídeo
educacional) e, enquanto isso, faço outra coisa no
meu computador. (...) Sempre tento fazer um pouco
de multitarefa.
ALUNO 4: Na maioria das vezes, quando recebo
uma pergunta, dou apenas a resposta que acho correta e
depois tento a próxima. Não é como se eu olhasse
para trás para ver essas coisas.
Alguns alunos esclareceram especificamente que adivinharam
porque queriam continuar ouvindo a palestra em vídeo:

Em seguida, foi solicitado aos alunos que descrevessem
suas primeiras ações quando uma pergunta aparecia e o
que eles faziam quando a resposta a uma pergunta aparecia
estava incorreta. Alguns alunos comentaram que
simplesmente tentavam a próxima resposta, conforme
explicaram:
ALUNO 9: Sim, eu faço isso o mais rápido possível,
porque você quer continuar o resto da coisa. Então,
você pensa rapidamente sobre isso...
Outros alunos explicaram que retrocedem o vídeo quando não
sabem a resposta a uma pergunta pop-up, embora um

Tabela 4 Pontuações dos testes dos alunos com ou sem acesso às perguntas pop-up correspondentes (Estudo 2, N=253)

Sem pergunta pop-up Com pergunta pop-up

Grupo experimental Item de teste Na Correto Na Correto 2 df p

Grupo A 2 102 44% 97 50% 0.575 1 0.448
(N=151) 4 85 68% 123 64% 0.359 1 0.549
6 94 51% 128 54% 0.404 1 0.525
7 78 72% 103 65% 0.928 1 0.335
10 81 75% 107 80% 0.694 1 0.405
12 90 86% 114 86% 0.007 1 0.934
14 70 81% 89 85% 0.450 1 0.502
Grupo B 1 148 95% 103 95% 0.038 1 0.846
(N=108) 3 139 94% 103 98% 2.172 1 0.196b
5c 103 45% 79 73% 15.098 1 <0.001***
8 124 90% 89 96% 2.003 1 0.157
9 121 30% 84 29% 0.033 1 0.855
11 89 67% 70 66% 0.051 1 0.821
13 109 57% 85 57% 0.003 1 0.954

As porcentagens representam a porcentagem de alunos com uma resposta correta para as perguntas do teste. 2 e os valores de p mostram os
resultados de uma análise de qui-quadrado de Pearson nas pontuações dos testes entre os grupos de alunos com e sem as perguntas pop-up
correspondentes
aO número de participantes difere por item de teste, pois os dados foram removidos para análise dos alunos que não fizeram o teste específico
ou não assistiram ao videoclipe correspondente antes do teste
b O valor p do item 3 foi calculado com um teste exato de Fisher, porque uma das frequências tinha uma contagem esperada abaixo de 5
J Sci Educ Technol (2020) 29:713-724 727
c O item de teste 5 era quase idêntico à pergunta pop-up correspondente
728
20% MM
sem perguntas pop-up
com perguntas pop-up
15%
Porcentagem de alunos
10%
5%
0%
0 10 20 30 40 50 60 70 80
Pontuações de testes
Fig. 4 Porcentagem de alunos com pontuações de teste distintas para
grupos que assistiram a um videoclipe sobre sinalização celular com
ou sem perguntas pop-up (estudo 3). As possíveis pontuações do teste
variavam de 0 a 100. As linhas tracejadas representam as pontuações
médias ajustadas do teste para o grupo de controle (N = 83) e o grupo
experimental (N = 87)
explica que só faz isso quando está se preparando para os
exames finais e não quando está se preparando para as
atividades em sala de aula:
ALUNO 10: Para mim, é um indicador de que
entendi o fragmento anterior. Normalmente, quando
respondo corretamente, rebobino parte do vídeo.
Resultados semelhantes foram encontrados no questionário
subsequente, mostrando que 47% de todos os alunos
indicaram que adivinharam a resposta até encontrar a correta
(Tabela 5). Cerca de 37% dos alunos indicaram rebobinar o
vídeo primeiro quando não sabiam a resposta à pergunta.
Os demais alunos afirmaram que procuraram a resposta na
Internet ou no livro didático.
Para obter mais informações sobre a influência das
perguntas pop-up no comportamento de retrocesso dos
alunos, usamos dados de análise de aprendizagem.
Determinamos o uso dos botões de retrocesso tanto para o
grupo experimental com perguntas pop-up quanto para o
grupo de controle sem perguntas pop-up. O efeito das
perguntas pop-up sobre o comportamento de retrocesso foi
analisado a partir do número relativo de retrocessos durante o
curso de um videoclipe (Fig. 5).
Tabela 5 Respostas dos alunos à afirmação "O que você faz primeiro quando não sabe a resposta de uma pergunta pop-up?" (estudo 4B, N = 118)
J Sci Educ Technol (2020) 29:713-724
Esses resultados revelam que os alunos retrocedem com
relativamente mais frequência nos 30 segundos após a
ocorrência de perguntas pop-up (M = 0,22, SD = 0,23) em
comparação com os mesmos pontos de tempo no vídeo de
controle sem perguntas (M = 0,10, SD = 0,12); t(168) = -
4,535, p < 0,001. Resultados semelhantes foram encontrados
em um videoclipe comparável (Recurso On-line 8).
Também exploramos o efeito das perguntas pop-up sobre o
uso geral dos botões de retrocesso e avanço rápido durante todo
o vídeo. É interessante notar que os alunos do grupo
experimental (com perguntas pop-up) retrocederam
significativamente menos (Mdn = 3) em comparação com o
grupo de controle (Mdn = 8), U = 3946,50, p < 0,001 (Fig.
90 100
6a). Além disso, os alunos também avançaram
significativamente menos quando havia perguntas pop-up
(Mdn = 0) em comparação com quando não havia perguntas
pop-up
(Mdn = 5), U = 3524,00, p < 0,001 (Fig. 6b). Resultados
semelhantes
foram encontrados em um videoclipe comparável (Recurso
on-line 9). Nenhuma diferença significativa no número
médio de retrocessos foi encontrada em um clipe de
controle semelhante para ambos os grupos. Assim, os
alunos rebobinam e avançam com menos frequência
durante todo o videoclipe, embora rebobinem com mais
frequência logo após o surgimento de perguntas pop-up.
Discussão
O estudo demonstra que as perguntas pop-up em vídeos
educativos melhoram o desempenho dos alunos em testes
sobre o conteúdo geral do vídeo. Dessa forma, os alunos
concordaram que as perguntas pop-up nos vídeos
educacionais os ajudaram a estudar em casa e foram
positivos quanto à inclusão de mais perguntas pop-up nos
vídeos. No entanto, as perguntas pop-up sobre um conceito
específico dentro do vídeo não melhoraram o desempenho
no teste sobre esse conceito específico. Assim, nossas
perguntas pop-up não resultaram em um efeito direto, mas
sim em um efeito indireto no desempenho dos alunos no
teste.
É surpreendente que não tenhamos encontrado um
e f e i t o de teste direto para perguntas pop-up, já que
esse efeito foi relatado por vários estudos anteriores (Butler
2010; Glover 1989; Karpicke e Roediger 2008; Szpunar et
al. 2008). Uma explicação é que os estudos sobre o efeito
de teste direto abordaram principalmente a memorização
de listas de vocabulário em que os alunos são testados no
nível de memorização de
Resposta da escala Likert (%)
J Sci Educ Technol (2020) 29:713-724 Declaração do item Rebobi Pesquisa Pesquisa 729
Adivin nar na r em
har vídeo Internet livros
resposta didáticos

5O que você faz primeiro quando não sabe a resposta de uma pergunta 47% 37% 9% 6%
pop-up?

A soma das porcentagens não é igual a 100% devido a erros de arredondamento

730 J Sci Educ Technol (2020) 29:713-724

a b
PQ
12.5% sem perguntas pop-up 12.5% com perguntas pop-up
Porcentagem média de retrocessos por PQ

10% 10%

PQ
7.5% 7.5%

5% 5%

2.5% 2.5%
aluno

0% 0%
0 2 4 6 810 12 14 16 18 0 2 4 6 810 12 14 16 18

Tempo no videoclipe (minutos) Tempo no videoclipe (minutos)

Fig. 5 Porcentagem média de retrocessos por aluno no decorrer do
tempo de um videoclipe com (a) e sem (b) perguntas pop-up (estudo
4C). As porcentagens de retrocessos são mostradas a cada 30 segundos
do vídeo para o grupo de controle (N = 117) e o grupo experimental
(N = 120). As
As setas ilustram os pontos de tempo das perguntas pop-up mostradas
ao grupo experimental aos 3m22s, 6m31s, 16m39s e 16m57s. As barras
de erro representam os erros padrão das médias

taxonomia de Bloom (Bloom et al. 1956). No presente As conclusões foram tiradas apenas comparando os
estudo, entretanto, os alunos foram testados no nível de resultados dos grupos em uma coorte. Os alunos foram
compreensão. É interessante notar que uma das perguntas divididos aleatoriamente entre esses grupos e os resultados
do teste parecia ter sido projetada para o nível de dos grupos nos desempenhos dos testes foram corrigidos de
memorização, pois era quase idêntica à própria pergunta acordo com as diferenças de conhecimento.
pop-up correspondente. Essa pergunta pop-up também foi Estudos futuros são necessários para determinar se as
a única pergunta que resultou em uma pontuação diferenças nos níveis cognitivos das perguntas pop-up
significativamente maior da pergunta de teste afetam a aprendizagem de forma diferente. No entanto, é
correspondente. Essa descoberta sugere, embora improvável que o uso de perguntas no nível de avaliação
especulativa, que as perguntas e respostas pop-up foram melhore a compreensão conceitual, uma vez que Cummins
lembradas, mas simplesmente não melhoraram a et al. (2016) relataram baixo engajamento no estudo para
compreensão dos alunos sobre esse conceito específico. essas perguntas pop-up. Esses resultados foram
Este estudo foi realizado em um ambiente autêntico, o confirmados pelos alunos em nosso estudo, que afirmaram
que significa que pudemos controlar apenas ligeiramente a que não se beneficiariam de perguntas mais difíceis, pois
forma como os alunos assistem aos vídeos educacionais e isso apenas os estimularia a adivinhar e clicar em todas as
como respondem aos testes. Portanto, uma limitação deste respostas possíveis até que estivessem corretas. No entanto,
estudo é que não pudemos controlar se os alunos usaram recomendamos que estudos futuros investiguem diferentes
alguma ajuda ao realizar os testes em casa. Outra limitação parâmetros de perguntas pop-up que possam resultar em
desse cenário autêntico é que a aquisição de dados ocorreu efeitos diretos de teste, como o nível e a frequência das
em vários anos, o que levou a diferenças sutis na perguntas pop-up ou se as perguntas pop-up revisam ou
configuração do curso entre os experimentos. Não visualizam o conteúdo do vídeo.
obstante,

Fig. 6 Número médio de

retrocessos (a) e avanços 20 sem perguntas pop-up 20 sem perguntas pop-up
rápidos (b) durante vídeos com com perguntas pop-up com perguntas pop-up
e sem perguntas pop-up (estudo
4C). O videoclipe experimental
Número médio de fas t-forwards

15 15
continha quatro perguntas pop-
up para o grupo experimental (N
= 120) e nenhuma pergunta
Número médio de

pop-up para o grupo de controle

rebobinamentos

10 10
(N = 117). O videoclipe de
controle continha quatro
perguntas pop-up tanto para o ***
grupo de controle (N = 132) 5 5 ***
quanto para o grupo
experimental (N = 127). As
0 0
barras de erro representam os
J Sci Educ
erros Technol
padrão (2020) 29:713-724
das médias 731

Clipe de controle Clipe experimental Clipe de controle

Clipe experimental
732 J Sci Educ Technol (2020) 29:713-724

invertida que criam vídeos como preparação para as

A falta de um efeito direto sobre a compreensão do
atividades em sala de aula.
conceito também pode ser parcialmente explicada pelos
estudos exploratórios a seguir, que mostram que quase Agradecimentos Agradecemos ao programa de estímulo à
metade dos alunos alegou adivinhar a resposta a uma aprendizagem combinada Educate-it da Universidade de Utrecht por
pergunta pop-up e, portanto, não revisou o conteúdo de seu apoio na aplicação de vídeos interativos. Agradecemos a Rianne
aprendizagem. Alguns dos alunos procuraram a resposta Bouwmeester por seus comentários sobre o manuscrito, a Ineke Lam
por sua contribuição para a pesquisa de avaliação e a Karin van Look
correta, rebobinando ou estudando outras fontes, embora o pelas entrevistas com o grupo focal.
efeito dessa abordagem mais dedicada não tenha aparecido
nos resultados do teste. Os dados de análise de aprendizagem
confirmaram que os alunos rebobinaram o vídeo com mais
frequência logo após uma pergunta pop-up. Um efeito
semelhante foi relatado anteriormente em um estudo sobre texto
em vez de vídeos (Rouet et al. 2001). Rouet et al. forneceram
textos on-line aos alunos e registraram seu comportamento de
rolagem. É interessante notar que esses alunos pareciam reler
informações anteriores com mais frequência quando havia
perguntas no texto. Os autores desse estudo propõem que a
revisão do texto promove e orienta um nível mais profundo de
compreensão do texto. Entretanto, nosso estudo não investigou
os efeitos das diferentes abordagens dos alunos em relação às
perguntas pop-up. Seria interessante determinar se os alunos
que revisam o conteúdo têm um aumento na compreensão
conceitual quando analisados separadamente.
Embora não tenhamos relatado um efeito de teste direto
para perguntas pop-up, mostramos que apenas a presença
de perguntas pop-up promoveu o desempenho dos alunos
no teste como um todo. Os possíveis mecanismos para
esses efeitos indiretos de teste foram propostos em estudos
anteriores sobre testes interpolados entre fragmentos de
vídeo (Lawson et al. 2006; Szpunar et al. 2013; Vural
2013). Por exemplo, os alunos relataram que demonstraram
menos divagação mental quando esses testes interpolados
estavam presentes (Szpunar et al. 2013). Embora não
tenhamos examinado especificamente a divagação da mente,
nossos dados analíticos de aprendizagem revelam que os
alunos retrocedem e avançam menos no decorrer de um
vídeo inteiro quando há perguntas pop-up. Nossa hipótese é
que essa diminuição no movimento de ir e vir ao longo de
um vídeo pode, na verdade, ser resultado de um maior foco
de atenção, e isso pode ser particularmente verdadeiro ao
usar vídeos educacionais relativamente longos, como os
vídeos deste estudo. Outros mecanismos relatados
anteriormente são mais anotações e mais tempo gasto com
o material didático quando os fragmentos de vídeo são
interpolados com testes (Lawson et al. 2006; Vural 2013).
A simples presença de perguntas pop-up poderia, portanto,
aumentar a atenção dos alunos ao vídeo.
Em conclusão, nossos resultados sugerem que os
professores podem manipular a atenção e o comportamento
de (re)visualização dos alunos inserindo perguntas pop-up
em vídeos educacionais. Portanto, as perguntas pop-up
podem melhorar o aprendizado dos alunos quando
assistem a vídeos em casa. Essa descoberta é de especial
interesse para os professores em um ambiente de sala de aula
 Butler, A. C. (2010). Repeated testing produces superior transfer of
Agradecemos aos (2020)
J Sci Educ Technol professores Dr. Fons Cremers, Dr. Laurens van
29:713-724 733
learning relative to repeated studying (Testes repetidos produzem
Meeteren e Dr. Ron Habets e a todos os alunos por sua participação
transferência superior de aprendizado em relação ao estudo
neste estudo.
repetido). J Exp Psychol Learn Mem Cogn, 36(5), 1118-1133.
https://doi.org/10.1037/a0019902.
Contribuições dos autores Todos os autores contribuíram para a
concepção e o projeto do estudo. A preparação do material, a coleta
de dados e a análise foram realizadas por M.E. Haagsman, K. Scager,
J. Boonstra e M.C. Koster. A primeira versão do manuscrito foi escrita
por Marjolein Haagsman e todos os autores comentaram versões
anteriores do manuscrito. Todos os autores leram e aprovaram o
manuscrito final.

Conformidade com padrões éticos

Conflito de interesses Os autores declaram não haver conflito de

interesses.

Consentimento informado e declaração de direitos humanos Todos os

procedimentos realizados nesta pesquisa, envolvendo participantes
humanos, estavam de acordo com os padrões éticos do comitê de
pesquisa institucional e/ou nacional (Conselho de Revisão de
Ciências Sociais da Universidade de Utrecht, número de aprovação
do IRB FETC180-962). Foi obtido um consentimento informado de
todos os participantes individuais ou foi usada a coleta de dados
anônima.

Acesso aberto Este artigo está licenciado sob uma Licença Creative
Commons Attribution 4.0 International, que permite o uso, o
compartilhamento, a adaptação, a distribuição e a reprodução em
qualquer meio ou formato, desde que seja dado o devido crédito
ao(s) autor(es) original(is) e à fonte, seja fornecido um link para a
licença Creative Commons e seja indicado se foram feitas alterações.
As imagens ou outros materiais de terceiros neste artigo estão incluídos
na licença Creative Commons do artigo, a menos que indicado de
outra forma em uma linha de crédito para o material. Se o material não
estiver incluído na licença Creative Commons do artigo e o uso
pretendido não for permitido por regulamentação legal ou exceder o
uso permitido, será necessário obter permissão diretamente do
detentor dos direitos autorais. Para visualizar uma cópia dessa
licença, acesse http://creativecommons.org/licenses/by/4.0/.

Referências
Baepler, P., Walker, J. D., & Driessen, M. (2014). It's not about seat
time: Blending, flipping, and efficiency in active learning
classrooms (Combinação, inversão e eficiência em salas de
aula de aprendizagem ativa). Computers and Education, 78,
227-236. https://doi.org/10.1016/j. compedu.2014.06.006.
Barral, A. M., Ardi-Pastores, V. C., & Simmons, R. E. (2018). A
aprendizagem dos alunos em um curso introdutório acelerado de
biologia é significativamente aprimorada por um ambiente de
aprendizagem invertida. CBE-Life Sciences Education, 17(3),
ar38. https://doi.org/10.1187/cbe.17-07-0129.
Bishop, J. L., & Verleger, M. A. (2013). A sala de aula invertida: um
levantamento da pesquisa. Documento de recurso. Sociedade
Americana de Educação em Engenharia.
http://www.asee.org/public/conferences/ 20/papers/6219/view
Bloom, B. S., Engelehard, M. D., Furst, E. J., Hill, W. H., & Krathwohl,
D. R. (1956). Taxonomia de objetivos educacionais: The
classifica- tion of educational goals (manual I). Nova York:
David McKay Company.
Brame, C. J. (2016). Vídeos educacionais eficazes: Principles and
guide- lines for maximizing student learning from video content.
CBE-Life Sciences Education, 15(4), es6.
https://doi.org/10.1187/CBE.16-03- 0125.
734
Campbell, N. A., Reece, J. B., Urry, L. A., Cain, M. L., Wasserman,
S. A., Minorsky, P. V., & Jackson, R. B. (2015). Biology, A
global approach (10th inter). Harlow: Pearson Education.
Campbell, N. A., Urry, L. A., Cain, M. L., Wasserman, S. A., Minorsky,
P. V., & Reece, J. B. (2017). Biology, A global approach (11ª
edição inter). Harlow: Pearson Education.
Chan, J. C. K., McDermott, K. B., & Roediger, H. L. (2006).
Facilitação induzida por recuperação: O material inicialmente não
testado pode se beneficiar do teste prévio ou do teste de material
relacionado. Journal of Experimental Psychology: General.
https://doi.org/10.1037/0096-3445.135.4.553.
Cummins, S., Beresford, A. R., & Rice, A. (2016). Investigando o
envolvimento com perguntas de questionário em vídeo em um
curso de programação. IEEE Trans Learn Technol, 9(1), 57-66.
Glover, J. A. (1989). O fenômeno do "teste": Not gone but almost
forgotten. J Educ Psychol, 81(3), 392-399. https://doi.org/10.1037/
0022-0663.81.3.392.
Gross, D., Pietri, E. S., Anderson, G., Moyano-Camihort, K., & Graham,
M. J. (2015). O aumento da preparação antes da aula é a base da
melhoria dos resultados dos alunos na sala de aula invertida. CBE
Life Sciences Education, 14(4), ar36.
https://doi.org/10.1187/cbe.15-02-0040.
H5P [Software de aplicativo on-line]. (2020). Recuperado de
https://h5p.org Hapyak Interactive Video [S o f t w a r e de
aplicativo on-line]. (2020).
Recuperado de https://corp.hapyak.com
Herreid, C. F., & Schiller, N. A. (2013). Estudos de caso e a sala de
aula invertida . J Coll Sci Teach, 42(5), 62-66.
Hihaho [Software de aplicativo on-line]. (2020). Recuperado de
https:// hihaho.com
Ibrahim, M. (2011). Implicações do design de vídeo instrucional
usando a teoria cognitiva da aprendizagem multimídia. Critical
Questions in Education, 3(2), 83-104.
Jacoby, L. L., Wahlheim, C. N., & Coane, J. H. (2010). Aprendizagem
de conceitos naturais aprimorada por testes: Effects on recognition
memory, classi- fication, and metacognition (Efeitos na memória de
reconhecimento, classificação e metacognição). J Exp Psychol
Learn Mem Cogn, 36(6), 1441-1451.
https://doi.org/10.1037/a0020636.
Karpicke, J. D., & Blunt, J. R. (2011). Retrieval practice produces more
learning than elaborative studying with concept mapping (A
prática de recuperação produz mais aprendizado do que o estudo
elaborativo com mapeamento de conceitos). Science,
331(February), 772-775.
Karpicke, J. D., & Roediger, H. L. (2008). The critical importance of
retrieval for learning (A importância crítica da recuperação para o
aprendizado). Science, 319(5865), 966-968. https://doi.org/
10.1126/science.1152408.
Kumar, D. D. (2010). Approaches to interactive video anchors in
problem-based science learning (Abordagens para âncoras de
vídeo interativas no aprendizado de ciências baseado em
problemas). J Sci Educ Technol, 19(1), 13-19.
https://doi.org/10.1007/s10956-009-9154-6.
Lavigne, E., & Risko, E. F. (2018). Otimizando o uso de testes
interpolados: The influence of interpolated test lag. Scholarsh
Teach Learn Psychol, 4(4), 211-221.
https://doi.org/10.1037/stl0000118.
Lawson, T. J., Bodle, J. H., Houlette, M. A., & Haubner, R. R.
(2006). Guiding questions enhance student learning from
educational videos (Perguntas orientadoras melhoram o
aprendizado dos alunos com vídeos educacionais). Teach
Psychol, 33(1), 31-33. https://doi.org/10.1207/
s15328023top3301_7.
Lax, N., Morris, J., & Kolber, B. J. (2016). Um exercício parcial de
sala de aula invertida em um grande curso introdutório de
biologia geral aumenta
J Sci Educ Technol (2020) 29:713-724
desempenho em vários níveis. J Biol Educ, 51(4), 412-426.
https://doi.org/10.1080/00219266.2016.1257503.
Lo, C. K., & Hew, K. F. (2017). Uma revisão crítica dos desafios da
sala de aula invertida no ensino fundamental e médio: Possible
solutions and recommenda- tions for future research (Soluções
possíveis e recomendações para pesquisas futuras). Res Pract
Technol Enhanc Learn, 12(1), 4. https://doi.org/10.1186/s41039-
016-0044-2.
Mayer, R. E. (2002). Multimedia learning. Psychol Learn Motiv, 41,
85- 139.
Panopto™ [Software de aplicativo on-line]. (2020). Recuperado de
https:// www.panopto.com
Pastötter, B., & Bäuml, K. H. T. (2014). A prática de recuperação
aprimora o novo aprendizado: The forward effect of testing. Front
Psychol, 5. https://doi. org/10.3389/fpsyg.2014.00286.
Playposit [Software de aplicativo on-line]. (2020). Recuperado de
https:// go.playposit.com
Roediger, H. L., & Butler, A. C. (2011). The critical role of retrieval
practice in long-term retention (A função crítica da prática de
recuperação na retenção de longo prazo). Trends Cogn Sci,
15(1), 20-27. https://doi.org/10.1016/j.tics.2010.09.003.
Roediger, H. L., & Karpicke, J. D. (2006). The power of testing memory;
basic research and implications for educational practice (O poder
de testar a memória; pesquisa básica e implicações para a prática
educacional). Perspect Psychol Sci, 1(3), 181-210.
Rouet, J., Vidal-Abarca, E., & Erboul, A. B. (2001). Effects of
information search tasks on the comprehension of instructional
text (Efeitos de tarefas de busca de informações na compreensão
de textos instrucionais). Discourse Process, 31(2), 163-186.
https://doi.org/10.1207/ S15326950DP3102.
ScalableLearning [Software de aplicativo on-line]. (2020). Recuperado
de https://www.scalable-learning.com/#/home
Szpunar, K. K., McDermott, K. B., & Roediger, H. L. (2008). Testes
durante o estudo protegem contra o acúmulo de interferência
proativa. Journal of Experimental Psychology: Learning
Memory and Cognition. https://doi.org/10.1037/a0013082.
Szpunar, K. K., Khan, N. Y., & Schacter, D. L. (2013). Interpolated
memory tests reduce mind wandering and improve learning of
on- line lectures (Testes de memória interpolados reduzem a
divagação mental e melhoram o aprendizado de palestras on-
line). Proc Natl Acad Sci, 110(16), 6313-6317. https://doi.
org/10.1073/pnas.1221764110.
Szpunar, K. K., Jing, H. G., & Schacter, D. L. (2014). Superando o
excesso de confiança no aprendizado com aulas gravadas em
vídeo: Implications of interpolated testing for online education
(Implicações do teste interpolado para a educação on-line).
Journal of Applied Research in Memory and Cognition, 3(3),
161-164. https://doi.org/10.1016/j.jarmac.2014.02.001.
Vural, O. F. (2013). O impacto de uma ferramenta de aprendizagem
baseada em vídeo com perguntas no e-learning. Educational
Sciences: Teoria Prática, 13(2), 1315-1323.
Wieling, M. B., & Hofman, W. H. A. (2010). The impact of online
video lecture recordings and automated feedback on student
performance (O impacto das gravações de aulas em vídeo on-line e
do feedback automatizado no desempenho dos alunos). Computers
and Education, 54(4), 992-998. https://doi.org/10.1016/
j.compedu.2009.10.002.
Nota do editor A Springer Nature permanece neutra com relação a
reivindicações jurisdicionais em mapas publicados e afiliações
institucionais.