Escolar Documentos
Profissional Documentos
Cultura Documentos
Dermeval, Coelho e Bitterncourt (2019) - Mapeamento Sistemático e Revisão Sistemática Da Literatura em Informática Na Educação
Dermeval, Coelho e Bitterncourt (2019) - Mapeamento Sistemático e Revisão Sistemática Da Literatura em Informática Na Educação
3
Mapeamento Sistemático e
Revisão Sistemática da Literatura em
Informática na Educação
Objetivo do Capítulo
Este capítulo tem o objetivo de apresentar conceitos, definições e diretrizes sobre
mapeamento e revisão sistemática da literatura, além de descrever o protocolo básico de
pesquisa que deve ser seguido para a condução destes tipos de trabalho de revisão da
literatura. Ao final da leitura deste capítulo, você deve ser capaz de:
● Entender os conceitos básicos acerca de revisão sistemática da literatura e
mapeamento sistemático;
● Conhecer as etapas inerentes ao protocolo de pesquisa de levantamento sistemático
da literatura (questão de pesquisa, busca e seleção dos estudos, avaliação de
qualidade, extração de dados e síntese/análise de dados);
● Planejar e conduzir seu próprio mapeamento ou revisão sistemática da literatura na área
de Informática na Educação e em qualquer outra área;
Era uma vez… colegas pesquisadores da área de Informática na Educação que
trabalham com Sistemas Tutores Inteligentes (STIs) e que estavam interessados em
compreender o estado da arte atual sobre o uso de ferramentas de autoria no projeto
de STIs. Após uma busca nas principais bibliotecas digitais, perceberam que a
revisão de literatura mais atual neste tópico tinha sido publicada 15 anos atrás.
Vislumbrando a necessidade de atualização do estado da arte no tópico para embasar
novas pesquisas e percebendo uma oportunidade de posicionarem-se como
pesquisadores de destaque desta área, decidiram realizar uma nova revisão da
literatura nesta área. Ao contrário da revisão de literatura existente, os
pesquisadores resolveram adotar um método de Revisão Sistemática da Literatura
(RSL) porque eles entendem que esta é uma abordagem baseada em evidência que
apresenta maior robustez metodológica na realização de levantamento da literatura.
No entanto, os pesquisadores não estavam totalmente cientes em como conduzir uma
RSL e quais as diferenças entre um uma revisão sistemática e um mapeamento
sistemático da literatura. Mas, agora eles descobriram que existe um capítulo de livro
da série de Livros de Metodologia de Pesquisa em Informática na Educação que os
auxilia a executar RSLs e mapeamentos sistemáticos e estão muito empolgados em
seguir as recomendações e dicas apresentadas no capítulo.
2
1 Introdução
O levantamento do estado da arte é atividade obrigatória na realização de qualquer
pesquisa científica de qualidade. Seja para delinear um novo projeto de pesquisa, escrever
uma monografia/dissertação/tese ou propor um artigo científico, pesquisadores precisam
realizar um levantamento da literatura existente sobre determinado tópico de pesquisa. A
qualidade de uma pesquisa é diretamente proporcional à qualidade do processo de
condução do levantamento do estado da arte porque um “pesquisador não pode realizar
uma pesquisa significativa sem entender a literatura da sua área de pesquisa” (BOOTE;
BEILE, 2005).
4
2 O Protocolo
Para executar um mapeamento sistemático ou uma revisão sistemática da
literatura, o primeiro passo a ser dado é definir um protocolo de pesquisa que deve ser
claramente relatado antes da execução da revisão de literatura. Você vai perceber que os
elementos que fazem parte do protocolo para ambos os tipos de revisão da literatura são
bem similares, no entanto, as diferenças se encontram principalmente no foco da revisão.
Isto é refletido, por exemplo, no nível de abrangência das questões de pesquisa e na
profundidade de extração de dados. Mas, não se preocupe, à medida que detalharmos as
etapas do protocolo, explicaremos as especificidades para cada tipo de estudo.
Condução
•Identificação da necessidade da •Busca e seleção dos estudos
RSL primários
•Formulação de uma questão de •Avaliação de qualidade •Escrita do relatório/artigo
pesquisa •Extração dos dados
•Sumarização e síntese dos
resultados
•Interpretação dos resultados
Planejamento Relatório
1
A avaliação de qualidade pode ser opcional em mapeamentos sistemáticos, uma vez que muitos
dos critérios de qualidade envolve extração mais profunda de dados.
5
resultados encontrados na revisão e, por fim, a escrita do relatório reportando todo o
processo de execução e os resultados encontrados na revisão sistemática. No decorrer
desta seção, vamos passar por cada uma destas etapas e atividades, explicando de maneira
teórica e fornecendo dicas práticas em como executar estas atividades.
2
http://scholar.google.com
6
2.1 Definindo a Questão de Pesquisa
8
seguir iremos esclarecer todas estas questões para você.
A primeira tarefa que deve ser feita para iniciar a busca dos estudos é a
estruturação da questão de pesquisa em palavras-chave logicamente organizadas. Os
repositórios de artigos das bibliotecas digitais suportam encadeamento de termos de busca
através do uso dos conectivos “AND” (E lógico) e “OR” (OU lógico). Desta forma, antes
de iniciar a busca propriamente dita, os pesquisadores precisam definir uma string de
busca com os termos a serem buscados de maneira que contemple as questões de pesquisa
de interesse. Na Seção 4, iremos detalhar a string de busca elaborada no cenário ilustrado
neste capítulo.
Os critérios de exclusão e inclusão devem ser aplicados para cada artigo retornado
das buscas nos repositórios das bibliotecas digitais. Alguns critérios são definidos a partir
de questões práticas das publicações, por exemplo, linguagem, tipo de publicação,
período de publicação, entre outros. Em geral, os seguintes tipos de estudo são excluídos:
estudos secundários, artigos resumidos, livros, relatórios técnicos e outras formas de
literatura cinza (publicações não revisadas por pares), artigos redundantes de mesma
9
autoria (considera-se o artigo mais completo, preferência para artigos publicados em
periódico). Além destes, outros critérios de exclusão relacionados ao tópico de pesquisa
da revisão podem ser especificados para restringir os resultados de forma direcionada
para o objeto que se quer investigar. Por exemplo, na RSL ilustrada neste capítulo, sobre
o uso de ferramentas de autoria para o projeto de sistemas tutores inteligentes, um dos
critérios de exclusão é o artigo propor o uso de ferramentas de autoria para STI que utiliza
simulação. O uso deste critério buscou delinear os resultados para excluir este tipo de STI
com simulação que não era de interesse dos pesquisadores.
Uma outra questão um pouco polêmica que surge na definição dos critérios de
exclusão é se os artigos não escritos em inglês devem ser excluídos no processo de busca
e seleção dos estudos. Segundo Kitchenham e Charters (2007), os padrões da Medicina
para RSL sugerem evitar ao máximo a exclusão de artigos baseado na linguagem. No
entanto, os mesmos autores acreditam que esta questão não parece ser tão importante para
as pesquisas na área de Engenharia de Software, o que também deve valer para outras
áreas da computação, incluindo Informática na Educação. Nós, particularmente,
concordamos que são contextos diferentes e que, de fato, as pesquisas mais relevantes da
área de computação são publicadas em veículos em língua inglesa, apesar de existirem
exceções. No entanto, seguindo esta direção, adicionamos uma outra questão a ser levada
em conta. Caso outros artigos publicados em línguas não-inglesa (ex., português) sejam
incluídos, também devem ser considerados os artigos publicados nas outras línguas (ex.,
chinês, alemão, russo, espanhol, etc) na RSL. Portanto, fica a sugestão de excluir os
artigos não-publicados em inglês nas RSLs realizadas na área de Informática na
Educação3, o que parece ser mais sensato, ou incluir os artigos publicados em todas as
línguas.
3
Este critério não se aplica a RSLs ou mapeamentos que têm como foco estudos em contexto local.
10
áreas do conhecimento (ex., Pubmed4 para o caso do exemplo apontado), além dos
repositórios comumente buscados na área de computação. As principais bibliotecas
digitais na área de computação que destacamos, as quais são comumente buscadas em
revisões e mapeamentos publicados na área e também são recomendadas por Chen et al.,
(2010), são: ScienceDirect5, ISI Web of Science6, Scopus7, SpringerLink8, ACM Digital
Library9, IEEE Xplore10 e Compendex (Engineering Village)11. Portanto, sugerimos que
qualquer revisão ou mapeamento sistemático na área de Informática na Educação
considere pelo menos estas bibliotecas digitais, além de outras bases de outras áreas de
conhecimento, dependendo da interdisciplinaridade do tópico da revisão sistemática.
4
https://www.ncbi.nlm.nih.gov/pubmed/
5
http://www.sciencedirect.com/
6
http://apps.webofknowledge.com/
7
http://www.scopus.com/
8
http://link.springer.com/
9
http://dl.acm.org/
10
http://ieeexplore.ieee.org/
11
http://www.engineeringvillage.com/
11
cada sub-string respeite o limite máximo de termos da busca.
Figura 2: Estratégia de busca e seleção do exemplo ilustrativo deste capítulo sobre o uso de
ferramentas de autoria para construção de STIs. Adaptada de Dermeval et al. (2017).
12
outros. Nós temos experiência com o uso da ferramenta StArt12, que foi desenvolvida por
pesquisadores da Universidade Federal de São Carlos. A revisão sistemática de exemplo
deste capítulo foi conduzida com apoio da ferramenta StArt, como pode ser visto no passo
2 da Figura 2. Outra opção de ferramenta para apoio à condução de revisão sistemática
da literatura é o Parsifal13, que possui funcionalidades semelhantes à StArt, mas que
possui a vantagem de ser web e permitir colaboração entre pesquisadores na mesma
revisão usando a ferramenta. Sem o uso de uma ferramenta, o processo de execução de
revisões ou mapeamentos sistemáticos pode ser realizado com o apoio de planilhas
eletrônicas.
Uma vez que a busca dos artigos nas bibliotecas digitais é concluída e as
informações dos artigos retornados são organizadas, seja com apoio de uma ferramenta
de gestão da revisão ou usando planilha eletrônica, os artigos precisam ser selecionados
pelos pesquisadores envolvidos na execução da revisão sistemática e esta seleção é
realizada através da aplicação dos critérios de inclusão e exclusão. A decisão de incluir
ou excluir um artigo resultante da busca nas bases é subjetiva. Neste sentido, uma regra
de ouro para a condução de revisões e mapeamentos com maior confiabilidade é conduzir
o processo de seleção por mais de um pesquisador (KITCHENHAM e CHARTERS,
2007). Recomenda-se que pelo menos dois pesquisadores decidam sobre a inclusão ou
exclusão dos artigos retornados de forma independente. Em casos de discordância na
decisão sobre um determinado artigo, os pesquisadores devem chegar a um consenso ou
um terceiro avaliador pode ser acionado para desempate.
O processo de seleção dos artigos retornados das bibliotecas digitais costuma ter
12
http://lapes.dc.ufscar.br/tools/start_tool
13
https://parsif.al/
14
http://endnote.com/
15
https://www.mendeley.com/
13
duas etapas. A primeira etapa consiste na aplicação de critérios de exclusão a partir da
leitura dos títulos e abstracts dos artigos. Na segunda etapa, os pesquisadores recuperam
o documento completo dos artigos que não foram excluídos na etapa anterior e aplicam
os critérios de exclusão considerando todo o artigo. Vale ressaltar que nem sempre é
necessário fazer a leitura de todo o artigo; a técnica de full-screening (“folhear” o artigo
em tela) pode ser utilizada para tornar o processo de seleção mais eficiente. Como
ressaltado por Kitchenham e Charters (2007), e por experiência própria destes autores na
execução de RSLs, na primeira etapa do processo é comum excluir artigos utilizando
critérios de exclusão mais genéricos. Por exemplo, muitos artigos que são retornados na
busca não possuem qualquer relação com o tópico da revisão e simplesmente devem ser
excluídos imediatamente. Por outro lado, na segunda etapa, critérios de exclusão mais
específicos (e.x.: artigos redundantes de mesma autoria) são comumente aplicados pois
exigem maior análise do conteúdo do artigo para decidir se o estudo deve realmente ser
excluído.
Com relação ao item (i) descrito acima, em alguns casos, estudos com índice
(score) de qualidade muito baixo podem ser excluídos da análise e síntese. Por exemplo,
14
o artigo exemplo recomendado na Seção 7, Dermeval et al. (2016), utiliza um limiar de
qualidade de 50% para inclusão do artigo na revisão, ou seja, caso os artigos não atinjam
pelo menos 50% de qualidade no instrumento de avaliação de qualidade eles são
excluídos da revisão. No entanto, em mapeamentos sistemáticos, pode ser importante
incluir até mesmo estudos considerados de “baixa qualidade” para apresentar lacunas na
pesquisa. Já em meta-análises (veja o quadro intitulado Meta-análise), a qualidade deve
ser muito bem avaliada para não incluir trabalhos com vieses que podem afetar o resultado
geral do estudo.
Diversos critérios podem ser utilizados para mensurar a qualidade dos artigos
incluídos uma revisão sistemática da literatura. Kitchenham e Charters (2007)
referenciam várias fontes da área médica que podem auxiliar a definir os critérios de
qualidade a serem avaliados. Estes critérios são normalmente baseados em instrumentos,
os quais contém checklists de fatores - em geral, usando uma escala numérica - que
precisam ser avaliados para cada estudo. Estes critérios englobam diferentes dimensões
de qualidade, por exemplo, critérios mais gerais de escrita e apresentação do artigo (ex.:
se os objetivos do trabalho estão apresentados de forma clara, se há discussão dos
resultados, etc), critérios mais específicos para a questão de pesquisa da revisão
sistemática (ex.: métrica usada nos experimentos dos artigos incluídos) e critérios
relacionados à robustez metodológica (ex.: como os participantes da pesquisa foram
selecionados, teste(s) estatístico(s) utilizado(s), etc) da pesquisa seguida para a condução
do estudo.
Meta-análise
Os aspectos estatísticos de uma revisão sistemática são denominados de meta-análise
(cálculo das estimativas-sumário de efeito e variância, testes estatísticos de heterogeneidade
e estimativas estatísticas de viés de publicação). Uma das premissas para a execução deste
tipo de estudo é que o delineamento das pesquisas dos estudos primários seja homogêneo,
por exemplo, efeitos medidos usando métricas similares, design de experimentos
semelhantes, etc.
Uma outra dica bastante válida para esta fase, recomendada por Kitchenham e
Charters (2007), é executar um teste piloto em um conjunto de artigos incluídos no
trabalho (ex.: cinco artigos) em grupo para que todos tenham a mesma compreensão do
dicionário de dados. O piloto tem o objetivo de avaliação tanto das questões técnicas
quanto da completude dos formulários de extração a serem utilizados. Destaca-se ainda
que o uso de sistemas de apoio à condução de revisões sistemáticas (ex.: parsif.al ou
StArt) são muito úteis e facilitam o processo de extração e a análise de dados subsequente.
Para sintetizar e analisar os dados extraídos de artigos incluídos nos diversos tipos
de levantamentos sistemáticos da literatura, algumas estratégias gerais são comumente
utilizadas. Em geral, os dados dos artigos são tabulados e/ou apresentados graficamente
17
(ex.: usando gráficos de barras ou de bolhas) de forma a descrever de maneira global os
artigos incluídos no estudo secundário. Os estudos primários identificados podem ser
descritos de acordo com algumas características como, por exemplo, ano de publicação,
local de publicação, método/design da pesquisa utilizado no estudo, grupos de
comparação, entre outros aspectos. Além desta análise global, cada questão de pesquisa
do estudo secundário, quando existir mais de uma, pode ser sintetizada e analisada
individualmente - isto acontece na revisão ilustrada neste capítulo.
3 Exemplo Ilustrativo
Os pesquisadores da área de Informática na Educação que trabalham com Sistemas
Tutores Inteligentes (STIs), citados no início deste documento,leram com cuidado este
capítulo de livro. Desta forma, com o objetivo de realizar uma revisão da literatura sobre
o uso de ferramentas de autoria para o projeto de sistemas tutores inteligentes, eles
seguiram os passos estabelecidos neste documento.
Eles leram o documento e descobriram que existem diretrizes para a definição de
um protocolo para condução de mapeamento e revisões sistemáticas da literatura. A
primeira dúvida foi se eles deveriam realizar um mapeamento ou uma revisão sistemática
da literatura. Mas, como o protocolo de ambos os tipos de revisão é similar eles
começaram a definir o protocolo. Este protocolo inclui diversos componentes, tais quais:
questão de pesquisa, estratégia de busca e seleção dos estudos, instrumento de avaliação
de qualidade, instrumento e procedimento de extração dos dados e estratégias de
sumarização e análise dos resultados.
Em seguida, os pesquisadores reuniram-se em diversos momentos para elaborar
um protocolo considerando as diretrizes apontadas neste capítulo. Eles definiram as
questões de pesquisa da revisão sistemática, a estratégia de busca e seleção dos estudos
(ex.: string de busca, critérios de exclusão/inclusão e as bases onde os artigos seriam
buscados, conforme ilustrado na Figura 2), além do instrumento de avaliação de
qualidade, o formulário e procedimento de extração dos dados e a estratégia de
sumarização e análise dos dados. Após a definição de questões de pesquisa específicas,
18
eles perceberam que o foco e o objetivo da revisão era bem definido e envolveria extração
de dados com maior profundidade; desta forma, decidiram seguir pela condução de uma
revisão sistemática da literatura.
Após a definição do protocolo, os pesquisadores executaram as etapas da revisão
sistemática da literatura procedendo da forma especificada no protocolo definido. Eles
executaram a string de busca nas bases digitais, exportaram os resultados em formato
bibtex, importaram os resultados na ferramenta StArt, e, com o apoio da ferramenta StArt
removeram os artigos duplicados e filtraram os estudos aplicando os critérios de
exclusão/inclusão (primeiramente a partir dos títulos, palavras-chave e locais de
publicação dos artigos, em seguida, a partir dos títulos e resumos dos artigos e, por último,
por meio da técnica de full text-screening). Após definirem a lista final de artigos aceitos,
os pesquisadores realizaram a avaliação de qualidade utilizando um instrumento de
avaliação de qualidade e executaram a extração de dados dos artigos utilizando um
formulário de extração. Tanto o instrumento de avaliação de qualidade quanto o
formulário de extração foram construídos com base em outros formulários utilizados em
RSLs já publicadas e ambas as etapas foram executadas de forma individual pelos
pesquisadores e, nos casos de desacordo, houve consenso entre os pesquisadores
envolvidos. Em sequência, com os dados dos artigos extraídos na ferramenta StArt, uma
planilha com estes dados foi exportada e tais dados foram sintetizados, primeiramente,
com relação ao ano de publicação, contexto de aplicação (indústria ou academia), tipo de
publicação (periódico, conferência, workshop ou capítulo de livro) e método de pesquisa.
Os dados também foram analisados com relação a cada questão de pesquisa levantada,
onde os dados foram tabulados em categorias e gráficos em barra e de bolha foram usados,
quando possível.
Finalizada a execução da RSL, os pesquisadores iniciaram a etapa de relatório da
RSL, escrito em formato de artigo científico, descrevendo a motivação e a necessidade
de executar uma RSL sobre o uso de ferramentas de autoria no projeto de sistemas tutores
inteligentes, apresentando o protocolo de RSL especificado, os resultados da avaliação de
qualidade, os resultados que fornecem uma visão geral dos estudos e os resultados por
questão de pesquisa. Tais resultados também foram analisados e discutidos para enfatizar
os principais resultados encontrados e para fornecer direcionamentos de pesquisa para a
comunidade científica.
Com o relatório/artigo escrito, os autores decidiram submeter este artigo para um
renomado periódico na área de IA na educação, o International Journal of Artificial
Intelligence in Education (IJAIED). Depois de três rodadas de revisões e ajustes, este
artigo foi finalmente aceito e publicado no referido periódico, fornecendo uma visão atual
da área de ferramentas de autoria para a construção de STIs16.
16
Apesar do cenário ilustrativo, esta é uma história baseada em fatos reais, pois esta RSL foi, de
fato, publicada no IJAIED (DERMEVAL et al., 2017) e este é um dos artigos exemplos deste capítulo.
19
4 Resumo
Neste capítulo foram apresentadas as diretrizes gerais para a realização de
mapeamentos e revisões sistemáticas da literatura. Primeiramente, introduzimos o
conceito de revisão sistemática da literatura e mapeamento sistemático, destacando a
necessidade de realizar estudos secundários com robustez metodológica e os benefícios
de realizar estes tipos de estudos. Em seguida, apresentamos o protocolo padrão de
condução destes estudos, explicando as regras gerais na realização de cada etapa do
protocolo, tais quais: questão de pesquisa, processo de busca e seleção dos estudos,
avaliação de qualidade, extração dos dados e síntese e análise dos dados. Por fim,
apresentamos um exemplo para ilustrar como as diretrizes apresentadas poderiam ser
seguidas em um tópico de pesquisa na área de inteligência artificial na educação.
5 Leituras Recomendadas
● Guidelines for performing Systematic Literature Reviews in Software
Engineering (KITCHENHAM; CHARTERS, 2007): neste relatório técnico, você
encontrará diretrizes básicas (muitas vezes citadas neste capítulo) para conduzir
revisões sistemáticas na área de computação.
● Revisão Sistemática da Literatura em Engenharia de Software: Teoria e
Prática (NAKAGAWA et al., 2017): este é um livro em português sobre como
realizar revisões sistemáticas escrito em forma de perguntas e respostas que
poderá auxiliar a dirimir dúvidas sobre o processo de realização de revisões
sistemáticas da literatura.
● Introduction to the new statistics: Estimation, open science, and beyond.
(CUMMING; CALIN-JAGEMAN, 2016): Livro texto introdutório da Nova
Estatística que usa a abordagem da estimativa e ajuda a entender tamanhos de
efeitos, intervalos de confiança (ICs) e meta-análise. Também, destaca o
importante papel da Ciência Aberta, que incentiva a reprodutibilidade e o
20
incremento da confiabilidade na pesquisa. Além disso, o livro explica o teste de
significância da hipótese nula e seus problemas e o impacto na prática da pesquisa,
revisão de artigos e produção acadêmica.
● Cochrane handbook for systematic reviews (HIGGINS; GREEN, 2005): este é
um livro bastante completo que aborda aspectos teóricos e práticos da condução
de revisões sistemáticas e meta-análises de qualidade. A vantagem deste livro em
relação às referências de revisão sistemática na área de computação é que este
livro é adotado pela comunidade de pesquisa em Medicina, a qual é muito mais
madura em termos de pesquisa baseada em evidência e protocolos de pesquisa.
Desta forma, este livro pode ser uma ótima referência para quem desejar “beber
da fonte” no que se refere à condução de revisões sistemáticas da literatura e, se
for o caso, meta-análises.
6 Artigos exemplos
● Authoring Tools for Designing Intelligent Tutoring Systems: a Systematic
Review of the Literature (DERMEVAL et al., 2017): Este artigo foi recém-
publicado no International Journal of Artificial Intelligence and Education e é um
exemplo interessante de revisão sistemática da literatura na área de Informática
na Educação, particularmente na área de Ferramentas de Autoria para Construção
de Sistemas Tutores Inteligentes, que utiliza o protocolo de Kitchenham e
Charters.
● Applications of ontologies in requirements engineering: a systematic review
of the literature (DERMEVAL et al., 2016): Este artigo também é um exemplo
interessante da condução de revisão sistemática da literatura na área de
Engenharia de Software. Um destaque para este artigo é a quantidade de citações
que recebeu (n = 48) desde sua publicação. Neste trabalho, um limiar de qualidade
de 50% foi aplicado no processo de seleção dos estudos a fazerem parte da revisão.
● Does peer assessment in on-line learning environments work? A systematic
review of the literature (TENÓRIO et al., 2016): Este artigo foi publicado na
revista Computers in Human Behavior e apresenta uma revisão sistemática da
literatura sintetizando como avaliação por pares é usada em ambientes de
aprendizagem online e também faz uso do protocolo de RSL de Kitchenham e
Charters.
● Uma Revisão Sistemática sobre a Educação do Surdo em Ambientes Virtuais
Educacionais (ROCHA et al., 2014): Este artigo foi publicado no Simpósio
Brasileiro em Informática na Educação e apresenta uma revisão sistemática
analisando a literatura existente para a promoção da acessibilidade do surdo em
ambientes virtuais e é um artigo nacional que aplica o protocolo de RSL de
Kitchenham e Charters, descrito neste capítulo.
21
7 Checklist
Resumidamente, para realizar um mapeamento ou revisão sistemática, você terá
que realizar as seguintes atividades, também ilustradas na Figura 1:
● Especificar um protocolo de pesquisa contemplando a questão de pesquisa, o
procedimento de busca e seleção dos estudos primários, o instrumento de
avaliação de qualidade, o formulário de extração de dados e a estratégia de síntese
e análise dos dados;
● Executar a busca nas bases digitais relevantes para o tópico de pesquisa e exportar
os resultados;
● Filtrar os artigos com base nos critérios de exclusão e inclusão (I/E);
● Realizar a avaliação de qualidade dos artigos incluídos;
● Extrair os dados dos artigos para responder às questões de pesquisa da RSL;
● Sintetizar os dados e analisar os resultados da revisão;
● Escrever relato da revisão (relatório/artigo científico) sobre a revisão;
8 Referências
Australian National Health and Medical Research Council. How to review the evidence:
systematic identification and review of the scientific literature. 2000. IBSN 186-
4960329.
BOOTE, D. N.; BEILE, P. The quality of dissertation literature reviews: A missing
link in research preparation. In: Annual meeting of the American Educational
Research Association, San Diego, CA. 2004.
CHEN, LIANPING; ALI BABAR, MUHAMMAD; ZHANG, HE. Towards an
evidence-based understanding of electronic data sources. In: Proceedings of the
14th international conference on evaluation and assessment in software engineering,
22
2010. British Computer Society, Swinton, p. 135–138.
CUMMING, Geoff; CALIN-JAGEMAN, Robert. Introduction to the new statistics:
Estimation, open science, and beyond. Routledge, 2016.
DE SOUSA BORGES, S.; DURELLI, V. H.; REIS, H. M.; ISOTANI, S. A systematic
mapping on gamification applied to education. In: Proceedings of the 29th Annual
ACM Symposium on Applied Computing. ACM, 2014. p. 216-222.
DERMEVAL, D.; VILELA, J.; BITTENCOURT, I. I.; CASTRO, J.; ISOTANI, S.;
BRITO, P.; SILVA, A. Applications of ontologies in requirements engineering:
a systematic review of the literature. Requirements Engineering, 21(4), 405-437,
2016.
DERMEVAL, D.; PAIVA, R.; BITTENCOURT, I. I.; VASSILEVA, J.; BORGES, D.
Authoring Tools for Designing Intelligent Tutoring Systems: a Systematic
Review of the Literature. International Journal of Artificial Intelligence in
Education, p. 1-49, 2017.
EASTERBROOK, S.; SINGER, J.; STOREY, M. A.; DAMIAN, D.. Selecting empirical
methods for software engineering research. Guide to advanced empirical software
engineering, p. 285-311, 2008.
HIGGINS, J. P.; GREEN, S. Cochrane handbook for systematic reviews of
interventions, 2005.
HULLEY, S. B.; CUMMINGS, S. R.; BROWNER, W. S.; GRADY, D. G.; NEWMAN,
T. B. Delineando a pesquisa clínica-4, 2015. Artmed Editora.
KITCHENHAM, BARBARA A.; DYBA, TORE; JORGENSEN, MAGNE. Evidence-
based software engineering. In: Proceedings of the 26th international conference
on software engineering. IEEE Computer Society, 2004. p. 273-281.
KITCHENHAM, Barbara; CHARTERS, Stuart. Guidelines for performing Systematic
Literature Reviews in Software Engineering. Technical Report EBSE 2007-001,
Keele University and Durham University Joint Report, 2007.
MOHER, David; STEWART, Lesley; SHEKELLE, Paul. All in the family: systematic
reviews, rapid reviews, scoping reviews, realist reviews, and more. 2015.
Systematic Reviews, vol. 4, no. 168
NAKAGAWA, E. Y.; SCANNAVINO, K. R. F.; FABBRI, S. C. P. F.; FERRARI, F. C.
Revisão Sistemática da Literatura em Engenharia de Software: Teoria e
Prática, 2017. Elsevier Brasil.
PETERSEN, KAI; FELDT, ROBERT; MUJTABA, SHAHID; MATTSSON,
MICHAEL. Systematic mapping studies in software engineering. In: Proceedings
of the 12th international conference on Evaluation and Assessment in Software
Engineering (EASE'08), 2008. BCS Learning & Development Ltd., Swindon, UK,
68-77.
PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: A
23
practical guide. John Wiley & Sons, 2008.
RANDOLPH, Justus J. A guide to writing the dissertation literature review. Practical
Assessment, Research & Evaluation, v. 14, n. 13, p. 1-13, 2009.
ROCHA, Denys; BITTENCOURT, Ig Ibert; DERMEVAL, Diego; ISOTANI, Seiji.
Revisão Sistemática sobre a Educação do Surdo em Ambientes Virtuais
Educacionais. Brazilian Symposium on Computers in Education (Simpósio
Brasileiro de Informática na Educação-SBIE), 2014.
TENÓRIO, T.; BITTENCOURT, I. I.; ISOTANI, S.; SILVA, A. P. Does peer
assessment in on-line learning environments work? A systematic review of the
literature. Computers in Human Behavior, 64, 94-107, 2016.
9 Exercícios
1. Elabore um protocolo de revisão sistemática da literatura em um tópico de
pesquisa do seu interesse na área de Informática na Educação, considerando todas as
diretrizes apresentadas neste capítulo. Justifique a necessidade e relevância de realizar
esta revisão embasando-se na literatura existente. Defina: 1) as questões de pesquisa,
explicando quais são seus tipos; 2) a estratégia de busca dos estudos, apresentando a
proposta de string de busca e quais bases digitais serão consideradas na busca; 3) a
estratégia de seleção dos estudos, destacando as etapas de filtragem e os critérios de
exclusão e inclusão; 4) o instrumento e procedimento de avaliação de qualidade; 5) o
formulário de extração de dados, explicando o procedimento de realização da coleta; e 6)
a estratégia de síntese e análise de dados. Quando definir todos estes elementos, escreva
um documento com este protocolo e discuta este protocolo com outro especialista no
tópico de pesquisa (de preferência que também tenha experiência prévia na execução de
revisões sistemáticas) visando aprimorar o mesmo e chegar em uma versão consolidada.
2. Ainda sobre o protocolo elaborado e discutido do exercício anterior, escolha
cinco artigos primários (de preferência heterogêneos entre si) que deveriam ser retornados
usando a string de busca definida no protocolo. Em seguida, execute sua string de busca
nas bases digitais selecionadas. Se os cinco artigos escolhidos forem retornados com a
sua string de busca, encerre a busca. Caso contrário, refine sua string de busca
(adicionando/removendo sinônimos ou mudando a estrutura lógica) até que estes artigos
sejam retornados.
3. Considere o instrumento de avaliação de qualidade definido por você no
protocolo do exercício 1. Convide um outro pesquisador deste tópico de pesquisa e, de
forma individual, avaliem a qualidade de cinco artigos diferentes usando o instrumento
definido e alimentem uma planilha com estes resultados. Ao final desta avaliação,
chequem os resultados, identifiquem os pontos em que não houve consenso, cheguem a
um consenso (pode ser necessário chamar um terceiro pesquisador para desempate) e
discutam os motivos de não ter havido consenso.
24
Sobre os autores
25
Ig Ibert Bittencourt
http://lattes.cnpq.br/4038730280834132
Doutor em Ciência da Computação pela Universidade Federal
de Campina Grande - UFCG (2009) e Pós-Doutor pela
Universidade Estadual de Campinas - Unicamp (2013), é
Professor do Instituto de Computação da Universidade Federal
de Alagoas e Bolsista de Produtividade em Desenvolvimento
Tecnológico e Extensão Inovadora - Nível 1D do CNPq. Foi
um dos fundadores e Co-Diretor do Núcleo de Excelência em
Tecnologias Sociais (NEES) e de uma startup premiada por seu
caráter inovador na área de Tecnologias na Educação
(MeuTutor).
26