Avaliação prática, pesquisa e avaliação.

Um guia para escrever a revisão da literatura da dissertação

Escrever uma revisão de literatura falha é uma das muitas maneiras de inviabilizar uma
dissertação. Este artigo resume algumas informações essenciais sobre como escrever uma
revisão de literatura de dissertação de alta qualidade. Começa com uma discussão dos objetivos
de uma revisão, apresenta taxonomia de revisões de literatura e, em seguida, discute as etapas
na realização de uma revisão quantitativa ou qualitativa da literatura. O artigo termina com uma
discussão de erros comuns e uma estrutura para a autoavaliação de uma revisão da literatura.

Escrever uma revisão da literatura com defeito é uma das muitas maneiras de
inviabilizar uma dissertação. Se a revisão da literatura for falha, o restante da dissertação
também pode ser visto como falho, porque "um pesquisador não pode realizar resultados
significativos na pesquisa sem primeiro compreender a literatura no campo” (Boote & Beile,
2005, p. 3). Experientes
examinadores de teses sabem disso. Em um estudo das práticas de Examinadores de dissertação
australianos, Mullins e Kiley (2002) descobriram que,
Os examinadores normalmente começam a revisar uma dissertação com a
expectativa de que seria passar; mas uma má conceitualizada ou escrita
revisão da literatura frequentemente indica para eles que o resto da
dissertação pode ter problemas. Ao encontrar uma revisão da literatura
inadequada, os examinadores iriam proceder para olhar para os métodos de
coleta de dados, a análise e as conclusões com mais cuidado. (Boote & Beile,
2005, p. 6)

Dada a importância das revisões da literatura em ambos, dissertações e artigos de

periódicos, pode ser surpreendente que muitos deles são defeituosos. Boote e Beile (2005)
afirmam que "o segredo sujo conhecido por aqueles que se sentam em comitês de dissertação é
que a maioria das revisões de literatura são mal conceitualizados e escritos” (p. 4). Avançar,
dissertações e teses não são os únicos tipos de publicações que sofrem de revisões de literatura
insuficientes. Muitas revisões de literatura em manuscritos submetidos para a publicação em
periódicos também são falhas - ver Alton-Lee (1998), Grante e Graue (1999) e LeCompte,
Klinger, Campbell e Menck (2003).
Dado que tantas revisões de literatura são mal feitas, é surpreendente que não haja mais
informações publicadas sobre como escrever uma revisão da literatura. Boot e Beile (2005)
escrevem,
 Alunos de doutorado em busca de conselhos sobre como melhorar suas
revisões de literatura encontrarão pouco publicado de orientação que vale a
pena seguir […] A maioria dos alunos de pós-graduação recebem pouco ou
nenhum treinamento formal em como analisar e sintetizar a literatura de
pesquisa em seu campo, e é improvável que o encontre em outro lugar. (p. 5)

Não só há falta de informações publicadas para orientar escritores de revisões de

literatura, o trabalho intensivo o processo de escrever um agrava o problema. Gall, Borg e Gall
(1996) estimam que a conclusão de uma revisão de literatura de dissertação aceitável levará
entre três e seis meses de esforço.
O objetivo deste guia é coletar e resumir as informações mais relevantes sobre como
escrever uma revisão da literatura da dissertação. Eu começo com uma discussão sobre para
efeitos de uma revisão, presente Cooper’s (1988) Taxonomia de Revisões de Literatura e
discutir as etapas na condução de uma revisão de literatura quantitativa ou qualitativa. Uma
discussão de erros comuns e uma estrutura para a autoavaliação de revisões de literatura conclui
o artigo.

Objetivos para escrever uma revisão da literatura

Realizar uma revisão da literatura é um meio de demonstrar o conhecimento de um

autor sobre um determinado campo de estudo, incluindo vocabulário, teorias, chave variáveis e
fenômenos, e seus métodos e história. A realização de uma revisão da literatura também
informa ao aluno sobre os pesquisadores influentes e grupos de pesquisa no campo. Finalmente,
com algumas modificações, a literatura crítica é um "acadêmico legítimo e publicável
documento” (LeCompte & colegas, 2003, p. 124).
Além dos motivos acima para escrever uma resenha (ou seja, prova de conhecimento,
um documento publicável e a identificação de uma família de pesquisa), as razões científicas
para a realização de uma revisão da literatura são muitas. Gall, Borg e Gall (1996) argumentam
que a revisão da literatura desempenha um papel em:
 delimitar o problema de pesquisa,
 buscar novas linhas de investigação,
 evitar abordagens infrutíferas,
 obter insights metodológicos,
 identificar recomendações para mais pesquisas e,
 busca de suporte para a teoria fundamentada.
Hart (1998) contribui com razões adicionais para a revisão da literatura, incluindo:
 distinguir o que foi feito do que precisa ser feito,
  descobrir variáveis importantes relevantes para o tópico,
 sintetizar e ganhar uma nova perspectiva,
 identificar relações entre ideias e práticas,
 estabelecer o contexto do tópico ou problema,
 racionalizar a importância do problema,
 aprimorar e adquirir o vocabulário do assunto,
 compreender a estrutura do assunto,
 relacionar ideias e teoria a aplicações,
 identificar as principais metodologias e pesquisas técnicas que foram usadas, e
 colocar a pesquisa em um contexto histórico para mostrar familiaridade com o
que há de mais moderno em desenvolvimento. (p. 27)

Outro propósito para escrever uma revisão da literatura não mencionado acima é que ele
fornece uma estrutura para relacionar novas descobertas com descobertas anteriores na seção de
discussão de uma dissertação. Sem estabelecer o estado da pesquisa anterior, é impossível
estabelecer como a nova pesquisa avança o anteriormente a pesquisa.

Taxonomia de revisões de literatura

Um método eficaz para começar a planejar uma revisão de pesquisa é considerar onde a
revisão proposta se encaixa Taxonomy of Literature Reviews de Cooper (1988). Como
mostrado na Tabela 1, Cooper sugere que as revisões de literatura podem ser classificadas de
acordo com cinco características: foco, objetivo, perspectiva, cobertura, organização e público.
Na Tabela 1, cada característica é listada à esquerda, com os níveis das características à direita.
Nos parágrafos a seguir, cada uma dessas características das revisões de literatura é descrita em
mais detalhes.

Foco
A primeira característica é o foco da revisão. Tanoeiro (1988) identifica quatro focos
potenciais: resultados de pesquisa, métodos de pesquisa, teorias ou práticas e aplicações.
As revisões da literatura que se concentram nos resultados da pesquisa são talvez as
mais comuns. Na verdade, o Educacional Resources Information Center (1982, p. 85) define
uma revisão da literatura como uma “análise de informação e síntese, com foco em achados e
não simplesmente bibliográficos citações, resumindo o conteúdo da literatura e tirando
conclusões disso” (itálico meu). O Centro de Informações de Recursos Educacionais sugere
que, em termos de desenvolvimento de uma lógica de pesquisa, uma revisão orientada para os
resultados pode ajudar a identificar a falta de informações sobre um determinado resultado de
pesquisa, assim estabelecer uma necessidade justificável de um estudo de resultados.
As revisões metodológicas concentram-se na pesquisa método - a segunda categoria de
foco de Cooper. Em uma revisão metodológica, métodos de pesquisa no escolhido campo são
investigados para identificar as principais variáveis, medidas, como se diferem entre grupos,
horários ou configurações. Análises Metodológicas, combinadas com análises de resultados,
também podem identificar as maneiras pelas quais os métodos informam os resultados. Uma
revisão metodológica também pode levar a um fundamento lógico que pode justificar a
dissertação proposta na pesquisa, pode-se descobrir que a pesquisa anterior foi
metodologicamente falha.

Tabela 1. Taxonomia de revisões da literatura de Cooper

Características Categorias
FOCO Resultados de pesquisa
Métodos de pesquisa
Teorias
Práticas ou aplicações
META Integração
(a) Generalização
(b) Resolução de conflitos
(c) Construção de ponte linguística Crítica
Identificação de questões centrais
PERSPECTIVA Representação neutra
Representação Exposta de posição
COBERTURA Exaustivo
Exaustivo com citação seletiva
Representante
Central ou fundamental
ORGANIZAÇÃO Histórica
Conceitual
Metodológica
PÙBLICO Estudiosos especializados
Estudiosos em geral
Profissionais ou legisladores
Público geral

Uma revisão das teorias, o terceiro foco de Cooper, pode ajudar estabelecer quais
teorias já existem, as relações entre elas, e em que grau as teorias existentes foram investigadas.
Uma revisão teórica é apropriada se, por exemplo, a dissertação visa avançar uma nova teoria.
Em termos de fundamentação da pesquisa, uma revisão teórica pode ajudar a estabelecer a falta
de teorias ou revelar que as teorias atuais são insuficientes, ajudando a justificar que uma nova
teoria deve ser apresentada.
Finalmente, as revisões da literatura podem ser focadas em práticas ou formulários. Por
exemplo, uma revisão pode se concentrar sobre como uma determinada intervenção foi aplicada
ou como um grupo de pessoas tende a realizar uma determinada prática. Em termos de uma
justificativa de pesquisa, este quarto tipo de revisão pode ajudar a estabelecer uma necessidade
prática que não é atualmente conhecida.
Embora uma revisão de dissertação normalmente tenha um foco principal, também pode
ser necessário abordar todos ou alguns dos focos mencionados acima. Por exemplo, uma
resenha com um foco orientado para resultados provavelmente também lidaria com falhas
metodológicas que podem afetar um resultado. A revisão orientada para resultados também
pode lidar com teorias, relacionado ao fenômeno que está sendo investigado e apresentar as
aplicações práticas do conhecimento que será finalmente obtido com a dissertação.

Meta

O objetivo de muitas análises é integrar e generalizar descobertas em unidades,

tratamentos, resultados e configurações; para resolver um debate dentro de um campo; ou para
fazer a ponte com a linguagem usada em todos os campos. Meta-análise, por exemplo, é uma
técnica de revisão frequentemente usada em que o principal objetivo é integrar resultados
quantitativos entre os estudos. Em outras revisões, o objetivo pode ser analisar criticamente a
pesquisa anterior, identificar questões centrais ou explicar uma linha de argumento dentro de
um campo.
Uma revisão de dissertação geralmente tem vários objetivos. Se a dissertação é apenas
uma revisão, o autor pode estar interessado principalmente na integração, mas também pode ser
necessário analisar criticamente a pesquisa, identificar questões centrais, ou explicar um
argumento. No entanto, se o autor da dissertação está usando a revisão da literatura para
justificar uma investigação posterior, o objetivo dará mais ênfase em analisar criticamente a
literatura, talvez para identificar uma fraqueza e propor remediar essa fraqueza com a pesquisa
de dissertação. De qualquer forma, o autor deve integrar revisões para apresentar ao leitor um
grande quadro. Sem integração, a paisagem do mapa de pesquisa seria tão grande quanto o
cenário de pesquisa em si.

Perspectiva
 Na pesquisa primária qualitativa, os autores das revisões frequentemente decidem
revelar seus próprios preconceitos preexistentes e discutir como esses vieses podem ter afetado
a revisão. Ou como é frequentemente o caso em pesquisas quantitativas primárias, autores
podem tentar ter uma perspectiva neutra e apresentar o revise das descobertas como fatos. A
perspectiva tomada depende principalmente sobre se a revisão é conduzida nas tradições
quantitativas ou qualitativas. Desde secundário métodos de pesquisa (ou seja, pesquisa de
revisão) paralelos aos métodos primários métodos de pesquisa, faz sentido para o autor de uma
revisão qualitativa seguir a tradição qualitativa e revelar preconceitos e o autor de uma revisão
quantitativa para seguir a tradição quantitativa reivindicar uma posição neutra. Esta decisão será
ditada pelo caso particular.

Cobertura

Decidir com que largura lançar a rede é uma etapa crítica conduzindo uma revisão.
Cooper propõe quatro cenários de cobertura. Em uma revisão exaustiva, o revisor promete
localizar e considerar todas as pesquisas disponíveis em um determinado tópico, publicado ou
não publicado. Contudo, encontrar cada pesquisa pode levar mais tempo do que está disponível.
A chave para a revisão exaustiva é definir a população de forma que seja limitada e o número de
artigos a revisar é administrável. Cooper (1988) chama isso de uma revisão exaustiva com
seletiva
citação. Por exemplo, o revisor pode escolher apenas olhar para artigos publicados em
periódicos, mas não em conferências; no entanto, uma razão teórica para excluir artigos de
conferências são aconselhados.
Uma terceira abordagem de cobertura é considerar uma amostra representativa de
artigos e fazer inferências sobre toda a população de artigos dessa amostra. Contudo, a
amostragem aleatória está longe de ser infalível. Uma talvez mais certa abordagem é reunir
evidências que demonstrem que a amostra representativa é realmente representativa. A
abordagem mais sensata pode ser fazer as duas coisas.
A quarta abordagem de seleção de artigos de Cooper é fazer uma amostra intencional
em que o revisor examina apenas os artigos centrais ou essenciais em um campo. A chave aqui
é convencer o leitor de que os artigos selecionados são, de fato, os artigos centrais ou essenciais
em um campo, e assim como é importante que os artigos não escolhidos não sejam centrais ou
fundamentais.

Organização
 Existem muitos formatos para organizar uma revisão. Três dos mais comuns são o
formato histórico, o formato conceitual e formato metodológico. No formato histórico a revisão
é organizada cronologicamente. Claramente, isso é preferido quando a ênfase está na progressão
de métodos de pesquisa ou teorias, ou em uma mudança nas práticas ao longo do tempo.
Um segundo esquema organizacional comum é construído em torno de conceitos. Por
exemplo, a resenha pode ser organizada em torno das proposições em uma pesquisa racional ou,
em uma revisão com enfoque teórico, organizado de acordo com as várias teorias da literatura.
Finalmente, a revisão da literatura pode ser organizada metodologicamente, como em um artigo
empírico (ou seja, introdução, método, Resultados e discussão). Em alguns casos, pode ser mais
eficaz para misturar e / ou combinar estes formatos. Por exemplo, o revisor pode começar com
uma introdução, definir o método e apresentar os resultados em um formato histórico ou
conceitual, em seguida, ir para a discussão dos resultados. Este formato organizacional é
frequentemente usado em relatórios meta-analíticos.

Público

A característica final da Taxonomia de Revisões de literatura de Cooper (1988) são o

público. Para uma dissertação, o supervisor e revisores da dissertação são o público primário.
Os estudiosos da área que a dissertação se refere são o público secundário. Evitar escrever a
revisão da literatura da dissertação para uma visão geral, um público não acadêmico. O que
constitui um bom livro é provavelmente não o que constitui uma boa dissertação, e vice-versa.

Como conduzir uma revisão da literatura

Dê uma olhada na lista abaixo. Parece familiar? Isto pode ser um guia passo a passo
sobre como conduzir a pesquisa primária, mas na verdade descreve os estágios de conduzir uma
revisão da literatura (ver Cooper, 1984).
1. Formulação do problema
2. Coleta de dados
3. Avaliação de dados
4. Análise e interpretação
5. Apresentação pública
Se algo deve ser percebido sobre a condução e relato de uma revisão da literatura é que
as etapas para conduzir e relatar uma revisão da literatura paralelamente ao processo de
condução da pesquisa primária. Com algumas modificações, o que se sabe sobre a realização
de pesquisas primárias se aplica a realização de pesquisas secundárias (ou seja, uma revisão da
literatura). Os principais componentes são (a) uma justificativa para a condução da revisão; (b)
 questões de pesquisa ou hipóteses que orientem a pesquisa; (c) um plano explícito para a coleta
de dados, incluindo como as unidades serão escolhidas; (d) um plano explícito para analisar
dados; e (e) um plano de apresentação de dados. Em vez de participantes humanos, por
exemplo, as unidades em uma revisão de literatura são os artigos que são revisados. Validade e
confiabilidade, os mesmos problemas que se aplicam a pesquisa primária, também se aplicam à
pesquisa secundária. E, como na pesquisa primária, os estágios podem ser iterativos e não
necessariamente preenchido na ordem apresentada abaixo.
Estágio da pesquisa
Característica Formulação Coleta de Avaliação Análise e Apresentação
s das Etapas do Dados de Dados interpretação pública
Problema
Perguntas Que Que O que Quais Que
feitas na evidência procedimentos recuperou procedimento informação
pesquisa deveria estar devem ser da s deve ser
incluída na usados para evidência devem ser incluída no
revisão? encontrar deveria usados para relatório de
evidências estar fazer revisão?
relevantes? incluído na inferências
revisão? sobre a
literatura
como um
todo?
Função Construir Determinar Aplicar Sintetizar Aplicar
primária definições quais fontes são critérios estudos critérios
em revisão que potencialmente para válidos editoriais para
distinguem relevantes para separar recuperados. separar
estudos examinar. estudos informações
relevantes “válidos” importantes de
de de não
irrelevantes. “inválidos” importantes.
.
Diferenças no 1. Diferenças em 1. Diferenças Diferenças nas
processo que Diferenças pesquisas Diferenças nas diretrizes
criam em contendo em critério regras de para
variação na incluir fontes de de inferência. julgamento
conclusão da definições em formação. qualidade editorial.
revisão. operacionais .
. 2.
 2. Diferenças
Diferenças na
em detalhes influência
operacionais de não ter
. critério de
qualidade.
Fontes de 1. Conceitos 1. Estudos 1. Sem 1. Regras 1. Omissão de
potencial estritos acessados qualidade para revisão de
invalidez podem podem ser fatores distintivo procedimentos
nas fazer qualitativament podem padrões de podem fazer
conclusões de conclusões e causar barulho pode conclusões
revisão. de revisão diferentes do ponderação ser irreproduzíveis
menos público alvo imprópria inapropriado. .
definitivas e dos estudos. em estudos 2. Com base 2. Omissão de
robustas. 2. Amostra de em em revisão revisão
2. pessoas em formação. evidência descobertas e
Superficial estudos 2. pode ser estudo
operacional acessíveis Omissões usado para procedimentos
detalhe pode podem ser em inferir podem fazer
obscurecer diferentes do relatórios causalidade. conclusões
interagindo público alvo. de estudo obsoletas.
variáveis. podem
fazer
conclusões
não
confiáveis.

A Tabela 2, de Cooper (1984), é uma estrutura para orientar a conclusão das quatro
etapas de pesquisa de uma revisão de literatura. À esquerda, a tabela identifica as características
gerais de cada etapa da pesquisa: as perguntas feitas na pesquisa, as funções principais de cada
estágio, as diferenças de procedimentos que podem levar a diferentes conclusões, e as fontes
potenciais de invalidez em cada estágio. Para cada uma das características, as colunas restantes
da tabela apresentam questões-chave para orientar o redator da revisão em: formação de
problemas, coleta de dados, avaliação de dados, análise e interpretação e apresentação pública.
As seções a seguir discutem em mais detalhes as etapas que Cooper (1984) sugere para a
realização de uma revisão de literatura.
Formulação do problema (para a revisão da literatura)

Assim que o tipo apropriado de revisão for identificado (ver taxonomia de Cooper na
Tabela 1), o foco muda para formulação de problema. Nesta etapa, o revisor decide que
perguntas a revisão da literatura responderá e determina critérios explícitos para ditar a inclusão,
ou exclusão, de um artigo incluído na revisão. Neste ponto, é importante fazer uma distinção
entre perguntas de revisão de literatura (ou seja, perguntas que podem ser respondidas pela
revisão da pesquisa secundária) e questões de pesquisa empírica (ou seja, questões que podem
ser respondidas apenas por meio de pesquisa primária). A revisão de literatura é a fonte primária
da questão da pesquisa empírica (Randolph, 2007c).
A formação do problema começa com a determinação de questões que nortearão a
revisão da literatura. Essas perguntas devem ser influenciadas significativamente pelo objetivo e
o foco da revisão. Por exemplo, se o objetivo da revisão é integrar os resultados da pesquisa,
então um uma pergunta significativa da pesquisa pode ser: Da literatura anterior, qual é o efeito
da intervenção X nos resultados Y e Z? Se o objetivo é analisar criticamente os métodos de
pesquisa usados na literatura anterior, as perguntas podem incluir: Quais métodos de pesquisa
foram usados no passado para investigar fenômeno X? e quais são as falhas metodológicas
desses métodos? Se o foco da revisão da literatura está nas teorias e o objetivo é identificar
questões centrais, então uma pergunta legítima de pesquisa pode ser: Quais são as teorias
centrais que têm sido usadas para explicar o fenômeno X? Neste ponto é sábio pesquisar
revisões de literatura que possam ter
já respondido a estas ou questões relacionadas.
A segunda etapa na formação do problema é explicitamente determinar os critérios de
inclusão e exclusão. Em outras palavras, determinar quais artigos serão incluídos na revisão e
quais artigos serão excluídos. Os critérios particulares são influenciados pelo foco da revisão,
objetivos e cobertura. Abaixo está um exemplo dos critérios para inclusão e exclusão usadas em
uma revisão da pesquisa sobre o uso de cartões de resposta do aluno (Randolph, 2007b):
Os estudos foram incluídos na síntese quantitativa se eles atenderam a cada um dos
seguintes critérios:
1. O estudo relatou meios e padrões desvios ou forneceu informações suficientes para
calcular médias e desvios padrão para cada doença.
2. O uso de cartões de resposta write-on, pré-impressos, cartões de resposta, ou ambos
eram variáveis independentes.
3. Resposta oral voluntária para um único aluno (ou seja, levantamento de mão) foi
usado durante o controle da doença.
 4. O estudo relatou resultados em pelo menos uma das seguintes variáveis dependentes:
participação, realização do questionário, realização do teste ou intervalos de perturbações
comportamentais.
5. O relatório foi redigido em inglês.
6. Os dados de um estudo não se sobrepõem aos dados de outro estudo.
7. Os estudos usaram medidas repetidas do tipo metodologias.
8. Para estudos separados que usaram os mesmos dados (por exemplo, uma dissertação
e um artigo de jornal com base no mesmo conjunto de dados), apenas os estudos com mais
relatórios abrangentes foram incluídos para evitar a representação excessiva de um determinado
conjunto de dados. (pp. 115-116)
Os critérios de inclusão/exclusão devem ser explícitos e abrangentes o suficiente para
que qualquer artigo que venha a luz possa ser incluído ou excluído apenas com base naqueles
critérios. Além disso, os critérios devem incluir detalhes suficientes para que duas pessoas, com
o mesmo conjunto de artigos, identifiquem virtualmente o mesmo subconjunto de artigos. Na
verdade, em avaliações onde a confiabilidade é essencial, como quando toda uma dissertação ou
tese é uma revisão, os pesquisadores muitas vezes recrutam outros indivíduos para testar a
confiabilidade do sistema de inclusão / exclusão, em seguida, compara os subconjuntos
resultantes para revelar inconsistências, revisando os critérios adequadamente.
É provável que a criação de um conjunto válido de inclusão / exclusão de critérios
exigirão um teste piloto considerável de tentativa e erro. Frequentemente, ambiguidades nos
critérios resultarão em artigos que são omitidos inadequadamente. Recursivamente o teste piloto
dos critérios é demorado, mas muito menos do que começar de novo depois de muitos dados
terem sido meticulosamente coletados e analisados.

Coleção de dados

O objetivo da fase de coleta de dados é coletar um exaustivo, semi-exaustivo,

representativo ou fundamental conjunto de artigos relevantes. Como na pesquisa primária, o
pesquisador de dados secundários não deve apenas conceber um plano sistemático para coleta
de dados, ele ou ela deve documentar com precisão como os dados foram coletados. O revisor é
aconselhado a descrever o procedimento de coleta de dados com tal detalhamento que,
teoricamente, outros revisores seguindo os mesmos procedimentos sob as mesmas condições
encontrariam um conjunto idêntico de artigos.
O processo de coleta de dados geralmente começa com uma pesquisa eletrônica em
bases de dados acadêmicas e na Internet. (Como os bancos de dados relevantes variam dentro
dos campos, não vou discuti-los aqui.) Quando essas pesquisas são realizadas, registros
cuidadosos e precisos devem ser mantidos da data de cada pesquisa, os bancos de dados
pesquisados, as palavras-chave e a chave de combinações de palavras usadas e o número de
registros resultantes de cada pesquisa.
Na minha experiência, pesquisas eletrônicas levam a apenas cerca de dez por cento dos
artigos que compreenderão uma revisão exaustiva. Existem várias abordagens para localizar os
90% restantes. O método mais eficaz pode ser pesquisar as referências dos artigos que foram
recuperados, determinar quais deles parecem relevantes, encontrar aqueles, ler suas referências
e repetir o processo até que um ponto de saturação é alcançado - um ponto onde nenhum novo
artigo relevante vem à tona.
Quando a busca eletrônica e de referência se esgota, o revisor é aconselhado a
compartilhar a lista de referências com colegas e especialistas na área para determinar se eles
detectaram todos os artigos ausentes. Enviando uma consulta para a lista principal de
especialistas na área relevante, com um pedido que identifica artigos ausentes, muitas vezes é
eficaz para produzir referências adicionais. Também é aconselhável compartilhar a lista final de
artigos potencialmente relevantes com supervisores e revisores de dissertação, para que eles
também possam estar cientes da literatura relevante adicional.
O processo de coleta de dados pode parar quando o ponto de saturação é atingido, e o
revisor tem evidências suficientes para convencer os leitores de que tudo o que pode
razoavelmente ser feito para identificar todos os artigos relevantes tenha sido diligentemente
empreendido. Claro, é provável que novos artigos virão à tona após a coleta de dados quando o
período for concluído. No entanto, a menos que o novo artigo seja extremamente importante,
sugiro deixá-lo de fora. Por outro lado, o revisor pode ter que abrir as comportas e começar a
renovar o processo de coleta de dados.
Agora, o revisor deve conceber um sistema para abater ainda mais os artigos coletados.
Por exemplo, para separar o potencialmente relevante do obviamente irrelevante nos estudos, o
revisor pode ler cada palavra de cada registro eletrônico, apenas o resumo, apenas o título, ou
alguma combinação. Qualquer que seja o método escolhido, é aconselhável que o revisor
documente com precisão o processo empreendido. Quando os artigos obviamente irrelevantes
forem identificados e descartados, o revisor pode começar a determinar qual dos artigos
restantes será incluído na revisão da literatura. Novamente, quando a confiabilidade é crítica, é
comum para dois ou mais outros indivíduos qualificados determinem quais artigos no novo
subconjunto atendem aos critérios de inclusão e exclusão para estimar e considerar o nível de
concordância entre avaliadores. (Neuendorf [2002] fornece uma discussão completa sobre
métodos para quantificar a concordância entre avaliadores.) Quando o revisor estiver satisfeito
com o subconjunto final de artigos relevantes, a fase de avaliação de dados pode começar.

Avaliação de dados
 Na fase de avaliação de dados, o revisor começa a extrair e avaliar as informações nos
artigos que preencheram os critérios de inclusão. Para começar, o revisor concebe um sistema
de extração de dados dos artigos. Os tipos de dados extraídos são determinados pelo foco e
objetivo da revisão. Por exemplo, se o foco são os resultados da pesquisa e o objetivo é a
integração, alguém irá extrair dados de resultados de pesquisa de cada artigo e decidir como
integrar esses resultados. Conforme os dados são avaliados, o revisor é aconselhado a
documentar os tipos de dados extraídos e o processo usado. Porque requer detalhes extensos,
esta documentação às vezes é registrada usando formulários de codificação separados e um livro
de codificação, que são incluídos como apêndices da dissertação. Ou, a documentação pode ser
incluída no corpo principal da dissertação.
Se os procedimentos para extrair os dados são registrados em um livro de codificação
separado ou incluído dentro do corpo da dissertação, o nível de detalhe deve ser de modo que,
de fato ou teoricamente, uma segunda pessoa poderia chegar a mais ou menos os mesmos
resultados, seguindo o procedimento registrado.
Um livro de codificação é um documento eletrônico, como uma planilha ou um
formulário físico no qual os dados são registrados para cada artigo. Os documentos do livro de
codificação, os tipos de dados que serão extraídos de cada artigo, o processo usado para fazer
isso e os dados reais. Se o foco da pesquisa está nos resultados, por exemplo, o livro de
codificação deve incluir uma ou mais variáveis que acompanham a extração dos resultados da
pesquisa. A revisão de literatura, é claro, exigirá a extração de tipos adicionais de dados,
especialmente dados que identificam os fatores que podem influenciar os resultados da
pesquisa. Por exemplo, em pesquisa experimental a codificação do revisor do livro irá extrair de
cada artigo a medição dos instrumentos usados; o independente, dependente e variáveis
mediadoras / moderadoras investigadas; os procedimentos de dados de análise; os tipos de
controles experimentais; e outros dados. Claro, os fatores de influência variam dependendo do
assunto.
Examinar revisões de literatura anteriores, meta-análises ou livros de codificação é útil
para entender o escopo e a organização de um livro de codificação. Um download gratuito
exemplo de um livro de codificação e folha de codificação usado em uma dissertação de revisão
metodológica pode ser encontrada em Randolph (2007a).
É essencial considerar cuidadosamente os tipos de dados a serem extraídos de cada
artigo, e para um teste piloto completo o livro de codificação. O processo de extração tende a
revelar outros tipos de dados que devem ser extraídos e podem precisar de revisão do livro de
codificação e da recodificação de todos os artigos. Além disso, se a confiabilidade entre
avaliadores é importante, o revisor deve alternadamente testar e revisar o livro de codificação
até níveis aceitáveis de inter avaliar se confiabilidade foram alcançados.
 As revisões da literatura comumente examinam dados sobre a qualidade da pesquisa.
No entanto, existem pontos de vista conflitantes sobre a inclusão de artigos de baixa qualidade
em uma revisão. (Veja a Tabela 3, no final deste artigo, para uma rubrica sobre avaliar a
qualidade dos artigos.) Alguns, como Cooper, sugerem incluir apenas artigos de alta qualidade
em um estudo. Outras sugerem a inclusão de estudos de alta e baixa qualidade relatando as
diferenças entre os dois. Se não há diferença, os dados podem ser agrupados juntos. Se houver
uma diferença, no entanto, o revisor pode querer relatar separadamente os resultados dos artigos
de alta qualidade e artigos de baixa qualidade.
Um objetivo de muitas análises é integrar ou sintetizar resultados da pesquisa. Assim,
uma métrica ou medida comum deve ser identificar em todas as pesquisas em que os resultados
podem ser traduzidos. Em uma síntese quantitativa, por exemplo, a métrica comum pode ser a
diferença em proporções entre os grupos de controle e de tratamento.

Análise e interpretação de dados

Finalmente, na fase de análise e interpretação dos dados, o revisor tenta entender os

dados extraídos. Se o objetivo da revisão da literatura é a integração, o revisor agora integra os
dados. Dependendo dos tipos de dados extraídos, quantitativo ou qualitativo, a síntese de
métodos mistos será realizada. Mais informações sobre a análise de dados quantitativos e
revisões qualitativas da literatura serão fornecidas posteriormente.

Apresentação pública

Nesta fase, o autor da revisão determina qual é a informação mais importante e será
apresentada e quais informações são informações menos importantes e podem ser deixadas de
fora. Em uma revisão da literatura da dissertação, o autor pode ser liberal sobre a quantidade de
informações a incluir. Conforme discutido anteriormente, as revisões da literatura são
comumente organizadas histórica, conceitualmente ou metodologicamente.
Como mencionado anteriormente, o público principal da revisão da literatura é o
supervisor da dissertação e outros revisores de dissertação. O público secundário são outros
estudiosos da área. A revisão da dissertação pode ser revisada posteriormente para atender às
necessidades de uma visão para um público em geral.

Formulando e justificando questões para a pesquisa empírica

A revisão da literatura, combinada com a pesquisa problema, deve levar à formulação

de questões de pesquisa. Embora Cooper não inclua esta etapa em sua (1988) Taxonomy of
Literature Reviews é uma parte essencial de uma dissertação. Neste ponto, o autor da
dissertação explica, usando evidências da revisão, como a dissertação torna um texto
significativo uma contribuição para o conhecimento na área. O americano Education Research
Association (2006) explica algumas das maneiras como novas pesquisas podem contribuir para
pesquisa:
Se o estudo é uma contribuição para o estabelecimento de uma linha de teoria e
pesquisa empírica, deve deixar claro quais são as contribuições e como o estudo contribui para
testar, elaborar ou enriquecer essa perspectiva teórica.
Se um estudo pretende estabelecer uma nova linha de teoria, deve deixar claro o que
essa nova teoria é, como se relaciona com as teorias e evidências existentes, porque a nova
teoria é necessária, e o pretendido âmbito da sua aplicação.
Se o estudo for motivado por questões práticas, deve deixar claro quais são essas
preocupações, por que eles são importantes, e como esta investigação pode abordar essas
preocupações.
Se o estudo for motivado pela falta de informações sobre um problema ou questão, a
formação do problema deve deixar claro o que faltam informações, por que são importantes e
como esta investigação irá atender à necessidade em formação. (p. 3)

Revisões de literatura quantitativa

Dois tipos comuns de revisões quantitativas são revisões narrativas e revisões meta-
analíticas. Antes do método a meta-análise tornou-se predominante, quase todas as revisões
quantitativas eram narrativas. De acordo com Gall, Borg e Gall (1996), revisões narrativas:
[…] enfatizam estudos mais bem elaborados e organizam seus resultados
para formar um composto imagem do estado do conhecimento sobre o
problema ou tópico que está sendo revisado. O número de resultados
estatisticamente significativos, comparados com o número de resultados não
significativos, foram anotados. Cada estudo pode ter sido descrito
separadamente em algumas frases ou um parágrafo. (pp. 154-155)

No entanto, apesar de seu uso frequente, as revisões narrativas tendem a ser

significativamente afetadas pela subjetividade do revisor. A pesquisa indicou que as conclusões
de uma revisão narrativa podem ser completamente diferentes de outra resenha escrita por um
autor diferente, mesmo quando exatamente os mesmos artigos são revisados (Light & Pillemer,
1984).
Hoje, as revisões meta-analíticas estão na vanguarda. Em uma revisão meta-analítica, o
revisor (a) coleta uma amostra representativa ou abrangente de artigos, (b) codifica esses artigos
de acordo com uma série de aspectos (por exemplo, qualidade do estudo, tipo de intervenção
usada, tipo de medida usada, resultados do estudo), (c) encontra uma métrica em comum (por
exemplo, um tamanho de efeito de diferença média padronizada) que permite que os resultados
do estudo sejam sintetizados, e então (d) examina como as características de um estudo
coincidem com os resultados do estudo.
A Figura 1, abaixo, mostra um exemplo de gráfico frequentemente usado em meta-
análise. O gráfico da floresta ilustra os tipos de informações normalmente geradas por meio de
meta-análises. A Figura 1, de Randolph 2007b, ilustra os resultados de 13 estudos que
investigaram os efeitos da resposta de cartões de desempenho acadêmico (neste caso, teste
pontuações). O triângulo representa o efeito e as linhas em ambos os lados, indica os intervalos
de confiança de 95% para esse efeito. A métrica comum usada para o gráfico da floresta é um
tamanho de efeito de diferença média padronizado chamado Cohen’s d. Na parte inferior da
figura está o peso tamanho médio do efeito (ou seja, o resultado integrado) de todos os 13
estudos, aproximadamente 1,1, o que significa que os alunos pontuaram cerca de 1,1 desvios
padrão mais altos em seus questionários ao usar cartões de resposta do que quando não usando
cartões de resposta.
Conforme ilustrado na Figura 1, a meta-análise é uma maneira útil de sintetizar e
analisar um corpo de pesquisa quantitativa (Cooper & Hedges, 1994a; Glass, McGaw, & Smith,
1981; Lipsey e Wilson, 2001; ou Rosenthal, 1991, são todos excelentes guias para a realização
de meta-análises). No entanto, as críticas à meta-análise incluem que são sujeitos a viés de
publicação (ou seja, que estatisticamente resultados significativos tendem a ser publicados mais
do que resultados não estatisticamente significativos) e isso também é mecanicista. Alguns,
como Slavin (1986), sugerem sabiamente combinar técnicas meta-analíticas e narrativas. Por
exemplo, pode-se sintetizar quantitativamente cada estudo, mas também fornecer uma descrição
narrativa completa de estudos particularmente relevantes.
 Figura 1. Um gráfico da floresta dos efeitos dos cartões de resposta na realização do
questionário. De “Meta-Análise do Efeitos dos Cartões de Resposta no Desempenho do Aluno,
Participação e intervalos de comportamento fora da tarefa”, por J. J. Randolph, 2007, Journal of
Positive Behavior Intervenções, 9 (2), p. 121. Copyright 2007 por Sage Publicações.
Reproduzido com permissão de Sage Publicações.

Revisões de literatura qualitativas

Quando um corpo de literatura é principalmente qualitativo, ou contém uma mistura de

resultados quantitativos e qualitativos, pode ser necessário realizar uma revisão qualitativa,
isoladamente ou como complemento de uma revisão quantitativa. Esta seção apresenta dois
métodos para conduzir revisões qualitativas da literatura. O primeiro método foi primeiro
apresentado por Ogawa e Malen (1991). O segundo método, que eu proponho, toma emprestado
o método de pesquisa fenomenológica e aplica-a à condução uma revisão da literatura. Outro
recurso útil para realizar revisões qualitativas da literatura, não descritas aqui está Noblit e Hare
(1988).

Método de Ogawa e Malen

 Borg, Gall e Borg (1996) quebraram Ogawa e o método de Malen (1991) nas oito
etapas discutidas abaixo. Observe que essas etapas são paralelas as etapas básicas da pesquisa
qualitativa.
Etapa 1: Crie uma trilha de auditoria. Nesta etapa, o revisor documenta cuidadosamente
todas as etapas executadas. A trilha de auditoria serve como documentação para tornar claras as
evidências que apoiam cada descoberta, onde essa evidência pode ser encontrada, e como essa
evidência foi interpretada.
Etapa 2. Defina o foco da revisão. A formação do problema estágio mencionado
anteriormente é semelhante a esta etapa. Nesse estágio, os construtos da revisão são definidos e,
assim, é determinado o que incluir na revisão e o que deixar de fora.
Etapa 3: Pesquise a literatura relevante. Esta etapa é semelhante a etapa de coleta de
dados mencionada anteriormente. De acordo com Ogawa e Malen (1991), além dos relatórios
qualitativos de pesquisa, relatórios de não pesquisa, como memorandos, artigos de jornais ou
atas de reuniões também devem ser incluídos na revisão e não necessariamente considerados
como tendo menos valor do que relatórios de pesquisa qualitativa.
Etapa 4: Classifique os documentos. Nesta etapa, o revisor classifica os documentos de
acordo com os tipos de dados que eles representam. Por exemplo, alguns documentos podem ser
relatórios de primeira mão de pesquisas qualitativas, outros podem ser declarações de política
sobre o problema em questão, e ainda outros tipos de dados podem descrever projetos em torno
do problema.
Etapa 5: Crie bancos de dados de resumo. Esta etapa é semelhante à etapa de avaliação
de dados. Nesta fase, o revisor desenvolve esquemas de codificação e tentativas de reduzir a
informação nos documentos relevantes. Neste ponto, Borg, Gall e Borg (1996) escrevem,
Você não pode simplesmente ler todos esses documentos, faça anotações
casuais e, em seguida, escreva uma revisão da literatura. Em vez disso, você
vai precisar desenvolver resumos narrativos e esquemas de codificação que
levam em consideração todas as informações pertinentes no documento. O
processo é iterativo, o que significa, por exemplo, que você pode precisar
para desenvolver um esquema de codificação, aplique-o ao documento,
revise-os com base nesta experiência e reaplique-a. (p. 159)

Etapa 6: Identificar construções e ligações causais hipotéticas. Depois que bancos de

dados de resumo forem criados, a tarefa é identificar os temas essenciais dos documentos e criar
hipóteses sobre as relações entre os temas. O objetivo aqui, ao contrário da meta-análise, é
aumentar a compreensão dos fenômenos sendo investigado, não para integrar resultados e
identificar fatores que variam com os resultados.
 Etapa 7: Procure descobertas contrárias e interpretações rivais. Dentro da tradição da
pesquisa qualitativa primária, é necessário procurar ativamente por descobertas contrárias e
interpretações rivais. Pode-se, por exemplo, reler os documentos neste ponto para procurar
evidências em contrário.
Passo 8: Use colegas ou informantes para corroborar as descobertas. A última etapa no
método de Ogawa e Malen (1991), resultados corroborantes, também paralelos qualitativos
primários na pesquisa. Nesta etapa, compartilha-se um rascunho do relatório com colegas e
informantes, como os autores dos documentos incluídos na revisão, solicitando que eles
analisem criticamente a revisão. Desta forma, com base no grau de concordância entre os
informantes, o revisor pode confirmar o grau em que o comentário as conclusões são sólidas.

O método fenomenológico para a realização de uma revisão de literatura qualitativa

O objetivo da pesquisa fenomenológica é chegar à essência da experiência vivida de um

fenômeno (Moustakas, 1994). Aplicado como uma técnica de revisão, o objetivo é chegar à
essência do empírico dos pesquisadores experiências com um fenômeno. Em primeira mão
fenomenologia, os indivíduos que experimentaram um determinado fenômeno são
entrevistados. Em uso da fenomenologia como técnica de revisão, a unidade de análise é o
relatório de pesquisa, e não um indivíduo quem vivenciou o fenômeno. Ao usar fenomenologia
como uma técnica de revisão, os dados vêm de um relatório de pesquisa empírica, em vez de
entrevista dados.
Não surpreendentemente, as etapas de um processo fenomenológico pretendem espelhar
as etapas da pesquisa fenomenológica.
Essas etapas são descritas resumidamente a seguir:
Etapa 1: Bracketing. Na pesquisa fenomenológica, o primeiro passo é identificar o
fenômeno a ser investigado. O pesquisador, então, "coloca entre parênteses" sua experiência
com o fenômeno, explicando suas próprias experiências e posições sobre o fenômeno.
Etapa 2: coleta de dados. A próxima etapa é coletar dados sobre o fenômeno. Na
fenomenologia primária da pesquisa, o pesquisador entrevistaria um conjunto de pessoas que
experimentaram o fenômeno. Ao usar o método fenomenológico como ferramenta de revisão, o
revisor leria os relatórios de cientistas que fizeram pesquisas sobre o fenômeno. Como nas
revisões quantitativas, o revisor ainda deve decidir sobre os critérios de inclusão e definir a
estratégia de pesquisa.
Etapa 3: Identificar afirmações significativas. A terceira etapa identificar afirmações
significativas. O pesquisador pode fazer isso, destacando as afirmações empíricas feitas sobre o
fenômeno de interesse e cobrança dessas reivindicações, palavra por palavra, em algum tipo de
planilha ou software qualitativo para tornar os dados gerenciáveis.
 Etapa 4. Dar significado. Depois de identificar declarações, a próxima etapa é dar
significados a essas afirmações. Ou seja, o revisor pode colocar as declarações significativas em
categorias e, em seguida, interpretar e parafraseá-los como grupos.
Etapa 5. Descrição espessa e rica. A etapa final é criar uma descrição densa e rica da
essência das experiências primárias dos pesquisadores com o fenômeno. O objetivo é descrever
a essência do fenômeno como visto através dos olhos dos pesquisadores que investigaram o
fenômeno.

Erros comumente cometidos na revisão de literatura de pesquisa

Para ajudar o revisor a evitar erros em conduzir uma revisão da literatura, algumas dos
erros mais comuns estão listados abaixo. Gall, Borg e Gall (1996) afirmam que os erros mais
frequentes cometidos na revisão de literatura são que o pesquisador:
1. não relacionar claramente as conclusões da revisão da literatura para o próprio estudo
do pesquisador;
2. não levar tempo suficiente para definir a melhor descrição e identificar as melhores
fontes para usar na revisão de literatura relacionada a um tópico;
3. depender de fontes secundárias em vez de fontes primárias na revisão da literatura;
4. aceitar sem crítica as descobertas de outro pesquisador e interpretações como válidas,
ao invés de examinar criticamente todos os aspectos da pesquisa, projeto e análise;
5. não relatar os procedimentos de pesquisa que foram utilizados na revisão da
literatura;
6. relatar resultados estatísticos isolados, em vez de sintetizá-los por métodos qui-
quadrado ou meta-analítico; e
7. não considerar descobertas contrárias e interpretações alternativas na síntese da
literatura quantitativa. (pp. 161-162)

Avaliando uma revisão da literatura

Bootes e Beile (2005) criaram uma categoria de cinco rubricas para avaliar uma revisão
da literatura. As categorias são: cobertura, síntese, metodologia, significado e retórica. A rubrica
é apresentada na Tabela 3, abaixo. Boote e Beile usou esta rubrica de pontuação para avaliar
uma amostra aleatória de 30 dissertações acadêmicas relacionadas à educação. Tabela 4 mostra
um resumo de seus resultados.
Como está sua revisão de literatura?