GQS Revisao Sistematica Literatura JeanHauck 2018-1

Introdução a Revisões
Sistemáticas de
Literatura
GQS – Grupo de Qualidade de Software
Jean Carlo R. Hauck, Dr.

http://www.inf.ufsc.br/~jean.hauck
jean.hauck@ufsc.br
Apresentação do Professor
o Jean Carlo R. Hauck
• Graduado em Ciência da Computação

• Mestre em Ciência da Computação
• Doutor em Engenharia do Conhecimento
• Certified Professional for Requirements Engineering
o Professor e Pesquisador no INE – GQS/INCoD/UFSC
http://www.inf.ufsc.br/~jean.hauck
https://br.linkedin.com/in/jeanhauck
Grupo de Qualidade de Software
http://www.gqs.ufsc.br/
“Pesquisa científica, desenvolvimento e transferência

de modelos, métodos e ferramentas de Engenharia de
Software, para apoiar a melhoria da qualidade e
produtividade de software.”
• Melhoria de Processos de Software (CMMI, MPS.BR, CERTICS, ISO/IEC 29110, etc.)
• Gerenciamento de Projetos de Software
• Ensino de Engenharia de Software / Jogos Educacionais
• Interação Humano-Computador / Engenharia de Usabilidade
• Computação na Escola
Agenda
 Motivação
 Revisões Sistemáticas de Literatura
 Planejamento de SLR
 Execução de SLR
 Documentação de SLR
Uma história que poderia
ser a sua ...
Motivação
[http://www.makebeliefscomix.com]
Motivação - Fases Típicas de uma Pesquisa
 Motivando e definindo o tema
 Analisando contexto e estado da arte
 Fundamentação teórica
 Estado da Arte
 Desenvolvendo e avaliando a solução

 Modelagem / Proposta da solução
 Solução / Implementação / Estudo de Caso / etc.
 Aplicação / Avaliação
 ...
 Conclusão
 Defesa
Motivação - Em busca do Estado da Arte
 Estado da Arte: Nível mais alto e atual
de desenvolvimento de uma área
científica
 Como identificar os estudos atuais
mais diretamente relacionados com a
sua pesquisa?
 Como garantir que o pesquisador irá
obter informação de boa qualidade na
sua revisão de literatura?
 Quais as suas perguntas de
pesquisa?
 A sua pesquisa pode ser reproduzida?
 E o ineditismo?
[http://westportlibrary.org/]
Motivação - Em busca do Estado da Arte
 Estudos Primários: estudos de caso,
experimentos, etc. conduzidos para observar
algum comportamento em campo ou colocar
hipóteses à prova
 Estudos Secundários: revisam os estudos
primários para revelar tendências ou construir
conhecimento, por exemplo
 Estudos Terciários: revisam estudos
secundários relacionados a uma mesma
questão de pesquisa
Revisões Sistemáticas fornecem meios para

identificar, selecionar, e analisar evidências
relacionadas a um tópico de pesquisa em
particular
[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]
[http://westportlibrary.org/]
Revisão Sistemática de Literatura - SLR
 KITCHENHAM, B. Procedures for performing
systematic reviews. Keele, UK, Keele
University, v. 33, n. 2004, p. 1-26, 2004.
https://www.researchgate.net/publication/228756057_Proced
ures_for_Performing_Systematic_Reviews
 KITCHENHAM, B. Guidelines for performing

systematic literature reviews in software
engineering. Technical report, Ver. 2.3 EBSE
Technical Report. EBSE, 2007.
https://www.cs.auckland.ac.nz/~norsaremah/2007%20Guideli
nes%20for%20performing%20SLR%20in%20SE%20v2.3.pdf
 TRAVASSOS, G.; BIOLCHINI, J. Revisões

sistemáticas aplicadas à engenharia de
software. XXI SBES-Brazilian Symposium on
Software Engineering, 2007.
http://www.cin.ufpe.br/~in1037/leitura/sbes2007_revisaosiste
matica.pdf
[http://www.downthewriterspath.com/]
 Iniciou na Medicina
 Procedimento rigoroso para paradigma

baseado em evidência
 SLRs utilizadas para:
 Agrupar evidências existentes sobre um
fenômeno
 Identificar lacunas na pesquisa atual
 Fornecer a base para novas pesquisas
 Apoiar a geração de novas hipóteses

[http://www.downthewriterspath.com/]
[DYBA, Tore; DINGSOYR, Torgeir; HANSSEN, Geir K. Applying systematic reviews to diverse
study types: An experience report. In: null. IEEE, 2007. p. 225-234.]
[TRAVASSOS, 2007]
Mapeamento Sistemático x Revisão Sistemática
 Mapeamento Sistemático:
Identificar lacunas de pesquisa
Classificar/agrupar estudos primários
Identificar técnicas utilizadas
Preparar visão geral de um tópico de pesquisa
 Revisão Sistemática:
Foco específico
Análise detalhada
Encontrar e avaliar a evidência disponível
Meta-analysis

Mapeamento Sistemático x Revisão Sistemática
 Mapeamento Sistemático:
Identificar lacunas de pesquisa
Classificar/agrupar estudos primários
Identificar técnicas utilizadas
Preparar visão geral de um tópico deMapeamentos
pesquisa são mais
 Revisão Sistemática:
comuns!
Foco específico
Análise detalhada
Encontrar e avaliar a evidência disponível
Meta-analysis


Dificuldades em SLRs/SLMs
 Requerem mais esforço que revisões
tradicionais
 Ao menos dois pesquisadores envolvidos
 Complexidade/desconhecimento do processo
 Volume de estudos primários encontrados
 Estudos primários de baixa qualidade
 Síntese dos resultados trabalhosa
 Muitas vezes um Mapeamento Sistemático

seria suficiente (caracterizar, classificar,
identificar ...)
Processo de SLR simplificado
• Definição do problema
• Especificação da(s) pergunta(s) de pesquisa.
• Estratégia de pesquisas, termos de busca e Strings de busca
• Critérios de inclusão e exclusão de estudos primários
• Procedimentos de avaliação da qualidade dos estudos
Protocolo de • Estratégia de extração e síntese dos dados
Revisão • Estratégia de documentação e apresentação
• Seleção de estudos primários

• Avaliação da qualidade do estudo
• Extração de dados
Condução • Síntese dos dados
• Análise e Interpretação dos dados

• Elaboração do relatório final
Análise e
Interpretação

Processo de SLR simplificado
• Definição do problema
• Especificação da(s) pergunta(s) de pesquisa.
• Estratégia de pesquisas, termos de busca e Strings de busca
• Critérios de inclusão e exclusão de estudos primários
Mais simples em
Protocolo de •
•
Procedimentos de avaliação da qualidade dos estudos
Estratégia de extração e síntese dos dados
Revisão •
Mapeamentos Estratégia de documentação e apresentação
• Seleção de estudos primários

• Avaliação da qualidade do estudo
• Extração de dados
Condução • Síntese dos dados
• Análise e Interpretação dos dados

• Elaboração do relatório final
Análise e
Interpretação

SLR - Protocolo de Revisão
 Descrição do problema: motivação e apresentação de um problema real,
fundamentada na literatura
 Especificação da(s) pergunta(s) de pesquisa: <População> +
Protocolo de <Intervenção> + <Comparação> + <Outcome/resultado> + <Contexto>
Revisão
 Estratégia de pesquisa: Definir:
 Fontes de pesquisa: bases de dados relevantes da área
 Termos de busca e Strings de busca, com base na estratégia PICOC:
Definir primeiramente os termos, seus sinônimos/traduções e a partir deles as Strings de busca
adaptadas para cada base de dados pesquisada
Condução  Critérios de inclusão e exclusão de estudos primários
 Quais características objetivas terão os estudos incluídos?
 Quais características objetivas terão os estudos descartados?
 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?
Análise e
 Estratégia de extração e síntese dos dados: Que dados serão coletados
Interpretação dos estudos primários? Como será o instrumento de coleta de dados?
 Estratégia de documentação e apresentação: Definir o formato.
 Avaliação do Protocolo de Revisão: Pelo professor/orientador

Revisão
 Termos de População: Determinado
busca e Strings de busca,papel em um
com base naprocesso,
estratégiacategoria
PICOC: de profissional
ou engenheiro,
Definir primeiramente uma área
os termos, de aplicação, umaeárea
seus sinônimos/traduções dadeles
a partir indústria, etc.de busca
as Strings
adaptadas Intervenção:
para cada baseMetodologia, ferramenta, tecnologia, procedimento, etc. que
de dados pesquisada
Condução buscam resolver determinado problema
 Critérios deComparação:
inclusão eMetodologia,
exclusãoferramenta,
de estudos primários
tecnologia, procedimento, etc.
 Quais características objetivas
com a qual está sendoterão os estudos
realizada incluídos?
comparação. Pode ser o “tratamento” de
 Quais características
controle objetivas terão os estudos descartados?
 Critérios deResultados:
qualidade: Observados pela aplicação da intervenção. Devem ser
Como avaliar a qualidade dos estudos incluídos?
relevantes para a indústria e/ou academia.
Análise e
 Estratégia Contexto:
de extração Ondeea síntese
intervenção dos dados:incluindo:
foi realizada, Que dados características
serão coletadosdo
ambiente,Como
dos estudos primários? perfil será
da organização
o instrumentoe dos participantes,
de coleta de dados? ações/tarefas
Interpretação
realizadas, etc.

Revisão
Na Engenharia de Software,
 Fontesperguntas de bases
de pesquisa: pesquisa procuram:
de dados relevantes da área
- Avaliar o efeito de uma tecnologia de engenharia de software.
- Avaliar a frequência ou aadaptadas
taxa deparasucesso ou fracasso
cada base de projetos
de dados pesquisada
utilizando
Conduçãodeterminada abordagem.
 Critérios
- Identificar fatores de custo e dederisco
inclusão e exclusão
associados de estudos primários
a uma tecnologia.
 de
- Identificar o impacto Quais características
tecnologias objetivas
em modelos deterão os estudos incluídos?
confiabilidade,
desempenho e custo.  Quais características objetivas terão os estudos descartados?
- Analisar custo-benefício de tecnologias específicas de
desenvolvimento de software.
Análise e

Revisão
Exemplos:
• Que evidências existem de que os modelos de estimativa entre
empresas são significativamente diferentes dos modelos de
estimativa dentro da empresa para predizer esforço em projetos
de software Web?
Condução  Critérios
• Quaisde sãoinclusão e exclusão
as características de estudos
dos conjuntos primários
de dados e dos
métodos
 Quais de análise
características utilizados
objetivas nos
terão os estudos que afetam o resultado
estudos incluídos?
na precisão
 Quais das estimativas
características de esforço?
objetivas terão os estudos descartados?
• Qual procedimento experimental é mais apropriado em estudos
 Critérios de qualidade:
comparando Como avaliar
modelos dentro a qualidade
de empresa dos
e entre estudos incluídos?
empresas?
Análise e

Revisão
Fontes de Pesquisa: Indicar quais fontes serão pesquisadas e
justificar.
Análise e

Revisão
Termos de Busca: Para cadade inclusão
termo de busca,edefinir
exclusão dee estudos
sinônimos primários
sua respectiva tradução

Relatório dos estudos primários? Como será o instrumento de coleta de dados?

Revisão
 OR <P’> OR ...
Termos de Busca: Para cadade inclusão


Revisão
( OR <P’> OR ...) AND ( OR <I’> OR ...)
Condução
… Termos de Busca:
 Critérios
Para cadade inclusão


Revisão
String de Genérica Busca = ( OR <P’> OR ...) AND ( OR <I’> OR ...) AND (<C> OR <C’>
 OR
OR ...) AND (<O> Quais OR ...) AND (<Co>
<O’>características objetivas <Co’>osOR
OR terão ...) AND
estudos NOT (<CE> OR <CE’> OR
incluídos?
…) …  Quais características objetivas terão os estudos descartados?
Adaptado
Análise e

 Especificação da(s)
Critérios depergunta(s)
Inclusão: Listardeospesquisa:
critérios que <População>
definem estudos
+
Protocolo de <Intervenção> primários válidos +para
+ <Comparação> a pesquisa: que tipo
<Outcome/resultado> de pesquisa deve ser
+ <Contexto>
Revisão relatada no estudo para que ele seja incluído?
Critérios Exclusão: Estudos com determinadas características não
 Fontes dedevem
pesquisa:
serbases de dados
incluídos. Isso relevantes
já pode serdafiltrado
área na busca, se o volume
 Termos de debusca e Strings
resultados forde busca,
muito com base na estratégia PICOC:
expressivo.
Análise e

 Especificação da(s)
Critérios depergunta(s)
Inclusão: Listardeospesquisa:
critérios que <População>
definem estudos
+
Protocolo de <Intervenção> primários válidos +para
+ <Comparação> a pesquisa: que tipo
<Outcome/resultado> de pesquisa deve ser
+ <Contexto>
Revisão relatada no estudo para que ele seja incluído?
Critérios Exclusão: Estudos com determinadas características não
 Fontes dedevem
pesquisa:
serbases de dados
incluídos. Isso relevantes
já pode serdafiltrado
área na busca, se o volume
 Termos de debusca e Strings
resultados forde busca,
muito com base na estratégia PICOC:
expressivo.
String de adaptadas
Genéricapara = (
cada base
Busca OR <P’>
de dados OR ...) AND ( OR <I’> OR ...) AND
pesquisada
Condução (<C>
 OR <C’> OR
Critérios de ...) AND (<O>
inclusão OR <O’> ORde
e exclusão ...)estudos
AND (<Co>primários
OR <Co’> OR ...)
AND NOT (<CE> OR <CE’> OR …)
Análise e

Revisão
Avaliar a qualidade
 Estratégia dedos estudos quanto
pesquisa: a:
Definir:
• Design: como o estudo foi planejado
• Condução: forma como foi conduzido

• Análise: taxa de
Termos de busca e Strings
respostas, de busca,
tamanho com base na estratégia PICOC:
da população
• Conclusões:
Definir repostas
primeiramente os termos, seus
às perguntas de sinônimos/traduções
pesquisa e a partir deles as Strings de busca
Kitchenham de sugere
(2007) inclusão e exclusão
check-lists de estudos
para pontuar a qualidadeprimários
dos
estudos
 (quality score)
Quais características objetivas terão os estudos incluídos?
Análise e

Definir dados a serem extraídos que possam responder à(s) pergunta(s) de pesquisa
Revisão
Mostrar no mínimo:
 Fontesquantos estudos
de pesquisa: retornaram
bases de dados derelevantes
cada base;da quantos
área e quais foram
excluídos, quantos foramde
 Termos incluídos
busca eeStrings
os critérios utilizados,
de busca, tipona
com base (estudo de caso,
estratégia PICOC:
experimento, etc.), métodos/técnicas, resultados,
Definir primeiramente os termos, seusproblemas; etc. e a partir deles as Strings de busca
sinônimos/traduções
Criar planilha/tabela para registrar os dados coletados das bases. Definir quais
dados/colunas serão preenchidos para cada estudo.

Quais características objetivas terão os estudos incluídos?
* É importantedefinir
Quais características
também objetivas
onde ficará terão os estudos
armazenado, descartados?
controle de versões, etc.
Análise e

Revisão
Análise e

SLR - Condução
 Identificação das pesquisas relevantes: após as buscas

Planejamento preliminares, refinar as Strings iterativamente
 Seleção de estudos primários: processo iterativo de aplicação
dos critérios de inclusão exclusão. Pares leem todos os abstracts.
Armazenar também os estudos não selecionados para consulta futura
Condução  Avaliação da qualidade do estudo: avaliação do tipo de estudo,

observar validade interna e validade externa
 Extração de dados e monitoramento: documentar dados dos
estudos em formulário pré-definido
Análise e  Síntese dos dados: tabulação dos dados e caracterização inicial

Interpretação dos estudos selecionados

SLR - Condução

Protocolo de preliminares, refinar as Strings iterativamente
Revisão



SLR - Condução
Sensibilidade: Capacidade de Precisão: Capacidade de filtrar estudos

identificar
Identificação das pesquisas
os estudos relevantes relevantes:
não relevantes após as buscas
Protocolo de S = RR/(RN+RR) P = RR/(RR+IR)
preliminares, refinar as Strings iterativamente
Revisão
 Seleção de estudos
Testar e ajustas primários: processo
SENSIBILIDADE iterativo
e PRECISÃO de aplicação
da String de Busca
ArmazenarTestar a String
também de busca enão
os estudos a partir daí identificarpara
selecionados estudos relevantes
consulta futura
e não-relevantes e utilizá-los como referência para os ajustes de
Condução  Avaliaçãosensibilidade
da qualidadee precisão
do estudo: avaliação do tipo de estudo,
* Aceitável: S=0,72 a 0,80; P=0,15 a 0,25 [DIESTE & PAULA, 2007]
 Extração de dados RN:
e monitoramento:
Relevantes
documentar dados dos
U: Universo da
estudos em formulário Não
pré-definido
recuperados Busca
Análise e  Síntese dos dados:RR:

tabulação dos dados
Relevantes e caracterização inicial
IR: Irrelevantes
Recuperados Recuperados

SLR - Condução

Revisão
Identificar unicamente cada um dos estudos recuperados
observar validade
Dividir ainterna e validade
quantidade externa
de estudos selecionados aleatoriamente
entre os pesquisadores.
estudos emOformulário pré-definido
ideal é que ao menos dois pesquisadores leiam o texto
completo de cada estudo.
Interpretação dos estudosEstudos excluídos nesta fase devem ser guardados, juntamente
selecionados
com uma explicação do critério de exclusão

SLR - Condução

Revisão



SLR - Condução

Revisão
Considerar possibilidade de utilizar Snowballing
observar validade
Utilizar interna e referências
a lista de validade externa
de um paper (backward)
ou as citações para o paper (forward) para identificar
estudos adicionais.
C. Wohlin, "Guidelines for Snowballing in Systematic Literature
Análise e  Síntese dos dados:
Studies tabulação
and a Replication dos dados
in Software e caracterização
Engineering", 18th inicial
Interpretação dos estudosInternational
selecionadosConference on Evaluation and Assessment in Software
Engineering, ACM, 2014.

SLR - Condução

Revisão
dos critérios
Validade Interna: de inclusão exclusão.Validade
analisar problemas ParesExterna:
leem todos
avaliaros abstracts.
a extensão na
metodológicos na condução
Armazenar da
também qualselecionados
os estudos não os resultados do para
estudoconsulta
poderiam ser
futura
pesquisa replicados

 Extração
Registre as ameaças àde dados
validade e monitoramento:
do estudo, se documentar dados dos
estiveremestudos
disponíveis.
em formulário pré-definido


SLR - Condução

Revisão
 Seleção de estudos
Além dos dadosprimários: processo
necessários para iterativo
responder de aplicação
a pergunta de
dos critériospesquisa, registrar:
de inclusão pesquisador,
exclusão. Paresdata e hora
leem emos
todos queabstracts.
foram
Armazenar recuperados/analisados
também os estudos os estudos
não selecionados para consulta futura
Condução  AvaliaçãoEliminar múltiplas publicações do mesmo estudo

da qualidade do estudo: avaliação do tipo de estudo,


SLR - Condução

Revisão
Colocar todos os dados recuperados em tabelas
Condução  AvaliaçãoClassificar/agrupar/categorizar
da qualidade do estudo: ... avaliação do tipo de estudo,
observar validade interna
Determinar e validade dos
heterogeneidade externa
estudos
Realizar Meta-análise (quando aplicável)
 ExtraçãoDepende
de dados e monitoramento:
do foco/área de pesquisa ... documentar dados dos


SLR - Relatório
Protocolo de
Revisão
Explicitar as possíveis Ameaças à Validade (interna e externa) da RSL:

• Na pergunta de pesquisa
• Na seleção dos estudos
• Na análise e interpretação dos dados
Condução • Etc.
 Análise e Interpretação dos dados: analisar os dados e

interpretá-los à luz da(s) pergunta(s) de pesquisa
Análise e  Elaboração do relatório final: formatar os resultados obtidos de

Interpretação acordo com template estabelecido (TCC, Mestrado, Relatório Técnico
de Grupo de Pesquisa, formato de artigo de conferência)

RSL - Templates de Artefatos
 Protocolo de Revisão:
https://www.inf.ufsc.br/~jean.hauck/disciplinas/
SLR/GQS_Template_Protocolo_SLR_V01.docx
 Formulário de Coleta de Dados:
https://www.inf.ufsc.br/~jean.hauck/disciplinas/
SLR/GQS_Template_Formulario_Coleta_Dados_
SLR_V01.xlsx
 Esta Apresentação:
https://goo.gl/oAWp4i
Um final feliz ... ou não
[http://www.makebeliefscomix.com]
Contato
Jean Carlo R. Hauck

jean.hauck@ufsc.br
http://www.inf.ufsc.br/~jean.hauck/
http://br.linkedin.com/in/jeanhauck
Conteúdo desta Apresentação: https://goo.gl/oAWp4i

Licença conteúdo
Atribuição-Uso-Não-Comercial-Compartilhamento pela Licença 2.5 Brasil
Exceto os materiais/imagens explicitamente referenciados*, você pode:

- copiar, distribuir, exibir e executar a obra
- criar obras derivadas
Sob as seguintes condições:

Atribuição — Você deve dar crédito ao autor original, da forma especificada pelo autor ou
licenciante.
Uso Não-Comercial — Você não pode utilizar esta obra com finalidades comerciais.
Compartilhamento pela mesma Licença — Se você alterar, transformar, ou criar outra obra
com base nesta, você somente poderá distribuir a obra resultante sob uma licença idêntica a
esta.
Para ver uma cópia desta licença, visite http://creativecommons.org/licenses/by-nc-sa/2.5/br/

ou mande uma carta para Creative Commons, 171 Second Street, Suite 300, San Francisco,
California, 94105, USA.
* Os materiais explicitamente referenciados seguem as licenças estabelecidas nos originais.
46

GQS Revisao Sistematica Literatura JeanHauck 2018-1

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

GQS Revisao Sistematica Literatura JeanHauck 2018-1

Enviado por

Direitos autorais:

Formatos disponíveis

Introdução a Revisões

Jean Carlo R. Hauck, Dr.

o Jean Carlo R. Hauck

• Graduado em Ciência da Computação

o Professor e Pesquisador no INE – GQS/INCoD/UFSC

“Pesquisa científica, desenvolvimento e transferência

 Revisões Sistemáticas de Literatura

 Desenvolvendo e avaliando a solução

 Solução / Implementação / Estudo de Caso / etc.

Revisões Sistemáticas fornecem meios para

 KITCHENHAM, B. Guidelines for performing

 TRAVASSOS, G.; BIOLCHINI, J. Revisões

 Procedimento rigoroso para paradigma

 Fornecer a base para novas pesquisas

 Apoiar a geração de novas hipóteses

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

Mapeamento Sistemático x Revisão Sistemática

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

Mapeamento Sistemático x Revisão Sistemática

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Volume de estudos primários encontrados

 Estudos primários de baixa qualidade

 Síntese dos resultados trabalhosa

 Muitas vezes um Mapeamento Sistemático

• Seleção de estudos primários

• Análise e Interpretação dos dados

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

• Seleção de estudos primários

• Análise e Interpretação dos dados

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Critérios de qualidade: Como avaliar a qualidade dos estudos incluídos?

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Identificação das pesquisas relevantes: após as buscas

Condução  Avaliação da qualidade do estudo: avaliação do tipo de estudo,

Análise e  Síntese dos dados: tabulação dos dados e caracterização inicial

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

 Identificação das pesquisas relevantes: após as buscas

Condução  Avaliação da qualidade do estudo: avaliação do tipo de estudo,

Análise e  Síntese dos dados: tabulação dos dados e caracterização inicial

[TRAVASSOS, 2007; KEELE, 2007; KITCHENHAM, 2004]

Sensibilidade: Capacidade de Precisão: Capacidade de filtrar estudos

Análise e  Síntese dos dados:RR: