01/04/2015

Revisão Sistemática
Visão geral

Sandra Fabbri
sfabbri@dc.ufscar.br
&
Elis Hernandes

lapes.dc.ufscar.br
Laboratório de Pesquisa em 50
Engenharia de Software - 2009 /

Roteiro

Revisão Sistemática
– Conceitos

– Processo de Revisão Sistemática

– A ferramenta StArt (State of the Art though Systematic Review)

Protocolo de Revisão Sistemática

Com exemplos de Engenharia de Software (ES) e Orientação a Aspectos (OA)

Laboratório de Pesquisa em Engenharia de Software 2 / 36

1
 01/04/2015

Roteiro

Revisão Sistemática
– Conceitos

– Processo de Revisão Sistemática

– A ferramenta StArt (State of the Art though Systematic Review)

Protocolo de Revisão Sistemática

Com exemplos de Engenharia de Software (ES) e Orientação a Aspectos (OA)

Laboratório de Pesquisa em Engenharia de Software 3 / 36

Conceitos

Revisão Sistemática é um tipo de investigação científica

Por que fazer Revisão Sistemática?

► Geração de Evidências
RS ► Novas Áreas de Pesquisa

Estudos Primários Estudo Secundário

► Estudos de Caso Para um determinado tema de pesquisa:

► Surveys ► Avalia e interpreta toda pesquisa relevante
► Exp. Controlados ► Reúne dados e informações de diferentes estudos

Laboratório de Pesquisa em Engenharia de Software 4 / 36

2
 01/04/2015

Conceitos

Revisões Sistemáticas têm como objetivo

apresentar uma avaliação criteriosa a
respeito de um tópico de pesquisa, fazendo
uso de uma metodologia de revisão que

seja confiável, rigorosa e que permita

auditagem.
(Kitchenham, 2004)
Laboratório de Pesquisa em Engenharia de Software 5 / 36

Conceitos

Visam a produzir uma síntese que seja

completa (em relação ao critério
definido) e imparcial, seguindo um

processo bem definido.

(Pai et al., 2004)

Laboratório de Pesquisa em Engenharia de Software 6 / 36

3

Conceitos
Rev. Sistemática
►Abordagem sist. de rev. da lit.;
►Toda estratégia é pré-definida;
►Avaliação crítica dos estudos
(métodos pré-definidos);
►Toda estratégia é documentada;
►Analisa dados → Gera evidências;
►Sumariza resultados dos est. primários;
►Busca abrangente e exaustiva por est. pr.;
►Critérios de qualificação reproduzíveis e
claros para a seleção de estudos primários.
(Kitchenham, 2004)
Laboratório de Pesquisa em Engenharia de Software
Conceitos
Rev. Literatura
►Abordagem sist. de rev. da lit.;
►Toda estratégia é pré-definida;
►Avaliação crítica dos estudos
(métodos pré-definidos);
►Toda estratégia é documentada;
►Analisa dados → Gera evidências;
►Sumariza resultados dos est. primários;
►Busca abrangente e exaustiva por est. pr.;
►Critérios de qualificação reproduzíveis e
claros para a seleção de estudos primários.
(Kitchenham, 2004)
Laboratório de Pesquisa em Engenharia de Software
01/04/2015
Rev. Literatura
►Fundamentação teórica sobre um tema;
►Escrita dos artigos sobre um tema por
especialistas;
►Resumos qualitativos de evidências de um
dado tópico;
►Métodos de coleta e interpretação dos
estudos: informais e subjetivos;
►Tendência a citar seletivamente literatura
que reforça noções preconcebidas;
►Não descrevem a pesquisa, seleção e
avaliação da qualidade dos estudos.
(Pai et al., 2004)
7 / 36
Rev. Literatura
►Fundamentação teórica sobre um tema;
►Escrita dos artigos sobre um tema por
especialistas;
►Resumos qualitativos de evidências de um
dado tópico;
►Métodos de coleta e interpretação dos
estudos: informais e subjetivos;
►Tendência a citar seletivamente literatura
que reforça noções preconcebidas;
Como você seleciona
os estudos?
►Não descrevem a pesquisa, seleção e
avaliação da qualidade dos estudos.
Por que você excluiu esse?
(Pai et al., 2004)
8 / 36
4
 01/04/2015

Roteiro

Revisão Sistemática
– Conceitos

– Processo de Revisão Sistemática

Protocolo de Revisão Sistemática

Com exemplos de Engenharia de Software (ES) e Orientação a Aspectos (OA)

– A ferramenta StArt (State of the Art though Systematic Review)

Laboratório de Pesquisa em Engenharia de Software 9 / 36

O Processo de Revisão Sistemática

Conjunto de passos bem definidos e planejados de

acordo com um protocolo previamente estabelecido
(Biolchini et al., 2005).

Laboratório de Pesquisa em Engenharia de Software 10 / 36

5
 01/04/2015

O Processo de Revisão Sistemática

Planejamento da revisão

Identificação da necessidade de uma revisão

Desenvolvimento de um protocolo de revisão

Execução

Condução da revisão
• Identificação das fontes de busca relevantes
• Busca por estudos nas máquinas de busca

Seleção de estudos
• Seleção dos estudos
• Avaliação da qualidade dos estudos

Extração de informações
• Extração de informações dos estudos selecionados

Análise dos resultados

Síntese das informações coletadas dos estudos selecionados

Publicação dos resultados (RT e/ou artigos científicos)

Laboratório de Pesquisa em Engenharia de Software 11 / 36

Roteiro

Revisão Sistemática
– Conceitos

– Processo de Revisão Sistemática

– A ferramenta StArt (State of the Art though Systematic Review)

Protocolo de Revisão Sistemática

Com exemplos de Engenharia de Software (ES) e Orientação a Aspectos (OA)

Laboratório de Pesquisa em Engenharia de Software 12 / 36

6
 01/04/2015

A Ferramenta StArt

Laboratório de Pesquisa em Engenharia de Software 13 / 36

A Ferramenta StArt

1) Preencher protocolo
2) Definir as strings de busca em cada máquina de busca cadastrada no
protocolo (usando as palavras-chave do protocolo)
3) Executar as buscas e salvar o arquivo BibTex
4) Importar os arquivos BibTex na ferramenta e gravar a string usada
5) Ler os resumos e classificá-los (aceito, rejeitado, duplicado –
prioridade de leitura muito alta, alta, baixa e muito baixa)
6) Ler os arquivos selecionados por completo (nessa fase, ainda é
possível rejeitar os estudos)
7) Coletar as informações relevantes de cada estudo
8) Escrever um relato resumindo todos os estudos selecionados

Laboratório de Pesquisa em Engenharia de Software 14 / 36

7
 01/04/2015

Roteiro

Revisão Sistemática
– Conceitos

– Processo de Revisão Sistemática

– A ferramenta StArt (State of the Art though Systematic

Review)
Protocolo de Revisão Sistemática

Com exemplos de Engenharia de Software (ES) e Orientação a Aspectos (OA)

Laboratório de Pesquisa em Engenharia de Software 15 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Por que é necessário executar essa RS?
•Intervenção
•Controle
•População
Exemplo contexto de ES:
•Resultados
•Aplicação
•Avaliar o efeito da tecnologia;
•Palavras-chave e sinônimos
•Critério para definição de fonte de •Avaliar a frequência/razão de sucesso ou falha da
busca tecnologia;
•Idioma dos estudos
•Lista de fontes de busca •Identificar fatores de custo e risco associados com
uma tecnologia;
•Critérios de inclusão e exclusão dos
estudos
•Identificar o impacto de tecnologias nos modelos de
•Definição dos tipos de estudo confiabilidade, desempenho e custo;
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos •Análisar o custo-benefício de tecnologias de software
...
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 16 / 36

8
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Foco de interesse: o que se espera que
•Intervenção seja esclarecido/respondido com a RS
•Controle
•População
Exemplo (no contexto de ES):
•Resultados
•Aplicação
•Palavras-chave e sinônimos •Questão 1: Quais técnicas e critérios de teste de
•Critério para definição de fonte de software têm sido investigados para o teste de
busca
software OA?
•Idioma dos estudos
•Lista de fontes de busca
•Questão 2: Dentre as técnicas e critérios de teste
•Critérios de inclusão e exclusão dos
estudos investigados no contexto de teste de software OA,
•Definição dos tipos de estudo quais são específicas para esse tipo de software?
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 17 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Uma questão de pesquisa bem formulada
•Intervenção é composta por:
•Controle
•População Intervenção: o que será observado no
•Resultados
contexto da revisão sistemática;
•Aplicação
Controle: baseline ou conjunto de dados
•Palavras-chave e sinônimos
iniciais que os pesquisadores já possuem;
•Critério para definição de fonte de
busca
•Idioma dos estudos
População: grupo populacional que será
•Lista de fontes de busca
observado;
•Critérios de inclusão e exclusão dos
estudos Resultados: resultados esperados ao final da
•Definição dos tipos de estudo revisão sistemática
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
Aplicação: papéis, tipos de profissionais ou
áreas de aplicação que irão se beneficiar dos
•Extração de informação
resultados da revisão sistemática.
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 18 / 36

9
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal:
•Intervenção
•Controle
•População Exemplo contexto de ES:
•Resultados
•Aplicação Intervenção: Técnicas e critérios de teste de software
•Palavras-chave e sinônimos OA;
•Critério para definição de fonte de
Controle: (Poderia ser um artigo clássico da área, ou de
busca
um autor muito importante);
•Idioma dos estudos
•Lista de fontes de busca População: Projetos de desenvolvimento de software
•Critérios de inclusão e exclusão dos que envolvam utilização de recursos e tecnologias OA;
estudos
Resultados: Caracterização das técnicas e critérios de
•Definição dos tipos de estudo
teste de software aplicados em software OA;
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos Aplicação: Desenvolvedores e testadores de software
•Extração de informação OA;
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 19 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Palavras-chave que irão compor as strings
•Intervenção de busca e os sinônimos de cada uma
•Controle delas, quando houver.
•População
•Resultados Na StArt, as palavras-chave também
•Aplicação são usadas para calcular o score de cada
•Palavras-chave e sinônimos estudo.
•Critério para definição de fonte de
busca Exemplo no contexto de ES :
•Idioma dos estudos
•Lista de fontes de busca •Aspect-oriented:
•Critérios de inclusão e exclusão dos •aspect-oriented software,
estudos
•aspect-oriented application,
•Definição dos tipos de estudo
•Aspect-oriented app,
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•aspect-oriented program,
•Extração de informação •AOP...
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 20 / 36

10
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Características para avaliar o local onde
•Intervenção os estudos primários serão buscados.
•Controle
•População
Exemplo :
•Resultados
•Aplicação
•Cobertura: Avaliar o número de proceedings, journals,
•Palavras-chave e sinônimos livros indexados e o tipo de áreas abrangidas.
•Critério para definição de fonte de
busca •Atualização de conteúdo: as publicações indexadas
•Idioma dos estudos na base de dados devem ser atualizadas regularmente.
•Lista de fontes de busca
•Disponibilidade: O texto completo deve estar
•Critérios de inclusão e exclusão dos disponível
estudos
•Definição dos tipos de estudo •Versatilidade para exportação dos resultados: Com o
•Seleção inicial dos estudos grande volume de resultados retornados pelas bases, é
•Avaliação da qualidade dos estudos importante que os mesmos sejam exportados de forma
automatizada
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 21 / 36

O Protocolo da Revisão
•Objetivo Exemplo (cont) :
•Questão principal:
•Intervenção •Qualidade dos resultados: Precisão dos resultados
•Controle retornados pelas bases;
•População
•Usabilidade: A máquina de busca deve ser fácil de
•Resultados entender e operar, incluindo uma interface amigável,
•Aplicação ajuda ao usuário e interação com outras aplicações (por
•Palavras-chave e sinônimos exemplo, EndNote, ProCite, ..);
•Critério para definição de fonte de
busca • Buscas iniciais em bancos de dados eletrônicos
não é suficiente. Outras fontes devem ser consultadas,
•Idioma dos estudos mesmo que de maneira manual:
•Lista de fontes de busca
•Critérios de inclusão e exclusão dos •listas de referência de estudos primários;
estudos periódicos; relatórios técnicos; trabalhos em
•Definição dos tipos de estudo andamento; proceedings de conferências; registros
de pesquisas (contactar especialistas e
•Seleção inicial dos estudos pesquisadores que trabalham na área para obter
•Avaliação da qualidade dos estudos resultados não publicados); internet.
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 22 / 36

11
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Idioma que os estudos sevem estar
•Intervenção escritos.
•Controle
•População
Exemplo :
•Resultados
•Aplicação
•Palavras-chave e sinônimos • inglês e português.
•Critério para definição de fonte de
busca •Inglês por ser idioma internacionalmente aceita
•Idioma dos estudos para a redação de trabalhos científicos. Português
•Lista de fontes de busca
porque sua exclusão automaticamente excluiria
•Critérios de inclusão e exclusão dos
estudos trabalhos relevantes de autoria de pesquisadores
•Definição dos tipos de estudo brasileiros.
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 23 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Fontes de pesquisa para as quais serão
•Intervenção criadas sessões de busca (conjunto de estudos
•Controle
que satisfazem determinada string de busca)
•População
Exemplo no contexto de ES :
•Resultados
•Aplicação
•Palavras-chave e sinônimos •IEEE Xplore,
•Critério para definição de fonte de
busca •ACM
•Idioma dos estudos
•Lista de fontes de busca •SPRINGER
•Critérios de inclusão e exclusão dos
estudos •SCIRUS
•Definição dos tipos de estudo
•Seleção inicial dos estudos •SCOPUS (SciVerse)
•Avaliação da qualidade dos estudos
•Extração de informação •ENGINEERING VILLAGE ...
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 24 / 36

12
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Os critérios de Inclusão e Exclusão devem
•Intervenção ser baseados na questão de pesquisa.
•Controle
•População Evitar:
•Resultados
•Aplicação •Exclusões baseadas no idioma em que foi
•Palavras-chave e sinônimos escrito;
•Critério para definição de fonte de
busca
•Inclusões baseadas por conhecimento dos
•Idioma dos estudos
autores, instituições, periódicos ...
•Lista de fontes de busca
•Critérios de inclusão e exclusão dos
estudos
•Definição dos tipos de estudo
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 25 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal:
•Intervenção
•Controle
•População
Exemplo no contexto de ES :
•Resultados
•Aplicação
•Inclusão
•Palavras-chave e sinônimos
•Critério para definição de fonte de •Aplicação de técnica/critério de teste em software
busca OA (orientado a aspectos).
•Idioma dos estudos
•Lista de fontes de busca •Exclusão
•Critérios de inclusão e exclusão dos
estudos •Aplicação de técnica/critério de teste em software
•Definição dos tipos de estudo
desenvolvidos sob outros paradigmas (por exemplo,
procedimental ou orientado a objetos).
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 26 / 36

13
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Especificar os tipos de estudos que serão
•Intervenção considerados:
•Controle Qualitativo, Quantitativo, Estudos
•População Experimentais, Estudos de caso...
•Resultados
Exemplo :
•Aplicação
•Palavras-chave e sinônimos
•Todos os tipos de estudos que relatam o tópico de
•Critério para definição de fonte de
busca pesquisa serão selecionados.
•Idioma dos estudos
•Lista de fontes de busca
•Critérios de inclusão e exclusão dos
estudos
•Definição dos tipos de estudo
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 27 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Relatar a forma como será feita a
•Intervenção seleção inicial dos estudos.
•Controle Exemplo :
•População
•Resultados •Serão construídas strings de busca formadas pela
•Aplicação combinação das palavras-chave identificadas e seus
•Palavras-chave e sinônimos sinônimos . Essas strings serão submetidas às máquinas de
•Critério para definição de fonte de
busca selecionadas. Em seguida, será realizada a leitura
busca
dos resumos dos trabalhos recuperados por ambos os
•Idioma dos estudos
•Lista de fontes de busca revisores. Constatando-se a relevância de um trabalho, já
•Critérios de inclusão e exclusão dos destacada no resumo, e havendo um consenso entre os
estudos revisores, ele será pré-selecionado para ser lido na íntegra.
•Definição dos tipos de estudo
Ocorrendo falta de consenso, esse trabalho será colocado
•Seleção inicial dos estudos
em espera, e sua inclusão ou exclusão será definida em
•Avaliação da qualidade dos estudos
reuniões entre os revisores.
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 28 / 36

14
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Estratégia Sugerida por Dybå et al., 2007
•Intervenção
•Controle Identificar estudos relevantes, busca em bases
1 de dados eletrônicas e proceedings de conferências
•População
•Resultados
•Aplicação
2 Excluir os estudos com base no título
•Palavras-chave e sinônimos
•Critério para definição de fonte de
busca 3 Excluir os estudos com base no resumo
•Idioma dos estudos
•Lista de fontes de busca
Obter os estudos primários e avaliá-los
•Critérios de inclusão e exclusão dos 4 criticamente
estudos
•Definição dos tipos de estudo
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 29 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Auxiliam na seleção dos estudos primários e
•Intervenção na análise e síntese dos dados.
•Controle
•População
Exemplo no contexto de ES :
•Resultados
•Aplicação
•Há uma declaração clara dos objetivos da pesquisa?
•Palavras-chave e sinônimos
•Existe uma descrição do contexto em que a pesquisa foi
•Critério para definição de fonte de
realizada?
busca
•A documentação do processo de pesquisa foi
•Idioma dos estudos
adequada?
•Lista de fontes de busca
•Os resultados foram avaliados de forma imparcial?
•Critérios de inclusão e exclusão dos
estudos •Os resultados estão reportados de forma clara?
•Definição dos tipos de estudo •Existe uma ligação entre os dados, a interpretação e as
conclusões?
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos •Os resultados agregaram valor à área de pesquisa?
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 30 / 36

15
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal: Para cada trabalho selecionado, deve ser
•Intervenção preenchido um formulário de coleta de
•Controle informações. Na StArt, os campos desse
•População formulário devem ser cadastrados no
•Resultados protocolo.
•Aplicação
Exemplo no contexto de ES :
•Palavras-chave e sinônimos
•Critério para definição de fonte de •Tipo de estudo
busca
•qualitativo, quantitativo, estudo de caso, etc;
•Idioma dos estudos
•Lista de fontes de busca
•Contribuição

•Critérios de inclusão e exclusão dos •ferramenta, técnica, processo, etc.;

estudos •Domínio
•Definição dos tipos de estudo •Computação, genética, medicina, biologia, etc
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 31 / 36

O Protocolo da Revisão
•Objetivo
•Questão principal: Descrever a maneira como os dados
•Intervenção coletados serão sumarizados.
•Controle Exemplo :
•População
•Resultados •Estatístico
•Aplicação •Aplicação de métodos estatísticos (Metanálise);
•Palavras-chave e sinônimos •Tabelas
•Critério para definição de fonte de •Informações tabuladas de forma consistente com a
busca questão;
•Idioma dos estudos •Tabelas para destacar similaridades e diferenças
•Lista de fontes de busca entre os resultados.
•Critérios de inclusão e exclusão dos •Plotagem
estudos
•Apresentação dos resultados em gráficos, indicado
•Definição dos tipos de estudo para apresentação de grande quantidade de dados
•Seleção inicial dos estudos quantitativos.
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 32 / 36

16
 01/04/2015

O Protocolo da Revisão
•Objetivo
•Questão principal:
•Intervenção
•Controle Exemplo (cont.):
•População
•Resultados •Comentários finais
•Aplicação •comentários dos revisores sobre os resultados da
•Palavras-chave e sinônimos revisão sistemática, podendo incluir itens como:
•Critério para definição de fonte de •número de estudos selecionados;
busca •identificação de viéses;
•Idioma dos estudos •divergências entre revisores, com as resoluções
•Lista de fontes de busca de conflitos;
•Critérios de inclusão e exclusão dos •recomendações sobre a aplicação dos resultados
estudos da revisão.
•Definição dos tipos de estudo
•Seleção inicial dos estudos
•Avaliação da qualidade dos estudos
•Extração de informação
•Sumarização dos resultados
Laboratório de Pesquisa em Engenharia de Software 33 / 36

A ferramenta StArt

1) Preencher protocolo
2) Definir as strings de busca em cada máquina de busca cadastrada no
protocolo (usando as palavras-chave do protocolo)
3) Executar as buscas e salvar o arquivo BibTex
4) Importar os arquivos BibTex na ferramenta e gravar a string usada
5) Ler os resumos e classificá-los (aceito, rejeitado, duplicado –
prioridade de leitura muito alta, alta, baixa e muito baixa)
6) Ler os arquivos selecionados por completo (nessa fase, ainda é
possível rejeitar os estudos)
7) Coletar as informações relevantes de cada estudo
8) Escrever um relato resumindo todos os estudos selecionados

Laboratório de Pesquisa em Engenharia de Software 34 / 36

17
 01/04/2015

Referências
Biolchini, J.; Mian, P. G.; Natali, A. C. C.; Travassos, G. H. Systematic Review in Software Engineering. Technical report RT-
ES 679/05, PESC - COPPE/UFRJ, 2005.

Dieste, O.; Padua, O. Developing Search Strategies for Detecting Relevant Experiments for Systematic Reviews. First
International Symposium on Empirical Software Engineering and Measurement, ESEM 2007, p. 215-224, 2007.

Dieste, O., Grimán, A., Juristo, N. Developing search strategies for detecting relevant experiments. Empirical Software
Engineering, v. 14, n. 5, p. 513-539, 2009.

Dybå, T.; Dingsoyr, T.; Hanssen, G. K. Applying Systematic Reviews to Diverse Study Types: An Experience Report. First
International Symposium on Empirical Software Engineering and Measurement, ESEM 2007, p. 225-234, 2007.

Ferrari, F. C.; Maldonado, J.C. Teste de Software Orientado a Aspectos: Uma Revisão Sistemática. Relatório Técnico n. 291,
Instituto de Ciências Matemáticas e de Computação, 2007.

Kitchenham, B. A. Procedures for performing systematic reviews. Technical Report TR/SE-0401, Keele University and NICTA,
2004.

Kitchenham, B. A. Guidelines for performing Systematic Literature Reviews in Software Engineering. Joint Report, Keele
University and Durham University, 2007.

Pai, M.; McCulloch, M.; Gorman, J. D.; Pai, N.; Enanoria, W.; Kennedy, G.; Tharyan, P.; Colford Jr., J. M. Clinical Research
Methods - Systematic reviews and meta-analyses: An illustrated, step-by-step guide. The National Medical Journal of India,
v.17, n. 2, p. 86-94, 2004.

Felizardo, K.R. Minucurso sbre Revisão Sistemática. In Experimental Software Engineering Workshop. São Carlos. 2009.

Laboratório de Pesquisa em Engenharia de Software 35 / 36

Sandra Fabbri
sfabbri@dc.ufscar.br

lapes.dc.ufscar.br

Laboratório de Pesquisa em 50
Engenharia de Software - 2009 /

18