Tecnologia da Informação e Software 51 (2009) 7-15

listas de conteúdos disponíveis em ScienceDirect

Tecnologia da Informação e Software

Jornal homepage: www.elsevier. com / localizar / infsof

Sistemáticas revisões de literatura em engenharia de software - Uma revisão sistemática da literatura

Barbara Kitchenham uma,*, O. pérola Brereton uma, David Budgen b, Mark Turner uma, John Bailey b, Stephen Linkman uma
uma Grupo de Engenharia de Software, Escola de Ciência da Computação e Matemática da Universidade Keele, Keele Village, Keele, Staffs, ST5 5BG, UK
b Departamento de Ciência da Computação da Universidade de Durham, Durham, Reino Unido

articleinfo abstrato

Disponível on-line 12 de novembro de 2008 Fundo: Em 2004, o conceito de engenharia de software baseada em evidências (EBSE) foi introduzido na conferência ICSE04.

Palavras-chave: Objectivos: Este estudo avalia o impacto das revisões sistemática da literatura (SLR), que são o método EBSE recomendado para agregar
Revisão sistemática da literatura de engenharia de evidências.
software baseada em evidências estudo Terciário Método: Utilizou-se o método de revisão sistemática da literatura padrão empregando uma busca manual de 10 revistas e 4 anais de
conferências.
revisão sistemática de estimativa de custos
Resultados: De 20 estudos relevantes, oito abordadas as tendências de pesquisa em vez de avaliação técnica. Sete SLRs dirigida estimativa de
de qualidade
custos. A qualidade das SLRs era justo com apenas três marcando menos de 2 de 4.
conclusões: Atualmente, as áreas temáticas abrangidas pelo SLRs são limitadas. investigadores europeus, particularmente aqueles no
Laboratório Simula parecem ser os principais expoentes da revisões sistemáticas da literatura. A série de SLRs estimativa de custos
demonstrar o valor potencial da EBSE para sintetizar evidências e torná-lo disponível para os profissionais.

2008 Elsevier BV Todos os direitos reservados.

Conteúdo

1. Introdução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2. Método. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.1. Questões de pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2. processo de busca. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3. Os critérios de inclusão e exclusão. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4. avaliação da qualidade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.5. Coleção de dados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.6. Análise de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.7. Os desvios do protocolo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3. Resultados. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.1. Procurar Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2. Avaliação da qualidade das SLRs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3. fatores de qualidade. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4. Discussão. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.1. Quanto Atividade EBSE houve desde 2004? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.2. Que temas de pesquisa estão sendo tratados? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.3. Que está conduzindo a pesquisa EBSE ?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.4. Quais são as limitações da pesquisa atual? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.5. As limitações deste estudo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
5. Conclusões. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Reconhecimento. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Referências. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

* Autor correspondente. Tel .: +44 1622 820484; fax: +44 1622 820176.
Endereço de e-mail: barbara@kitchenham.me.uk (B. Kitchenham).

0950-5849 / $ - ver a matéria frente 2008 Elsevier BV Todos os direitos reservados. doi: 10.1016 /
j.infsof.2008.09.009
8 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15

1. Introdução [37,41,42,10,33,29,30,13] . Além disso, os conceitos de engenharia de software baseada em

No ICSE04, Kitchenham et al. [23] pesquisadores de engenharia de software sugeridas devem
adotar '' Evidence-based Software Engineering”(EBSE). EBSE visa aplicar uma abordagem baseada
em evidências para a pesquisa ea prática de engenharia de software. O papel ICSE foi
acompanhada por um artigo na IEEE Software [5] e um trabalho na Metrics05 [17] .
evidências havia sido discutido pelos grupos de investigação na Europa por algum tempo antes de
2004, como parte de alguns (sem sucesso) propostas da Comissão Europeia de Investigação. Assim,
embora nós não esperaria artigos publicados em 2004 ter sido diretamente influenciada pelos papéis
EBSE [23,5] ou as diretrizes para revisões sistemáticas [22] , Nós pensamos que era importante ter
uma idéia da extensão de abordagens sistemáticas para revisões de literatura antes as orientações
foram feitos geralmente disponíveis.

pesquisa e prática baseada em evidências foi desenvolvido inicialmente na medicina porque a

pesquisa indicou que a opinião de especialistas com base aconselhamento médico não era tão Para abordar RQ1, que identificou o número de SLRs publicados por ano, a revista /

confiável quanto conselhos com base na acumulação de resultados de experimentos cientí fi cos. conferências que os publicados e se ou não eles referenciados os papéis EBSE [23,5] ou papel

Desde então muitos domínios têm adotado essa abordagem, por exemplo, Criminologia, Política Orientações [22] . Com relação ao Q2, foi considerado o escopo do estudo (ou seja, se ele olhou

Social, Economia, Enfermagem etc. Com base em medicina baseada em evidências, o objetivo do para tendências de pesquisa, ou seja abordada uma questão de pesquisa centrada na tecnologia) e

baseada em evidências Engenharia de Software é:
'' Para fornecer os meios pelos quais melhor evidência atual da pesquisa podem ser integrados
com a experiência prática e os valores humanos no processo de tomada de decisões sobre o
desenvolvimento e manutenção de software” [5] . Neste contexto, evidência é definida como uma
síntese dos estudos científicos melhor qualidade em um fi c tópico ou pergunta pesquisa específica.
O principal método de síntese é um revisão sistemática da literatura ( SLR). Em contraste com uma
análise de peritos usando hoc selecção literatura anúncio, uma SLR é uma revisão
metodologicamente rigorosa dos resultados da investigação. O objectivo de uma SLR não é apenas
para agregar toda a evidência existente sobre uma questão de pesquisa; ele também se destina a
apoiar o desenvolvimento de diretrizes baseadas em evidências para os profissionais. O ponto final
da EBSE é para praticantes de usar as diretrizes para fornecer soluções de engenharia de software
apropriadas em um contexto fi c específica.
área de tópico da engenharia de software. Com relação à RQ3, consideramos pesquisadores
individuais, a organização para a qual os pesquisadores foram fi af liated e do país em que a
organização está situado.
Com relação às limitações de SLRs (RQ4) considerou-se uma série de questões:
RQ4.1. Foram os temas de pesquisa limitados? RQ4.2. Existe evidência de que o uso de SLRs é
limitada devido à falta
de estudos primários?
RQ4.3. É a qualidade das SLRs apropriado, se não, é ele melhorar? RQ4.4. São SLRs contribuindo
para a prática de de fi prática ning
diretrizes?

2.2. processo de pesquisa

O objetivo deste estudo é analisar o estado actual da EBSE desde 2004 através de um estudo
superior para rever os artigos relacionados a EBSE e, em particular, nós nos concentramos em O processo de pesquisa foi uma busca manual de procedimentos c conferência especi fi e

artigos que descrevem sistemáticas revisões de literatura (SLRs). Embora SLR não são sinónimos artigos em revistas desde 2004. As revistas e conferências selecionados são mostrados na tabela 1 .

com EBSE, a agregação dos resultados da investigação é uma parte importante do processo de As revistas foram selecionados porque eles eram conhecidos para incluir tanto estudos empíricos ou

EBSE e, além disso, é a parte do processo de EBSE que pode ser facilmente observado na literatura pesquisas de literatura, e foram usados ​como fontes para outras revisões sistemáticas de literatura

cientifica fi c. Descrevemos nossa metodologia na Seção 2 e apresentar os nossos resultados na relacionados à engenharia de software (por exemplo, [10 e 36] ).

Seção 3 . Na seção 4 nós responder às nossas 4 grandes questões de pesquisa. Nós apresentamos
nossas conclusões na Seção 5 .
2. Método
Este estudo foi realizado como uma revisão sistemática da literatura com base nas diretrizes
originais como proposto por Kitchenham
[22] . Neste caso, o objetivo da revisão é avaliar revisões sistemáticas da literatura (que são referidos
como estudos secundários), de modo que este estudo é classificado como uma revisão da literatura
terciária. As etapas do reviewmethod sistemática da literatura estão documentadas abaixo.
Cada revista e conferências processo foi revisto por um dos quatro pesquisadores diferentes (ie
Kitchenham, Brereton, Budgen e Linkman) e os papéis que abordaram estudos de literatura de
qualquer tipo foram identificados como potencialmente relevantes. Kitchenham coordenou a alocação
de pesquisadores para tarefas com base na disponibilidade de cada pesquisador e sua capacidade
de acessar as especificações revistas fi cos e actas de conferências. O pesquisador responsável
pela busca da especi fi c revista ou conferência aplicada a inclusão e exclusão critérios detalhados
para os documentos relevantes (ver Secção
2,3 ). Outro pesquisador verificado quaisquer documentos incluídos e excluídos nesta fase.

tabela 1
2.1. Questões de pesquisa
periódicos selecionados e actas de conferências.

As questões de pesquisa abordadas por este estudo são: Fonte Acrônimo

Tecnologia da Informação e Software IST

Q1. Quanta atividade SLR houve desde 2004? Q2. Que temas de pesquisa estão Journal of Systems and Software JSS

IEEE Transactions on Software Engineering TSE

sendo tratados? RQ3. Que está conduzindo a pesquisa SLR?
IEEE Software IEEE SW
Comunicações da ACM CACM
RQ4. Quais são as limitações da pesquisa atual? Surveys ACM Computer ACM Sur
ACM Transactions de Engenharia de Software Metodologias TOSEM
Prática e Experiência Software SPE
Com relação a Q1, pode ser uma preocupação que nós começamos nossa pesquisa no início de
Empirical Software Diário da Engenharia EMSE
2004. Nós reconhecemos que o termo '' revisão sistemática da literatura”não estava em uso comum
IEE Proceedings Software (agora IET Software) IET SW
no período de tempo durante o qual revisões de literatura publicadas em 2004 foram realizados . No Conferência Internacional processos de Engenharia de Software ICSE
entanto, houve exemplos tanto de rigores revisões de literatura e de estudos de meta-análise antes Proceedings Simpósio Internacional de Métricas de Software Métricas

de 2004 Simpósio Internacional Proceedings em Software Empírica ISESE

Engenharia
 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15
Além disso, entramos em contato com o professor Guilherme Travassos diretamente e Professor
Magne Jørgensen indiretamente, revendo as referências em sua página web. Fizemos isso porque
Professor Travassos havia relatado a um de nós que seu grupo de pesquisa estava tentando adotar
o processo de SLR e porque Professor Jørgensen era conhecido por ser o autor de um número
substancial de SLRs.
2.3. Os critérios de inclusão e exclusão
artigos revisados ​por especialistas sobre os seguintes temas, publicados entre 1 de janeiro de
2004 e 30 de junho de 2007, foram incluídos:
Revisões sistemáticas da literatura (SLRs) ou seja, levantamentos bibliográficos com de fi nidas
questões de investigação, processo de pesquisa, extração de dados e apresentação de dados,
mesmo os pesquisadores que se refere ao seu estudo como um sistemático revisão da literatura.
As meta-análises (MA).
Nota, incluímos artigos onde a revisão da literatura foi apenas um elemento dos artigos, bem
como artigos para o qual a revisão da literatura foi o objetivo principal do artigo.
Artigos sobre os seguintes tópicos foram excluídos
Informais levantamentos da literatura (não de fi nidas perguntas de pesquisa; nenhum processo
de busca de fi nido; não fi processo de extração de dados NED). Papéis que discutem os
procedimentos utilizados para EBSE ou reflex. Duplicar relatórios do mesmo estudo (quando
vários relatos de um estudo existem em diferentes revistas a versão mais completa do estudo foi
incluído na revisão).
2.4. avaliação da qualidade
Cada SLR foi avaliada por meio da Universidade York, Centro de comentários e Difusão (CDR)
Banco de dados de Resumos de Revisões de Efeitos (DARE) critérios [3] . Os critérios são baseados
em quatro de avaliação da qualidade perguntas (QA):
QA1. São critérios de inclusão e exclusão da revisão descrita
e apropriado?
QA2. É a pesquisa bibliográfica probabilidade de ter coberto todas as informações relevantes
estudos?
QA3. Será que os revisores avaliar a qualidade / validade do incluiu
estudos?
QA4. Foram os dados de base / estudos descritos adequadamente?
As perguntas foram classificados como segue:
QA1: Y (sim), os critérios de inclusão são explicitamente definido no estudo, P (em parte), os
critérios de inclusão são implícitos; N (NO), os critérios de inclusão são não definido e não pode
ser facilmente inferido. QA2: Y, os autores têm ou procurou 4 ou mais bibliotecas digitais e incluiu
estratégias de pesquisa adicionais ou identificado e referenciado todas as revistas que abordam
o tema de interesse; P, os autores têm procurado 3 ou 4 bibliotecas digitais sem estratégias de
busca extra, ou procurou um definida, mas conjunto de periódicos e anais de conferências
restrito; N, os autores têm pesquisar até 2 bibliotecas digitais ou um conjunto extremamente
restrito de revistas. QA3: Y, os autores têm critérios explicitamente definido de qualidade e
extraiu-los a partir de cada estudo primário; P, a questão de pesquisa envolve questões de
qualidade que são abordados pelo estudo;
QA4: Informações Y é apresentado sobre cada estudo; P apenas uma informação sumária sobre
estudos primários é apresentada; N os resultados dos estudos preliminares individuais não são
especificadas.
9
O procedimento de pontuação foi Y = 1, P = 0,5, N = 0, ou Desconhecida (isto é, a informação
não é especificada). Kitchenham coordenou o processo de extração de avaliação da qualidade.
Kitchenham avaliada a cada papel, e alocados 4 papéis para cada um dos outros autores deste
estudo para avaliar de forma independente. Quando houve uma discordância, discutimos as
questões, até que chegou a um acordo. Quando uma pergunta foi classificada como desconhecida
nós por e-mail os autores do documento e pediu-lhes para fornecer as informações relevantes e a
questão re-marcado de forma adequada.
2.5. Coleção de dados
Os dados extraídos de cada estudo foram os seguintes:
A fonte (revista ou conferência) e referência completa. Classi fi cação do Tipo de estudo (SLR,
Meta-Analysis MA); Scope (tendências de pesquisa ou fi c tecnologia questão de avaliação
específica). área de tópico principal.
O autor (s) e sua instituição e do país onde está situada.
Resumo do estudo, incluindo as principais questões de investigação e as respostas. questão de
pesquisa / issue. avaliação da qualidade.
Se o estudo referenciados os papéis EBSE [23,5] ou as Orientações SLR [22] .
Se o estudo proposto orientações baseadas praticante. Quantos estudos primários foram
utilizados no SLR.
Um pesquisador extraída a dados e outra marcada a extracção. O procedimento de ter um
extrator e um verificador não é consistente com as normas médicas resumidos nas orientações do
Kitchenham [22] , Mas é um procedimento que tinha encontrado útil na prática [2] . Kitchenham
coordenou a extração de dados e tarefas de verificação, que envolveu todos os autores deste
trabalho. Não aleatória, foi baseada na disponibilidade de tempo dos pesquisadores individuais.
Quando houve uma discordância, discutimos as questões, até que chegou a um acordo.
2.6. Análise de dados
Os dados foram tabulados para show:
O número de SLRs publicados por ano e sua fonte (endereçamento Q1).
Se o SLR referenciados os papéis EBSE ou as diretrizes SLR (endereçamento Q1).
O número de estudos em cada principais tendências de pesquisa categoria IE ou questões de
tecnologia (endereçamento Q2 e RQ4.1). Os tópicos estudados pelos SLRs eo seu âmbito
(endereçamento Q2 e RQ4.1).
Os fi liations af dos autores e suas instituições (endereçamento RQ3).
O número de estudos preliminares em cada SLR (endereçamento RQ4.2). O índice de qualidade
para cada SLR (endereçamento RQ4.3). Se as orientações orientada de médicos de clínica SLR
proposto (endereçamento RQ4.4).
2.7. Os desvios do protocolo
Como resultado de uma revisão anônima de uma versão anterior deste artigo, fizemos algumas
mudanças para o nosso protocolo experimental original (ver [24] um apêndice ):
Explicamos nossa concentração em SLRs como parte de EBSE.
 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15

? Nós estendemos a descrição das nossas questões de pesquisa. Pedimos aos autores de estudos Galin e Avrahami [8] e Kitchenham et al. [20] é uma versão de conferência Kitchenham et al. [21] . Os
para os quais as respostas a certas questões de qualidade eram desconhecidas para fornecer as dados extraídos de cada estudo são apresentados na Tabelas A2 e A3 (em Apêndice 1 ). Resumos
informações. Nós clari fi cado a ligação entre as questões de pesquisa e coleta de dados e dos estudos pode ser encontrada em [24] , Apêndice 3.
procedimentos de análise

3.2. Avaliação da qualidade das SLRs

3. Resultados
Foram avaliados os estudos de qualidade usando os critérios Dare (ver Secção 2.4 ). A

Esta secção resume os resultados do estudo. pontuação para cada estudo é mostrado na Tabela 3 . Os campos marcados com um asterisco na Tabela
3 foram originalmente marcadas como desconhecido e foram re-atribuído depois de comunicar com

3.1. Procurar Resultados os autores do estudo.

tabela A1 (em Apêndice 1 ) Mostra os resultados da pesquisa proce- A última coluna tabela 5 mostra o número de perguntas que os pesquisadores estavam de

dure. Embora identificados 19 artigos por este processo de pesquisa, um dos artigos [19] é uma acordo. Todas as divergências foram discutidas e resolvidas.

versão curta de um outro artigo [18] . Assim, identificaram 18 estudos únicas. Além disso,
encontramos mais dois outros estudos que tinham sido objecto de revisão por pares: um pedindo Os resultados da análise de qualidade mostram que todos os estudos marcou 1 ou mais na

pesquisadores sobre seu trabalho atual [1] eo outro por pesquisar o site do Laboratório de Pesquisa escala de ousar e apenas três estudos marcou menos de

Simula [14] . Outros estudos potencialmente relevantes que foram excluídas como resultado da 2. Dois estudos marcou 4 ( [15 e 21] ) E dois estudos teve 3,5 ( [14 e 40] ).

aplicação dos critérios de inclusão e exclusão detalhadas estão listados na tabela A2 em Apêndice 1 .
Um dos trabalhos excluídos posicionou-se como um papel EBSE mas não especificou como ele
aplicou os princípios EBSE [26] . 3.3. fatores de qualidade

Nós investigamos a relação entre o índice de qualidade de uma SLR e tanto a data em que o
artigo foi publicado, eo uso ou não das orientações para SLRs [22] . Os escores médios de qualidade
Dois estudos foram publicados em anais de conferências, bem como em revistas: Galin e para os estudos de cada ano é apresentada no tabela 4 . Note-se, para este anal-
Avrahami [7] é uma versão conferência de

mesa 2
Estudos de revisão sistemática.

ID Autor Encontro tipo de tópico área de tópico tipo de Refs. Incluir diretrizes Num.
artigo praticante estudos
primários

S1 Barcelos e Travassos [1] 2006 avaliação de métodos de avaliação de SLR orientação TR Não 54
tecnologia arquitetura de software
S2 Dyba et al. [4] 2006 tendências de pesquisa Poder em experimentos SE SLR orientação TR Não 103

S3 Galin e Avrahami [7,8] 2005 e avaliação de CMM MA Não Não 19

2006 tecnologia
S4 Glass et al. [9] 2004 tendências de pesquisa tendências comparativos em CS, SLR Não Não 1485
IS e SE
S5 Grimstad et al. [11] 2006 avaliação de Estimativa de custo SLR orientação TR sim 32
tecnologia
S6 Hannay et al. [12] 2007 tendências de pesquisa Teoria em experiências SE SLR orientação TR Não 103

S7 Jørgensen [15] 2004 avaliação de Estimativa de custo SLR Não sim 15

tecnologia
S8 Jørgensen [14] 2007 avaliação de Estimativa de custo SLR Não sim 16
tecnologia
S9 Jørgensen e Shepperd 2007 tendências de pesquisa Estimativa de custo SLR GuidelineTR Não 304
[16]
S10 Juristo et al. [18,19] 2004 e avaliação de O teste de unidade SLR papel EBSE Não 24
2006 tecnologia
S11 Kitchenham et al. [20,21] 2006 e avaliação de Estimativa de custo SLR orientação TR sim 10
2007 tecnologia
S12 Mair e Shepperd [27] 2005 avaliação de Estimativa de custo SLR Não Não 20
tecnologia
S13 Mendes [28] 2005 tendências de pesquisa pesquisa web SLR orientação TR Não 173

S14 Moløkken-Østvold et al. 2005 avaliação de Estimativa de custo SLR Não Não 6
[31] tecnologia
S15 Petersson et al. [32] 2004 avaliação de Captura e recaptura em SLR Não Não 29
tecnologia inspeções
S16 Ramesh et al. [34] 2004 tendências de pesquisa pesquisa de ciência da computação SLR Não Não 628
S17 Runeson et al. [35] 2006 avaliação de métodos de teste SLR papel EBSE Não uma 12
tecnologia
S18 Torchiano e Morisio [38] 2004 avaliação de desenvolvimento COTS SLR Não Não 21
tecnologia
S19 Sjøberg et al. [36] 2005 tendências de pesquisa experimentos SE SLR orientação TR Não 103

S20 Zannier et al. [40] 2006 tendências de pesquisa Estudos empíricos em ICSE SLR Não Não 63

uma Runeson et al. sugerir como os profissionais podem utilizar os seus resultados, mas não explicitamente diretrizes de fi ne. 10
 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15 11

Tabela 3 linhas [22] e duas referenciado o papel EBSE [5] . Assim, metade dos estudos posicionaram-se
Avaliação da qualidade das SLRs.
diretamente como relacionado a baseada em evidências Engenharia de Software.

Estude tipo de artigo QA1 QA2 QA3 QA4 Pontuação acordo avaliador
total inicial Com relação ao local onde SLRs são publicados, Software IEEE e IEEE TSE cada publicados 4

S1 SLR Y P N Y 2,5 4 estudos, JSS publicada 3 e IST publicada 2. Assim, parecia que as tentativas do IST para incentivar
S2 SLR Y P P P 2,5 4 a publicação de SLRs, não foi bem sucedida [6] . No entanto, um controlo suplementar de
S3 MA Y P* P P 2,5 4
publicações IST (em 17 de setembro de 2008, utilizando a cadeia de pesquisa sistemática e revisão) encontrado
S4 SLR Y P N P 2 4
sevenmore SLRs, enquanto pesquisas semelhantes de TSE e JSS não encontrou novas SLRs.
S5 SLR Y Y N Y 3 4
S6 SLR Y P N Y 2,5 4
S7 SLR Y Y* Y Y 4 4
S8 SLR Y Y P Y 3,5 4 Inicialmente, ficamos surpresos que Surveys ACM computador não incluem quaisquer estudos
S9 SLR Y Y N Y 3 4
de engenharia de software relevantes, embora a revista publicou uma revisão sistemática da
S10 SLR P N P P 1.5 4
literatura sobre o tema da educação [25] . Uma pesquisa automatizada de Surveys ACM computador
S11 SLR Y Y Y Y 4 4
S12 SLR Y P* N Y 2,5 4 usando a biblioteca digital da ACM em 20 de setembro de 2008, não encontrou inquéritos
S13 SLR Y N P P 2 4 relacionados com software que utilizaram o reviewmethodology sistemática. No entanto, a aparente
S14 SLR Y Y* N Y 3 4
falta de SLRs de software em Surveys ACM Computer pode ser porque, com um máximo de quatro
S15 SLR P Y N Y 2,5 3
edições por ano, a revista é susceptível de ter um signi fi cativa publicação lag.
S16 SLR P P N P 1.5 3
S17 SLR Y N N Y 2 2
S18 SLR Y N N N 1 4
S19 SLR Y P N P 2 3
S20 SLR Y Y Y P 3,5 3
4.2. Que temas de pesquisa estão sendo tratados?

Com relação ao tema dos artigos, oito foram relacionados para pesquisar as tendências em vez
de questões de pesquisa específicas. Em termos de área tópico da engenharia de software
tabela 4
abordadas pelos SLRs:
pontuações médias de qualidade para estudos por data de publicação.

ano 7 relacionadas com estimativa de custo de software (uma daquelas tendências de investigação

2004 2005 2006 2007 abrangidos), além disso, os quatro estudos que incluíram diretrizes baseadas em evidências todas

relacionadas ao custo de estimativa. 3 artigos relacionados aos experimentos de engenharia de software

Número de estudos 6 5 6 3
índice de qualidade média 2,08 2.4 2,92 3 (todas as tendências de pesquisa investigadas). 3 artigos relacionados com os métodos de ensaio.
desvio padrão de índice de qualidade 1.068 0,418 0,736 0,50

ysis foi utilizada a data de publicação primeiro para qualquer estudo duplicado. A Tabela 4 indica que
Na área de estimativa de custos, os investigadores estão a abordar questões especí fi c de
o número de estudos publicados por ano tem sido bastante estável. A pontuação média qualidade
investigação, incluindo:
parece estar a aumentar, a correlação de Spearman entre ano e pontuação foi de 0,51 ( p < 0,023)

As modelos de estimativas matemáticas mais preciso do que estimativas baseadas opinião de

especialistas?
Os escores médios de qualidade para os estudos que fizeram ou não fazem referência ao SLR
Não. [15] .
diretrizes são mostrados na tabela 5 . A análise de uma maneira de variância mostrou que o índice de
qualidade médio de estudos que referenciou as diretrizes SLR [22] em comparação com aqueles que
Qual é o nível de saturação de projetos de software e ele está mudando ao longo do tempo?
não o fez, não foi significante ( F = 0,37, p = 0,55). Assim, parece que a qualidade das SLRs está
melhorando, mas a melhoria não pode ser atribuída às orientações.
30% e imutável [31] .

São modelos de estimação baseados em regressão mais precisos do que modelos baseados em
analogia?
4. Discussão
Não. [27] .

Nesta seção, discutimos as respostas às nossas questões de pesquisa.

Se você usar uma base de dados de benchmarking para construir um modelo de estimativa para
uma empresa particular, se você não tem os dados de seu próprio país?

4.1. Quanto Atividade EBSE houve desde 2004?

Não, se você trabalha para uma pequena empresa fazendo aplicações de nicho

[21] .
No geral, nós identificados 20 estudos relevantes nas fontes que nós pesquisados, como
mostrado na mesa 2 . 19 estudos foram classificadas como reflex e um estudo foi classificada como
Faça pesquisadores usam termos de estimativa de custos de forma consistente e de forma adequada?
uma meta-análise [8] . Doze estudos abordaram questões de avaliação de tecnologia e 8 abordadas
as tendências de pesquisa. Descobrimos que 8 estudos referenciados guia- do Kitchenham
Sem eles confundem preços, estimativas e orçamentos [11] .

Quando você deve usar estimativas opinião de especialistas?

Quando você não tem um modelo calibrado, ou informação contextual importante não é
tabela 5
índice de qualidade média para estudos de acordo com a utilização de linhas de orientação.
incorporado em seu modelo [14] .

diretrizes SLR não faz referência as

referenciados diretrizes SLR
Os estudos de ensaio têm investigado:
Número de estudos 8 12
índice de qualidade média 2,69 2.46
Se o teste é melhor do que as inspeções.
12 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15

? Sim para documentos de projeto, nenhum para o código. [35] . é uma actividade de software que é relativamente facilmente estudado utilizando experiências uma
vez que as tarefas são relativamente pequeno e pode ser tratada isoladamente. Encontrámos esta
Diferentes métodos de captura e recaptura usados ​para prever os defeitos restantes após as particularmente curioso à luz de 29 experiências que compararam métodos de teste e re-teste de
inspecções. previsão de defeitos restantes após as inspecções [32] que é um elemento central muito menos da
A maioria dos estudos recomendam o modelo MH-JK. Apenas um dos 29 estudos foi um prática de engenharia de software de testes de unidade. Juristo et al. Estudo foi baseado em uma
estudo de aplicação [32] . pesquisa de apenas da ACM e bases de dados eletrônicas IEEE, então isso pode ser um exemplo de
área onde uma estratégia de busca mais ampla seria útil.
Os estudos empíricos em testes de unidade.

Os estudos empíricos em testes de unidade são mapeadas para uma estrutura e resumidos [18]
. Olhando para o número de estudos primários em cada SLR (RQ4.2), sem surpresa, os estudos
4.3. Que está conduzindo a pesquisa EBSE?
No geral, o conjunto de estudos são dominados por investigadores europeus que estiveram
envolvidos em 14 dos estudos, em especial, do Laboratório de Pesquisa Simula na Noruega, que
tem estado envolvido em 8 dos estudos. Os dois pesquisadores que contribuíram para mais de duas
SLRs, Jørgensen (5) e Sjøberg (3), são ambos fi af liated ao Laboratório de Pesquisa Simula.
Apenas quatro estudos tiveram autores norte-americanos.
O sucesso do Laboratório de Pesquisa Simula na aplicação dos princípios de EBSE e realizando
SLRs de alta qualidade é apoiado pela estratégia de construção de bases de dados de estudos
primários relacionados a áreas especificas tópico fi cos e usando esses bancos de dados para
abordar questões de investigação específicos. Um banco de dados de documentos de estimativa de
custos de mais de 70 revistas [16] tem sido a base de muitos dos estudos de estimativa de custos
detalhada de autoria ou co-autoria de Jørgensen eo banco de dados de 103 experimentos de
software [36] tem pesquisadores autorizados para avaliar uma série de tendências especí fi cos de
pesquisa em experimentação software.
de tendências de pesquisa foram baseados em um maior número de estudos primários (ou seja
63-1485) que os estudos de avaliação da tecnologia (ou seja, 6-54). Entretanto, os resultados
confirmam que alguns temas têm atraído estudos su fi ciente primários para permitir SLRs para
abordar questões de pesquisa detalhados, embora, por enquanto, apenas um número limitado de
tópicos são abordados.
Com relação à qualidade de SLRs (RQ4.3), os resultados da análise de qualidade mostram que
todos os estudos marcou 1 ou mais na escala de ousar e apenas três estudos marcou menos de 2.
No entanto, relativamente poucas SLRs avaliaram a qualidade de os estudos primários incluídos na
revisão. Isto é aceitável no contexto de estudos de tendências de pesquisa, mas é mais problemático
para os comentários que tentam avaliar as tecnologias.
Com relação à contribuição de SLRs à prática de engenharia de software (RQ4.4), dos 12 SLRs
que abordaram ques- pesquisa
tabela A1
Fontes procurou período de 2004-2007 (incluindo artigos até 30 Junho de 2007).

Ano 2004 2005 2006 2007 Total

IST (Total) 85 95 72 47 299

IST (relevante) 0 2 2 0 4
4.4. Quais são as limitações da pesquisa atual? IST (Selected) 0 0 2 0 2
JSS (Total) 139 122 124 43 428
JSS (relevante) 4 0 0 0 4
No que diz respeito ao facto dos temas de investigação abordados pela SLRs são um pouco
JSS (Selected) 3 0 0 0 3
limitadas (RQ4.1), um número relativamente grande de estudos relacionam a prática de pesquisa em
IEEE SW (Total) 51 52 48 24 175
vez de questões relativas às práticas de engenharia de software específicos e técnicas. Esta é IEEE SW (Relevante) 1 0 5 2 9
decepcionante uma vez que este tipo de estudo bene fi ts pesquisadores em vez de profissionais e IEEE SW (Selected) 1 0 3 0 4

engenharia de software baseada em evidências é para ser de benefício para os profissionais. No TSE (Total) 69 66 56 25 216
TSE (relevante) 2 1 0 3 7
entanto, três dos estudos de tendências de pesquisa abordou a qualidade dos estudos experimentais
TSE (Selected) 0 1 0 3 4
atuais e áreas ed identi fi para melhorar, e melhorou métodos empíricos pode ser esperado para
CACM (Total) 148 141 158 64 511
beneficiar os profissionais a longo prazo. Além disso, o estudo e Jørgensen Shepperd [16] , Embora MCCA (relevante) 1 0 0 0 1
classificados como um estudo tendências de investigação, é também um exemplo de um estudo de CACM (Selected) 1 0 0 0 1

mapeamento (isto é, um estudo que visa identificar e categorizar a pesquisa em uma área tópico ACM Sur (Total) 12 11 13 3 39
ACM Sur (relevante) 0 0 1 0 1
relativamente largo). A disponibilidade de estudos de mapeamento de alta qualidade tem o potencial
ACM Sur (Selected) 0 0 0 0 0
de mudar radicalmente a natureza da investigação em engenharia de software. estudos de TOSEM (Total) 10 12 12 6 40
mapeamento pode destacar as áreas onde há uma grande quantidade de pesquisa que iria TOSEM (relevante) 0 2 0 0 2

beneficiar de SLRs mais detalhados e áreas onde há pouca pesquisa que requerem mais TOSEM (Selected) 0 0 0 0 0
SPE (Total) 64 59 68 29 220
investigação teórica e empírica. Assim, em vez de todo pesquisador realizar sua própria investigação
SPE (Relevante) 0 0 0 0 0
a partir do zero, um estudo de mapeamento amplo fornece um ponto de partida comum para muitos
SPE (selecionado) 0 0 0 0 0
pesquisadores e muitas iniciativas de investigação. Em 17 de setembro, ICSE (Total) 58 58 36 64 216
CISP (relevante) 0 0 1 0 1
ICSE (Selected) 0 0 1 0 1
ISESE (Total) 26 50 56 n/D 132
ISESE (relevante) 0 2 1 n/D 3
ISESE (Selected) 0 2 0 n/D 2
IET SW (Total) 22 28 22 9 81

2008, o motor de busca SCOPUS encontrados já 23 citações deste artigo, dos quais apenas quatro TRI SW (relevante) 0 0 0 1 1
IET SW (Selected) 0 0 0 0 0
eram auto-citações. Isto sugere que a comunidade de pesquisa já reconheceu o valor de um bom
EMSE (Total) 14 19 20 12 61
estudo de mapeamento.
EMSE (relevante) 1 0 0 0 1
EMSE (Selected) 1 0 0 0 1
Para estudos que investigaram questões de tecnologia, a maioria tem sido na estimativa de Métricas (Total) 36 48 n/D n/D

custos fi eld. Do ciclo de vida da engenharia de software convencional, apenas a testar, com três Métricas (relevante) 1 0 n/D n/D 1
Métricas (Selected) 1 0 n/D n/D 1
estudos, foi abordada.
Total 734 761 685 326 2506
total relevante 10 7 10 6 33
Juristo et al. [18,19] encontrado apenas 24 estudos comparando as técnicas de teste de unidade.
total selecionado 7 3 6 3 19
Isto é extremamente surpreendente, dado que o teste de unidade
 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15 13

ções apenas quatro conselhos oferecidos aos profissionais. Este é um problema que tem de haver incluindo estudos que não foram muito sistemática, ao invés de omitir quaisquer estudos relevantes.
melhoria, desde Engenharia de Software Baseada em Evidências é destinado a impactar prática não Por exemplo, a revisão da literatura no estudo preliminar, que foi atribuído o menor índice de
apenas academia. qualidade [38] , Era apenas uma pequena parte do artigo.

4.5. As limitações deste estudo
Os procedimentos utilizados neste estudo se desviaram do conselho apresentado em 2004 as
orientações da Kitchenham [22] em várias formas:
A pesquisa foi organizada como um processo de busca manual de um fi c conjunto específico de
revistas e anais de congressos não um processo de consulta automatizada. Isto foi consistente
com as práticas de outros pesquisadores a olhar para as tendências de pesquisa em oposição a
avaliação da tecnologia de software.
O terceiro ponto significa que alguns dos dados que podem ser recolhidos errónea. Uma revisão
detalhada de uma das nossas próprias revisões sistemáticas da literatura sugeriu que o modo
extractor / verificador de trabalho pode levar a problemas de extração de dados e agregação quando
há um grande número de estudos primários ou os dados é complexo [39] . No entanto, neste estudo
superior, houve relativamente poucos estudos primários e os dados extraídos dos artigos
selecionados foram relativamente objetivo, então nós não esperamos muitos erros de extração de
dados. Os critérios de avaliação da qualidade provou os dados mais difíceis de extrair porque os
critérios DARE são um tanto subjetiva. No entanto critérios de qualidade foram avaliados
independentemente por dois investigadores, esperamos reduzir a probabilidade de resultados
errados.

Um único pesquisador selecionou os estudos candidatos, embora os estudos incluídos e

excluídos foram verificados por outro pesquisador.

Um único pesquisador extraiu os dados e um outro investigador verificou a extracção de dados,

tal como sugerido por Brereton et al. [2] . 5. Conclusões

O primeiro ponto acima implica que pode ter perdido alguns estudos relevantes e, portanto,
subestimar a extensão da investigação relacionada com a EBSE. Em particular, vamos ter perdido
artigos publicados em revistas e conferências nacionais. Também vamos ter perdido artigos em
conferências destinadas a temas de engenharia de software específicos que são mais propensos a
ter questões de pesquisa abordadas em vez de tendências de pesquisa. Assim, nossos resultados
devem ser fi quali ed como a aplicação apenas para revisões sistemáticas da literatura publicados
nas principais revistas internacionais de engenharia de software, e as grandes conferências gerais e
empíricos de engenharia de software.
Com relação ao segundo ponto, dado o nosso interesse em revisões sistemáticas da literatura,
que são susceptíveis de ter errado no lado de
Embora 10 dos estudos SLR nesta revisão citou um dos papéis EBSE [5] ou as Orientações
SLR [22] , O número de reflex permaneceu extremamente estável nas 3,5 anos incluídos neste
estudo. Além disso, tabela A2 (Vejo Apêndice 1 ) Também deixa claro que muitos pesquisadores
ainda preferem a realização de inquéritos informais literatura. No entanto, descobrimos que a
qualidade das SLRs está melhorando, o que sugere que os pesquisadores que estão interessados
​na abordagem EBSE estão se tornando mais competente na metodologia SLR.
A disseminação de tópicos abrangidos pelo SLRs atuais é bastante limitada. Além disso tópicos
software de fluxo de engenharia principais não estão bem representados. No entanto, mesmo se
essas áreas são inadequados para SLRs destinados a avaliações empíricas de tecnologia de
software, acreditamos

tabela A2
artigos candidatos não seleccionado.

Fonte autores Referência Ano Título Razão para rejeição

TSE T. dos homens e T. Tourwé 30 (2), pp 126-139 2004 Um levantamento de refatoração software revisão da literatura informal
TSE S. Balsamo, A. Di Marco, 30 (5), pp. 295-309 2004 de desempenho baseada em modelo revisão da literatura informal
P. Inverardi previsão no desenvolvimento de software
Software IET S. Mahmood, R. Lai e Kim YS 1 (2), pp 57-66 2007 Levantamento de desenvolvimento de software revisão da literatura informal
baseado em componentes

IEEE Software DC Gumm 23 (5) pp. 45-51 2006 dimensões de Distribuição em revisão da literatura referenciada, mas
desenvolvimento de software não descrito no artigo
IEEE Software M. Shaw e P Clements 23 (2) pp. 31-39 2006 A idade de ouro da arquitetura de revisão da literatura informal
software
IEEE Software M. Aberdour 24 (1), pp. 58-64 2007 Alcançar qualidade em aberto revisão da literatura informal
software de código
IEEE Software D. Damian 24 (2), pp. 21-27 2007 As partes interessadas em engenharia revisão da literatura informal
de requisitos globais: lições aprendidas
com a prática

JSS E. Folmer e J. Bosch 70, pp. 61-78 2004 Arquitetando para a usabilidade: um levantamento revisão da literatura informal
IST Hochstein e Lindvall 47, pp. 643-656 2005 Combate à degeneração arquitetônica: revisão da literatura informal
uma pesquisa

IST S. Mahmood, R. Lai, YS Kim, 47, pp. 693-707 2005 Um levantamento de sistema baseado em componentes revisão da literatura informal
JH Kim, SC Park, HS h garantia da qualidade e avaliação
TOSEM J. Estublier, D. Leblang, A. van der Hoek, pp. 383-430 2005 Impacto da investigação em engenharia de revisão da literatura informal
R. Conradi, G. Clemm, W. Tichy, software na prática de con fi guração de
D. Wiborg-Weber gestão de software

TOSEM Barbara G. Ryder, Mary Lou Soffa, Margaret pp. 431-477 2005 O impacto da investigação em pesquisa informal literatura. Há claros critérios de

Burnett engenharia de software em pesquisa, nenhum processo de extração de

linguagens de programação dados.

modernas
ACM Surv J. Ma e JV Nickerson 38 (3), pp. 1-24 2006 Hands-on, simulados e remotos Não é um assunto de engenharia de software

laboratórios: uma revisão da literatura

comparativa
ISESE Wagner S. 2006 Uma revisão da literatura da qualidade pesquisa da literatura informal embora os dados
economia de técnicas de detecção de quantitativos tabulados para diferentes técnicas de
defeito teste.
14 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15

seria possível, e extremamente valiosa, por pesquisadores líderes de engenharia de software para Na área de estimativa de custos tem havido uma série de revisões sistemáticas da literatura.
realizar estudos de mapeamento de seus domínios semelhantes ao proporcionado pelo estudo Esta acumulação de provas em uma área de tópico c fi speci está começando a demonstrar o valor
Jørgensen e Shepperd da engenharia de software baseada em evidências. Por exemplo, a evidência
[16] para a pesquisa de estimativa de custos.

Tabela A3
Autor af detalhes fi liation.

identidade autores Instituição País de instituição

S1 Barcelos Universidade Federal do Rio de Janeiro Brasil

Travassos Universidade Federal do Rio de Janeiro Brasil

S2 Dyba SINTEF & Simula Laboratory Noruega

Kampenes Laboratório Simula Noruega
Sjøberg Laboratório Simula Noruega

S3 Gavin Ruppin Centro Acadêmico Israel

Avrahami Engenharia Eletrônica Lipman Israel

S4 Vidro Tendências de computação EUA

Ramesh Kelley Business School, Universidade de Indiana EUA
Vessey Kelley Business School, Universidade de Indiana EUA

S5 Grimstad Research Laboratory Simula Noruega

Jørgensen Research Laboratory Simula Noruega
Moløkken-Østvold Research Laboratory Simula Noruega

S6 Hannay Research Laboratory Simula Noruega

Sjøberg Research Laboratory Simula Noruega
Dyba Laboratório SINTEF & Simula Research Noruega

S7 Jørgensen Research Laboratory Simula Noruega

S8 Jørgensen Research Laboratory Simula Noruega

S9 Jørgensen Research Laboratory Simula Noruega

Shepperd Brunel University Reino Unido

S10 Juristo Univsidad Politéncia de Madrid Espanha

Moreno Univsidad Politéncia de Madrid Espanha

Vegas Univsidad Politéncia de Madrid Espanha

S11 Kitchenham Universidade Keele & NICTA Reino Unido e Austrália

Mendes Universidade de Auckland Nova Zelândia

Travassos Universidade Federal do Rio de Janeiro Brasil

S12 Mair Brunel University Reino Unido

Shepperd Brunel University Reino Unido

S13 Mendes Universidade de Auckland Nova Zelândia

S14 Moløkken-Østvold Simula Laboratório de Pesquisa & Universidade de Oslo Noruega

Jørgensen Research Laboratory Simula Noruega
Tanilkan Universidade de Oslo Noruega
Gallis Simula Laboratório de Pesquisa & Universidade de Oslo Noruega
penhor Research Laboratory Simula Noruega
Hove Research Laboratory Simula Noruega

S15 Petersson Universidade de Lund Suécia

Thelin Universidade de Lund Suécia
Runeson Universidade de Lund Suécia
Wohlin Institute of Technology Bleking Suécia

S16 Ramesh Kelley School of Business, da Universidade de Indiana EUA

Vidro Tendências de computação EUA
Vessey Kelley School of Business, da Universidade de Indiana EUA

S17 Runeson Universidade de Lund Suécia

Andersson Universidade de Lund Suécia
Thelin Universidade de Lund Suécia
Andrews Universidade de Denver EUA
Berling Universidade de Lund Suécia

S18 Sjøberg Research Laboratory Simula Noruega

Hannay Research Laboratory Simula Noruega
Hansen Research Laboratory Simula Noruega
Kampenes Research Laboratory Simula Noruega
Karahasanovic' Research Laboratory Simula Noruega
Liborg BNP Paribas Noruega
Rakdal Unificado Consulting Noruega

S19 Torchiano Universidade Norueguesa de Ciência e Tecnologia Noruega

Morisio Politecnico de Torino Itália

S20 Zannier Universidade de Calgary Canadá

Melnik Universidade de Calgary Canadá
Maurer Universidade de Calgary Canadá
 B. Kitchenham et al. / Tecnologia da Informação e Software 51 (2009) 7-15
reunidos por meio das SLRs anulou existente '' conhecimento comum”sobre a e fi cácia de modelos
em comparação com a opinião de especialistas e do tamanho de atrasos nos projetos. Além disso
nesta área estamos começando a ver a publicação de orientações baseada em evidências destinado
aos profissionais, o que é uma meta fi c específico de engenharia de software baseada em
evidências.
Esta avaliação sugere que o Laboratório de Pesquisa Simula, a Noruega é actualmente a
instituição de engenharia de software líder em termos de SLRs empresa. O grupo de pesquisa tem
beneficiado do desenvolvimento de procedimentos de pesquisa extremamente eficazes para apoiar
os seus estudos secundários. Recomendamos outros grupos de pesquisa adotar procedimentos de
pesquisa semelhantes, permitindo que os resultados de suas próprias revisões de literatura para
construir em uma base de dados de artigos de investigação categorizados que está disponível para
iniciar programas de pesquisa e apresentar as referências necessárias para artigos de pesquisa.
Os resultados deste estudo sugerem que a saída de corrente de artigos EBSE é fortemente
apoiada por pesquisadores europeus. No entanto, se EBSE é ter um sério impacto sobre a pesquisa
ea prática de engenharia de software, é importante que os pesquisadores em outras áreas do mundo
tomar um interesse crescente em uma abordagem formal para revisões de literatura, particularmente,
os EUA, por causa de sua liderança em pesquisa de engenharia de software.
Este estudo apresenta um certo número de limitações; em particular, limitamo-nos a uma
pesquisa manual de revistas e conferências internacionais. Pretendemos estender este estudo
através da realização de uma pesquisa mais ampla automatizado para outras SLRs durante o
mesmo período de tempo. Isto tem o objectivo comum de estender a generalidade deste estudo e
investigação de uma série de questões associadas com revisões sistemáticas da literatura em
engenharia de software ou seja, se devemos usar os pesquisadores manuais ou automatizados, e se
pesquisas restritas fornecer resultados confiáveis. Nós também planejamos repetir este estudo no
final de 2009 para acompanhar o andamento das SLRs e engenharia de software baseada em
evidências.
Agradecimentos
Esta pesquisa foi financiada pela Engenharia e Ciências Físicas Research Council (EPSRC)
Projeto EBSE (EP / C51839X / 1). versões curtas, preliminares deste estudo foram apresentados no
workshop REBSE2 em ICSE07 ea Conferência EASE07 na Universidade de Keele.
Apêndice 1. As tabelas dos resultados da revisão sistemática.
Vejo Tabelas A1-A3 .
Referências
[1] RF Barcelos, GH Travassos, Avaliação abordagens para software de arquitetura
documentos: uma revisão sistemática, em: Ibero-American Workshop sobre
Engenharia de Requisitos e Ambientes de Software (idéias), La Plata, Argentina, 2006.
[2] OP Brereton, BA Kitchenham, D. Turner Budgen, M. Khalil, Lessons from
aplicação do processo de revisão sistemática da literatura dentro do domínio da engenharia de software, Jornal
de Sistemas e Software 80 (4) (2007) 571-583. [3] Centro de comentários e Difusão, Quais são os critérios para a
inclusão
de comentários sobre DARE? 2007. Disponível em <Http://www.york.ac.uk/inst/crd/ faq4.htm De 2007
(acessado em 24.07.07>).
[4] T. Dyba, VB Kampenes, DIK Sjøberg, Uma revisão sistemática de poder estatístico
em experimentos de engenharia de software, Tecnologia da Informação e Software 48 (8) (2006) 745-755.
[5] T. Dyba, BA Kitchenham, M. Jørgensen, engenharia de software Evidence-based
para os profissionais, IEEE Software 22 (1) (2005) 58-65.
[6] M. Dyer, M. Shepperd, C. Wohlin, Systematic Reviews em Evidence-Based
Tecnologia de Software e Engenharia de Software 47 (1) (2005) 1. [7] D. Galin, M. Avrahami, fazem programas
SQA trabalhar - CMM funciona. Uma meta-análise,
IEEE Conferência Internacional sobre Software - Ciência, Tecnologia e Engenharia (2005).
[8] D. Galin, M. Avrahami, são CMM investimentos do programa benéfico? Analisando
estudos anteriores, IEEE Software 23 (6) (2006) 81-87.
15
[9] RL vidro, V. Ramesh, I. Vessey, Uma análise da pesquisa em computação
disciplinas, CACM 47 (6) (2004) 89-94.
[10] RL Vidro, I. Vessey, V. Ramesh, Research em engenharia de software: uma análise
da tecnologia literatura, Informação e Software 44 (8) (2002) 491-506. [11] S. Grimstad, M. Jorgensen, K.
Molokken-Østvold, esforço Software estimativa
terminologia: a torre de Babel, Tecnologia da Informação e Software 48 (4) (2006) 302-310.
[12] JE Hannay, DIK Sjøberg, T. Dyba, Uma revisão sistemática da utilização em teoria
experimentos de engenharia de software, IEEE Transactions on SE 33 (2) (2007) 87-
107.
[13] W. Hayes, a síntese de Investigação em engenharia de software: o caso de meta-
análise, Proceedings 6ª Internacional Software Metrics Symposium, IEEE Computer Press, 1999. pp. 143-151.
[14] M. Jørgensen, Estimativa de esforço de trabalho de desenvolvimento de software: evidências sobre
modelos de julgamento e formais de especialistas, International Journal of Forecasting 3 (3) (2007) 449-462.
[15] M. Jørgensen, Uma revisão de estudos sobre a estimativa de especialistas de software
esforço de desenvolvimento, Jornal de Sistemas e Software 70 (1-2) (2004) 37-60. [16] M. Jørgensen, M.
Shepperd, uma revisão sistemática do custo de desenvolvimento de software
estudos de estimativa, IEEE Transactions on SE 33 (1) (2007) 33-53. [17] M. Jørgensen, T. Dyba, BA
Kitchenham, Ensino software baseado em evidências
engenharia para estudantes universitários, em: 11 IEEE International Software Metrics Symposium
(METRICS'05), 2005, p. 24. [18] N. Juristo, AM Moreno, S. Vegas, Revendo 25 anos de técnica de teste
experimentos, Empirical Software Diário da Engenharia (1-2) (2004) 7-44. [19] N. Juristo, AM Moreno, S.
Vegas, M. Solari, em busca do que nós
experimentalmente saber sobre testes de unidade, IEEE Software 23 (6) (2006) 72-80. [20] B. Kitchenham, E.
Mendes, GH Travassos, Uma revisão sistemática de cross
empresa vs. dentro da empresa de estudos de estimativa de custos, Proceedings of EASE06, BSC (2006) 89-98.
[21] B. Kitchenham, E. Mendes, GH Travassos, Uma revisão sistemática de vs transversal
estudos dentro da empresa estimativa de custos, IEEE Transactions on SE 33 (5) (2007) 316-329.
[22] BA Kitchenham, Procedimentos para a realização de Revisões Sistemáticas, Articulação
Relatório Técnico, Departamento de Ciência da Computação, Universidade de Keele (TR / SE-
0401) e National ICT Australia Ltd. (0400011T.1), 2004.
[23] BA Kitchenham, T. Dyba, M. Jørgensen, engenharia de software baseada em evidências,
In: Anais da 26ª Conferência Internacional de Engenharia de Software, (ICSE'04), IEEE Computer Society,
Washington DC, EUA, 2004, pp 273-281.. [24] B. Kitchenham, OP Brereton, D. Budgen, M. Turner, J. Bailey, S.
linkman, A
Revisão sistemática de literatura de Engenharia de Software baseada em evidências, Relatório Técnico EBSE,
EBSE-2007-03 de 2007.
[25] J. Ma, JV Nickerson, hands-on, simulados e laboratórios remotos: a
comparativa revisão da literatura, Surveys ACM 38 (3) (2006) 1-24. [26] S. Mahmood, R. La, YS Kim, uma
pesquisa de qualidade do sistema baseado em componentes
garantia e avaliação, IET Software 1 (2) (2005) 57-66. [27] C. Mair, M. Shepperd, A consistência de
comparações empíricas de regressão
e previsão de custos do projeto de software baseado na analogia, Simpósio Internacional sobre Empirical
Software Engineering (2005) 509-518. [28] E. Mendes, uma revisão sistemática da investigação em engenharia
Web, Internacional
Simpósio sobre Empirical Software Engineering (2005) 498-507. [29] J. Miller, posso resultados de
experimentos de engenharia de software com segurança
combinado ?, em: Proceedings 6ª Internacional Software Metrics Symposium, IEEE Computer Press, 1999, pp
152-158. [30] J. Miller, aplicação de procedimentos de meta-analítica para engenharia de software
experimentos, JSS 54 (1) (2000) 29-39.
[31] KJ Moløkken-Østvold, M. Jørgensen, SS Tanilkan, H. Gallis, CA Lien, SE
Hove, uma pesquisa sobre a estimativa de software na indústria norueguesa, Proceedings Software Metrics
Symposium (2004) 208-219. [32] H. Petersson, T. Thelin, P. Runeson, C. Wohlin, captura e recaptura em software
inspeções após 10 anos de pesquisa - teoria, avaliação e aplicação, Jornal de Sistemas e Software 72 (2004)
249-264. [33] LM Pickard, BA Kitchenham, P. Jones, Combinando os resultados empíricos
engenharia de software, Tecnologia da Informação e Software 40 (14) (1998) 811-821.
[34] V. Ramesh, RL Vidro, I. Vessey, Pesquisa em ciência da computação: um empírico
estudo, Jornal de Sistemas e Software 70 (1-2) (2004) 165-176. [35] P. Runeson, C. Andersson, T. Thelin, A.
Andrews, T. Berling, o que sabemos
sobre métodos de detecção de defeitos ?, Software IEEE 23 (3) (2006) 82-86. [36] DIK Sjøberg, JE Hannay, O.
Hansen, VB Kampenes, A. Karahasanovic, NK
Liborg, AC Rekdal, uma pesquisa de experimentos controlados em engenharia de software, IEEE Transactions
on SE 31 (9) (2005) 733-753. [37] WF Tichy, P. Lukowicz, L. Prechelt, EA Heinz, a avaliação experimental em
ciência da computação: um estudo quantitativo, Jornal de Sistemas e Software 28 (1) (1995) 9-18.
[38] M. Torchiano, M. Morisio, aspectos negligenciados de desenvolvimento baseado COTS,
IEEE Software 21 (2) (2004) 88-93.
[39] M. Turner, B. Kitchenham, D. Budgen, OP Brereton, Lições aprendidas compromisso
uma grande escala revisão sistemática da literatura, em: Proceedings of EASE'08, British Computer Society,
2008.
[40] C. Zannier, G. Melnik, F. Maurer, sobre o sucesso de estudos empíricos no
conferência internacional sobre engenharia de software, ICSE06 (2006) 341-350. [41] M. Zelkowitz, D.
Wallace, validação experimental em engenharia de software,
Tecnologia da Informação e Software 39 (1997) 735-743. [42] M. Zelkowitz, D. Wallace, modelos
experimentais para validar computador
tecnologia, IEEE Computer 31 (5) (1998) 23-31.