TCC Rubens Fernandes Rocha - Versão Final - 31-10-16

UNIVERSIDADE FEDERAL DO PAR
INSTITUTO DE CINCIAS EXATAS E NATURAIS

FACULDADE DE COMPUTAO
CURSO DE BACHARELADO EM CINCIA DA COMPUTAO
Rubens Fernandes Rocha
UM ESTUDO DE MAPEAMENTO SISTEMTICO DA LITERATURA PARA A COLETA

DE ATIVOS PARA MEDIO NO CONTEXTO DE PROJETO DE SOFTWARE
Belm
2016

Trabalho de Concluso de Curso apresentado

como requisito parcial para a obteno do ttulo de
Bacharel em Cincia da Computao pela
Universidade Federal do Par.
Orientador: Prof. Dr. Sandro Ronaldo Bezerra

Oliveira.
Coorientador: Thiago Sylas Antunes da Costa.
Belm
2016

Trabalho de Concluso de Curso apresentado

como requisito parcial para a obteno do ttulo
de Bacharel em Cincia da Computao pela
Universidade Federal do Par.
Orientador: Prof. Dr. Sandro Ronaldo Bezerra
Oliveira.
Coorientador: Thiago Sylas Antunes da Costa.
Aprovado em: ___/___/2016
Conceito: ______
Banca Examinadora:
__________________________________________________
Prof. Dr. Sandro Ronaldo Bezerra Oliveira
Faculdade de Computao Instituto de Cincias Exatas e Naturais UFPA Orientador
__________________________________________________
MSc. Thiago Sylas Antunes da Costa
Faculdade de Engenharia da Computao Instituto Tecnolgico UFPA Coorientador
__________________________________________________
Prof. Dra. Marcelle Pereira Mota
Faculdade de Computao Instituto de Cincias Exatas e Naturais UFPA Membro
__________________________________________________
Prof. Dra. Carla Alessandra Lima Reis
Faculdade de Computao Instituto de Cincias Exatas e Naturais UFPA Membro
Dedico este trabalho a Deus, s minhas

filhas Carissa e Raissa, luzes da minha vida. Na
tentativa de amenizar a ausncia destes dias e
noites de leitura e escrita, sem poder dar-lhes a
ateno ideal e necessria que, espero, um dia
no ressintam.
minha esposa Carla que muito resiliente
manteve
nosso
cotidiano
andando,
encorajando em todo momento de turbulncia.
me
Agradecimentos
Agradeo aos meus colegas de turma que me ajudaram quando eu precisei! Pessoas
que eu conheci, e que eu vou tentar no esquecer do que j fizeram por mim. Cito em particular
o, Andr Bahia, Marcelo Maia, Rafael Mesquita, Leonardo Sarraf, entre outros que podem ter
me fugido a memria. Estes me ajudaram de forma indispensvel em algum momento do curso,
ajuda essa que se eu no tivesse, provavelmente no conseguiria chegar nesse ponto no ano de
2016.
E por ultimo, e claro, no menos importante, agradeo ao meu coorientador Thiago
Sylas que teve participao vital na construo deste trabalho em todos os sentidos. E ao meu
orientador Sandro Bezerra pela ateno, motivao, preocupao e empenho (Obrigado por no
desistir de mim!).
Cada um teve participao fundamental no desenvolvimento deste trabalho, direta ou
indiretamente, e eu sou realmente muito grato.
RESUMO
No contexto de desenvolvimento de software, o processo de medio tem por

finalidade gerar informaes capazes de apoiar a tomada de deciso a fim de atingir os objetivos
da organizao. Este trabalho contribui com a rea de Engenharia de Software baseada em
Evidencias apresentando um Mapeamento Sistemtico da Literatura (MSL) para a coleta de
ativos para medio no contexto de desenvolvimento de software, como parte de uma Reviso
Sistemtica da Literatura (RSL). Uma RSL faz-se necessria diante do crescimento da rea de
qualidade de software nos ltimos anos, e este trabalho prope-se a apresentar por meio de um
Protocolo de Reviso Sistemtica os autores, as nacionalidades, tipos de publicao, etc.,
encontradas na literatura mundial sobre ativos para medio em projetos de software, propostas
em estudos publicados nos ltimos dez anos por estudiosos da rea. Sero apresentados
conceitos relacionados ao assunto, os resultados obtidos, que sero apresentados em formas de
quadros e grficos com informaes sobre os estudos obtidos atravs de fontes de pesquisa,
relacionados ativos para medio no contexto de projeto de software.
PALAVRAS-CHAVE: Medio e Anlise, Qualidade de Software, Reviso Sistemtica da

Literatura.
ABSTRACT
In the software development context, the measurement process is designed to

generate information to support the decision-making to achieve the organization's objectives.
This work contributes to Evidence-based Software Engineering area showing a Systematic
Literature Mapping (MSL) for the collection of assets about measurement in the software
development context, as part of a Systematic Literature Review (SLR). An SLR is necessary
before the growth of the software quality area in recent years, and this study aims to present
through a Systematic Review Protocol authors, nationalities, types of publication, etc., found in
the literature on assets for measurement in software projects proposed in studies published in the
last ten years by scholars in the field. The concepts related to the subject, the results of which
will be presented in form of tables and graphs with information on the studies obtained through
research sources related to assets for measurement in the context of software design will be
presented.
Keywords: Measurement and Analysis, Software Quality, Systematic Literature Review.
SUMRIO
1
INTRODUO .......................................................................................... 13
1.1
VISO GERAL ..................................................................................... 13
1.2
JUSTIFICATIVA................................................................................... 14
1.3
MOTIVAO ....................................................................................... 16
1.4
OBJETIVOS ......................................................................................... 16
1.5
METODOLOGIA .................................................................................. 17
1.6
ESTRUTURA DO TRABALHO ............................................................. 18
FUNDAMENTAO TERICA ............................................................... 19

2.1
MEDIO DE SOFTWARE .................................................................. 19
2.1.1 Seleo do Mtodo a ser usado para Medio de Software ................ 20

2.2
ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS ............. 22
2.3
REVISO SISTEMTICA DA LITERATURA ....................................... 23
2.3.1 Reviso Informal versus Reviso Sistemtica ................................... 24

2.3.2 Metodologia do Mapeamento Sistemtico ........................................ 26
2.4
TRABALHOS RELACIONADOS .......................................................... 30
2.5
CONSIDERAES FINAIS................................................................... 31
PLANEJAMENTO DA REVISO ............................................................. 33

3.1
PROTOCOLO DE REVISO ................................................................. 33
3.1.1 Objetivos da Reviso ....................................................................... 33
3.1.2 Questo de Pesquisa Principal ......................................................... 34

3.1.3 Estrutura da Questo de Pesquisa Principal..................................... 34
3.1.4 Questes de Pesquisa Secundrias ................................................... 35
3.1.5 Escopo da Pesquisa.......................................................................... 36
3.1.6 Seleo de Fontes............................................................................. 37
3.1.7 Mtodos de Busca Primria ............................................................. 38
3.1.8 Seleo dos Estudos Primrios ......................................................... 42
3.1.9 Avaliao dos Estudos Primrios ..................................................... 45
3.2
4
RESULTADOS E ANLISE DO MAPEAMENTO

SISTEMTICO ................................................................................... 52
4.1
CONDUO DO MAPEAMENTO ........................................................ 52
4.1.1 Busca Primria ............................................................................... 52

4.1.2 Seleo de Estudos Primrios .......................................................... 54
4.2
5
CONCLUSES .......................................................................................... 67
5.1
VISO GERAL ..................................................................................... 67
5.2
RESULTADOS OBTIDOS ..................................................................... 68
5.3
PONTOS FORTES E OPORTUNIDADES DE MELHORIA ..................... 68
5.4
TRABALHOS FUTUROS ...................................................................... 69
5.4.1 Evoluo da Reviso Sistemtica ..................................................... 69

5.4.2 Aplicao Prtica do Catlogo ......................................................... 69
5.4.3 Expanso do Catlogo ..................................................................... 70
REFERNCIAS ................................................................................................ 71
APNDICE A PROTOCOLO DE REVISO ................................................. 73
APNDICE B ESTUDOS PRIMRIOS ......................................................... 91
APNDICE C ESTUDOS EXCLUDOS ........................................................ 96
LISTA DE FIGURAS
Figura 1 Paradigma GQM .......................................................................................... 21

Figura 2 Nmero de Estudos retornados a partir da Busca Primria ......................... 53
Figura 3 Percentual de estudos retornados a partir da Busca Primria ..................... 53
Figura 4 Nmero de Estudos ao Longo dos Anos ...................................................... 56
Figura 5 Nmero de Estudos por Pas ....................................................................... 60
Figura 6 Trabalhos por Tipo de Publicao ................................................................ 61
Figura 7 Avaliao dos Estudos: Acadmico ou Voltados a Indstria ........................ 63
Figura 8 Ativos de Medio ........................................................................................ 63
Figura 9 Percentual de Estudos por Categoria de Qualidade .................................... 65
LISTA DE QUADROS
Quadro 1 Seleo de Fontes de Pesquisa ................................................................. 37
Quadro 2 Escala de Likert-5 ....................................................................................... 48
Quadro 3 Escala para cada Critrio de Qualidade ..................................................... 48
Quadro 4 Nveis de Qualidade ................................................................................... 50
Quadro 5 Meios que mais Publicaram Estudos .......................................................... 61
Quadro 6 Ativos de medio por estudo .................................................................... 64
LISTA DE TABELAS
Tabela 1 Seleo de Estudos Primrios .................................................................... 55
Tabela 2 Nmero de Estudos por Autor ..................................................................... 57
Tabela 3 Nmero de Estudos por Instituio.............................................................. 59
INTRODUO
Este captulo apresenta a introduo deste trabalho. Est dividido nas seguintes sees:
viso geral, justificativa, motivao, metodologia, objetivos de trabalho e sua estrutura.
1.1
VISO GERAL
O sucesso de uma organizao determinado, principalmente, pelo servio ou produto

apresentado. A qualidade ento um grau de variao, que pode ser analisada durante o processo
de desenvolvimento e produo. Em organizaes de TI (Tecnologia da Informao)
necessrio que se use dados para determinar boas prticas, melhorar modelos de processos,
analisar tendncias e melhorar estimativas, estabelecendo um conhecimento sobre a organizao
e assim melhorando a qualidade do servio ou produto fornecido (BARCELLOS, 2009).
Alcanar um determinado grau de qualidade para poder competir no mercado uma
tarefa rdua e preciso que se mantenha o controle. Por isso a medio faz-se importante nesse
contexto, pois de acordo com Tom Demarco (1982) No se pode controlar o que no se pode
medir. E para que se possa manter o controle do que se est fazendo, assim como predizer o
comportamento futuro dos produtos e processos de software, necessria utilizao de um
processo de medio (SOFTEX, 2013), uma vez que No se pode predizer o que no se pode
medir (FENTON e PFLEEGER, 1997).
Neste contexto, as organizaes so movidas por objetivos, os quais so estabelecidos e
tidos como alvos a serem alcanados. Para isso, decises precisam ser tomadas, entretanto por
vezes so vrias as opes e deve-se saber qual dentre essas a melhor. O processo de medio
ajuda a atingir os objetivos das organizaes gerando informaes necessrias para dar suporte
tomada de deciso (ROCHA et al., 2012).
No entanto, um grande problema que afeta diretamente no tempo e consequentemente no
custo financeiro est em como executar o processo de medio, pois muitas organizaes
precisam verificar e elaborar todas as necessidades de informao, de acordo com seus objetivos
13
de medio, assim como as medidas para executar o processo de medio e os indicadores, se

fizer parte da metodologia aplicada. Desta forma, se j existisse um catlogo com esses itens j
elaborados no qual as empresas simplesmente coletassem as informaes tornaria o processo
muito mais rpido, alm de se estar trabalhando com medidas corretas e validadas, tanto por uma
pesquisa de mbito terico, a partir de uma reviso sistemtica da literatura, quanto de mbito
prtico, a partir da anlise de um especialista com uma vasta experincia em processos de
medio.
Paralelamente, diversos modelos e guias de boas prticas para processos de software,
como o MR-MPS-SW Modelo de Referncia do MPS para Software (SOFTEX, 2016), a
ISO/IEC 12207 (ABNT, 2009) e o CMMI-DEV Capability Maturity Model Integration for
Development (SEI, 2010), possuem referncia implementao da rea de medio, embasando
a importncia deste processo. Cada modelo possui um conjunto de metas a serem alcanadas
neste processo e sugestes de como implement-lo. Entretanto, organizaes consideradas de
micro e pequeno porte muitas vezes no possuem recursos suficientes para implementar um
processo e avali-lo (SOFTEX, 2016).
Assim, realizar uma pesquisa que tenha como foco descobrir quais os ativos de medio
(objetivos de medio, necessidades de informao, indicadores e medidas) indicados na
literatura so utilizados para implementar o processo de medio, pode ser de grande valia para
pesquisas futuras, j que pode trazer como resultados: onde os principais autores da rea esto
concentrando seus esforos; quais os objetivos de medio, necessidades de informao,
indicadores e medidas so mais utilizados na implementao do processo de medio de
software; quais padres e metodologias auxiliam em seu desenvolvimento e diversas outras
informaes a respeito do tpico de busca.
1.2
JUSTIFICATIVA
Com o objetivo de aplicar tcnicas de um Mapeamento Sistemtico da Literatura (MSL)

e, assim, fazer uma anlise crtica da literatura, no que diz respeito coleta de ativos para
medio no contexto de desenvolvimento de software, notou-se necessrio realizar uma Reviso
14
Sistemtica da Literatura (RSL), para descobrir abordagens (catlogo com os objetivos de

medio, necessidades de informao, indicadores e medidas mais utilizadas) que pudessem
auxiliar no processo de desenvolvimento de software .
Vale ressaltar que este trabalho foi desenvolvido como uma das etapas de uma
dissertao de mestrado (Mapeamento de estudos), no contexto do projeto SPIDER, acrnimo
para Software Process Improvement: DEvelopment and Research (Oliveira, 2009).
A dissertao citada tem como um de seus objetivos propor um catlogo de ativos de
medio, apresentando os objetivos de medio, necessidades de informao, indicadores e
medidas mais utilizados no processo de medio de software no contexto de desenvolvimento de
software. Em vista disso, com o objetivo de validar por meio de evidncias cientificas, verificouse necessria a aplicao de um estudo baseado em uma Reviso Sistemtica da Literatura para
ativos para medio no contexto de projeto de software. O escopo deste trabalho no contempla
todas as etapas da Reviso Sistemtica da Literatura que foi realizada, j que, neste trabalho ser
apenas apresentado a Reviso Sistemtica da Literatura at a etapa mapeamento de estudos.
Assim, tem-se como principal resultado a caracterizao dos estudos relacionados a ativos para
medio no contexto de projeto de software disponvel na literatura.
Este trabalho justificado pelo fato de que a Medio de Software de grande
importncia para organizaes desenvolvedoras/mantenedoras de software e est presente em
modelos de maturidade de processo de software, como o MPS.BR e o CMMI. Alm do que,
ainda existem diversos desafios quanto a este tema, como por exemplo, a catalogao das NIIM
(Necessidades de Informao, Indicadores e Medidas) em um nico banco de conhecimento que
as disponibilize e sugira em qual contexto as mesmas melhor se aplicam, bem como um software
eficiente que possa auxiliar o processo de medio. Alm disso, os resultados de uma Reviso
Sistemtica da Literatura para a coleta de ativos para medio no contexto de desenvolvimento
de software podero contribuir tanto para o meio acadmico quanto para o industrial, uma vez
que o catlogo e a ferramenta sero disponibilizados gratuitamente, os mesmos podero ser
usados em diferentes ambientes e para diferentes fins, seja para apresentao e aprendizado sobre
o processo de medio no meio acadmico ou para auxiliar uma empresa no processo de
medio de seus softwares em casos de desenvolvimento prtico.
15
Kitchenham (2007) afirma, tambm, que os resultados de uma Reviso Sistemtica

ajudam a identificar alguma lacuna na pesquisa atual para sugerir reas para investigaes
futuras, examinar o quanto evidncias experimentais apoiam ou contradizem hipteses tericas, e
apoiar a gerao de novas hipteses. Desta forma, este trabalho tem como objetivo encontrar na
literatura disponvel, atravs de um mtodo confivel, estudos que contenham abordagens de
ativos para medio no contexto de projeto de software, afim de descobrir como este assunto tem
sido abordado nos ltimos dez anos na literatura especializada.
1.3
MOTIVAO
Um grande empecilho na rea de medio de software o momento da definio das

necessidades de informao, assim como no momento de definir indicadores e medidas. A
inexistncia de um banco de conhecimento a respeito das necessidades de informao,
indicadores e medidas mais utilizadas em projetos de software uma forte motivao para a
realizao deste trabalho. Nesse contexto, a Engenharia de Software Baseada em Evidncias
busca evidncias na literatura para apoiar uma hiptese ou responder a questes de pesquisa, o
que pode ser realizado por meio, principalmente, de Revises Sistemticas da literatura.
Alm disso, a Medio de Software tem sido um aspecto constantemente presente nos
Programas de Melhoria da Qualidade do Processo de Software. Tem o seu papel destacado no
CMMI-DEV e no programa MPS.BR. Em ambos os casos, quanto mais madura a instituio,
maior o escopo do processo de medio de software.
1.4
OBJETIVOS
O objetivo geral deste trabalho foi realizar um mapeamento sistemtico da literatura

sobre ativos para medio no contexto de projeto de software.
Como objetivos especficos relacionados a este, tem-se:
16
Definir previamente especificaes, tais como, restries de pesquisas, critrios de

incluso e excluso de estudos primrios, critrios de qualidade para esses estudos, dentre
outras, que nortearo a realizao do Mapeamento Sistemtico da literatura;
Conduzir o Mapeamento Sistemtico da Literatura seguindo as especificaes

estabelecidas previamente;
Analisar os resultados do mapeamento por meio da caracterizao os estudos

selecionados, com base em dados estatsticos.
1.5
METODOLOGIA
O mtodo utilizado na pesquisa foi o mtodo dedutivo, pois partiu-se de princpios gerais
sobre ativos para medio no contexto de projeto de software para serem aplicados a casos
especficos.
A pesquisa realizada neste trabalho foi feita por meio da coleta, anlise e extrao de
informaes em estudos presentes na literatura sobre ao assunto. E como os critrios de anlise
foram estabelecidos antes do incio da coleta, e mantidos at o fim, pode-se considerar esta uma
pesquisa focada e organizada, podendo esta pesquisa servir como base para pesquisas futuras
sobre ativos para medio no contexto de projeto de software.
considerada quanto a seus objetivos como descritiva por procurar descobrir, com a
preciso possvel, informaes referentes s publicaes na rea de ativos para medio,
disponveis na literatura mundial.
Quanto tcnica, este trabalho fez a opo pelo Mapeamento Sistemtico da literatura.
Esta opo justifica-se porque o mtodo escolhido permite verificar na literatura, de uma forma
confivel, criteriosa e rigorosa, a produo cientfica, num intervalo de tempo predefinido, sobre
ativos para medio.
A pesquisa utilizou-se de 06 (seis) fontes de dados internacionais e 02 (duas) fontes de
dados nacionais, previamente escolhidas e expostas no protocolo de reviso que ser apresentado
17
no Captulo 3. A pesquisa nas fontes escolhidas foi por meio de strings de busca, que foram
utilizadas para chegar aos estudos desejados em todas as fontes.
Os estudos retornados passaram por uma seleo, por meio de critrios de incluso e
excluso seguindo todas as definies e restries estabelecidas em um protocolo pr-definido.
1.6
ESTRUTURA DO TRABALHO
Este trabalho est organizado em cinco captulos, da seguinte forma:
CAPTULO 1 descreve a motivao, problema de pesquisa, objetivos, metodologia da

pesquisa, bem como a justificativa e organizao do trabalho;
CAPTULO 2 apresenta a fundamentao terica do trabalho, no que diz respeito

Reviso Sistemtica da Literatura;
CAPTULO 3 apresenta o planejamento da reviso;
CAPTULO 4 apresenta a principal contribuio desse trabalho, a execuo da reviso

e seus resultados;
CAPTULO 5 apresenta as concluses do trabalho e trabalhos futuros.
18
2.1
FUNDAMENTAO TERICA
MEDIO DE SOFTWARE
Para que uma organizao possa atingir um determinado objetivo, a mesma precisa tomar
decises que contribuam para o alcance desse objetivo, porm para que essas decises sejam as
mais assertivas possveis em relao ao objetivo determinado preciso conhecer e usufruir de
informaes que possam servir de subsdio para que dvidas sejam sanadas e opes de soluo
surjam e, desta forma, seguir uma linha de raciocnio com uma probabilidade maior de acerto em
relao deciso tomada (COSTA, 2015).
No contexto de desenvolvimento de software, o processo de medio tem por finalidade
gerar informaes capazes de apoiar a tomada de deciso a fim de atingir os objetivos da
organizao e por esse motivo o processo de medio deve estar sempre alinhado aos objetivos
estratgicos da organizao para que se obtenham os resultados desejados.
O processo de medio possui grande importncia no que tange ao planejamento
estratgico de uma organizao. Por exemplo, se a organizao deseja aumentar a produtividade
de um determinado setor da empresa, deve-se buscar saber qual a produtividade atual, quanto de
retrabalho est sendo realizado, o que mais afeta para que se tenha retrabalho, dentre outras
informaes relevantes e, dessa forma, conhecendo o que est afetando o ndice atual de
retrabalho pode-se tomar decises para que isso seja minimizado. A estratgia adotada ser
estabelecida a partir dos resultados do processo de medio, por exemplo, se a equipe no
apresentar um alto ndice de retrabalho, mas se for o caso de algum trabalho estar despendendo
muito tempo por conta da metodologia aplicada, a medida a ser tomada nesse caso pode ser
desenvolver um novo mtodo mais gil para o mesmo fim. Vale mencionar que, sendo a medio
um processo complexo, a mesma deve ser planejada e seus resultados analisados por um
profissional que entenda de fato do processo, mesmo porque as medidas resultantes do processo
para anlise so dados quantitativos, ou seja, s ser obtido como resposta nmeros, e
geralmente grficos so usados para melhorar a interpretao dessas medidas (COSTA, 2015).
O processo de medio deve estar sempre de acordo com os objetivos estratgicos e
19
organizacionais da empresa, uma vez que esse o grande diferencial das organizaes que de
fato sabem utilizar o processo de medio das outras que simplesmente acumulam dados inteis,
pois em consonncia com os objetivos da organizao sabe-se o porqu de se estar utilizando os
indicadores e as medidas escolhidas.
O processo de medio para poder ser bem executado precisa anteriormente ser bem
elaborado e planejado e para auxiliar nisso um conjunto de passos foram elaborados, os quais
podem ser encontrados tanto na literatura quanto nos guias dos modelos de processos, tais como
nos guias do MPS.BR e do CMMI. As subsees a seguir mostram um seguimento no raciocnio
de como elaborar o processo de medio, assim como os pontos que o formam (COSTA, 2015).
2.1.1 Seleo do Mtodo a ser usado para Medio de Software
Durante o processo de medio importante que se use um mtodo de medio para

poder ajudar na organizao e na prtica do como fazer a medio de software. Dentre os
mtodos mais utilizados est o GQM (Goal Question Metric) (BASILI et al., 1994), onde so
definidos os objetivos organizacionais e os objetivos de projeto da organizao e a mesma deve
ter bem claro quais metas deseja atingir. A partir desses objetivos so estipuladas questes que
possam ajudar para que de posse das respostas dessas questes uma anlise possa ser feita e
assim conseguir apoiar a tomada de deciso com base em dados, para atingir aos objetivos
anteriormente planejados.
Para responder as questes ou necessidades de informao estipuladas, medidas precisam
ser definidas, por exemplo, se o objetivo aumentar a produtividade da equipe, uma das
questes que poderiam ser relevantes , Qual a produtividade da equipe de projeto
atualmente?. Para responder a essa questo, medidas como tamanho das atividades e tempo que
a equipe gasta trabalhando em uma determinada atividade poderiam suprir essa necessidade de
informao, pois dividindo-se o tamanho da atividade pelo tempo investido para que a mesma
seja realizada de maneira correta, e guardando esses dados por um tempo de uma semana, por
exemplo, obter-se-ia com isso a produtividade da equipe em uma semana. Este indicador, por sua
vez, um dado relevante, mas no suficiente para ajudar a tomar uma deciso. A fim de
20
aumentar a produtividade da equipe, outras informaes que poderiam ser usadas para isso
seriam saber o percentual de retrabalho, o que est agregando valor ao projeto ou mesmo qual o
percentual de tarefas rejeitadas e o porqu do percentual apresentado.
Solingen e Berghout (1999) afirmam que o resultado da aplicao do GQM e uma
estrutura hierrquica com trs nveis (Figura 1): o nvel conceitual (Objetivo), o nvel
operacional (Questo ou Necessidade de Informao) e o nvel quantitativo (Medida). Atravs de
uma abordagem top-down e orientada a objetivos, so definidos objetivos que so refinados em
questes. Medidas so, ento, definidas de forma que sejam adequadas para responder as
questes. A anlise das medidas permite verificar o grau de alcance dos objetivos.
Figura 1 Paradigma GQM

Fonte: adapatado de Basili et al. (1994).
O mtodo GQIM (PARK et al., 1996), uma variao do mtodo GQM, que est
baseado no entendimento de que identificar questes e medidas sem visualizar um indicador
muitas vezes no suficiente (ROCHA et al., 2012). Por exemplo, se ao utilizar o mtodo GQM
obteve-se a resposta de que a produtividade semanal da equipe 85%, isso seria bom ou ruim?
difcil dizer, pois no se tem nenhum parmetro de comparao, entretanto com o uso de
indicadores, limites podem ser estipulados e assim tm-se parmetros para comparar. Neste caso,
uma suposio de possveis limites seria: abaixo de 80% a produtividade est em um estado
crtico e preciso tomar alguma medida; entre 80% e 90% encontra-se em um estado de alerta,
ou seja, no to preocupante, mas alguma ao corretiva pode ser tomada; e acima de 90% est
dentro dos padres esperados, tudo certo com o desenrolar das atividades e nenhuma ao
corretiva precisa ser tomada. Nesse caso, com o uso do GQIM e a aplicao de indicadores e
tendo por base os limites indicados, sabe-se que uma produtividade de 85% encontra-se em um
21
estado de alerta. Vale mencionar que os limites de cada indicador variam de acordo com o
indicador trabalhado e de acordo com a organizao que o est definindo.
Optou-se pelo mtodo GQIM para ser utilizado neste trabalho pelo fato do mesmo
trabalhar com base no GQM que uma metodologia amplamente difundida e conhecida
(ROCHA et al., 2012) e acrescentar esta metodologia indicadores que oferecem um auxlio no
que tange aos procedimentos tanto de coleta quanto de anlise e ainda oferece um suporte em
relao anlise dos dados, pois apresenta como o prprio nome j sugere, indicadores para se
ter uma noo melhor sobre os valores apresentados no resultado.
2.2
ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS
De acordo com Kitchenham et al. (2004), a Engenharia de Software Baseada em

Evidncias (EBSE) aquela que busca prover meios pelos quais melhores evidncias
provenientes da pesquisa possam ser integradas com experincia prtica e valores humanos no
processo de tomada de deciso, considerando o desenvolvimento e a manuteno do software.
Com essa afirmao, definido um carter experimental para a Engenharia de Software que seria
o uso da abordagem cientfica para o desenvolvimento, evoluo e manuteno de software.
Kitchenham et al., (2004) afirmam, tambm, que outras reas que adotaram a abordagem
baseada em evidncias avanaram consideravelmente, a exemplo da medicina, que nas duas
ltimas dcadas aumentou o nmero de publicaes utilizando esse tipo de abordagem, alm do
surgimento de revistas da rea especializadas no assunto em questo, aps a adoo desse novo
paradigma.
Costa (2010), sobre abordagem baseada em evidncias, afirma que com o aumento da
importncia do software em diversas reas nos dias de hoje, como aparelhos celulares e sistemas
de controle de voo, preciso tomar mais cuidado com os mtodos de pesquisa tambm na
engenharia de software.
22
A essncia do paradigma baseado em evidncia coletar e analisar sistematicamente

todos os dados disponveis sobre determinado fenmeno para obter uma perspectiva mais
completa e mais ampla do que se pode captar por meio de um estudo individual (COSTA, 2010).
Segundo Mafra e Travassos (2006), para atingir um nvel adequado de evidncia a
respeito da caracterizao de uma determinada tecnologia em uso, a Engenharia de Software
Baseada em Evidncia deve fazer uso basicamente de dois tipos de estudos:
Estudos Primrios, que so os estudos que visam caracterizar uma determinada

tecnologia em uso dentro de um contexto especfico. Onde se encontram os
surveys e os estudos de caso;
Estudos Secundrios, que so os estudos que visam identificar, avaliar e

interpretar todos os resultados relevantes a um determinado tpico de pesquisa,
fenmeno de interesse ou questo de pesquisa. Onde se encontram as Revises
Sistemticas.
Mesmo no sendo ainda uma rea bem estabelecida na engenharia de software, as

Revises Sistemticas so parte do paradigma de prticas baseadas em evidncias (OATES e
CAPPER, 2009).
2.3
REVISO SISTEMTICA DA LITERATURA
Uma Reviso Sistemtica da Literatura uma reviso transparente, devido apresentar

toda sua estratgia de pesquisa, restries e critrios de avaliao. uma reviso estruturada,
pois no permite ao autor uma anlise ad hoc nem a presena de vieses por parte deste.
Segundo Kitchenham (2007), uma reviso sistemtica um meio de identificar, avaliar e
interpretar todas as pesquisas disponveis relevantes para uma questo de pesquisa especfica,
rea temtica ou fenmeno de interesse. Podendo definir, assim, esta reviso, como uma reviso
abrangente e no tendenciosa. Ele afirma, ainda, que Revises Sistemticas tm por objetivo
23
apresentar uma avaliao justa de um tpico de investigao, usando uma metodologia confivel,
rigorosa e auditvel.
A principal meta de uma Reviso Sistemtica da Literatura consiste em realizar pesquisa
exaustiva na literatura, em busca de evidncias que possam apoiar uma determinada hiptese, ou
simplesmente a busca por conhecimento aprofundado acerca de certo fenmeno de interesse.
Para tal, a reviso sistemtica faz uso de estudos previamente publicados e validados,
relacionados ao tpico de interesse: os estudos primrios, estudos de natureza experimental que
envolvem hipteses e resultados obtidos com pesquisas, e experimentao, a partir de diferentes
mtodos, como surveys, estudo de caso e experimentos. Na Engenharia de Software, os estudos
experimentais consistem em uma importante maneira de se obter maiores informaes a respeito
de novas tecnologias, metodologias e boas prticas quanto ao desenvolvimento de software
(MAFRA; TRAVASSOS, 2006).
A reviso sistemtica consiste em pesquisa: organizada e metdica na literatura, que
possui como caracterstica a abrangncia, j que engloba todos ou, pelo menos, a grande maioria
dos estudos relevantes questo de pesquisa; no tendenciosa, pois, possui um protocolo de
reviso, no sendo dirigida por interesses pessoais de seus pesquisadores; passvel de replicao,
por possuir um protocolo de reviso definido a priori (MAFRA; TRAVASSOS, 2006).
No entanto, uma Reviso Sistemtica da Literatura necessita de um esforo muito maior
por parte dos pesquisadores, alm de ser uma reviso que necessita de mais recursos humanos
que uma reviso informal, j que aconselhvel a participao de no mnimo dois pesquisadores
para sua conduo, para garantir sua confiabilidade e eliminar vis individual.
2.3.1 Reviso Informal versus Reviso Sistemtica
A cincia uma atividade cooperativa e social, e o conhecimento cientfico resultado do

processo cumulativo dessa cooperao (BIOLCHINI et al., 2005). Nesse sentido, Mafra e
Travassos (2006) afirmam que a reviso na literatura o meio pelo qual o pesquisador pode
24
identificar o conhecimento especfico em uma determinada rea de forma a planejar sua

pesquisa, evitando duplicao de esforos e a repetio de erros passados.
Uma reviso sistemtica difere-se de uma reviso informal nos seguintes aspectos:
Inconsistncia dos resultados. Para Biolchini et al. (2005), nas revises informais,
a presena de inconsistncia um fator negativo, j que dificulta o entendimento e
julgamento do pesquisador. J nas Revises Sistemticas, essa inconsistncia
um fator de incentivo para o pesquisador, j que por meio dessa inconsistncia
pode ser percebida a falta de robustez para o fenmeno em estudo, o que pode
auxiliar no apoio ou no de suas hipteses;
Propsito. Mafra e Travassos (2006) afirmam que uma reviso sistemtica no

simplesmente uma reviso da literatura conduzida conforme um planejamento. A
reviso de literatura parte integrante de uma reviso sistemtica, ou seja, o
objetivo de uma reviso sistemtica maior do que o de uma reviso de literatura
informal, tendo em vista que o propsito de uma reviso sistemtica a anlise
dos dados coletados com o objetivo da gerao de evidncias para o fenmeno em
questo.
No contexto da Engenharia de Software, Mafra e Travassos (2006) afirmam que

frequentemente as revises de literatura so realizadas de forma informal, sem planejamento e
critrios estabelecidos, o que geralmente ocasiona em uma reviso pouco abrangente, no
passvel de repetio, pouco confivel e dependente de revisores. Aspectos esses que no so
encontrados em uma reviso sistemtica, j que a mesma estabelece um processo formal.
Vale ressaltar, ainda, nesse aspecto, que uma reviso sistemtica no apenas um
agrupamento de estudos e sim uma abordagem metodolgica para se realizar pesquisa com
finalidades experimentais.
25
2.3.2 Metodologia do Mapeamento Sistemtico
Uma reviso sistemtica deve ser conduzida por meio de um protocolo pr-estabelecido
para garantir que essa reviso tenha de fato valor cientfico e possibilidade de repetio, pois
caso isso no acontea, as revises tornam-se informais e dependentes dos revisores que a
conduziram, diminuindo o grau de confiabilidade das mesmas.
O mapeamento sistemtico , tambm conhecido com estudo exploratrio, um tipo de
reviso sistemtica, onde se realiza uma reviso mais ampla dos estudos primrios, em busca de
identificar quais evidncias esto disponveis, bem como identificar lacunas no conjunto dos
estudos primrios onde seja direcionado o foco de revises sistemticas futuras e identificar
reas onde mais estudos primrios precisam ser conduzidos (KITCHENHAM, 2004). O estudo
de mapeamento sistemtico fornece uma viso geral de uma rea de pesquisa, identificando a
quantidade, os tipos de pesquisas realizadas, os resultados disponveis, alm das freqncias de
publicaes ao longo do tempo para identificar tendncias (PETERSEN et al., 2008).
A reviso sistemtica segue uma metodologia especfica e peculiar, apresentada por
Kitchenham (2007), em que define: Revises Sistemticas comeam pela definio de um
protocolo de reviso, que especifica a questo de pesquisa a ser tratada e os mtodos que sero
usados para sua realizao; que so baseadas em uma estratgia de busca definida pelo
pesquisador, a qual objetiva identificar o mximo possvel de estudos relevantes questo de
pesquisa; onde a estratgia de busca documentada nos mnimos detalhes, para que o leitor
possa avaliar seu rigor, completude e replicabilidade; exigem critrios explcitos de incluso e
excluso de estudos primrios, de forma a avaliar a necessidade destes estudos para a pesquisa;
especificam a informao a ser obtida a partir de cada estudo primrio, incluindo critrios de
qualidade para avaliao de cada estudo; alm de ser um pr-requisito para uma meta-anlise
quantitativa de dados.
26
Desta forma, Kitchenham (2007) resume as etapas de uma reviso sistemtica em trs
fases principais: planejamento, conduo e apresentao. Essas etapas so explicadas nas
prximas subsees.
2.3.2.1
Planejamento do Mapeamento Sistemtico
Um Mapeamento Sistemtico da literatura necessita de um protocolo detalhado que

descreve todo o seu processo e os mtodos que sero aplicados durante sua execuo, permitindo
a replicabilidade em outro momento ou em outras fontes de buscas primrias. O processo de
criao desse protocolo define a etapa de planejamento do mapeamento.
A formulao das questes de pesquisa a serem respondidas a base para uma reviso
sistemtica, sendo assim, a fase mais importante da etapa de planejamento, j que todos os outros
aspectos do processo da reviso dependem delas (DYB et al., 2007).
Para Kitchenham (2007), antes de realizar uma reviso sistemtica os pesquisadores
devem assegurar que a mesma necessria e o protocolo deve ser capaz de responder a algumas
questes:
Quais so os objetivos desta reviso?
Que fontes foram pesquisadas para identificar os estudos primrios? Houve

alguma restrio?
Quais foram os critrios de incluso/excluso e como foram aplicados?
Que critrios foram utilizados para avaliar a qualidade dos estudos primrios?
Como foram aplicados os critrios de qualidade?
Como os dados foram extrados dos estudos primrios?
Como os dados foram sintetizados?
Quais foram as diferenas entre os estudos pesquisados?
Como os dados foram combinados?
27
Travassos (2007), por meio de alguns passos, confirma e acrescenta novas informaes
sobre o que a fase de planejamento deve contemplar:
Objetivos da pesquisa devem ser listados;
Questes de pesquisa formuladas (strings de busca preparadas);
Mtodos que sero utilizados para executar o mapeamento e analisar os dados

obtidos devem ser definidos;
As fontes e seleo de estudos devem ser planejadas;
Um protocolo de reviso deve ser definido, documentado e disponibilizado.
Outro fator importante a ser levado em considerao, que depois de definido, o

protocolo deve passar por uma avaliao para garantir a viabilidade da pesquisa. sugerido que
essa avaliao seja realizada por um especialista.
2.3.2.2 Conduo do Mapeamento Sistemtico
A etapa de conduo do mapeamento pode ser dividida nas seguintes fases: busca
primria, seleo dos estudos primrios, categorizao dos estudos.
A fase de busca primria definida pela utilizao de strings de busca nas fontes de
pesquisa definidas, tendo como resultado um conjunto de estudos primrios potenciais para a
pesquisa.
A fase de seleo dos estudos primrios onde ocorre a execuo do processo de seleo
definido no protocolo de reviso, com a aplicao dos critrios de incluso e excluso prdefinidos nos estudos retornados da busca primria, tendo como resultado o conjunto de estudos
que sero utilizados na pesquisa.
A fase de avaliao da qualidade dos estudos primrios ocorre aps a seleo, onde estes
so avaliados inicialmente com base em critrios de qualidade, previamente estabelecidos.
Depois dessa avaliao atribuda uma nota final para cada estudo e com base em uma tabela
28
com faixas de notas atribudo um nvel de qualidade. Porm esta etapa no esta dentro do
escopo deste trabalho.
A fase de extrao dos dados pode ser realizada por meio de formulrios, podendo ser
apoiada por uma ferramenta computacional, para a categorizao desses dados obtidos dos
estudos primrios selecionados.
Para Travassos (2007), o processo para realizar a etapa de conduo de uma reviso
sistemtica definido pelos seguintes passos:
Realizao das Buscas nas fontes definidas: o processo deve ser transparente,
repetvel e documentado, assim como as mudanas que ocorrem no processo;
Seleo dos Estudos Primrios com os critrios de incluso e excluso definidos;
Extrao dos dados, desde informaes gerais dos estudos s respostas para as
questes de pesquisa. Formulrios so um bom meio para registrar todos os dados
necessrios e o uso de uma ferramenta computacional pode apoiar a extrao e
registro dos dados e posterior anlise;
Avaliao da qualidade dos estudos importante para balancear a importncia de

diferentes estudos, reduzir o vis (tendncia a produzir resultados tendenciosos
que se separam sistematicamente dos resultados verdadeiros), maximizar a
validade interna e externa e guiar recomendaes para pesquisas futuras;
Sntese dos dados realizada de acordo com as questes de pesquisa, por meio de
quadros para realar as similaridades e diferenas entre estudos. Se dados
quantitativos esto disponveis, pode-se considerar fazer uma meta-anlise.
29
2.3.2.3 Apresentao do Mapeamento Sistemtico
A etapa de apresentao da reviso consiste na sumarizao dos resultados, com base na

anlise e sntese dos dados, realizada durante a etapa de extrao.
A sumarizao pode ser realizada por meio da escrita de um relatrio, onde so
apresentados os resultados com informaes tabuladas de forma que auxiliem ou respondam as
questes de pesquisa.
Vale ressaltar que as etapas apresentadas, no necessariamente, precisam ser realizadas
de forma sequencial, algumas delas podem ser realizadas de forma concorrente
2.4
TRABALHOS RELACIONADOS
Em (MONTEIRO e OLIVEIRA, 2008) foram coletadas e analisadas as medidas de

desempenho de software mais referenciadas na literatura. Essas medidas foram organizadas em
um catlogo de medidas que permite a anlise de desempenho de processos da categoria de
engenharia do CMMI. O catlogo proposto neste trabalho difere do catlogo feito por Monteiro e
Oliveira (2008), pois no se limita a tratar somente de medidas, mas oferece um catlogo que
abordar tambm os objetivos de medio, as necessidades de informaes e os indicadores mais
propcios de serem usados em ambientes organizacionais.
Rocha et al. (2012) trata sobre medio de software e controle estatstico de processos, os
autores sugerem algumas medidas para o uso nos vrios processos do Modelo de Referncia
MPS para Software (MR-MPS-SW), porm se limitam a este modelo, bem como no apresentam
a forma de coleta destas medidas, se as mesmas foram coletadas com base na literatura ou se foi
com base em experincias prticas.
30
2.5
CONSIDERAES FINAIS
A utilizao de Revises Sistemticas na Engenharia de Software pode trazer diversos

benefcios, entre eles pode se destacar o foco que esse tipo de reviso proporciona ao
pesquisador durante a sua execuo. Isso se d devido ao carter metodolgico desse tipo de
investigao, que impede, por exemplo, a distrao dos pesquisadores em outros artigos
interessantes, mas no relevantes a sua pesquisa.
Outro benefcio que pode ser destacado a maior quantidade de informaes obtidas
sobre o tpico pesquisado, j que, por meio dos resultados de uma RSL, tm-se a possibilidade
de verificar como o tpico de interesse vem sendo tratado na literatura e se existem lacunas em
sua pesquisa, o que permite identificar novas oportunidades.
Ainda nesse sentido, os resultados de uma reviso sistemtica podem: apontar quais so
as abordagens mais utilizadas para o tpico em questo; identificar na literatura o quanto
evidncias empricas suportam ou contradizem hipteses tericas; apresentar quais so seus
pontos fortes e fracos; e apoiar a gerao de novas hipteses. Todos esses fatores podem auxiliar,
no contexto organizacional, na tomada de deciso.
Vale ressaltar que a utilizao da experimentao no contexto da Engenharia de Software
pode auxiliar na caracterizao de tecnologias em uso, que podem passar por um processo
evolutivo, por meio de novas experimentaes em diferentes contextos, ou, ento, definir a
adoo de uma nova tecnologia.
A utilizao de Revises Sistemticas na Engenharia de Software , segundo Mafra e
Travassos (2006), tem tido um considervel avano, que pode ser indicado pela definio de
diretrizes (KITCHENHAM, 2007) e de um processo para a conduo de Revises Sistemticas
(BIOLCHINI et al., 2005), alm da conduo de revises sistemtica por instituies de pesquisa
que se destacam no cenrio mundial.
31
Para a indstria de software, a reviso sistemtica capaz de contribuir com evidncias

relacionadas ao funcionamento, eficincia ou riscos de uma determinada tecnologia e sua
obteno (MAFRA; TRAVASSOS, 2006).
Para a comunidade acadmica, o que inclui pesquisadores, estudantes e orientadores, a
reviso sistemtica um importante meio para realizao de novas pesquisas com alta
confiabilidade e valor cientfico, contribuindo, dessa forma, enormemente com o conhecimento
cientfico voltado Engenharia de Software (MAFRA: TRAVASSOS, 2006).
o conceito de Medio de Software e a importncia da seleo do mtodo de medio.
Aps, foi mostrado o conceito Engenharia de Software Baseada em Evidncia e a definio de
estudos primrios e secundrios. Em seguida foi apresentado o conceito de Reviso Sistemtica
da Literatura, seu diferencial em relao a revises informais e sua metodologia.
Neste captulo foi apresentado o conceito de Medio de Software e a importncia da
seleo do mtodo de medio. Aps, foi mostrado o conceito Engenharia de Software Baseada
em Evidncia e a definio de estudos primrios e secundrios. Em seguida foi apresentado o
conceito de Reviso Sistemtica da Literatura, seu diferencial em relao a revises informais e
sua metodologia. O foco deste trabalho est na conduo de uma reviso sistemtica, a partir da
definio de um protocolo de reviso, apresentado no Captulo 3.
32
PLANEJAMENTO DA REVISO
Como parte de uma Reviso Sistemtica da Literatura (RSL), ao iniciar a etapa de

planejamento do mapeamento sistemtico da literatura realizado neste trabalho, foi criado um
protocolo de reviso e este captulo apresenta alguns tpicos que foram definidos no mesmo para
a conduo da RSL citada.
3.1
PROTOCOLO DE REVISO
O protocolo de reviso o documento em que se encontra o planejamento de uma reviso

sistemtica. Nele so definidos os objetivos, o escopo, as restries, os critrios, entre outras
especificaes para que uma reviso sistemtica seja conduzida com sucesso. Nas subsees
seguintes so apresentadas essas especificaes no contexto deste trabalho, ou seja, apenas as
sees do protocolo que se referem etapa de planejamento da reviso e a etapa de conduo da
reviso no que se refere s fases de seleo dos estudos primrios e avaliao da qualidade
desses estudos. O protocolo completo pode ser visualizado no Apndice A.
3.1.1 Objetivos da Reviso
Esta reviso sistemtica ter objetivo de identificar os objetivos de medio, necessidades

de informao, indicadores e medidas mais utilizados no contexto de processos de
desenvolvimento de software com o intuito de estabelecer um catlogo. Desta forma, tm-se a
seguinte estrutura, conforme proposto em Santos (2010):
Analisar: relatos de experincia e publicaes cientficas atravs de um estudo baseado

em reviso sistemtica.
33
Com o propsito de: identificar abordagens para apoiar o Processo de Medio de

Software.
Com relao : a definio e uso de necessidades de informao, indicadores e medidas

para a implantao e execuo do processo de medio em organizaes de
desenvolvimento de software.
Do ponto de vista: de pesquisadores e organizaes desenvolvedoras/mantenedoras de

software.
No contexto: acadmico e industrial.
3.1.2 Questo de Pesquisa Principal
Com base no objetivo de investigao desta reviso foi definida a seguinte questo de
pesquisa, a qual guiou esta Reviso Sistemtica da Literatura :
(Q1) Quais os objetivos de medio, necessidades de informao, indicadores e medidas

mais utilizados para apoiar o Processo de Medio de Software?
3.1.3 Estrutura da Questo de Pesquisa Principal
A estrutura da questo de pesquisa foi organizada conforme a estrutura Population,

Intervention, Context, Outcomes, Comparison (PICOC), recomendada por Kitchenham (2007).
Entretanto, apenas os itens Population, Interventione e Outcomes (PIO), que traduzidos para o
portugus so Populao, Interveno e Resultados, foram considerados relevantes para a
pesquisa. Tal restrio, segundo Santos (2010), caracteriza esta pesquisa como uma Reviso
QUASI Sistemtica da Literatura. Nesse sentido definiu-se a seguinte estrutura para a questo de
pesquisa principal:
34
Populao (P): Organizaes de Software e Projetos de Software;
Interveno (I): Metodologia utilizada para aplicar o processo de medio;
Resultados (O): Objetivos de Medio, Necessidades de informao, Indicadores

e Medidas mais frequentemente usadas no Processo de Medio.
3.1.4 Questes de Pesquisa Secundrias
Um conjunto de questes secundrias referentes questo principal foi estabelecido,

questes essas para serem respondidas durante a fase de extrao de informaes. Tais questes
tm objetivo de esclarecer detalhes importantes que esta reviso procura identificar, para
colaborar com o projeto onde esta se insere. As questes de pesquisa secundrias so
apresentadas a seguir:
(Q1A) Qual o contexto de aplicao da abordagem encontrada?
(Q1B) Qual a metodologia utilizada no processo de medio?
(Q1C) Quais objetivos organizacionais so mais comuns entre as empresas

desenvolvedoras de software?
(Q1D) Quais as necessidades de informao (questes) so mais utilizadas para tentar

atingir os objetivos organizacionais?
(Q1E) Quais os indicadores (varivel, limites e metas) so geralmente utilizados?
(Q1F) Quais as medidas e quais campos de medidas so geralmente armazenados para o

processo?
(Q1G) Quais os ativos (papis, artefatos) envolvidos?
35
3.1.5 Escopo da Pesquisa
Com o objetivo de assegurar a viabilidade da pesquisa, foi definido um escopo para a

mesma, que compreende quais mquinas de busca foram consideradas na elaborao deste
trabalho, o que pode ser descrito por meio da definio de critrios de seleo de fontes e
algumas restries.
Para a seleo das fontes de pesquisa, foram definidos os seguintes critrios:
Disponibilidade para consultas web;
Disponibilidade para busca de artigos atravs do domnio da UFPA;
Disponibilidade de artigos na ntegra por meio do domnio da UFPA ou a partir da

utilizao da engine de busca Google e/ou Google Scholar;
Disponibilidade de artigos em ingls ou portugus;
Relevncia da fonte.
Boa relao entre estudos retornados e estudos selecionveis.
Como restries para a pesquisa tm-se:
A pesquisa no pode incorrer em nus financeiro aos pesquisadores. Portanto, apenas

foram selecionadas as fontes que possibilitam consultas de forma gratuita (tambm foram
consideradas fontes que oferecem consultas de forma gratuita a partir do acesso pelo
domnio da UFPA).
Foram apenas considerados os estudos obtidos por meio das fontes selecionadas e em
conformidade com os critrios de incluso e excluso;
36
A pesquisa estar restrita aos resultados publicados entre 01 de janeiro de 2005 at junho
de 2015, contemplando, desta forma, um perodo de mais de 10 anos, dada a necessidade
de identificar os objetivos de medio, necessidades de informao, indicadores e
medidas mais utilizados no contexto de processos de desenvolvimento de software. Vale
ressaltar que esse perodo pode ser adequado de acordo com as limitaes das dos autores
nestes idiomas.
3.1.6 Seleo de Fontes
Com base na relevncia das fontes para o tpico de interesse deste trabalho foram
elencadas onze possveis fontes de interesse. Assim, levando em considerao os critrios de
seleo e as restries da pesquisa, foram selecionadas as fontes de pesquisa (Quadro 1) nas
quais foram realizadas as buscas dos estudos primrios, de acordo com disponibilidade de
pesquisa e relevncia para rea de Qualidade de Software.
Quadro 1 Seleo de Fontes de Pesquisa
Fonte
ACM
Selecionada?
Sim
-
IEEE Xplore Digital Library
Sim
El Compendex
Sim
ISI Web of Knowledge
Sim
Scopus
Sim
Jairo
No
Anais do WAMPS - Anais do

Workshop Anual do MPS.BR
Anais do SBQS Simpsio
Justificativa
Mquina de busca
ineficiente.
Sim
Sim
37
Brasileiro de Qualidade de Software
Anais do SBES Simpsio

Brasileiro de Engenharia de Software
Anais do SBSI Simpsio Brasileiro
de Sistemas de Informao
No
Falta de disponibilidade.
No
Falta de disponibilidade.
Sim
Anais do CLEI Conferencia

Latinoamericana en Informtica
(Latin American Computing
Conference)
3.1.7 Mtodos de Busca Primria
Os mtodos que foram utilizados para as buscas seguem a estratgia de:

1. Identificao de Palavras-chave e sinnimos;
2. Gerao de Strings de Busca;
3. Realizao das buscas nas fontes de pesquisas selecionadas (aplicao de strings de
busca);
Nas subsees seguintes so detalhadas as estratgias que foram utilizadas neste trabalho.
3.1.7.1 Identificao de Palavras-Chaves e Sinnimos
As palavras-chaves foram identificadas a partir das questes de pesquisa e em acordo

com a estrutura Populao, Interveno e Resultados. De acordo com as restries da pesquisa,
38
os idiomas em que as palavras-chaves foram definidas so o Portugus e o Ingls. A seguir so

apresentadas as palavras-chaves para a questo de pesquisa principal.
POPULAO
o Ingls: Software Development, Software Project, Project, Development,
Organization, Enterprise, Company, Industry, Institute, Research Group,
Technology Center;
o Portugus: Desenvolvimento de Software, Projeto de Software, Projeto,
Desenvolvimento,
Organizao,
Empresa,
Companhia,
Indstria,
Instituio, Grupo de Pesquisa, Centros de Tecnologia;
INTERVENO
o Ingls: GQM, GQIM, PSM, BSC, COBIT;
o Portugus: GQM, GQIM, PSM, BSC, COBIT;
RESULTADOS
o Ingls: Measurement Process, Measuring, Software Measurement,
Measurement, Objective Measurement, Information Need, Question,
Indicator, Measure;
o Portugus: Processo de Medio, Medindo, Software de Medio,
Medio, Objetivo de Medio, Necessidade de Informao, Questo,
Indicador, Medida.
3.1.7.2 Gerao de Strings de Busca
A string de busca o agrupamento das palavras-chave, por meio dos operadores <OR> e
<AND>. O operador <OR> utilizado para o agrupamento das palavras-chave e sinnimos, por
39
elemento (Populao, Interveno e Resultados). O operador <AND> utilizado para agrupar o

conjunto de palavras-chave definidos para todos os elementos, de acordo com a estrutura PICO
(ou PIO no caso desta pesquisa) conforme segue (SANTOS, 2010):
P <and> I <and> C <and> O
Vale ressaltar que o elemento Comparao (ou Controle) no est no contexto desse
trabalho, logo, o conjunto de palavras-chave para esse elemento vazio. Para a questo de
pesquisa sero consideradas duas strings de busca (uma para busca em ingls e outra para o
portugus) e com base nesta foi gerada uma string de busca para cada fonte de pesquisa
automtica devido a diferena entre as maquinas de busca de cada fonte ser diferente.
o Para Q1:
Ingls: ("Software" OR "Softwares" AND ("Project" OR "Development"

OR "Organization" OR "Enterprise" OR "Company" OR "Industry" OR
"Institute" OR "Research Group" OR "Technology Center")) AND
(("GQM" OR "GQIM" OR "PSM" OR "BSC" OR "COBIT") AND
("Measurement Process" OR "Measuring" OR "Software Measurement"
OR "Measurement") AND ("Objective" OR "Information Need" OR
"Question" OR "Indicator" OR "Measure")).
Portugus:
("Software"
OR
"Softwares"
AND
("Projeto"
OR
"Desenvolvimento" OR "Organizao" OR "Empresa" OR "Companhia"

OR "Indstria" OR "Instituio" OR "Grupo de Pesquisa" OR "Centro de
Tecnologia")) AND (("GQM" OR "GQIM" OR "PSM" OR "BSC" OR
"COBIT") AND ("Processo de Medio" OR "Medindo" OR "Software de
Medio" OR "Medio") AND ("Objetivo" OR "Necessidade de
Informao" OR "Questo" OR "Indicador" OR "Medida"));
o Para IEEE: ("Software" AND ("Project" OR "Organization" OR "Development" OR
"Enterprise") AND (("GQM" OR "GQIM" OR "PSM" OR "BSC" OR "COBIT") AND
("Measure" OR "Measurement" OR "Measuring")))
40
o Para
El Compendex:
(("Software" AND ("Project" OR "Development" OR
"Organization" OR "Enterprise" OR "Company" OR "Industry" OR "Institute" OR

"Research Group" OR "Technology Center")) AND (("GQM" OR "GQIM" OR "PSM"
OR "BSC" OR "COBIT") AND ("Measurement Process" OR "Measuring" OR "Software
Measurement" OR "Measurement") AND ("Objective" OR "Information Need" OR
"Question" OR "Indicator" OR "Measure")))
o Para ISI Web of Knowledge: TS=((("Software" AND ("Project" OR "Development" OR
"Question" OR "Indicator" OR "Measure"))))
o Para ACM:
(("Software" OR "Softwares" AND
("Project" OR "Development" OR

"Question" OR "Indicator" OR "Measure")))
o Para Scopus:
TITLE-ABS-KEY("Software" AND ("Project" OR "Development" OR

"Research Group" OR "Technology Center") AND ("GQM" OR "GQIM" OR "PSM" OR
"BSC" OR "COBIT") AND ("Measurement Process" OR "Measuring" OR "Software
"Question" OR "Indicator" OR "Measure")) AND (LIMIT-TO(PUBYEAR, 2015) OR
(LIMIT-TO(PUBYEAR,
2014)
OR
LIMIT-TO(PUBYEAR,
2013)
OR
LIMIT-
TO(PUBYEAR, 2012) OR LIMIT-TO(PUBYEAR, 2011) OR LIMIT-TO(PUBYEAR, 2010)

OR LIMIT-TO(PUBYEAR, 2009) OR LIMIT-TO(PUBYEAR, 2008) OR LIMITTO(PUBYEAR, 2007) OR LIMIT-TO(PUBYEAR, 2006) OR LIMIT-TO(PUBYEAR, 2005)
OR LIMIT-TO(PUBYEAR, 2014) OR LIMIT-TO(PUBYEAR, 2013) OR LIMIT41
TO(PUBYEAR, 2012) OR LIMIT-TO(PUBYEAR, 2011) OR LIMIT-TO(PUBYEAR, 2010)

OR LIMIT-TO(PUBYEAR, 2006) OR LIMIT-TO(PUBYEAR, 2005)) AND (LIMITTO(LANGUAGE, "English") OR LIMIT-TO(LANGUAGE, "Portuguese")) AND (LIMITTO(SUBJAREA, "COMP"))
3.1.8 Seleo dos Estudos Primrios
A etapa de seleo de estudos primrios pode ser dividida em: Definio de Critrios de
Incluso e Excluso de Estudos Primrios e Definio do Processo de Seleo dos mesmos.
3.1.8.1 Critrios de Incluso e Excluso dos Estudos Primrios
Os critrios de Incluso e Excluso dos estudos primrios so os que vo nortear os

pesquisadores na seleo dos estudos que foram coletados das fontes de pesquisas, alm do que
determina o rigor da pesquisa e impossibilita os viesses dos pesquisadores no momento da
seleo.
Os critrios de excluso dos artigos foram:
CE.1)
Artigos que no estejam disponveis livremente para consulta ou download

(em verso completa) nas fontes de pesquisa ou por meio de busca manual
(para artigos que no sejam fornecidos na ntegra) realizada nas
42
ferramentas de busca Google (http://www.google.com.br/) e/ou Google

Scholar (http://scholar.google.com.br/);
CE.2)
Artigos que claramente no atendam as questes de pesquisa;
CE.3)
Artigos repetidos (em mais de uma fonte de busca) tiveram apenas sua
primeira ocorrncia considerada;
CE.4)
Artigos duplicados tiveram apenas sua verso mais recente ou a mais

completa
considerada,
salvo
casos
em
que
haja
informaes
complementares;
CE.5)
Estudos enquadrados como resumos, keynote speeches, cursos, tutoriais,

workshops e afins;
CE.6)
CE.6) Artigos que no mencionem as palavras-chave da pesquisa no

ttulo, resumo ou nas palavras-chave do artigo, salvo trabalhos que
abordem melhoria do processo de software nos quais seja observada
possibilidade do Processo de Medio ser tratada ao longo do trabalho;
CE.7)
Excluir se o estudo no estiver inserido no contexto de Projetos de

Software, Indstria de Software ou Engenharia de Software;
CE.8)
Excluir se o estudo no estiver apresentado em uma das linguagens aceitas

(Ingls e Portugus).
Os critrios de incluso dos artigos basearam-se em:

CI.1)
Estudos que apresentem primria ou secundariamente abordagens (padres

e CASEs) de apoio s atividades de Processo de Meditao;
CI.2)
Estudos que apresentem relatos de experincia da indstria, ou pesquisas

de carter experimental ou terico, contanto que apresentem exemplos de
aplicao, descrio de experimentos ou casos reais de uso de abordagens
(padres e CASEs) para apoio s atividades de Processo de Meditao.
43
3.1.8.2 Processo de Seleo dos Estudos Primrios
Para a execuo do processo da etapa de seleo dos estudos primrios da reviso

sistemtica, foram utilizados os seguintes recursos:
Dois pesquisadores (um aluno de mestrado e um graduando);
Acesso s fontes de pesquisa por meio do domnio da Universidade Federal do

Par;
Validaes sobre documentos e procedimentos da realizao da reviso

sistemtica por meio de reunies com o coordenador do Projeto SPIDER e
orientador do projeto de dissertao, onde esta pesquisa est inserida, o Prof. Dr.
Sandro Ronaldo Bezerra Oliveira;
Durante a conduo desta reviso sistemtica, os estudos primrios foram identificados

conforme o processo seguinte:
1. Realizou-se as buscas em todas as fontes selecionadas, por meio de strings de
busca. Estudos claramente irrelevantes pesquisa foram descartados. Os artigos
foram catalogados na ferramenta Microsoft Excel, estabelecendo uma planilha
com a lista, para cada pesquisador, de possveis estudos primrios;
2. A partir da leitura de resumo, introduo e concluso, os artigos foram avaliados
por cada pesquisador quanto aos critrios de incluso e excluso, e o resultado foi
registrado;
3. Em uma reviso sistemtica, os dois pesquisadores responsveis pela seleo dos
artigos devem entrar em consenso, quando necessrio. Devendo isso ocorrer
quando no houver uma unanimidade na incluso de um artigo e pelo menos um
pesquisador decidir incluir. Entretanto para atingir um nmero maior de trabalhos
a serem analisados, os pesquisadores decidiram incluir para uma anlise mais
44
detalhada todos os trabalhos em que pelo menos um dos pesquisadores decidiu

incluir;
4. Durante a segunda fase da seleo dos artigos, os artigos que foram prselecionados a partir da leitura do resumo, introduo e concluso, foram
analisados novamente de forma mais detalhada e os dois pesquisadores
responsveis pela seleo dos artigos entraram em consenso, quando necessrio
para poder assim selecionar os artigos que passariam para a fase de anlise da
qualidade. O consenso ocorreu quando no houve uma unanimidade na incluso
de um artigo e pelo menos um pesquisador decidiu incluir;
5. Na fase de consenso, em caso de discordncia sobre a incluso de algum estudo, o
mesmo foi includo;
6. Os estudos primrios identificados foram posteriormente lidos em totalidade e,
ento, foi aplicada a avaliao de qualidade e a estratgia de extrao de dados,
conforme descrito nas subsees seguintes.
3.1.9 Avaliao dos Estudos Primrios
A qualidade de um artigo pode ser mensurada pela relevncia e valor cientfico de seu
contedo; tambm considerado um critrio de excluso, a ser aplicado durante a conduo da
pesquisa. Desta forma, durante a anlise dos estudos primrios e coleta de resultados, foram
aplicados os critrios de qualidade definidos abaixo, permitindo um processo adicional de
validao dos estudos, de forma a identificar possveis trabalhos que ainda devem ser
desconsiderados da pesquisa e observar o grau de importncia dos estudos individualmente para
quaisquer comparaes durante a sntese dos dados (KITCHENHAM, 2004).
Adicionalmente, a avaliao da qualidade pode servir como recomendao de estudos
para futuras pesquisas, fornecendo informaes a respeito da qualidade das informaes de cada
estudo avaliado (KITCHENHAM, 2004).
45
3.1.9.1 Critrios de Qualidade dos Estudos Primrios
Os critrios de qualidade que foram aplicados aos estudos primrios foram adaptados de
Costa, (2010), uma vez que descreviam critrios abrangentes o suficiente para cobrir o escopo
dos estudos a serem considerados, com alteraes para se adequarem aos objetivos e questes de
pesquisa desta reviso sistemtica. Segue a lista dos critrios de qualidade e suas categorias:
Os critrios de qualidade foram:
1. Introduo/Planejamento
a. Os objetivos ou questes do estudo so claramente definidos (incluindo
justificativas para a realizao do estudo)?
b.
O tipo de estudo est definido claramente?
2. Desenvolvimento
a. Existe uma clara descrio do contexto no qual a pesquisa foi realizada?
b. O trabalho bem/adequadamente referenciado (apresenta trabalhos
relacionados ou semelhantes e se baseia em modelos e teorias da
literatura)?
3. Concluso
a. O estudo relata de forma clara e no ambgua os resultados?
b. Os objetivos ou questes do estudo so alcanados?
4. Critrios para a Questo de Investigao
46
a. O estudo lista primria ou secundariamente os Modelos, Processos,

Mtodos, Tcnicas, Metodologia e afins, para apoiar atividades de
Rastreabilidade de Requisitos?
b. O estudo apresenta Ferramentas de apoio s atividades de Rastreabilidade
de Requisitos?
5. Critrio Especfico para estudos Experimentais
a. Existe um mtodo ou um conjunto de mtodos descrito para a realizao
do estudo?
6. Critrio Especfico para estudos Tericos
a. Existe um processo no tendencioso na escolha dos estudos?
7. Critrio Especfico para Revises Sistemticas
a. Existe um protocolo rigoroso, descrito e seguido?
8. Critrio Especfico para Relato de Experincia Industrial
a. Existe uma descrio sobre a(s) organizao(es) onde foi conduzido o
estudo?
Os critrios (1) a (4) aplicam-se a todos os estudos primrios avaliados, enquanto os
critrios (5) a (8) aplicam-se especificamente aos respectivos tipos de trabalho mencionados.
Estes tipos de estudos foram propostos por Easterbrooks (2007).
3.1.9.2 Processo de Avaliao de Qualidade
A execuo do processo da etapa de avaliao de qualidade ocorreu conforme o processo

seguinte:
47
1. Os estudos primrios selecionados foram lidos em totalidade e ento foram avaliados

quanto aos critrios de qualidade. Para avaliar o grau de adequao aos critrios de
qualidade, foi adotada a estratgia de avaliao proposta por Costa (2010), na qual se
utiliza a escala de Likert-5, permitindo respostas gradativas de 0 (discordo
totalmente) a 4 (concordo totalmente), como apresentada no Quadro 2.
Quadro 2 Escala de Likert-5
Escala de Likert-5
Concordo totalmente (4)
Concordo parcialmente (3)

Neutro (2)
Discordo parcialmente (1)
Discordo totalmente (0)
Deve ser concedido no caso em que o trabalho

apresente no texto os critrios que atendam
totalmente a questo.
atenda parcialmente aos critrios da questo.
no deixe claro se atende ou no a questo.
Deve ser concedido no caso em que os critrios
contidos na questo no so atendidos pelo
trabalho avaliado.
Deve ser concedido no caso em que no existe
nada no trabalho que atenda aos critrios da
questo.
2. Para auxiliar a avaliao, seguindo a escala de Likert-5, para cada critrio de

qualidade foram definidas escalas, como se pode observar no Quadro 3.
Quadro 3 Escala para cada Critrio de Qualidade
Escala por Critrio

Critrio
1a.
1b.
Escala
4 - Define e justifica o estudo claramente.
3 - Define claramente o estudo, porm a justificativa no clara.
2 - Define claramente o estudo, mas no justifica.
1 - A definio dos objetivos do estudo no clara.
0 - No define o estudo.
4 Define o tipo de estudo, referenciando na literatura a metodologia.
3 Define o tipo de estudo, porm sem referenciar a metodologia.
2 No define o tipo de estudo. possvel inferir facilmente.
1 No define o tipo de estudo. possvel inferir com dificuldade.
0 No possvel inferir o tipo de estudo.
48
Escala por Critrio

Critrio
2a.
2b.
3a.
3b.
4a.
4b.
5a.
Escala
4 Define claramente uma seo com o contexto da pesquisa.
3 O contexto da pesquisa est includo em uma seo no exclusiva.
2 O contexto da pesquisa est disperso ao longo do texto.
1 O contexto da pesquisa est disperso e insubstancial.
0 O contexto da pesquisa no abordado.
4 O texto apresenta uma seo de trabalhos relacionados.
3 O texto apresenta trabalhos relacionados em uma seo no
exclusiva.
2 O texto apresenta trabalhos relacionados dispersos ao longo do
texto.
1 O texto no apresenta trabalhos relacionados, mas se apoia na
literatura.
0 O texto no apresenta trabalhos relacionados nem se apoia na
literatura.
4 Resultados so claramente apresentados na seo de concluso.
3 Resultados so claramente referenciados na seo de concluso.
2 Resultados apresentados na concluso no so claros.
1 Resultados referenciados na concluso no so claros.
0 No so apresentados resultados.
4 Os resultados esto totalmente aderentes ao objetivo do estudo.
3 Os resultados esto aderentes ao objetivo do estudo, no entanto o
autor faz ressalvas.
2 Os resultados so parcialmente aderentes ao objetivo do estudo.
1 Os resultados no esto aderentes ao objetivo do estudo.
0 No alcanado nenhum resultado.
4 Algum dos elementos claramente descrito.
3 Algum dos elementos apresentado, mas no aprofundado.
2 Algum dos elementos avaliado, porm no descrito.
1 Algum dos elementos citado indiretamente.
0 Nenhum dos elementos apresentado direta ou indiretamente.
4 Apresenta uma ferramenta disponvel para uso em verso funcional.
3 Apresenta ferramenta em verso funcional porm no disponvel
para uso.
2 Apresenta um projeto ou proposta de ferramenta, incluindo a
descrio de funcionalidades.
1 Apresenta apenas algoritmos de apoio ou anlises de ferramentas de
suporte GRH.
0 No so apresentadas ferramentas de apoio.
4 O mtodo de experimento definido e referenciado claramente.
3 O mtodo de experimento definido claramente.
2 O mtodo de experimento citado.
1 O mtodo de experimento no citado, porm possvel inferir.
0 No possvel inferir o mtodo de experimento.
49
Escala por Critrio

Critrio
6a.
7a.
8a.
Escala
4 O texto descreve critrios para a escolha dos estudos.
3 O texto no descreve critrios para a escolha dos estudos, porm
apresenta estudos que discordam do estudo apresentado.
2 O texto descreve apenas estudos aderentes ao estudo apresentado.
1 O texto descreve estudos insuficientes.
0 O texto no descreve estudos base.
4 O protocolo de reviso apresentado, descrito e seguido.
3 O protocolo de reviso apresentado e descrito, porm h
evidncias de que no foi seguido adequadamente.
2 O protocolo de reviso no foi suficientemente descrito.
1 O protocolo de reviso apenas foi citado ao longo do texto.
0 No h um protocolo de reviso.
4 A rea de atuao, tamanho e origem da organizao so
informados.
3 Apenas duas das caractersticas do item 4 so informadas.
2 Apenas uma das caractersticas do item 4 informada.
1 Nenhuma das caractersticas do item 4 informada.
0 O estudo no foi conduzido em uma ou mais organizaes.
3. Deve-se, ento, dada a soma das pontuaes, enquadr-los em um dos cinco nveis
de qualidade classificados por Beechan (2007), tais como, apresentados no Quadro 4.
Quadro 4 Nveis de Qualidade
Faixa de Notas
3.2
Avaliao
Excelente
>86%
Muito Boa
66%-85%
Boa
46%-65%
Mdia
26%-45%
Baixa
< 26%
CONSIDERAES FINAIS
O planejamento de uma reviso sistemtica uma das etapas mais importantes desse
processo, pois durante essa etapa que so definidos aspectos que norteiam o pesquisador
50
durante a conduo da reviso, fazendo com que o mesmo no perca o foco, alm de eliminar
provveis vieses.
O protocolo de reviso o artefato que garante o carter repetvel de uma reviso
sistemtica, alm de comprovar que a reviso realizada foi planejada e que as decises tomadas
durante essa etapa foram registradas. O processo para a definio do protocolo de reviso no
sequencial, o que garante a reviso, modificao e/ou refinamento do planejamento de forma
iterativa.
Esse captulo apresentou a fase de planejamento da reviso sistemtica que foi realizada
no contexto desse trabalho, com a definio do protocolo de reviso.
51
RESULTADOS E ANLISE DO MAPEAMENTO SISTEMTICO
Esse captulo apresenta a principal contribuio deste trabalho, a aplicao das tcnicas
de Mapeamento Sistemtico da literatura durante a fase de conduo que apresentada conforme
definida no protocolo de reviso, discutida no Captulo 3.
4.1
CONDUO DO MAPEAMENTO
No contexto desse trabalho, a fase de conduo foi dividida em: Busca Primria, Seleo
de Estudos Primrios e Avaliao de Qualidade dos Estudos. A execuo, resultados e anlise
dos mesmos, so apresentados nas subsees seguintes.
4.1.1 Busca Primria
Em acordo com o que foi definido no protocolo de reviso, no que diz respeito ao mtodo
de busca realizado nas fontes selecionadas, foi executada em cada fonte a busca primria, com
uma string de busca especfica. A partir disso, obteve-se um total de 1592 estudos, no qual 618
trabalhos foram identificados na ACM, 50 na IEEE, 44 na ISI Web Knowledge, 53 na El
Compedex, 65 na Scopus, 209 na CLEI, 442 no SBQS, e por fim, 111 trabalhos foram
identificados no WAMPS. Como pode ser visualizado no grfico da Figura 2.
52
111
ACM Digital Library

IEEEXplore
618
442

El Compendex
Scopus
CLEI
SBQS
209
44
65 53
50
WAMPS
Figura 2 Nmero de Estudos retornados a partir da Busca Primria
O percentual de artigos retornados em cada fonte de pesquisa em relao ao total (1592

estudos) pode ser visualizado no grfico apresentado na Figura 3.
7,0%
ACM Digital Library

IEEEXplore
38,8%
27,8%

El Compendex
Scopus
CLEI
SBQS
13,1%
WAMPS
3,1%
4,1% 3,3%
2,8%
Figura 3 Percentual de estudos retornados a partir da Busca Primria
53
importante frisar que a quantidade de estudos retornada por cada fonte pode ser
justificada por diversos fatores, tais como, a quantidade total de estudos na fonte e a relevncia
da fonte para a questo de pesquisa.
Nas fontes de pesquisa CLEI, SBQS e WAMPS a busca foi feita de forma manual, e
dessa forma os estudos retornados desta base j foram considerados estudos includos de acordo
com os critrios de incluso.
4.1.2 Seleo de Estudos Primrios
Tendo em vista que o nmero de estudos retornados na busca primria foi satisfatrio
para que continuasse a conduo da reviso, aps o download de todos os estudos, foi realizada a
verificao com relao as restries da pesquisa. Os estudos que foram aprovados foram
inseridos em uma Tabela de Seleo criada para cada fonte de pesquisa.
A partir do processo de seleo definido no Captulo 3, cada um dos pesquisadores
selecionou, inicialmente, os estudos primrios por meio da leitura do ttulo, palavras-chaves,
resumo e concluso de cada estudo retornado, para, assim, aplicarem os critrios de incluso e
excluso. Aps esse processo, as Tabelas de Seleo dos pesquisadores para cada fonte foram
comparadas e por fim, durante reunies entre estes, foi realizado o consenso entre as
divergncias para a incluso de estudos, seguindo o que previamente foi definido no protocolo de
reviso.
Aps o processo de seleo, o nmero de estudos foi bastante reduzido, j que apenas 44
estudos foram selecionados, podendo ser vistos no Apndice B. Assim, estudos retornados,
listados no Apndice C, foram excludos pelos pesquisadores, os principais motivos foram: no
apresentam primria ou secundariamente abordagens de Medio de Software ou eram estudos
repetidos, ou seja, estavam disponveis em mais de uma fonte de pesquisa selecionada.
54
A evoluo em nmeros do processo de seleo de estudos primrios apresentada na

Tabela 1. O quadro mostra a quantidade de estudos retornados na busca primria para cada fonte,
no total 1592, e a quantidade de estudos que foram includos.
Tabela 1 Seleo de Estudos Primrios
Seleo de Estudos Primrios

Fontes
ACM Digital Library
IEEEXplore
ISI Web Knowledge
El Compedex
Scopus
CLEI
SBQS
WAMPS
Total
Estudos Retornados
618
50
44
53
65
209
442
111
1592
Estudos Includos
3
6
4
3
1
1
2
0
20
Aps o processo de seleo dos estudos primrios, pode-se verificar que embora a
IEEEXplore apresente um nmero pequeno de estudos retornados, com 3,14%, essa fonte teve
uma grande representatividade, quando comparada com as demais. Nos estudos primrios
selecionados esta fonte obteve 30%. E se somada a Isi Web of Knowledge, a outra base com o
menor nmero de artigos retornados, as duas compem 50% dos estudos primrios selecionados.
Isso pode ser explicado pela ordem que o processo de seleo ocorreu, j que muitos estudos
dessas bases permaneceram em detrimento aos estudos de outras fontes que foram enquadrados
no critrio de excluso de estudos repetidos. A ordem das bases do processo de seleo segue a
mesma ordem em que as mesmas aparecem na Tabela 1, essa ordem foi estabelecida
considerando a estabilidade da base em relao string de busca definida para a mesma e a
relao dos artigos retornados com o tema da pesquisa
Uma das restries dessa pesquisa era o ano de publicao dos estudos, que deveria estar
entre 01 de janeiro de 2005 at junho de 2015, neste caso, todos os estudos primrios
selecionados foram publicados no perodo desejado. A pesquisa contemplou, desta forma, um
perodo de mais 10 anos, podendo, assim, identificar as informaes acerca da literatura mundial
atual para Medio de Software.
55
Ao analisar a quantidade de estudos publicados com relao ao ano, pode-se demonstrar e

confirmar o que outros autores destacam no que diz respeito ao crescimento de pesquisas em
Medio de Software no contexto de desenvolvimento de softwares na ltima dcada. De acordo
com os resultados obtidos na busca nas fontes de pesquisa selecionadas, nos anos de 2005 e 2006
no foi publicado nenhum estudo referente questo de pesquisa, nos trs anos seguintes foram
publicados um ou dois artigos, e a partir do ano de 2010 houve um grande crescimento. E mesmo
que nos anos de 2012 e 2015 apresente uma queda nesta quantidade, pode-se dizer que o
aumento do nmero de estudos a partir do ano de 2010 pode ter sido motivado pelo aumento no
reconhecimento da importncia da rea. Vale ressaltar que somente metade do ano de 2015 foi
levada em considerao nesta pesquisa, pois a pesquisa limitou-se at junho deste ano que foi o
ms em que as coletas dos artigos foram realizadas. De forma geral, poucos foram os trabalhos
publicados relacionados questo de pesquisa, visto que o processo de medio envolve os
objetivos organizacionais de uma empresa e, portanto, as regras de negcio ou mesmo os
segredos de uma organizao, por isso torna-se difcil de conseguir informaes sobre o que esta
Reviso Sistemtica objetiva apresentar, que so os objetivos de medio, necessidades de
informao, indicadores e medidas mais utilizados. A figura 4 apresenta o grfico que ilustra a
distribuio dos estudos primrios, identificados pelo processo de seleo, ao longo dos anos.
6
5
5
4
3
3
Nmero de estudos
2
2
1
1
0
0
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Figura 4 Nmero de Estudos ao Longo dos Anos
56
Na Tabela 2 pode-se observar o nmero de publicaes por autores que entraram nesta
pesquisa atravs de suas publicaes dentro do espao de tempo determinado.
Tabela 2 Nmero de Estudos por Autor
Nmero de Estudos por Autor

Nome
Estudos Publicados
Levin, G.
2
Gencel, C.
2
Petersen, K.
2
Iqbal, M. I.
2
Mughal, A. A.
2
Andronick, J.
1
Baaz, A.
1
Barcellos, M. P.
1
Basili, V.R.
1
Borjesson, A.
1
Coman, I.
1
Dara, R.
1
De Amescua-Seco Antonio
1
Daz-Ley, M.
1
Fauzia, H.
1
Garca, F.
1
Garca-Guzmn Javier
1
Gusmo, C.
1
Hao Ke-gang
1
Heidrich, J.
1
Hendradjaya, B.
1
Jeffery, R.
1
Jian LI
1
Jr. Menezes, J.
1
Kegang HAO
1
Klein, G.
1
Laksmiwati, H.
1
Lepmets, M.
1
Li Jian
1
Li Ya-hong
1
Lima, F.
1
Lima, S. T.
1
Lindvall, M.
1
Mitre-Hernndez Hugo A.
1
57
Nmero de Estudos por Autor

Nome
Estudos Publicados
Moore, M.
1
Moura, H.
1
Munch, J.
1
Murray, T.
1
Oliveira, K. M. De
1
Piattini, M.
1
Pries-Heje, J.
1
Ras, E.
1
Regardie, M.
1
Renault, A.
1
Rocha, A. R.
1
Rombach, D
1
Salehie, M.
1
Santos, G.
1
Sarcia, S. Alessandro
1
Seaman, C.
1
Sen Li
1
Shimin Li
1
Sillitti, A.
1
Southekal, P.
1
Southekal, P.H.
1
Staples, M.
1
Succi, G.
1
Tahvildari, L.
1
Tao Xu
1
Timmeras, M.
1
Trendowicz, A.
1
Velasco-Elizondo Perla
1
Yahong LI
1
A distribuio de estudos por instituio de filiao pode ser visualizada na Tabela 3,
onde o nmero de instituies com publicaes maior do que o nmero de estudos publicados
selecionados na pesquisa, pois em muitos casos instituies trabalharam em parceria para poder
produzir o estudo em questo.
58
Tabela 3 Nmero de Estudos por Instituio
Nmero de Estudos por Instituio

Instituio
Ericsson AB
Skema Business School
Free University of Bolzano
Blekinge Institute of Technology, School of Computing
Auckland University f Tecnology
University of Rome Tor Vergata
College of Business and Administration
Public Research Centre Henri Tudor
Fraunhofer Center for Experimental Software Engineering
Fraunhofer Institute for Experimental Software Engineering
Software Technologies Applied Research (STAR) Lab
University of Waterloo
BIS-E Software Verification & Validation Department Research
In Motion (RIM)
Management and Economy School, Beijing Institution of
Technology
Software Engineering Institute, Northwest University
Accenture Inc
IT University of Gteborg
University of New South Wales
Carlos III University of Madrid
The Center for Mathematical Research (CIMAT)
Autonomous University of Zacatecas
Bandung Institute of Technology: School of Electrical and
Informatics Engineering
Sistemas Tcnicos de Loteras del Estado (STL)
University of Castilla-La Mancha
Management and Economy School, Beijing Institution of
Technology, BIT
Software Engineering Institute, Northwest University, NWU
Universidade Catlica de Braslia
Universidade Federal do Rio de Janeiro
Universidade Federal do Esprito Santo
Universidade Federal de Pernambuco
Free University of Bozen-Bolzano
N de Estudos
3
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
59
No grfico da Figura 5 pode-se observar quais os pases que mais publicam sobre
Medio de Software no contexto de projetos de software. Pode-se observar tambm a
importncia do Brasil, no que diz respeito qualidade de software, porm essa expressividade
pode-se dar devido escolha de fontes de pesquisas nacionais para compor esta pesquisa. A
Itlia, como se pode observar, apresentou um nmero de publicaes superior, seguida pela
China, Sucia e Brasil. Isso pode ser explicado devido esses pases entrarem em parceria para
produzir um determinado trabalho e/ou apresentarem especialistas no processo de medio que
publicaram trabalhos que condizem com o objetivo desta pesquisa, visto que muitos trabalhos
que tratam sobre o processo de medio foram encontrados no processo de seleo, porm s
esto sendo levados em considerao para a anlise, os que trataram especificamente do objetivo
desta pesquisa.
5
4
4
3
3
2
2
1
Estudos
1
0
Figura 5 Nmero de Estudos por Pas
A distribuio dos trabalhos por tipo de publicao pode ser visualizada na Figura 6, em
que pode-se perceber que a maioria dos estudos primrios, 70% (14 estudos), foi publicada em
eventos, outra parcela, que corresponde a 30% (6 estudos) foram publicados em peridicos, e por
ltimo, no se identificou nenhum relatrio tcnico condizente com a pesquisa. Pode-se observar
que a grande maioria dos estudos includos, foram publicados atravs de eventos, e isso pode ser
60
explicado devido ao fato de que a computao uma cincia relativamente nova. Ento ainda
no existem tantos peridicos especializados na rea de Engenharia de Software.
6
Evento
Peridico
Relatrio Tcnico
14
Figura 6 Trabalhos por Tipo de Publicao
O Quadro 5 apresenta a distribuio dos estudos primrios em relao ao local de

publicao, de onde foi possvel retirar a informao de qual(is) Evento(s) ou Peridico(s) que
mais tiveram publicaes nos ltimos dez anos.
Quadro 5 Meios que mais Publicaram Estudos
Nmero de estudos por local de publicao

Nome
Ocorrncias
Tipo de publicao
International
Conference
on
Software
1
Evento
Engineering - ICSE
Empirical
Software
Engineering
and
1
Evento
Measurement - ESEM
International Symposium on Empirical
1
Evento
Software Engineering and Measurement
Wireless Communications, Networking and
1
Evento
Mobile Computing - WiCOM
SRII Global Conference
1
Evento
Computer (IEEE Computer Society)
1
Peridico
European Conference on Software Maintenance
1
Evento
and Reengineering
International Conference on Management
1
Evento
Science & Engineering
61
Nmero de estudos por local de publicao

Nome
Ocorrncias
Tipo de publicao
Conference
on
Cognitive
&
Cognitive
Computing
1
Evento
International
Informatics
(ICCI*CC )
International Federation for Information
Processing - IFIP
The Journal of Systems and Software
Information and Software Technology
Ingeniera Investigacin y Tecnologa
International Conference on Data and Software
Engineering (ICODSE)
Advances in Engineering Software
International
Conference
on
Software
Engineering and Service Science (ICSESS)
Simpsio Brasileiro de Qualidade de Software
(SBQS)
Conferncia Latinoamericana de Informtica CLEI
Evento
2
1
1
Peridico
Peridico
Peridico
Evento
Peridico
Evento
Evento
Evento
A distribuio dos estudos entre acadmico ou voltados para a indstria pode ser
visualizada no grfico da Figura 7, onde se observa uma quantidade maior de estudos
acadmicos (75%). Isso pode ser explicado devido ao foco do meio acadmico ser o de produzir
trabalhos cientficos e de pesquisa, o que no uma regra para o meio industrial, que tambm
produz trabalho de pesquisa, mas que nem sempre apresenta como foco a publicao dos
mesmos, alm do que mesmo que um trabalho apresente um estudo de caso em um meio
organizacional, se este for produzido por uma instituio acadmica, permanecer o carter
acadmico. Outro fator que pode influenciar o meio industrial apresentar poucos trabalhos
relacionados ao objetivo da pesquisa deste trabalho que por vezes isso pode estar relacionado a
objetivos estratgicos da organizao e muitas empresas preferem no expor esse tipo de
informao.
62
5
Industrial
Acadmico
15
Figura 7 Avaliao dos Estudos: Acadmico ou Voltados a Indstria
A distribuio dos Ativos de medio em relao aos trabalhos selecionados pode ser
visualizada na Figura 8. Dos trabalhos selecionados, todos apresentaram um determinado
objetivo de medio, uma grande parcela (80%) apresentou necessidades de informao,
somente 20% apresentaram indicadores e 75% apresentaram medidas em seu trabalho. Isso pode
ser explicado, devido metodologia GQM ser a mais utilizada at ento quando se trata de
processo de medio, dessa forma o nmero de trabalhos que apresentam indicadores
expressivamente menor.
Objetivo de
Medio
14
20
Necessidade de
Informao
Indicador
Medida
16
Figura 8 Ativos de Medio
O Quadro 6 apresenta os ativos de medio que cada estudo includo possui, os mesmos
esto ordenados por base e em seguida por ano de publicao. Nesse quadro, os artigo recebem
uma marcao com um X nas colunas OM (Objetivos de Medio), NI (Necessidades de
63
Informao), I (Indicadores) e M (Medidas), caso apresentem em seu contedo algum desses

ativos de medio.
Quadro 6 Ativos de medio por estudo
Ativos de medio por estudo

OM NI I M
Artigo
Ano
Base
A case-study on using an Automated In-process
Software Engineering Measurement and Analysis 2009
ACM
X
system in an industrial environment
Is GQM+Strategies really applicable as is to non2010
ACM
X X
X
software development domains?
Formulation and Empirical Validation of a GQM
2011
ACM
X X
X
Based Measurement Framework
A Composite Measurement Pattern
2008
IEEE
X X
X
A Quality Measurement Framework for IT Services 2011
IEEE
X
X X
Linking Software Development and Business
2010
IEEE
X X
X
Strategy Through Measurement
Prioritizing Requirements-Based Regression Test
2011
IEEE
X X
X
Cases: A Goal-Driven Practice
The software project progress measurement frame
2013
IEEE
X X
X
based on GQM model
Validation of a generic GQM based measurement
framework for software projects from industry 2011
IEEE
X X
X
practitioners
Measuring process innovations and improvements
2007
ISI WEB
X X
X
A decision support framework for metrics selection
in goal-based measurement programs: GQM- 2013
ISI WEB
X X X X
DSFMS
An empirical research agenda for understanding
2014
ISI WEB
X X
formal methods productivity
Designing a Strategic Measurement Program for
Software Engineering Organizations- Discovering 2014
ISI WEB
X X
Difficulties and Problems
A quality model for mobile thick client that utilizes
2014 EL Compendex X X
X
web API
MIS-PyME software measurement capability
maturity model - Supporting the definition of
2010 EL Compendex X
software measurement programs and capability
determination
Software engineer behavior analysis measurement
2011 EL Compendex X X
X
process in SW-KPA
64
Ativos de medio por estudo

Artigo
Ano
A decision support framework for metrics selection
in goal-based measurement programs: GQM- 2013
DSFMS
Avaliao da Acessibilidade de Stios Web por meio
2007
de Mtricas de Software
Anlise da Estrutura e Contedo de uma Base de
Medidas Visando ao Controle Estatstico de 2010
Processos de Software
Defining Indicators for Risk Assessment in Software
2013
Development Projects
Base
OM NI I M
Scopus
X X X
SBQS
SBQS
CLEI
Legenda: OM: Objetivo de Medio; NI: Necessidade de Informao; I: Indicador;

Medida.
X
M:
Com relao qualidade dos estudos, foi possvel notar prevalncia nos estudos com
qualidade Excelente e Muito Boa, contando com 10 e 5 estudos, respectivamente. Em
seguida, houve 4 ocorrncias de trabalhos de qualidade Boa. Houve apenas 1 estudo de
qualidade Mdia, ao passo que no foi identificado nenhum estudo com qualidade Baixa. A
Figura 9 sintetiza estas informaes.
0%
5%
Excelente
20%
50%
25%
Muito Boa
Boa
Mdia
Baixa
Figura 9 Percentual de Estudos por Categoria de Qualidade
Com base na avaliao da qualidade realizada, pde-se verificar que os estudos quanto
sua forma apresentavam em sua maioria uma excelente qualidade, sendo assim, este poderia ser
um indicativo da qualidade do contedo dos mesmos.
65
4.2
CONSIDERAES FINAIS
Este captulo apresentou parte da etapa de conduo de uma reviso sistemtica da

literatura aplicada ao Processo de Medio, em que se pode verificar a aplicao das tcnicas
definidas no protocolo de reviso, tendo como resultado a sumarizao de alguns nmeros, que
mostram caractersticas gerais desse tipo de pesquisa.
Os resultados obtidos podem auxiliar no planejamento de outros trabalhos em Engenharia
de Software Baseada em Evidncias, assim como outras revises, citadas no planejamento desta
pesquisa, serviram para guiar o desenvolvimento desta. Esse auxlio pode-se dar por meio das
definies gerais de uma RSL.
66
CONCLUSES
Este captulo apresenta as principais concluses do trabalho realizado e contribuies do

mesmo para a rea da Engenharia de Software no que tange a realizao de Revises
Sistemticas da Literatura e Medio de Software. Desta forma, so apresentados a seguir uma
viso geral sobre o trabalho realizado, os resultados obtidos e os trabalhos futuros.
5.1
VISO GERAL
Com o objetivo geral de realizar uma Reviso Sistemtica da Literatura para a Medio
de Software, no captulo introdutrio foi apresentada a contextualizao deste trabalho, por meio
de uma viso geral sobre o assunto principal da pesquisa, sua justificativa e motivao, alm de
seus objetivos e a metodologia aplicada para a realizao deste.
No segundo captulo foi introduzido o conceito de Medio de Software e a importncia
da seleo do mtodo de medio. Aps, foi mostrado o conceito Engenharia de Software
Baseada em Evidncia e a definio de estudos primrios e secundrios. Em seguida foi
apresentado o conceito de Reviso Sistemtica da Literatura, seu diferencial em relao a
revises informais e sua metodologia.
O terceiro captulo apresentou os resultados da fase de planejamento da reviso, mais
especificamente o protocolo de reviso, onde esto inseridas as definies que devem nortear
toda a conduo de uma reviso, desde a definio da questo de pesquisa at a forma de
extrao dos dados.
O quarto captulo exps os resultados da fase de conduo da reviso, onde foram
apresentados: a quantidade de estudos retornados pelas buscas primrias realizadas nas fontes
escolhidas; os resultados do processo de seleo, que definiu os estudos primrios analisados; a
anlise realizada nos estudos primrios selecionados e a sumarizao de alguns nmeros.
67
5.2
RESULTADOS OBTIDOS
Por meio deste trabalho, obteve-se o Protocolo de Reviso Sistemtica da Literatura para
a Medio de Software. Este protocolo garante a repetio de pesquisas como essa, alm de sua
possvel utilizao para auxlio na realizao de novas revises sistemticas. Como resultado
pde-se, tambm, apresentar o conjunto de estudos primrios selecionados nesta pesquisa, bem
como dados extrados destes estudos que demostram a tendncia de publicaes nesta rea, o que
possibilita a descoberta de abordagens (tcnicas, modelos de processos, frameworks de processo,
ferramenta, metodologias e afins) que apoiam a realizao de boas prticas para tal gerncia.
Este fato pode auxiliar organizaes para o desenvolvimento ou evoluo de seu processo para
Medio de Software, alm de uma viso geral de como se encontra o fenmeno estudado na
literatura, quais as principais pesquisas e quais as provveis lacunas encontradas.
5.3
PONTOS FORTES E OPORTUNIDADES DE MELHORIA
A realizao da RSL apresentada forneceu ao autor desse trabalho um entendimento mais

abrangente sobre Medio de Software e conhecimento sobre outros assuntos relacionados. Com
a aplicao das tcnicas de reviso sistemtica foi possvel observar a importncia de um bom
planejamento e comprovar que esse tipo de reviso no se restringe apenas a isso.
Dentre as oportunidades de melhoria para a RSL realizada, pode-se destacar a
abrangncia dos estudos coletados, sendo mais flexvel quanto aos critrios de avaliao
permitindo a obteno de um nmero considervel de estudos, nmero esse maior do que em
outras RSL observadas tambm para a realizao desta. Como melhoria, tambm pode-se
destacar o tempo em que foi realizado todo o processo da reviso sistemtica que teve a durao
de seis meses.
Uma dificuldade encontrada ao realizar esta pesquisa foi a manipulao de uma grande
quantidade de estudos retornados em algumas das fontes de pesquisa. Neste caso foi necessrio
muito tempo e dedicao para catalogao dos estudos e posteriormente a anlise dos mesmos.
68
5.4
TRABALHOS FUTUROS
Considerando que esta reviso serviu como insumo para a elaborao de um catlogo de
ativos mais utilizados no processo de medio no contexto de desenvolvimento de software
dentro do Projeto SPIDER, como Dissertao de Mestrado do coorientador deste trabalho, e
considerando, ainda, que serviu tambm para definir estatsticas relacionadas s abordagens
(modelos, processos, frameworks, etc.) encontradas nas publicaes rejuradas das fontes de
pesquisa, esta seo ir identificar sugestes de prosseguimentos do trabalho apresentado,
indicando possveis evolues que podem torn-lo mais completo e adequado para a medio de
software.
5.4.1 Evoluo da Reviso Sistemtica
A reviso sistemtica da literatura identificou diversos ativos de medio disponveis na

literatura com o foco nos mais utilizados, porm, outros ativos de medio podem no ter sido
identificados nos estudos, devido ao nmero de fontes pesquisadas, ou at mesmo ao perodo de
busca, j que existem outros eventos especializados na rea possibilitando ento que novos
ativos de medio sejam descobertos. Sendo assim, uma possvel evoluo no protocolo de
reviso pode ajudar a encontrar tcnicas que possivelmente no tenham sido identificadas no
estudo.
5.4.2 Aplicao Prtica do Catlogo
A aplicao deste catlogo na indstria, com sua utilizao em um projeto de

desenvolvimento de software pode ser de grande valia para o amadurecimento deste, isto porque
oportunidades de melhoria em relao a sua estrutura, forma de apresentao ou mesmo
69
contedo podem ser encontradas, alm do que, sua efetividade quanto ao que se prope pode ser
avaliada.
5.4.3 Expanso do Catlogo
Com a possibilidade do encontro ou surgimento de outros ativos de medio na literatura,

considerando estudos de caso no que se refere implementao do processo de medio, o
catlogo tambm pode ser expandido neste contexto futuramente. Outra fonte para expandir o
catlogo realizar um survey, aplicando questionrios ou realizando entrevistas com empresas e
outras organizaes que fazem uso do processo de medio a fim de conseguir identificar novos
ativos de medio. Alm do que, pode tambm ser acrescido outras informaes sobre os ativos
de medio, caso sejam identificadas como importantes.
70
REFERNCIAS
ABNT Associao Brasileira de Normas e Tcnicas. NBR ISO/IEC 12207:2009

Engenharia de Sistemas de Software Processos de Ciclo de Vida de Software. Rio de
Janeiro, Brasil, 2009.
BARCELLOS, M.; SANTOS, G., ROCHA, A. N. Anlise da Estrutura e Contedo de uma
Base de Medidas Visando ao Controle Estatstico de Processos de Software. Simpsio
Brasileiro de Qualidade de Software (SBQS). 2010.
BORJESSON, A.; BAAZ, A.; PRIES-HEJE, J.; TIRNMERAS, M. Measuring process
innovations and improvements. International Federation for Information Processing IFIP.
2007.
COSTA, C. S. Uma abordagem baseada em evidncias para o gerenciamento de projetos no
desenvolvimento distribudo de software. Dissertao de Mestrado Programa de PsGraduao em Cincia da Computao - Universidade Federal de Pernambuco, Recife, 2010.
COSTA, T. S. A. D., Uma abordagem metodolgica para a implementao do processo de
medio a partir de uma ferramenta de software e um catlogo de medidas. Dissertao de
Mestrado Programa de Ps-Graduao em Cincia da Computao - Universidade Federal do
Par, Belm, 2015.
DEMARCO, T. Controlling software projects, Yourdon Press Prentice-Hall. 1982.
EASTERBROOKS, S. et. al. Selecting Empirical Methods for Software Engineering
Research. International Conference on Automoted Software Engineering. Atlanta, Georgia,
EUA, 2007.
FENTON, N. e PFLEEGER, S. L. Software Metrics. A rigorous and practical approach.
PWS Pub. 1997.
GAMMA, E., HELM, R., JOHNSON, R., VLISSIDES, J. Padres de Projetos Solues
reutilizveis de software orientado a objetos. 2000.
HUMPHREY, W. Managing the software process. Massachussets: Addison-Wesley, 1989. 512
p.
KITCHENHAM, B. Guidelines for performing Systematic Literature Reviews. In Software
Engineering, Technical Report EBSE-2007-01, Departament of Computer Science Keele
University, Keele, 2007.
KITCHENHAM, B. Procedures for Performing Systematic Reviews. Technical Report
SoftwareEngineering Group, Keele University, Australia, 2004.
71
MAFRA, S.; TRAVASSOS, G. Estudos Primrios e Secundrios apoiando a busca por

Evidencia em Engenharia de Software - Relatrio Tcnico: RT-ES-687/06 Programa de
Engenharia de Sistemas e Computao - COPPE/UFRJ Rio de Janeiro, 2006.
MONTEIRO, C. V. F. Impacto do uso de ferramentas de software n as fases iniciais do
processo de inovao. Dissertao de Mestrado. Universidade Federal de Pernambuco. Recife,
PE, Brasil, 2010.
MONTEIRO, L. F. S. e OLIVEIRA, K. M. (2008) Definio de um Catlogo de Medidas
para a Anlise de Desempenho de Processos de Software. Disponvel em:
<http://www.bdtd.ucb.br/tede/tde_busca/arquivo.php?codArquivo=875>. Acesso em: 23
fevereiro 2016.
NASCIMENTO, L. M. A.; COSTA, A. J. S.; FRANA, BRENO B. N.; REIS, R. Q.; REIS, C.
A. Uma abordagem para Medio em um Ambiente de Desenvolvimento de Software
Centrado em Processos. XXXIII Conferencia Latinoamericana de Informtica, San Jos. 2007.
PETERSEN, K.; FELDT, R.; MUJTABA, S.; MATTSSON, M. Systematic Mapping Studies
in SoftwareEngineering. in: 12th International Conference onEvaluation and Assessment in
SoftwareEngineering, Australia, 2008.
PRESSMAN, R. S. Engenharia de Software - uma abordagem profissional. 7a. ed. Porto
Alegre: AMGH Bookman, v. I, 2011.
ROCHA, A. R. C.; SOUZA, S. S e BARCELLOS, M. P. Medio de Software e Controle
Estatstico de Processos. Brasilia, 232 p. 2012.
SANTOS, G. Reviso Sistemtica, Minicurso. Simpsio Brasileiro de Qualidade de Software
SBQS 2010, Belm PA, 2010.
SOLINGEN, R., BERGHOUT, E. The Goal/Question/Metric Method: A Practical Guide for
Quality Improvement of Software Development. McGraw-Hill. 1999.
SOMMERVILLE, I. Engenharia de Software. 9a edio, Pearson Addison-Wesley, 2011.
TRAVASSOS, G. H.; GUROV, D.; AMARAL, E. A. G. D. Introduo Engenharia de
Software Experimental. Relatrio Tcnico RT-ES-590/02 do Programa de Engenharia de
Sistemas e Computao. COPPE/UFRJ, Rio de Janeiro, 2002.
TRAVASSOS, G., BIOLCHINI J. Revises Sistemticas Aplicadas a Engenharia de
Software. In: XXI SBES - Brazilian Symposium on Software Engineering, Joo Pessoa, PB,
Brasil, 2007.
ZAHRAN, S. Software Process Improvement. Addison-Wesley. 1998.
72
APNDICE A PROTOCOLO DE REVISO
Histrico de Revises
Data
Verso
Descrio
Autor
Incio da Concepo do Protocolo de Reviso

0.1
29/03/2015
Sistemtica (objetivos, referncias e questes
Thiago Sylas
de pesquisa).
Definio das fontes de buscas, critrios de
0.2
01/04/2015
incluso e excluso, critrios de qualidade e

definio do processo de avaliao da
Thiago Sylas
qualidade
Definio da Estratgia de Extrao de
06/04/2015
0.3
resultados e Refinamento das questes de
Thiago Sylas
pesquisa secundrias
73
Protocolo de Reviso
Contexto
O projeto SPIDER (acrnimo para Software Process Improvement Development and Research)
surgiu em 2009 com o objetivo de propor abordagens sistematizadas para apoiar a
implementao de programas de melhoria de processo de software. Com relao abordagem
para sistematizar a implementao de processos, o Projeto SPIDER tem como possibilidades:
Utilizao de ferramentas j existentes no mercado; A adequao de ferramentas j existente no
mercado; A criao de novas ferramentas. O Projeto SPIDER foca, ainda, na utilizao de
software livre, o que proporciona a liberdade: de executar o programa; de estudar como o
programa funciona, e adapt-lo para as suas necessidades; de redistribuir cpias; de modificar o
programa; e de liberar estas modificaes (GNU, 2011). Utilizar software livre para a
implementao de modelos de qualidade pode ocasionar em diminuio de custos e tempo de
implementao (OLIVEIRA, 2010).
Neste contexto, esta reviso sistemtica parte de um projeto de dissertao de mestrado
vinculado ao Projeto SPIDER com o objetivo de reunir conhecimentos a respeito da
implementao do Processo de medio, criando assim um catlogo das principais Necessidades
de Informao, Indicadores e Medidas (NIIM) utilizadas para sua realizao, bem como a
definio de em qual contexto estas NIIMs so melhores utilizadas. Nessa pesquisa tambm
ser desenvolvida uma ferramenta para auxiliar o processo de medio durante o
desenvolvimento de software.
O processo de medio tem por finalidade gerar informaes capazes de apoiar a tomada de
deciso a fim de atingir aos objetivos da organizao. Vale mencionar que o processo de
medio deve estar sempre de acordo com os objetivos estratgicos e organizacionais da
empresa, para que desta forma se possa realmente chegar a informaes capazes de contribuir
para os objetivos em questo, esse o grande diferencial das organizaes que de fato sabem
utilizar o processo de medio das outras que simplesmente acumulam dados inteis.
74
Neste contexto, esta reviso sistemtica ser um instrumento metodolgico para apoiar a criao
de um catlogo contento questes, indicadores e medidas utilizadas na literatura e no dia-a-dia de
empresas desenvolvedoras de software durante a implantao do processo de medio.
Objetivos
Esta reviso sistemtica ter objetivo de identificar os objetivos de medio, necessidades de
informao, indicadores e medidas mais utilizados no contexto de processos de desenvolvimento
de software com o intuito de estabelecer um catlogo. Desta forma, tm-se a seguinte estrutura,
conforme proposto em Santos (2010):
Analisar: relatos de experincia e publicaes cientficas atravs de um estudo baseado em

reviso sistemtica.
Com o propsito de: identificar abordagens para apoiar o Processo de Medio de Software.
Com relao: a definio e uso de necessidades de informao, indicadores e medidas para a

implantao e execuo do processo de medio em organizaes de desenvolvimento de
software.
Do ponto de vista: de pesquisadores e organizaes desenvolvedoras/mantenedoras de software.
No contexto: acadmico e industrial.
Referncias
KITCHENHAM, B. (2005) Guidelines for performing Systematic Literature Re views in

Software Engineering. Vol 2.3 EBSE Technical Report, EBSE-2007-01, 2007.
75
MAFRA, S., TRAVASSOS, G. (2005) Tcnicas de Leitura de Software: Uma Reviso

Sistemtica. XIX Simpsio Brasileiro de Engenharia de Software (SBES 2005).
SANTOS, G. S. (2010) Reviso Sistemtica, Mini-Curso. Simpsio Brasileiro de Qualidade de

Software SBQS 2010, Belm PA.
Formulao da Pergunta
Questes de pesquisa so a base de uma reviso sistemtica da literatura. Esta pesquisa objetiva
investigar as propostas da literatura no que tange a seguinte indagao:
Quais os objetivos de medio, necessidades de informao, indicadores e medidas mais

utilizados para apoiar o Processo de Medio no contexto de Projetos de Software?
Para tal, foi definida a seguinte questo de pesquisa a qual guiar esta reviso sistemtica da
literatura:
Q1.
Quais os objetivos de medio, necessidades de informao,

indicadores e medidas mais utilizados para apoiar o Processo de
Medio de Software?
4.1 Estrutura da Questo Principal

A questo levantada foi organizada conforme a estrutura Population, Intervention, Context,
Outcomes, Comparison (PICOC), recomendada por Kitchenham (2007). Entretanto, apenas os
itens Populao, Interveno e Resultados foram considerados relevantes para a pesquisa. Tal
restrio, segundo Santos (2010), caracteriza esta pesquisa como uma Reviso QUASI
Sistemtica da Literatura.
1.1.1. Para Q1
76
Tem-se o objetivo de identificar quais padres para apoiar a Rastreabilidade de Requisitos

(Interveno), aplicveis no contexto de organizaes (empresas, instituies, centros, e grupos)
que atuam em projetos de software (Populao), sob forma de modelos de processos, tcnicas,
metodologias, ferramentas para Rastreabilidade de Requisitos.
Logo, definiu-se a seguinte
estrutura:
Populao (P): Organizaes de Software e Projetos de Software;

Interveno (I): Metodologia utilizada para aplicar o processo de medio;
Resultados (O): Objetivos de Medio, Necessidades de informao, Indicadores e
Medidas mais frequentemente usadas no Processo de Medio.
1.2.Questes Secundrias
Um conjunto de questes secundrias referentes questo principal foi estabelecido, questes
essas para serem respondidas durante a fase de extrao de informaes (para maiores detalhes,
consultar seo 15). Tais questes tm objetivo de esclarecer detalhes importantes que esta
reviso procura identificar, para colaborar com o projeto onde esta se insere.
Q1A Qual o contexto de aplicao da abordagem encontrada?

Q1B Qual a metodologia utilizada no processo de medio?
Q1C Quais objetivos organizacionais so mais comuns entre as empresas desenvolvedoras de
software?
Q1D Quais as necessidades de informao (questes) so mais utilizadas para tentar atingir os
objetivos organizacionais?
Q1E Quais os indicadores (varivel, limites e metas) so geralmente utilizados?
Q1F Quais as medidas e quais campos de medidas so geralmente armazenados para o processo?
Q1G Quais os ativos (papis, artefatos) envolvidos?
Escopo da Pesquisa
Visando estabelecer limites viveis para a execuo desta pesquisa, foram definidos critrios
para seleo das fontes de pesquisa e restries para garantir a viabilidade da mesma.
77
1.3.Critrios de Seleo de Fontes

Para seleo das fontes de pesquisa, foram definidos os seguintes critrios:
Disponibilidade para consultas web.

Disponibilidade para busca de artigos atravs do domnio da UFPA.
Disponibilidade de artigos na ntegra atravs do domnio da UFPA ou a partir da
utilizao da engine de busca Google e/ou Google Scholar.
Disponibilidade de artigos em ingls ou portugus.
Relevncia da fonte.
Boa relao entre estudos retornados e estudos selecionveis.
A princpio, sero consideradas fontes de dados que disponibilizem artigos na ntegra, de modo a
diminuir o retrabalho por parte dos pesquisadores com relao a novas busca necessrias para
encontrar
as
verses
completas
de
artigos
apresentando
somente
resumo/abstract.
Adicionalmente, caso os artigos no estejam disponveis na ntegra, sero utilizadas as mquinas

de busca disponveis nos sites do Google (http://www.google.com.br/) e Google Scholar
(http://scholar.google.com.br/) com o objetivo de encontrar a verso completa do artigo. Caso o
artigo, ainda assim, o artigo no seja encontrado atravs da busca manual, a verso incompleta
do mesmo ser descartada da pesquisa.
1.4.Restries
Devido ao carter da pesquisa, esta no dever incorrer em nus financeiro aos pesquisadores
Portanto apenas sero selecionadas as fontes que possibilitem consultas de forma gratuita ou a
partir do acesso pelo domnio da UFPA. Sero apenas considerados os estudos obtidos atravs
das fontes selecionadas e em conformidade com os critrios de incluso e excluso. A pesquisa
estar restrita aos resultados publicados entre 01 de janeiro de 2005 at a data de realizao das
buscas, contemplando, desta forma, um perodo de mais de 10 anos, dada a necessidade de
identificar abordagens para apoio s atividades de Medio de software mais atuais.
Sero considerados apenas artigos em ingls ou portugus devido proficincia dos autores
nestes idiomas.
Mtodos de busca nas Fontes

78
Os mtodos de busca nas fontes podem ser definidos como: mtodo de busca manual e mtodo
de busca automtica.
1.5.Mtodo de Busca Manual

A busca manual utiliza as fontes onde os estudos esto inseridos em anais de eventos e no
disponveis em um repositrio digital e sim em um documento digital. Na busca manual os anais
das conferncias so consultados para um determinado perodo especfico. Todos os resultados
apresentados so conferidos um por um permitindo o pesquisador a determinar se o artigo
pertence ao conjunto que ele props.
1.6.Mtodo de Busca Automtica

A pesquisa ser realizada atravs de mecanismos de busca web por palavras-chave. Podero ser
necessrias eventuais buscas manuais por artigos que no sejam disponibilizados na ntegra, ou
seja, artigos que possuam verso contendo apenas resumo/abstract. Para estes casos, o ttulo do
artigo, incluindo o nome dos autores, ser utilizado com uma string de busca a ser inserido nos
mecanismos
de
busca
web
Google
(http://www.google.com.br/)
Google
Scholar
(http://scholar.google.com.br/).
Palavras-Chave e Strings de Busca
1.7.Palavras-Chave e Sinnimos
A partir das questes de pesquisa, palavras-chave foram identificadas em acordo com a estrutura
Populao, Interveno e Resultados. Por considerar estudos nos idiomas Portugus e Ingls, as
palavras-chave foram definidas para ambos os idiomas, para a posterior formulao das strings
de busca. Para cada questo, segue a listagem de palavras-chave definidas:
POPULAO
79
o Ingls: Software Development, Software Project, Project, Development,

Organization, Enterprise, Company, Industry, Institute, Research Group,
Technology Center;
o Portugus: Desenvolvimento de Software, Projeto de Software, Projeto,
Desenvolvimento, Organizao, Empresa, Companhia, Indstria,
Instituio, Grupo de Pesquisa, Centros de Tecnologia.
INTERVENO
o Ingls: GQM, GQIM, PSM, BSC, COBIT;
o Portugus: GQM, GQIM, PSM, BSC, COBIT.
RESULTADOS
o Ingls: Measurement Process, Measuring, Software Measurement,
Measurement, Objective Measurement, Information Need, Question,
Indicator, Measure;
o Portugus: Processo de Medio, Medindo, Software de Medio,
Medio, Objetivo de Medio, Necessidade de Informao, Questo,
Indicador, Medida.
1.8.Strings de Busca
Para elaborao da string de busca, as palavras-chave e sinnimos relacionados so agrupadas
por meio de operador <OR> e os conjuntos de termos so agrupados com o operador <AND>, de
acordo com a estrutura PICO (ou PIO no caso desta pesquisa) conforme segue (Santos, 2010):
P <and> I <and> C <and> O

Conforme j especificado anteriormente, a Comparao (ou Controle) no se aplica ao contexto
desta reviso. Tem-se, ento, que o conjunto de palavras-chave referentes a Comparao (C)
vazio (C=). Adicionalmente, as palavras chave da Interveno so relevantes apenas no
contexto da Rastreabilidade de Requisitos, portanto as palavras chave.
1.8.1. Para Q1
o Ingls: ("Software" OR "Softwares" AND ("Project" OR "Development" OR
"Organization" OR "Enterprise" OR "Company" OR "Industry" OR "Institute"
OR "Research Group" OR "Technology Center")) AND (("GQM" OR
"GQIM" OR "PSM" OR "BSC" OR "COBIT") AND ("Measurement Process"
OR "Measuring" OR "Software Measurement" OR "Measurement") AND
("Objective" OR "Information Need" OR "Question" OR "Indicator" OR
"Measure")).
Listagem de Fontes
80
Com base nos critrios de seleo de fontes e nas restries definidas na seo 5, tem-se a
seguinte listagem de fontes:
IEEE Xplore Digital Library

El Compendex
ACM
Scopus
Jairo
Anais do Wamps
Anais do SBQS
Anais do SBES falta de disponibilidade no conseguiu acesso
Anais do CIBSI falta de disponibilidade no conseguiu acesso
Anais do CLEI
Tipo dos Artigos
Sero consideradas pesquisas do tipo experimental, terica, relato de experincia industrial,

revises da literatura e relatrios tcnicos na forma de artigos completos de peridicos ou
conferncias.
Idioma dos Artigos
Sero considerados artigos escritos em portugus e ingls, a primeira por ser importante
considerar pesquisas de mbito nacional, dada a relevncia do Programa MPS.BR para o estudo,
e a segunda para expandir a abrangncia da pesquisa, uma vez que a lngua definida como
padro na grande maioria dos peridicos e conferncias internacionais.
Critrios de Incluso e Excluso dos Artigos

Os critrios de excluso dos artigos:
CE.1)
Artigos que no estejam disponveis livremente para consulta ou download

(em verso completa) atravs das fontes de pesquisa ou atravs de busca
manual (para artigos que no sejam fornecidos na ntegra) realizada nas
81
CE.2)
CE.3)
CE.4)
CE.5)
CE.6)
CE.7)
CE.8)
ferramentas de busca Google (http://www.google.com.br/) e/ou Google

Scholar (http://scholar.google.com.br/);
Artigos que claramente no atendam as questes de pesquisa;
Artigos repetidos (em mais de uma fonte de busca) tero apenas sua
primeira ocorrncia considerada;
Artigos duplicados tero apenas sua verso mais recente ou a mais
completa considerada, salvo casos em que haja informaes
complementares.
Estudos enquadrados como resumos, keynote speeches, cursos, tutoriais,
workshops e afins;
Artigos que no mencionem as palavras-chave da pesquisa no ttulo,
resumo ou nas palavras-chave do artigo, salvo trabalhos que abordem
melhoria do processo de software nos quais seja observada possibilidade
do Processo de Medio ser tratada ao longo do trabalho.
Excluir se o estudo no estiver inserido no contexto de Projetos de
Software, Indstria de Software ou Engenharia de Software.
Excluir se o estudo no estiver apresentado em uma das linguagens aceitas
(Ingls e Portugus).
Os critrios de incluso dos artigos se baseiam em:

CI.1)
CI.2)
Estudos que apresentem primria ou secundariamente abordagens (padres

e CASEs) de apoio s atividades do Processo de Medio;
Estudos que apresentem relatos de experincia da indstria, ou pesquisas
de carter experimental ou terico, contanto que apresentem exemplos de
aplicao, descrio de experimentos ou casos reais de uso de abordagens
(padres e CASEs) para apoio s atividades de Processos de Medio.
Critrios de Qualidade dos Estudos Primrios
Em adio aos critrios gerais de incluso e excluso, considerado importante avaliar a

qualidade dos estudos primrios (KITCHENHAM, 2004). Os critrios de qualidade que sero
aplicados aos estudos primrios foram adaptados de Catarina (2010) uma vez que descreviam
critrios abrangentes o suficiente para cobrir o escopo dos estudos a serem considerados, com
alteraes para adequarem-se aos objetivos e questes de pesquisa desta reviso sistemtica.
1.
2.
Introduo/Planejamento
a. Os objetivos ou questes do estudo so claramente definidos (incluindo justificativas
para a realizao do estudo)?
b. O tipo de estudo est definido claramente?
Desenvolvimento
82
a.
b.
3.
4.
5.
6.
7.
8.
Existe uma clara descrio do contexto no qual a pesquisa foi realizada?

O trabalho bem/adequadamente referenciado (apresenta trabalhos relacionados ou
semelhantes e baseia-se em modelos e teorias da literatura)?
Concluso
a. O estudo relata de forma clara e no ambgua os resultados?
b. Os objetivos ou questes do estudo so alcanados?
Critrios para a Questo de Investigao
a. O estudo lista primria ou secundariamente as Necessidades de Informao ou
Indicadores ou Medidas mais utilizados em relao a um determinado objetivo
organizacional no contexto do processo de medio de software?
b. O estudo apresenta Ferramentas de apoio s atividades do Processo de Medio?
Critrio Especfico para estudos Experimentais
a. Existe um mtodo ou um conjunto de mtodos descrito para a realizao do estudo?
Critrio Especfico para estudos Tericos
a. Existe um processo no tendencioso na escolha dos estudos?
Critrio Especfico para Revises Sistemticas
a. Existe um protocolo rigoroso, descrito e seguido?
Critrio Especfico para Relato de Experincia Industrial
a. Existe uma descrio sobre a(s) organizao(es) onde foi conduzido o estudo?
Processo de Buscas nas Fontes
Para a execuo desta reviso sistemtica cada mtodo de busca definido anteriormente seguir
os seguintes processo:
1.9.Processo de Busca Manual

Durante a conduo desta reviso sistemtica, os estudos primrios sero identificados conforme
o processo seguinte:
1. Realiza-se as buscas em todos os anais das conferncias selecionadas, por meio da

leitura do ttulo e abstract, e se necessrio, introduo e concluso de todos os
estudos, estudos claramente irrelevantes a pesquisa so descartados.
1.10.
Processo de Busca Automtica

1. Realiza-se as buscas em todas as fontes selecionadas, por meio de Strings de
busca, estudos claramente irrelevantes a pesquisa so descartados. Os artigos so
catalogados de forma a estabelecer uma planilha com a lista, para cada
pesquisador, de possveis estudos primrios;
83
Processo de Seleo dos Estudos Primrios

Para a execuo desta reviso sistemtica sero utilizados os seguintes recursos:
Dois pesquisadores (um aluno de mestrado e um graduando);

Acesso s fontes de pesquisa por meio do domnio da Universidade Federal do Par;
Validaes sobre documentos e procedimentos da realizao da reviso sistemtica
atravs de reunies com o coordenador do Projeto SPIDER e orientador do projeto de
dissertao, onde esta pesquisa est inserida, o Prof. Dr. Sandro Ronaldo Bezerra
Oliveira;
Durante a conduo desta reviso sistemtica, os estudos primrios sero identificados conforme
o processo seguinte:
1. A partir da leitura de resumo, introduo e concluso, os artigos devero ser

avaliados quanto aos critrios de incluso e excluso, e o resultado deve ser
registrado.
2. Os dois pesquisadores responsveis pela seleo dos artigos devem entrar em
consenso, quando necessrio. Isso ocorre quando no h uma unanimidade na
incluso de um artigo e pelo menos um pesquisador decidir incluir.
3. Na fase de consenso, em caso de discordncia sobre a incluso de algum estudo, o
mesmo dever ser includo.
4. Os estudos primrios identificados sero posteriormente lidos em totalidade e
ento ser aplicada a avaliao de qualidade e a estratgia de extrao de dados,
conforme descrito nas subsees seguintes.
Avaliao da Qualidade dos Estudos Primrios
A qualidade de um artigo pode ser mensurada pela relevncia e valor cientfico de seu contedo;
tambm considerado um critrio de excluso, a ser aplicado durante a conduo da pesquisa.
Desta forma, durante a anlise dos estudos primrios e coleta de resultados, sero aplicados os
critrios de qualidade (definidos na seo 12), permitindo um processo adicional de validao
dos estudos, de forma a identificar possveis trabalhos que ainda devem ser desconsiderados da
pesquisa e observar o grau de importncia dos estudos individualmente para quaisquer
comparaes durante a sntese dos dados (KITCHENHAM, 2005).
Adicionalmente, a avaliao da qualidade pode servir como recomendao de estudos para
futuros pesquisas, fornecendo informaes a respeito da qualidade das informaes de cada
estudo avaliado (KITCHENHAM, 2005).
84
Artigos que, porventura, sejam excludos por no se adequarem aos critrios de qualidade devem
ser citados, juntamente com as razes para sua excluso. Aps este passo, os artigos includos na
pesquisa passaro pela fase de extrao de dados.
Os critrios (1) a (4) se aplicam a todos os estudos primrios avaliados, enquanto os critrios (5)
a (8) se aplicam especificamente aos respectivos tipos de trabalho mencionados.
Processo de Avaliao de Qualidade
Os estudos primrios selecionados so lidos em totalidade e ento so avaliados quanto aos

critrios de qualidade. Para avaliar o grau de adequao aos critrios de qualidade, ser adotada a
estratgia de avaliao proposta por Costa (2010), onde se utiliza a escala de Likert-5,
permitindo respostas gradativas de 0 (discordo totalmente) 4 (concordo totalmente), como
apresentada no quadro 3.1. Para auxiliar a avaliao seguindo a escala de Likert-5 para cada
critrio de qualidade foram definidas escalas, como se pode observar no quadro 3.2.
Escala de Likert-5
Concordo totalmente (4)
Deve ser concedido no caso em que o trabalho apresente

no texto os critrios que atendam totalmente a questo.
Concordo parcialmente (3) Deve ser concedido no caso em que o trabalho atenda
parcialmente aos critrios da questo.
Neutro (2)
Deve ser concedido no caso em que o trabalho no deixe

claro se atende ou no a questo;
Discordo parcialmente (1)
Deve ser concedido no caso em que os critrios contidos

na questo no so atendidos pelo trabalho avaliado;
Discordo totalmente (0)
Deve ser concedido no caso em que no existe nada no

trabalho que atenda aos critrios da questo.
85
Escala por Critrio

Critrio
Escala
1a.
4 - Define e justifica o estudo claramente.

3 - Define claramente o estudo, porm a justificativa no clara.
2 - Define claramente o estudo, mas no justifica.
1 - A definio dos objetivos do estudo no clara.
0 - No define o estudo.
1b.
4 Define o tipo de estudo, referenciando na literatura a metodologia.

3 Define o tipo de estudo, porm sem referenciar a metodologia.
2 No define o tipo de estudo. possvel inferir facilmente.
1 No define o tipo de estudo. possvel inferir com dificuldade.
0 No possvel inferir o tipo de estudo.
2a.
4 Define claramente uma seo com o contexto da pesquisa.

3 O contexto da pesquisa est includo em uma seo no exclusiva.
2 O contexto da pesquisa est disperso ao longo do texto.
1 O contexto da pesquisa est disperso e insubstancial.
0 O contexto da pesquisa no abordado.
2b.
4 O texto apresenta uma seo de trabalhos relacionados.

3 O texto apresenta trabalhos relacionados em uma seo no exclusiva.
2 O texto apresenta trabalhos relacionados dispersos ao longo do texto.
1 O texto no apresenta trabalhos relacionados, mas se apoia na literatura.
0 O texto no apresenta trabalhos relacionados nem se apoia na literatura.
3a.
4 Resultados so claramente apresentados na seo de concluso.

3 Resultados so claramente referenciados na seo de concluso.
2 Resultados apresentados na concluso no so claros.
1 Resultados referenciados na concluso no so claros.
0 No so apresentados resultados.
3b.
4 Os resultados esto totalmente aderentes ao objetivo do estudo.

86
3 Os resultados esto aderentes ao objetivo do estudo, no entanto o autor

faz ressalvas.
2 Os resultados so parcialmente aderentes ao objetivo do estudo.
1 Os resultados no esto aderentes ao objetivo do estudo.
0 No alcanado nenhum resultado.
4a.
4 Algum dos elementos claramente descrito.

3 Algum dos elementos apresentado, mas no aprofundado.
2 Algum dos elementos avaliado, porm no descrito.
1 Algum dos elementos citado indiretamente.
0 Nenhum dos elementos apresentado direta ou indiretamente.
4b.
4 Apresenta uma ferramenta disponvel para uso em verso funcional.

3 Apresenta ferramenta em verso funcional, porm no disponvel para
uso.
2 Apresenta um projeto ou proposta de ferramenta, incluindo a descrio
de funcionalidades.
1 Apresenta apenas algoritmos de apoio ou anlises de ferramentas de
suporte Rastreabilidade de Requisitos.
0 No so apresentadas ferramentas de apoio.
5a.
4 O mtodo de experimento definido e referenciado claramente.

3 O mtodo de experimento definido claramente.
2 O mtodo de experimento citado.
1 O mtodo de experimento no citado, porm possvel inferir.
0 No possvel inferir o mtodo de experimento.
6a.
4 O texto descreve critrios para a escolha dos estudos.

3 O texto no descreve critrios para a escolha dos estudos, porm
apresenta estudos que discordam do estudo apresentado.
2 O texto descreve apenas estudos aderentes ao estudo apresentado.
1 O texto descreve estudos insuficientes.
87
0 O texto no descreve estudos base.

7a.
4 O protocolo de reviso apresentado, descrito e seguido.

3 O protocolo de reviso apresentado e descrito, porm h evidncias de
que no foi seguido adequadamente.
2 O protocolo de reviso no foi suficientemente descrito.
1 O protocolo de reviso apenas foi citado ao longo do texto.
0 No h um protocolo de reviso.
8a.
4 A rea de atuao, tamanho e origem da organizao so informados.

3 Apenas duas das caractersticas do item 4 so informadas.
2 Apenas uma das caractersticas do item 4 informada.
1 Nenhuma das caractersticas do item 4 informada.
0 O estudo no foi conduzido em uma ou mais organizaes.
1. Deve-se ento, dada soma das pontuaes, enquadr-los em um dos

cinco nveis de qualidade classificados por Beecham (2007), tais como,
apresentados na tabela abaixo.
Faixa de Notas
Avaliao
Excelente
>86%
Muito Boa
66%-85%
Boa
46%-65%
Mdia
26%-45%
Baixa
< 26%
Estratgia de Extrao de Informaes
Cada publicao selecionada avaliada com relao ao tipo de abordagem que ela utiliza. Esta
aderncia registrada na tabela Avaliao da Qualidade.
88
1.11.
Extrao de resultados
Para cada estudo primrio analisado durante a etapa de extrao de resultados, ser feito um
resumo e sero observados os detalhes referentes s questes secundrias da pesquisa (ver 4.2).
Desta forma, ser analisado:
1.11.1. Q1A Qual o contexto de aplicao da abordagem encontrada?

A abrangncia da abordagem (referente a questo de pesquisa Q1) ser analisada em relao ao
contexto de desenvolvimento onde foi encontrada a abordagem (acadmico, industrial).
1.11.2. Q1B Qual a metodologia utilizada no processo de medio?

Verificar quais metodologias, tais como GQM, GQIM, PSM, entre outras est sendo utilizada no
processo de medio de software do trabalho em questo.
1.11.3. Q1C Quais objetivos de medio so mais comuns entre as empresas

desenvolvedoras de software?
Verificar quais so os objetivos de medio das empresas desenvolvedoras de software e se as
mesmas possuem objetivos de medio comuns.
1.11.4. Q1D Quais as necessidades de informao (questes) so mais utilizadas para

tentar atingir os objetivos organizacionais?
Para cada objetivo de medio encontrado, analisar quais questes so elaboradas para que com
as respostas das mesmas se possa tomar uma deciso em prol do objetivo. Conhecer as diversas
questes e saber quais so mais utilizadas e mais adequadas nos diferentes contextos.
1.11.5. Q1E Quais os indicadores so geralmente utilizados?

Se o estudo fizer uso da metodologia GQIM, para cada necessidade de informao, limites so
estipulados com o intuito de saber se o valor obtido est bom, razovel ou ruim, busca-se com
esse item verificar quais indicadores, assim como suas metas e limites so mais utilizados.
1.11.6. Q1F Quais as medidas e quais campos de medidas so geralmente

armazenados para o processo?
89
Verificar quais so as medidas mais utilizadas no processo de medio para se obter um

determinado indicador e quais so os dados que costuma-se armazenar de cada medida.
1.11.7. Q1G Quais os ativos (papis, artefatos) envolvidos?

Para cada abordagem encontrada nos estudos, verificar quais os ativos envolvidos em seu
desenvolvimento.
Sumarizao dos Resultados
1.12.
Disposio das Informaes
O principal grfico gerado em relao questo de pesquisa o da quantidade de artigos que
abordam uma determinada tcnica. Outros grficos podem ser desenvolvidos ao longo da
Extrao dos Resultados, como, por exemplo:
Quantidade e classificao de ferramentas analisadas;

Quantidade de artigos selecionados por base de dados;
Evoluo ao longo do tempo da quantidade de estudos selecionados;
Quantidade de estudos por tipo (Experimental, Terico, Reviso
Sistemtica ou Relato de Experincia);
90
APNDICE B ESTUDOS PRIMRIOS

ID
Ttulo
Ano de
Publicao
Fonte
A case-study on using an Automated

In-process Software Engineering
EP1
Measurement and Analysis system in
2009
ACM
2011
ACM
2010
ACM
2011
ACM
2011
ACM
2015
ACM
2013
CLEI
2006
CLEI
an industrial environment
Formulation and Empirical
EP2
Validation of a GQM Based

Measurement Framework
Is GQM+Strategies really applicable
EP3
as is to non-software development
domains?
A case study of measuring process
EP4
risk for early insights into software

safety
A Case Study on Improving
EP5
Maintainability and Evolvability

using Architectural Constraints
Functional Safety Measurement in
EP6
the Automotive Domain: Adaptation

of PSM
Defining Indicators for Risk
EP7
Assessment in Software
Development Projects
Applying Software Metrics to
EP8
evaluate Business Process Models
91
A quality model for mobile thick

EP9
client that utilizes web API
2014
El Compendex
2010
El Compendex
2007
El Compendex
2011
El Compendex
2008
IEEE
2011
IEEE
2010
IEEE
2011
IEEE
2013
IEEE
2011
IEEE
2007
IEEE
MIS-PyME software measurement

capability maturity model EP10
Supporting the definition of software

measurement programs and
capability determination
Bridging the gap between business
EP11
strategy and software development

Software engineer behavior analysis
EP12
EP13
measurement process in SW-KPA

A Composite Measurement Pattern
A Quality Measurement Framework
EP14
for IT Services
Linking Software Development and
EP15
Business Strategy Through

Measurement
Prioritizing Requirements-Based
EP16
Regression Test Cases: A GoalDriven Practice

The software project progress
EP17
measurement frame based on GQM

model
Validation of a generic GQM based
measurement framework for
EP18
software projects from industry

practitioners
EP19
A Metrics Generation Model for
92
Measuring the Control Objectives of

Information Systems Audit
Alignment between the business
strategy and the software processes
EP20
improvement: A roadmap for the
2009
IEEE
2005
IEEE
2008
IEEE
2006
IEEE
2014
IEEE
2010
IEEE
2011
IEEE
2009
IEEE
implementation
Automated support for processEP21
aware definition and execution of

measurement plans
Framework for Quantitative S/W
Development Performance
EP22
Measurement and Analysis in

Semiconductor Industry
Measurement in Support of Safety
EP23
and Security Management

Models and software measurement
using Goal/Question/Metric method
EP24
and CMS Matrix parameter (Case

study discussion forum)
Process Model for Decision Making
EP25
Using GQM approach

SPQF: Software Process Quality
EP26
Factor
Towards a Multi-agents Architecture
EP27
for GQM Measurement System

A decision support framework for
EP28
metrics selection in goal-based
2013
ISI Web of
Knowledge
measurement programs: GQM-
93
DSFMS
An empirical research agenda for
EP29
understanding formal methods
2014
productivity
ISI Web of
Knowledge
Designing a Strategic Measurement

Program for Software Engineering
EP30
Organizations- Discovering
2014
ISI Web of
Knowledge
Difficulties and Problems

Automated support for processEP31
2005
measurement plans
Critical Success Factors To Evaluate
EP32
Information Technology Outsourcing
2008
Projects
EP33
2010
Measurement
Measuring process innovations and
EP34
improvements
2007
ISI Web of
Knowledge
ISI Web of
Knowledge
ISI Web of
Knowledge
ISI Web of
Knowledge
Avaliao da Acessibilidade de
EP35
Stios Web por meio de Mtricas de
2007
SBQS
2010
SBQS
2007
SBQS
Software
Anlise da Estrutura e Contedo de
uma Base de Medidas Visando ao
EP36
Controle Estatstico de Processos de

Software
Medies de uma implementao de
EP37
MPS. BR nvel F
94
Uma Infra-Estrutura de Apoio a um

Processo de Medio de Projetos em
EP38
Micro e Pequenas Empresas de
2010
SBQS
2010
SBQS
2013
SBQS
2013
SBQS
2013
Scopus
2014
WAMPS
2014
WAMPS
Software
Uma Proposta de Medio para
Avaliar a Qualidade em Uso dos
EP39
Sistemas de Informao no Senado

Federal
Avaliao da Qualidade do Modelo
EP40
de Features em Linhas de Produtos

de Software Utilizando Medidas
Ostra: uma abordagem para anlise
EP41
da qualidade de software por meio de

regras de associao de mtricas
A decision support framework for
EP42
metrics selection
Indicaes de Abordagens para
Rastreabilidade de Requisitos no
EP43
contexto do MRMPS-SW por meio

de uma Reviso Sistemtica da
Literatura
Mapeamento Sistemtico sobre
EP44
Mtricas no Contexto de Mtodos

geis aplicadas a Teste de Software
95
APNDICE C ESTUDOS EXCLUDOS
ID
Titulo
Ano de
publicao
Critrios
Fonte
de
Excluso
A case study of measuring process

EE1
risk for early insights into software
2011
ACM
EC2
2011
ACM
EC2
2015
ACM
EC2
2006
CLEI
EC2
2007
El Compendex
EC2
2007
IEEE
EC2
2009
IEEE
EC2
2005
IEEE
EC2
safety
A Case Study on Improving
EE2
Maintainability and Evolvability

using Architectural Constraints
Functional Safety Measurement in
EE3
the Automotive Domain: Adaptation

of PSM
EE4
EE5
Applying Software Metrics to

evaluate Business Process Models
Bridging the gap between business
strategy and software development
A Metrics Generation Model for
EE6
Measuring the Control Objectives of

Information Systems Audit
Alignment between the business
EE7
strategy and the software processes

improvement: A roadmap for the
implementation
EE8
Automated support for processaware definition and execution of
96
measurement plans
Framework for Quantitative S/W
EE9
Development Performance
Measurement and Analysis in
2008
IEEE
EC2
2006
IEEE
EC2
2014
IEEE
EC2
2010
IEEE
EC2
2011
IEEE
EC2
2009
IEEE
EC2
Semiconductor Industry
EE10
Measurement in Support of Safety

and Security Management
Models and software measurement
EE11
using Goal/Question/Metric method

and CMS Matrix parameter (Case
study discussion forum)
EE12
EE13
EE14
Process Model for Decision Making

Using GQM approach
SPQF: Software Process Quality
Factor
Towards a Multi-agents Architecture
for GQM Measurement System
Automated support for process-
EE15
2005
measurement plans
ISI Web of
Knowledge
EC2
CRITICAL SUCCESS FACTORS

EE16
TO EVALUATE INFORMATION
TECHNOLOGY OUTSOURCING
2008
ISI Web of
Knowledge
EC2
PROJECTS
EE17
2010
Measurement
EE18
Medies de uma implementao de
2007
ISI Web of
Knowledge
SBQS
EC2
EC2
97
MPS. BR nvel F
Uma Infra-Estrutura de Apoio a um
EE19
Processo de Medio de Projetos em

Micro e Pequenas Empresas de
2010
SBQS
EC2
2010
SBQS
EC2
2013
SBQS
EC2
2013
SBQS
EC2
2014
WAMPS
EC2
2014
WAMPS
EC2
Software
Uma Proposta de Medio para
EE20
Avaliar a Qualidade em Uso dos

Sistemas de Informao no Senado
Federal
Avaliao da Qualidade do Modelo
EE21
de Features em Linhas de Produtos

de Software Utilizando Medidas
Ostra: uma abordagem para anlise
EE22
da qualidade de software por meio de

regras de associao de mtricas
Indicaes de Abordagens para
Rastreabilidade de Requisitos no
EE23
contexto do MRMPS-SW por meio

de uma Reviso Sistemtica da
Literatura
Mapeamento Sistemtico sobre
EE24
Mtricas no Contexto de Mtodos

geis aplicadas a Teste de Software
98

TCC Rubens Fernandes Rocha - Versão Final - 31-10-16

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

TCC Rubens Fernandes Rocha - Versão Final - 31-10-16

Enviado por

Direitos autorais:

Formatos disponíveis

UNIVERSIDADE FEDERAL DO PAR

INSTITUTO DE CINCIAS EXATAS E NATURAIS

Rubens Fernandes Rocha

UM ESTUDO DE MAPEAMENTO SISTEMTICO DA LITERATURA PARA A COLETA

Rubens Fernandes Rocha

UM ESTUDO DE MAPEAMENTO SISTEMTICO DA LITERATURA PARA A COLETA

Trabalho de Concluso de Curso apresentado

Orientador: Prof. Dr. Sandro Ronaldo Bezerra

Rubens Fernandes Rocha

UM ESTUDO DE MAPEAMENTO SISTEMTICO DA LITERATURA PARA A COLETA

Trabalho de Concluso de Curso apresentado

Dedico este trabalho a Deus, s minhas

encorajando em todo momento de turbulncia.

No contexto de desenvolvimento de software, o processo de medio tem por

PALAVRAS-CHAVE: Medio e Anlise, Qualidade de Software, Reviso Sistemtica da

In the software development context, the measurement process is designed to

Keywords: Measurement and Analysis, Software Quality, Systematic Literature Review.

VISO GERAL ..................................................................................... 13

ESTRUTURA DO TRABALHO ............................................................. 18

FUNDAMENTAO TERICA ............................................................... 19

MEDIO DE SOFTWARE .................................................................. 19

2.1.1 Seleo do Mtodo a ser usado para Medio de Software ................ 20

ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS ............. 22

REVISO SISTEMTICA DA LITERATURA ....................................... 23

2.3.1 Reviso Informal versus Reviso Sistemtica ................................... 24

TRABALHOS RELACIONADOS .......................................................... 30

PLANEJAMENTO DA REVISO ............................................................. 33

PROTOCOLO DE REVISO ................................................................. 33

3.1.1 Objetivos da Reviso ....................................................................... 33

3.1.2 Questo de Pesquisa Principal ......................................................... 34

RESULTADOS E ANLISE DO MAPEAMENTO

CONDUO DO MAPEAMENTO ........................................................ 52

4.1.1 Busca Primria ............................................................................... 52

VISO GERAL ..................................................................................... 67

RESULTADOS OBTIDOS ..................................................................... 68

PONTOS FORTES E OPORTUNIDADES DE MELHORIA ..................... 68

TRABALHOS FUTUROS ...................................................................... 69

5.4.1 Evoluo da Reviso Sistemtica ..................................................... 69

Figura 1 Paradigma GQM .......................................................................................... 21

O sucesso de uma organizao determinado, principalmente, pelo servio ou produto

de medio, assim como as medidas para executar o processo de medio e os indicadores, se

Com o objetivo de aplicar tcnicas de um Mapeamento Sistemtico da Literatura (MSL)

Sistemtica da Literatura (RSL), para descobrir abordagens (catlogo com os objetivos de

Kitchenham (2007) afirma, tambm, que os resultados de uma Reviso Sistemtica

Um grande empecilho na rea de medio de software o momento da definio das

O objetivo geral deste trabalho foi realizar um mapeamento sistemtico da literatura

Definir previamente especificaes, tais como, restries de pesquisas, critrios de

Conduzir o Mapeamento Sistemtico da Literatura seguindo as especificaes

Analisar os resultados do mapeamento por meio da caracterizao os estudos

Este trabalho est organizado em cinco captulos, da seguinte forma:

CAPTULO 1 descreve a motivao, problema de pesquisa, objetivos, metodologia da

CAPTULO 2 apresenta a fundamentao terica do trabalho, no que diz respeito

CAPTULO 3 apresenta o planejamento da reviso;

CAPTULO 4 apresenta a principal contribuio desse trabalho, a execuo da reviso

CAPTULO 5 apresenta as concluses do trabalho e trabalhos futuros.

2.1.1 Seleo do Mtodo a ser usado para Medio de Software

Durante o processo de medio importante que se use um mtodo de medio para

Figura 1 Paradigma GQM

ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS

De acordo com Kitchenham et al. (2004), a Engenharia de Software Baseada em

A essncia do paradigma baseado em evidncia coletar e analisar sistematicamente

Estudos Primrios, que so os estudos que visam caracterizar uma determinada

Estudos Secundrios, que so os estudos que visam identificar, avaliar e