Anlise da Completude dos Relatos de

Experimentos em Elasticidade da Computao

em Nuvem:
Um Mapeamento Sistemtico
[Helaine Barreiros]
Orientador: Vinicius Garcia
Co-Orientador: Srgio Soares

ASSERT Lab

CIn.ufpe.br

... Computao pode algum dia ser organizada como

servios de utilidade pblica como gua e telefonia... A
computao utilitria poderia se tornar a base de uma
nova e importante indstria
[John McCarthy 1961]

... Renovar a forma como os softwares so projetados e

distribudos.
[Marc Russel Benioff 1999]

... Os gastos com computao em nuvem iro alcanar a casa dos

$118 bilhes, apontando um crescimento de 36% em relao 2014.
[IDC Predictions 2015]
4

CIn.ufpe.br
6

... estudos no apresentam detalhes suficientes

sobre o contexto de avaliao, ambiente e
procedimentos... ns temos que inferir certas
informaes.
Durao, F., Carvalho, J. F. S., Fonseka, A., & Garcia, V. C. (2014). A
systematic review on cloud computing

..estudos primrios em geral no so

conduzidos ou reportados de maneira
apropriada..
Li, Z. et al. (2013). On evaluating commercial Cloud services: A
systematic review.

apenas 2% dos estudos apresentam claramente

CIn.ufpe.br
suas perguntas de pesquisa7

[Linha do tempo dos guias para relato de exp

CIn.ufpe.br
8

CIn.ufpe.br
9

Objetivo da Pesquisa

Avaliar o quo completos so os relatos

de experimentos em elasticidade na
computao em nuvem (CN), com base
em guia existente na engenharia de
software experimental (ESE), a fim de
identificar lacunas que permitam
comunidade melhorar a qualidade das
CIn.ufpe.br
evidncias empricas geradas por estas
10

Agenda
Mtodo
Ciclo Geral da Pesquisa
Protocolo do Mapeamento Sistemtico

Resultados
Execuo do MS
Anlise Geral
Anlise das Evidncias
Discusso dos Resultados

Consideraes Finais
Concluses
Ameaas Validade
Trabalhos Futuros

CIn.ufpe.br
11

[Ciclo Geral da Pesquisa, Protocolo do

Mapeamento Sistemtico]

Mtodo

CIn.ufpe.br

Mtodo - Ciclo Geral da Pesquisa

CIn.ufpe.br
13

Protocolo do
Mapeamento Sistemtico]
[Ciclo Geral da Pesquisa,

Mtodo

CIn.ufpe.br

Mtodo - Protocolo do
Mapeamento Sistemtico

CIn.ufpe.br
15

Mtodo - Protocolo do
Mapeamento Sistemtico
Questes de Pesquisa
QP1 Quo completos so os relatos de
experimentos em elasticidade na computao em
nuvem?
[SQP1] O ttulo permite que o leitor identifique que o
estudo um relato de experimento?
[SQP2] Informaes pertinentes ao resumo como
motivao, objetivos, mtodos, resultados, limitaes e
concluses da pesquisa so relatadas?
[SQP3] A introduo do relato apresenta referncias
declarao do problema, objetivos e contexto da pesquisa?
CIn.ufpe.br
16

Mtodo - Protocolo do
Mapeamento Sistemtico
Questes de Pesquisa
QP1 Quo completos so os relatos de experimentos em
elasticidade na computao em nuvem?
[SQP4] A fundamentao informa sobre a tecnologia em
investigao, s possveis opes alternativas ela, pesquisas
relacionadas e a relevncia para a prtica?
[SQP5] O relato apresenta informaes sobre o planejamento da
pesquisa?
[SQP6] O relato detalha a anlise dos dados da pesquisa?
[SQP7] Os resultados, suas implicaes e as ameaas validade so
relatados?
[SQP8] As concluses do estudo apresentam um resumo conciso da
pesquisa, seus impactos e apontam trabalhos futuros?
CIn.ufpe.br
17

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Busca Fontes de dados
Fonte

Pero
do

Tipo

re
a

EASE International Conference on Evaluation and Assessment in

Software Engineering

20062014

Confernc
ia

ESE

ESEM International Symposium on Empirical Software Engineering and

Measurement

20072014

Simpsio

ESE

ESE Empirical Software Engineering Journal

20062014

Jornal

ESE

CLOUD IEEE International Conference on Cloud Computing

20092014

Confernc
ia

CN

CLOUDCOM IEEE International Conference on Cloud Computing

Technology and Science

20102014

Confernc
ia

CN

TPDS IEEE Transactions on Parallel and Distributed Systems

20062014

Jornal

CN

IEEE Xplorer Digital Library

20062014

Automtic
a

ACM Digital Library

20062014

Automtic
a

CIn.ufpe.br
18

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Busca String de Busca
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service
<OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-aService <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR>
SaaS <OR>
Software-as-a-Service <OR> Software as a Service)
[AND]
(Elasticity)
[AND]
(Experiment <OR> Evaluate <OR> Evaluation <OR> Evaluating
<OR> Benchmark)
CIn.ufpe.br
19

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Seleo dos Estudos
Cdi
go

Critrio de Excluso

C01

O arquivo no corresponde ao Estudo. (Ex: ndice)

C02

O arquivo no um Estudo. (Ex: proceedings, editorial)

C03

O Estudo duplicado.

C04

O Estudo um slideshow ou resumo expandido.

C05

O Estudo est fora do Range de Avaliao.

C06

O Estudo est relacionado Elasticidade mas no relata um Experimento.

C07

O Estudo est relacionado Elasticidade, reporta um Experimento porm no

avalia Elasticidade.

C08

O Estudo no est disponvel.

C09

O Estudo no est em ingls.

C10

O Estudo no est relacionado Computao em Nuvem

C11

O Estudo no est relacionado Elasticidade na Computao em Nuvem.

CIn.ufpe.br
20

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Seleo dos Estudos

CIn.ufpe.br
21

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Seleo dos Estudos

CIn.ufpe.br
22

Mtodo - Protocolo do
Mapeamento Sistemtico
Estratgia de Extrao dos Dados
Metadados
Ttulo, Autores, Instituies, Pases, Fonte e Ano de Publicao.

Instrumento de Coleta
51 perguntas [Jedlitschka et al. 2008 - Reporting experiments in
software engineering]
Perguntas estruturadas de acordo com as sees esperadas no
relatrio de um experimento.
Valores de pontuao das perguntas: 0 [No] / 0,5
[Parcialmente] / 1,0 [Sim]
As notas dos estudos apresentada em uma escala de 0 a 10
pontos.
CIn.ufpe.br
23

[Execuo do MS, Anlise Geral, Anlise das

Evidncias e Discusso dos Resultados]

Resultados

CIn.ufpe.br

Resultados Execuo do
Mapeamento Sistemtico
Busca dos Estudos
Fonte de
Dados

Tipo

Quantid
ade

ACM Digital
Library

Automtica

490

IEEE Xplorer
Digital Library

Automtica

170

Elsevier Scopus

Automtica

163

Springer Link

Automtica

251

TPDS

Manual

1315

CLOUDCOM

Manual

517

CLOUD

Manual

454

EASE

Manual

85

ESE

Manual

75

ESEM

Manual

91

CIn.ufpe.br
25

Resultados Execuo do
Mapeamento Sistemtico
Seleo dos Estudos

CIn.ufpe.br
26

[Execuo do MS, Anlise Geral, Anlise das

Evidncias e Discusso dos Resultados]

Resultados

CIn.ufpe.br

Resultados Anlise Geral

Estudos candidatos identificados por estratgia de busca

CIn.ufpe.br
28

Resultados Anlise Geral

Estudos candidatos identificados na busca automtica

em relao s fontes de dados

CIn.ufpe.br
29

Resultados Anlise Geral

Estudos candidatos identificados na busca manual em

relao as venues.

CIn.ufpe.br
30

Resultados Anlise Geral

Estudos selecionados por fonte de dados

CIn.ufpe.br
31

Resultados Anlise Geral

Resumo da seleo de estudos na primeira etapa

CIn.ufpe.br
32

Resultados Anlise Geral

Resumo da seleo de estudos na segunda etapa

CIn.ufpe.br
33

Resultados Anlise Geral

Distribuio temporal dos estudos selecionados

CIn.ufpe.br
34

Resultados Anlise Geral

Distribuio dos estudos selecionados por pases

CIn.ufpe.br
35

Resultados Anlise Geral

Distribuio dos estudos selecionados por venue e ano

35
30
25
20
15
10
5
0

ACM

CLOUD

CLOUDCOM
2010

2011

IEEEX
2012

SL
2013

SCP
2014

TPDS

CIn.ufpe.br
36

Resultados Anlise Geral

Distribuio dos estudos selecionados por modelo de

servio25e ano
20

1
2
2

15

2
0
1

10

10
7

0
1
1

2010

2011

2012

IaaS

PaaS

SaaS

XaaS

2013
IaaS/PaaS

2014

CIn.ufpe.br
37

Resultados Anlise Geral

Distribuio dos estudos selecionados por tipo de

instituio e publicaes p/ ano

CIn.ufpe.br
38

Resultados Anlise Geral

Lista dos autores com mais de uma publicao

CIn.ufpe.br
39

[Execuo do MS, Anlise Geral,

Anlise das

Evidncias e Discusso dos Resultados]

Resultados

CIn.ufpe.br

Resultados Anlises das

Evidncias
Pontuao
Mxima

Seo
Ttulo

Autoria

Resumo

13

Introduo

Fundamentao

Planejamento

13

Anlises

Discusso

Concluses

Apndices

1
Total

51

CIn.ufpe.br

Resultados Anlises das

Evidncias

SQP1 - O ttulo do permite que o leitor identifique

que o estudo um relato de experimento?
Nenhum dos estudos permite identificar, pelo ttulo, que o
estudo relata um experimento
A maior nota obtida foi 2 de um total de 3
100%
0
9
53% dos estudos no pontuou em90%
nenhuma
questo
18
1
80%
70%
60%
50%
40%
30%
20%
10%
0%

1
59
40

49

Nota 1
Nota 0.5
Nota 0

CIn.ufpe.br
42

Resultados Anlises das

Evidncias
SQP2 Informaes pertinentes ao resumo como motivao,
objetivos, mtodos, resultados,
limitaes e concluses da pesquisa so relatadas?
Os resumos omitem informaes importantes e no utilizam formato
estruturado.
Objetivo descrito em 98%
Objeto estudado apresentado em 100%
Perspectiva apresentada em 47%
Mtodo citado em 42%
Procedimentos de anlise em 0%
Resultados em 61%
Limitaes da pesquisa em 0%
Impacto dos resultados em 27%
CIn.ufpe.br
43

Resultados Anlises das

Evidncias

SQP2 Informaes pertinentes ao resumo como

motivao, objetivos, mtodos, resultados,
limitaes e concluses da pesquisa so relatadas?
Maior nota 8 de 13

CIn.ufpe.br
44

Resultados Anlises das

Evidncias

SQP3 - A introduo do relato apresenta referncias

declarao do problema, objetivos e contexto da
pesquisa?
As introdues so reportadas contento.
100%
Em geral 98% dos estudos
90%apresentam todas as
80%
informaes
70%
2.0
2.5
3.0

60%
50%
40%
30%
20%
10%
0%

58

58

58
Nota 1
Nota 0.5

0
1

1
0

0
1

Nota 0

CIn.ufpe.br
45

Resultados Anlises das

Evidncias

SQP4 A fundamentao informa sobre a tecnologia

em investigao, s possveis opes alternativas a
ela, pesquisas relacionadas e relevncia para a
prtica?
As fundamentaes so reportadas contento
100%
Descries das tecnologias e
solues alternativas
80%
descritas quase pela totalidade
60%
54
55
58
58
40% por 92%
Trabalhos relacionados citados
20%
Impacto da pesquisa citado
2.0 por 93%
1
1
4
3
0
0
3.0

0%

Nota 1
Nota 0.5
Nota 0

3.5
4.0

CIn.ufpe.br
46

Resultados Anlises das

Evidncias

SQP5 O relato apresenta informaes sobre o

planejamento da pesquisa?
Informaes importantes do planejamento so omitidas.
Os objetivos foram citados por 100% dos estudos
Unidades experimentais omitidas por 17% dos estudos
Materiais experimentais omitidos por 19%
Atividades omitidas por 12%
Hiptese no mencionada por 17%
Variveis dependentes omitidas por 98%
Variveis independentes mencionadas em 90%
Mtricas omitidas em 22%
Desenho experimental omitido em 17%
CIn.ufpe.br
47

Resultados Anlises das

Evidncias

SQP5 O relato apresenta informaes sobre o

planejamento da pesquisa?

Instrumentos, materiais e ferramentas omitidos em 69%

Procedimentos de execuo omitidos em 27%
100%
1
0
Coleta dos dados omitida por 37%
90%
13
14
80%
1
5
70%
37
39
Teste de Hiptese omitido por 75%
44
60%
48 47 50
53 52
50% 59
58
40%
Maior nota 6 de 13
41 4 44
30%
Nota 1
7
12%

2.0

3.0

3.5

4.0

4.5

5.0

5.5

6.0

6.5

7.0

7.5

8.0

8.5

9.0

9.5

10.0

10.5

11.0

20%
10%
0%

12
1 1 2
10 11 7 10

5
0 10
1
5 7

16

Nota 0.5
Nota 0

CIn.ufpe.br
48

Resultados Anlises das

Evidncias

SQP6 O relato detalha a anlise dos dados da

100%
2
2
3
0
1
1
pesquisa?
80%
26

Informaes de anlise so omitidas.60% 1 57 55 56

40%
32
20%
Estatstica descritiva omitida por 54%
0%
Dados brutos omitidos por 97%
Preparao dos dados omitida por 93%
Avaliao dos dados da hiptese omitida por 95%
Modelo de anlise da hiptese omitido em 98%
Maior nota 3 de 5

1
0
58
Nota 1
Nota 0.5
Nota 0

0.0
0.5
1.0
3.0

CIn.ufpe.br
49

Resultados Anlises das

Evidncias
SQP7 Os resultados, suas implicaes e as
ameaas validade so reportados?
Os impactos dos resultados no so citados.
A generalizao dos resultados no so citadas e,
quando so, o grau de confiana baixo.
As lies aprendidas no costumam ser reportadas.
As ameaas validade no so direcionadas.
Resultados apresentados em 97%
Relao com pesquisas anteriores omitida em 88%
CIn.ufpe.br
50

Resultados Anlises das

Evidncias
SQP7 Os resultados, suas implicaes e as
ameaas validade so reportados?

Ameaas validade omitida em 93%

Generalizao dos resultados omitida em 56%
Lies aprendidas omitidas em 85%
100%
3
7
1
0
Nota mxima 4 de 5.
80%
26
0.5
1.0
1.5
2.0

60%
40%
20%
0%

52

52

55

0
33

5
2

7
2
50
Nota 1
Nota 0.5
Nota 0

3.0
4.0

CIn.ufpe.br
51

Resultados Anlises das

Evidncias

SQP8 As concluses do estudo apresentam um

resumo conciso da pesquisa, os impactos da
pesquisa e aponta trabalhos futuros?
Em geral os estudos apresentam um resumo conciso da pesquisa e
de seus resultados
Impactos da pesquisa omitidos em
39%
100%
90%
80%
Trabalhos futuros omitidos em 31%
35
0.5
1.0
1.5
2.0

70%
60%
50%
40%
30%
20%
10%
0%

41

58

1
23

1
0

0
18

Nota 1
Nota 0.5
Nota 0

3.0

CIn.ufpe.br
52

[Execuo do MS, Anlise Geral, Anlise das Evidncias e

Discusso dos Resultados]

Resultados

CIn.ufpe.br

Resultados Discusso dos

Resultados
Da completude dos relatos de experimentos em elasticidade
na CN:
A completude dos estudos foi considerada baixa [MN:6,67 E:0 a 10] e, de fato,
difcil interpretar, avaliar a qualidade e validade, generalizar e replicar os
experimentos.
De 3.611 estudos candidatos foram selecionados 59 estudos primrios
relevantes.
Os ttulos no sinalizam se o estudo um relato de experimento.
Os resumos omitem informaes importantes e no utilizam formato
estruturado.
As introdues e fundamentaes so reportadas contento.
Os planejamentos e anlises estatsticas do experimento em geral so
omitidos.
Os impactos dos resultados no so discutidos.
CIn.ufpe.br
54

Resultados Discusso dos

Resultados
Da completude dos relatos de experimentos
em elasticidade na CN:
A generalizao dos resultados, na maioria, no so
citadas.
Quando a generalizao citada seu grau de
confiana afetado, uma vez que informaes
fundamentais so omitidas.
As ameaas validade no so direcionadas.
As lies aprendidas no costumam ser reportadas.
Apndices no costumam ser utilizados.
CIn.ufpe.br
55

Resultados Discusso dos

Resultados
Da completude dos relatos de experimentos
em elasticidade na CN:
Resumo conciso da pesquisa e de seus resultados.
Em alguns casos os impactos da pesquisa so
ignorados.
Conjuntos de dados das pesquisas no so
disponibilizados.

CIn.ufpe.br
56

[Concluses, Ameaas Validade, Trabalhos

Futuros]

Consideraes Finais

CIn.ufpe.br

Consideraes Finais - Concluses

Achados gerais sobre os experimentos em elasticidade
na CN:
Ficou evidente a dificuldade relatada pelos autores para se encontrar
informaes importantes para interpretar, analisar os dados e a
validade dos resultados dos estudos.
A superficialidade das informaes, quando reportadas, dificultam a
interpretao, validao, generalizao e replicao dos resultados.
A forma como os autores descrevem os ttulos dos estudos no
permitem aos potenciais leitores a fcil identificao do experimento.
Em apenas 47% dos estudos selecionados os termos relacionados
elasticidade e experimento foram efetivamente utilizados nas
informaes de ttulo, abstract e palavra-chave.
CIn.ufpe.br
58

Consideraes Finais - Concluses

Achados gerais sobre os experimentos em
elasticidade na CN:
Aplicao do instrumento foi impactada pela disposio e
heterogeneidade das informaes.
Apenas 8% dos estudos se dedicam apenas ao relato de um
experimento.
No foi identificado nenhum experimento human-based.
As informaes de configurao de ambiente, instrumentao
e coleta de dados , quando reportadas, so superficiais.
Argumentaes sobre a seleo de mtricas, parmetros e
ferramentas no so apresentadas.
CIn.ufpe.br
59

Consideraes Finais - Concluses

Achados gerais sobre os experimentos em elasticidade
na CN:

Discusses sobre os resultados so superficiais.

Os contextos dos estudos no so caracterizados.
Nenhum dos estudos indica a data em que o experimento foi realizado.
Nenhum dos estudos fez meno a utilizao de mecanismos ou
guias para executar, planejar e reportar experimentos.
A terminologia dos mtodos empricos indevidamente utilizada.
As venues de publicaes so bem pulverizadas.
No foi encontrado nenhum estudo selecionado que tivesse sido
publicado em algumas das conferncias da engenharia de software
emprica.
CIn.ufpe.br
60

[Concluses, Ameaas
Trabalhos Futuros]

Validade,

Consideraes Finais

CIn.ufpe.br

Consideraes Finais - Ameaas

Validade
1. Vis de seleo das publicaes
Principais conferncias CN e ESE
Peridicos / Busca automticas
String de busca validada por especialistas da CN e ESE

2. Pouca acurcia na extrao dos dados

Formulrio estruturado / exemplos / orientaes de coleta
Computao automatizada e validada por dois pesquisadores

3. Erros de classificao
Classificao j existente na literatura / Participao de dois pesquisadores

4. Basear-se em apenas um engenho de busca

Quatro fontes de busca automtica e seis manuais

5. Conduzir o processo de seleo e excluso por apenas uma pessoa

Participao de oito pesquisadores / Teste Kappa
CIn.ufpe.br
62

[Concluses, Ameaas Validade,

Trabalhos

Futuros]

Consideraes Finais

CIn.ufpe.br

Consideraes Finais - Trabalhos

Futuros
Desenvolver recursos (guias, frameworks,
processos) para apoiar a gerao dos relatos dos
experimentos com base em suas caractersticas e
especificidades.
Caracterizar os experimentos em elasticidade sobre
servios avaliados, aspectos, propriedades, mtricas,
benchmarks e cargas de trabalho.
Identificar razes para a no utilizao dos
mecanismos existentes para apoiar a realizao e
relato de experimentos.
CIn.ufpe.br
64

Consideraes Finais - Trabalhos

Futuros
Conduzir um estudo para identificar como as demais reas
do conhecimento cientfico caracterizam e fazer uso de
informaes apresentadas nos relatos de estudos para
tomada de deciso baseada em evidncias empricas.
Expandir a anlise da completude para os demais tipos
de estudos empricos.
Expandir a anlise s demais reas da computao em
nuvem.
Avaliar os resultados encontrados atravs de uma
replicao.
CIn.ufpe.br
65

Muito Obrigada!

CIn.ufpe.br