Introdução PSI

Núcleo de Pesquisa e Prática em Inteligência Competitiva - NUPIC
DSI
Departamento de Sistemas de Informação
Universidade Federal de Sergipe
Introdução à Experimentação
Prof. Dr. Methanias Colaço Júnior

mjrse@hotmail.com
www.ufs.br
1
Agenda
1. Introdução
2. Motivação
3. Conceitos Básicos
4. Experimentação
5. Propostas para criação de Data
Warehouses
6. Conclusões
www.ufs.br
2
1. Motivação
www.ufs.br
3
SIE
1
“ Data ! Data ! Data ! I cannot make

bricks without clay ! “
(Sherlock Holmes)
www.ufs.br
“ Espere o inesperado ou você não o

encontrará. “
(Heráclito)
www.ufs.br
Algumas Necessidades Fundamentais na Área

de Tecnologia de Informação...
 Adotar novas tecnologias

 Testar se uma nova tecnologia é útil para você
 Avaliar o impacto de uma tecnologia no seu
negócio
www.ufs.br
6
SIE
2
Abordagens que Podem Ser Adotadas
 Perguntar a um perito
 Pesquisar na literatura
 Seguir a prática da indústria
 Pedir para sair e arrumar outro
trabalho menos complicado
www.ufs.br
7
Abordagens que Podem Ser Adotadas
 SER EXPERIMENTAL
 Fazer uma revisão sistemática
 Fazer um levantamento de campo (survey)
 Fazer um estudo de caso
 Fazer um experimento controlado
www.ufs.br
8
Em outras palavras
 Você acredita no que os outros falam ...
 Ou toma uma abordagem científica ...
www.ufs.br
9
SIE
3
Abordagem Científica
1. Quais são as suas metas e qual é a sua

situação?
2. Existe evidência na literatura e/ou na
indústria e como esta evidência se aplica
a SUA situação?
3. Se não existe evidência suficiente, que
tipo de avaliação experimental você
deve fazer?
www.ufs.br
10
Quando usamos a abordagem

científica para o desenvolvimento de
qualquer área, somos
EXPERIMENTAIS.
www.ufs.br
11
Um Exemplo
Quando usamos a abordagem científica
para o desenvolvimento, evolução e
manutenção de software é o que
chamamos de
Engenharia de Software Experimental
www.ufs.br
12
SIE
4
Sou fã das abelhas...

 "Sem as abelhas, o homem pode
desaparecer em quatro anos", disse Albert
Einstein, numa previsão catastrofista, na
primeira metade do século 20;
 Vejam o filme “Fim dos Tempos”.
www.ufs.br
2. Conceitos Básicos
www.ufs.br
14
Modelos, Experimentação e Aprendizado: um

paradigma experimental
 Para entender uma disciplina é necessário a

construção de modelos. Não apenas modelos
de produtos, mas também de processos e
domínios de aplicação;
 Para testar se nossa compreensão está

correta, precisamos testar estes modelos. Isto
implica experimentação;
www.ufs.br
15
SIE
5
Modelos, Experimentação e Aprendizado: um

paradigma experimental
 Analisando resultados experimentais, nós
aprendemos e encapsulamos este
conhecimento em modelos mais sofisticados;
 Este paradigma experimental é usado em

muitas áreas do conhecimento: física,
medicina, química, manufatura, etc.
www.ufs.br
16
O Paradigma Experimental
 O Paradigma experimental de uma disciplina

evolui pela aplicação do ciclo: modele,
experimente e aprenda;
 Normalmente, ele começa com a observação

e o registro do que é observado, e evolui para
a manipulação de variáveis controláveis e a
observação do seu efeito em variáveis de
interesse.
www.ufs.br
17
O Paradigma Experimental
 A diferença na aplicação do paradigma

experimental nos vários campos de
conhecimento é ditada pelos objetos de
estudo, as propriedades do sistemas que os
contêm, as relações entre os objetos e o
sistema, e a cultura da disciplina;
 Isto impacta em:

 como modelos são construídos
 como a experimentação é feita.
www.ufs.br
18
SIE
6
O Paradigma Experimental em Física

 Física visa entender e predizer o
comportamento do universo físico;
 Tem dois grupos bem definidos de
pesquisadores, os teóricos e os
experimentalistas, e progride a partir do
inter-relacionamento entre estes dois
grupos;
 Teóricos constroem modelos para
explicar o universo baseados em teorias
sobre variáveis essenciais e sua
interação, determinada em experimentos
anteriores;
www.ufs.br
19
O Paradigma Experimental em Física
 Suas teorias predizem o resultado

de eventos mensuráveis;
 Experimentalistas observam,
medem e experimentam para não
rejeitar ou refutar uma hipótese ou
teoria;
 Eles também exploram novos
domínios.
www.ufs.br
20
O Paradigma Experimental em Medicina

 Os pesquisadores visam entender o
funcionamento do corpo humano para
predizer os efeitos de procedimentos e
drogas;
 Os práticos aplicam o conhecimento
ganho para definir processos de
tratamento do corpo humano;
 Começou como uma forma de arte e só
evoluiu quando começou com o ciclo de
observação, construção de modelos,
experimentação e aprendizado;
www.ufs.br
21
SIE
7
O Paradigma Experimental em Medicina

 Dificuldades
 Estudos variam de experimentos
controlados a estudos de caso
 Variância do ser humano dificulta a
interpretação de resultados
 Complexo para se obter dados
 Nem por isto a medicina deixou de
evoluir !
www.ufs.br
22
Por que medir ?
“What is not “A science is as

measurable make mature as its
measurable.” measurement tools.”
Galileo Galilei Louise Pasteur
“If you can’t measure it,

you can't manage it.“
Peter Drucker
www.ufs.br
O Paradigma Experimental em
Sistemas de Informação (SI)
 Como tantas outras disciplinas, as
disciplinas de SI necessitam de um ciclo
próprio de construção de modelos,
experimentação e aprendizado;
 Nossa área está cheia (também) de
disciplina de laboratório;
 Deve existir o prático cujo papel é
construir sistemas “mais baratos”, “mais
rápidos” e “melhores”, utilizando o
conhecimento disponível;
www.ufs.br
24
SIE
8
 Devem existir pesquisadores que tentem
entender a natureza dos processos e
produtos, bem como a relação entre os
dois no desenvolvimento e manutenção
de sistemas;
 Comparado com outras disciplinas, por
exemplo, a Engenharia de Software é
muito nova (1968), e a área de
experimentação ainda está na sua
infância.
www.ufs.br
25
 A relação entre práticos e pesquisadores
é altamente simbiótica:
 Pesquisadores precisam de
laboratórios para observar e manipular
variáveis. A indústria é o ambiente
ideal;
 Práticos precisam entender como
melhor construir e manter seus
sistemas. Os pesquisadores são os
mais indicados para auxiliar nesta
tarefa.
www.ufs.br
26
2. Data Warehouse
www.ufs.br
27
SIE
9
Data Warehouse
• Conceito de Data Warehouse (DW);
“Banco de dados histórico, separado

lógica e fisicamente do ambiente
operacional da organização e
projetado para apoio à decisão”
(Colaço, 2004)
www.ufs.br
www.ufs.br
Por que um ambiente de Data

Warehouse ?
 Integrar dados de múltiplas fontes
 Facilitar o processo de análise sem impacto
para o ambiente de dados operacionais
 Obter informação de qualidade
 Atender diferentes tipos de usuários finais
 Flexibilidade e agilidade para atender novas
análises
www.ufs.br
SIE
10
Scientific Data Warehousing

 Um DW permite o uso de mineração de dados e
ferramentas de análise de forma mais efetiva
 Existe atualmente uma grande
quantidade de repositórios
científicos que não estão sendo
bem explorados;
 Pode melhorar a análise
dos dados dos DW
processos científicos.
Aplicação Ferramenta Aplicação

SD BI Mineração
www.ufs.br
31
Software Data Warehousing

 Existe atualmente uma grande quantidade de
repositórios de Software que não estão sendo
bem explorados;
 Pode melhorar a análise dos dados do processo
de desenvolvimento;
 Está conceitualmente alinhado com o CMMI
Nível 5;
 Também é possível se concentrar nos níveis
mais baixos do processo de desenvolvimento.
Fase de construção, por exemplo.
www.ufs.br
32
Conclusões Iniciais
 Dados experimentais são coletados em
contextos diversos, usando diferentes
definições e níveis de abstração;
 Um DW para combinação de evidências
passa pela análise semântica e
compatibilização do nível de abstração da
informação coletada, considerando os
contextos;
 Novas técnicas precisam ser desenvolvidas e
testadas para cada uma destas atividades.
www.ufs.br
33
SIE
11
Tendências Futuras
 Identificação de formas de se explorar a união
de resultados de experimentos,
potencializando análises mais abrangentes.
Big Scientific Data;
 Empresas intensificando a combinação de
método científico e “time to market”;
 Automatização do processo, facilitando a

validação das conclusões tiradas com os
experimentos originais e dos resultados
obtidos a partir dos estudos secundários.
www.ufs.br
34
2. SI Experimentais
www.ufs.br
35
“No futuro, o pensamento estatístico

será tão necessário para a cidadania
eficiente como saber ler e escrever”.
Herbert George Wells
www.ufs.br
SIE
12
“Se não é necessário um

conhecimento profundo de
estatística, ainda assim o
pesquisador deve ter a ´visão
estatística´ do problema”
C. Castro
www.ufs.br
Paradigmas de Pesquisa em SI
 Paradigma Analítico
 Baseado em matemática;
 Propõe uma teoria formal ou um conjunto de
axiomas;
 Deriva matematicamente um conjunto de resultados;
 Está no cerne da ciência da computação e expõe a
herança matemática da nossa área.
 Paradigma Experimental
 Observa o mundo ou soluções existentes;
 Propõe um modelo de comportamento ou solução
melhor;
 Mede e analisa modelo experimentalmente;
 Valida (ou refuta) hipóteses e modelo;
 Repete o processo para evoluir o conhecimento.
www.ufs.br
38
O Que o Paradigma Experimental Envolve
 Projeto experimental
 Observação
 Coleta de dados
 Análise qualitativa ou quantitativa
 Avaliação do processo e produtos sendo
estudados
www.ufs.br
39
SIE
13
Análise Qualitativa x Análise Quantitativa

 Análise Quantitativa
 Medição controlada (normalmente intrusiva)
 Objetiva
 Orientada à Verificação
 Análise Qualitativa
 Observação naturalística (normalmente não
intrusiva)
 Subjetiva
 Orientada à descoberta
www.ufs.br
40
Tipos de Estudos em SIE
Um estudo é o ato de descobrir algo

desconhecido ou de testar uma
hipótese. Pode incluir todos os tipos
de análise quantitativa e qualitativa.
www.ufs.br
41
Tipos de Estudos em SIE
 Estudos Experimentais
 Voltado ao teste de hipóteses, são
quantitativos;
 Experimentos controlados, quasi-
experimentos ou estudos pilotos.
 Estudos Observacionais
 Voltado à compreensão e descoberta.
Geralmente são mais qualitativos que
quantitativos;
 Pesquisa qualitativa ou semiqualitativa,
entrevistas e levantamentos.
www.ufs.br
42
SIE
14
Disciplina Experimental em SIE
 Uso de Modelos
 Modelos empíricos de custo e ocorrência de
defeitos
 Modelos de processos
 Modelos de produtos
 Pouca Experimentação (ainda)
 Teóricos e práticos vêm seus modelos como “os
tais” que não precisam ser testados
 Para qualquer modelo e tecnologia, faz-se
necessário testar as condições em que eles
funcionam adequadamente.
www.ufs.br
43
Duas Questões a Serem Respondidas
 O que estamos estudando e por que estamos

estudando ?
 Estudos de fatores humanos
 Estudos de projetos e produtos
 Estudos da organização e processos
 Qual o tipo e as características do estudo
experimental ?
 Estudos In Vivo
 Estudos in Vitro
 Estudos in Virtuo e in Silico
www.ufs.br
44
Tipos de Estudo Experimentais

 In Vivo
 Envolve pessoas, no seu próprio ambiente de trabalho, em
condições realistas;
 In Vitro
 Realizado em condições controladas tais como em um
laboratório ou um grupo fechado;
 In Virtuo
 Realizado em condições controladas nas quais os
participantes interagem com modelos computacionais da
realidade (simuladores)
 In Silico
 Participantes e o mundo real são descritos por modelos
computacionais (dinâmica de sistemas)
www.ufs.br
45
SIE
15
Definindo o que Vai se Estudar

 Qual o objeto de estudo
 O que será estudado: um processo, um produto, um modelo ?
 Qual a finalidade do estudo
 Caracterizar (o que está acontecendo?);
 Avaliar (é bom?);
 Predizer (posso estimar seu comportamento futuro?);
 Controlar (posso manipular eventos e situações?);
 Melhorar (posso melhorar eventos e situações?)
 Qual o foco
 Quais aspectos e variáveis do objeto de estudo são de meu
interesse ?
 Qual a perspectiva
 Quais grupos de pessoas estão interessadas no estudo ?
www.ufs.br
46
Definindo o Tipo de Estudo

Experimental
www.ufs.br
Comece com o Objetivo
 O que você quer investigar e por que você

quer investigar?
Exemplo: Avaliar se o método de projeto XYZ

produz resultados melhores que o método
ABC
Finalidade: Testar se os dados que você vai

coletar não rejeitarão ou refutarão a hipótese
www.ufs.br
48
SIE
16
Escolhendo a Abordagem de Pesquisa

 Levantamento de Campo (Survey) Estudo Primário
 Trabalho de campo de levantamento de opinião de várias pessoas
(caracterizando o universo consultado)
 Estudo de caso Estudo Primário
 Aplicação do objeto de estudo em um pequeno número de casos
(caracterizando o ambiente de aplicação)
 Pesquisa Ação Estudo Primário
 Aplicação do objeto de estudo em um pequeno número de casos
(caracterizando o ambiente de aplicação)
 Todavia, o objeto de estudo também estará sendo desenvolvido,
adaptado, ou evoluído durante o estudo
 Experimento Controlado Estudo Primário
 Aplicação do objeto de estudo e do tratamento de controle em vários
casos, sob condições fortemente controladas
 Revisão Sistemática Estudo Secundário
 Sintetizar a evidência, identificando, avaliando e interpretando todas
pesquisas disponíveis em relação a uma questão específica
www.ufs.br
49
Defina Hipóteses em Termos Quantitativos
Defina hipóteses em termos quantitativos

 Em vez de: Avaliar se o método de projeto XYZ
produz resultados melhores que o método ABC
 Defina algo do tipo: O código produzido pelo
método XYZ produz um menor número de defeitos
por milhares de linhas de código fonte que o
método ABC
Defina a relação entre conceitos e medidas
 No exemplo anterior, nós queremos medir
qualidade e estamos usando número de defeitos
para isto. Esta relação entre o que se quer e o que
se mede deve ser documentada e, às vezes,
explicitada em modelos de relacionamento.
www.ufs.br
50
Por que medir ?
“What is not “A science is as

measurable make mature as its
measurable.” measurement tools.”
Galileo Galilei Louise Pasteur
“If you can’t measure it,

you can't manage it.“
Peter Drucker
www.ufs.br
SIE
17
Identifique Seu Controle Sobre Variáveis

 Que outras variáveis podem afetar a
variável sendo avaliada
 Variável dependente: número de defeitos
por milhares de linhas de código
 Variáveis de estado: experiência do
projetista com o método, experiência em
projeto, tipo do sistema
www.ufs.br
52
Identifique Seu Controle Sobre Variáveis

 Determine quanto controle você tem sobre
estas variáveis
 Se você está coletando informação depois do fato e
não tem nenhum controle – então você irá usar um
survey;
 Se você está coletando informação enquanto o
desenvolvimento e a manutenção estão
acontecendo, mas não tem controle básico sobre
variáveis comportamentais – então você irá fazer
um estudo de caso;
 Se o seu objeto de análise estiver sendo evoluído –
então você irá fazer uma pesquisa ação;
 Se você tem controle sobre a maioria das variáveis
e controle sobre os participantes – você pode fazer
um experimento controlado.
www.ufs.br
53
Exemplo
 Suponha que você está avaliando o efeito de

um método de projeto sobre a qualidade do
software resultante
 Se você não tem controle sobre quem está usando
o método, então você usa um estudo de caso para
documentar os resultados;
 Se você pode controlar quem usa cada método,
quando e como estes métodos são usados, então
você pode fazer um experimento controlado.
www.ufs.br
54
SIE
18
Experimentos in-vivo x in-vitro
 Experimentos in-vitro são feitos em

laboratórios, simulando a forma que eles
aconteceriam no mundo real;
 Experimentos in-vivo são feitos no mundo real
e monitorados à medida que o uso do objeto
de estudo realmente ocorre;
 Na nossa área, normalmente, experimentos
controlados são feitos in-vitro e estudos de
caso, por definição, são feitos in-vivo.
www.ufs.br
55
Estudo de Caso
 Um estudo de caso visa observar um atributo
específico e estabelecer relacionamentos
entre atributos diferentes. Pode ser feito de 3
maneiras:
 Você deve comparar a aplicação de métodos
novos com a baseline da empresa, expressa em
valores médios de projetos (antes da aplicação
do método).
www.ufs.br
56
Estudo de Caso
 Comparar projetos similares, aplicando uma
tecnologia nova em pelo menos um.
 Ou, no mínimo, aplicar aleatoriamente um
método a um projeto da empresa e não
aplicar aos outros.
 Feito isto, deve-se separar bem as fases de
instrumentação, operação, resultados e
análise dos mesmos.
www.ufs.br
57
SIE
19
Outros Pontos Importantes

 Em experimentos formais, você amostra sobre as
variáveis de estado
 Se experiência é importante, você pode incluir pessoas com
experiências bem distribuídas.
 Em estudos de caso, você amostra das variáveis de
estado
 Se experiência é importante, você escolhe para avaliação as
pessoas com a experiência característica média de sua
organização.
 Em experimentos formais, você pode facilmente
definir a variável experimental, a de controle, e as
variáveis de estado.
 As variáveis de estado não devem variar ou devem ter
variações igualmente distribuídas entre os tratamentos
(controle experimental)
www.ufs.br
58
Fatores que devem ser considerados

Estudos de
Fator Experimentos Caso
Nível de Controle Alto Baixo
Dificuldade de Controle Alto Médio
Nível de Replicação Alto Baixo
Alto (in-vivo)
Custo de Execução Médio
Médio (in-vitro)
Médio (in-vivo)
Riscos à validade Alto
Alto (in-vitro)
www.ufs.br
Definição de Viés
• Qualquer desvio na coleta, análise, interpretação publicação ou
revisão de dados que pode levar a conclusões que são
sistemáticamente diferentes das verdadeiras (Last, 2001);
• Um processo em qualquer momento da inferência que produz

resultados que se desviam sistematicamente dos valores
verdadeiros (Fletcher et al, 1988);
• Erro sistemático no planejamento ou na condução de um estudo

(Szklo et al, 2000).
www.ufs.br
60
SIE
20
Validade
 Conclusão: relacionada à habilidade de

chegar a uma conclusão correta a respeito
dos relacionamentos entre o tratamento e o
resultado.
 Ex: escolha do teste estatístico
www.ufs.br
Validade
 Construção: aspectos relacionados ao

projeto e fatores humanos.
 Ex: pesquisador projeta baseado no que ele
espera.
www.ufs.br
Validade
 Interna: define se o relacionamento entre o

tratamento e o resultado é causal, sem a
influência de outro fator que pode não ter
sido medido.
 Ex: um participante dá informações para
outro.
www.ufs.br
SIE
21
Validade
 Externa: condições que limitam a capacidade

de generalizar. Consequência das outras
ameaças.
 Ex: seleção de participantes não
representativos, tempo e/ou lugar atípicos.
www.ufs.br
Validade – Ordem de Importância
 Verificação de teoria: interna, construção,

conclusão e externa.
 Experimento aplicado (maioria para nós):
interna, externa, construção e conclusão.
www.ufs.br
Dicas Gerais
www.ufs.br
66
SIE
22
Dicas Gerais
www.ufs.br
67
www.ufs.br
68
Bibliografia Básica
 Colaço Júnior, M., Cruz, R. F., Araújo, L. V., Bliacheriene, A. C.,
& Nunes, F. L. S. (2022). Evaluation of a Process for the
Experimental Development of Data Mining, AI and Data Science
Applications Aligned with the Strategic Planning. Journal of
Information Systems and Technology Management, 19,
e202219018.
 OLIVEIRA, R. A. N. ; Colaço Júnior, Methanias. Experimental
Analysis of Stemming on Jurisprudential Documents Retrieval.
INFORMATION, v. 9, p. 1, 2018.
 Colaço Jr., Methanias ; Mendonça, M. G. ; RODRIGUES, F. .
Data Warehousing in an Industrial Software Development
Environment. In: IEEE/NASA Software Engineering Workshop,
2009, Skövde. Software Engineering Workshop Proceedings,
2009.
www.ufs.br
69
SIE
23
DSI
Departamento de Sistemas de Informação
Universidade Federal de Sergipe
Introdução à Experimentação
Prof. Dr. Methanias Colaço Júnior

mjrse@hotmail.com
www.ufs.br
70
SIE
24

Introdução PSI

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Introdução PSI

Enviado por

Direitos autorais:

Formatos disponíveis

Núcleo de Pesquisa e Prática em Inteligência Competitiva - NUPIC

Prof. Dr. Methanias Colaço Júnior

“ Data ! Data ! Data ! I cannot make

“ Espere o inesperado ou você não o

Algumas Necessidades Fundamentais na Área

 Adotar novas tecnologias

Abordagens que Podem Ser Adotadas

Abordagens que Podem Ser Adotadas

1. Quais são as suas metas e qual é a sua

Quando usamos a abordagem

Engenharia de Software Experimental

Sou fã das abelhas...

 Vejam o filme “Fim dos Tempos”.

Modelos, Experimentação e Aprendizado: um

 Para entender uma disciplina é necessário a

 Para testar se nossa compreensão está

Modelos, Experimentação e Aprendizado: um

 Este paradigma experimental é usado em

 O Paradigma experimental de uma disciplina

 Normalmente, ele começa com a observação

 A diferença na aplicação do paradigma

 Isto impacta em:

 como a experimentação é feita.

O Paradigma Experimental em Física

O Paradigma Experimental em Física

 Suas teorias predizem o resultado

O Paradigma Experimental em Medicina

O Paradigma Experimental em Medicina

Por que medir ?

“What is not “A science is as

Galileo Galilei Louise Pasteur

“If you can’t measure it,

• Conceito de Data Warehouse (DW);

“Banco de dados histórico, separado

Por que um ambiente de Data

Scientific Data Warehousing

Aplicação Ferramenta Aplicação

Software Data Warehousing

 Automatização do processo, facilitando a

“No futuro, o pensamento estatístico

Herbert George Wells

“Se não é necessário um

O Que o Paradigma Experimental Envolve

Análise Qualitativa x Análise Quantitativa

Tipos de Estudos em SIE

Um estudo é o ato de descobrir algo

Tipos de Estudos em SIE

Disciplina Experimental em SIE

Duas Questões a Serem Respondidas

 O que estamos estudando e por que estamos

Tipos de Estudo Experimentais

Definindo o que Vai se Estudar

Definindo o Tipo de Estudo

Comece com o Objetivo

 O que você quer investigar e por que você

Exemplo: Avaliar se o método de projeto XYZ

Finalidade: Testar se os dados que você vai

Escolhendo a Abordagem de Pesquisa

Defina Hipóteses em Termos Quantitativos

Defina hipóteses em termos quantitativos

Por que medir ?

“What is not “A science is as

Galileo Galilei Louise Pasteur