Capítulo 8 -

Planejamento
Livro Engenharia de Software
Experimental - Wohlin
O planejamento ocorre após a
definição do escopo do
experimento.
 A fase de planejamento de um
experimento pode ser dividida em
sete etapas.
 Etapas
1ª 2ª 3ª 4ª 5ª 6ª 7ª

Seleção Formulação Seleção de Seleção de Design do Avaliação de

Instrumentação
de contexto de Hipótese variáveis subjects experimento validade
Seleção de contexto
Seleção de contexto
Conduzir um experimento envolve riscos.

Para isso existem quatro dimensões em que o contexto do

experimento pode ser caracterizado:

Off-line vs on-line
Aluno vs profissional
Brinquedo vs problemas reais
Específico vs geral
Seleção de contexto
Off-line vs on-line

Pode-se executar projetos off-line em paralelo com projetos reais, é

uma alternativa que reduz riscos mas causa custos extras.

Aluno vs profissional

Administrar projetos com equipes de alunos ao invés de equipes com

profissionais tem algumas vantagens: é mais barato e mais fácil de
controlar.
Seleção de contexto
Brinquedo vs problemas reais

Geralmente as equipes com alunos tratam de problemas de tamanho

de brinquedos, por conta do custo e tempo.

Específico vs geral

Essa compensação envolve um equilíbrio entre tornar os estudos

válidos para um contexto específico ou válidos para o domínio geral da
engenharia de software.
Formulação de
Hipóteses
Formulação de Hipóteses
O teste de hipóteses é a base para a análise estatística.

Os dados coletados durante o experimento são usados para, se

possível, rejeitar a hipótese.

Na fase de planejamento, a definição do experimento é formalizada em

hipóteses.

Duas hipóteses devem ser formuladas:

Formulação de Hipóteses
Nula
Uma hipótese nula, afirma que não
há tendências ou padrões reais
subjacentes no ambiente do
experimento.
Essa é a hipótese que o
experimentador deseja rejeitar
com a maior significância possível.
Alternativa
Uma hipótese alternativa, é a
hipótese a favor da qual a
hipótese nula é rejeitada.
A hipótese alternativa é aquela
que você acredita que pode ser
verdadeira ou espera provar ser
verdadeira.
Seleção de Variáveis
Seleção de Variáveis
Antes de começar qualquer projeto, temos que escolher as variáveis
dependentes e independentes.

Escolher as variáveis ​certas não é fácil e geralmente requer

conhecimento do domínio. As variáveis ​devem ter algum efeito na
variável dependente e devem ser controláveis.

A escolha de variáveis ​independentes também inclui a escolha das

escalas de medição, a faixa para as variáveis ​e os níveis específicos em
que os testes serão feitos.
Seleção de Variáveis
Frequentemente, há apenas uma variável dependente e, portanto, deve
ser derivada diretamente da hipótese.

A variável geralmente não é diretamente mensurável e, em vez disso,

temos que medi-la por meio de uma medida indireta.

Essa medida indireta afeta

o resultado do experimento
Seleção de sujeitos
Seleção de Sujeitos
É importante ao conduzir um experimento. E está ligada à
generalização dos resultados.

A seleção deve ser representativa para essa população.

A amostragem da população pode ser uma amostra probabilística ou

não probabilística.
Seleção de Sujeitos
Exemplos de técnicas de amostragem probabilística são:

Amostragem aleatória
simples

Amostragem sistemática

Amostragem aleatória
estratificada

Seleção de Sujeitos
Exemplos de técnicas de amostragem não probabilística são:

Amostragem de
conveniência

Amostragem de cota
Seleção de Sujeitos
O tamanho da amostra também impacta os resultados ao generalizar.

Existem alguns princípios gerais para escolher o tamanho da amostra:

Se houver grande variabilidade na população, é necessário um
tamanho de amostra maior.

A análise dos dados pode influenciar a escolha do tamanho da

amostra. Portanto, é necessário considerar como os dados devem
ser analisados ​já na fase de projeto do experimento.
Design de
experimento
Design do experimento
Para obter o máximo do experimento, ele deve ser cuidadosamente
planejado e projetado.

Para que possamos tirar conclusões significativas do experimento,

aplicamos métodos de análise estatística nos dados coletados para
interpretar os resultados.

Design Interpretação
Escolha do Design do Experimento
Um experimento é um conjunto de testes.

O design de um experimento descreve como os testes são organizados

e executados.

Para projetar o experimento, temos que olhar para a hipótese para ver
qual análise estatística devemos realizar para rejeitar a hipótese nula.
Princípios Gerais de Design

Aleatorização Bloqueio Balanceamento

 Princípios Gerais de Design
Aleatorização
Se aplica à alocação dos objetos,
sujeitos e em que ordem os testes
são realizados.
É usada para calcular a média do
efeito de um fator que, de outra
forma, pode estar presente.
Bloqueio
Elimina sistematicamente o efeito
indesejado na comparação entre os
tratamentos.
Dentro de um bloco, o efeito
indesejado é o mesmo e podemos
estudar o efeito dos tratamentos
naquele bloco.
Balanceamento
Se atribuirmos os tratamentos de
forma que cada tratamento tenha o
mesmo número de sujeitos, teremos
um design equilibrado. É desejável
porque simplifica e fortalece a análise
estatística dos dados, mas não é
necessário.
Tipos de Projeto Padrão
Os designs de experimentos usados com mais frequência são:

Um fator com dois tratamentos:

Com esses experimentos, queremos comparar os dois tratamentos entre si.

Um fator com mais de dois tratamentos:

Como acontece com os experimentos com apenas dois tratamentos, queremos

comparar os tratamentos entre si. A comparação é geralmente realizada nos meios
de tratamento.
Tipos de Projeto Padrão
Os designs de experimentos usados com mais frequência são:

Dois fatores:

A única hipótese para os experimentos com um fator será dividida em três hipóteses:
uma hipótese para o efeito de um dos fatores, uma para o outro e outra para a
interação entre os dois fatores.

Mais de dois fatores:

O efeito na variável dependente pode, portanto, ser dependente não apenas de cada
fator separadamente, mas também das interações entre os fatores.
Instrumentação
Instrumentação
Os instrumentos de um experimento são de três tipos, a saber:

Objetos
Diretrizes
Instrumentos de medição

Esses instrumentos são escolhidos na etapa de planejamento de um experimento.

O objetivo geral da instrumentação é fornecer meios para realizar o experimento e

monitorá-lo, sem afetar o controle do experimento.
Instrumentação
Objetos

Podem ser, por exemplo, especificações ou documentos de código.

É importante escolher sempre os objetos mais apropriados.

Instrumentação
Diretrizes

As diretrizes incluem, por exemplo, descrições de processos e listas de verificação.

Elas são necessárias para orientar os participantes do experimento

Além das orientações, os participantes também precisam ser treinados nos

métodos a serem utilizados.
Instrumentação
Instrumentos de medição

As medições em um experimento são realizadas por meio da coleta de dados.

Esses instrumentos irão auxiliar na coleta desses dados. Um exemplo são os

formulários com perguntas de entrevista.
Avaliação de
Validade
Avaliação de Validade
É importante considerar a questão da validade já na fase de planejamento para
planejar a validade adequada dos resultados do experimento.

Validade adequada refere-se a que os resultados devem ser válidos para a

população de interesse.

Para isso, os resultados devem:

devem ser válidos para a população da qual a amostra é retirada.
possível generalizar os resultados para uma população mais ampla.
Avaliação de Validade
Existem diferentes esquemas de classificação para diferentes tipos de ameaças à
validade de um experimento.

Cook e Campbell definem quatro tipos de ameaças à validade dos resultados

experimentais (essa categorização é mais preferível).

As quatro ameaças são:

Conclusão
Validade Interna
Construtor
Validade Externa
Avaliação de Validade

Validade da conclusão: essa validade diz respeito à relação entre o tratamento

e o resultado. Queremos ter certeza de que existe uma relação estatística, ou
seja, com uma determinada significância.

Validade interna: se for observada uma relação entre o tratamento e o

resultado, devemos ter certeza de que é uma relação causal, e que não é o
resultado de um fator sobre o qual não temos controle ou não medimos.
Avaliação de Validade

Validade de construção: essa validade diz respeito à relação entre teoria e

observação. Se a relação entre causa e efeito for causal, devemos garantir duas
coisas: (1) que o tratamento reflete bem a construção da causa (ver parte
esquerda da Fig. 8.2) e (2) que o resultado reflete a construção da efeito bem.

Validade externa: a validade externa está preocupada com a generalização. Se

houver uma relação causal entre o construto da causa e o efeito, o resultado do
estudo pode ser generalizado fora do escopo de nosso estudo? Existe relação
entre o tratamento e o resultado?
Fim
 Dúvidas

Não entendi muito bem como funciona os tipos de projeto padrão no Design do Experimento.
Entendi bem com relação aos princípios, mas com relação aos tipos de projeto eu fiquei bastante
confuso.

Outra parte que não consegui absorver foi a parte de formulação de hipóteses.
Eu gostei do capítulo, não foi uma
leitura tão densa em minha opinião.
Começar conhecendo os tipos de
contextos foi muito legal.

A parte da formulação de hipóteses

e design do experimento foi uma
leitura mais lenta e talvez complexa, Visão Geral do
mas consegui absorver bem alguns
conceitos.
Nessa parte, adorei conhecer os
Capítulo
princípios gerais de Design.

Outra parte que gostei bastante foi

de Ameaças a validade, achei muito
pertinente para nós alunos como
pesquisadores.