Estratégias de Pesquisa

Ricardo de Almeida Falbo

Metodologia de Pesquisa
Departamento de Informática
Universidade Federal do Espírito Santo
Agenda
 Survey
 Design e Criação
 Estudo de Caso
 Pesquisa Ação
 Experimento
 Design Science

2
Survey
 Propósito: obter os mesmos tipos de
dados a partir de um grande grupo de
pessoas ou eventos, de modo
sistemático e padronizado, de modo a
identificar padrões, visando generalizar
para uma população maior que seu
grupo alvo.

3
Planejando e Projetando um
Survey
 O que considerar:
 Que dados você quer gerar?
 Pense antecipadamente sobre como você
pretende analisar os dados, que padrões você
procura e interpretações que podem surgir
 Método de Geração de Dados
 Questionário? Entrevista? Observação? Análise
de Documentos?

4
Planejando e Projetando um
Survey
 O que considerar:
 Quadro de Amostragem:
 Definir a lista da população de pessoas,
eventos ou documentos alvo de seu survey.
 Técnica de Amostragem
 Definir como você vai selecionar a amostra real
a partir do quadro de amostragem. Amostra
probabilística? Não probabilística?

5
Planejando e Projetando um
Survey
 O que considerar:
 Taxa de Resposta:
 Taxas da ordem de 10% não são incomuns.
 Necessidade de definir uma estratégia para
tentar aumentar o número de respostas.
 Tamanho da Amostra
 Menor do que 30 compromete uma análise
estatística confiável.
 Considerar nível de confiança e margem de
erro.
6
Exemplo de Survey
 Tema: Refinamentos em protocolos de
estudos secundários (revisões e
mapeamentos sistemáticos)
 Questão de Pesquisa: Quais itens do
protocolo de revisões/mapeamentos
sistemáticos que estão mais sujeitos a
refinamentos ao longo do processo de
revisão?
7
Exemplo de Survey
 Dados a serem gerados: percepções em
relação à extensão em que itens do protocolo
são refinados ao longo do processo de
revisão.
 Tipo do estudo: em corte transversal, i.e.,
participantes são questionados acerca de
suas experiências passadas.
 Método de Geração de Dados: questionário
on-line. Disponível em https://goo.gl/CLdDzL
8
Exemplo de Survey
 População: pesquisadores que já
tenham realizado pelo menos uma
revisão/mapeamento sistemático.
 Seleção da amostra: por conveniência
 Solicitação de participação enviada para a
lista da SBC e LinkedIn.
 Solicitação direta a pesquisadores
conhecidos dos autores.
9
Exemplo de Survey
 Número de respondentes: 53
 Grupo 1: até 2 estudos: 28
 Grupo 2: 3 ou 4 estudos: 13
 Grupo 3: 5 ou mais estudos: 12

10
Exemplo de Survey

11
Survey: Vantagens
 Provê uma cobertura ampla.
 Comparativamente a outras estratégias,
produz grande quantidade de dados,
em pouco tempo e a custo
relativamente baixo.
 Permite análise de dados quantitativa.
 Pode ser replicado.

12
Survey: Desvantagens
 Falta de profundidade.
 Tende a enfocar o que pode ser contado e
medido.
 Provê um retrato instantâneo em um
particular ponto no tempo, ao invés de
examinar processos em andamento e
mudanças.
 Não estabelece relações de causa e efeito.

13
Design e Criação
 Esta estratégia enfoca o
desenvolvimento de novos produtos ou
artefatos de TI.

14
 Design e Criação
 Que artefatos podem ser criados?
 Constructos: novas noções ou conceitos (p.ex., a noção
de objetos)
 Modelos: combinação de constructos para representar
uma situação
 Métodos: orientações sobre modelos a serem
produzidos e processos a serem seguidos para resolver
problemas.
 Instanciações: sistemas demonstrando que constructos,
modelos, métodos, ideias ou teorias podem ser
implementados em um sistema computacional.
15
Design e Criação
 Problema: É pesquisa ou apenas uma
demonstração de habilidades técnicas?
 Para ser pesquisa:
 Tem de contribuir para o conhecimento de
alguma forma.
 Tem de exibir qualidades acadêmicas:
análise, explanação, argumentação,
justificativa e avaliação crítica.

16
Design e Criação
 A forma de contribuição para o conhecimento
pode se dar de três maneiras principais:
 Como foco principal da pesquisa (p.ex., artefato
incorpora uma nova teoria)
 Um veículo para alguma outra coisa (p.ex.,
comparar e avaliar diferentes algoritmos)
 Um produto final tangível de um projeto, cujo foco
é o processo de desenvolvimento (p.ex., ilustrar o
uso de um método)

17
Design e Criação
 Pode ser usada como única estratégia
de pesquisa ou como uma das
estratégias dentro do método global de
pesquisa (Design Science).
 Se o artefato a ser gerado for um
sistema, deve seguir um processo de
desenvolvimento de software (não
confundir com método de pesquisa).
18
Design e Criação
 Em trabalhos de pós-graduação,
sobretudo doutorado, a implementação
pode ser desnecessária ou terceirizada.

19
“Design e Criação” e Avaliação
 Prova de Conceito: artefato é apenas uma
mostra de exequibilidade. Não há uma
avaliação se o artefato funciona ou não em
um contexto real (p.ex., um protótipo).
 Prova por Demonstração: artefato é avaliado
em uso, mas em um contexto restrito (p.ex.,
participação de estudantes ao invés de
profissionais). Pode usar outras técnicas, tais
como estudos de caso e experimentos.
20
“Design e Criação” e Avaliação
 Avaliação de Mundo Real: artefato é
avaliado em situações reais. Neste caso,
é necessário usar uma outra estratégia
de maneira complementar (estudo de
caso, survey etc).

21
Design e Criação: Vantagens
 Ter algo tangível para mostrar ao invés de ter
somente teorias abstratas ou outro conhecimento.
 É um modo de pesquisa normalmente esperado em
várias áreas da computação.
 Como o uso de computação em muitos domínios é
relativamente novo e como a tecnologia avança
rapidamente, há muito espaço para o
desenvolvimento de novos artefatos de TI que deem
uma contribuição ao conhecimento.

22
Design e Criação: Desvantagens
 Você pode ser questionado se seu trabalho
não é somente um design normal.
 É arriscado se você não tem as habilidades
técnicas necessárias.
 Pode ser difícil generalizar para configurações
diferentes daquela situação única em que o
artefato de TI foi usado.
 Pode produzir pesquisa perecível. Avanços
rápidos na tecnologia podem invalidar os
resultados. 23
Exemplo de Design e Criação
 Desenvolvimento de PoN-S: um Método
para o Design da Sintaxe Concreta de
Linguagens de Modelagem Conceitual
(tese de doutorado de Maria das Graças
Teixeira)

24
Exemplo de Design e Criação

25
Estudo de Caso
 É uma investigação empírica que olha
um fenômeno dentro de seu contexto
real.

26
Estudo de Caso
 Focaliza uma instância da “coisa” a ser
investigada (uma organização, um
projeto etc.).
 O objetivo é obter uma compreensão
rica e detalhada da “vida” deste caso e
de suas relações e processos
complexos.

27
Estudo de Caso
 Um estudo de caso olha para o caso
escolhido dentro de seu contexto real e
enfoca todos os fatores envolvidos.
 Ao explorar todos esses fatores e
estabelecer um quadro detalhado de
como eles se unem, o pesquisador
tenta explicar como e porque certos
resultados podem ocorrer em uma
particular situação. 28
Estudo de Caso
 Um caso não testa uma hipótese.
 Mas, a partir do estudo de uma
instância particular, podem ser obtidos
insights e conhecimento que podem ser
relevantes para outras situações.

29
Estudo de Caso:
Características
 Foco na profundidade ao invés da
largura.
 Ambiente natural, ao invés de uma
situação artificial.
 Estudo holístico, ao invés de isolar
fatores individuais.
 Utiliza múltiplas fontes de dados e
métodos.
30
Estudo de Caso
 Atenção! Muitos pesquisadores em
disciplinas de Computação usam o
termo “estudo de caso” para designar
um cenário no qual eles aplicaram suas
ideias. Esse cenário é, na maioria das
vezes, artificial e muito mais simples do
que ocorre na vida real. Ou seja, não é
um estudo de caso efetivamente!
31
Seleção de Casos
 Algumas opções:
 Instância Típica: instância representativa de uma
classe.
 Instância extrema
 Test-bed para uma teoria: contém elementos que
são apropriados para testar uma teoria.
 Conveniência
 É importante escolher a instância certa e
justificar essa escolha.

32
Generalização a partir de
Estudo de Caso
 Se o caso escolhido for típico, é possível
gerar conclusões mais amplas que vão
além do caso em si.
 Para poder fazer generalizações, é
importante informar até que extensão
você julga que o caso escolhido é típico
de outros casos em sua classe.

33
Generalização a partir de
Estudo de Caso
 Dê detalhes suficientes do caso que
permitam a um leitor decidir se o caso
escolhido é similar a um caso que lhe
seja familiar.

34
Estudo de Caso
 Pode ser usado para:
 Construir uma nova teoria: um estudo de
caso leva ao desenvolvimento de um novo
conceito, teoria, framework ou modelo.
 Testar uma teoria existente

35
Estudo de Caso: Vantagens
 Pode lidar com situações complexas em que é
difícil estudar um único fator isoladamente.
 Adequado para situações em que o
pesquisador tem pouco controle sobre
eventos.
 Produz dados que são mais próximos das
experiências das pessoas (histórias).

36
Estudo de Caso:
Desvantagens
 Muitas vezes é tido como uma estratégia que
peca pela falta de rigor e por levar a
generalizações com pouca credibilidade.
 Pode ser difícil negociar acesso ao cenário,
pessoas e documentos necessários.
 A presença do pesquisador pode afetar o
comportamento das pessoas.
 Não há regras definidas para a condução de
estudos de caso.
37
Exemplo de Estudo de Caso
 Design de uma Linguagem de
Modelagem Visual para representar
Linguagens de Padrões Ontológicos
(dissertação de mestrado da Glaice
Quirino) usando PoN-S.
 Estudo caso para a pesquisa da Maria
 Design e criação na pesquisa da Glaice

38
Pesquisa Ação
 Enfoca a pesquisa em ação.
 O pesquisador planeja fazer alguma
coisa em uma situação do mundo real,
faz isso, reflete sobre o que aconteceu
ou aprendeu, e começa outro ciclo
“planeja-faz-reflete”.
 Espera-se que pesquisadores colaborem
com as pessoas dentro daquele cenário.
39
Ingredientes da Pesquisa Ação
 Um framework conceitual que atua
como base teórica.
 Um método de solução de problemas,
que incorpora o framework conceitual.
 Uma área de aplicação onde o método
será aplicado.
 O processo de pesquisa adotado.

40
Pesquisa Ação
 Normalmente é difícil planejar
antecipadamente e em detalhes projetos de
pesquisa ação.
 Uma vez iniciado, um projeto de pesquisa
ação não está totalmente sob controle do
pesquisador.
 Contudo, o processo de pesquisa precisa ser
estruturado e gerenciado para evitar críticas
de falta de rigor científico.
41
Pesquisa Ação
 Um protocolo de pesquisa deve ser
desenvolvido e acordado entre todos os
envolvidos.
 Este protocolo deve envolver, dentre outros:
 Objetivos do projeto e como ele será avaliado.
 Papéis e responsabilidades dos participantes.
 Restrições organizacionais

42
Pesquisa Ação
 Potencial ameaça: Pesquisador, talvez
subconscientemente, quer mostrar que o
exercício é útil e que sua teoria ou método é
válido. Ele pode estar iludindo a si próprio.
 Mesmo em projetos envolvendo grupos de
pesquisadores, pode imperar um pensamento
de grupo, em que todos acreditam naquilo ou
não têm coragem de desafiar o consenso do
grupo.
43
Generalização em Pesquisa
Ação
 Não é possível fazer generalizações a
partir de um estudo que tem
características únicas, não encontradas
em outras situações.
 Dê detalhes suficientes da situação que
permitam a um leitor decidir se o
cenário que ele tem em mãos é similar
ao cenário da pesquisa ação.
44
Pesquisa Ação
 Uma importante aplicação é na exploração de
novos métodos de desenvolvimento.
 Nestes casos, alguns pesquisadores
defendem que a pesquisa ação é a estratégia
mais apropriada.

45
Pesquisa Ação Técnica
 Technical Action Research – TAR
 Pesquisador desempenha três papéis:
 Projetista: o pesquisador projeta uma
técnica, método, processo ou outro
artefato.
 Ajudante: ajuda outros a aplicar a técnica
 Pesquisador: tira lições sobre o uso da
técnica.

46
Pesquisa Ação: Vantagens
 Pode fazer a ponte entre a pesquisa
acadêmica e o estado da prática,
resultando em melhorias reais.
 É particularmente apropriada para a
criação e refinamento de métodos de
desenvolvimento de sistemas e de
resolução de problemas.

47
Pesquisa Ação: Desvantagens
 Ainda não é aceita por muitos pesquisadores
da área de Computação.
 É criticada por alguns pela falta de rigor,
inabilidade de estabelecer causa e efeito, e
resultados que podem não ser generalizáveis
para outras situações.
 Pode ser difícil satisfazer as necessidades e
expectativas de todos os envolvidos.

48
Experimento
 É uma estratégia que investiga relações
de causa e efeito, procurando provar ou
refutar uma relação causal entre um
fator e um resultado observado.

49
Experimento
 Requer a formulação de uma hipótese.
 O experimento é projetado para
comprovar ou rejeitar a hipótese.
 Todos os fatores que podem afetar o
resultado são excluídos do estudo,
exceto o fator que se pensa ser a causa
para um resultado particular.

50
Experimento
 Entretanto, até os experimentos de
laboratório mais bem projetados podem ser
contaminados por outros fatores
desconhecidos...
 Assim, não se pode tirar conclusões firmes de
experimentos, até que eles sejam repetidos
várias vezes, preferencialmente por outros
pesquisadores.

51
Exemplo de Experimento
 Experimento realizado por Maria das
Graças e publicado em (Teixeira et al.,
2013).
 Objetivo: Avaliar o uso de notações
visuais para linguagens específicas de
domínio

52
Exemplo de Experimento
 Hipótese: O desempenho dos
participantes na interpretação de
modelos construídos usando uma
notação específica de domínio é melhor
do que de modelos usando uma
notação genérica.

53
Exemplo de Experimento
 Experimento in-vitro, i.e. em ambiente
controlado.
 Abordagem analítica: coletar indicações
preliminares para experimentos
adicionais posteriores.

54
Exemplo de Experimento
 Objeto de estudo: duas instanciações
de um modelo conceitual.
 As instanciações são apresentadas em
duas notações diferentes: específica de
domínio e genérica (baseada em
diagramas de objetos da UML).

55
Exemplo de Experimento

56
 Exemplo de Experimento

Board of R&D Executive

Directors John Mary Office Claudia

Robert
Peter
Lisa
Jennifer

Linda Otto
Paul
Ana Victor
Max James Elizabeth
Juliane
Quality
Control

Lauren
Mark Clarisse
Sales Marketing Engineering Research
Administrative Branch Production Branch

57
 Exemplo de Experimento
Production: Organizational
R & D Executive Office: Department partOf
partOf Branch
Board of Directors: Department
supervisedBy Robert: Man
Claudia: Woman
partOf partOf {duplicated}
supervisedBy
partOf
partOf John: Man Mary: Woman
supervisedBy
Jenifer: Woman partOf Engineering: Department
supervisedBy supervisedBy Marc: Man
supervisedBy supervisedBy partOf
Peter: Man Linda: Woman
supervisedBy memberOf supervisedBy
James: Man partOf partOf
supervisedBy
Max: Man memberOf Audit: Commission partOf
memberOf supervisedBy partOf
Phase = Normal
Paul: Man Load
partOf memberOf Clarisse: Woman
partOf
partOf memberOf
partOf
Sales: Department partOf Quality Control: Commission memberOf Elizabeth:
partOf Phase = Overloaded Woman
memberOf

Administrative: Organizational Branch supervisedBy Lisa: Woman memberOf

partOf
Ana: Woman Juliane: Woman Research: Department
partOf partOf
partOf
supervisedBy supervisedBy partOf partOf
Marketing: Department
partOf
Otto: Man memberOf
Lauren: Woman supervisedBy Victor: Man

Robert: Man 58
supervisedBy
{duplicated}
Exemplo de Experimento
 Sujeitos (Participantes): estudantes de
Computação (graduação e pós-
graduação).
 Número de participantes: 22
 Grupo 1: 12
 Grupo 2: 10

59
Exemplo de Experimento
 Foram feitas perguntas sobre os
modelos:
 Que informação pode ser obtida sobre
Lisa?
 Quais os empregados com maior número
de subordinados? Que são eles?

60
Exemplo de Experimento
 Questionário via Web, mas preenchido
durante uma aula em laboratório.

61
Exemplo de Experimento
 Resultados

62
Exemplo de Experimento
Notação Específica Notação Genérica

63
Exemplo de Experimento
 Análise: Nem sempre os resultados
confirmaram a hipótese.
 No geral, a notação específica foi
melhor para questões mais objetivas e
a notação geral para questões mais
subjetivas.

64
Exemplo de Experimento
 Ameaças à Validade:
 Estudantes de Computação, acostumados
a notações genéricas (UML).
 Experiência dos participantes.

65
 Experimento: Variáveis
 É importante identificar a variável
independente e as variáveis dependentes.
 A variável independente afeta uma ou
mais variáveis dependentes.
 O objetivo é mostrar que apenas um fator
causa um efeito observado. Assim, o
pesquisador tenta controlar todas as
demais variáveis.
66
Experimento:
Meios de Controlar Variáveis
 Eliminar o fator do experimento (p.ex.,
eliminar estudantes com experiência)
 Quando não for possível eliminar,
manter o fator constante.
 Usar seleção randômica de indivíduos.
 Garantir que as pessoas não
influenciam os resultados devido às
suas expectativas.
67
Experimento:
Meios de Controlar Variáveis
 Usar grupos de controle:
 Dois grupos são estabelecidos de modo a
igualmente balancear os membros.
 Para um deles (o grupo de controle),
nenhuma manipulação da variável
independente é feita.
 Para o outro (o grupo experimental), a
variável independente é manipulada.
 Resultados são medidos para cada grupo.
68
Experimento:
Observações e Medições
 Deve haver medição antes (pré-teste) e
depois (pós-teste), de modo que as
alterações observadas possam ser
atribuídas à manipulação da variável
independente.
 Dados quantitativos são medidos e
análises estatísticas são feitas.

69
Experimento:
Observações e Medições
 É importante definir, antes de realizar o
experimento, exatamente o que vai ser
medido e que testes estatísticos serão
usados para analisar os resultados.

70
Experimento: Validade Interna
 Um experimento tem boa validade
interna se os valores medidos obtidos
são realmente devidos à manipulação
da variável independente (e não
decorrentes de outro fator).

71
Ameaças Comuns à Validade
Interna de um Experimento
 Diferenças entre o grupo experimental
e o grupo de controle.
 Eventos não notados pelos
pesquisadores interferem nas
observações de pré-teste e pós-teste.
 Amadurecimento: características dos
participantes mudam entre os testes.

72
Ameaças Comuns à Validade
Interna de um Experimento
 Instrumento imperfeito usado para medir as
variáveis dependentes afetam os resultados.
 Alguns participantes sairem do experimento
antes do estudo ser completado.
 Pessoas podem alterar seu comportamento
como uma reação a estarem sendo testadas.

73
Experimento: Validade Externa
 Um experimento tem boa validade externa se
os resultados não são únicos para um
particular conjunto de circunstâncias, mas
sim são generalizáveis.
 A melhor maneira de demonstrar capacidade
de generalização é repetir o experimento
muitas vezes, em muitas situações diferentes.

74
Ameaças Comuns à Validade
Externa de um Experimento
 A principal ameaça à validade externa
vem da não representatividade: usar
uma amostra de participantes que não
seja típica.
 Excesso de confiança em tipos especiais de
participantes (p.ex., estudantes,
voluntários).
 Muito poucos participantes.

75
Tipos de Experimento
 Experimento verdadeiro: envolve a
manipulação de variável independente,
medição pré e pós-teste de variáveis
dependentes, e controle ou remoção de
outras variáveis.
 Normalmente conseguido em laboratório,
que, por natureza, é uma situação artificial.

76
Tipos de Experimento
 Quase-experimento (ou experimento de
campo): observa eventos em situações reais.
 Em um quase-experimento, frequentemente há
variáveis que os pesquisadores não podem
controlar e que podem ter causado o efeito
observado.
 Assim, não podem estabelecer causa e efeito de
maneira conclusiva como um experimento
verdadeiro.

77
Design de Experimentos
 Somente um grupo com pré-teste e
pós-teste
 Comparação de dois grupos (grupo de
controle e grupo experimental) apenas
com pós-teste
 Dois grupos (experimental e de
controle) com pré-teste e pós-teste

78
Experimento: Vantagens
 Estratégia bem estabelecida, tida como
a mais “científica” e, portanto, é a mais
aceitável
 É a única estratégia de pesquisa que
pode provar relações causais.
 Experimentos de laboratório permitem
elevados níveis de precisão na medição
de resultados e na análise de dados.
79
Experimento: Desvantagens
 Em um experimento, o pesquisador tem de
divorciar o fenômeno de seu contexto.
 Experimentos de laboratório frequentemente
criam situações artificiais, não comparáveis a
situações reais.
 Muitas vezes é difícil ou até impossível
controlar todas as variáveis relevantes.
 Frequentemente é difícil recrutar uma
amostra representativa de participantes.
80
Design Science
 Envolve três ciclos intimamente
relacionados de atividades (HEVNER,
2007):
 Ciclo da Relevância
 Ciclo do Design
 Ciclo do Rigor

81
Design Science

82
Design Science: Relevância
 Refere-se principalmente à:
 Motivação para a pesquisa, a qual pode vir de
necessidades práticas e/ou de oportunidades de
melhoria nas teorias correntes.
 Articulação entre a proposta de solução e a
motivação, de modo a reforçar as contribuições.
 Define o problema a ser tratado, requisitos e
critérios de avaliação

83
Design Science: Rigor
 Refere-se ao uso e geração de
conhecimento.
 Está associado a um corpo de
conhecimento confiável (teorias, métodos,
modelos etc.), o qual é usado para
embasar a pesquisa.
 Conhecimento gerado na pesquisa é
incorporado a esse corpo de
conhecimento.
84
Design Science: Design
 Refere-se às atividades centrais do
processo de pesquisa em direção ao
atendimento dos objetivos de pesquisa.
 Envolve o desenvolvimento e a
avaliação de artefatos ou teorias para
resolver o problema de pesquisa.
 Leva em consideração aspectos de
relevância e rigor.
85
Design Science: Exemplo da
Tese de Fabiano Ruy

86
Referência
 OATES, B.J., Researching Information
Systems and Computing, SAGE Publications,
2006.
 HEVNER, A.R. A three cycle view of design
science research. Scandinavian journal of
information systems, 19(2), p.4, 2007.

87