Resumo - Pesquisas de

opinião pessoal
Victor Klisman
 As pesquisas de opinião são
provavelmente o método de pesquisa
mais comumente usado em todo o mundo.
O trabalho de pesquisa é visível porque
frequentemente somos solicitados a
participar de pesquisas em nossa
capacidade privada, como eleitores,
consumidores ou usuários de serviços.
Neste capítulo, usaremos exemplos reais
de pesquisa para ilustrar as atrações e
armadilhas da técnica de pesquisa.

 De início, o autor nos introduz a três

exemplos de pesquisa de Engenharia de
Software.
Pesquisa de Avaliação de
Tecnologia
Um grupo de pesquisadores, queria fazer uma pesquisa de
acompanhamento com gerentes, para descobrir que tipos
de avaliações eles fazem das tecnologias propostas e que
tipos de evidências eles confiam para suas decisões de
tecnologia.
Para isso, definiram algumas etapas:
Projetou-se um formulário de pesquisa e pediu-se a
vários funcionários que o criticasse.
Teste do formulário.
Revisão da pesquisa.
Inclusão do formulário em uma edição da Applied
Software Development.
Pesquisa de educação de software
Lethbridge (1998, 2000) conduziu pesquisas para ajudá-lo a
compreender as áreas onde os profissionais sentem que
precisam de mais ou melhor educação. O objetivo das
pesquisas era fornecer informações a instituições de ensino
e empresas no planejamento de currículos e programas de
treinamento.

Para isso, Lethbridge e sua equipe recrutaram participantes

para as pesquisas de duas maneiras: abordando as
empresas diretamente e pedindo-lhes que participassem, e
anunciando os participantes na web.
Pesquisa de educação de software
Para determinar os efeitos da educação formal, Lethbridge
apresentou aos entrevistados uma lista de tópicos
relacionados à ciência da computação, matemática e
negócios.

Para cada tópico, foi perguntado ao entrevistado

“O quanto você aprendeu sobre isso em sua educação
formal?”

As opções de respostas variaram em uma escala ordinal de

seis pontos, de "não aprendi nada" a "aprendi em
profundidade".
Pesquisa de gerenciamento de risco
de software
Ropponen e Lyytinen (2000) descreveram um exame das
práticas de gerenciamento de risco. Eles administraram uma
pesquisa abordando duas questões gerais:
Quais são os componentes do risco de desenvolvimento de
software?
Quais práticas de gestão de risco e contingências
ambientais ajudam a lidar com esses componentes?

Para descobrir as respostas, os pesquisadores enviaram um

questionário a cada um de uma amostra pré-selecionada de
membros da Associação Finlandesa de Processamento de
Informações cujo cargo era “gerente” ou equivalente.
Pesquisa de gerenciamento de risco
de software
Ropponen e Lyytinen fizeram vinte perguntas sobre o risco,
apresentando cenários e pedindo aos entrevistados que
classificassem sua ocorrência com uma escala ordinal de cinco
pontos, variando de “quase nunca” a “quase sempre”. Por exemplo,
os cenários incluíram:
Seu projeto é cancelado antes de concluí-lo e
As tarefas subcontratadas no projeto são realizadas conforme o
esperado.

Os pesquisadores colocaram também questões adicionais

relacionadas às características organizacionais, como o tamanho da
organização, indústria, tipo de sistemas desenvolvidos e arranjo
contratual.
Mas o que é um Survey?
Survey
Uma pesquisa não é apenas o instrumento (questionário ou lista
de verificação) para a coleta de informações. É um método de
pesquisa abrangente para coletar informações para descrever,
comparar ou explicar conhecimentos, atitudes e comportamento
(Fink, 1995). Fowler (2002) define uma pesquisa quantitativa da
seguinte forma:
O objetivo de uma pesquisa é produzir estatísticas, ou seja,
descrições quantitativas ou numéricas de alguns aspectos da
população de estudo.
A principal forma de coletar informações é fazendo perguntas;
suas respostas constituem os dados a serem analisados.
Geralmente, as informações devem ser coletadas apenas de
uma fração da população, ou seja, uma amostra, e não de
todos os membros da população.
 Visto tudo isso, podemos partir para
as principais atividades que precisam
ser consideradas em um Survey.
Definir objetivos

O primeiro passo em qualquer pesquisa de levantamento (ou

qualquer pesquisa, nesse caso!) É estabelecer objetivos
também referidos como definição de problema. Cada objetivo
é simplesmente uma declaração dos resultados esperados da
pesquisa ou uma pergunta que a pesquisa pretende
responder.
 Definir objetivos
Existem três tipos comuns de objetivo:
Para avaliar a taxa ou frequência de alguma característica
que ocorre em uma população, por exemplo, podemos estar
interessados ​na frequência de projetos reprovados (Standish
Group, 2003).
Para avaliar a gravidade de alguma característica ou
condição que ocorre em uma população, por exemplo,
podemos estar interessados ​na saturação média de projetos
de software (Moløkken-Østvold et al., 2004).
Para identificar fatores que influenciam uma característica
ou condição, por exemplo, podemos estar interessados ​em
fatores que predispõem uma atividade de melhoria de
processo ao fracasso ou ao sucesso Dybå (2005).
Definir objetivos

Os primeiros dois tipos de objetivos de pesquisa são

descritivos: eles descrevem alguma condição ou fator
encontrado em uma população em termos de sua frequência
e impacto. O segundo tipo de pesquisa examina a relação
existente entre fatores e condições dentro de uma
população.
Design da Pesquisa

Dois tipos comuns de design de pesquisa são:

Transversal: neste tipo de estudo, os participantes são
solicitados a fornecer informações em um ponto fixo no
tempo.

Por exemplo, podemos pesquisar todos os membros de uma

organização de desenvolvimento de software às 10h de uma
determinada segunda-feira, para descobrir em que atividades
eles estão trabalhando naquela manhã. Essas informações nos
dão um instantâneo do que está acontecendo na organização.
 Design da Pesquisa

Longitudinal: Este tipo de estudo é prospectivo, fornecendo

informações sobre mudanças em uma população específica
ao longo do tempo. Existem duas variantes principais de
projetos longitudinais. Você pode pesquisar as mesmas
pessoas em cada período de tempo ou pode pesquisar
pessoas diferentes.
Design da Pesquisa
A outra questão a decidir é a forma como a pesquisa será
administrada.

As opções incluem:
Questionários autoaplicáveis ​(geralmente por correio, mas
cada vez mais pela Internet).
Pesquisas por telefone.
Entrevistas individuais.

As questões que podem ser respondidas são influenciadas por

este fator. Além disso, as estratégias para obter dados
confiáveis, como a ordenação e a redação das perguntas, variam
de acordo com o método de administração.
Desenvolvimento de um
instrumento de pesquisa

Os instrumentos de pesquisa, que geralmente são

questionários, são desenvolvidos usando as seguintes etapas:

Pesquise a literatura relevante.

Construir um instrumento.
Avalie o instrumento.
Documente o instrumento.
 Desenvolvimento de um
instrumento de pesquisa
Pesquise a literatura relevante

Como acontece com qualquer bom estudo investigativo,

devemos começar nosso trabalho examinando a literatura.
Precisamos dessas pesquisas para:

Identifique quais outros estudos foram feitos sobre o tema.

Determinar como os pesquisadores dos estudos anteriores
coletaram seus dados.
Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento

Na engenharia de software, geralmente começamos do zero,

construindo modelos de um problema e projetando instrumentos de
pesquisa especificamente para o problema em questão.
No entanto, em outras disciplinas, é raro desenvolver um novo
instrumento de pesquisa. Pesquisadores geralmente confiam no uso de
instrumentos existentes, talvez ligeiramente adaptados para acomodar
variações sobre um tema comum.
 Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento

Um instrumento pode ser alterado se:

É muito longo para ser usado na íntegra.

Uma população diferente está sendo estudada daquela para a qual
o instrumento original foi projetado.
Precisa ser traduzido.
O método de coleta de dados é diferente de alguma forma da coleta
de dados do instrumento original.
Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Tipos de Perguntas

Uma pesquisa pede que os entrevistados respondam às perguntas por

um motivo, portanto, o ponto de partida na concepção do instrumento
de pesquisa deve ser sempre o propósito e os objetivos da pesquisa.

Ao formular perguntas para um instrumento de pesquisa, você pode

expressá-las de duas maneiras: aberta ou fechada.
Uma pergunta é aberta quando os respondentes são solicitados a
definir sua própria resposta. Por outro lado, uma pergunta é fechada
quando os respondentes são solicitados a selecionar uma resposta em
uma lista de opções predefinidas.
 Desenvolvimento de um
instrumento de pesquisa

Construir um instrumento - Desenho das Perguntas

Assim que tivermos uma ideia do que queremos perguntar, devemos

refletir um pouco sobre como queremos fazer as perguntas. As perguntas
devem ser precisas, inequívocas e compreensíveis para os respondentes.
Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Desenho das Perguntas

Para isso, precisamos garantir que:

A linguagem usada é apropriada para os respondentes pretendidos.
Usamos gramática, pontuação e ortografia padrão.
Cada pergunta expressa um e apenas um conceito.
As perguntas não incluem qualificadores vagos ou ambíguos.
Coloquialismos e jargões são evitados.
Usamos tanto perguntas negativas quanto positivas, mas evitamos
simplesmente negar uma pergunta ou usar uma dupla negativa.
Evitamos fazer perguntas sobre eventos que ocorreram há muito
tempo.
Evitamos fazer perguntas delicadas que os entrevistados possam
não estar dispostos a responder em um questionário autoaplicável.
 Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Elaborando Respostas para Perguntas

As respostas são geralmente de um dos quatro tipos:

Valores numéricos (por exemplo, idade)
Categorias de resposta (por exemplo, tipo de trabalho)
Sim / Não respostas
Escalas ordinais.
Os valores numéricos são geralmente diretos, mas outros tipos de resposta
podem causar dificuldades.
Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Elaborando Respostas para Perguntas

As categorias de resposta exigem que todos os entrevistados escolham

um conjunto de categorias possíveis. Eles deveriam ser:
Exausto, mas não muito longo
Mutualmente exclusivo
Permitir várias seleções, se necessário
Incluir uma categoria "Outro" se as categorias não forem
exaustivas.
 Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Formato do Questionário
Para questionários autoaplicáveis, é importante considerar o formato do
questionário e as instruções do questionário.
Deixe um espaço para que os respondentes comentem o questionário.
Use espaço entre as perguntas.
Use o formato vertical, espaços, caixas, setas, etc. para maximizar a
clareza das perguntas.
Considere o uso de grades simples.
Considere o uso de um formato de livreto.
Tenha um bom contraste entre a impressão e o papel.
Limite-se a um tamanho de fonte de 10–12.
Use uma fonte fácil de ler.
Evite itálico.
Use negrito, sublinhado ou maiúsculas de forma criteriosa e consistente
para dar ênfase e instruções.
Não divida instruções, perguntas e respostas associadas entre as páginas.
Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Taxas de resposta e motivação

Frequentemente, é muito difícil motivar as pessoas a responderem a

uma pesquisa não solicitada. Os pesquisadores da pesquisa podem usar
incentivos, como pequenas recompensas monetárias ou presentes, mas
geralmente não são muito bem-sucedidos.

Devemos ter certeza de que o instrumento de pesquisa é acompanhado

por várias informações-chave fornecidas aos participantes:
Qual é o propósito do estudo.
Por que deve ser relevante para eles.
Por que a participação de cada indivíduo é importante.
Como e porque cada participante foi escolhido.
Como a confidencialidade será preservada.
 Desenvolvimento de um
instrumento de pesquisa
Construir um instrumento - Comprimento do questionário

Embora todos saibamos que devemos nos esforçar para obter o questionário
mais curto que responda às nossas perguntas de pesquisa, sempre há a
tentação de adicionar algumas perguntas extras “enquanto nos damos ao
trabalho de organizar uma pesquisa”. Isso geralmente é um erro.

As perguntas geralmente podem ser agrupadas em tópicos, onde cada tópico

aborda um objetivo específico. Uma maneira de reduzir as perguntas é
identificar um tópico abordado por muitas perguntas e, em seguida, remover
algumas das menos vitais. Outra forma é remover alguns grupos de perguntas.
Avaliação do instrumento de pesquisa
Muitas vezes pensamos que, depois de definir as perguntas para nossa
pesquisa, podemos administrá-la e coletar os dados resultantes. Mas
tendemos a esquecer que criar um conjunto de questões é apenas o começo
da construção do instrumento. Uma vez criado o instrumento, é essencial
que o avaliemos (Litwin, 1995). A avaliação costuma ser chamada de pré-
teste e tem vários objetivos diferentes:

Para verificar se as perguntas são compreensíveis.

Para avaliar a taxa de resposta provável e a eficácia dos procedimentos
de acompanhamento.
Avaliar a confiabilidade e validade do instrumento.
Para garantir que nossas técnicas de análise de dados correspondam às
respostas esperadas.
 Avaliação do instrumento de pesquisa
As duas maneiras mais comuns de organizar uma avaliação são grupos de
foco e estudos-piloto.

Os grupos focais são grupos de discussão mediados. Montamos um grupo

de pessoas que representam aqueles que usarão os resultados da pesquisa
ou aqueles que serão solicitados a completá-la (ou talvez uma mistura dos
dois grupos). Então os membros são convidados a preencher o questionário
e a identificar quaisquer problemas potenciais.

Os estudos-piloto de pesquisas são realizados usando os mesmos

procedimentos da pesquisa, mas o instrumento de pesquisa é administrado
a uma amostra menor. Os estudos-piloto têm como objetivo identificar
eventuais problemas com o próprio questionário, bem como com a taxa de
resposta e procedimentos de seguimento. Eles também podem contribuir
para a avaliação da confiabilidade.
O objetivo mais importante do pré-
teste é avaliar a confiabilidade e a
validade do instrumento.
 Tipos de confiabilidade
Uma pesquisa é confiável se a administrarmos várias vezes e obtivermos
aproximadamente a mesma distribuição de resultados a cada vez. A
confiabilidade teste-reteste (intra-observador) é baseada na ideia de que se
a mesma pessoa responder a uma pesquisa duas vezes, gostaríamos de
obter as mesmas respostas todas as vezes.

Podemos avaliar esse tipo de confiabilidade pedindo aos mesmos

entrevistados que respondam às perguntas da pesquisa em momentos
diferentes. Se a correlação entre o primeiro conjunto de respostas e o
segundo for maior que 0,7, podemos assumir que a confiabilidade teste-
reteste é boa.
 Tipos de confiabilidade

Duas medidas de confiabilidade são particularmente importantes para

escalas de classificação somadas: o coeficiente alfa de Cronbach
(Cronbach, 1951) e o coeficiente Item-resto. Essas medidas avaliam a
consistência interna de um conjunto de itens (questões) que se destinam a
medir um único conceito.
 Tipos de Validade
Queremos ter certeza de que nosso instrumento de pesquisa está medindo
o que queremos medir. Isso é chamado de validade da pesquisa. Quatro
tipos de validade são discutidos.

A validade de face é uma revisão superficial dos itens por juízes não
treinados. Quase não conta como uma medida de validade, porque é
muito subjetivo e mal definido.
A validade de conteúdo é uma avaliação subjetiva de quão apropriado o
instrumento parece para um grupo de revisores (ou seja, um grupo de
foco) com conhecimento do assunto.
A validade de critério é a capacidade de um instrumento de medida
distinguir respondentes pertencentes a grupos diferentes.
A validade do construto diz respeito ao quão bem um instrumento mede
o construto que foi projetado para medir.
 Documentação de pesquisa
Após a finalização do instrumento, documentamos a pesquisa. Se a pesquisa
for autoadministrada, você deve considerar a possibilidade de escrever um
documento descritivo inicial, chamado de especificação de questionário. Deve
incluir:
O (s) objetivo (s) do estudo.
Uma descrição do fundamento lógico de cada pergunta.
A justificativa para quaisquer questões adotadas ou adaptadas de outras
fontes, com as citações apropriadas.
Uma descrição do processo de avaliação.

Além disso, uma vez que o questionário é administrado, a documentação deve

ser atualizada para registrar informações sobre:
Quem eram os entrevistados.
Como foi administrado.
Como o procedimento de acompanhamento foi conduzido.
Como os questionários preenchidos foram processados.
 Obtenção de dados válidos
O principal ponto a ser entendido é que uma amostra válida não é
simplesmente o conjunto de respostas que obtemos quando aplicamos um
questionário. Um conjunto de respostas é apenas uma amostra válida, em
termos estatísticos, se tiver sido obtido por um processo de amostragem
aleatória.

Para obter uma amostra, você deve começar definindo uma população-alvo. A
população-alvo é o grupo ou os indivíduos aos quais a pesquisa se aplica.

Uma amostra válida é um subconjunto representativo da população-alvo. A

palavra crítica em nossa definição de amostra é a palavra "representante". Se
não tivermos uma amostra representativa, não podemos afirmar que nossos
resultados generalizam para a população alvo.
 Obtenção de dados válidos
Obtendo uma Amostra Válida

Começamos entendendo a população-alvo. Não podemos amostrar uma

população se não podemos especificar o que é essa população. Nossa
avaliação inicial da população-alvo deve surgir dos objetivos da pesquisa.

A população-alvo específica pode ser um subconjunto de uma população

maior. Pode ser especificado pelo uso de critérios de inclusão ou exclusão.

Precisamos considerar se as análises levarão a conclusões significativas, em

particular:

Os resultados da análise atenderão aos objetivos do estudo?

A população-alvo pode responder às nossas perguntas de pesquisa?
 Obtenção de dados válidos
Métodos de Amostragem Probabilística

Uma amostra probabilística é aquela em que cada membro de uma população-

alvo tem uma probabilidade conhecida diferente de zero de ser incluído na
amostra. O objetivo de uma amostra probabilística é eliminar a subjetividade e
obter uma amostra não enviesada e representativa da população-alvo.

Uma amostra aleatória simples é aquela em que cada membro da população-

alvo tem a mesma probabilidade de ser incluído na amostra.

Uma amostra aleatória estratificada é obtida dividindo a população-alvo em

subgrupos chamados estratos.

A amostragem sistemática envolve a seleção de cada enésimo membro da

base de amostragem.
 Obtenção de dados válidos

Amostragem baseada em cluster

Amostragem baseada em clusters é o termo dado para pesquisar indivíduos

que pertencem a grupos definidos. Por exemplo, podemos querer pesquisar
todos os membros de um grupo familiar ou todos os pacientes em hospitais
específicos. Os procedimentos de randomização são baseados em o cluster,
não o indivíduo.
 Obtenção de dados válidos
Métodos de amostragem não probabilísticos

Amostras não probabilísticas são criadas quando os respondentes são

escolhidos porque são facilmente acessíveis ou porque os pesquisadores têm
alguma justificativa para acreditar que eles são representativos da população.
Este tipo de amostra corre o risco de ser tendenciosa (ou seja, não ser
representativa da população-alvo), por isso é perigoso tirar daí quaisquer
inferências fortes.

Existem três razões para usar amostras não probabilísticas:

A população-alvo é difícil de identificar.
A população-alvo é muito específica e de disponibilidade limitada.
A amostra é um estudo piloto, não a pesquisa final, e um grupo não
aleatório está prontamente disponível.
 Obtenção de dados válidos
Tamanho da Amostra

Uma grande questão de preocupação durante a amostragem é determinar o

tamanho apropriado da amostra. Existem duas razões pelas quais o tamanho
da amostra é importante:
um tamanho de amostra inadequado pode levar a resultados que não são
estatisticamente significativos.
amostragem inadequada de clusters ou estratos inibe nossa capacidade de
comparar e contrastar diferentes subconjuntos da população.
Analisando Dados da Pesquisa
Data de validade

Antes de empreender qualquer análise detalhada, as respostas devem ser

examinadas quanto à consistência e integridade. É importante ter uma política
de tratamento de questionários inconsistentes e ou incompletos.

Devemos investigar as características dos questionários rejeitados da mesma

forma que investigamos a não resposta para garantir que não introduzamos
nenhum viés sistemático.

Às vezes podemos usar todos os questionários, mesmo que alguns estejam

incompletos. Nesse caso, teremos tamanhos de amostra diferentes para cada
questão que analisarmos e devemos nos lembrar de relatar o tamanho real da
amostra para cada estatística de amostra.
 Analisando Dados da Pesquisa
Particionando as respostas

Frequentemente, precisamos dividir nossas respostas em subgrupos mais

homogêneos antes da análise. O particionamento geralmente é feito com base
em informações demográficas. Podemos querer comparar as respostas
obtidas de diferentes subgrupos ou simplesmente relatar os resultados para
diferentes subgrupos separadamente.

O particionamento das respostas está relacionado à validação dos dados, pois

pode fazer com que algumas respostas sejam omitidas da análise.
 Analisando Dados da Pesquisa
Analisando dados ordinais e nominais

Analisar dados numéricos é relativamente simples. No entanto, existem

problemas adicionais se os seus dados forem ordinais ou nominais.

Um grande número de pesquisas pede às pessoas que respondam a perguntas

em uma escala ordinal, como uma escala de concordância de cinco pontos.

É prática comum converter a escala ordinal em seu equivalente numérico (por

exemplo, os números de 1 a 5) e analisar os dados como se fossem dados
numéricos simples. Mas, usar uma conversão de ordinal em numérico envolve o
risco de que a análise subsequente forneça resultados enganosos.
 Analisando Dados da Pesquisa

Analisando dados ordinais e nominais

Existem três abordagens que podem ser usadas se quisermos evitar violações
de escala:

1. Podemos usar as propriedades da distribuição multinomial para estimar a

proporção da população em cada categoria e então determinar o erro
padrão da estimativa.
2. Podemos converter uma escala ordinal em uma variável dicotômica.
3. Podemos usar a correlação de posto de Spearman ou o tau de Kendall
(Siegel e Castellan, 1998) para medir a associação entre as variáveis ​da
escala ordinal.
As lições que eu aprendi com o
livro
O capítulo foi muito interessante, pois conheci bem detalhadamente como
funciona um Survey, assim como o passo a passo para a realização de
pesquisas baseada nessa técnica.

O capítulo é um pouco longo mas bem fácil de assimilar, com destaque para
os passo a passos e exemplos dentro da nossa área de Engenharia de
Software.

Gostei do capítulo por focar em questionários autoaplicáveis, que são os

que mais acho interessante. Ainda tirei da cabeça de que Survey é apenas
um questionário, sendo que o questionário é apenas um instrumento desse
tipo de pesquisa.

Com relação aos slides, não consegui abstrair tanto e acabou ficando com
bastante texto :(. Porém, estão destacando as partes consideradas
importantes do capítulo.
Obri
gado!
Você tem perguntas para
mim?

vksm@icomp.ufam.edu.br