Medição

Cristine Pinto
Professora da FGV-SP
Fonte: http://one.laptop.org/

Um laptop por aluno

2
 Problemas/ Baixo desempenho
necessidades escolar

Insumos/ Entrega de laptops com Curso para professores sobre

atividades material pedagógico uso de laptops em aula

Produtos Alunos e professores com laptops Professores capacitados

Uso de laptops em casa Uso de laptops em aula

Resultados
intermediários
Mais tempo Aulas mais Mais
dedicado a divertidas e de presença e
lições e leituras melhor qualidade matrícula

Resultados finais Melhor desempenho

escolar 3
 Baixo desempenho escolar
Pontuação em provas de matemática e português

Laptops com material didático entregues a alunos e professores Curso a professores sobre uso de laptops em aula
N° de laptops entregues N° de cursos organizados

Alunos e professores com laptops Professores capacitados

N° de alunos e professores com N° de professores que fizeram
acesso a um laptop o curso

Uso de laptops em aula Uso de laptops em casa

Taxa de uso em visitas surpresa % de estudantes que disseram ter usado o
laptop em sua casa na semana anterior

Mais presença Aulas mais Mais tempo

e matrícula divertidas e de dedicado a lições
Taxa de absenteísmo
melhor qualidade e leituras
e matrícula Índice de motivação dos alunos % que estudou em casa e % que
leu um livro na semana anterior

Melhor desempenho escolar

4
Pontuação em provas de matemática e português
Esquema da apresentação

1. Objetivos da medição

2. O processo de responder a uma pergunta

3. Erros de medição

4. Fontes de dados

5. Melhores práticas

5
Objetivos da medição
O objetivo da medição
Precisão

Exato e preciso Exato e impreciso

Exatidão

Inexato e preciso Inexato e impreciso

7
Conceitos de medição/mensuração

Resultados
dos testes
(Dados) Inteligência
Teste de QI (Construto)
(Indicador)

https://commons.wikimedia.org/wiki/File:Red_Silhouette_-_Brain.svg
8
Medição
Construto

Indicador

Resposta

Dados
9
Validade Construto

• Em tese: Validade
– O quão bem um indicador
aponta para o resultado? Indicador
(p.ex. Testes de QI  inteligência)

Resposta

Dados

10
Confiabilidade Construto

Confiabilidade Indicador
• Em tese:
– A medida é consistente e
precisa vs. “ruidosa”

Resposta

Dados

11 11
Medição Construto

Erro de
Validade

Indicador

Erro de
Medição

Resposta

Erro de
Processamento

Dados

12
O processo de responder a uma pergunta
O processo de responder a
Construto
uma pergunta

Indicador

Erro de
Medição

Resposta

Dados

14
Quatro passos para responder uma pergunta

1. 2.
3. 4.
Compreender Recuperar
a pergunta Estimar/Julgar Responder
informação

15
 1. 2.
3. 4.
Compreender Recuperar
a pergunta Estimar/Julgar Responder
informação

Quantas vezes
?
ao mês você
consome arroz?

16
Prefere estar sentado?

A. Prefiro estar sentado

B. Não prefiro estar sentado

17
 1. 2.
3. 4.
Compreender Recuperar
a pergunta Estimar/ Julgar Responder
informação

D S T Q Q S S
¿Cuántas
¿Cuántas veces
vecesal
al mes
mes
comí arroz?
comí arroz?

18
Quanta dor você sentiu quando recebeu sua
vacina de sarampo?
(1: nada de dor | 5: dor insuportável)

A. 1
B. 2
C. 3
D. 4
E. 5

19
 1. 2.
3. 4.
Compreender Recuperar
a pergunta Estimar / Julgar Responder
informação

2x
+~2x
+~2x
+~2x
=~8x

20
 Quantas calorias você acha que consumiu
em sua última refeição ontem?

A. 0-99
B. 100-199
C. 200-499
D. 500-999
E. 1000-1499
F. 1500-2000
G. >2000

21
 1. 2. 3.
4.
Compreender Recuperar Estimação /
a pergunta Responder
informação Julgamento

0, 1, 2-3, 4-6, 7-12, 13+

Quantas vezes
ao mês você
consome arroz?
0, 1, 2-3, 4-6, 7-12, 13+

22
 Em média, quantas vezes durante os últimos 12
meses você praticou atividades físicas?

A. Sou sedentário(a): menos de uma vez ao mês

B. Raramente: uma vez ao mês
C. Às vezes: duas vezes ao mês
D. Suficientemente: três vezes ao mês
E. Frequentemente: quatro vezes ao mês
F. Sou bastante ativo(a): mais de quatro vezes ao mês

23
 Em média, quantas vezes durante os últimos 12
meses você praticou atividades físicas?

A. Nenhuma vez no ano

B. De 1 a 12 vezes no ano
C. De 13 a 24 vezes no ano
D. De 25 a 36 vezes no ano
E. De 37 a 42 vezes no ano
F. 43 vezes ou mais no ano

24
Erros de medição
Erro de medição Construto

Erro de
Validade

Indicador

Erro de
Medição

Resposta

Erro de
Processamento

Dados

26
Fontes do erro de medição

• Imprecisão na redação
• Alternativas incompletas
• Negativas
• Categorias sobrepostas
• Premissas
• Efeito de enquadramento
• Efeito telescópio
• Viés de memória
• Viés de ancoragem
• Viés de desigualdade social

27
Imprecisão
A pessoa que responde pode interpretar a pregunta de
várias formas

Exemplo:
Você vive com um adolescente?
– Sim
– Não

Em que faixa etária está o adolescente?

Sempre definir conceitos

28
Alternativas incompletas
Não incluem todas as categorias de resposta

Exemplo:
Qual é o seu maior nível educacional já completado?
– Primário / básico
– Secundário / médio
– Universitário: Graduação
– Universitário: Pós-graduação

“Nenhum” não é uma alternativa

Sempre assegurar que as categorias estejam

completas e sejam excludentes 29
Negativas
Perguntas com negativas podem ser confusas para quem
responde e pode levar a interpretações confusas

Exemplo:
Acredita que não deveria deixar seus filhos praticar
esportes de contato?
– Sim
– Não

As negativas podem confundir algumas pessoas

Evite negativas desnecessárias 30

Categorias sobrepostas
Exemplo
Quantas horas trabalha?
– Menos de 1 hora
– Entre 1 e 4 horas
– Entre 4 e 8 horas
– Entre 8 e 10 horas
– Mais de 10 horas

O que responderia alguém que trabalha 8 horas?

Assegure que as categorias sejam excludentes

31
Premissas

A pergunta assume algo sobre quem responde

Exemplo
Como foi seu café nessa manhã?
– Muito bom
– Regular
– Ruim

Assume que o entrevistado tomou café

Usar filtros e saltos 32

 Efeito de enquadramento

As pessoas respondem de diferentes maneiras dependendo do modo como se

faz a pergunta.

Exemplo:
Desenvolvem-se dois tratamentos para 600 pacientes terminais. O tratamento
A salvará 200 pessoas, o B deixará morrer 400. Qual você prefere?
– Tratamento A
– Tratamento B

Tratamento A é preferido porque se

contextualizou como um ganho

Buscar neutralidade ao enquadrar uma pergunta

Efeito telescópio
As pessoas percebem eventos recentes como mais remotos do
que são e eventos distantes são percebidos como mais próximos

Exemplo
Você comprou uma TV ou outro produto eletrônico de mais de
R$1.000 nos últimos 12 meses?

Isto levará a referências, pelo efeito telescópio, de eventos que

aconteceram há mais de 12 meses

Use eventos importantes para marcar o período de

referência.
Viés de memória
As pessoas recordam eventos e experiências de maneiras diferentes

Exemplo:
Quanto tempo teve que esperar na última vez que votou?
– Nada (não tinha fila)
– Menos de 10 minutos
– Entre 10 e 30 minutos
– Mais de 30 minutos

Esta experiência será recordada por alguns melhor que outros

Peça aos entrevistados para anotar informações

ou guardar recibos
Viés de ancoragem
As pessoas tendem a confiar muito na primeira informação que recebem
Exemplo:
Alguns eleitores reportaram esperar até mais de 3 horas. Quanto
tempo você esperou na última vez que votou?
– Nada (não havia fila)
– Menos de 10 minutos
– Entre 10 e 30 minutos
– 30 minutos ou mais

É mais provável que os entrevistados respondam números mais altos

Evite ancorar suas respostas

Viés de desejabilidade social
Tendência dos entrevistados de responder perguntas de uma maneira
favorável para os outros (enfatizar qualidades, esconder pontos fracos
ou fugir de estigmas)

Exemplo:
Você ajuda seus filhos com lições de casa?
– Sim
– Não

Os entrevistados podem ter vergonha de afirmar que não

Pregunte indiretamente e assegure privacidade

Fontes de dados
Fontes de dados
Dados secundários: Dados existentes e já coletados, como dados
públicos e administrativos
Exemplos: Censo Escolar, Prova Brasil, Saeb, PNAD, Censo etc.

Fonte: Wiki Commons

 Fontes de dados

Dados primários:
Coletados de forma
específica para a
pesquisa
Exemplos: Entrevistas ou
testes (campo para
coleta de dados)

Fonte: J-PAL
Levantamento de dados

Questionários Testes Observações

Etc.

Fonte: J-PAL

Grupos focais Entrevistas

Questionários com
entrevistadores
versus
Questionários
autoadministrados
Digital

Fonte: J-PAL Papel Por telefone

Efeitos dos meios de coleta de dados

Média de parceiros sexuais declarados

7 6,54

6 5,43
NÚMERO DE PARCEIROS

5
3,88
4

3 2,82

2 1,72
1,44
1

0
1 ano 5 anos Ao longo da vida
PERÍODO

Autorresposta Entrevistador

Fonte: adaptado de Tourangeau & Smith

Efeitos dos meios de coletas de dados
Frequência de condução de veículos após ter
ingerido álcool
60% 56%

50%
43% 44%

40%
32%
30%

20%
11%
9%
10%
1% 2% 2% 1%
0%
Frequente Ocasional Às vezes Nunca Não sabe

Por correio Por telefone

Fonte: adaptado de Dillman & Tamai (1991)

Melhores práticas
Dicas para o desenvolvimento de perguntas
• Dividir questões complexas em menores, fazer apenas uma pergunta
por vez

• Com perguntas fechadas, incluir todas as possibilidades razoáveis como

opções de respostas explícitas

• Fazer perguntas específicas(à exceção de questões sensíveis)

• Usar perguntas longas em vez de curtas (no caso de questões sensíveis)

Dicas para o desenvolvimento de perguntas

• Usar vocabulário familiar para descrever comportamentos sensíveis

• Incluir questões sensíveis com outras semelhantes para que ganhe

menor destaque

• Usar dicas visuais para transmitir conceitos (coesão social, indicador de

dor, felicidade)

• Garantir consistência na forma do questionário para orientar a

trajetória desejada ao longo dele (questões auto-administradas)
Dicas para o desenvolvimento de perguntas

• Usar palavras que todos os seus entrevistados possam compreender

• As primeiras questões devem ser fáceis e agradáveis de responder e

devem servir para construir confiança entre entrevistado e entrevistador

• Perguntas sobre um mesmo tema devem ser agrupadas

• O questionário deve incluir filtros, evitando perguntas para entrevistados

questões que não se aplicam a eles
Dicas para o desenvolvimento de perguntas
• Pré-teste: procedimentos para determinar se o questionário funciona
– Survey aplicado depois de uma entrevista junto a um grupo pequeno e
representativo da população-alvo a respeito do questionário

• Entrevista cognitiva: buscando entender como entrevistados entendem

as perguntas. Depois de perguntar, pedir a eles retorno sobre as
perguntas, sondando todos os 4 passos do processo de respostas

• Revisão de um expert: Perguntar a espertos no tema da medição.

Também comparar com surveys considerados bem estabelecidos, bem
analisados e testados
Dicas para fazer um piloto da entrevista

• Sem resposta: uma pergunta com alta taxa de omissões é

indicativo de que há algo errado

• Múltiplas respostas: perguntas em que há uma só resposta

possível e entrevistados assinalam mais de uma também é
indicativo de que há algo errado

• Resposta “outros”: alta taxa de resposta nesta categoria indica

que as possibilidades de respostas dadas não foram exaustivas
o suficiente
Outras coisas a considerar

• Escolha de palavras, definições, períodos de lembrança

• Escolha de respostas
– Aberta/fechada, única vs. múltiplas, unidades, escala de Likert, índice, dicas
visuais
• Tradução
– Testar no idioma local
• Treinar e garantir qualidade do trabalho do entrevistador
• Modo de entrada dos dados
• Extensão, fadiga
Em resumo

• Objetivo da medição é obter medida para construtos da avaliação

• O processo de responder a uma pergunta inclui compreender,

recuperar informação, estimar/julgar e chegar à resposta

• Erros de medição são gerados por erros ou dúvidas no processo de

perguntar ou responder

• Avaliação pode usar dados primários, a serem coletados, dados

secundários, já existentes, ou combinação entre os dois