Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material está destinado a su uso como material de

estudio del Curso de evaluación de impacto de Políticas
Públicas y no debe ser utilizados para otros medios sin la
autorización expresa de J-PAL.
Curso de evaluación de
impacto de Políticas Públicas

14 – 16 de febrero
Lima, Perú
Medición

Sergio De Marco
Gerente de Investigación
IPA

@JPAL_LAC @poverty_action
Etapas de una investigación

Definición
Operacionalización
problema de
de conceptos
investigación

Desarrollo
Levantamiento Procesamiento
instrumentos de
de datos de datos
medición

Análisis de
datos

J-PAL | M EDICIÓN 4
Contenidos

1. Operacionalización de conceptos

2. Desarrollo de instrumentos de medición

J-PAL | M EDICIÓN 5
 1. Operacionalización de
conceptos

J-PAL | M EDICIÓN 6
Objetivo

• Comprender para qué sirve la operacionalización de

conceptos

• Entender cómo se realiza un proceso de

operacionalización de conceptos.

• Comprender conceptos básicos de medición.

J-PAL | M EDICIÓN 7
Aprender en Familia
Bajo nivel de capacitación de los padres para apoyar la educación de sus hijos

Bajo nivel de desarrollo y aprendizaje de los niños

Escuela para padres

Padres más conscientes de Padres capacitados en

su rol competencias parentales

Mayor involucramiento
parental

Niños más estimulados

Mayor desarrollo cognitivo y no cognitivo 9

Mayor nivel de aprendizaje

J-PAL | M EDICIÓN
Bajo nivel de capacitación de los padres
para apoyar la educación de sus hijos

Bajo nivel de desarrollo y aprendizaje

de los niños

Escuela para padres

Asistencia a reuniones
Padres
Padres más
capacitados en Pauta de observación
conscientes de
competencias
su rol
parentales

Mayor involucramiento parental

Cuestionario para padres y
Niños más estimulados para apoderados

Mayor desarrollo cognitivo y no

Test cognitivos y no cognitivos
cognitivo 10

Asistencia y notas de
Mayor nivel de aprendizaje y asignaturas
desempeño escolar
J-PAL | M EDICIÓN
Indicadores de una investigación

Indicadores Evaluación
de procesos de procesos
Cadena
causal
Indicadores Evaluación
de resultados de Impacto

J-PAL | M EDICIÓN 11
Indicadores de procesos

• Indicador concreto
– Realización de las reuniones
• Registro con fecha y asistencia

• Indicador abstracto
– Supervisión de la calidad de las reuniones
• Pauta de observación

Pero… ¿Cómo definimos el contenido?

¿Qué es calidad?
J-PAL | M EDICIÓN 12
Indicadores de resultados

• Indicador concreto
– Desempeño académico
• Notas
• Asistencia
• Indicador abstracto
– Involucramiento parental
• Cuestionario para apoderados y estudiantes

Pero, ¿Cómo definimos involucramiento parental?

¿Qué preguntas incluimos?

J-PAL | M EDICIÓN 13
Sistematizar la medición

Para sistematizar, determinar la aproximación

metodológica par abordar los conceptos de nuestra
investigación y construir los instrumentos de medición,
utilizamos la operacionalización de conceptos que en
adelante llamaremos OC.

J-PAL | M EDICIÓN 14
Operacionalización de
conceptos (OC)
Características de una OC

• Es un proceso deductivo donde los conceptos

abstractos son llevados desde el plano teórico a un
plano concreto, con la intención de hacerlos operativos
y medirlos empíricamente en una investigación.

16
Características de una OC

• Permite definir, delimitar e identificar las dimensiones,

sub dimensiones, indicadores y finalmente las preguntas
que nos permitirán abordar el concepto que nos
interesa.

17
Características de una OC

• Se trabaja con una matriz que orienta el diseño de las

preguntas del cuestionario.

Concepto Definición Dimensión Sub Indicador Instrumento

dimensión

18
Características de una OC

• Es un proceso subjetivo según la mirada del investigador

y su enfoque teórico.

19
Características de una OC

• Permite mantener la coherencia entre el plano

abstracto y práctico sin perder el objetivo de la
pregunta.

20
Características de una OC

 Ayuda a determinar el tipo de pregunta y el fraseo que

ésta tendrá.

 Ayuda a mantener la atención respecto de la

confiabilidad y validez de nuestros indicadores.

 Permite revisar si efectivamente es posible medir lo que

se espera.

21
Ejemplo de un constructo: Ingresos

a) Durante el último mes, ¿Cuánto dinero recibió como

ingreso de su trabajo principal?

b) Durante los últimos doce meses, ¿Cuánto dinero recibió

como ingreso de su trabajo principal?

c) Durante los últimos doce meses, ¿Cuál fue el ingreso

total para usted y los miembros de su hogar
proveniente de su trabajo y otras fuentes de ingresos?

22
 Ejemplo de un constructo: Ingresos
• Todas son una aproximación para lograr obtener
información del mismo concepto, pero se puede utilizar
para distintos objetivos.

• Un objetivo de pregunta bien desarrollado debe ser más

especifico que solo ingresos, y éste debe estar en
concordancia con el plan de análisis de la investigación.

• Ejemplo:

– Objetivo: lograr información sobre el estatus y calidad del

empleo actual del entrevistado.

– Definición: ingresos laborales de las personas durante el

último mes.

23
Fases de una OC

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices
Fases de una OC

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices
1. Definición teórica del concepto

Ejemplo: Involucramiento parental

• Comportamientos parentales correlacionados que

implican atención sobre las actividades y relaciones de
los hijos.
Fases de una OC

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices
2. Descomposición del concepto en
dimensiones y subdimensiones.
Concepto / Dimensión

Vigilancia Parental

Involucramiento
Parental

Control Parental
Fases de una OC

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices
3. Definición de indicadores

 Hacen medible un concepto abstracto puente entre

el trabajo teórico y el empírico.

 Se espera que al observar un fenómeno en base al

indicador, la respuesta o el comportamiento que se
observe refleje aquella dimensión latente
transformándolo en una expresión numérica.
 3. Definición de indicadores

Concepto / Dimensión / Indicadores

Frecuencia de conocimiento de los lugares
que frecuenta
Vigilancia
Grado de conocimiento de los amigos
Parental
Involucramiento

Grado de atención al desempeño escolar

Parental

Reacción del padre ante tragos de más

Reacción de la madre ante tragos de más

Control
Parental
Reacción del padre ante consumo de droga

Reacción de la madre ante consumo de

droga
Fases de una OC

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices
4. Síntesis de indicadores

 Los indicadores son transformados en preguntas o

índices que rescatarán el valor numérico de la
dimensión/sub dimensión.
4. Síntesis de indicadores
Concepto Definición Dimensión Indicador Pregunta Atributos pregunta

Frecuencia Después de que sales 1. Nunca o casi

de del colegio o durante nunca saben
conocimiento los fines de semana, dónde estoy
de los lugares ¿Cuántas veces ocurre 2. A veces no saben
que frecuenta que tu madre o tu 3. Siempre o casi
padre no sabe dónde siempre saben
Comporta estás? dónde estoy.
-mientos
parentales
correla-
cionados
Involucra- que En general, ¿tu dirías
Vigilancia que tus padres
miento implican
parental Grado de conocen bastante a tus 1. Bastante
parental atención
sobre las conocimiento amigos más cercanos, 2. Mas o menos
activida- de los amigos más o menos o poco a 3. Poco
des y tus amigos más
relaciones cercano?
de los hijos
Grado de ¿Cuán atentos están tus
1. Mucho
atención al padres (o alguno de
2. Bastante
desempeño ellos) respecto de lo
3. Poco
escolar que haces en el
4. Nada
colegio?
Características de un buen indicador

Características “CREMA”

• Claros: sin ambigüedad.

• Relevante: apropiados para el concepto en cuestión.
• Económicos: costo razonable de recolectar y analizar.
• Medibles: es factible obtener la información
• Adecuados: proveen una base suficiente para evaluar
su desempeño.

(Kusek, J. Z., & Rist, R. (2004) 35

Fases de una OC Desarrollo de
instrumentos de
medición

Descomposición Síntesis de
Definición
en dimensiones Definición de indicadores en
teórica del
y sub- indicadores preguntas e
concepto
dimensiones índices

PUENTE ENTRE LO
TEÓRICO Y LO
EMPÍRICO: MEDICIÓN
¿Cómo medir un concepto?
 Medición de conceptos

Resultados
prueba
(Datos)
Inteligencia
IQ test (Constructo)
(Indicador)

J-PAL | M EDICIÓN 38
https://commons.wikimedia.org/wiki/File:Red_Silhouette_-_Brain.svg
El objetivo de la medición
Precisión

Exacto y preciso Exacto e impreciso

Exactitud

Inexacto y preciso Inexacto y impreciso

J-PAL | M EDICIÓN 39
Medición: conceptos

Constructo

Validez o
insesgadez
Instrumento/indicador

Confiabilidad Levantamiento de
información

Datos

J-PAL | M EDICIÓN 40
Síntesis: OC

• Empezar por la teoría de cambio para identificar qué

medir.

• La operacionalización de conceptos es un proceso

donde los conceptos teóricos son traducidos en
indicadores.

• Los datos medidos deben ser precisos y exactos.

J-PAL | M EDICIÓN 41
 2. Desarrollo de instrumentos de
medición

J-PAL | M EDICIÓN 42
Etapas de una investigación

Definición
Operacionalización
problema de
de conceptos
investigación

Desarrollo
Levantamiento Procesamiento
instrumentos de
de datos de datos
medición

Análisis de
datos

J-PAL | M EDICIÓN 43
Objetivos

• Comprender cómo es el proceso cognitivo que

enfrenta un entrevistado al responder una pregunta
para diseñar mejores preguntas.

• Conocer los errores más comunes de medición y las

estrategias para reducir estos errores.

• Conocer estrategias básicas para diseñar cuestionarios.

J-PAL | M EDICIÓN 44
El proceso de responder una
pregunta
El proceso de responder una pregunta

Medida

Constructo

Indicador
Error de
Medición
Respuesta

Respuesta
editada

J-PAL | M EDICIÓN 46
4 pasos para responder una pregunta
1. Entender /
2. Recuperar 3. Estimación
Comprender 4. Responder
información / Juicio
la pregunta

J-PAL | M EDICIÓN 47
 1. Entender /
2. Recuperar 3. Estimación
Comprender 4. Responder
información / Juicio
la pregunta

¿Cuántas veces
?
al mes consumes
arroz?

J-PAL | M EDICIÓN 48
¿Prefieres estar sentado?

A. Prefiero estar sentado

B. No prefiero estar
sentado

J-PAL | M EDICIÓN 49
 1. Entender /
2. Recuperar 3. Estimación
Comprender 4. Responder
información / Juicio
la pregunta

¿Cuántas
¿Cuántas veces
vecesal
almes
mes
comí arroz?
comí arroz?

J-PAL | M EDICIÓN 50
 ¿Qué tanto dolor sentiste cuando recibiste tu
vacuna del sarampión?
(1: nada de dolor | 5: dolor insoportable)

A. 1
B. 2
C. 3
D. 4
E. 5

J-PAL | M EDICIÓN 51
 1. Entender /
2. Recuperar 3. Estimación
Comprender 4. Responder
información / Juicio
la pregunta

2x
+~2x
+~2x
+~2x
=~8x

J-PAL | M EDICIÓN 52
¿Cuántas calorías crees que consumiste en tu
última comida ayer?

A. 0-99
B. 100-199
C. 200-499
D. 500-999
E. 1000-1499
F. 1500-2000
G. >2000

J-PAL | M EDICIÓN 53
 1. Entender /
2. Recuperar 3. Estimación
Comprender 4. Responder
información / Juicio
la pregunta

0, 1, 2-3, 4-6, 7-12, 13+

¿Cuantas veces
al mes consumes
arroz?
0, 1, 2-3, 4-6, 7-12, 13+

J-PAL | M EDICIÓN 54
 Error de Medición

J-PAL | M EDICIÓN 55
Error de Medición

Medición

Constructo

Validez

Instrumento
Error de
Medición
Respuesta
Error de
Procesamiento
Respuesta
editada

J-PAL | M EDICIÓN 56
Fuentes del error de medición

• Imprecisión en la redacción
• Alternativas incompletas
• Supuestos
• Efecto marco
• Efecto telescopio
• Sesgo de anclaje
• Sesgo de deseabilidad social

J-PAL | M EDICIÓN 57
Imprecisión
La persona que responde puede interpretar la pregunta
de varias formas.

Ejemplo:
¿Usted vive con un adolescente?
– Sí
– No

¿En que rango de edad se considera adolescente?

Siempre definir conceptos

58
Alternativas incompletas
No incluyen todas las categorías de respuesta.

Ejemplo:
¿Cuál es el nivel de educación más alto que has
completado?
– Primaria / básica
– Secundaria / media
– Universitaria: Pre-grado
– Universitaria: post-grado

“Ninguna” no es una alternativa

Siempre pilotear para asegurar que las

categorías están completas y son excluyentes 59
Supuestos

La pregunta asume algo sobre quien responde.

Ejemplo
¿Qué te pareció tu café en la mañana?
– Muy bueno
– Regular
– Malo

Asume que el encuestado tomó café

Usar filtros y saltos 60

Efecto marco
Las personas responden de diferentes maneras
dependiendo cómo se presente la pregunta.

Ejemplo:
Se desarrollan dos tratamientos para 600 pacientes
terminales. El tratamiento A salvará a 200 personas, el B
dejará morir 400. ¿Cuál prefiere?
– Tratamiento A
– Tratamiento B

Tratamiento A es preferido porque se enmarcó como una

ganancia

Tratar de ser neutral al enmarcar una pregunta

61
Efecto telescopio
La gente percibe eventos recientes como más remotos de
lo que son y eventos lejanos se ven como más cercanos.

Ejemplo
¿Compraste una TV u otro producto electrónico de más
de US$400 en los últimos 12 meses?
____________

Esto llevará a sobre-reportar por el efecto telescopio de

eventos que pasaron hace más de 12 meses

Usa eventos importantes para marcar el periodo de

referencia. 62
Sesgo de anclaje
La gente tiende a confiar mucho en la primera información
que reciben.
Ejemplo:
Algunos votantes reportaron esperas de más de 3 horas.
¿Cuánto tiempo esperaste la última vez que votaste?
• Nada (no había fila)
• Menos de 10 minutos
• Entre 10 y 30 minutos
• 30 minutos o más
Es más probable que los encuestados respondan las cifras
más altas

Evita anclar tus respuestas 63

Sesgo de deseabilidad social
Tendencia de los encuestados a responder preguntas de
una manera favorable para los otros. (Enfatizar fortalezas,
esconder debilidades o evadir los estigmas)

Ejemplo:
¿Golpeas a tu pareja?
• Sí
• No

A los encuestados les dará vergüenza contestar que sí

Pregunta indirectamente, asegura privacidad 64

Recomendaciones para
diseñar un cuestionario
1. Estructura del cuestionario

• Basado en una operacionalización de conceptos.

• Cada sección debe ser referente a un tema especifico.

• Orden lógico

– General  particular
– Simple  complejo
– Menos sensible  más sensible

• Revisar si el orden de las preguntas podría afectar la

respuesta del entrevistado.

66
2. Instrucciones

• Agregue introducciones a las secciones para que el

encuestado se aproxime al tema.

• Defina conceptos que pueden causar confusión:

ingresos, hogar, etc.

67
2. Instrucciones

• Incluya instrucciones que hagan fluida la lectura del

cuestionario como si fuese una conversación.

• Si la encuesta es realizada por un encuestador,

asegúrese de diferenciar cuáles son instrucciones para
el encuestador y cuáles deben ser leídas al encuestado.

• Incluya filtros para evitar hacer preguntas a

entrevistados que no son aplicables.

68
3. Duración del cuestionario

• No podemos aspirar a tener la atención del

entrevistado por más de 45 minutos.
• Por lo tanto, primero considerar qué datos puedes
obtener de fuentes secundarias o datos administrativos
confiables.
• Asegurarse de incluir preguntas relevantes, es decir,
que apunten a resultados intermedios o finales.

69
4. Lenguaje

• Adapte el lenguaje de las preguntas al grupo objetivo al

que se dirige.
• Use el lenguaje más sencillo posible para evitar
confusiones.
• Evite preguntas largas.

70
5. Diseño

• Asegúrese que el cuestionario sea agradable a la vista.

• Intente no colapsar el espacio con muchas preguntas
pues el encuestado podría abrumarse o cansarse antes
de tiempo.
• Siempre realice pruebas previas al uso definitivo del
cuestionario. Primero con sus pares, luego con un grupo
lo más parecido a su publico objetivo.

71
Revisión del cuestionario

Etapas iniciales
• Entrevistas cognitivas
• Grupos Focales
• Consulta con expertos.

Etapas avanzadas
• Pre test
• Grupos Focales con encuestadores

72
Conclusiones
Conclusiones

• El proceso de responder una pregunta no es tan sencillo

y puede provocar errores de medición.

• Las fuentes de error de medición son variadas pero se

pueden prevenir.

• El diseño de un cuestionario puede disminuir errores en

la medición.

74
Muchas gracias