Você está na página 1de 47

documentos

de trabajo

PROCEDIMIENTOS DE
EVALUACIÓN DE
PRODUCTOS ESTADÍSTICOS

Junio 2007
Nº6
PROCEDIMIENTOS DE
EVALUACIÓN DE PRODUCTOS
ESTADÍSTICOS

Departamento de Investigación y Desarrollo Estadístico

Instituto Nacional de Estadísticas de Chile


PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

Departamento de Investigación y Desarrollo


Procedimientos de Evaluación de Productos Estadísticos

Coordinadora Departamento I+D


Claudia Matus Correa

Jefe Área Control de la Calidad


Teobaldo Román Urtubia

Analista
Ester Díaz Peralta

1
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

INDICE

1. INTRODUCCIÓN ............................................................................................3

2. INFORME SOBRE LA CALIDAD DE LA EXACTITUD (ACURACIDAD) ........................4

2.1 SI SE USA MUESTREO PROBABILÍSTICO: .....................................................4

2.2 SI NO SE USA MUESTREO PROBABILÍSTICO: ................................................5

2.3 INFORME SOBRE LA CALIDAD DE LOS ERRORES EN GENERAL.........................6

2.4 INFORME SOBRE LA CALIDAD DE LOS ERRORES DE COBERTURA ....................6

2.5 INFORME SOBRE LA CALIDAD DE LOS ERRORES DE NO-RESPUESTA................7

3. INFORME SOBRE LA CALIDAD DE LA RELEVANCIA..............................................7

4. INFORME SOBRE LA CALIDAD DE LA CREDIBILIDAD...........................................8

5. INFORME SOBRE LA CALIDAD DE LA OPORTUNIDAD ..........................................9

6. INFORME SOBRE LA CALIDAD DE LA ACCESIBILIDAD E INTERPRETABILIDAD .......9

7. INFORME SOBRE LA CALIDAD DE LA COHERENCIA ........................................... 10

8. ANEXOS ..................................................................................................... 11
ANEXO 1: LISTADO DE INDICADORES POSIBLES DE IMPLEMENTAR ................... 11

ANEXO 2: HERRAMIENTAS PARA EL CONTROL ESTADÍSTICO DE LA CALIDAD ....... 16

ANEXO 3: ANTECEDENTES OCDE PARA LAS ACTIVIDADES ESTADÍSTICAS ........... 21

9. BIBLIOGRAFÍA ............................................................................................ 45

2
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

1 . INTRODUCCIÓN

Este informe es un resumen exhaustivo de los procedimientos de evaluación de las


estadísticas según las metodologías utilizadas por los países de Europa, USA y Canadá
y organismos como la OCDE. Estos procedimientos pueden constituir parte de los
insumos para el trabajo del Equipo de Control de la Calidad Estadística del
Departamento de Investigación y Desarrollo del INE.

En general la calidad estadística, según los países y Organismos consultados, está


definida por Dimensiones que varían entre siete y nueve 1.

En este documento se sigue el modelo de la OCDE, que considera siete dimensiones:


Relevancia, Acuracidad, Credibilidad, Oportunidad, Accesibilidad, Interpretabilidad y
Coherencia, pero que contiene en forma globalizada las nueve dimensiones de
EUROSTAT: Relevancia, Acuracidad, Oportunidad, Puntualidad, Accesibilidad,
Transparencia, Comparabilidad, Coherencia y Exhaustividad. Además las diferencias
conceptuales de las distintas definiciones de la calidad estadística son irrelevantes.

Estas dimensiones permiten conocer y mantener un alto nivel de la calidad de las


estadísticas, pero además permiten tener registros completos y precisos de defectos
identificados y eliminados con el fin de mantener un mejoramiento continuo de la
calidad definida. Las dimensiones de accesibilidad e interpretabilidad se presentan
juntas.

A continuación se presenta los tópicos que debe contener un informe sobre la calidad
de las estimaciones estadísticas detallado por Dimensión del vector de la calidad.

1
Ver documento: indicador de desempeño colectivo Departamento I+D, año 2006

3
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2. INFORME SOBRE LA CALIDAD DE LA EXACTITUD (ACURACIDAD)

2.1 SI SE USA MUESTREO PROBABILÍSTICO:


¾ Calcular el sesgo de las variables principales 2 . Breve descripción del uso de
estimadores sesgados o insesgados y calculo de su variabilidad.
¾ Calcular los coeficientes de variación y otras estadísticas descriptivas para las
variables principales; adicionalmente, estimadores mínimos cuadrados para las
variables con estimadores sesgados.
¾ Resumen de las fuentes de error que incluyen cobertura, plan de muestreo, no
respuesta, respuestas erróneas, procesamiento y posibles problemas en la
difusión, para las variables principales.
¾ Referencia a documentos o bases de datos dónde pueda encontrarse la serie
completa de estimaciones, junto con su variabilidad.
¾ Explicaciones, cuando corresponda, para la poca exactitud de las variables más
relevantes que sean menos exactas que lo aceptable.
¾ Breve referencia al plan de muestreo y su documentación.
¾ Metodologías aplicadas a la estimación de varianzas. Puede informarse las
formulas simples o los principios metodológicos que se han establecido.
Cualquier sesgo de las varianzas estimadas que son el resultado de la
metodología usada.
¾ Nombre del software utilizado y las opciones principales de los paquetes
computacionales usados para el cálculo de las estimaciones.
¾ Mencione que computador o tipo de máquina se ha usado, memoria, hardware,
CPU, etc. si ése es el caso.
¾ Mencione otros factores (la no-respuesta, imputación, la mala clasificación, etc.)
cuyos efectos se han incorporado en las estimaciones de las varianzas
muestrales.

2
Las variables principales las define el productor de la encuesta o producto estadístico, según requerimientos
de los usuarios principales.

4
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.2 SI NO SE USA MUESTREO PROBABILÍSTICO:

¾ El tipo de muestreo usado y la manera exacta de como se llevó a cabo su


aplicación en el trabajo de campo completo.
¾ Estimaciones del sesgo de muestreo y varianzas de las variables principales.
¾ Descripción de los tipos de error que se ha tenido en cuenta en la estimación de
varianzas.
¾ Otros tipos de errores de acuerdo al sesgo de las varianzas calculadas.
¾ Los supuestos usados para hacer las estimaciones.
¾ La justificación, o falta de justificación de los supuestos.
¾ Orden de magnitud (o por lo menos una indicación) del sesgo de las variables
principales, de cada producto.
¾ Estimar coeficiente de variación, intervalos de confianza y estimadores mínimos
cuadrados para las estadísticas; alternativamente considerar las valoraciones
cualitativas de las variables.
¾ Exactitud de las estadísticas para los niveles dados, impuestos por las
imputaciones y regulaciones.
¾ Explicaciones para el incumplimiento con los niveles prescritos y propuestas de
las mejoras a implementar en un plazo fijo.
¾ Comparaciones de sesgo y variabilidad de las estadísticas principales de
muestras (tasa de crecimiento, promedios significativos estadísticamente, etc.).
¾ Información específica sobre la muestra, cobertura, estimaciones,
procesamiento, no-respuesta y errores de asunción del modelo 3 y su
contribución.

3
Representan los errores atribuibles a la utilización de métodos como el uso de las variables auxiliares,
calibración, estimadores de regresión generalizados, ajuste estacional, etc.

5
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.3 INFORME SOBRE LA CALIDAD DE LOS ERRORES EN GENERAL

¾ Los errores de la medida identificados y su magnitud (por ejemplo la media y


variación de error de la media para la variable de interés); los métodos y los
modelos de evaluación del error usados.
¾ La indicación de si las estadísticas elaboradas y sus estimaciones han tenido en
cuenta esos errores (y el método usado para considerarlos).
¾ El impacto de los errores restantes en las estadísticas calculadas (el sesgo y la
posible variación extra no considerada).
¾ Los comentarios técnicos acerca de las causas de los errores de medida.
¾ Los esfuerzos realizados para el diseño del cuestionario y su prueba. En caso
de levantamiento único o primer levantamiento.
¾ La información sobre el entrenamiento y capacitación de los encuestadores.
¾ La información sobre los mecanismos (por ejemplo respuesta aleatorizada)
usada para reducir el error de medida.
¾ La proporción de fracaso global en la revisión de la inconsistencia de los datos
(indicar los procedimientos y medidas de los errores tratados por corrección o
imputación)

2.4 INFORME SOBRE LA CALIDAD DE LOS ERRORES DE COBERTURA

¾ La información sobre el marco muestral: período de referencia, actualización,


las acciones de revisión de calidad del marco.
¾ Tipo y tamaño de errores de cobertura.
¾ Qué errores de cobertura se ha detectado en la aplicación del cuestionario, la
producción de estadísticas y estimación de la varianza (documentar la
metodología usada para este propósito).
¾ El posible impacto (el sesgo y la variación adicional) de los errores no
considerados (no tomados en cuenta) en la estimación.
¾ Acciones tomadas para la valoración de los errores no considerados en las
actividades y aparecidos durante el desarrollo del plan.

6
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.5 INFORME SOBRE LA CALIDAD DE LOS ERRORES DE NO-RESPUESTA

¾ Análisis de la no-respuesta (que permanece después de haber insistido o


considerando datos de otras fuentes, pero antes de la imputación); la tasa de
no-respuesta para las variables principales, descripción de los métodos de
imputación usados.
¾ Indicación de si las estadísticas y las varianzas han considerado la no-respuesta
y los métodos usados para corregirlos, los métodos de estimación usados.
¾ Resultados sobre la similitud o no entre la respuesta y la no-respuesta para las
variables principales.
¾ Las indicaciones de impacto de la no-respuesta en las estadísticas (el sesgo y la
posible variación extra)
¾ Las indicaciones sobre las causas de la no-respuesta.
¾ La información sobre la segunda llamada o la selección de datos de otras
fuentes; la indicación de la información sobre los mecanismos (por ejemplo los
incentivos, las obligaciones legales de los entrevistados y el entrevistador, la
capacitación, etc. usadas para reducir la no-respuesta.

3. INFORME SOBRE LA CALIDAD DE LA RELEVANCIA

¾ Una descripción y clasificación de usuarios, según modelo EUROSTAT.


¾ Una descripción de las variadas necesidades de los usuarios (por tipo de
usuarios preferentemente) y las posibles expectativas, incluso las contrapuestas
entre ellos con las prioridades solicitadas. Si a un tipo de usuarios se da
importancia estratégica, debe haber una descripción más completa de sus
necesidades manifestadas en el informe.
¾ Referencias de documentos específicos, dónde podría encontrarse la descripción
de necesidades más detalladas, para cualquier usuario que lo solicite.
¾ Resultados principales con respecto a la satisfacción de usuarios. En particular,
apreciaciones para el tipo más importante de usuarios. Las razones principales
para la falta de relevancia. La importancia del usuario la define el Servicio.

7
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

¾ Número o porcentaje de resultados no disponibles, comparados con los que


deberían estar disponibles. No disponibles según requerimientos de los usuarios
principales, en el contexto del plan nacional de recopilación estadística.
¾ Razones que expliquen la incompletitud 4 de un producto, así como las
perspectivas para la completitud futura.
¾ Estar al corriente de la valoración que hacen los usuarios principales de las
estadísticas que solicitan y documentar las medidas y acciones tomadas para
mejorar la satisfacción del usuario.
¾ Conocer la Circulación de un producto y/o número de lectores de publicaciones
en medios electrónicos.
¾ Determinar el número de sitios Web exitosos y el número específico de
productos que se pueden bajar sin costo. Exitoso significa que se tiene un
promedio diario de visitas, no inferior al 40% de los usuarios registrados.

4. INFORME SOBRE LA CALIDAD DE LA CREDIBILIDAD

¾ Documentar el historial de como se ha logrado ganar la confianza de los


usuarios para la credibilidad de los productos estadísticos.
¾ Como se ha logrado construir la imagen de excelencia del productor de los
datos, es decir, la imagen corporativa.
¾ Documentar las estrategias utilizadas para lograr la confianza de los usuarios.
¾ Determinar los fundamentos que permiten asegurar la objetividad de los datos.
¾ Indicar los criterios de transparencia de las políticas y prácticas de elaboración
de los datos.
¾ Documentación que muestre que los datos se producen en forma profesional de
acuerdo con estándares estadísticos apropiados.
¾ Mostrar la integridad del proceso de producción. Principio 2 de los Principios de
las Estadísticas Oficiales de la ONU (1994)
¾ Garantizar a la OCDE que la publicación de los datos oficiales del INE, son de
alta calidad y no afectará la credibilidad total de la OCDE como proveedor de
datos de excelencia.
¾ Instructivos de jefes superiores.

4
La incompletitud se refiere a las estadísticas reiteradamente solicitadas y que el INE no elabora, pero que
además deberían estar dentro del plan nacional de recopilación estadística.

8
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

5. INFORME SOBRE LA CALIDAD DE LA OPORTUNIDAD

¾ Estadísticas anuales sobre el promedio de cumplimiento de las fechas


comprometidas oportunidad de los datos.
¾ La frecuencia de levantamiento de los datos y el periodo de referencia promedio
de ellos, calculados anualmente.
¾ El porcentaje de los últimos datos publicados, respecto de la producción anual,
basados en las fechas de publicación fijadas con anticipación, itinerarios
oficiales u otros acuerdos.
¾ El retraso promedio de datos no entregados puntualmente, evaluado con las
unidades apropiadas: número de días, los días trabajados, semanas y así
sucesivamente, respecto del último año cerrado estadísticamente.
¾ El máximo retraso observado para algún producto, durante el último año
calendario.
¾ Tipificación de las razones para la entrega tarde: los cuellos de botella en la fase
de producción, por ejemplo, averías, huelgas, etc. Cuando corresponda.

6. INFORME SOBRE LA CALIDAD DE LA ACCESIBILIDAD E


INTERPRETABILIDAD

¾ Disponer de un documento con una breve descripción de las condiciones de


acceso a los datos: medios disponibles, soportes informáticos, condiciones de
comercialización.
¾ Establecer claramente posibles restricciones, indicar la existencia de servicio
agregado, etc.
¾ Hacer una descripción breve de la información que acompaña las estadísticas (la
documentación, explicación, las limitaciones de la calidad, etc.).
¾ Una descripción breve de la posible ayuda adicional disponible para los usuarios.
¾ Un resumen de la posible retroalimentación con el usuario.
¾ Una propuesta de posibles mejoras, comparadas con la situación anterior.

9
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

7. INFORME SOBRE LA CALIDAD DE LA COHERENCIA

¾ Mostrar que la coherencia de los datos producidos refleja el grado en que ellos
están lógicamente conectados y son mutuamente consistentes.
¾ Garantizar que un mismo término no se usa sin una explicación para conceptos
diferentes o micro-datos.
¾ Indicar que no se hacen variaciones en las metodologías que podrían afectar los
valores de los datos sin una explicación anticipada.
¾ Explicitar las cuatro sub dimensiones de la coherencia: dentro de una base de
datos, entre bases de datos, a través del tiempo y entre los países, cuando
haya trabajos conjuntos de armonización.
¾ Mostrar que la coherencia dentro de una base de datos implica que los datos
unitarios están basados en conceptos, definiciones y clasificaciones compatibles
y pueden combinarse con sentido.
¾ Mostrar que la coherencia entre bases de datos implica que los datos están
basados en conceptos, definiciones y clasificaciones comunes, o que cualquier
diferencia se puede explicar.
¾ Mostrar que la coherencia a través del tiempo implica que los datos están
basados en conceptos, definiciones y metodologías comunes en el tiempo, o que
cualquier diferencia se puede explicar.
¾ Mostrar que la coherencia con las estadísticas de otros países, cuando haya
trabajos conjuntos de armonización, implica que de país a país los datos están
basados en conceptos, definiciones, clasificaciones y metodologías comunes, o
que cualquier diferencia se puede explicar.

NOTA 1:
Asegurar la coherencia entre países es una de las mayores fuentes de valor agregado
previsto por la OECD, para la Unión Europea. El papel del metadato explicando los
posibles cambios en conceptos o metodologías a través del tiempo y entre los países
es completamente fundamental para la OECD.

NOTA 2:
Los contenidos de los seis informes anteriores se pueden adaptar a cualquier dominio
de aplicación agregando aspectos que son pertinentes al dominio en estudio.

10
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

8. ANEXOS

ANEXO 1: LISTADO DE INDICADORES POSIBLES DE IMPLEMENTAR

Se presenta a continuación a modo de ejemplo un listado de indicadores para medir la


calidad según las dimensiones de Relevancia, Acuracidad, Oportunidad, Accesibilidad y
Coherencia, del vector de la calidad 5 .

RELEVANCIA (Pertinencia)
TASA FORMULA
1. Tasa de Usuarios Permanentes
(Nº de Usuarios Permanentes / Nº Total de TUP = [NUP/NTU]*100
Usuarios)
2. Tasa de Usuarios Potenciales
(Nº de Usuarios Potenciales / Nº Total de Usuarios TUPO = [NUPO/NTU+NUPO]*100
+ Número de usuarios potenciales)
3. Tasa de Satisfacción de Requerimientos
(Volumen de Información Estadística Solicitada / TSR = [VIS / VIP]*100
Volumen de Información Estadística Publicada)
4. Tasa de Satisfacción de Usuarios
(Nº de Usuarios Satisfechos / Nº Total de TSU = [NUS/NTU]*100
Usuarios)
5. Tasa de Recursos Efectivos
(Cantidad de Recursos Utilizados / Cantidad de TUPO = [NUPO/NTU]*100
Recursos Asignados)
6. Tasa de Cobertura Geográfica
(Nº Desagregaciones Geográficas Solicitadas / Nº TCG = [NDGS/NDGD]*100
Desagregaciones Geográficas Disponibles)
7. Tasa de Cobertura Temática
(Nº Desagregaciones Temáticas Solicitadas TCT = [NDTS/NDTD]*100
Reiteradamente / Nº Desagregaciones Temáticas
Disponibles)

5
Se debe tener definidos todos los conceptos a utilizar en las definiciones de las tasas, por ejemplo, usuario
permanente, usuario potencial, etc. Ver algunas definiciones al final de esta lista de tasas.

11
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

ACURACIDAD (Exactitud)
TASA FORMULA
1. Tasa de Eficiencia del Marco
TEM = [MDE/MDI]*100
(Total Unidades del Marco Descartadas / Total
Unidades del Marco Disponibles)
2. Tasa de Error del Marco
{(Unidades no Elegibles + Unidades no TEM = [UNE+UNC/UC]*100
Contactadas por Errores del Marco) / Unidades
Comprobadas}
3. Tasa de No-Elegibilidad
TNE = [UNE/UC]*100
(Unidades no Elegibles / Unidades Comprobadas)
4. Tasa de No-Contacto por Error del Marco
TNC = [UNCEM/UC]*100
(Unidades no Contactadas por Errores del Marco /
Unidades Comprobadas)
5. Tasa de Respuesta
TUPO = [NUPO/NTU]*100
(Unidades que Responden / Total de Unidades
Comprobadas)
6. Tasa de No Respuesta Total Neta
TNRN = [UNR/UNC]*100
{(Unidades que No responden + Unidades No
Comprobadas)/Total de Unidades}
7. Tasa de No Respuesta por Rechazo
TNRR = [NR/UE]*100
(Nº de Rechazos/Unidades Elegibles)
8. Tasa de No Respuesta por No Contacto
TNRNC = [NNC/UE]*100
(Nº de No Contactados/Unidades Elegibles)
9. Tasa de No Respuesta por Otros Motivos
TNROM = [NNOM/UE]*100
(Nº de No Respuestas por Otros Motivos/
Unidades Elegibles)
10. Tasa de Rechazo
TR = [ER/ET]*100
(Encuestas Rechazadas /Encuesta total)
11. Tasa No Encuestable
TNE = [ENE/ET]*100
(Encuestas No Encuestables /Encuestas Total)
12. Tasa de Omisión
TO = [NEO/TEE]*100
(Nº de Encuestas con Omisión /Total Errores
Encuestas Efectivas)
13. Tasa de Consistencia
TC = [NE/ET]*100
(Nº de Errores de Consistencia / Total Errores
Encuestas Efectivas)
14. Tasa de Supervisión
TS = [NS/NE]*100
(Nº Supervisores /Nº de Encuestadores)
15. Tasa de Error Encuestador
TEE = [NEE/TE]*100
(Nº de Errores encuestador /Total de Errores
Encuestas Efectivas)
16. Tasa de Error del Procesamiento
TR = [ER/ET]*100
(Nº de Errores de Procesamiento /Total de
Errores Encuestas Efectivas)

12
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

OPORTUNIDAD
TASA FORMULA
1. Tasa Efectiva de Entrega de Resultados 6
(Fecha Comprometida - Fecha de Resultados TEER = [FC - FRP]
Publicados)
2. Tiempo de Demora Procesamiento Manual
TDPM = [TE/TES]*100
(Tiempo Efectivo / Tiempo Esperado)
3. Tiempo de Demora Procesamiento Informático
TDPI = [TE/TES]*100
(Tiempo Efectivo /Tiempo Esperado)
4. Duración Relativa de la Planificación
(Duración de la Planificación/Demora Total de la DRP = [DP/DTF]*100
Fase)
5. Duración Relativa del Levantamiento
(Duración del Levantamiento/ Demora Total de la DRL = [DL/DTF]*100
Fase)
6. Duración de la Elaboración
(Duración de la Elaboración del Producto/ Demora DRE = [DEP/DTF]*100
Total de la Fase)
7. Duración Relativa de la Publicación
DRPU = [DPU/DTF]*100
(Duración de la Publicación / Demora Total de la
Fase)

ACCESIBILIDAD
TASA FORMULA
1. Tasa de Difusión del Producto
(Nº de Medios que se Presenta el Producto / Total TDP = [NMPP/TMD]*100
de Medios Disponibles)
2. Tasa de Publicación de Micro-datos
(Nº de Variables Publicadas con Micro información TPMD = [NVPM/TVP]*100
/ Total de Variables publicadas)
3. Tasa de publicación de macro-datos
(Nº de Variables Publicadas con Macro TPMA = [NVPM/TVP]*100
Información / Total de Variables Publicadas)

4. Tasa de Publicación de Mega-datos


(Nº de Variables con Mega-datos / Total de TPME = [NVM/TVP]*100
Variables Publicadas)

6
Esta diferencia se considera una tasa, aunque no es cociente

13
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

ACCESIBILIDAD CONTINUACION

TASA FORMULA
5. Tasa de Contacto Informatizados del Producto
(Nº Usuarios Atendidos en forma Informatizada
/Nº Total Usuarios) TCIP = [NUAPCI/NTU]*100

6. Tasa de Requerimientos de Publicación


(Nº de Publicaciones Requeridas / Nº Total TRP = [PR/PP]*100
Publicada)

7. Tasa de Información Útil Publicada


TRP = [R/P]*100
(Nº de Variables Publicadas / Total de Variables)
8. Tasa de Difusión WEB
(Cantidad de Información estadística en Web INE TDW = [CIPW/CIPW]*100
/ Cantidad de Información Publicada en Web INE)
9. Tasa de Clasificadores Internacionales
(Nº de Variables con Clasificadores Vigentes TCI = [NVCVI/TV]*100
Internacionales / Total de Variables)

COHERENCIA
TASA FORMULA
1. Tasa de Información Útil
(Variables Adecuadas (principales)/ Total de TIU = [VA/TV]*100
Variables)
2. Tasa de Variables Estandarizadas
(Nº de Variables con Conceptos Estandarizados TVE = [NVCI/TV]*100
Internacionalmente / Total de Variables)
3. Tasa Efectiva de Imputación de la Variable
(Nº Datos Imputados de la Variable/ Total de TEIV = [NIV/TD]*100
Datos)
4. Tasa de Campos Errados
(Nº de Campos Errados/Nº Total de Campos TCE = [NCE/NTCC]*100
Controlados)
5. Tasa de Unidades con al menos un Campo
Errado
TUCE = [UCE/NTU]*100
(Unidades con al menos un Campo Errado/Nº
Total de Unidades)

14
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

GLOSARIO USADO EN LOS DISTINTOS INDICADORES PROPUESTOS

Usuarios Permanentes: es el usuario que solicita una estadística cada vez que se
publica, ya sea mensual, anual u otra medida de tiempo. Además ya la ha solicitado a
lo menos tres veces.

Usuarios Potenciales: corresponde al usuario que regularmente hace consultas


telefónicas o por mail, sobre algunos resultados o publicaciones.

Usuarios satisfechos: Corresponde al número de usuarios que a través de la


encuesta dirigida a ellos, manifiesta una alta conformidad con el producto/servicio.

Total de unidades: corresponde al total de unidades del marco, las cuales pueden ser
comprobadas o no, las incluye a ambas.

Unidades elegibles- no elegibles: Elegible corresponde a la unidad que pertenece a


la población objetivo, de lo contrario no es elegible.

Unidades comprobadas- no comprobadas: Corresponden a las unidades en que ha


sido posible comprobar el estado de elegibilidad. Y las unidades no comprobadas
corresponden a aquellas unidades de las cuales no ha sido posible obtener información.

15
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

ANEXO 2: HERRAMIENTAS PARA EL CONTROL ESTADÍSTICO DE LA CALIDAD

Estimación puntual y por intervalo para la media y la varianza

Para una muestra aleatoria (m.a.) X 1 , X 2 ,..., X n se tiene:

• Media aritmética: Corresponde a la suma de los datos, divididos por su total.


n

∑x
i =1
i

x=
n
xi : Corresponde al recorrido de la variable

• Varianza: Corresponde al promedio de las desviaciones de cada dato respecto de


la media aritmética al cuadrado.
n 2

∑ (x
i =1
i − x)
s =
2

n −1
x

• Coeficiente de variación: Corresponde al cociente entre la desviación típica y la


media aritmética, el resultado se puede expresar en términos de porcentaje.

s x2
cv x = * 100
x

Para una m.a. X 1 , X 2 ,..., X n con media=μ y varianza= σ se tiene:


2

σ
Error estándar de la estimación de la media: v( x ) =
n

1⎛ n −3⎞ 2
Error estándar de la estimación de la varianza: v( s x2 ) = ⎜ μ4 − ⎟σ
n⎝ n −1 ⎠

Donde: μ 4 = E (( x − μ ) 4 )

16
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

• Para una m.a. X 1 , X 2 ,..., X n con media=np y varianza=np(1-p) se tiene:

P(1 − P )
Error estándar de la estimación de la proporción: v( p) =
n
Donde:
p = una proporción muestral
n = el tamaño de la muestraEn cuanto más pequeño es el error estándar, más
confiables serán los resultados a partir del estimador relacionado.

• Intervalos de confianza para la media y la varianza


(Asumiendo ambas desconocidas)

Intervalo para la media poblacional:

⎛ s s ⎞
P⎜⎜ x − t α * < μ < x + tα * ⎟ = 1−α

⎝ 2 n 2 n ⎠

Intervalo para la varianza poblacional:

⎛ ⎞
⎜ (n − 1) s 2 (n − 1) s 2 ⎟
P⎜ 2 <σ < ⎟ = 1−α
⎜ X −α ,n −1 X α2 ⎟
, n −1
⎝ 2 2 ⎠

17
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

• Estimador máximo verosímil de la media y varianza:


(Con distribución normal)
n
l ( x1 , x 2 ,..., x n , μ , σ ) = ∏ f ( xi ; μ , σ )
i =1
−1 ( xi − μ )
2
n
1
=∏ e 2 σ

i =1 2 ∏σ
n

n n
−1
∑ ( xi − μ ) 2
⎛ 1 ⎞ ⎛ 1 ⎞ σ 2 i =1 2
= ⎜⎜ ⎟⎟ ⎜ 2 ⎟ e 2

⎝ 2∏ ⎠ ⎝σ ⎠
n 1 n
( xi − μ ) 2
ln(l ( x1 , x 2 ,..., x n , μ , σ )) = − n ln( 2 ∏ ) − ln(σ 2 ) − 2
2 σ

i =1 2

∂ ln(l ( x, μ , σ )) 1 n

∂μ
=0⇒ 2
σ
∑ (x
i =1
i − μˆ ) = 0
n

∑ ( x ) − nμˆ = 0
i =1
i

μˆ = X n ( EMV )

∂ ln(l ( x, μ , σ )) n 1 1 n
( xi − μˆ ) 2
∂σ
=0⇒−
2 σˆ 2
+ 4
σˆ

i =1 2
=0
n
1
−n+
σˆ 2
∑ (xi =1
i − μˆ ) 2 = 0
n

∑ (x i − μˆ ) 2
σˆ 2 = i =1

n
σˆ = s ( EMV )
2
n
2
n

Este estimador no cumple con la propiedad de insesgamiento.

18
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

• Estimadores puntuales para la media y la varianza:


(Propiedades deseables)

1- Error cuadrático medio:


El error cuadrático medio se define como el valor esperado del cuadrado de la
diferencia entre T y θ. Donde T es cualquier estimador de un parámetro conocido θ.
Este se denota de la siguiente forma:

ECM (T ) = E (T − θ ) 2 Lo que equivale a ECM (T ) = Var (T ) + [θ − E (T )] .


2

El término [θ − E (T )] recibe el nombre de Sesgo del Estimador. El sesgo puede ser


positivo, negativo o cero. Y como este es un componente del ECM, es razón para
insistir que este sea, en valor absoluto, lo mas pequeño posible. En otras palabras,
es deseable que un estimador tenga una media igual a la del parámetro que se
está estimando.

2- Estimadores insesgados:
Se dice que la estadística denominada T es un estimador insesgado del parámetro
θ, si la E(T)= θ para todos los posibles valores de θ. De esta forma, para cualquier
estimador insesgado de θ, la distribución de muestreo de T se encuentra alrededor
de θ.

Por lo tanto:
E (x ) = μ es un estimador insesgado

E ( s 2 ) = σ es un estimador insesgado

19
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

3- Estimadores eficientes:

Sea X 1 , X 2 ,..., X n una muestra aleatoria de una función de densidad f ( x;θ ) .Si T
es (estimador insesgado):
−1
⎧⎪ ⎡⎛ ∂ ln f ( x;θ ) ⎞ 2 ⎤ ⎫⎪
E(T)= θ ⇒ Var (T ) ≥ ⎨nE ⎢⎜ ⎟ ⎥⎬
⎪⎩ ⎢⎣⎝ ∂θ ⎠ ⎥⎦ ⎪⎭
−1
⎧⎪ ⎡⎛ ∂ ln f ( x;θ ) ⎞ 2 ⎤ ⎫⎪
Si Var (T ) = ⎨nE ⎢⎜ ⎟ ⎥ ⎬ ⇒ T es eficiente
⎪⎩ ⎢⎣⎝ ∂θ ⎠ ⎥⎦ ⎪⎭

4- Estimadores consistentes:

Sea T un estimador de un parámetro θ, y sea T1 , T2 ,..., Tn una secuencia de

estimadores que representa a T con base en muestras de tamaño 1,2,…n,


respectivamente.

Se dice que T es un estimador consistente para θ si lim n→∞ P Tn − θ ≤ ε = 1 para ( )


todos los valores de θ y ε >0.

5- Estimadores suficientes:
Una estadística suficiente para un parámetro θ es aquella que utiliza toda la
información contenida en la muestra aleatoria con respecto a θ.

Sea X 1 , X 2 ,..., X n una muestra aleatoria de una función de densidad f ( x;θ ) .


Se dice que la estadística T es una estadística suficiente para θ si y solo si la
función de verosimilitud puede factorizarse de la siguiente forma:

L( x1 , x 2 ,..., x n ;θ ) = h(t ;θ ) g ( x1 , x 2 ,..., x n )

Para cualquier valor t de T y donde g ( x1 , x2 ,..., xn ) no contiene al parámetro θ.

20
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

ANEXO 3: ANTECEDENTES OCDE PARA LAS ACTIVIDADES ESTADÍSTICAS

El resumen siguiente esta basado en el documento propuesto por la Organización para


la Cooperación y Desarrollo Económico OCDE, Estructura de calidad y líneas guías para
la actividad estadística de la OCDE 7 .

Introducción
8
La mejora de la calidad de la estadística de la OCDE es uno de los objetivos
principales de la Estrategia actual de la OCDE. Los estadísticos de la OCDE dedican una
parte significativa de su esfuerzo a la mejora de calidad, y la organización aplica
técnicas que ya han sido utilizadas en estructuras de la gerencia de calidad total. Los
procesos internos de la garantía de calidad están ya en lugar en varias direcciones.
Éstos incluyen el tratamiento y la validación de las contestaciones de cuestionarios,
verificando en forma cruzada con las publicaciones nacionales, la compilación de la
información adicional de la OCDE y de otras fuentes internacionales.

Varios proyectos se han lanzado bajo la estructura de la Estrategia Actual de OCDE y


se han alcanzado considerables mejoras en el 2001-2002. Estas iniciativas realzarán la
calidad, aunque todavía hay necesidad de un marco común que se pueda utilizar para
determinar sistemáticamente, comparar y mejorar más lejos las estadísticas de la
OCDE.

Muchos de los trabajos que se han hecho estos últimos años para aplicar el concepto
de la calidad a los datos estadísticos corresponden por ejemplo los realizados por el
FMI, la EUROSTAT, Estadística Canadá y otras oficinas de estadística nacionales los que
han identificado varios sistemas de componentes de la calidad de los datos y han
adoptado estructuras de la calidad para mejorar sus organizaciones y la calidad de los
datos producidos.

Para una organización internacional, la calidad de la estadística difundida, depende de


dos aspectos, la calidad de la estadística nacional recibida, y la calidad de los procesos

7
Quality Framework and Guidelines for OCDE Statistical Activities. Versión 2003/1 Organization for Economic
Co-operation and Development (OECD)
8
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activitis. Versión 200/1 (17
Octubre 2003)» Página 5-6: «Introducction»

21
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

internos para la colección, procesamiento, análisis y difusión de los datos y de los meta
datos. En varios campos, la estadística nacional se desarrolla de cerca de acuerdo con
estándares internacionales. Por otra parte, los procesos estadísticos en el nivel
internacional se derivan a menudo de las mejores prácticas desarrolladas en el nivel
nacional. Así, hay una interdependencia clara entre ambos aspectos.

La estructura de la calidad de la OCDE contorneado en este documento se centra


principalmente en mejorar la calidad de los datos recogidos, compilados y difundidos
por la OCDE con una mejora en los procesos estadísticos internos y la gerencia de la
organización. Para ello se cuenta con cuatro elementos:
• Una definición de la calidad y de sus dimensiones;
• Un procedimiento para asegurar la calidad de nuevas actividades estadísticas
propuestas;
• Un procedimiento para evaluar la calidad de actividades estadísticas existentes;
• Un sistema de amplios principios, en los cuales las actividades estadísticas de la
OCDE son conducidas y pautadas por la calidad que cubre todas las fases del
proceso de producción estadístico.

Este documento se organiza de la siguiente forma: La 1ª parte proporciona


definiciones de las dimensiones de la calidad, junto con una breve descripción de los
procedimientos para asegurar la calidad de nuevas actividades estadísticas y para
evaluar la calidad de actividades estadísticas existentes. Además, presenta un sistema
de amplios principios a las cuales las actividades estadísticas de la OCDE tienen que
ser conducidas. En la 2ª parte, tenemos pautas para la calidad propuestas por las
fases del proceso de producción estadístico. Finalmente, en la 3ª parte se presenta una
descripción de los pasos específicos que deben seguir en el planeamiento y realización
de las actividades estadísticas bajo la dirección de la OCDE.

22
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

1. DIMENSIONES DE LA CALIDAD, VALORES CENTRALES PARA LAS


ESTADÍSTICAS DE LA OCDE Y PROCEDIMIENTOS PARA LA PLANIFICACIÓN Y
EVALUACIÓN DE LAS ACTIVIDADES ESTADÍSTICAS.

1.1 Definición y dimensiones de la calidad de los datos


La calidad se define como «apta para el uso» en términos de las necesidades de los
usuarios. Esa definición es más amplia que la habitualmente usada, cuando la calidad
se igualaba con la exactitud (acuracidad). Hoy en día se reconoce en forma
generalizada como una dimensión para la medición de calidad.

Aun si un dato es exacto, no se puede decir que tiene buena calidad si se produce con
demasiado desfase para su uso, o no se puede acceder fácilmente a el, o aparece en
contradicción con otros datos. Por esto, la calidad se considera como un concepto
multifacético. Las características de calidad más importantes dependen de las
perspectivas de los usuarios, necesidades y prioridades.

Dado el trabajo ya realizado por varias organizaciones estadísticas, la OCDE ha tomado


su experiencia y la ha adaptado al contexto de la organización. Varias organizaciones
estadísticas tienen ya identificadas las dimensiones de la calidad. Estas también han
sido adaptadas al contexto de la OCDE. Por esto la OCDE considera la calidad en
términos de siete dimensiones: relevancia, acuracidad, credibilidad, oportunidad,
accesibilidad, interpretabilidad y coherencia. Estas dimensiones se definen (discuten)
más abajo. Otro factor a considerar es costo-eficiencia, el cual, aunque no es
estrictamente hablando una dimensión de la calidad, es todavía una consideración
importante en la posible aplicación de una o más de las siete dimensiones citadas
anteriormente en la elaboración de estadísticas de la OCDE.

*La relevancia de los datos producidos es una valoración cualitativa del valor aportado
por estos datos. El valor es caracterizado por el grado en que los datos son útiles para
consignar si sirven para el propósito con que fueron buscados por los usuarios. Esto
depende de dos aspectos; el alcance de los tópicos requeridos y el uso apropiado de
los conceptos. El valor es además caracterizado por el mérito que los usuarios
proyectan en términos del mandato de la OCDE, de acuerdo con los países miembros y
la oportunidad que cuesta reproducir los datos.

23
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

La medición de la relevancia requiere la identificación de un grupo de usuarios y sus


necesidades. Hay múltiples usos y usuarios y ellos pueden cambiar con el tiempo.
Pueden presentarse nuevas necesidades y eso requiere nuevos datos. La relevancia
puede evaluarse indirectamente indagando si hay procesos claves para determinar la
perspectiva de los usuarios y el uso que ellos hacen de los datos.

El contextote la OCDE: los usuarios incluyen a la secretaria y a los comités de la OCDE.


Miembros de los gobiernos y otros usuarios externos. La secretaria y cometes, son los
usuarios primarios y determinan las prioridades, pero también se producen los datos
para los usuarios externos según el rol político de la organización de estar en frente a
la sociedad civil. El programa de trabajo de la OCDE mantiene el mandato de
recolección y tratamiento de los datos para propósitos analíticos. Normalmente estos
datos (y el meta dato relacionado) son ampliamente difundidos en interés del bien
público.

*La exactitud de los datos producidos es el grado con el cual los datos estiman
correctamente o describen las cantidades o características que ellos se han propuesto
medir. La exactitud se refiere a la proximidad entre el valor parametrico y el verdadero
valor. La exactitud tiene muchos atributos, y en términos prácticos no hay un valor
único agregado o una medida global de él. Por necesidad estos atributos son
típicamente medidos o descritos en términos referidos al error, o a la potencial
significancia del error, introducida a través de particulares fuentes de error.

En el caso de una encuesta estimada por muestra, las mayores fuentes de error
incluyen cobertura, muestreo, la no-repuesta, respuestas erróneas, procesamiento, y
problemas en la difusión. Para las estadísticas derivadas, tales como las cuentas
nacionales o la balanza de pagos, las fuentes de error se originan de las encuestas de
los censos que proporcionan los datos fuentes; del hecho que estos datos fuentes no
satisfacen completamente los requisitos de las cuentas en términos de cobertura,
tiempos, la evaluación y las técnicas usadas para imputar sólo pueden tener éxito
parcialmente; el ajuste estacional; y de la separación de precio y cantidad en el calculo
de medidas de valor.

Un aspecto de la acuracidad es la cercanía de los avalores originalmente emitidos y los


valores de las estimaciones consecutivas. A la luz de la política y de los medios de
atención dados a las primeras estimaciones, un punto dominante de interés es el cuan

24
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

cercano esta un valor preliminar de las estimaciones subsecuentes. En este contexto


es útil considerar la revisión de las fuentes, que incluyen (1) el reemplazo de los datos
de fuentes preliminares con datos más recientes, (2) reemplazo de proyecciones
críticas con los datos de fuente, (3) cambios en las definiciones o los procedimientos
de estimación, y (4) la puesta al día del año base para la constante-precio estimada.
Más pequeña y pocas revisiones es una propuesta, sin embrago, la ausencia de
revisiones no significa necesariamente que los datos sean exactos.

Contexto de la OCDE: la exactitud de los datos publicados es determinada en gran


parte por la exactitud de los datos recibidos de las organizaciones que contribuyen. Por
otra parte, las actividades realizadas por la secretaria pueden influenciar la exactitud
total de los datos publicados. Esta influencia puede ser positiva porque los chequeos de
la calidad adoptados por la OCDE pueden detectar errores, resultado en mejoras en las
estimaciones proporcionadas previamente por las agencias nacionales. O puede ser
negativa, debido a los errores que pueden resultar de la recolección, del proceso, de la
derivación, o de los procedimientos de la difusión adoptados por la Secretaria.

*La credibilidad de los datos producidos se refiere a la confianza que los usuarios
ponen en esos productos basados simplemente en la imagen del productor de los
datos, es decir, la imagen de marca de fábrica. La confianza de los usuarios se
constituye en un cierto plazo. Un aspecto importante es creer en la objetividad de los
datos. Esto implica que los datos se perciben producidos profesionalmente de acuerdo
con estándares estadísticos apropiados, y que las políticas y las prácticas son
transparentes. Por ejemplo, los datos no se manipulan, ni su publicación se hace en
respuesta a la presión política.

La credibilidad es determinada en parte por la integridad del proceso de producción: de


los Principios de las estadísticas oficiales de la ONU (1994) indica: «para conservar
confianza en estadística oficial, las agencias estadísticas necesitan decidir de acuerdo a
estrictas consideraciones profesionales, incluyendo principios científicos y la ética
profesional, en los métodos y los procedimientos para la recolección, procesamiento,
almacenaje y presentación de datos estadísticas».

Contexto de la OCDE: La secretaria tiene que decidir si la publicación de los datos de


mala calidad recibidos de países afecta la credibilidad total de la OCDE como proveedor
de datos de alta calidad. Si la respuesta es sí. La secretaria debe rechazar la

25
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

publicación de los datos. Más que eso, debe asegurarse que, una vez que un acuerdo
entre la secretaria y los países se haya alcanzado sobre una serie de datos específicos,
los datos recogidos posteriormente no pueden ser retirados en respuesta a presiones
políticas.

*La oportunidad de los datos producidos se refleja en el tiempo trascurrido entre la


disponibilidad y el evento o fenómeno que ellos describen, pero considerado en el
contexto de un periodo de tiempo que permite que la información sea de valor y
todavía se pueda actuar sobre ella. El concepto aplica igualmente a los datos de corto
plazo o de coyuntura, como a los estructurales; la única diferencia es el tiempo
formulado.

Estrechamente relacionada a la dimensión de la oportunidad, la puntualidad de los


datos producidos es también muy importante, para ambos proveedores de datos, tanto
el nacional como los internacionales. La puntualidad implica la publicación y existencia
de una agenda que refleja el grado de cumplimiento con que se divulgan los datos de
acuerdo con ella. La publicación de una agenda puede incluir un conjunto de objetivos,
la fecha de publicación de los datos o puede comprender un compromiso para publicar
los datos dentro de un periodo de tiempo preescrito desde su recepción. Aquí la fecha
de publicación se refiere a la fecha en que los datos son hechos públicamente y están
disponibles por primera ve, por cualquier medio, típicamente, pero no necesariamente
en el sitio Web.

En el contexto de OCDE: la oportunidad de los datos publicados por la OCDE es


determinada principalmente por la oportunidad de los datos que recibe de las
organizaciones contribuyentes. La propia Secretaria es también una potencial fuente
de retraso, que puede ocurrir durante la recolección, procesamiento, derivación, o
divulgación. La publicación de una agenda ayudaría a: Los usuarios externos,
mejorando su capacidad para hacer uso oportuno de las estadísticas de la OCDE. Los
usuarios internos, reforzando su capacidad de planear su trabajo basado en las fechas
de publicación. La secretaria, reforzando su capacidad para resistir a la presión para
manosear las fechas de publicación por razones políticas.
Por otro lado puede haber ocasiones donde la OCDE no puede respetar la agenda, por
ejemplo, debido a los cambios en las prioridades. Tales cambios deben comunicarse
claramente a los usuarios.

26
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

*La accesibilidad a los datos producidos refleja como pueden localizarse prontamente y
se puede acceder a los datos disponibles desde dentro de la OCDE. El rango de
privilegios de los diferentes usuarios es tal a considerar como los múltiples formatos
para la divulgación y la presentación selectiva de meta datos. Así, la accesibilidad
incluye la adaptabilidad de los formatos en que los datos están disponibles, los medios
de divulgación, y la disponibilidad de meta datos y servicios de apoyo de usuario.
También incluye la accesibilidad de los datos a los usuarios en relación a su valor y si
el usuario tiene oportunidad razonable de saber que los datos están disponibles y cómo
accederlos.

En el contexto de OCDE: los usuarios internos y externos podrían tener percepciones


bastantes diferentes de accesibilidad debido a las diferencias en los métodos de
acceso.

*La interpretabilidad de los datos producidos refleja la facilidad con que el usuario0
puede entender y apropiadamente puede usar y analizar los datos, La adecuación de
las definiciones de conceptos, población objetivo, variables y terminología, datos
implícitos, e información que describe las limitaciones de los datos, de esta manera,
ampliamente se determina el grado de interpretabilidad.

El rango de privilegios de los diferentes usuarios a tales consideraciones como la


presentación de meta datos en conjunto o capas de creciente detalle. Definiciones y
procedimientos de ayuda en la interpretación de los meta datos: así, la coherencia de
estos Meta datos es un aspecto de interpretabilidad.

En el contexto de OCDE. Donde se llevan los procesos estadísticos siguiendo un


modelo descentralizado, debe minimizarse la co-existencia de mecanismos de
divulgación diferentes para evitar confundir a los usuarios. Además, donde hay
definiciones alternativas disponibles para los diferentes usos, la secretaria debe ayudar
a los usuarios a seleccionar aquellos que son más apropiados a sus necesidades.

*La coherencia de los datos producidos refleja al grado en que ellos están lógicamente
conectados y son mutuamente consistentes. La coherencia implica que un mismo
término no debe usarse sin una explicación para conceptos diferentes o micro-datos; y
que no deben hacerse variaciones en la metodología que podrían afectar los valores de
los datos sin una explicación. La coherencia en su sentido más amplio implica que los

27
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

datos son una explicación. La coherencia en su sentido más amplio implica que los
datos son por lo menos reconciliables. Por ejemplo, si dos series de datos pretenden
cubrir los mismos fenómenos difieren, las diferencias deben identificarse al cubrir al
momento de la grabación, valoración, y cobertura para que la serie pueda
reconciliarse. La coherencia tiene cuatro sub-dimensiones importantes: dentro de una
base de datos, entre bases de datos, a través del tiempo, y entre los países.

La coherencia dentro de una base de datos implica que los datos unitarios o micro
datos están basados en, conceptos, definiciones, y clasificaciones compatibles y
pueden combinarse con sentido.

La coherencia entre bases de datos implica que los datos están basados en conceptos,
definiciones y clasificaciones comunes, o que cualquier diferencia es explicada y puede
permitirse,

La coherencia a través del tiempo implica que los datos están basados en conceptos,
definiciones y metodologías comunes en ele tiempo, o que cualquier diferencia es
explicada y puede permitirse. La coherencia se refiere a los quiebres en una serie de
tiempo como resultado de cambios introducidos en los conceptos, definiciones o
metodologías.

La coherencia entre los países implica que de país a país los datos están basados en
conceptos, definiciones, clasificaciones y metodologías comunes, o que cualquier
diferencia es explicada y puede permitirse.

En el contexto de la OCDE: Asegurar la coherencia entre países es una de las mayores


fuentes de valor agregado provisto por la OCDE. El papel del meta dato explicando los
posibles cambios en conceptos o metodologías a través del tiempo y entre los países
es completamente fundamental. Las inconsistencias inexplicadas a través de las bases
de datos pueden reducir seriamente la interpretabilidad y credibilidad de las
estadísticas de la OCDE.

*El costo-eficacia con que se produce un producto es una medida de los costos y
proporción de la carga prevista para el informante. La carga del informante es un costo
intrínsico al proveedor, pero no obstante es un costo. Aunque la OCDE no considera el
costo-eficacia como una dimensión de la calidad, es un factor que debe tenerse en

28
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

cuenta en cualquier análisis de calidad como si pudiera afectar la calidad de todas las
dimensiones. Si un producto puede ser producido de manera más eficaz con la misma
calidad, entonces esos recursos no utilizados en ese producto pueden ser usados para
mejorar la calidad de ese mismo producto o de otros productos.

En el Contexto de la OCDE: la carga del informante normalmente se ubica a las


Oficinas Nacionales de Estadísticas y otras Agencias Gubernamentales productoras de
datos, así como la OCDE excepcionalmente recoge los datos directamente de empresas
o viviendas, y sólo por excepción, si es que lo hace, solicita lo datos que las Oficinas
nacionales de Estadística u otras Agencias Gubernamentales no han recogido para sus
propios propósitos.

29
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2. LÍNEAS GUÍAS DE LA CALIDAD PARA LAS ACTIVIDADES ESTADÍSTICAS DE


LA OCDE.

2.1. Introducción
Las pautas o líneas guías de la calidad reflejan las buenas prácticas adoptadas por la
Secretaría de la OCDE o por otros cuerpos nacionales e internacionales activos en
estadística.

Las pautas de la calidad proporcionaron una base para la evaluación de nuevas


actividades estadísticas propuestas y para la autovaloración de una actividad
estadística existente. Éstas pueden desarrollarse y ser refinadas en un cierto plazo
mientras que se identifican prácticas mejores y/o pautas que son aerodinámicas.

Para una organización internacional tal como la OCDE, la calidad de la estadística


producida depende de dos aspectos:
• La calidad de los datos y de los meta datos obtenidos de las agencias nacionales;
• Y la calidad de los procesos internos para la colección, verificación, compilación,
análisis y difusión de dichos datos.

Según lo indicado, la calidad se define como «apto para el uso» lo que depende de las
necesidades del usuario. De acuerdo ello, se definieron siete dimensiones como
relevancia, exactitud, credibilidad, puntualidad, accesibilidad, interpretabilidad,
coherencia. Por esto el enfoque particular de las pautas propuestas se centra en esos
aspectos de la actividad estadística, para que reflejen el valor añadido a los datos por
la OCDE, particularmente, para esas características que aseguran accesibilidad,
interpretabilidad y coherencia. Además, la adopción de las mejores prácticas
disponibles ayudaría a los estadísticos de la OCDE a adoptar los acercamientos más
eficaces para la colección, gerencia y difusión de los datos y los metadatos.

Es por esto que la estadística de alta calidad de la OCDE no se puede alcanzar


solamente con la imposición de reglas. También requiere la atención hacia las
necesidades del cliente, juntas con el uso del conocimiento estadístico y un directivo

30
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

sano en todos los niveles, así como el uso de técnicas estadísticas avanzadas y altas
tecnologías. De alcanzar este objetivo, un personal motivado y cualificado es esencial.

Las pautas presentadas se dirigen a una sola actividad estadística. Sin embargo, las
actividades estadísticas no existen en el aislamiento por lo que las mejoras potenciales
a la infraestructura estadística son el tema de la OCDE.

Una actividad estadística se considera en términos de siete fases:


1. Definición de Los requisitos de los datos en términos generales;
2. Evaluación del los datos actualmente disponibles;
3. Planeamiento y diseño de la actividad estadística;
4. Extracción de los datos y de meta datos de bases de datos dentro y fuera a la
OCDE;
5. Puesta en práctica de un mecanismo específico de los datos y de la colección de los
meta datos;
6. Verificación de los meta datos, análisis y evaluación;
7. Difusión de los meta datos.

2.2. Pautas para las diferentes fases de las actividades estadísticas

2.2.1 Fase 1.- Definición de los requerimientos de los datos en términos


generales

Propósitos
Dentro de los propósitos se propone la reducción del riesgo de duplicidad del esfuerzo
y de la pérdida de recursos; y proporcionar una oportunidad al personal interesado en
diversas partes de la organización, de contribuir al desarrollo de la actividad;
maximizando la coordinación interna y mejorando su capacidad de apoyar nuevos
progresos (entradas estadísticas, infraestructuras, herramientas de difusión, etc.).

Contexto
Dentro del contexto los requisitos potenciales de los datos se especifican normalmente
en términos de conceptos, cobertura, y contenido de los datos. Éstos alternadamente
son determinados por los usuarios. Así, especificar los requisitos de los datos implica la
identificación de los grupos de usuario y de sus aplicaciones.

31
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

En el contexto de la OCDE, los usuarios primarios son comités y grupos de trabajo de


la OCDE. Estos utilizan los datos para los propósitos de la fabricación analítica y
política. Determinan los requisitos de los datos y las prioridades básicas del sistema
para su colección, según lo reflejado en el programa de trabajo estadístico de la OCDE.

El análisis de los requisitos de los datos de modo general se realiza cuando una nueva
actividad tiene que ser lanzada, o una actividad existente tiene que ser repasada.

2.2.2 Fase 2: Evaluación de los datos disponibles actualmente y la integración


con otros datos de la OCDE.

Propósitos
• Reduce al mínimo los costos asociados a la actividad estadística;
• Reduce al mínimo la carga innecesaria en los respondedores;
• Mejora la coherencia entre las fuentes usadas por la OCDE;
• Mejora la coherencia de los conjunto de datos de la OCDE;
• Adopta tanto cuanto sea posible los conceptos, las definiciones y las clasificaciones
que ya funcionan en la comunidad estadística internacional.

Contexto
Después de definir los requisitos de los datos de una actividad estadística (fase 1), el
paso siguiente está en determinar qué datos y meta datos están ya disponibles en
otras bases de datos accesibles por la OCDE. Tales bases de datos pueden
proporcionar alguno o todos los datos y meta datos requeridos, así se reduce o elimina
la necesidad de la colección de datos adicionales. Estos pueden ser divididos en tres
categorías:
• Interno, creado por otras actividades estadísticas de la OCDE;
• Externo, pertenece a otras organizaciones internacionales;
• Externo, pertenece a las agencias nacionales.

Las actividades estadísticas dentro de la OCDE no ocurren sin tener en cuenta a las
otras actividades. Deben ser armonizadas hasta el punto de que las diferencias
innecesarias en conceptos, contenido, cobertura, frecuencia, exactitud, y puntualidad
se eliminen y los datos disponibles puedan ser integrados. Semejantemente, las
actividades estadísticas de la OCDE y otras organizaciones internacionales deben ser

32
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

armonizadas hasta el punto de que sea innecesario para que se eliminen las
diferencias y los datos disponibles puedan ser integrados.

En algunos casos, la actividad estadística puede implicar el desarrollo de nuevas


definiciones, clasificaciones, etc. Por lo tanto, los aspectos metodológicos tienen que
ser desarrollados maximizando la integración con otros estándares internacionales.

2.2.3 Fase 3: Diseño y planificación de las actividades estadísticas

Propósitos
• Asegurar de que los conceptos, las definiciones, las clasificaciones y las
metodologías estadísticas más exactas y más apropiadas sean utilizadas;
• Reducir al mínimo los costos asociados a la actividad estadística;
• Asegurar de que, al continuar con la actividad, las herramientas estadísticas estén
siendo utilizadas;
• Mezclar redes expertas apropiadas en el desarrollo de la actividad;
• Dar direcciones horizontales de ayuda para realizar papeles, maximizando la
coordinación interna y mejorando la capacidad de apoyar nuevos progresos (con
entradas estadísticas apropiadas, infraestructuras, herramientas de difusión, etc.).

Contexto
Después de la definición de los requisitos de los datos de modo general (fase 1) y del
establecimiento del grado a el cual pueden ser satisfechas otras bases de datos (fase
2), la fase 3 corresponde a las preocupaciones del diseño, planeamiento y control de la
actividad estadística. Esto implica concluir los requisitos con respecto a conceptos,
contenido y cobertura, definiciones y clasificaciones, período de referencia, frecuencia,
exactitud y puntualidad, y después diseñar mecanismos para la colección,
planeamiento y control de los datos del proceso y de la difusión para satisfacer estos
requisitos eficientemente y con eficacia.

Al respecto, es fundamental asegurarse de que los mejores expertos estadísticos estén


implicados. Por otra parte, las agencias nacionales a cargo de la coordinación de
relaciones estadísticas con organizaciones internacionales tienen que ser informadas
sobre los planes futuros de la OCDE.

33
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.2.4 Fase 4: Uso de los datos provenientes de base de datos dentro y fuera
de las OCDE.

Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para el uso de datos y de
meta datos;
• Asegurar de que, al realizar la actividad, las mejores herramientas estadísticas
disponibles estén siendo utilizadas;
• Reducir al mínimo el riesgo de errores al extraer e interpretar los datos y meta
datos.

Contexto
En la fase 2 se establecen la existencia de artículos de los datos requeridos dentro de
las bases de datos manejadas por otras organizaciones internacionales. Esta fase se
refiere a la eficacia del contenido de los datos y al proceso de extracción de los meta
datos.

Dado que los datos disponibles de las bases de datos internacionales de la


organización, se han recogido en primer lugar de las agencias nacionales, hay a
menudo dos opciones de acceso:
• Los datos se pueden extraer de la base de datos de la agencia internacional. Esto
tiene la ventaja de beneficiar cualquier corrección o compilación emprendida por la
agencia. Sin embargo, la identificación de las fuentes de errores y de su corrección
se hace más difícil;
• Los datos se pueden obtener directamente de las fuentes nacionales originales.
Esta opción puede producir datos más oportunos. Sin embargo, en este caso, como
los datos son transmitidos por las agencias nacionales más que extraídos por la
OCDE, la operación se describirá en la fase 5, así como todos los aspectos técnicos
relacionados con las extracciones de datos de bases de datos externas.

34
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.2.5 fase 5: Puesta en práctica del mecanismo específico de la colección de


datos

Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para los datos y la colección
de los meta datos;
• Reducir al mínimo la carga en datos y abastecedores de los meta datos;
• Reducir al mínimo el riesgo de errores al recoger los datos y meta datos;
• Proporcionar a las agencias nacionales a cargo de la coordinación de la información,
resúmenes de las actividades estadísticas sobre datos y los meta datos que fluyen
entre el país y la OCDE;
• Proporcionar a la comunidad de información estadística sobre datos y meta datos
de la OCDE flujos entre cada país y la OCDE.

Contexto
Los requisitos para los datos se establecen en la fase 1; las posibilidades de extraer
estos datos de otras bases de datos se determinan en la fase 2 y se elaboran en la
fase 4. La fase 5 refiere a la adquisición de los datos que no se pueden extraer de
otras bases de datos dentro de la OCDE y por lo tanto no requieren establecimiento y
operación de la colección de datos (o de la selección) y de los mecanismos de la
transmisión específicamente para mantener la actividad estadística.

Para los países miembros, la disposición de datos por las agencias nacionales es una
condición de la calidad de los miembros. Para los países no miembros que cooperan y
las organizaciones internacionales, la disposición de datos es una condición de la
cooperación con la OCDE. Sin embargo, en todos los casos, la OCDE tiene la obligación
de reducir al mínimo la carga para el proveedor de datos.

Las actividades para la colección de datos se pueden dividir generalmente entre:


a) Recoger los datos que son parte de un programa en curso de la difusión de la
agencia individual de la fuente establecida a nivel nacional;
b) Recoger los datos disponibles a nivel nacional, pero que es solicitado especialmente
por la OCDE y que no es parte de un programa en curso de difusión establecida a nivel
nacional y que se hace disponible solamente porque un examen estadístico es
realizado por fuentes nacionales que siguen una petición especial de la OCDE.

35
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

2.2.6 Fase 6: Verificación, compilación, almacenaje, análisis y evaluación de


los Datos y meta datos

Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para la verificación,
compilación y almacenaje de los datos y los meta datos;
• Asegurar de que las mejores herramientas estadísticas estén siendo utilizadas para
conducir la verificación, la compilación y el análisis de los datos;
• Asegurar de que la documentación apropiada sobre procesos de verificación, de
compilación, de almacenaje y de análisis de los datos, esté producida y hecha en
forma accesible a los usuarios interesados;
• Maximizar la accesibilidad y la interpretabilidad de los datos y de los meta datos;
• Permitir la fácil integración de los datos y de los meta datos compilados por varias
actividades estadísticas, para así maximizar la coherencia de las estadísticas de la
OCDE.

Contexto
Esta fase implica:
• Controles que identifican a los datos y meta datos desaparecidos, inválidos o
contrarios o a los meta datos que están potencialmente en el error;
• La compilación de datos y de meta datos finales, así como la producción de datos
estadísticos o indicadores calculados con información recogida de fuentes externas
o internas;
• El almacenaje de los datos y de los metadatos que se compilan en conjunto con los
productos estadísticos finales y los usuarios pueden extraer estos datos y
metadatos;
• El uso de los datos para producir resultados estadísticos y/o analíticos;
• La revisión de cómo los datos y los metadatos son útiles para el propósito original
para el cual fueron recogidos y compilados.

La verificación sirve para poner en orden los datos y metadatos; para proporcionar la
información a los usuarios sobre la exactitud de los datos y de los metadatos
difundidos, y proporcionar la base para las mejoras futuras al proceso de la actividad
estadística.
En este caso, la verificación implica principalmente la coherencia de la información
recibida en un cierto plazo, mediante conjuntos de datos, a través de los países.

36
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

La compilación de los datos implica la producción de los indicadores adicionales


derivados de datos recogidos originalmente por la OCDE.

En algunos casos, la fase de la compilación también requiere la valoración (imputación)


de los valores que faltan, ajustes para armonizar los datos a través de países y para
superar roturas de la serie en un cierto plazo causada por los cambios en conceptos o
metodologías. En este caso, tiene que ser utilizada la técnica más apropiada, para
mejorar la calidad total de los datos difundidos.

El almacenaje implica poner los datos y metadatos asociados, en una base de datos de
donde pueden ser extraídos y/o difundidos.

Esencialmente, un análisis abarca una declaración de edición, de evidencia, y de


respuesta basada en los datos, mientras que la evaluación implica la revisión de los
datos concerniente a los requisitos originales de dichos datos.

La manera en como se conducen estas fases es absolutamente crucial para la


«reducción al mínimo de los errores ajenos a la muestra», que son la fuente de los
errores más relevante para un proveedor «secundario» de los datos, tal como la OCDE.
Estos errores se pueden producir por:
• Errores de cobertura, debido a la divergencia entre la población objetivo y las
definiciones establecidas por la OCDE. Incluyen cobertura excesiva (es decir la
inclusión/exclusión de artículos no solicitados) ;
• El procesamiento de los errores, debido al uso incorrecto de los procesos según
código, clasificación, transformación y tabulación de los datos y metadatos.

Las actividades de verificación, de compilación, almacenaje, análisis y evaluación son


realizadas por la OCDE usando una amplia gama de herramientas metodológicas, de
infraestructuras y de procedimientos. En algunos casos, esta variedad de
acercamientos puede reducir la eficacia de la actividad estadística, la exactitud de los
resultados, así como la accesibilidad y la interpretabilidad de los resultados.

37
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

Además, la documentación escasa sobre los procedimientos usados para verificar y


compilar los datos puede afectar la coherencia de los datos producidos, especialmente
cuando el personal a cargo de estas fases cambia en un cierto plazo.

2.2.7 Fase 7: Difusión de los datos y de los metadatos

Propósitos
• Asegurar que todos los productos estadísticos estén difundidos de acuerdo con lo
publicado por la OCDE y políticas estadísticas;
• Maximizar la accesibilidad e interpretabilidad de los productos estadísticos de la
OCDE;
• Reducir al mínimo los recursos necesarios para difundir productos estadísticos por
diversos medios;
• Asegurar de que la estadística difundida sea oportuna y puntual;
• Maximizar la coherencia de los datos difundidos por la OCDE, en términos de
contenido y presentación.
Contexto
La difusión significa la fabricación de datos y el acompañamiento de los metadatos y de
los análisis disponibles para los usuarios.

La OCDE tiene políticas de publicación y de evaluación, dentro de las cuales la difusión


debe ocurrir. En abril del 2002, la OCDE revisó su política de publicación. La política
revisada indica que el objetivo principal de las publicaciones hechas por la OCDE, es
difundir tan extensamente como sea posible y de la manera eficaz, los resultados de
los trabajos realizados dentro de la OCDE sobre las aplicaciones que han sido
significativas. Cuyo punto principal es realzar la credibilidad de la OCDE como fuente
de los análisis, de la estadística oportuna, relevante de la alta calidad y de las
prescripciones de la política, reflejando ampliamente el funcionamiento económico,
ambiental y social dentro del alcance del programa de trabajo de la organización.

Además, el reconocimiento de esa difusión de la estadística, requiere de una


consideración especial, debido a que el consejo de la OCDE reconoció la necesidad de
mejorar el valor de publicaciones estadísticas para salvaguardar la reputación y la
credibilidad de la organización.
Pautas generales

38
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

Si bien hasta ahora se han descrito, para cada una de las fases para las actividades
estadísticas, el contexto y sus propósitos, a continuación se presenta un listado
general de pautas para ser aplicadas en dichas fases.

Las siguientes pautas incorporan la mejor práctica ya dentro de la OCDE y en otras


agencias estadísticas.

• Las aplicaciones de los datos deben ser articuladas y documentadas por lo


responsables de la actividad estadística.
• Los requisitos esenciales de los datos deben ser especificados y documentados en
términos de conceptos, contenido, cobertura, frecuencia y puntualidad.
• La carencia de armonización con las prácticas internacionales se documentan y se
justifican.
• Cada base de datos interna potencialmente útil de la OCDE se repasa para
determinar si los artículos de datos necesarios, están disponibles.
• Regente a los metadatos, todo anomalía, mal funcionamiento o deficiencia de
estos, debe ser documentada y debe ser discutida con el encargado
correspondiente y si es el caso con la organización internacional en cuestión.
• Para el diseño y planificación se debe considerar el contenido de la actividad
estadística, los procesos estadísticos y aspectos relacionados. Los estándares
internacionales disponibles referentes a los conceptos, definiciones, etc. se
documentan las divergencias y se discuten.
• El diseño de la actividad tiene que considerar, tanto cuanto sea posible, la
disponibilidad de las herramientas corporativas para conducir las actividades
estadísticas.
• En el caso de los datos provienen de bases de datos dentro y fuera de la OCDE,
determinar si los mismos se contienen en bases de datos internas y externas.
• Se sugiere crear una fuerte relación con los encargados de las bases de datos de
las cuales se extraen dichos datos, especialmente si estos datos se utilizan para
publicaciones regulares. Esto se sugiere por si alguna insuficiencia de datos,
problemas potenciales en la calidad de los datos relacionados (principalmente
exactitud y coherencia) y meta datos relacionados; los cuales se corrigen.

• Debido a que las colecciones de datos realizadas a través de la OCDE tienen


características muy diversas, las pautas específicas se han desarrollado para cada

39
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

categoría de la colección de datos. Particularmente, los requisitos de los datos de la


OCDE se pueden resumir dentro de seis amplias categorías, dentro de las cuales
tenemos: datos económicos mensuales, estadística económica y social básica
anual, otros datos estadísticos sobre variables económicas, sociales y ambientales
recogidas anualmente, subproductos de las actividades administrativas compiladas
por las agencias sin una cultura estadística y/o una comisión con la adherencia a
los estándares estadísticos internacionales existentes, donde los metadatos con
frecuencias no están disponibles para tales datos. También se incluyen los
microdatos, producidos normalmente por las organizaciones estadísticas nacionales
transmitidas a la OCDE o alcanzadas por el personal de investigaciones de la OCDE
a través de redes electrónicas.
Para cada una de estas categorías se propone que tengan una buena presentación
del propósito de la iniciativa y del contexto político/analítico en los cuales se ha
lanzado, una descripción del uso futuro de los datos que serán transmitidos y las
características generales de los datos y metadatos, y una referencia clara del
tratamiento de los datos confidenciales y los hay. Además confeccionar notas
explicativas que contiene las instrucciones para la compilación de los cuestionarios
y asegurarse de que estas instrucciones sean sucintas, claras y fáciles de leer.
Publicando consigo las pautas claras y exactas para los resultados de dichos
cuestionarios.
• Documentar específicamente los procedimientos usados para la verificación,
compilación, almacenaje, análisis, evaluación de los datos y metadatos y las reglas
de imputación utilizadas.
• Particularmente la presentación de datos y metadatos tiene que se claro e
inequívoco; los datos estadísticos tienen que ser interpretables por el usuario
medio, cuyos contenidos deben ser tan coherentes como sea posible.

• Se les debe proporcionar a los usuarios la información necesaria para entender las
fuerzas y las limitaciones de los datos difundidos, en conjunto con información
sobre las metodologías, naturaleza, ediciones dominantes de la exactitud, así como

40
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

un reconocimiento de que los datos están conforme a error y que si fuere


aceptable, que el nivel de error puede variar geográficamente o por otras
características y el propósito del producto, lo que permitirá que los usuarios
determinen si los datos se aproximan adecuadamente a lo que desean medir y si
los datos están producidos con las tolerancias aceptables para su uso.
• Difundir datos en conjunto con metadatos, para asegurar la interpretabilidad
necesaria.

3. PROCEDIMIENTOS Y LISTAS DE COMPROBACIÓN PARA LAS


ACTIVIDADES ESTADÍSTICAS SEGÚN LA OCDE

Según lo descrito en la 1ª parte, la estructura de la calidad de la OCDE envuelve los


procedimientos específicos para asegurar de que las actividades estadísticas existentes
y las nuevas estén conducidas de acuerdo con las pautas preescritas en la 2ª parte,
para cada una de las siete fases del ciclo de proceso estadístico. Los procedimientos
específicos contorneados en esta parte, toman la forma de listas de comprobación
separadas de la calidad para las actividades estadísticas existentes y nuevas. Las listas
de comprobación proporcionan acoplamientos a las pautas específicas de la OCDE en
las áreas dominantes (por ejemplo: tratamiento de datos confidenciales; difusión de
los datos y de los metadatos; estándares de la presentación de los datos; etc.) y
ejemplos de buenas prácticas, dentro de la OCDE y en otras organizaciones (en
ediciones por ejemplo: extracción de datos; diseño de cuestionarios; presentación de
la nueva actividad relevante, al grupo de trabajo o al comité; etc.).

3.1 Lista de comprobación de la calidad para las actividades estadísticas


existentes

Según lo indicado en la 1ª parte, el procedimiento para repasar la calidad de las


actividades estadísticas existentes incorporadas a la «lista de comprobación
relacionada de la calidad 9 » consideran las siguientes etapas:
(a) Identificación, por el grupo estadístico de la política de la OCDE (GEP), de las
actividades estadísticas para la revisión durante el transcurso del año, siguiendo
un calendario semestral;

9
Ver anexo: Ideas centrales cuestionario 1: «Lista de comprobación de la calidad para las Actividades
Estadísticas Existentes en la OCDE»

41
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

(b) Autovaloración del encargado y del personal estadísticos de la actividad, dando


como resultado un informe que incluye un breve resumen de problemas de la
calidad y una lista dando las posibles mejoras, junto con información sobre los
recursos adicionales requeridos para su puesta en práctica;
(c) Revisión y comentarios sobre el informe de la autovaloración de los usuarios
importantes;
(d) Revisión y comentarios sobre el informe de la autovaloración de la tecnología
estadística, información, y del personal de la difusión, coordinado por un experto
señalado por el GEP;
(e) Preparación del informe final de la calidad, combinando todos los comentarios
acordados por el encargado de la actividad y el experto señalado, y la tabulación
del informe al GEP;
(f) Discusión y resolución de las preocupaciones por el informe del GEP, y transmisión
del informe al director relevante;
(G) Asignación de los recursos para las iniciativas seleccionadas de mejora a través
del fondo central de prioridades;
(h) Ocupación del principal estadístico sobre las iniciativas de mejoras de la calidad
propuestas y los planes para su puesta en práctica.

3.2 Lista de comprobación de la calidad para las nuevas actividades


estadísticas
10
Cuando se considera una nueva actividad estadística, el encargado tiene que
asegurarse de que las pautas de la calidad sean consideradas cuidadosamente durante
el proceso entero del planeamiento y de la puesta en práctica de la actividad.
Particularmente, las actividades siguientes tienen que ser emprendidas para asegurar
el nivel óptimo de la cooperación con otras partes de la OCDE:
• Antes de que la actividad comience, el encargado de la actividad conducirá un
análisis y una evaluación cuidadosa de las pautas de la calidad para cada paso del
proceso.
• Además, cuando la nueva demanda para una salida estadística es formulada por un
comité, el análisis preliminar se realiza según las pautas de la calidad, donde el

10
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activities. Version 200/1 (17
October 2003)» Página 58.Tabla 8: Main steps to be followed in the development of a new statistical activity.

42
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

11
encargado de la actividad recolecta un cuestionario y lo envía a los miembros de
GEP para sus comentarios. Los miembros individuales de GEP pueden proporcionar
sus comentarios encendido el proyecto dentro de 14 días laborables.
• En la fase del planeamiento de la actividad el encargado se contacta con expertos
para encontrar las soluciones técnicas y de organización más apropiadas y más
eficientes. Una vez planeada la actividad se concluye, que el encargado de la
actividad tiene que compilar el programa estadístico de la OCDE del cuestionario
del trabajo, donde están todos los detalles técnicos de la actividad especifica.
• Una vez que el primer ciclo de la actividad se acaba, el encargado de la actividad
preparará un informe corto sobre la manera en que el proyecto fue realizado,
destacando fuerzas y debilidades de la actividad y las ofertas para las mejoras
futuras, así como para enmendar el marco de la calidad y pautas de la calidad.
Particularmente, a la luz de un interés posible para la organización en su totalidad
de continuar la actividad, el encargado cuantificará los costos asociados a tal
hipótesis.

A continuación se presentan las ideas generales propuestas para el Cuestionario 1


propuesto por la OCDE «Lista de comprobación de la calidad para las actividades
estadísticas existentes en la OCDE 12 »:
Este cuestionario esta enfocado a las 7 fases descritas en el punto 2: «Pautas de la
calidad para las actividades estadísticas de la OCDE».

Cuya finalidad esta en:


• Identificar las definiciones de los requerimientos de los datos en términos generales
una vez evaluada la actividad estadística existente y futura requerida por los
usuarios;
• Evaluar los datos disponibles actualmente en la OCDE, una vez evaluada la posible
duplicidad entre la colección de los datos provenientes de la OCDE y las otras
organizaciones internacionales;
• Identificar el diseño y planificación de la actividad estadística, cuando las
conclusiones de análisis anteriores (fase1 y 2) han sido evaluadas y se ha
comprobado la conveniencia de los métodos estadísticos y procedimientos
adoptados;

11
Ver anexo: Ideas centrales cuestionario 2: «Información Resumen para los miembros GEP, sobre las
actividades Estadísticas Nuevas»
12
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activities. Version 200/1 (17
October 2003)» Página 59: «Questionnaire 1- Quality checklist for existing OECD statistical activities».

43
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

• Determinar el uso de los datos provenientes dentro y fuera de la OCDE; Identificar


los mecanismos implementados para la colección de datos específicos una vez que
se ha analizado dichos;
• Una vez que se han recogido los datos, se realiza una verificación, compilación,
almacenaje, análisis y evaluación de los datos y metadatos. Todos estos pasos
necesitan ser cuidadosamente evaluados y analizados, por si requieren cambios, y
así considerar si los procedimientos adoptados pueden asegurar la exactitud,
interpretabilidad, accesibilidad y coherencia solicitada según las pautas de la
calidad considerando los estándares actuales del sistema de información estadística
de la OCDE.
• y por último se realiza la transmisión de los datos y metadatos finales, los cuales
son difundidos en varios formatos y por diversos medios. Por lo tanto, los aspecto
de la calidad, referentes al contenido de las publicaciones a través de los distintos
medios para su difusión y política deben ser analizados.

Ideas generales propuestas para el Cuestionario 2 propuesto por la OCDE


«Información resumen para los miembros del GEP, sobre una nueva actividad
estadística 13 »:

El cuestionario 2 propuesto por la OCDE, trata de identificar las diferentes actividades


desarrolladas por los miembros de la GEP sobre nuevas actividades estadísticas y las
necesidades relacionadas con dicha actividad.

Por lo tanto este cuestionario apunta a:


• Determinar si se ha sido participe de un análisis de necesidades estadísticas
actuales en la OCDE relacionadas con la nueva actividad;
• Si existen otras organizaciones implicadas en la actividad;
• Si los miembros del GEP han realizado un Análisis sobre las pautas y
recomendaciones estadísticas internacionales existentes (definiciones,
clasificaciones, etc.) desarrolladas por la OCDE u otras organizaciones
internacionales útiles para conducir la actividad;

13
Ver Documento: Quality Framework and Guideline for OECD Statistical Activities. Version 2003/1 (17
October 2003) Página 87: «Questionnaire 2- Summary information to SPG members about a new statistical
activity».

44
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS

• Determinar cuál es el grado de coherencia entre los conceptos, las definiciones y


las clasificaciones considerados para la actividad y las usadas en el nivel nacional,
por la mayoría de países referidos;
• Identificación de las políticas principales para la actividad.
• Describir el contenido de la actividad, de las salidas previstas y de las
características principales (frecuencia, variables, cobertura geográfica, etc.). La
nota debe destacar las fuerzas y las debilidades principales de la actividad.
• Determinar el horizonte de la actividad.
• Determinar si la actividad implica nuevos datos y metadatos.

9. BIBLIOGRAFÍA

1. Probabilidad y Estadística «Aplicaciones y Métodos», George C. Canavos


2. Quality Framework and Guideline for OECD Statistical Activities. Version 2003/1.
OCDE.
3. Methodological Documents Handbook. «How to make a quality report». October
2003.
4. Methodological documents standard report. Document eurostat October 2003.
5. Statistics Canada Quality Guidelines. Fourth Edition. October 2003 catalogue N1
12-539-xie
6. Indicador de desempeño colectivo. Departamento I&D, año 2006: «Propuesta
Metodologica para la comparación y seguimiento de indicadores de la calidad según
OCDE y EUROSTAT»

45

Você também pode gostar