Escolar Documentos
Profissional Documentos
Cultura Documentos
de trabajo
PROCEDIMIENTOS DE
EVALUACIÓN DE
PRODUCTOS ESTADÍSTICOS
Junio 2007
Nº6
PROCEDIMIENTOS DE
EVALUACIÓN DE PRODUCTOS
ESTADÍSTICOS
Analista
Ester Díaz Peralta
1
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
INDICE
1. INTRODUCCIÓN ............................................................................................3
8. ANEXOS ..................................................................................................... 11
ANEXO 1: LISTADO DE INDICADORES POSIBLES DE IMPLEMENTAR ................... 11
9. BIBLIOGRAFÍA ............................................................................................ 45
2
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
1 . INTRODUCCIÓN
A continuación se presenta los tópicos que debe contener un informe sobre la calidad
de las estimaciones estadísticas detallado por Dimensión del vector de la calidad.
1
Ver documento: indicador de desempeño colectivo Departamento I+D, año 2006
3
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
2
Las variables principales las define el productor de la encuesta o producto estadístico, según requerimientos
de los usuarios principales.
4
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
3
Representan los errores atribuibles a la utilización de métodos como el uso de las variables auxiliares,
calibración, estimadores de regresión generalizados, ajuste estacional, etc.
5
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
6
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
7
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
4
La incompletitud se refiere a las estadísticas reiteradamente solicitadas y que el INE no elabora, pero que
además deberían estar dentro del plan nacional de recopilación estadística.
8
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
9
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
¾ Mostrar que la coherencia de los datos producidos refleja el grado en que ellos
están lógicamente conectados y son mutuamente consistentes.
¾ Garantizar que un mismo término no se usa sin una explicación para conceptos
diferentes o micro-datos.
¾ Indicar que no se hacen variaciones en las metodologías que podrían afectar los
valores de los datos sin una explicación anticipada.
¾ Explicitar las cuatro sub dimensiones de la coherencia: dentro de una base de
datos, entre bases de datos, a través del tiempo y entre los países, cuando
haya trabajos conjuntos de armonización.
¾ Mostrar que la coherencia dentro de una base de datos implica que los datos
unitarios están basados en conceptos, definiciones y clasificaciones compatibles
y pueden combinarse con sentido.
¾ Mostrar que la coherencia entre bases de datos implica que los datos están
basados en conceptos, definiciones y clasificaciones comunes, o que cualquier
diferencia se puede explicar.
¾ Mostrar que la coherencia a través del tiempo implica que los datos están
basados en conceptos, definiciones y metodologías comunes en el tiempo, o que
cualquier diferencia se puede explicar.
¾ Mostrar que la coherencia con las estadísticas de otros países, cuando haya
trabajos conjuntos de armonización, implica que de país a país los datos están
basados en conceptos, definiciones, clasificaciones y metodologías comunes, o
que cualquier diferencia se puede explicar.
NOTA 1:
Asegurar la coherencia entre países es una de las mayores fuentes de valor agregado
previsto por la OECD, para la Unión Europea. El papel del metadato explicando los
posibles cambios en conceptos o metodologías a través del tiempo y entre los países
es completamente fundamental para la OECD.
NOTA 2:
Los contenidos de los seis informes anteriores se pueden adaptar a cualquier dominio
de aplicación agregando aspectos que son pertinentes al dominio en estudio.
10
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
8. ANEXOS
RELEVANCIA (Pertinencia)
TASA FORMULA
1. Tasa de Usuarios Permanentes
(Nº de Usuarios Permanentes / Nº Total de TUP = [NUP/NTU]*100
Usuarios)
2. Tasa de Usuarios Potenciales
(Nº de Usuarios Potenciales / Nº Total de Usuarios TUPO = [NUPO/NTU+NUPO]*100
+ Número de usuarios potenciales)
3. Tasa de Satisfacción de Requerimientos
(Volumen de Información Estadística Solicitada / TSR = [VIS / VIP]*100
Volumen de Información Estadística Publicada)
4. Tasa de Satisfacción de Usuarios
(Nº de Usuarios Satisfechos / Nº Total de TSU = [NUS/NTU]*100
Usuarios)
5. Tasa de Recursos Efectivos
(Cantidad de Recursos Utilizados / Cantidad de TUPO = [NUPO/NTU]*100
Recursos Asignados)
6. Tasa de Cobertura Geográfica
(Nº Desagregaciones Geográficas Solicitadas / Nº TCG = [NDGS/NDGD]*100
Desagregaciones Geográficas Disponibles)
7. Tasa de Cobertura Temática
(Nº Desagregaciones Temáticas Solicitadas TCT = [NDTS/NDTD]*100
Reiteradamente / Nº Desagregaciones Temáticas
Disponibles)
5
Se debe tener definidos todos los conceptos a utilizar en las definiciones de las tasas, por ejemplo, usuario
permanente, usuario potencial, etc. Ver algunas definiciones al final de esta lista de tasas.
11
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
ACURACIDAD (Exactitud)
TASA FORMULA
1. Tasa de Eficiencia del Marco
TEM = [MDE/MDI]*100
(Total Unidades del Marco Descartadas / Total
Unidades del Marco Disponibles)
2. Tasa de Error del Marco
{(Unidades no Elegibles + Unidades no TEM = [UNE+UNC/UC]*100
Contactadas por Errores del Marco) / Unidades
Comprobadas}
3. Tasa de No-Elegibilidad
TNE = [UNE/UC]*100
(Unidades no Elegibles / Unidades Comprobadas)
4. Tasa de No-Contacto por Error del Marco
TNC = [UNCEM/UC]*100
(Unidades no Contactadas por Errores del Marco /
Unidades Comprobadas)
5. Tasa de Respuesta
TUPO = [NUPO/NTU]*100
(Unidades que Responden / Total de Unidades
Comprobadas)
6. Tasa de No Respuesta Total Neta
TNRN = [UNR/UNC]*100
{(Unidades que No responden + Unidades No
Comprobadas)/Total de Unidades}
7. Tasa de No Respuesta por Rechazo
TNRR = [NR/UE]*100
(Nº de Rechazos/Unidades Elegibles)
8. Tasa de No Respuesta por No Contacto
TNRNC = [NNC/UE]*100
(Nº de No Contactados/Unidades Elegibles)
9. Tasa de No Respuesta por Otros Motivos
TNROM = [NNOM/UE]*100
(Nº de No Respuestas por Otros Motivos/
Unidades Elegibles)
10. Tasa de Rechazo
TR = [ER/ET]*100
(Encuestas Rechazadas /Encuesta total)
11. Tasa No Encuestable
TNE = [ENE/ET]*100
(Encuestas No Encuestables /Encuestas Total)
12. Tasa de Omisión
TO = [NEO/TEE]*100
(Nº de Encuestas con Omisión /Total Errores
Encuestas Efectivas)
13. Tasa de Consistencia
TC = [NE/ET]*100
(Nº de Errores de Consistencia / Total Errores
Encuestas Efectivas)
14. Tasa de Supervisión
TS = [NS/NE]*100
(Nº Supervisores /Nº de Encuestadores)
15. Tasa de Error Encuestador
TEE = [NEE/TE]*100
(Nº de Errores encuestador /Total de Errores
Encuestas Efectivas)
16. Tasa de Error del Procesamiento
TR = [ER/ET]*100
(Nº de Errores de Procesamiento /Total de
Errores Encuestas Efectivas)
12
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
OPORTUNIDAD
TASA FORMULA
1. Tasa Efectiva de Entrega de Resultados 6
(Fecha Comprometida - Fecha de Resultados TEER = [FC - FRP]
Publicados)
2. Tiempo de Demora Procesamiento Manual
TDPM = [TE/TES]*100
(Tiempo Efectivo / Tiempo Esperado)
3. Tiempo de Demora Procesamiento Informático
TDPI = [TE/TES]*100
(Tiempo Efectivo /Tiempo Esperado)
4. Duración Relativa de la Planificación
(Duración de la Planificación/Demora Total de la DRP = [DP/DTF]*100
Fase)
5. Duración Relativa del Levantamiento
(Duración del Levantamiento/ Demora Total de la DRL = [DL/DTF]*100
Fase)
6. Duración de la Elaboración
(Duración de la Elaboración del Producto/ Demora DRE = [DEP/DTF]*100
Total de la Fase)
7. Duración Relativa de la Publicación
DRPU = [DPU/DTF]*100
(Duración de la Publicación / Demora Total de la
Fase)
ACCESIBILIDAD
TASA FORMULA
1. Tasa de Difusión del Producto
(Nº de Medios que se Presenta el Producto / Total TDP = [NMPP/TMD]*100
de Medios Disponibles)
2. Tasa de Publicación de Micro-datos
(Nº de Variables Publicadas con Micro información TPMD = [NVPM/TVP]*100
/ Total de Variables publicadas)
3. Tasa de publicación de macro-datos
(Nº de Variables Publicadas con Macro TPMA = [NVPM/TVP]*100
Información / Total de Variables Publicadas)
6
Esta diferencia se considera una tasa, aunque no es cociente
13
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
ACCESIBILIDAD CONTINUACION
TASA FORMULA
5. Tasa de Contacto Informatizados del Producto
(Nº Usuarios Atendidos en forma Informatizada
/Nº Total Usuarios) TCIP = [NUAPCI/NTU]*100
COHERENCIA
TASA FORMULA
1. Tasa de Información Útil
(Variables Adecuadas (principales)/ Total de TIU = [VA/TV]*100
Variables)
2. Tasa de Variables Estandarizadas
(Nº de Variables con Conceptos Estandarizados TVE = [NVCI/TV]*100
Internacionalmente / Total de Variables)
3. Tasa Efectiva de Imputación de la Variable
(Nº Datos Imputados de la Variable/ Total de TEIV = [NIV/TD]*100
Datos)
4. Tasa de Campos Errados
(Nº de Campos Errados/Nº Total de Campos TCE = [NCE/NTCC]*100
Controlados)
5. Tasa de Unidades con al menos un Campo
Errado
TUCE = [UCE/NTU]*100
(Unidades con al menos un Campo Errado/Nº
Total de Unidades)
14
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Usuarios Permanentes: es el usuario que solicita una estadística cada vez que se
publica, ya sea mensual, anual u otra medida de tiempo. Además ya la ha solicitado a
lo menos tres veces.
Total de unidades: corresponde al total de unidades del marco, las cuales pueden ser
comprobadas o no, las incluye a ambas.
15
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
∑x
i =1
i
x=
n
xi : Corresponde al recorrido de la variable
∑ (x
i =1
i − x)
s =
2
n −1
x
s x2
cv x = * 100
x
σ
Error estándar de la estimación de la media: v( x ) =
n
1⎛ n −3⎞ 2
Error estándar de la estimación de la varianza: v( s x2 ) = ⎜ μ4 − ⎟σ
n⎝ n −1 ⎠
Donde: μ 4 = E (( x − μ ) 4 )
16
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
P(1 − P )
Error estándar de la estimación de la proporción: v( p) =
n
Donde:
p = una proporción muestral
n = el tamaño de la muestraEn cuanto más pequeño es el error estándar, más
confiables serán los resultados a partir del estimador relacionado.
⎛ s s ⎞
P⎜⎜ x − t α * < μ < x + tα * ⎟ = 1−α
⎟
⎝ 2 n 2 n ⎠
⎛ ⎞
⎜ (n − 1) s 2 (n − 1) s 2 ⎟
P⎜ 2 <σ < ⎟ = 1−α
⎜ X −α ,n −1 X α2 ⎟
, n −1
⎝ 2 2 ⎠
17
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
i =1 2 ∏σ
n
n n
−1
∑ ( xi − μ ) 2
⎛ 1 ⎞ ⎛ 1 ⎞ σ 2 i =1 2
= ⎜⎜ ⎟⎟ ⎜ 2 ⎟ e 2
⎝ 2∏ ⎠ ⎝σ ⎠
n 1 n
( xi − μ ) 2
ln(l ( x1 , x 2 ,..., x n , μ , σ )) = − n ln( 2 ∏ ) − ln(σ 2 ) − 2
2 σ
∑
i =1 2
∂ ln(l ( x, μ , σ )) 1 n
∂μ
=0⇒ 2
σ
∑ (x
i =1
i − μˆ ) = 0
n
∑ ( x ) − nμˆ = 0
i =1
i
μˆ = X n ( EMV )
∂ ln(l ( x, μ , σ )) n 1 1 n
( xi − μˆ ) 2
∂σ
=0⇒−
2 σˆ 2
+ 4
σˆ
∑
i =1 2
=0
n
1
−n+
σˆ 2
∑ (xi =1
i − μˆ ) 2 = 0
n
∑ (x i − μˆ ) 2
σˆ 2 = i =1
n
σˆ = s ( EMV )
2
n
2
n
18
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
2- Estimadores insesgados:
Se dice que la estadística denominada T es un estimador insesgado del parámetro
θ, si la E(T)= θ para todos los posibles valores de θ. De esta forma, para cualquier
estimador insesgado de θ, la distribución de muestreo de T se encuentra alrededor
de θ.
Por lo tanto:
E (x ) = μ es un estimador insesgado
E ( s 2 ) = σ es un estimador insesgado
19
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
3- Estimadores eficientes:
Sea X 1 , X 2 ,..., X n una muestra aleatoria de una función de densidad f ( x;θ ) .Si T
es (estimador insesgado):
−1
⎧⎪ ⎡⎛ ∂ ln f ( x;θ ) ⎞ 2 ⎤ ⎫⎪
E(T)= θ ⇒ Var (T ) ≥ ⎨nE ⎢⎜ ⎟ ⎥⎬
⎪⎩ ⎢⎣⎝ ∂θ ⎠ ⎥⎦ ⎪⎭
−1
⎧⎪ ⎡⎛ ∂ ln f ( x;θ ) ⎞ 2 ⎤ ⎫⎪
Si Var (T ) = ⎨nE ⎢⎜ ⎟ ⎥ ⎬ ⇒ T es eficiente
⎪⎩ ⎢⎣⎝ ∂θ ⎠ ⎥⎦ ⎪⎭
4- Estimadores consistentes:
5- Estimadores suficientes:
Una estadística suficiente para un parámetro θ es aquella que utiliza toda la
información contenida en la muestra aleatoria con respecto a θ.
20
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Introducción
8
La mejora de la calidad de la estadística de la OCDE es uno de los objetivos
principales de la Estrategia actual de la OCDE. Los estadísticos de la OCDE dedican una
parte significativa de su esfuerzo a la mejora de calidad, y la organización aplica
técnicas que ya han sido utilizadas en estructuras de la gerencia de calidad total. Los
procesos internos de la garantía de calidad están ya en lugar en varias direcciones.
Éstos incluyen el tratamiento y la validación de las contestaciones de cuestionarios,
verificando en forma cruzada con las publicaciones nacionales, la compilación de la
información adicional de la OCDE y de otras fuentes internacionales.
Muchos de los trabajos que se han hecho estos últimos años para aplicar el concepto
de la calidad a los datos estadísticos corresponden por ejemplo los realizados por el
FMI, la EUROSTAT, Estadística Canadá y otras oficinas de estadística nacionales los que
han identificado varios sistemas de componentes de la calidad de los datos y han
adoptado estructuras de la calidad para mejorar sus organizaciones y la calidad de los
datos producidos.
7
Quality Framework and Guidelines for OCDE Statistical Activities. Versión 2003/1 Organization for Economic
Co-operation and Development (OECD)
8
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activitis. Versión 200/1 (17
Octubre 2003)» Página 5-6: «Introducction»
21
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
internos para la colección, procesamiento, análisis y difusión de los datos y de los meta
datos. En varios campos, la estadística nacional se desarrolla de cerca de acuerdo con
estándares internacionales. Por otra parte, los procesos estadísticos en el nivel
internacional se derivan a menudo de las mejores prácticas desarrolladas en el nivel
nacional. Así, hay una interdependencia clara entre ambos aspectos.
22
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Aun si un dato es exacto, no se puede decir que tiene buena calidad si se produce con
demasiado desfase para su uso, o no se puede acceder fácilmente a el, o aparece en
contradicción con otros datos. Por esto, la calidad se considera como un concepto
multifacético. Las características de calidad más importantes dependen de las
perspectivas de los usuarios, necesidades y prioridades.
*La relevancia de los datos producidos es una valoración cualitativa del valor aportado
por estos datos. El valor es caracterizado por el grado en que los datos son útiles para
consignar si sirven para el propósito con que fueron buscados por los usuarios. Esto
depende de dos aspectos; el alcance de los tópicos requeridos y el uso apropiado de
los conceptos. El valor es además caracterizado por el mérito que los usuarios
proyectan en términos del mandato de la OCDE, de acuerdo con los países miembros y
la oportunidad que cuesta reproducir los datos.
23
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
*La exactitud de los datos producidos es el grado con el cual los datos estiman
correctamente o describen las cantidades o características que ellos se han propuesto
medir. La exactitud se refiere a la proximidad entre el valor parametrico y el verdadero
valor. La exactitud tiene muchos atributos, y en términos prácticos no hay un valor
único agregado o una medida global de él. Por necesidad estos atributos son
típicamente medidos o descritos en términos referidos al error, o a la potencial
significancia del error, introducida a través de particulares fuentes de error.
En el caso de una encuesta estimada por muestra, las mayores fuentes de error
incluyen cobertura, muestreo, la no-repuesta, respuestas erróneas, procesamiento, y
problemas en la difusión. Para las estadísticas derivadas, tales como las cuentas
nacionales o la balanza de pagos, las fuentes de error se originan de las encuestas de
los censos que proporcionan los datos fuentes; del hecho que estos datos fuentes no
satisfacen completamente los requisitos de las cuentas en términos de cobertura,
tiempos, la evaluación y las técnicas usadas para imputar sólo pueden tener éxito
parcialmente; el ajuste estacional; y de la separación de precio y cantidad en el calculo
de medidas de valor.
24
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
*La credibilidad de los datos producidos se refiere a la confianza que los usuarios
ponen en esos productos basados simplemente en la imagen del productor de los
datos, es decir, la imagen de marca de fábrica. La confianza de los usuarios se
constituye en un cierto plazo. Un aspecto importante es creer en la objetividad de los
datos. Esto implica que los datos se perciben producidos profesionalmente de acuerdo
con estándares estadísticos apropiados, y que las políticas y las prácticas son
transparentes. Por ejemplo, los datos no se manipulan, ni su publicación se hace en
respuesta a la presión política.
25
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
publicación de los datos. Más que eso, debe asegurarse que, una vez que un acuerdo
entre la secretaria y los países se haya alcanzado sobre una serie de datos específicos,
los datos recogidos posteriormente no pueden ser retirados en respuesta a presiones
políticas.
26
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
*La accesibilidad a los datos producidos refleja como pueden localizarse prontamente y
se puede acceder a los datos disponibles desde dentro de la OCDE. El rango de
privilegios de los diferentes usuarios es tal a considerar como los múltiples formatos
para la divulgación y la presentación selectiva de meta datos. Así, la accesibilidad
incluye la adaptabilidad de los formatos en que los datos están disponibles, los medios
de divulgación, y la disponibilidad de meta datos y servicios de apoyo de usuario.
También incluye la accesibilidad de los datos a los usuarios en relación a su valor y si
el usuario tiene oportunidad razonable de saber que los datos están disponibles y cómo
accederlos.
*La interpretabilidad de los datos producidos refleja la facilidad con que el usuario0
puede entender y apropiadamente puede usar y analizar los datos, La adecuación de
las definiciones de conceptos, población objetivo, variables y terminología, datos
implícitos, e información que describe las limitaciones de los datos, de esta manera,
ampliamente se determina el grado de interpretabilidad.
*La coherencia de los datos producidos refleja al grado en que ellos están lógicamente
conectados y son mutuamente consistentes. La coherencia implica que un mismo
término no debe usarse sin una explicación para conceptos diferentes o micro-datos; y
que no deben hacerse variaciones en la metodología que podrían afectar los valores de
los datos sin una explicación. La coherencia en su sentido más amplio implica que los
27
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
datos son una explicación. La coherencia en su sentido más amplio implica que los
datos son por lo menos reconciliables. Por ejemplo, si dos series de datos pretenden
cubrir los mismos fenómenos difieren, las diferencias deben identificarse al cubrir al
momento de la grabación, valoración, y cobertura para que la serie pueda
reconciliarse. La coherencia tiene cuatro sub-dimensiones importantes: dentro de una
base de datos, entre bases de datos, a través del tiempo, y entre los países.
La coherencia dentro de una base de datos implica que los datos unitarios o micro
datos están basados en, conceptos, definiciones, y clasificaciones compatibles y
pueden combinarse con sentido.
La coherencia entre bases de datos implica que los datos están basados en conceptos,
definiciones y clasificaciones comunes, o que cualquier diferencia es explicada y puede
permitirse,
La coherencia a través del tiempo implica que los datos están basados en conceptos,
definiciones y metodologías comunes en ele tiempo, o que cualquier diferencia es
explicada y puede permitirse. La coherencia se refiere a los quiebres en una serie de
tiempo como resultado de cambios introducidos en los conceptos, definiciones o
metodologías.
La coherencia entre los países implica que de país a país los datos están basados en
conceptos, definiciones, clasificaciones y metodologías comunes, o que cualquier
diferencia es explicada y puede permitirse.
*El costo-eficacia con que se produce un producto es una medida de los costos y
proporción de la carga prevista para el informante. La carga del informante es un costo
intrínsico al proveedor, pero no obstante es un costo. Aunque la OCDE no considera el
costo-eficacia como una dimensión de la calidad, es un factor que debe tenerse en
28
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
cuenta en cualquier análisis de calidad como si pudiera afectar la calidad de todas las
dimensiones. Si un producto puede ser producido de manera más eficaz con la misma
calidad, entonces esos recursos no utilizados en ese producto pueden ser usados para
mejorar la calidad de ese mismo producto o de otros productos.
29
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
2.1. Introducción
Las pautas o líneas guías de la calidad reflejan las buenas prácticas adoptadas por la
Secretaría de la OCDE o por otros cuerpos nacionales e internacionales activos en
estadística.
Según lo indicado, la calidad se define como «apto para el uso» lo que depende de las
necesidades del usuario. De acuerdo ello, se definieron siete dimensiones como
relevancia, exactitud, credibilidad, puntualidad, accesibilidad, interpretabilidad,
coherencia. Por esto el enfoque particular de las pautas propuestas se centra en esos
aspectos de la actividad estadística, para que reflejen el valor añadido a los datos por
la OCDE, particularmente, para esas características que aseguran accesibilidad,
interpretabilidad y coherencia. Además, la adopción de las mejores prácticas
disponibles ayudaría a los estadísticos de la OCDE a adoptar los acercamientos más
eficaces para la colección, gerencia y difusión de los datos y los metadatos.
30
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
sano en todos los niveles, así como el uso de técnicas estadísticas avanzadas y altas
tecnologías. De alcanzar este objetivo, un personal motivado y cualificado es esencial.
Las pautas presentadas se dirigen a una sola actividad estadística. Sin embargo, las
actividades estadísticas no existen en el aislamiento por lo que las mejoras potenciales
a la infraestructura estadística son el tema de la OCDE.
Propósitos
Dentro de los propósitos se propone la reducción del riesgo de duplicidad del esfuerzo
y de la pérdida de recursos; y proporcionar una oportunidad al personal interesado en
diversas partes de la organización, de contribuir al desarrollo de la actividad;
maximizando la coordinación interna y mejorando su capacidad de apoyar nuevos
progresos (entradas estadísticas, infraestructuras, herramientas de difusión, etc.).
Contexto
Dentro del contexto los requisitos potenciales de los datos se especifican normalmente
en términos de conceptos, cobertura, y contenido de los datos. Éstos alternadamente
son determinados por los usuarios. Así, especificar los requisitos de los datos implica la
identificación de los grupos de usuario y de sus aplicaciones.
31
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
El análisis de los requisitos de los datos de modo general se realiza cuando una nueva
actividad tiene que ser lanzada, o una actividad existente tiene que ser repasada.
Propósitos
• Reduce al mínimo los costos asociados a la actividad estadística;
• Reduce al mínimo la carga innecesaria en los respondedores;
• Mejora la coherencia entre las fuentes usadas por la OCDE;
• Mejora la coherencia de los conjunto de datos de la OCDE;
• Adopta tanto cuanto sea posible los conceptos, las definiciones y las clasificaciones
que ya funcionan en la comunidad estadística internacional.
Contexto
Después de definir los requisitos de los datos de una actividad estadística (fase 1), el
paso siguiente está en determinar qué datos y meta datos están ya disponibles en
otras bases de datos accesibles por la OCDE. Tales bases de datos pueden
proporcionar alguno o todos los datos y meta datos requeridos, así se reduce o elimina
la necesidad de la colección de datos adicionales. Estos pueden ser divididos en tres
categorías:
• Interno, creado por otras actividades estadísticas de la OCDE;
• Externo, pertenece a otras organizaciones internacionales;
• Externo, pertenece a las agencias nacionales.
Las actividades estadísticas dentro de la OCDE no ocurren sin tener en cuenta a las
otras actividades. Deben ser armonizadas hasta el punto de que las diferencias
innecesarias en conceptos, contenido, cobertura, frecuencia, exactitud, y puntualidad
se eliminen y los datos disponibles puedan ser integrados. Semejantemente, las
actividades estadísticas de la OCDE y otras organizaciones internacionales deben ser
32
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
armonizadas hasta el punto de que sea innecesario para que se eliminen las
diferencias y los datos disponibles puedan ser integrados.
Propósitos
• Asegurar de que los conceptos, las definiciones, las clasificaciones y las
metodologías estadísticas más exactas y más apropiadas sean utilizadas;
• Reducir al mínimo los costos asociados a la actividad estadística;
• Asegurar de que, al continuar con la actividad, las herramientas estadísticas estén
siendo utilizadas;
• Mezclar redes expertas apropiadas en el desarrollo de la actividad;
• Dar direcciones horizontales de ayuda para realizar papeles, maximizando la
coordinación interna y mejorando la capacidad de apoyar nuevos progresos (con
entradas estadísticas apropiadas, infraestructuras, herramientas de difusión, etc.).
Contexto
Después de la definición de los requisitos de los datos de modo general (fase 1) y del
establecimiento del grado a el cual pueden ser satisfechas otras bases de datos (fase
2), la fase 3 corresponde a las preocupaciones del diseño, planeamiento y control de la
actividad estadística. Esto implica concluir los requisitos con respecto a conceptos,
contenido y cobertura, definiciones y clasificaciones, período de referencia, frecuencia,
exactitud y puntualidad, y después diseñar mecanismos para la colección,
planeamiento y control de los datos del proceso y de la difusión para satisfacer estos
requisitos eficientemente y con eficacia.
33
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
2.2.4 Fase 4: Uso de los datos provenientes de base de datos dentro y fuera
de las OCDE.
Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para el uso de datos y de
meta datos;
• Asegurar de que, al realizar la actividad, las mejores herramientas estadísticas
disponibles estén siendo utilizadas;
• Reducir al mínimo el riesgo de errores al extraer e interpretar los datos y meta
datos.
Contexto
En la fase 2 se establecen la existencia de artículos de los datos requeridos dentro de
las bases de datos manejadas por otras organizaciones internacionales. Esta fase se
refiere a la eficacia del contenido de los datos y al proceso de extracción de los meta
datos.
34
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para los datos y la colección
de los meta datos;
• Reducir al mínimo la carga en datos y abastecedores de los meta datos;
• Reducir al mínimo el riesgo de errores al recoger los datos y meta datos;
• Proporcionar a las agencias nacionales a cargo de la coordinación de la información,
resúmenes de las actividades estadísticas sobre datos y los meta datos que fluyen
entre el país y la OCDE;
• Proporcionar a la comunidad de información estadística sobre datos y meta datos
de la OCDE flujos entre cada país y la OCDE.
Contexto
Los requisitos para los datos se establecen en la fase 1; las posibilidades de extraer
estos datos de otras bases de datos se determinan en la fase 2 y se elaboran en la
fase 4. La fase 5 refiere a la adquisición de los datos que no se pueden extraer de
otras bases de datos dentro de la OCDE y por lo tanto no requieren establecimiento y
operación de la colección de datos (o de la selección) y de los mecanismos de la
transmisión específicamente para mantener la actividad estadística.
Para los países miembros, la disposición de datos por las agencias nacionales es una
condición de la calidad de los miembros. Para los países no miembros que cooperan y
las organizaciones internacionales, la disposición de datos es una condición de la
cooperación con la OCDE. Sin embargo, en todos los casos, la OCDE tiene la obligación
de reducir al mínimo la carga para el proveedor de datos.
35
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Propósitos
• Reducir al mínimo los recursos de la OCDE requeridos para la verificación,
compilación y almacenaje de los datos y los meta datos;
• Asegurar de que las mejores herramientas estadísticas estén siendo utilizadas para
conducir la verificación, la compilación y el análisis de los datos;
• Asegurar de que la documentación apropiada sobre procesos de verificación, de
compilación, de almacenaje y de análisis de los datos, esté producida y hecha en
forma accesible a los usuarios interesados;
• Maximizar la accesibilidad y la interpretabilidad de los datos y de los meta datos;
• Permitir la fácil integración de los datos y de los meta datos compilados por varias
actividades estadísticas, para así maximizar la coherencia de las estadísticas de la
OCDE.
Contexto
Esta fase implica:
• Controles que identifican a los datos y meta datos desaparecidos, inválidos o
contrarios o a los meta datos que están potencialmente en el error;
• La compilación de datos y de meta datos finales, así como la producción de datos
estadísticos o indicadores calculados con información recogida de fuentes externas
o internas;
• El almacenaje de los datos y de los metadatos que se compilan en conjunto con los
productos estadísticos finales y los usuarios pueden extraer estos datos y
metadatos;
• El uso de los datos para producir resultados estadísticos y/o analíticos;
• La revisión de cómo los datos y los metadatos son útiles para el propósito original
para el cual fueron recogidos y compilados.
La verificación sirve para poner en orden los datos y metadatos; para proporcionar la
información a los usuarios sobre la exactitud de los datos y de los metadatos
difundidos, y proporcionar la base para las mejoras futuras al proceso de la actividad
estadística.
En este caso, la verificación implica principalmente la coherencia de la información
recibida en un cierto plazo, mediante conjuntos de datos, a través de los países.
36
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
El almacenaje implica poner los datos y metadatos asociados, en una base de datos de
donde pueden ser extraídos y/o difundidos.
37
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Propósitos
• Asegurar que todos los productos estadísticos estén difundidos de acuerdo con lo
publicado por la OCDE y políticas estadísticas;
• Maximizar la accesibilidad e interpretabilidad de los productos estadísticos de la
OCDE;
• Reducir al mínimo los recursos necesarios para difundir productos estadísticos por
diversos medios;
• Asegurar de que la estadística difundida sea oportuna y puntual;
• Maximizar la coherencia de los datos difundidos por la OCDE, en términos de
contenido y presentación.
Contexto
La difusión significa la fabricación de datos y el acompañamiento de los metadatos y de
los análisis disponibles para los usuarios.
38
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
Si bien hasta ahora se han descrito, para cada una de las fases para las actividades
estadísticas, el contexto y sus propósitos, a continuación se presenta un listado
general de pautas para ser aplicadas en dichas fases.
39
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
• Se les debe proporcionar a los usuarios la información necesaria para entender las
fuerzas y las limitaciones de los datos difundidos, en conjunto con información
sobre las metodologías, naturaleza, ediciones dominantes de la exactitud, así como
40
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
9
Ver anexo: Ideas centrales cuestionario 1: «Lista de comprobación de la calidad para las Actividades
Estadísticas Existentes en la OCDE»
41
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
10
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activities. Version 200/1 (17
October 2003)» Página 58.Tabla 8: Main steps to be followed in the development of a new statistical activity.
42
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
11
encargado de la actividad recolecta un cuestionario y lo envía a los miembros de
GEP para sus comentarios. Los miembros individuales de GEP pueden proporcionar
sus comentarios encendido el proyecto dentro de 14 días laborables.
• En la fase del planeamiento de la actividad el encargado se contacta con expertos
para encontrar las soluciones técnicas y de organización más apropiadas y más
eficientes. Una vez planeada la actividad se concluye, que el encargado de la
actividad tiene que compilar el programa estadístico de la OCDE del cuestionario
del trabajo, donde están todos los detalles técnicos de la actividad especifica.
• Una vez que el primer ciclo de la actividad se acaba, el encargado de la actividad
preparará un informe corto sobre la manera en que el proyecto fue realizado,
destacando fuerzas y debilidades de la actividad y las ofertas para las mejoras
futuras, así como para enmendar el marco de la calidad y pautas de la calidad.
Particularmente, a la luz de un interés posible para la organización en su totalidad
de continuar la actividad, el encargado cuantificará los costos asociados a tal
hipótesis.
11
Ver anexo: Ideas centrales cuestionario 2: «Información Resumen para los miembros GEP, sobre las
actividades Estadísticas Nuevas»
12
Ver Documento: «Quality Framework and Guideline for OECD Statistical Activities. Version 200/1 (17
October 2003)» Página 59: «Questionnaire 1- Quality checklist for existing OECD statistical activities».
43
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
13
Ver Documento: Quality Framework and Guideline for OECD Statistical Activities. Version 2003/1 (17
October 2003) Página 87: «Questionnaire 2- Summary information to SPG members about a new statistical
activity».
44
PROCEDIMIENTOS DE EVALUACIÓN DE PRODUCTOS ESTADÍSTICOS
9. BIBLIOGRAFÍA
45