Qualidade de dados e pesquisas: planejamento, implementao e comunicao

Pedro Silva ENCE / IBGE Maio de 2013

Contedo
Qualidade de dados e de pesquisas. Sistemas de referncia para qualidade. Modelos de erro total. Gerenciamento de processos e da qualidade em pesquisas. Comunicao.
2

Qualidade de dados e de pesquisas

Objetivo a ser perseguido / alcanado. Qualidade do dado deriva da qualidade da pesquisa / fonte / instrumento de medida. Qualidade atributo desejvel de dados e de pesquisas. Conceito vago: o que qualidade de um dado? Precisa ser definido, de modo que possa ser planejado, medido e avaliado.

Sistemas de referncia para qualidade

Organizaes importantes tm investido em definir sistemas de referncia para qualidade de suas pesquisas. Quality frameworks:
Statistics Canada (2009); International Monetary Fund (2012); US Office of Management and Budget (2006); OECD (2012).

Qualidade nos INEs

Discusso internacional e muitos avanos sobre o gerenciamento e a avaliao da qualidade nos INEs. Eventos internacionais sobre o tema:
2000 Statistical Quality Seminar Coria; European Conference on Quality in Official Statistics:
Q2001 Estocolmo / Sucia; Q2004 Mainz /Alemanha; Q2006 Cardiff / Reino Unido; Q2008 Roma / Itlia.

Rica bibliografia sobre boas prticas .

5

Sistema de referncia para qualidade da OECD

Dimenso de Descrio qualidade Relevncia Estatsticas so relevantes se satisfazem necessidades dos usurios. Acurcia Proximidade entre o valor final da estatstica e o verdadeiro, mas desconhecido, valor populacional. Credibilidade Grau de confiana que os usurios tm nas Estatsticas com base na imagem do produtor. Atualidade Intervalo de tempo entre a disponibilizao do dado e o evento ou fenmeno que o dado descreve. Acessibilidade Quo facilmente os dados podem ser localizados e acessados pelos usurios. Interpretabilida Facilidade com que os usurios dos dados podem entender, de usar e analisar apropriadamente os dados. Coerncia Reflete o grau com que diferentes dados so logicamente conectados e mutuamente consistentes. Custo-benefcio Uma medida dos custos e carga dos respondentes relativamente ao valor dos resultados.

OECD Statistics Directorate (2012).

Qualidade de dados e de pesquisas

Duas abordagens / trajetrias complementares (Lyberg, 2012):
Modelos para erro total da pesquisa; Gerenciamento de processos e da qualidade em pesquisas melhoramento contnuo da qualidade.

Modelos para erro total da pesquisa

Quatro princpios guiam o planejamento, implementao, avaliao e anlise de pesquisas. importante:
Considerar todas as fontes de erro conhecidas; Monitorar as principais fontes de erro durante a implementao; Avaliar periodicamente as principais fontes de erro e combinaes destas aps concluir a pesquisa; e Estudar os efeitos dos erros nas anlises da pesquisa.

Erros em pesquisas
Erro de Estimativas Erro = Estimativa - Valor Verdadeiro
Erro total

Erro no amostral

Erro amostral

Sistemtico

Varivel

Fonte: United Nations (2005).

Modelos para erro total da pesquisa

Preciso (varincia pequena) Exatido (ausncia de vis / vcio)

o o o o oo oo oo oo o ooo o oo oo o oo ooo o o oo o o o oo oo o o ooo o o o o o o o o o o o o o o o o o o o o o o o o o

Exato e preciso

Exato, mas impreciso

o o o o o o o o o o o o o

o ooo o o oo o ooo o o o o oo o ooo o oo o

o o o

o o o o o o

o o

Preciso, mas viciado

Impreciso e viciado

11

Modelos para erro total da pesquisa

Ponto forte:
Pesquisa pode ser planejada controlando principais fontes de erros.

Ponto fraco:
Avaliaes do erro total da pesquisa so geralmente incompletas, pois no vivel considerar efeitos de todas as fontes de erros.

Erro amostral
Mais fcil de controlar. Vcio (erro sistemtico) pode ser evitado usar mtodos de amostragem probabilstica. Plano amostral, tamanho da amostra e estimador definidos para tornar erro amostral varivel to pequeno quanto seja necessrio. Algumas vezes, foco exclusivo no controle do erro amostral em vez do erro total pode ser problema.
Ex. Amostras grandes demais.

Erro no amostral
Duas classes amplas de erros no amostrais. Erros devidos no observao:
Cobertura (cadastro, populao); No resposta (amostra).

Erros nas observaes:

Especificao; Medida; Processamento e estimao.

Erro de cobertura
Falha em cobrir a populao de pesquisa. Problemas comuns: Omisso de unidades; Invaso e/ou duplicao de unidades; Inveno de unidades.

15

Erro de cobertura
Estratgias para reduo e controle:
Cadastro completo e atualizado; Fronteiras facilmente reconhecveis e estveis, no caso de subdivises do territrio; Procedimentos de listagem adequados e bem testados; Treinamento e superviso de entrevistadores; Pesquisas e estudos de avaliao de cobertura.
16

No resposta
Respostas / medidas no disponveis para algumas unidades da amostra selecionada, por motivos de:
Impossibilidade de contato com a unidade; Impossibilidade de obter a informao (doena, dificuldades de idioma, etc.) Recusa de fornecer a informao; Unidade errada coletada; Questionrio perdido; Resposta ilegvel; Resposta inaceitvel (ex. valor invlido).
17

No resposta
Estratgias para reduo e controle:
Medidas para garantir contato com e cooperao de respondentes; Treinamento e superviso de entrevistadores; Esforo de converso de no respondentes; Sub-amostra de no respondentes; Reponderao para no resposta de unidades perdidas; Imputao:
Para no resposta parcial (itens); Para unidades perdidas.
18

Erro de especificao
Ocorre quando se solicita informao que no a de interesse para anlises. Ex. Pergunta sobre rendimento efetivamente recebido do trabalho principal obtm rendimento lquido incluindo extras, quando interesse era no rendimento contratual bruto Discusso exaustiva de conceitos e testagem exaustiva de questionrios para evitar ocorrncia.
19

Erro de resposta / medida

Obteno de respostas ou medidas incorretas, motivadas por:
Compreenso incorreta de conceitos ou perguntas; Respondente no sabe a resposta para a pergunta; Informao de terceiros; Problemas de memria ou cansao; Inveno, exagero, atenuao; Erro de anotao / transcrio.
20

Erro de resposta / medida

Estratgias para reduo e controle:
Testagem prvia exaustiva dos questionrios; Escolha do respondente adequado para pesquisa; Treinamento e superviso de entrevistadores; Monitoramento das operaes de pesquisa; Subamostra usando explorao detalhada (pesquisa de avaliao); Crtica e imputao; Modelos para compensar erros de medida nas anlises.
21

Erro de captura ou transcrio de dados

Ocorre quando a resposta / medida disponvel para anlise no corresponde ao valor verdadeiro coletado. Depende muito do modo e tecnologia usados para coleta:
Modo Tecnologia Papel Telefone Computador Web Auto preenchimento PASI CATSI CASI CAWSI Entrevistador PAPI CATI CAPI -

22

Erro de captura ou transcrio de dados Estratgias para reduo e controle:

Perguntas fechadas; Questionrios com espaos adequados para respostas legveis; Instrues de preenchimento simples e claras; Modo e tecnologia de coleta adequados ao objeto, contexto e cultura dos respondentes; Treinamento e superviso de entrevistadores e demais operadores; Validao interativa de respostas (validade, fluxo de respostas, coerncia, etc.).
23

Erro de apurao
Dado final difere do capturado/coletado por motivo de: Informao perdida durante processamento; Informao descartada indevidamente; Imputao indevida; Dado corrompido em arquivo digital.

24

Erro de apurao
Estratgias para reduo e controle:
Planejar e executar sistemas de cpias de segurana, verificaes e controles em todos os estgios da pesquisa; Usar metodologias e sistemas slidos e testados para deteco de erros e imputao dos dados; Usar regras e procedimentos claros, coerentes e pouco invasivos de crtica e imputao; Avaliao sistemtica dos processos de apurao.

25

Gerenciamento de processos e da qualidade em pesquisas

Complexo e intensivo em mo de obra qualificada. Precisa ser planejado, implementado e constantemente monitorado e ajustado. Hiptese central: Qualidade do produto depende da qualidade do processo que depende da qualidade da organizao.

Gesto da qualidade - princpios bsicos

Compromisso de todo pessoal da organizao. Organizao orientada qualidade. Gerenciamento de qualidade dos processos. Foco no atendimento aos usurios / clientes. Melhoramento contnuo da qualidade. Documentao e transparncia.

27

Processo de pesquisa modelo (UNECE)

Gerenciamento da Qualidade / Metadados / Paradados
Fases Especificar necessidades Planejar Sub-processos
Definir inform ao requerida Especificar 'outputs' ou resum os Consultar e confirm ar dem anda Descrev er v ariv eis Estabelecer resultados requeridos Identificar conceitos Verificar Preparar disponibilidade term o de de dados referncia Definir m todo e plano de crtica e apurao Testar sistem as estatsticos Planejar sistem as e fluxo da apurao Finalizar sistem as de produo Calcular pesos Calcular Finalizar estim ativ as arquiv os de dados Planejar m odo Cadastro e e tecnologia de plano coleta am ostral

Construir Coletar Processar

Elaborar Configurar instrum ento fluxo de de coleta trabalho Selecioanr am ostra Integrar / organizar dados Preparar coleta Classificar e codificar

Elaborar com ponentes dos sistem as Executar coleta Criticar e v alidar dados

Testar sistem as de produo Finalizar coleta Im putar dados faltantes / rejeitados Aplicar controle de sigilo

Deriv ar v ariv eis e unidades de anlise Finalizar outputs

Analisar

Preparar Validar rascunho dos outputs outputs

Analisar e explicar

Disseminar

Atualizar Produzir Gerenciar Prom ov er Gerenciar sistem as de produtos de div ulgao dos produtos de suporte a dissem inao dissem inao produtos de dissem inao usurios dissem inao

Arquivar

Definir regras de arquiv o

Gerenciar repositrio

Preserv ar dados e m etadados associados

Descartar dados e m etadados conf. Plano

Avaliar

Coletar material para av aliao

Conduzir av aliao

Estabelecer plano de ao / melhoria

Fonte: Vale(2009).

Qualidade de pesquisas: planejamento e anlise

Nveis de qualidade do processo e da organizao podem ser controlados e avaliados mediante:
Acordos de nvel de servio; Pesquisas de satisfao de clientes; Anlises dos paradados coletados usando controle estatstico de processo; e Avaliaes organizacionais usando modelos de excelncia de negcios, balanced score card, ou outros instrumentos.

Ingredientes da qualidade de pesquisas Modelo EFQM(1999) lista nove:

Liderana; Estratgia; Pessoas; Parcerias e recursos; Metodologia e processos; Produtos e servios; Resultados para clientes; Resultados para pessoas; Resultados para societade; e Resultados principais.

Qualidade de pesquisas: melhoria contnua

Nveis de qualidade podem ser melhorados atravs de projetos de melhoria escolhidos com base em funes de priorizao. Objetivo dos projetos de melhoria que processos desenvolvidos atinjam estado de serem livres de erros. Objetivo pode no ser alcanvel, mas o ideal a ser perseguido.

Viso de Lyberg (2012) sobre qualidade em pesquisas

No realista aspirar por medies contnuas do erro total usando EQM. Em vez disso, pode-se aspirar por melhorias contnuas da qualidade usando ideias da cincia da administrao e mtodos estatsticos que minimizem vcios e outros problemas de processos, de modo que varincia seja boa aproximao para EQM. Se isto puder ser alcanado, ento conseguimos fazer as duas abordagens / trajetrias convergirem.

Comunicao da qualidade da pesquisa

Metadados so elemento crucial para comunicar qualidade da pesquisa. Devem descrever todos os aspectos do processo de pesquisa, incluindo quaisquer medidas disponveis dos erros de vrias fontes e tipos. Exemplos (incluindo paradados):
Estimativas dos erros padro amostrais; Taxas de cobertura e de no resposta; Taxas de deteco e imputao; Etc.

Relatrio padro para pesquisas

Caractersticas do Processo Nome do Processo Descrio do Processo Cobertura ou Abrangncia Periodicidade Nvel de Estimao Tipo de Processo Descrio da Populao Objetivo Unidade de Informao Tcnica de Investigao Coleta de Dados Principais Variveis Qualidade do Produto Relevncia Erros amostrais Erros no amostrais Oportunidade Pontualidade Acessibilidade Transparncia do produto Comparabilidade Coerncia Exaustividade Qualidade do Processo Cadastro e coleta de dados Reviso manual Codificao manual Entrada de dados Codificao automtica Crtica e imputao Elaborao ou preparao Perodo ou durao Custos

34

Referncias
European Foundation for Quality Management (1999). The EFQM Excellence Model. Van Haren. International Monetary Fund. 2012. Data Quality Assessment Framework - Generic Framework. Lyberg, Lars. 2012. Survey Quality. Survey Methodology 38 (2): 107130. OFFICE OF MANAGEMENT AND BUDGET. 2006. Standards and Guidelines for Statistical Surveys. Federal Register. Washington, DC. Statistics Canada (2009). Statistics Canada Quality Guidelines, fifth edition. Ottawa, Canada: Statistics Canada.

Referncias
STATISTICS DIRECTORATE, OECD. 2012. Quality Framework and Guidelines for OECD Statistical Activities. United Nations. 2005. Household Sample Surveys in Developing and Transition Countries. Ed. Department of Economic and Social Affairs. Studies in Methods. Vol. F No. 96. New York: United Nations. United Nations. 2005. Designing Household Survey Samples: Practical Guidelines. Ed. Statistics Division Department of Economic and Social Affairs. Studies in Methods. Vol. F No. 98. New York: United Nations Statistics Division. Vale, Steven. 2009. Generic Statistical Business Process Model. Weisman, Ethan, Zdravko Balyozov, and Louis Venter. 2010. IMF s Data Quality Assessment Framework 1.