Ferramenta de Avaliação de Rotina

da Qualidade de Dados
(ARQD)
MEASURE Evaluation
 Evolução da ferramenta ARQD

 Ferramenta de Auditoria de Qualidade de Dados criada pelo

Projeto do Fundo Global, MEASURE Evaluation, outros parceiros
 Objetivo de avaliar a qualidade de dados para financiamentos
baseados em desempenho
 Utiliza a metodologia GAVI DQA(AQD) para avaliar a exatidão de
dados de cobertura de imunização
 Técnica de Amostragem por Conglomerados
 Estimativa de qualidade de dados a nível nacional
 Dois componentes: 1) Verificação de dados
2) Avaliação do sistema
 Programas/projetos expressaram a necessidade de uma
ferramenta para utilizar como auto-avaliação, capacitação e
preparação para auditorias externas
 AVALIAÇÃO DA
QUALIDADE DE DADOS

FERRAMENTA DE FERRAMENTA DE
AUDITORIA DA AVALIAÇÃO DE ROTINA
QUALIDADE DE DADOS DA QUALIDADE DE
(AQD) DADOS (ARQD)
Utilização das versões de Auditoria e Auto-Avaliação/Rotina

Versão Auditoria… Versão Auto-Avaliação...

 Avaliação pela agência  Simplificada, com base na versão

financiadora de auditoria

 Método padrão para  Utilização flexível pelo programa,

implementação equipa de IE (Informação
Estratégica) para monitorar e
 Realizada pela equipa de supervisionar ou em preparação
auditoria externa para uma auditoria externa

 Limitada participação do  Auto-avaliação, pelo programa, do

Programa/Projeto nas seu próprio sistema de M&A
recomendações feitas
 O programa elabora e implementa o
seu próprio plano de ação

 A equipa de IE pode monitorar a

qualidade dos dados entre os
parceiros num país
 Objectivos da ARQD

OBJETIVOS:

• VERIFICAR rapidamente 1) a qualidade dos dados divulgados em

referência aos indicadores chave nos centros selecionados; e 2) a
capacidade dos sistemas de gestão de dados para recolher, gerir e
divulgar dados de qualidade.

• IMPLEMENTAR medidas através de planos de ação adequados para

reforçar o sistema de gestão e divulgação de dados e melhorar a
qualidade dos dados.

• MONITORAR o melhoramento da capacidade e do desempenho do

sistema de gestão e divulgação de dados, para produzir dados de
qualidade.
 Modelo Conceitual de ARQD

Dimensões da Qualidade (Anexo 1, Quadro 1)

Dados de Qualidade Exatidão,
Exactidão,Totalidade,
Totalidade,Fiabilidade,
Fiabilidade,
Pontualidade,
Pontualidade,
Confidencialidade, Precisão, Integridade

Componentes Funcionais Necessários de um Sistema de Gestão

de Dados para Assegurar a Qualidade dos Dados
(Anexo 1, Quadro 2)
Sistema de Relatórios I Capacidades, Funções e Responsabilidades de M&A
NÍVEIS DE RELATÓRIOS

Unidade de M&A
Gestão de Dados e

II Formação

III Requisitos de Divulgação dos Dados

IV Definições de Indicadores
Níveis Intermediários de Agregação
(Ex: Distritos, Regiões) V Fomulários/Ferramentas para Recolha e Divulgação dos Dados
VI Processos de Gestão de Dados

VII Mecanismos e controlos da Qualidade dos Dados

Pontos de Serviço
VIII Ligações com o sistema nacional de relatórios
 Funções da ARQD

A ARQD foi concebida para ter flexibilidade em sua utilização e

pode desempenhar várias funções:
 Verificações de rotina da qualidade de dados como parte de
uma supervisão contínua de apoio
 Avaliações iniciais e de seguimento dos sistemas de gestão e
divulgação de dados – medição das melhorias de desempenho
no decorrer do tempo:
 Fortalecimento da capacidade técnica dos profissionais do
programa em gestão e divulgação de dados:
 Preparação para uma auditoria formal da qualidade de dados·
 Avaliações externas realizadas por parceiros, outros
intervenientes
 Etapas de implementação

Normalmente, a ARQD pode ser implementada em seis

etapas:
 Identificar o objetivo da ARQD
 Selecionar os níveis e centros a serem incluídos
 Identificar indicadores, fontes de dados e período
dos relatórios.
 Realizar visitas aos pontos de prestação de serviço /
centros.
 Examinar os resultados e as conclusões.
 Elaborar um plano de reforço do sistema, incluindo
medidas de seguimento.
 Cronologia e etapas da ARQD

FASE 1 FASE 2 FASE 3 FASE 4

PREPARAÇÃO IMPLEMENTAÇÃO PLANO DE AÇÃO SEGUIMENTO

1. Definir a 4. Avaliar o 6. Resumir as 7. Implementar

abrangência da sistema de conclusões e as atividades e
AQD gestão de elaborar o realizar o
2. Definir os dados plano de ação seguimento
indicadores, as
fontes de
dados e o 5. Verificar os
período dados
3. Identificar e A implementação é realizada na Unidade de
notificar aos
pontos de
M&A, nos pontos de prestação de serviços e
prestação de nos níveis intermediários de agregação,
serviço dependendo da abrangência da AQD
 Exemplo: Seleção de indicadores

DOENÇA INDICADORES PERÍODO DO RELATÓRIO

1.Número de pacientes a Período de 3 meses Valores

VIH/SIDA
tomar ARV [1-Nov-05 / 31-Jan-06] nacionais

2.O número de casos de TB

com escarro positivo
Período de 3 meses Valores
Tuberculose registados em DOTS, os
[1-Out-04 31-Dez-04] nacionais
quais tenham sido tratados
com êxito

3.Número de mosquiteiros Valores

tratados com insecticida Período de 6 meses divulgados
Malária (MTI) distribuídos (ou seja, [1-Nov-2005 / 30-Abr- para o
o número de cupões 2006] Fundo
resgatados) Global
 Metodologia da ARQD

 Verificação de dados
 Análise de documentação
 Recontagem dos resultados – rastrear e verificar
 Verificações cruzadas – comparar com fontes de
dados alternativos
 Desempenho na divulgação de dados
 Pontualidade, totalidade, disponibilidade (nível
intermediário e superior)
 Avaliação do sistema
 Há elementos de estrutura implementados para
assegurar a qualidade dos dados divulgados?
 Metodologia da ARQD
Componente de verificação de dados

Níveis
Pontos de Intermediários
Unidade de de Agregação
Prestação de
Rastrear e verificar Gestão de
Serviços / (ex., Distrito,
M&A
os dados referentes Organizações Região)
aos indicadores
Rastrear e verificar os resultados divulgados

■ OBJETIVO: Avaliar em escala limitada se os Pontos de Prestação de

Serviços e os Centros Intermediários de Agregação estão a recolher e divulgar
dados de forma precisa e pontual.

■ A etapa de verificação de dados ocorre em dois estágios:

- Verificações aprofundadas nos Pontos de Prestação de Serviços; e
- Verificações de seguimento nos Níveis Intermediários de Agregação
(Distritos, Regiões) e na Unidade de M&A.
 Verificação de dados da ARQD

Unidade de M&A/Nacional

Relatório mensal
ILUSTRAÇÃO
Distrito 1 65
Distrito 2 45
Distrito 3 75
Distrito 4 250
TOTAL 435

Distrito 1 Distrito 2 Distrito 3 Distrito 4

Relatório mensal Relatório mensal Relatório mensal Relatório mensal
CPS 1 45 CPS 3 45 CPS 4 75 CPS 5 50
CPS 2 20 TOTAL 45 TOTAL 75 CPS 6 200
TOTAL 65 TOTAL 250

Centro de Prestação de Centro de Prestação de Centro de Prestação de Centro de Prestação de Centro de Prestação de Centro de Prestação de
Serviços 1 Serviços 2 Serviços 3 Serviços 4 Serviços 5 Serviços 6
Relatório mensal Relatório mensal Relatório mensal Relatório mensal Relatório mensal Relatório mensal
No. ARV 45 No. ARV 20 No. ARV 45 No. ARV 75 No. ARV 50 No. ARV 200

Documento- Documento- Documento- Documento- Documento- Documento-

Fonte 1 Fonte 1 Fonte 1 Fonte 1 Fonte 1 Fonte 1
 Pontos de Prestação de Serviços – Verificação de Dados

PONTO DE PRESTAÇÃO DE SERVIÇOS - TIPOS DE VERIFICAÇÃO DE DADOS

Verificações Descrição -

Verificação no. 1: Examinar se os documentos-fonte de todos os

Em todos
Análise da indicadores estão disponíveis e completos para o
os casos
documentação período do relatório selecionado.

Rastrear e verificar os números divulgados: (1)

Verificação no. 2: Recontar os valores divulgados com base nos
documentos-fonte disponíveis; (2) Comparar os Em todos
Verificação de
valores verificados aos valores divulgados pelo os casos
dados centro; (3) Identificar os motivos de eventuais
diferenças.

Verificação no. 3: Realizar “verificações cruzadas” entre os totais

verificados do relatório e outras fontes de dados Se for
Verificações
(ex. registos de stock, relatórios de laboratório, viável
cruzadas etc.).
Verificação de Dados - ARQD
 Metodologia de ARQD
Componente de Avaliação do Sistema

Níveis
Pontos de Intermediários
Unidade de
Avaliação do Gestão de
Prestação de de Agregação
sistema de gestão e Serviços / (ex., Distrito,
M&A
Organizações Região)
divulgação de
dados
Avaliar o sistema de gestão e divulgação de
dados

■ OBJETIVO: Identificar potenciais riscos à qualidade dos dados criados pelo

sistema de gestão e divulgação de dados em:
- Unidade de Gestão de M&A;
- Pontos de Prestação de Serviços;
- Qualquer Nível Intermediário de Agregação (Distrito ou Região).

■ A ARQD avalia tanto (1) a concepção; como (2) a implementação do sistema de

gestão e divulgação de dados.

■ A avaliação abrange 8 áreas funcionais (RH, Formação, Processos de Gestão de

Dados, etc.)
 Áreas Funcionais de um Sistema de M&A que afetam a qualidade dos dados

QUESTÕES DE AVALIAÇÃO DO SISTEMA POR ÁREA FUNCIONAL

Áreas funcionais Exemplos de Questões

I Capacidades,
funções e Os profissionais de M&A e gestão de dados estão identificados
1
responsabilidades e com suas responsabilidades claramente atribuídas?
de M&A
II Formação A maioria dos principais profissionais de M&A e gestão de
2
dados recebeu formação necessária?
III Requisitos para O Programa/Projeto documentou claramente (por escrito) o que
divulgação de 3 é divulgado e a quem, para além de como e quando a
dados divulgação é necessária?
IV Definições de Há definições de indicadores operacionais que atendam aos
indicadores 4 padrões pertinentes e são seguidas sistematicamente por todos
os pontos de prestação de serviços?
V Formulários / Há formulários padronizados de recolha e divulgação de dados
Ferramentas para 5
que sejam utilizados sistematicamente?
recolha e
divulgação de Os documentos-fonte são mantidos e disponibilizados em
6
dados conformidade com uma política escrita?
 Áreas funcionais de um Sistema de M&A que afetam a qualidade dos dados

VI Processos de
gestão de Há documentação clara das etapas de recolha, agregação
7
dados e manipulação dos dados?

VII Mecanismos e
controlos de Os problemas de qualidade de dados estão identificados e
8
qualidade de há mecanismos para resolvê-los?
dados

Há procedimentos claramente definidos e seguidos para

9
identificar e conciliar discrepâncias nos relatórios?

Há procedimentos claramente definidos e seguidos para a

10
verificação periódica dos dados - fonte?

VIII Ligações com o

Sistema O sistema de recolha e divulgação de dados do
Nacional de 11 Programa/Projeto está ligado ao Sistema Nacional de
Divulgação de Divulgação de Dados?
Dados
 Avaliação do Sistema de ARQD
Parte 2. Avaliação do Sistema

I - Capacidades, Funções e Responsabilidades de M&A

Há técnicos responsáveis especificamente por examinar os valores agregados antes

1 de encaminhá-los ao próximo nível (p.ex., aos distritos, aos gabinetes regionais, à Sim - Completamente
Unidade Central de M&A).

A responsabilidade pelo registo dos serviços prestados em documentos-fonte está

2 Parcialmente Favor Comentar
claramente atribuída a um técnico / profissional pertinente.

II - Formação

Todos os técnicos / profissionais pertinentes receberam formação sobre os

3 Não - Nada Favor Comentar
processos e as ferramentas de gestão de dados.

III - Requisitos para divulgação de dados

A Unidade de M&A deu orientação por escrito aos Pontos de Prestação de Serviços
4 Parcialmente Favor Comentar
sobre os requisitos e os prazos para divulgação de dados.

IV - Formulários e ferramentas de recolha e divulgação de dados

A Unidade de M&A deu instruções claras sobre como preencher os

5 Não - Nada Favor Comentar
formulários/ferramentas de recolha e divulgação de dados.

Os documentos-fonte e os formulários/ferramentas de divulgação de dados

6 especificados pela Unidade de M&A são utilizados com uniformidade pelo Ponto de Sim - Completamente
Prestação de Serviços.

Todos os documentos-fonte e formulários de divulgação de dados pertinentes à

7 medição do(s) indicador(es) estão disponíveis para fins de auditoria (incluindo os Parcialmente Favor Comentar
relatórios impressos e datados, no caso de um sistema informatizado).

Os dados recolhidos no documento-fonte têm exactidão suficiente para medir o(s)

indicador(es) (ou seja, são recolhidos dados relevantes, com distribuição por sexo,
8 Sim - Completamente
faixa etária, etc., quando o indicador especifica a desagregação de acordo com estas
características).
 Resultados da ARQD

1- Solidez do Sistema de M&A, avaliação baseada numa revisão do

sistema de gestão e divulgação de dados do programa/projeto,
incluindo respostas para as questões resumidas gerais sobre a
qualidade da concepção e implementação do sistema;

2- Fatores de verificação gerados no exercício de recontagem de

rastreamento e verificação realizado com os registos primários
e/ou relatórios agregados (ou seja, o razão entre o valor recontado
do indicador e o valor relatado);

3- Relatórios disponíveis, pontuais e completos percentagens

calculadas no Nível Intermediário de Agregação e na Unidade de
M&A;

4- Plano de ação para reforçar o sistema em cada nível avaliado.

 Estatísticas resumidas da ARQD – Painel do Nível Específico

Parte 4: PAINEL: Unidade de M&A

Avaliação da Gestão de Dados - Verificação de Dados e Relatórios -

Unidade de M&A Unidade de M&A

120%
Capacidades, Funções e
Responsabilidades de M&A
3 2.3

100%
100%
Ligações com o Sistema Nacional 2 Formação
2.0 3.0 90% 90%
1 80%
80%

Gestão de dados e controlos de 60%

Definição dos indicadores
qualidade
1.0
1.0

40%

Formulários e ferramentas de
Exigências de divulgação de dados
recolha e divulgação de dados 1.0
2.3 20%

0%
Factor de % disponíveis % pontuais % completos
verificação
 Estatísticas Resumidas de ARQD – Painel Global

Avaliação da Gestão de Dados - Consolidação Global Verificação de Dados e Relatórios - Consolidação Global

100%
90% 95%
Capacidades, Funções e 90% 90%
80%
Responsabilidades de M&A
3 70%
Ligações com o Sistema Nacional 60%
2 Formação
de Divulgação de Dados
1 50%
40%
Processos de gestão de dados e
0 42%
Definição de Indicadores 30%
controlo de qualidade
20%
Formulários e Ferramentas de Requisitos para Divulgação de 10%
recolha e divulgação de dados Dados 0%
% Disponíveis % Pontuais % Completos Factor de
Verificação

DIMENSÕES DA QUALIDADE DE DADOS – Distribuição das respostas à lista de verificação por dimensão
(Nota: O número de respostas está localizado em cada barra colorida)

Exactidão 13 17 21 1

Fiabilidade 12 13 21 1
Sim -
Completamente
Pontualidade 7 8 14 1
Parcialmente

Totalidade 6 7 15 1 Não - Nada

Precisão 10 7 15 0 N/A

Confidencialidade 3 4 3 0

Integridade 3 4 10 1

0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00%
 Resultado da ARQD - Plano de Ação
para Fortalecer o Sistema
Plano de Acção Final da ARQD
País:

Programa/Projecto

Data da ARQD:

Data do seguimento proposto

Necessidades de assistência Data do seguimento e

Descrição do ponto de acção Responsável Prazo
técnica comentários

Acrescente linhas conforme for necessário

 Ilustração – Conclusões sobre os sistemas na Unidade de M&A
(VIH/SIDA)
ILUSTRAÇÃO

NÍVEL DE
DIVULGAÇÃO CONCLUSÕES RECOMENDAÇÕES
DE DADOS
 Não há nenhuma documentação
que especifique as funções e
responsabilidades de gestão de  Desenvolver um manual de gestão de
dados, cronogramas de divulgação dados a ser distribuído para todos os
de dados, formulários níveis de divulgação
padronizados, política de
armazenamento…
 Arquivar sistematicamente todos os
 Incapacidade de verificar os relatórios dos Pontos de Prestação de
Unidade de valores divulgados pela Unidade Serviços
M&A Nacional de M&A em virtude da excessiva
falta de relatórios (dos Pontos de  Elaborar normas sobre como lidar
Prestação de Serviços) (67%) com relatórios em falta ou
incompletos

 A maioria dos relatórios recebidos

 Enfatizar a necessidade de realizar
pela Unidade de M&A não são
uma revisão documentada dos dados
assinados por nenhum funcionário
apresentados – por exemplo, não
ou gestor do Ponto de Prestação
aceitando relatórios não revistos
de Serviços
 NÍVEL DE
DIVULGAÇÃO CONCLUSÕES
DE DADOS
Impossibilidade de acessar aos
Nível
documentos-fonte (ou seja,
Intermediário
relatórios dos Pontos de Prestação
de
de Serviços) referentes a um
Agregação determinado período
Confusão acerca da definição do
que venha a ser um paciente
“perdido para seguimento” (3
meses para o Hospital Temeke; 2
meses para o Hospital Iringa).
Os pontos de prestação de
Pontos de
serviços não removem
prestação de
sistematicamente pacientes
serviços’’ “perdidos para seguimento” das
contagens de pessoas que estão a
receber ART
Nos casos de "centros satélites", o
sistema de divulgação de dados e
os documentos-fonte nem sempre
identificam a localização de um
paciente
RECOMENDAÇÕES
Melhorar o processo de
armazenamento de documentos-fonte,
identificando claramente o
documento-fonte armazenado por
data
A Unidade de M&A deve comunicar
claramente, para todos os pontos de
prestação de serviços, a definição de
um paciente “perdido para
seguimento”
Elaborar um mecanismo para
assegurar que os pacientes “perdidos
para seguimento” sejam removidos
sistematicamente das contagens de
pessoas que estão a receber ART
Elaborar um sistema de codificação
que identifique claramente o local de
tratamento de um paciente, para que
se possa fazer a verificação dos
dados
 Principais fatores de êxito para a qualidade dos dados

1. Sistemas de informação eficientes

2. Definição dos indicadores clara e utilizada com uniformidade em todos os

níveis

3. Descrição das funções e responsabilidades em todos os níveis

4. Cronogramas específicos de divulgação de dados

5. Formulários / ferramentas de recolha e divulgação de dados padronizados /

compatíveis, com instruções claras
6. Procedimentos de revisão de dados documentados, a serem executados em
todos os níveis

7. Procedimentos para resolver problemas de qualidade de dados (dados em

falta, contagem repetida, pacientes perdidos para seguimento…)

8. Política de armazenamento e práticas de preenchimento que permitam a

recuperação de documentos para fins de auditoria
 PREPARAÇÃO:

Finalidade da documentação solicitada

1
Lista de pontos de
prestação de serviços Para ajudar a selecionar os pontos de prestação de
com os resultados mais serviço a serem visitados.
recentes

2
Para compreender como os dados são registados e
Descrição do sistema de
divulgação de dados
divulgados pelos Pontos de Prestação de Serviços
para a Unidade de M&A.

3
Para familiarizar a Equipa de Avaliação com os
Modelos de formulários
formulários e relatórios a serem examinados.

4
Para possibilitar o entendimento da concepção do
Outros documentos
Sistema de Gestão e Divulgação de Dados.
Algumas Experiências com a ARQD
 Nigéria
 Quénia
 Tanzânia
 Costa do Marfim
 Guiana
 Haiti
 Moçambique
Exercício

Em pares analisem os dados dos relatórios e

utilizem a ferramenta ARQD – Parte 1 Verificação
de Dados para o nível intermediário e Unidade de
M&A.
Calcule os índices quanto a:
• Fator de Verificação
• Disponibilidade
• Pontualidade e
• Relatórios Completos
 A MEASURE Evaluation é financiada pela Agência de
Desenvolvimento Internacional dos EUA (USAID) por meio do
Acordo de Cooperação GHA-A-00-08-00003-00 e é implementada
pelo Centro Populacional da Carolina, Universidade da Carolina do
Norte, em parceria com Futures Group, John Snow, Inc., Macro
International Inc., Management Sciences for Health, e Tulane
University.

Visite-nos on-line em http://www.cpc.unc.edu/measure.