Validação de Sistema

CIE
Analítico
AULA 1
Sumário
1. Histórico
2. Conceitos
3. Objetivos
4. Planejamento
5. Cálculos
6. Funcionamento do CIQ e CEQ
7. Exercícios
CIE
Contexto

Métodos quantitativos Métodos qualitativos

Próprios ou comerciais; Próprios ou comerciais

Ferramentas estatísticas/matemáticas Dados nominais, semiquantitativos e
Critérios bem definidos interpretativos
CIE
Contexto

Métodos quantitativos
É possível a medição;
Faixa de clínica delimitada

Características como:
Linearidade
Precisão e exatidão

Próprios ou comerciais;
Ferramentas estatísticas/matemáticas
Critérios bem definidos
CIE
Métodos Quantitativos

A legislação americana e brasileira: verificar o desempenho dos ensaios segundo os

parâmetros abaixo.
•Calibração - Exatidão, especificidade;
•Sensibilidade analítica - Limite de Detecção e quantificação;
•Precisão;
•Linearidade;
•Carreamento;
•Recuperação;
•Robustez;
•Estabilidade de amostra (novos ensaios);
•Interferências;
•Intervalo de normalidade (verificação de valores de referência) – Aula 4;
CIE
Métodos Quantitativos

Especificidade,
exatidão - calibração

Inmetro DOQ-CGCRE-
008
CIE
Métodos Quantitativos

Premissas
•A calibração relaciona-se à exatidão;
(Estudo da exatidão)

•Início do estudo de validação com calibradores de valores conhecidos;

CALIBRAÇÃO

•triplicata e ordem aleatória;

•Define a relação de concentração resposta do sistema;
•Pontos próximos ao Limite inferior e superior (desvio de no máximo 20%) e outros
pontos (desvio de no máximo 15%);
•Pode ser aceito dois pontos de seis extrapolem tais limites, exceto extremos.
CIE
Métodos Quantitativos – Calibração
O que esperar
•Relação linear: Equação da reta y = mx + n.
•Relação não linear (em análises eletroquímicas, íons seletivos ou com o uso de bio-sensores):
Regressão linear
•Coeficientes linear e angular, intercepto da reta e (r e r2) deve ser igual ou superior a 0,98.
CIE
Métodos Quantitativos – Calibração
(Estudo da exatidão)
CALIBRAÇÃO
CIE
Métodos Quantitativos – Limite de detecção
Conceitos e Sinônimos
Com base na calibração é possível também definir o limite de detecção (LD) que corresponde à
menor quantidade do analito que pode ser detectada de maneira confiável e distinta da
concentração zero. Sinônimo de sensibilidade.
Como definir?
Se a relação for linear y = mx + n.
Uma forma de estimá-lo baseia-se no coeficiente angular da reta de calibração (m – inclinação da
reta) e no desvio-padrão da leitura do branco (DP), obtido a partir de 10 replicatas, pelas
fórmulas LD = 3DP/m.
CIE
Métodos Quantitativos – Limite de detecção
CIE
Métodos Quantitativos – Limite de detecção
CIE
Métodos Quantitativos – Limite de quantificação
Conceitos e Sinônimos
Com base na calibração é possível também definir o limite de quantificação (LQ) que corresponde
a menor quantidade do analito em uma amostra que pode ser determinada com precisão e
exatidão aceitáveis.
Como definir?
limite de quantificação (LQ) = (10 x DP)/inclinação da curva calibração (m)
•DP do intercepto de ≥ 3 curvas de calibração na faixa próxima do LD ou
•Média e DP de ≥ 20 réplicas (branco+matriz).
Lembrar que a inclinação é o m na função: y = mx + n
CIE
Métodos Quantitativos – Limite de quantificação
CIE
Métodos Quantitativos – Precisão
Efeito matriz
Se não houver → material de controle Estudo para verificar o
efeito matriz
Se houver → amostra de paciente

Processo completo (segundo CLSI)

Precisão interensaio (simples);
3 etapas
Precisão preliminar;
Precisão intra e interensaio (completa) segundo EP05-A2;
Precisão intra e interensaio (completa) segundo EP15-A2;
Precisão entre sistemas analíticos.
CIE
Métodos Quantitativos – avaliação do efeito matriz

•Duas condições: Curva com o analito sem a matriz e analito com matriz
•5 (cinco) concentrações diferentes em, no mínimo, triplicata.
•Art. 30: O paralelismo das retas é indicativo de ausência de interferência dos constituintes da
matriz e a sua demonstração deve ser realizada por meio de avaliação estatística adequada.
•Comparar os desvios padrões das curvas (nível de significância de 5%)

Teste T ou F
CIE
Métodos Quantitativos

PRECISÃO INTRAENSAIO (SIMPLES)

ESTUDO DE PRECISÃO

•Dois ou mais níveis de controle (mínimo 20x no mesmo dia);

•Dividir as corridas em duas baterias (40x) para minimizar interferências elétricas e de
temperatura;
•Mesmo equipamento, reagente, lote, operador e um curto espaço de tempo;
•Calcular a média, desvio-padrão, coeficiente de variação e erro aleatório;
•Verificar o erro aleatório (Ea) aceito pela especificação da qualidade.
CIE
Métodos Quantitativos
ESTUDO DE PRECISÃO
CIE
Métodos Quantitativos
Um laboratório deseja estudar a precisão do seu sistema analítico para ferritina sérica,
com insumos, calibradores e controles do mesmo fornecedor.
CV desejado: Abaixo de 7,1%
ESTUDO DE PRECISÃO
CIE
Métodos Quantitativos

PRECISÃO INTRA E INTERENSAIO

ESTUDO DE PRECISÃO

•Precisão intraensaio simples + duplicada de dois níveis em 20 dias de corrida

(interensaio ou reprodutibilidade);
•Pode fazer estudo preliminar (8 amostras de 2 níveis) em duplicada + interensaio;
•Calcular médias, desvios-padrão e coeficientes de variação dos dois estudos;
•Refere-se intralaboratório = precisão total, esta não deve ultrapassar 25% do ETa.
CIE
Métodos Quantitativos

Comparar
ESTUDO DE PRECISÃO

dados do
fabricante

Teste para
determinar se
a diferença é
significativa
CIE
Métodos Quantitativos

MATERIAIS COM BAIXA ESTABILIDADE OU URGÊNCIA NA VALIDAÇÃO

ESTUDO DE PRECISÃO

•estudo em cinco dias, realizando as dosagens em duplicada em dois momentos

diferentes do dia;
•Estudo de dois ou mais níveis, em uma corrida diária em triplicata, durante cinco dias.
CIE
Métodos Quantitativos

PRECISÃO ENTRE SISTEMAS ANALÍTICOS

•Sistema novo em relação ao já utilizado na rotina
ESTUDO DE PRECISÃO

•O teste F para analisa igualdade entre duas variâncias populacionais.

•Análise dos mesmos matérias, mínimo de 20 amostras/controle de diferentes
concentrações e observar outliers;
•F= (maior desvio-padrão)² / (menor desvio-padrão)²;
•Observar valores críticos de F com nível de significância de 5%. (tabela de distribuição
com base nos graus de liberdade);
•Se F calculado é menor que o F crítico, pode-se concluir não haver diferença entre os
sistemas.
CIE
Métodos Quantitativos
ESTUDO DE PRECISÃO

•https://www.youtube.com/
watch?v=055sSD34VQU
CIE
Métodos Quantitativos

Um laboratório deseja validar a precisão de um novo sistema analítico (SA2) frente

ao sistema em uso (SA1). Para isto, selecionou três níveis de controle e os dosou por
cinco dias, em duas corridas diárias com seis replicatas em cada sistema. Calculou as
variâncias de cada controle com n igual a 60.
CIE
Métodos Quantitativos

•Linearidade é a capacidade do método de

ESTUDO DE LINEARIDADE

gerar resultados linearmente, proporcionais

à concentração do analito;
CIE
Métodos Quantitativos

Utilizar cinco valores com dosagens em triplicata, fazendo diluições seriadas.

ESTUDO DE LINEARIDADE
CIE
Métodos Quantitativos

•I. representação gráfica das respostas em função da concentração do analito;

ESTUDO DE LINEARIDADE

•II. gráfico de dispersão dos resíduos, acompanhado de sua avaliação estatística;

RDC 166/17 – art 27

•III. equação da reta de regressão de y em x, estimada pelo método dos mínimos

quadrados;
•IV. avaliação da associação linear entre as variáveis por meio do coeficientes de
correlação (r) e de determinação (r²);
•V. avaliação da significância do coeficiente angular.
CIE
Métodos Quantitativos

•I. representação gráfica das respostas em função da concentração do analito;

ESTUDO DE LINEARIDADE

Diluição 1º resultado 2º resultado 3º resultado Média Valor esperado

RDC 166/17 – art 27

1 0,0 0,0 0,0 0,0 0,0

2 7,2 7,0 7,1 7,1 7,2
3 14,1 14,0 14,1 14,0 14,3
4 22,7 23,2 23,0 22,9 21,5
5 31,8 31,3 31,6 31,6 28,6

Gráfico de dispersão no excel

CIE
Métodos Quantitativos

•I. representação gráfica das respostas em função da concentração do analito;

ESTUDO DE LINEARIDADE
RDC 166/17 – art 27
CIE
Métodos Quantitativos

•II. gráfico de dispersão dos resíduos, acompanhado de sua avaliação estatística;

ESTUDO DE LINEARIDADE

https://www.youtube.com/watch?v=hKju23kBfNM (como fazer no excel)

RDC 166/17 – art 27

https://www.youtube.com/watch?v=-gN3ohYHo0E (como analisar)

CIE
Métodos Quantitativos

•III. equação da reta de regressão de y em x, estimada pelo método dos mínimos →

ESTUDO DE LINEARIDADE

quadrados regressão linear (excel);

•IV. avaliação da associação linear entre as variáveis por meio do coeficientes de
RDC 166/17 – art 27

correlação (r) e de determinação (r²);

Maior que 0,99 e coeficiente angular diferente de zero
CIE
Métodos Quantitativos

•V. avaliação da significância do coeficiente angular

ESTUDO DE LINEARIDADE
RDC 166/17 – art 27

Utilizar nível de significância de 5% (teste para verificar se as

diferenças entre os dados estão distribuídas de forma homogenia)
Teste de Cochran
CIE
Métodos Quantitativos
Para entender melhor:
ESTUDO DE LINEARIDADE

https://cromvallab.com/2019/07/15/testes-estatisticos-aplicados-na-validacao-de-metod
os-rdc-166-2017/
(Entendendo a homoscedasticidade)
https://www.youtube.com/watch?v=N0gwclSsr-E (teste de Cochran)
Premissas:
• § 1º A homocedasticidade dos dados deve ser investigada para a utilização do modelo
adequado.
• § 2º Nos testes estatísticos, deve ser utilizado um nível de significância de 5% (cinco por
cento).
• § 3º O coeficiente de correlação deve estar acima de 0,990.
• § 4º O coeficiente angular deve ser significativamente diferente de zero.
CIE
Métodos Quantitativos

•Definir um prazo adequado para a realização do exame e o prazo máximo para sua
ESTUDO DE ESTABILIDADE

repetição;
•Três amostras ou pool (se a matriz não for soro) abrangendo valores (baixo, médio e
alto);
•As amostras devem ser dosadas em duplicata em períodos de 7, 30, 60 e 90 dias;
•Avaliar as amostras estocadas em temperatura ambiente (22ºC a 26ºC), geladeira
(2ºC a 8ºC) e câmara fria (-20ºC);
•Conhecimento prévio do analito → adaptação do protocolo;
•Dosagens diárias por cinco dias em duplicata apenas à temperatura ambiente e de
geladeira.
CIE
Métodos Quantitativos

•Como avaliar?
ESTUDO DE ESTABILIDADE

•% de variação definida com base na experiência, com foco no impacto para a

interpretação médica;
•Estudo de precisão → base para definição do limite;
•Imprecisão do laboratório, quando adotada, significa que não é aceito nenhum nível
de variação da amostra (a variação aceita se restringe à variação do processo).
CIE
Métodos Quantitativos
ESTUDO DE ESTABILIDADE
CIE
Métodos Quantitativos
ESTUDO DE ESTABILIDADE
CIE
Métodos Quantitativos
ESTUDO DE RECUPERAÇÃO

•Recuperação é a capacidade de um método analítico medir um analito corretamente,

quando uma quantidade conhecida de analito é adicionada à amostra;
•A amostra sem o analito deve ser dividida em três partes e a cada uma deve-se
adicionar o analito (pode ser amostra com valor conhecido, calibrador ou padrão)
com valores alto, médio e baixo. As três amostras finais devem ser analisadas com
cinco repetições;
•% Recuperação = [(valor obtido- valor esperado)/valor esperado] x100;
•o valor esperado (cálculo de concentrações e diluições);
•São considerados valores de recuperação aceitáveis níveis próximos a 100%,
podendo variar de 80 a 120% .
CIE
Métodos Quantitativos
ESTUDO DE RECUPERAÇÃO
CIE
Métodos Quantitativos
ESTUDO DE CARREAMENTO

Alguns analisadores existe a possibilidade de haver o carreamento (carryover) de

reagente/ amostra, que pode contaminar o;
Tecnologia para evitar: materiais especiais na composição de probes, troca de
ponteiras entre as pipetagens seriadas ou incorporação de estações de lavagens para
a probe de amostras.
O fornecedor do equipamento deve verificar periodicamente;
CIE
Métodos Quantitativos
ESTUDO DE CARREAMENTO

São preparadas para o teste 11 alíquotas de uma amostra com concentração de valor
conhecido baixo (B) e 10 alíquotas de uma amostra com valor conhecido alto (A),
estas amostras são analisadas sequencialmente:

Calculam-se as médias e o desvio padrão das concentrações (B-B) e das amostras

baixas após amostra alta (A-B).
O carreamento é obtido pela da diferença entre as médias de B-B e A-B.
Como critério de aceitação adota-se um carreamento de até três desvios padrões das
leituras B-B.
 CIE
ESTUDO DE CARREAMENTO
CIE
Métodos Quantitativos
ESTUDO DE CARREAMENTO
CIE
Métodos Quantitativos

Robustez é a capacidade de método em resistir a pequenas e deliberadas variações

nas condições analíticas como: condições ambientais, fator humano, variações entre
ESTUDO DE ROBUSTEZ

lotes de reagentes ou materiais empregados.

Na rotina, esta propriedade do processo deve ser monitorada por controles internos,
preferencialmente com análise estatística e gráficos de controle.
Na validação, o estudo de precisão e exatidão
Um método robusto tem a habilidade de fornecer resultados inalterados quando
sujeito a pequenas mudanças.
CIE
Métodos Quantitativos
CIE
Métodos Quantitativos

Variações que podem influenciar

ESTUDO DE ROBUSTEZ

fase pré-analítica: transporte do material (temperatura, tempo, luminosidade, umidade),

métodos de coleta (punção venosa, arterial, gota de sangue), tipos de anticoagulantes.
fase analítica: tempo de extração, diluição, reconstituição, rotação de centrifugação,
inclinação, rampa, luminosidade/temperatura/umidade durante a extração, temperatura
durante o acondicionamento.

Não é exigido (exceção aos métodos da tabela), porém é interessante verificar pontos
sensíveis.
CIE
Métodos Quantitativos
ESTUDO DOS INTERFERENTES

Os interferentes são substâncias, de origem endógena ou exógena, que podem

potencialmente interferir em procedimentos de medida.
A interferência pode ocorrer em qualquer uma das três fases do exame.
A lipemia, a hemólise e a icterícia são interferentes comuns a muitos sistemas
analíticos.
Determinar, conforme bula, o nível aceito.

Avaliar efeito matriz ≠ interferentes

CIE
Métodos Qualitativos

Ordinal e nominal Métodos qualitativos

Próprios ou comerciais
CLSI EP12 A2 / ISO
15189:2012
CIE
Métodos Qualitativos

Inmetro DOQ-CGCRE-
008
CIE
Métodos Qualitativos

O que Validar:
•Estudos de precisão (repetibilidade, reprodutibilidade);
•Acurácia (exatidão);
•Comparação de métodos;
•Verificação do valor de cut-off (Limite de decisão clínica) – intervalo de referência;
 Entendendo alguns conceitos
Seletividade e especificidade: geralmente se tem antagonismo

Encontrar o
positivo
Encontrar o
negativo
Entendendo alguns conceitos
Valor Preditivo
 Métodos Qualitativos

Repetibilidade
ESTUDO DA PRECISÃO

•Mesma amostra (níveis diferentes), mesma condições, curto período, mesmo operador,
mesmo equipamento;
•Mínimo de 20 repetições;
Reprodutibilidade
•Mesma amostra (níveis diferentes*) a depender da estabilidade, condições diversas,
operadores diferentes, diferentes dias, equipamentos diferentes (se houver);
•Mínimo 10 dias em duplicata;
 Métodos Qualitativos

Critérios de aceitação
ESTUDO DA PRECISÃO

•≥ 90% de concordância
•Baseados em critérios clínicos
PH: pode variar -1 ou +1;
Leucócitos: pode variar +
Hemoglobina: pode variar ++
 Métodos Qualitativos

Repetibilidade – amostra negativa

ESTUDO DA PRECISÃO

Amostra Dens pH Leu Nit Pro Glic Cet Sg Uro Bil

Amostra 1 1.010 6.0 neg neg neg neg neg neg neg neg
Amostra 2 1.015 6.0 neg neg neg neg neg neg neg neg
Amostra 3 1.010 6.0 neg neg neg neg neg neg neg neg
... 1.010 6.0 neg neg neg neg neg neg neg neg
Amostra 20 1.010 6.0 neg neg neg neg neg neg neg neg
Comparação 20/20 20/20 20/20 20/20 20/20 20/20 20/20 20/20 20/20 20/20
 Métodos Qualitativos

Repetibilidade – amostra alterada

ESTUDO DA PRECISÃO

Amostra Dens pH Leu Nit Pro Glic Cet Sg Uro Bil

Amostra 1 1.015 5 Neg neg 3+ 2+ 4+ 5+ neg neg
Amostra 2 1.015 5,5 1+ neg 3+ 3+ 4+ 4+ neg neg
Amostra 3 1.015 5 1+ neg 3+ 3+ 3+ 5+ neg neg
... 1.015 5 1+ neg 3+ 3+ 3+ 5+ neg neg
Amostra 20 1.015 5 1+ neg 3+ 3+ 3+ 5+ neg neg
Comparação 20/20 19/20 19/20 20/20 20/20 19/20 20/20 20/20 20/20 20/20
 Métodos Qualitativos
Sensibilidade e especificidade
ESTUDO DA PRECISÃO
 Métodos Qualitativos
Como descobrir falsos positivos e negativos?
•Precisão analítica
ESTUDO DA PRECISÃO

1. Comparação com metodologia “ouro”;

2. É aceitável em comparação interlaboratorial;
3. Testes críticos para decisão clínica (proteína e glicose na urina, BHCG, screning de drogas);

•Precisão diagnóstica
1. Comparação com diagnóstico clinico;
2. Patologias conhecidas
 Métodos Qualitativos
Proteína urinária
ESTUDO DA PRECISÃO
 Métodos Qualitativos
ESTUDO DA PRECISÃO

20 amostras
1 falso positivo (FP);
3 falso negativos (FN);
11 Verdadeiros positivos (TP);
5 verdadeiros negativos (TN)
 Métodos Qualitativos

20 amostras
1 falso positivo (FP);
ESTUDO DA PRECISÃO

3 falso negativos (FN);

11 Verdadeiros positivos (TP);
5 verdadeiros negativos (TN)
 Métodos Qualitativos
ESTUDO DA PRECISÃO
 Métodos Qualitativos
Reprodutibilidade
•Mínimo de 10 dias;
ESTUDO DA PRECISÃO

• Mínimo de 10 amostras por categoria;

 Métodos Qualitativos
Como avaliar os resultados?
•Coeficiente kappa (k)
ESTUDO DA PRECISÃO

•Pode ser feita entre avaliadores ou intra-avaliador;

•Recomendado com >10 amostras por categoria;

•Epidemiologia | Como calcular o coeficiente Kappa de um teste diagnóstico (parte 1) (youtube.c

om)
•Epidemiologia | Como calcular o coeficiente Kappa de um teste diagnóstico (parte 2) (youtube.c
om)
Métodos Qualitativos
Como avaliar os resultados?
•Coeficiente kappa (k)
 Métodos Qualitativos
VALIDAÇÃO DO VALOR DE

Conceito:
O ponto de corte — ou cut off — de
CUT-OFF

determinado teste nada mais é que um

valor numérico pelo qual se pode definir
um resultado como positivo, negativo ou,
ainda, como duvidoso/indeterminado.
 Métodos Qualitativos
Como avaliar?
VALIDAÇÃO DO VALOR DE

Considerando um teste como +/-

1. Amostras no valor de cut-off

CUT-OFF

2. Amostras 20% acima do valor cut-off (+20%) 95% de

concordância das
3. Amostras 20% abaixo do valor cut-off (-20%) medidas

Ideal: 20 repetições por categoria

 Métodos Qualitativos
Como avaliar?
VALIDAÇÃO DO VALOR DE

Cut–off value = 50 ng/mL

•-20% (abaixo do cut-off)= 40 ng/mL
•+20% (acima do cut-off) = 60 ng/mL
CUT-OFF

•Resultado
•19/20 (95%) Amostras – negativas em 40 ng/mL
•19/20 (95%) Amostras – positivas em 60 ng/mL

Na faixa de concentração 40 – 60 ng/ml os resultados são confiáveis