Validacin de Mtodos Cualitativos Caso de Aplicacin

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Introduccin
La validacin de mtodos debe llevarse a cabo cada vez

que se incorpore un nuevo mtodo en el laboratorio.

VALIDAR / VERIFICAR EL DESEMPEO DEL MTODO

ASEGURAR LA CALIDAD DE LOS RESULTADOS

Introduccin
En el laboratorio existen mtodos: - Cuantitativos - Semi-cuantitativos - Cualitativos

Introduccin
Existen guas claramente definidas para la

validacin de mtodos cuantitativos.

No existen lineamientos claros para los

mtodos cualitativos y semi-cuantitativos.

Los parmetros de calidad que caracterizan a

los mtodos cualitativos son distintos.

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Definiciones
Mtodos Cualitativos Aseguran la presencia o ausencia de uno o ms analitos en una muestra considerando sus propiedades fsicas, biolgicas o qumicas. Mtodos de anlisis cuya respuesta es la presencia o ausencia de un analito, detectado en forma directa o indirecta en una muestra.
Se emplean para saber si una muestra contiene uno o ms

analitos. Presencia/ausencia con respecto a un nivel de concentracin. Por debajo de ese lmite la concentracin del analito se considera despreciable.

Definiciones
Puede ser necesario un instrumento para la deteccin del

analito o se puede aplicar nicamente los sentidos. tipo de deteccin)

La respuesta de estos mtodos suele ser binaria (ms all del

-SI / NO -POSITIVO / NEGATIVO -REACTIVO / NO REACTIVO

Existen otros tipos de respuesta

-POSITIVO / Zona Gris / NEGATIVO -REACTIVO / Zona Gris / NO REACTIVO

Definiciones
Mtodos Semi-cuantitativos
Se encuentran entre los mtodos cualitativos y

cuantitativos. Ofrecen una cuantificacin somera con una incertidumbre importante. Los resultados se terminan agrupando en clases: - Positivo (+ + +) - Positivo Dbil (+) - Zona Gris (+ / -) - Negativo (-)

Definiciones
Los mtodos cualitativos o semi-cualitativos se emplean como mtodos de screening Mtodos (tests) de Screening
- Separan o discriminan muestras de un grupo ms grande. - Uno o ms analitos por encima o por debajo de un valor

preestablecido. - Este valor preestablecido puede haber sido establecido de distintas formas: 1) Organismo oficial Lmite de Especificacin 2) Control de Calidad Interno Valor de Corte 3) Requerimientos del Cliente

Definiciones
Hay analito por encima de un determinado valor, Xsl?
>Xsl <Xsl ANLISIS CUANTITATIVO

SISTEMA DE SCREENING MUESTRAS NO NO SE ANALIZA

SI

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Clasificacin
Existen distintos criterios de clasificacin.

Clasificacin
Deteccin sensorial

A travs de la vista Ejemplos:?

Deteccin Instrumental

La respuesta instrumental se transforma en respuesta binaria Se trabaja con la respuesta del lmite de especificacin o calor de corte Ejemplos: ?

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Validaciones
Los mtodos cualitativos deben Validarse / Verificarse

VALIDACIN Validation es la confirmacin mediante el exmen y la provisin de una evidencia objetiva de que se han satisfecho unos requisitos particulares para un uso retendido y especfico (1).

(1) Definicin segn la norma ISO 8402 Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

Validaciones
Establecer parmetros de desempeo.

Los mismos que en los mtodos cuantitativos?

Validaciones
Verificar o Validar los parmetros de desempeo Trazabilidad Sensibilidad Especificidad Tasa de Falsos positivos Tasa de falsos negativos Lmite de corte y su incertidumbre Lmite de deteccin

Validaciones
Trazabilidad y Veracidad - Algunas consideraciones 1)- Por lo general no existen CRMs para mtodos cualitativos 2)- El uso de CRMs en mtodos cualitativos es complicado 3)- Comparacin frente a Mtodos de Referencia 4)- Los mtodos de referencia suelen ser mtodos cuantitativos 5)- Participacin en esquemas interlaboratorio

Validaciones
Valor de corte Cut Off
En

un mundo ideal!!!

En

el mundo real!!!

Validaciones
Falso Positivo (FP)

Muestras (+) por el test de screening y (-) por el mtodo de referencia

Falso Negativo (FN)

Muestras (-) por el test de screening y (+) por el mtodo de referencia

Validaciones
Positivo Verdadero (TP)

Muestra (+) por el test de screening y (+) por el mtodo de referencia

Negativo Verdadero (TN)

Muestra (-) por el test de screening y (-) por el mtodo de referencia

Validaciones
Tasa de Falsos Positivos

Probabilidad de que una muestra con valor verdadero negativo d un valor positivo por el test de screening

FP Tasa de FP = FP + TN

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones
Tasa de Falsos Negativos

Probabilidad de que una muestra con valor verdadero positivo d un valor negativo por el test de screening

FN Tasa de FN = FN + TP

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones
Sensibilidad

Capacidad o habilidad de un test de screening de detectar muestras positivas cuando realmente son positivas

TP Sensibilidad = TP + FN

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones
Especificidad

Capacidad o habilidad de un test de screening de detectar muestras negativas cuando realmente son negativas

TN Especificidad = TN + FP

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones
Zona de Incertidumbre

Corresponde a la regin en la cual se obtienen respuestas falsas (falso negativo o falso positivo)

Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de FN Error Alfa: Tasa de FP Menor cantidad de analito que puede ser detectada en una matriz Error: Tipo Beta 5 % Mximo nivel de concentracin permitido Lmite superior de la zona de incertidumbre Sensibilidad 95% Cut Off

Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de FN Error Alfa: Tasa de FP

Si consideramos el caso de mnima concentracin permitida Error Alfa: 5 % Lmite inferior de la Zona de incertidumbre

Validaciones
Cut Off

Nivel de concentracin en el cual el test de screening diferencia las muestras con una probabilidad de error aceptable ( 5 %) Si hablamos de mximo nivel permitido: - Cut Off se relaciona con sensibilidad - Corresponde a la concentracin donde la sensibilidad es del 95 % y el error de tipo Beta (Falso negativo) ha sido fijado al 5 %
Error Beta: Tasa de FN Error Alfa: Tasa de FP

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Evaluacin de Mtodos Cualitativos

Bsicamente existen varias formas de evaluar los

parmetros de desempeo de los mtodos cualitativos

Destacamos cuatro, todas ellas con ventajas y desventajas:

- Tablas de Contingencias - Teorema de Bayes - Test Estadsticos de Hiptesis - Curvas Caractersticas de Desempeo

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia Diferencian las muestras en 2 categoras ( + y -) por el test de screening y establecen una tabla de comparacin con respecto al mtodo de referencia o confirmacin.

Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero N: Nmero total de ensayos

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia
Permiten calcular 4 parmetros de desempeo

- Falsos Positivos
- Falsos Negativos - Sensibilidad - Especificidad
Permiten calcular 2 valores predictivos

- Probabilidad de Resultado positivo (PVP) - Probabilidad de Resultado negativo (PVN)

Validaciones
Probabilidad de Resultado Positivo (PVP)

Probabilidad de que un individuo con un resultado positivo del test tenga una enfermedad o caracterstica, que el test est diseado para detectar

TP PVP = TP + FP
FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Validaciones
Probabilidad de Resultado Negativo (PVN)

Probabilidad de que un individuo con un resultado negativo del test no tenga una enfermedad o caracterstica, que el test est diseado para detectar

TN PVN = TN + FN

FP: Falso Positivo FN: Falso Negativo TP: Positivo Verdadero TN: Negativo Verdadero

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia Desventajas
Asume

que las muestras desconocidas tienen el mismo comportamiento que las que se emplearon en el estudio. capacidad depende del nmero de muestras analizadas. el procesamiento de las muestras por 2 mtodos.

Su

Requiere

Evaluacin de Mtodos Cualitativos

Teorema de Bayes
Calcula la probabilidad de dar un resultado correcto (+ o -)

cuando realmente lo es. Trabaja con probabilidades condicionales. Requiere de muchos anlisis. Terminologa compleja. Muchos clculos (Probabilidades intermedias)

Evaluacin de Mtodos Cualitativos

Test Estadsticos de Hiptesis
Aplica nicamente a test con una respuesta instrumental. Se establece la respuesta a nivel del corte. Se compara la respuesta de la muestra con el valor

previamente establecido de corte. Comparacin a travs de Test de Hiptesis Trabaja con los errores alfa y beta. Permite estimar la incertidumbre o probabilidad de equivocarnos empleando el test de screening.

Evaluacin de Mtodos Cualitativos

Curvas Caractersticas de Desempeo

Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

Evaluacin de Mtodos Cualitativos

Curvas Caractersticas de Desempeo
Probabilidad de tener un resultado positivo en funcin de la concentracin del analito - Permiten calcular los 4 parmetros clsicos - Permiten calcular el lmite de deteccin - Permiten calcular el Cut Off - Permiten calcular la zona de incertidumbre Desventajas - Requieren realizar el ensayo repetidas veces por cada concentracin

Evaluacin de Mtodos Cualitativos

Gua para la Evaluacin de Desempeo de Tests Cualitativos.

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin Recomienda desarrollar experimentos de precisin en concentraciones cercanas al Cut Off.
Intervalo 95 % (C5-C95) C5 Cut Off C50 C95

5 % (+) 95 % ( -)

50 % (+) 50 % ( -)

95 % (+) 5 % ( -)

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin

Establecer la concentracin de Cut Off Establecer que el Cut Off +/- un 20 % est dentro del intervalo del 95%. El Cut Off puede estar en el inserto del reactivo El Cut Off puede ser estimado por repeticiones de diluciones sucesivas de una muestra +. Preparar muestras en las siguientes concentraciones: 1) Cut Off + 20 % 3) Cut Off 2) Cut Off 20 % Repetir las muestras 20 veces

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin

Para cada una de las tres muestras determinar el % de resultados + y-. Verificar los resultados.

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin
Puntos Crticos:

- Muestras - Nmero de muestras - Duracin - Inspeccin de datos - Manejo de datos discordantes - Mtodo de comparacin

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin de Datos de acuerdo al Comparador

Anlisis

El comparador es Criterio de Exactitud Diagnstica

El comparador no es Criterio de Exactitud Diagnstica

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin Si el comparador es Criterio de Exactitud Diagnstica
Se puede estimar:
SENSIBILIDAD ESPECIFICIDAD TASA DE FALSOS POSITIVOS TASA DE FALSOS NEGATIVOS PVP PVN

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin Si el comparador NO es Criterio de Exactitud Diagnstica

Se puede estimar:

Porcentaje de Acuerdo Positivo

Porcentaje de Acuerdo Negativo

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Caso de Aplicacin

Anticuerpos totales para HIV1 y HIV2.

Elecsys HIV combi Modular Analytics E170

Caso de Aplicacin
EL ENSAYO
ECLIA Principio sandwich El Cut Off se calcula a partir de los calibradores: CAL-1 (negativo) y CAL-2 (positivo).
(1)

El resultado se expresa como Cot Off Index.

(2)

Interpretacin de resultados: COI < 0.9 No Reactivo COI > 1 Reactivo COI > 0.9 a < 1 Indeterminado

(1) (2) Fuente

Caso de Aplicacin
Estudios de Precisin Se ensayan los CONTROLES DE CALIDAD INTERNOS durante 20 das. C 1 Negativo (Cut Off Index: 0.237) C2 Positivo (Cut Off index: 9.96) C3 Positivo (Cut Off index: 11.33)

Caso de Aplicacin
Estudios de Precisin CONTROLES DE CALIDAD INTERNOS
SD Claim = CV inserto x Claim Concentration/100

Laboratorio Dr House

INSERTO DEL REACTIVO

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin C5 C95 Se ensayan dos diluciones con valores de COI cercanos al Cut Off. Cmo seleccionamos las diluciones ? Se desarrolla un perfil de precisin cercano al Cut Off.
C5 dil 1/32 C95 dil 1/16

Caso de Aplicacin
Estudios de Precisin C5 C95 Se ensayan las diluciones al menos 20 veces cada una. Se emplean los operadores estadsticos para demostrar que: Ambas poblaciones tienen una distribucin normal. Ambas poblaciones son estadsticamente diferentes del Cut Off (1). Ambas poblaciones son estadsticamente diferentes entre s.

Caso de Aplicacin
Estudios de Precisin C5 0.05

CV= 4.6 %

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C95 0.01

CV= 4.1 %

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95
CV C5= 4.6 % CV C95= 4.1 %

Caso de Aplicacin
Estudios de Comparacin Se estudian dos poblaciones de pacientes:

150 pacientes sanos (no reactivos)

50 pacientes con diagnstico de HIV (Western

blot y clnica)

Caso de Aplicacin
Estudios de Comparacin

EP Evaluator R8

Caso de Aplicacin
Estudios de Comparacin
EP Evaluator R8

Comparar los valores obtenidos con las especificaciones de performance declaradas por el fabricante.

Sensibilidad declarada: 100% Especificidad declarada: 99.63%

Caso de Aplicacin
BUBBLE CHART Falsos Pos.+ Zonas de Acuerdo

Falsos Neg.EP Evaluator R8

Las reas de las circunferencias dependen de la cantidad de muestras

Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES Acuerdo % total de los casos en que los 2 mtodos dan el mismo resultado Acuerdo + % de los casos en que hay acuerdo cuando el mtodo de referencia da +: TP/ (TP+FP) Acuerdo % de los casos en que hay acuerdo cuando el mtodo de referencia da -: TN/ (TN+FN)

Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES Prevalencia: Frecuencia de datos positivos en una poblacin estudiada -Dato experimental -Dato de Bibliografa -Cantidad de datos evaluados

Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD Se estima a travs de resultados de calibraciones y empleando la Ley de Propagacin de Errores. 1) Buscar la ecuacin utilizada para el clculo del Cut Off. 2) Calcular el Cut Off. 3) Estimar el CV del cut Off. 4) Comparar el CV del Cut Off con la zona de no confiabilidad declarada por el fabricante.

Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD

Cut Off Promedio: 23997 RLU S2co = CO x Scal12 + CO x Scal2 Cal1 Cal2
2 2

S co= 1680 RLU CV co = 7.0% < 10% (ZNC)

Evaluacin de Mtodos Cualitativos

Un ejemplo
El comparador no es Criterio de Exactitud Diagnstica

Evaluacin de Mtodos Cualitativos

Evaluacin de Mtodos Cualitativos

Evaluacin de Mtodos Cualitativos

Indica el nivel de acuerdo entre 2 mtodos Puede adoptar valores entre -100% y 100% Un valor de 0% indica ausencia de acuerdo Un valor de 100% indica acuerdo perfecto Es deseable un valor por encima de 75%

Evaluacin de Mtodos Cualitativos

Indica la probabilidad de que los mtodos

sean significativamente diferentes. Si son diferentes indica en qu direccin. Evala simetra entre los dos mtodos.

Agenda
Introduccin Definiciones Clasificacin Validacin Evaluacin de Mtodos Cualitativos Caso de Aplicacin Conclusiones

Conclusiones
Existen cada vez ms mtodos cualitativos. Hay confusin en la nomenclatura. Hay confusin en la clasificacin de mtodos

cualitativos. La validacin de mtodos cualitativos es un tema importante para asegurar la calidad de los resultados que estos mtodos generan. No existe consenso sobre cmo realizar estas validaciones. Los parmetros de desempeo estn bien definidos. Gua de consenso: EP 12-A2 de la CLSi

MUCHAS GRACIAS!