Você está na página 1de 340

Validacin

Bsica
de Mtodo
Edicin
Wallace
Coulter
Entrenamiento en Gestin
de la Calidad Analtica
para Laboratorios Clnicos

James O. Westgard, Ph.D.

Validacin Bsica de Mtodo


EDICIN WALLACE COULTER

James O. Westgard, PhD


con la colaboracin de
Patricia L. Barry, BS, MT (ASCP)
R. Neill Carey, PhD, FACB
Sharon S. Ehrmeyer, PhD
Elsa F. Quam, BS, MT (ASCP)
Sten Westgard, MS

Gabriel A.Migliarino Bioq.

Copyright 1999, 2003, 2008, 2013


7614 Gray Fox Trail, Madison WI 53717
Telfono 608-833-4718 HTTP://WWW.WESTGARD.COM

Biblioteca del Congreso Nmero de control: 2013913408


ISBN 978-1-886958-18-0
Publicado por QC Westgard, Inc.
7614 Gray Fox Trail
Madison, WI 53717
telfono 608-833-4718
Copyright 1999, 2003, 2008, 2013 por QC Westgard, Inc. (WQC). Todos los derechos reservados.
Ninguna parte de esta publicacin puede ser reproducida, almacenada en un sistema de recuperacin,
o transmitida en cualquier forma o por cualquier medio, ya sea electrnico, mecnico, fotocopia, grabacin, o de otra manera, sin el permiso previo por escrito de QC Westgard, Inc. Esta edicin est
financiada por una beca de la Fundacin Wallace Coulter.

Dedicatoria

Wallace Henry Coulter February 17, 1913 - August 7, 1998

Introduccin
Wallace H. Coulter fue un prolfico inventor, un innovador y emprendedor. Aunque algunas personas
pueden no saber su nombre, sus invenciones e ideas han afectado prcticamente a todo el mundo.
El Principio de Coulter (USPTO # 2656508), desarrollado en 1948, es una de sus ms de 80 patentes,
muchas de las cuales fueron invenciones realizados aos ms tarde. El principio de Coulter o "zona de
deteccin electrnica" es un mtodo para el recuento y medicin de las partculas suspendidas en un
fluido. El Principio Coulter trajo grandes avances en ciencia, medicina y en la industria. De hecho,
todava toca la vida de todos hoy, al realizar un anlisis de sangre, para pintar su casa, beber cerveza,
comer chocolate, tragar una pastilla o aplicarse cosmticos. Es fundamental para toners y cermicas, as
como tambin en la exploracin del espacio.
Nacido en Little Rock y criado en McGehee, Arkansas, Wallace era un hombre humilde integro,
impulsado por la filosofa de la ciencia al servicio de la humanidad. Con su hermano Joseph R. Coulter,
Jr., Wallace fund la Corporacin Coulter y lider esta empresa privada global de diagnstico durante
toda su historia de 40 aos. En 1997, Beckman Instruments adquiri la Corporacin Coulter. Cuando
Wallace falleci en agosto de 1998, su patrimonio fund la Fundacin Wallace H. Coulter. La Fundacin
contina su misin trabajando con diecisis universidades lderes de Estados Unidos implementando
procesos de desarrollo de productos usados en la industria medica cuyo propsito es el de acelerar y aumentar el nmero de invenciones e innovaciones desarrolladas en las universidades que se convierten en
productos que benefician pacientes. Cien aos despus de su nacimiento, y ms de una dcada despus
de su muerte, este hroe americano deja atrs el legado de sus logros, as como colegas, socios, amigos
y familiares en todo el mundo que se inspiraron en su influencia y continan con su misin de la ciencia
al servicio de la humanidad.
"Decir poco y lograr mucho demuestra las caractersticas de un gran hombre."
Wallace Coulter
The Owl-1929 High School Yearbook, McGehee, AR

El Hombre
Wallace Coulter creci durante la era de la invencin. Nacido en febrero de 1913, Wallace pas sus
primeros aos en McGehee, Arkansas, un pequeo pueblo cerca de Little Rock. Wallace siempre tuvo
una mente inquisitiva. A los tres aos, qued fascinado con los nmeros y los dispositivos. Cuando se
le ofreci una bicicleta para su undcimo cumpleaos, el solicit en su lugar su primer dispositivo de
radio. Despus de graduarse de la escuela secundaria a los 16 aos, asisti a su primer ao de universidad en el Westminster College en Fulton, Missouri, sin embargo, su inters en la electrnica lo impuls
a transferirse al Instituto de Tecnologa de Georgia para su segundo y tercer ao de estudio. Esto fue a
principios de 1930, y debido a la Gran Depresin, no pudo completar su educacin formal.
El inters de Wallace en la electrnica se manifest en una variedad de puestos de trabajo no convencionales. Por ejemplo, trabaj para la radio WNDR en Memphis, TN como locutor auxiliar, en man-

tenimiento de equipos y en la realizacin de algunos de los primeros experimentos en comunicaciones


mviles. En 1935, se uni a General Electric X-Ray como un ingeniero de ventas y servicio en el rea
mantenimiento de equipos mdicos en Chicago. Aunque la prctica de las empresas estadounidenses de
emplear expatriados no era comn antes de la Segunda Guerra Mundial, cuando la posibilidad de cubrir
el Lejano Oriente estuvo disponible, Wallace aprovech la oportunidad de vivir y trabajar en el extranjero.
Durante los siguientes veinticuatro meses Wallace se bas en Manila, Shanghai y Singapur, brindando
servicios a todo el Extremo Oriente. Admiraba el exuberante paisaje y la variedad de frutas tropicales
y qued fascinado con la historia China, su arte y su cultura. Wallace estaba en Singapur cuando los
Japoneses amenazaron la ciudad a finales de 1941. En diciembre, cuando los Japoneses comenzaron a
bombardear la ciudad, se encontr con un pequeo barco de carga con destino a la India y se fue al amparo de la oscuridad. Despus de unas semanas en la India, Wallace se dio cuenta de que el regreso a los
Estados Unidos a travs de Europa era imposible. Eligi un camino a casa no tan directo, iniciando su
travesa a travs de frica y Amrica del Sur. Le tom cerca de 12 meses, por fin regresar a los EUA en
la Navidad de 1942. La estancia de Wallace en el Lejano Oriente y su larga travesa a casa atravesando
cuatro continentes, fue una experiencia transformadora para un joven de una pequea ciudad de Estados
Unidos de Amrica. Influy para siempre sus valores, tanto profesionales como personales.
Aunque Wallace Coulter recibi muchos reconocimientos , siempre evit la publicidad y ser el centro
de atencin. Para Wallace, el logro fue importante y no los elogios. Viva modestamente e invirti una
parte extraordinaria de las ganancias de la compaa de nuevo en la investigacin y el desarrollo. Wallace permaneci solo durante toda su vida, su empresa y sus empleados se convirtieron en su familia.
Wallace era un hombre compasivo que siempre anim a sus empleados a soar y hacer lo mejor. l ayud
personalmente a muchos de los empleados y a sus familias, proporcionando prstamos, becas y patrocinios. Tras la venta de la Corporacin Coulter, Wallace se asegur de que su familia de empleados se
beneficiara mediante la asignacin de un fondo total de $ 100 millones para que se pagara, en funcin
de sus aos de servicio, a cada uno de los empleados en todo el mundo.
"Cuando Joe y yo estbamos perfeccionando el Principio de Coulter, difcilmente
pudimos haber soado con la explosin tecnolgica que se derivara de ello."
Wallace Coulter
1995

El Inventor
Despus de la guerra, Wallace trabaj para varias empresas de electrnica, incluyendo Raytheon y
Mittleman Electronics en Chicago. Como todo gran inventor, Wallace mantiene un laboratorio de garaje
en su casa para trabajar con ideas y proyectos prometedores.
Trabajando en un proyecto para el Departamento de Investigacin Naval, Wallace estaba tratando de
estandarizar el tamao de partculas de pigmento utilizados en la pintura en los acorazados de Estados
Unidos con el fin de mejorar su adherencia al casco. Una fra noche de invierno tempestuoso, Wallace
encontr que el suministro de pintura para el experimento se haba congelado mientras l estaba fuera.
Como no quera volver a la intemperie, se pregunt: "Qu sustancia tiene una viscosidad similar a la
pintura y esta fcilmente disponible?" Usando su propia sangre, una aguja y un poco de celofn, invent
lo que ms tarde se conoci como el Principio Coulter el principio de la utilizacin de impedancia electrnica para contar y medir partculas microscpicas suspendidas en un fluido.
Los primeros intentos de Wallace de patentar su invento fueron rechazados por ms de un abogado
que crea que "no se puede patentar un agujero". Persistente como siempre, Wallace finalmente solicit su
primera patente en 1949 y se emiti (USPTO # 2656508) el 20 de octubre de 1953. El Principio Coulter es
responsable de gran parte de las prcticas actuales en los laboratorios clnicos en el rea de hematologa.
Hoy en da y todava despus de 60 aos, la mayora de los recuentos sanguneos completos (CBC, por
sus siglas en ingls) se realizan en instrumentos utilizando el Principio Coulter.

"Todos los problemas tienen solucin... slo debemos romperlos en trozos pequeos y
resolver de una sola pieza a la vez"
Wallace Coulter

El innovador
Las dos grandes pasiones de la vida de Wallace eran aplicar los principios de la ingeniera para
ayudar a resolver los desafos clnicos y abrazar as a la diversidad de las culturas del mundo. Su primera
pasin lo llevo a inventar el Principio CoulterTM. Su segunda pasin lo llev a establecer ms de veinte
subsidiarias internacionales. Luego esto se transform en una prctica estndar de negocios, Wallace
identific que era imperativo emplear personal local para servir a sus clientes.
Cuando era llamado a desempear tareas en hospitales trabajando para GE, Wallace observo a los
trabajadores del laboratorio inclinados sobre los microscopios contando manualmente las clulas sanguneas
desparramadas sobre porta objetos. Prctico como siempre, y sabiendo que deba existir una forma ms
fcil de realizar esa tarea, Wallace focaliz la primera aplicacin del Principio Coulter en el recuento de
glbulos rojos. Este instrumento fue conocido como el ContadorTM Coulter. Mediante la automatizacin
de este proceso laborioso que se realizaba con anterioridad de forma manual, Wallace revolucion la
prctica de la hematologa en el laboratorio clnico. A travs de lo que se ha convertido en la prueba de
diagnstico ms solicitada en el mundo entero, el recuento completo de clulas sanguneas (CBC, por
sus siglas en ingls), Wallace ayud a cambiar de manera radical la relacin mdico paciente. Wallace
tambin fue pionero en el campo de la citometra de flujo y anticuerpos monoclonales. Estas tecnologas
son utilizadas en la caracterizacin y tratamiento del cncer, leucemia y enfermedades infecciosas. El
anticuerpo B-1 (anti-CD20, por sus siglas en ingls), comercializado como Bexxar, desarrollado bajo su
direccin est aprobado por la FDA para pacientes con linfoma folicular para pacientes con recada o las
cuales la enfermedad persiste despus del tratamiento inicial.
Los desafos son buenos, y verdaderamente tenamos una gran cantidad de ellos
Wallace Coulter

El empresario
En 1958, Wallace y su hermano, Joseph R. Coulter, Jr., fundaron Coulter Electronics para fabricar,
comercializar y distribuir sus Contadores Coulter. Desde los comienzos fue una empresa familiar, con
el Sr. Joseph, su padre, desempendose como secretario tesorero. Wallace y Joe, Jr. construyeron los
primeros modelos, los cargaron en sus carros y vendieron personalmente cada unidad. En 1959, para
proteger los derechos de patente, se establecieron subsidiarias en el Reino Unido y Francia. En 1961,
los hermanos Coulter trasladaron su empresa en crecimiento al rea de Miami, Florida, donde ellos
permanecieron por el resto de sus vidas.
Wallace insisti en que la compaa deba mantener la cadena completa de suministro: investigacin y desarrollo, fabricacin, distribucin, ventas financiacin, entrenamiento y servicio y soporte post
venta. De hecho la Corporacin Coulter fue la primera compaa de diagnstico que daba soporte a sus
instrumentos con los reactivos y materiales de control necesarios para la operacin completa del sistema.
Bajo el mando de Wallace como presidente, la compaa se convirti en la industria lder en equipamiento para el anlisis de clulas sanguneas, empleando casi 6.000 personas en 19 pases, con ms
de 50.000 instalaciones de instrumentos. La compaa ha dado lugar a una familia entera de instrumentos, reactivos y controles, no solamente en el rea de hematologa sino tambin para citometra de flujo,
anlisis industrial de partculas finas y otros diagnsticos de laboratorio.

En la dcada de los 90, la Corporacin Coulter era una de las ms grandes empresas privadas de
diagnstico en el mundo. En Octubre de 1997, la Corporacin Coulter fue adquirida por Beckman Instruments, Inc., y la compaa pas a ser conocida como Beckman Coulter, Inc.
Vamos a hacerlo ms fcil, ms rpido y de manera ms confiable que nunca para
diagnosticar enfermedades. El paciente ser el gran beneficiado.
Wallace Coulter

El legado
Wallace fue una persona muy reservada que no busc reconocimiento pblico, pero sus logros son
numerosos. Recibi alrededor de 80 patentes, muchas de las cuales le fueron asignadas por los descubrimientos realizados aos despus de la invencin del principio Coulter. Wallace Coulter fue galardonado con el prestigioso premio John Scott por su labor cientfica que se les otorga a inventores cuyas
innovaciones han tenido un efecto revolucionario sobre la humanidad. Con este premio creado en 1816
para los hombres y las mujeres ingeniosas, Wallace se uni a sus hroes de la infancia; Thomas Edison,
Maria Curie, Jonas Salk y Guillermo Marconi.
Recibi doctorados honorarios del Georgia Institute of Technology, Westminster College, la Universidad
de Clarkson, la Universidad de Miami y la Universidad Barry. Fue honrado con el Premio IEEE Morris
E. Leeds, Industrial del Ao Florida, y el Buyline Samme Lifetime Achievement Award MD. Wallace es
la nica persona que no siendo mdico o un hematlogo ha recibido por parte de la Sociedad Americana
de Hematologa (ASH, por sus siglas en ingls) el Premio al Servicio Distinguido por su enorme contribucin al campo de la hematologa. l fue el destinatario del Association of Clinical Scientist's Gold
Headed Cane Award y miembro del Instituto Americano de Ingeniera Mdica y Biolgica (AIMBE, por
sus siglas en ingls). En 1998, fue incluido en la Academia Nacional de Ingeniera. En 2004, Wallace fue
incluido en el National Inventors Hall of Fame. En el 2013, ao de centsimo aniversario fue reconocido
como el primer recipiente del Golden Goose Award que reconoce a cientficos e ingenieros los cuales a
travs de investigaciones fundadas por el gobierno Americano han tenido un profundo impacto para la
humanidad y creado gran beneficio econmico para la nacin.
Cuando Wallace falleci en agosto de 1998, dono toda su riqueza para la formacin de la Fundacin
Wallace H. Coulter. La Fundacin contina su legado, trabajando con las principales universidades de
Estados Unidos para establecer un proceso de tipo empresarial para acelerar la introduccin de las innovaciones acadmicas del rea de la salud en el mercado con el objetivo de mejorar la atencin al paciente.
Adems, en reconocimiento a la pasin de Wallace para mejorar la atencin sanitaria en los pases en
desarrollo, la Fundacin est trabajando en colaboracin con las sociedades mdicas de Estados Unidos
para llevar a los ltimos avances en las prcticas mdicas y de laboratorio para estos pases. De especial
inters es el trabajo de la Fundacin en Amrica Latina con la Asociacin Americana de Qumica Clnica
(AACC, por sus siglas en ingls) y la Sociedad Americana de Hematologa (ASH, por sus siglas en ingls). En el tercer ao de un compromiso de ocho aos, con el objetivo de llegar a 5.000 profesionales de
Amrica Latina, el objetivo de la iniciativa juntamente con la AACC es elevar la prctica de la calidad
analtica en los laboratorios clnicos. Trabajando con la Sociedad Americana de Hematologa (ASH siglas
en Ingles) la Fundacin, en 2007, se estren los Highlights of ASH para ofrecer programas educativos
sobre los avances en los tratamientos clnicos para los pacientes con cncer de la sangre y otros trastornos
sanguneos. El programa tuvo tanto xito que se ha convertido en un encuentro anual.
Ahora, cien aos despus de su nacimiento, y ms de una dcada despus de su muerte, este hroe
americano deja atrs el legado de sus logros, as como colegas, socios, amigos y familiares en todo el
mundo que se inspiraron en su influencia y continan su misin de lograr que la ciencia est al servicio
de la humanidad.

Prlogo a la edicin Wallace Coulter


James O. Westgard, PhD
Validacin Bsica de Mtodo es parte de una triloga de libros de vuelta a los principios bsicos
que se enfocan en el manejo de la calidad analtica. Los otros dos libros son Prcticas Bsicas de Control
de la Calidad y Planificacin Bsica para la Calidad. Cuando yo enseo estos materiales, comienzo con
la validacin de mtodos ya que introduce los conceptos bsicos del desempeo analtico y las tcnicas
estadsticas y experimentales que se necesitan para describir el desempeo en trminos cuantitativos.
Estos conceptos conllevan la prctica de Control Estadstico Interno de la Calidad y la seleccin de procedimientos de Control de la Calidad ptimos a travs del diseo y la planificacin de la calidad.
La fuente original de este enfoque de la validacin de mtodos retrocede treinta aos en el tiempo a
una serie de documentos que fueron publicados en el American Journal of Medical Technology y ms
tarde como una monografa titulada Method Evaluation. Mis co-autores eran Diane J de Vos, Marian
R. Hunt, Else F. Quam, R. Neill Carey, y Carl C. Garber, todos los cuales trabajaban en la Universidad de
Wisconsin. Introdujimos este enfoque en los talleres que dbamos en los encuentros nacionales ASMT y
AACC. Hoy en da, Niell y Carl, junto con David Koch, continan enseando este enfoque en el encuentro
nacional AACC. Ahora ellos tienen el record del taller ms largo en la historia de AACC.
Esta edicin brinda importantes actualizaciones basadas en nuevos requisitos regulatorios y estndares de buenas prcticas, particularmente los ltimos lineamientos de CLSI (Clinical and Laboratory Standards Institute):
Regulaciones y requisitos de acreditacin actualizados de CLIA;
Un captulo revisado sobre el rango reportable que incluye la verificacin de la calibracin;
Un captulo revisado sobre lmites de deteccin que incluye los conceptos de Lmite en Blanco,
Lmite de Deteccin y Lmite de Cuantificacin, como se recomienda en los lineamientos de la
gua CLSI EP17 A;
Una Carta de Decisin de Mtodo actualizado que incluye criterios para el desempeo 2, 3, 4, 5
y 6-Sigma;
Un nuevo captulo acerca de la estimacin de la veracidad y precisin basada en los lineamientos de la gua CLSI EP15 A2, que incluye instrucciones para realizar los clculos requeridos
utilizando hojas de clculo electrnicas;
Un nuevo captulo acerca de los estndares globales en desarrollo (ISO, International Standards Organization), ISO 15189 y los conceptos de veracidad e incertidumbre de medicin;
Un nuevo captulo acerca de las mtricas Seis Sigma, que incluyen instrucciones para convertir
los datos de la validacin de mtodo a la mtrica Sigma.
Por ms de treinta aos, he trabajado en el control de la calidad y la validacin de mtodos. Mientras
que las estadsticas, las ecuaciones y los clculos no cambian, el contexto y el entorno estn en constante
evolucin. Espero que esta tercera edicin los ayude a entender estos nmeros de validacin de mtodos
en el contexto adecuado de su laboratorio.

James O. Westgard
Madison Wisconsin

Agracedicientos
En primer lugar, Sten Westgard merece el crdito por la frmula utilizada para desarrollar
estos materiales. l es el responsable de la publicacin de estos materiales y tambin brinda una
fuerza impulsora para su finalizacin. A mi edad, necesito fechas lmite para finalizar las cosas y las
consegu gracias a Sten.
Varios colegas me han ayudado en el desarrollo de estos materiales, incluyendo a Elsa Quam
y Patricia Barry quienes han sido mis socias por largo tiempo en los Laboratorios Clnicos de la
Universidad de Wisconsin Hospital y Clnica. Sharon Ehrmeyer contina ayudando a clarificar el
maravilloso mundo de las reglas CLIA, sus regulaciones y lineamientos de acreditacin e inspeccin
relacionados. Neill Carey contribuy con su experiencia y conocimiento para hacer que la presentacin
de los lineamientos del EP15 resultara prctica y til.
Los mapas antiguos que aparecen en este libro son parte de una pequea coleccin personal. Espero
que los encuentren tiles para ilustrar las ideas principales en el libro, as como tambin interesantes
y bellos documento histricos.
En la Fundacin Wallace Coulter, queremos agradecer por sus incansables esfuerzos y apoyo a
Elias Caro , Mara Neal y Sue Van. Sin ellos este libro no hubiese existido.

Autores y colaboradores
James O. Westgard, PhD, Profesor Emrito en el Departamento de Patologa y Medicina de Laboratorio de la Universidad de la Wisconsin, escuela de Medicina, donde contina enseando en el
programa de Ciencias de Laboratorio Clnico. l tambin es el presidente de Westgard Quality
Control Inc. Su biografa completa puede ser encontrada en http://www.westgard.com/jimbio.htm
Patricia L. Barry, BS;MT (ASCP), Especialista en calidad en los laboratorios clnicos de la Universidad de Wisconsin en hospitales y clnicas.
R. Neill Carey, PhD, FACB, Director de Qumica Especial en el Centro Mdico Regional Pennsula, Salisbury, Maryland.
Elsa F. Quam, BS, MT (ASCP), Especialista de la calidad en los laboratorios clnicos de la Universidad de Wisconsin en hospitales y clnicas.
Sten Westgard, BA, MS, Director de Servicio al Cliente y Tecnologa de Westgard QC.
Gabriel A. Migliarino Bioq., Director de Gmigliarino Consultores, Especialista de la Calidad en
laboratorios Clnicos en Amrica Latina, consultor para la implementacin de la Norma ISO
15189, trabajando actualmente en varios pases del rea.

Hay ms en lnea en Westgard Web


Para hacer lugar a todas las actualizaciones, revisiones y captulos nuevos por completo
dentro del libro, sin que fuera demasiado extenso, tuvimos que hacer algunos recortes. Notablemente, tuvimos que recortar el glosario y las listas de referencia.
Pero no se preocupe, puede ver estas fuentes si las necesita.
Puede ir a http://www.westgard.com/bmv/extras.html para el acceso y los enlaces a estas
funciones:
Preguntas frecuentes (FAQs, por sus siglas en ingls)
Glosario de trminos
Lista completa de referencia para este libro
Enlaces a hojas de clculo, hojas de trabajo y otras descargas
Enlaces a calculadoras para Validacin de Mtodos, incluyendo algunas calculadoras
que no estn disponibles para el pblico en general.

Westgard QC, Inc., Copyright 2013

Tabla de Contenidos
CAPITULO I: Es la calidad an un asunto relevante para los
exmenes de laboratorio? 1
CAPITULO 2: Cmo gestiona usted a la calidad?

13

CAPITULO 3: Cul es el propsito de un estudio de validacin de


mtodos? 27
CAPITULO 4: Cules son los requisitos regulatorios para la
validacin de mtodos? 37
CAPITULO 5: Cmo es seleccionado un mtodo?

53

CAPITULO 6: Qu experimentos son necesarios para validar el


desempeo de un mtodo? 63
CAPITULO 7: Cmo se analizan los datos experimentales?

75

CAPITULO 8: Cmo se calculan estas estadsticas?

87

CAPITULO 9: Cmo se determina el rango reportable de un mtodo?


103
CAPITULO 10: Cmo se determina la imprecisin de un mtodo?
115
CAPITULO 11: Cmo se determina la inexactitud o sesgo de un
mtodo? 127
CAPITULO 12: Cmo usar la estadstica para estimar errores
analticos? 139
CAPITULO 13: Cmo examinar fuentes especficas de inexactitud?
157

Validacin Bsica de Mtodos, Edicin Wallace Coulter

CAPITULO 14: Cul es el valor ms bajo confiable para un mtodo?


173
CAPITULO 15 Cmo se verifica el intervalo de referencia de un
mtodo? 185
CAPITULO 16: Cmo evala el desempeo de un mtodo?

195

CAPITULO 17: Cul es un procedimiento prctico para validar un


mtodo? 207
CAPITULO 18: Cmo usa la estadstica en el Mundo Real? 221
CAPITULO 19: Cmo pueden ser verificadas las especificaciones de
desempeo de los fabricantes? 231
CAPITULO 20: Cmo pueden ser evaluadas las especificaciones de
desempeo declaradas por los fabricantes en una escala Sigma?
251
CAPITULO 21: Qu impacto tendr ISO en la gestin de la calidad
analtica? 263
CAPITULO 22: Respuestas de Auto Evaluacin

285

APNDICE 1: CALIDAD ANALITCA CLIA 88 REQUISITOS

313

NDICE 317

Westgard QC, Inc., Copyright 2013

1: Es la calidad an un asunto relevante para


los exmenes de laboratorio?

En este captulo introductorio, el Dr. Westgard desafa las ideas actuales de


que la calidad analtica es mejor que la necesaria para el cuidado de la salud.
Haciendo uso de mapas histricos reconocidos como los registros ms fiables
y exactos de esos tiempos, ilustra que las verdades populares pueden estar
bien documentadas y tener amplio crdito, y an as ser errneas. l afirma
la necesidad de definir los requisitos de la calidad para manejar la calidad en
forma cuantitativa.

Objetivos:
Comenzar a pensar en la calidad de forma crtica.
Reconocer que las creencias actuales sobre la calidad podran no estar
efectivamente fundamentadas.
Identificar los puntos crticos en el manejo de la calidad en forma
cuantitativa.

Materiales del captulo:


Mitos de la calidad, por James O. Westgard, PhD

Cosas qu hacer:
Estudiar la leccin.
Encontrar qu calidad es necesaria para una prueba de colesterol.

pgina 1

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Por qu existen hoy en da mitos sobre la calidad en el laboratorio clnico?
Qu se puede hacer para mejorar las prcticas de gerenciamiento de la
calidad en el laboratorio clnico?

La isla mtica de California!

NOVEAU MEXIQUE ET CALIFORNIA, por Alan Mallet, Paris 1686. La miniatura de un mapa francs
que muestra California como una isla plana un mito que persisti desde 1620 por ms de 100 aos.

pgina 2

Westgard QC, Inc., Copyright 2013

Mitos de la Calidad
James O. Westgard, PhD
UN MITO es una Historia, Teora o Hiptesis Equivocada!

Mitos Histricos de la Cartografa


Isla mtica de California. Sabas que California fue una isla? Est bien
documentado en los mapas de mejor reputacin del siglo XVII que California
estaba completamente rodeada de agua. Por ejemplo, vea el mapa adjunto que
muestra la Isle de Californie. Ah est, documentado en blanco y negro, prueba
de que California fue una isla.

Este mapa de Nouveau Mexique et Californie hecho por Alain Mallet fue
publicado en 1686 en la Description de lUnivers (Pars). Mallet copi el modelo de California que apareciera en un mapa anterior hecho por Sanson, que
era uno de los ms distinguidos cartgrafos franceses (era muy comn que los
cartgrafos se copiaran los trabajos unos a otros). Cuando apareca un nuevo
descubrimiento en un mapa, era ampliamente diseminado en los otros mapas
de la poca. El descubrimiento de que California era una isla fue documentado
por primera vez en 1622 y persisti en cartas geogrficas hasta 1750, a pesar de
que la evidencia en 1705 claramente estableca que esto era un mito.

Isla mtica de Friesland. De hecho, hay toda una historia sobre las islas

mticas, lo que sugiere que estos mitos no son tan atpicos como uno podra
esperar. A finales del siglo XVI, uno de los ms famosos cartgrafos, Abraham
Ortelius, realiz un mapa del Atlntico Norte que mostraba la isla de Friesland
que yaca a unos pocos kilmetros al suroeste de Islandia, complementado con
una descripcin detallada de la zona costera, los puertos, la gente que viva
ah, su aspecto fsico y su modus vivendi. Es un mapa hermoso, decorado con
barcos zarpando y especies marinas, y era el mapa ms reconocido del rea en
ese tiempo. El nico problema era que Friesland no exista. Cuando la gente
zarpaba hacia el nuevo mundo y pasaba Islandia, adscriban ms y ms detalles
y daban mayor realidad a Friesland porque suponan que era el siguiente cuerpo
de tierra.

pgina 3

Validacin Bsica de Mtodos, Edicin Wallace Coulter

La isla mtica de Freisland!


SEPTENTRIONALES REGIONES, por Philip Galle, Amberes, 1595. Una miniatura de
un famoso mapa de Ortelius de la reion del Atlantico norte que muestra la mticaisla de
Friesland (ver cuadro) localizada al suroeste de Islandia.

Isla mtica en el Lago Superior. Otro ejemplo que es de inters a


aquellos de nosotros que somos del medio oeste norteamericano son las islas de
Ponchartrain y Phillipeaux en el Lago Superior. Cuando la frontera entre los
Estados Unidos y Canad fue establecida por el Tratado de Pars en 1783 se
decidi que estas islas fueran parte de E.U.A. En los inicios del siglo XIX, cuando
se estaba estableciendo Wisconsin, el gobierno de E.U.A. envi exploradores a
cartografiar el rea de forma ms completa, pero no pudieron encontrar estas
islas! Se mostraban en todos los mapas de la poca, pero no aparecan sobre el
agua. Al parecer, los exploradores crearon estas islas y les dieron el nombre del
Ministro de Gobernacin que estaba patrocinando sus investigaciones. Probablemente estaban tratando de conseguir ms dinero para exploraciones futuras y
necesitaban algunos descubrimientos preliminares que justificaran esto.

pgina 4

Westgard QC, Inc., Copyright 2013

La isla mtica en el Lago Superior!


LES LACS DU CANADA et NOUVELLE ANGLETERRE, por Robert de Vaugondy, Paris, 1749.
ste mapa muestra el Lac Superieur con la verdadera Isla Royal y las islas mticas de Phillipeaux,
Pontchartrain, Maurepas, St. Anne.

Mitos modernos de la calidad


Estos mitos cartogrficos son divertidos en retrospectiva, pero fueron tomados
muy seriamente en la poca y crearon problemas posteriores. Existen mitos hoy
en da que tambin se toman seriamente y que causarn serios problemas en el
futuro. Algunos de ellos repercuten muy cerca de casa la calidad del cuidado
de la salud y la calidad de los exmenes de laboratorio.
Mito: El Aseguramiento de la Calidad (AC) asegura la calidad en
el cuidado de la salud. Es un cuento errneo que pone un buen giro a los esfuerzos actuales de medir la calidad en el cuidado de la salud. Como profesionales de la salud, hablamos de aseguramiento de la calidad (AC), pero nuestros
programas de aseguramiento de la calidad (que usualmente son requisitos para
la regulacin y la acreditacin) se enfrentan en primera instancia con el desempeo de las mediciones. La Evaluacin de la Calidad sera un mejor nombre
para estos esfuerzos. En tanto que es importante evaluar la calidad para saber
qu tan bien vamos, medir la calidad no asegura que la calidad necesaria ser
pgina 5

Validacin Bsica de Mtodos, Edicin Wallace Coulter

alcanzada. Lograr la calidad requiere, de hecho, de un diseo y una planificacin


de la calidad, que comienza con la definicin de la calidad que se necesita, para
luego construir esa calidad en el proceso.
Mito: El Control Estadstico Interno de la Calidad (CC) controla la
calidad de los exmenes de laboratorio. Es una teora errnea que el uso
de la estadstica de algn modo asegura que los resultados de los exmenes del
laboratorio tienen la calidad necesaria. Virtualmente todos los laboratorios aplican Control Estadstico Interno de la Calidad (CC) como parte de sus esfuerzos
para asegurar la calidad de los exmenes de laboratorio. Mientras que podraamos no entender la teora o la estadstica, an creemos que algo mgico ocurre
gracias a esa estadstica. De algn modo, al analizar los controles y graficar
los resultados en cartas de control, esperamos controlar la calidad de nuestros
procesos de examen, incluso an si no entendemos cmo funciona.
Mito: La Calidad puede ser controlada incluso si no se conocen la
calidad requerida. Es una hiptesis errnea que la calidad puede ser controlada cuando no sabemos cul es la calidad necesaria. Muy pocos laboratorios han
definido la calidad analtica necesaria para los exmenes que realizan. Cmo es
posible que sepamos que estamos logrando lo desconocido? Puede usted manejar
las finanzas del laboratorio sin conocer el presupuesto? No necesita saber los
requisitos de la calidad para un examen de laboratorio si piensa controlar la
calidad de los procesos de examen?
Mito: Los requisitos de la calidad necesitan considerar slo a la
imprecisin y a la inexactitud. Este problema con los requisitos de la calidad
resulta incluso ms complicado. Las ideas actuales acerca de las metas y los
requisitos de la calidad son errneas porque consideran slo las caractersticas
de desempeo del mtodo estable (imprecisin e inexactitud). Si el desempeo
es estable, por qu molestarnos en hacer control de la calidad en absoluto? Si
el CC es necesario, no tenemos que considerar las caractersticas de desempeo
de los procedimientos de CC (probabilidad de deteccin de errores y de falsos
rechazos) en los esquemas a lograr?
Mito: Los mtodos de laboratorio actuales tienen mejor imprecisin
e inexactitud que la necesaria. El efecto neto de todos estos mitos es la creencia de que el desempeo de los mtodos actuales de laboratorio es mejor que
el que exigen las necesidades mdicas. Esta creencia est basada en una teora
errnea de establecimiento de metas de la calidad, una hiptesis errnea al
igualar todas las variaciones mdicas tolerables con la variacin analtica, sin
tomar en cuenta la variabilidad biolgica del propio sujeto, y la presuncin de
que los procedimientos de CC tienen curvas de respuesta ideales que pueden
detectar cualquier cambio en el desempeo, sin importar cun pequeo sea.

pgina 6

Westgard QC, Inc., Copyright 2013

Mito: La calidad analtica se da por sentado hoy en da. Como consecuencia de estos mitos, hay un sentimiento comn hoy en da de dar por sentado
a la calidad analtica, esto es, que la calidad analtica por s misma es asumida
hoy en da. En el medio de programas Seis Sigma, Lean, Manejo de Riesgos,
y Manejo Total de la Calidad (MTC), es a menudo asumido errneamente que
los problemas en el manejo tcnico de la calidad ya han sido resueltos. Esto
representa la hiptesis errnea de que los esfuerzos en el pasado han resuelto
todas las dificultades tcnicas, as que ahora podemos pasar a nuevos asuntos
que estn en boga, tales como el monitoreo de la satisfaccin del usuario, la
medicin de los resultados de pacientes, etc.
Mito: No se necesitan otras mejoras en la calidad analtica. El resultado colectivo de todos estos mitos es un falso sentimiento de seguridad respecto
a la calidad de los procesos de examen del laboratorio. Muchos piensan que la
calidad analtica es tan buena que no se necesitan nuevas mejoras. Este es el
mito ms grave de todos porque nos hace condescendientes con lo que estamos
haciendo y obstaculiza los esfuerzos de mejorar a la calidad analtica de los
exmenes de laboratorio.
Mito: El gobierno regula los exmenes de laboratorio para asegurarse de que la calidad es aceptable. Si bien es cierto que la FDA (Food
and Drug Administration) aprueba los nuevos exmenes y sistemas analticos, es importante comprender que esta depuracin est basada solamente en
la verdad en el etiquetado. Se solicita a los fabricantes presentar pruebas
sobre ciertas caractersticas de desempeo, como el rango reportable, precisin,
exactitud, interferencia, lmite de deteccin y intervalos de referencia, y referir
los datos que respalden esas pruebas. Los procesos de la FDA se enfocan en si
los datos confirman o no las pruebas presentadas por los fabricantes, no en si
la calidad del proceso de examen es o no aceptable para el cuidado del paciente.
Podramos creer que los fabricantes no presentaran un nuevo examen para la
depuracin de la FDA a menos que la calidad fuera aceptable, pero esa presuncin no siempre es correcta.
Mito: Los laboratorios deberan enfocarse hoy en da en los errores
pre-analticos y post-analticos debido a que los errores analticos ya no
son un problema. Esta idea aflor en 1990 del CDC (Centers for Disease Control and Prevention) en un esfuerzo para ampliar los esfuerzos de la evaluacin
de la calidad en los laboratorios clnicos. Ms tarde en los 90, CMS (Centers
for Medicare & Medicaid Services) adopt esa perspectiva en la revisin de las
Reglas Finales de CLIA (Clinical Laboratory Improvement Amendments) para
incluir el manejo de la calidad del proceso total de examen, esto es, las partes
pre-analtica, analtica y post-analtica de la metodologa de examen. Para los
inicios del siglo XXI, esta creencia fue ampliamente adoptada en la comunidad
de los laboratorios clnicos y hoy en da es usada (y aceptada) como un argumento
pgina 7

Validacin Bsica de Mtodos, Edicin Wallace Coulter

para reducir la cantidad de Control Estadstico Interno de la Calidad aplicada


durante la fase analtica. Satisface nuestro anhelo de hacer menos Control Estadstico Interno de la Calidad, simplificar los exmenes de laboratorio y reducir
los costos y eliminar las repeticiones y de resolucin de problemas, todo lo cual
permite a los exmenes de laboratorio ser realizados en sitios de examen donde
las habilidades tcnicas y la experiencia en el laboratorio pueden faltar.

Dnde est la evidencia?


En esta poca de Medicina Basada en Evidencia de Laboratorio, dnde estn los
datos que apoyan estas creencias de que no necesitamos ya preocuparnos por la
calidad analtica? Mientras que tomara muchas pginas de este libro desaprobar
este conjunto entero de creencias equivocadas, consideremos ste ltimo mito
(los laboratorios se deben enfocar en las fases pre-analtica y post-analtica del
proceso total de examen) porque descansa en muchas otras creencias. De hecho,
sera el enfoque correcto si los errores analticos no fueran ms un problema.
Primero, consideremos un modelo ms completo del proceso total de examen, como provee Goldschmidt y cols. (1), mostrado en la figura abajo. Llamado
modelo de filtros, la figura ilustra una serie de filtros a travs de los cuales una
peticin de un examen de laboratorio, un espcimen y una muestra deben pasar.
En la realidad, estos son filtros matemticos ms que filtros de papel como se
sugiere en la figura, pero como cientficos de laboratorio ms que matemticos,
el enfoque es fcil de comprender en la ilustracin. Este modelo ms detallado
describe 5 fases o filtros para la validacin del proceso total de examen.

Modelo de Filtros de
Goldschmidt para la Validacin
de Exmenes de Laboratorio

Validacin Administrativa

Estudio de los Errores


del Laboratorio de
Plebani/Carraro

60% Pre-analticos

Validacin de la Muestra
Validacin Tcnica
Validacin del Paciente

15% Analticos

25% Post-analticos

Validacin Clnica

Resultados de Buena Calidad


pgina 8

Resultados de Calidad Pobre

Westgard QC, Inc., Copyright 2013

La validacin administrativa se refiere a los pasos que comienzan con la


seleccin y solicitud del examen correcto, la recoleccin de la informacin
correcta para comprender el contexto del examen, as como la validacin
de las condiciones apropiadas del paciente, la preparacin correcta, etc.;
La validacin de la muestra se ocupa de obtener el espcimen correcto
en el momento adecuado del paciente correcto, el procesamiento y
transporte correctos de la muestra, y el uso correcto de esa muestra para
las mediciones analticas;
La validacin tcnica tiene que ver con obtener la respuesta correcta,
que requiere el conocimiento de la calidad requerida para un examen, la
validacin de la precisin y la exactitud del proceso de medicin, diseando
el procedimiento de Control Estadstico Interno de la Calidad correcto, e
implementando los procedimientos de medicin y control apropiadamente;
La validacin del paciente requiere que los resultados correctos sean
reportados correctamente al registro indicado del paciente y considera si
el resultado del examen es consistente con el conocimiento que se tenga
del paciente (antecedentes), otros resultados de examen de ese paciente,
dentro de la variacin esperada del paciente individual y el grupo de
poblacin apropiada, as como la relacin de los valores crticos o de alerta,
y la consistencia con las poblaciones de pacientes;
La validacin clnica se ocupa de que el paciente reciba el tratamiento
clnico correcto basado en los resultados de los exmenes y en los servicios
del laboratorio. La validacin clnica va ms all de lo que se considera
normalmente como parte de la validacin de los resultados de exmenes
en E.U.A.
Este es un modelo europeo y demuestra que el paciente y la validacin clnica
han sido por largo tiempo una parte crtica en la validacin de los exmenes de
laboratorio. La validacin clnica y de los pacientes son responsabilidades de los
profesionales del laboratorio. Con el incremento en la carga de trabajo, se han
desarrollado herramientas computarizadas y programas para estandarizar y
facilitar esta revisin clnica o Control de la Calidad Clnico. La importancia
del primer paso (validacin administrativa) se vuelve clara en el contexto de la
informacin necesaria para completar esta revisin y control clnico.
A continuacin, consideremos los estudios ms recientes y definitivos en las
fuentes de errores del laboratorio (2). Los Drs. Plebani y Carraro han estudiado
los errores del laboratorio por muchos aos y son reconocidos como lderes en
la realizacin de dichos estudios. Sus resultados documentan la distribucin
de errores como se muestra en la figura. Claramente hay ms errores preanalticos (60%) y post-analticos (25%) que analticos (15%). Muchos cientficos
pgina 9

Validacin Bsica de Mtodos, Edicin Wallace Coulter

del laboratorio clnico citan estas figuras para apoyar la idea de que los errores
pre-analticos y post-analticos son ms importantes que los errores analticos
y a menudo concluyen que la calidad analtica no es ya un asunto importante.
Sin embargo, una lectura ms detallada del estudio muestra que de un total
de 51.746 exmenes, hubo 393 resultados cuestionables, 160 de los cuales fueron
confirmados como errores del laboratorio. De estos 160 errores, 46 causaron un
cuidado inapropiado del paciente, y 24 de esos casos de cuidado inapropiado del
paciente fueron causados por errores analticos. Esto significa que ms de la
mitad de los casos (52%) de los errores que provocaron un cuidado inapropiado
de la salud de los pacientes se deben a errores analticos. Los errores analticos
todava son la fuente ms grande e importante de errores que causan dao a
los pacientes!
Necesitamos reconocer que la competencia principal de un laboratorio debe
ser obtener los resultados correctos. Todas las fuentes de error en el proceso de
examen deben ser controladas y monitoreadas cuidadosamente, pero se debe
comenzar con los errores analticos. Si no podemos, no queremos o no aseguramos la calidad analtica de nuestros resultados, entonces no deberamos estar
en el negocio de la provisin de servicios de exmenes de laboratorio.

Cul es el punto?
Debe pensar de manera crtica sobre la calidad y reconocer que muchas de
nuestras creencias actuales no estn cimentadas en hechos, esto es, no estn
basadas en evidencias cientficas. Estos mitos necesitan ser trados a la luz si
se va a mejorar el manejo tcnico de los procesos analticos.
Ese es el propsito de esta introduccin! Debe evaluar crticamente muchas de las prcticas del manejo de la calidad que son aceptadas hoy en da
en los laboratorios. Para comenzar, debe comprender cmo los requisitos de la
calidad pueden ser definidos, cmo el desempeo del mtodo debera ser medido
experimentalmente, cmo los datos experimentales pueden ser analizados con
estadsticas para estimar las caractersticas analticas de desempeo, y cmo
puede ser juzgada la aceptabilidad del procedimiento de examen.
Una vez que el desempeo de un mtodo ha sido juzgado como aceptable
(Validacin Bsica de Mtodos), necesita seleccionar un procedimiento de Control Estadstico Interno de la Calidad que pueda detectar errores cnicamente
significativos (Planificacin de la Calidad o Diseo de la Calidad), hacer mediciones rutinarias del nmero necesario de controles e interpretar los resultados
del control usando los criterios de decisin apropiados o las reglas de control
(Prcticas Bsicas de Control de la Calidad).

pgina 10

Westgard QC, Inc., Copyright 2013

Referencias
1. Oosterhuis WP, Ulenkate HJLM, Goldschmidt HMJ. Evaluation of
LabRespond, a new automated validation system for clinical Laboratory test
results. Clin Chem 2001; 46:1811-1817.
2. Carraro P, Plabani M. Errors in a Stat Laboratory: Types and frecuencies
10 years later. Clin Chem 2007; 53:1338-1342.

pgina 11

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 12

Westgard QC, Inc., Copyright 2013

2: Cmo gestiona usted a la calidad?

Los principios del Gestin Total de la Calidad (TQM por sus siglas en ingls)
son adaptados para definir un marco de trabajo para el manejo de la calidad en
un laboratorio al servicio de la salud. Este marco identifica cinco componentes
fundamentales que son necesarios en un proceso de manejo de la calidad para
proveer la mejora continua de la calidad.

Objetivos:
Identificar los componentes fundamentales para el manejo de la calidad.
Explicar el propsito de cada componente.
Dar ejemplos de actividades asociadas con cada componente.
Reconocer la fuerza conductora central en este proceso de manejo de la
calidad.
Describir el rol de la validacin de mtodos en este proceso de manejo de
la calidad.
.

Materiales del captulo:


Gestin de la Calidad La necesidad de procesos estndar y
estndares para la calidad, por James O. Westgard PhD

Cosas qu hacer:
Estudiar la leccin.

pgina 13

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cules son los 5 componentes necesarios para gestionar a la calidad?
Dnde se inserta la validacin de mtodos en este proceso de gestin de
la calidad?
Por qu es importante la validacin de mtodos?
Qu es lo que gua o dirige un proceso de gestin de la calidad?

pgina 14

Westgard QC, Inc., Copyright 2013

Gestin de la Calidad
La necesidad de procesos estndar y los
estndares para la calidad
James O. Westgard, PhD
La calidad debe ser asegurada, no sobreentendida! Tal como se ilustra
en el captulo anterior, las ideas acerca del estado actual de la calidad en los
exmenes de laboratorio y el cuidado de la salud podran estar influenciadas
por cuentos equvocos, teoras e hiptesis o mitos que no estn sustentados por
datos o hechos. La calidad no ocurre espontneamente! La calidad debe ser
obtenida mediante procesos de trabajo que estn cuidadosamente planeados,
ejecutados eficazmente, controlados ptimamente, medidos apropiadamente y
continuamente mejorados, en otras palabras, mediante el manejo adecuado de
la calidad. Esta leccin enfatiza la necesidad de procesos estndar de laboratorio
para proveer una calidad consistente, as como tambin estndares para la
calidad para guiar el manejo de esos procesos.

Estndar, procesos estndar, estndares para la


calidad
Estndar tiene varios significados en el laboratorio. En trminos analticos,
una solucin estndar provee un valor conocido para la calibracin de un proceso
de examen y representa pureza, veracidad y exactitud. En trminos de gestin,
un proceso estndar provee una manera consistente de realizar las cosas, por
ejemplo, un proceso de examen estndar brinda un protocolo bien definido para
realizar un examen de laboratorio. De la misma manera, un proceso estndar
de validacin de mtodos brinda un modo regular y sistemtico para evaluar el
desempeo de un proceso de examen de laboratorio. (Ntese que la idea de proceso
puede ser aplicada a cualquier actividad repetida, sea fsica o mental; tanto los
procesos de trabajo fsico como de toma de decisiones necesitan ser estandarizados
o sistematizados para asegurar resultados consistentes y confiables).
Otro trmino importante es estndar de la calidad, que es un criterio o
declaracin que describe el nivel aceptable de alguna caracterstica. Para un
examen analtico, debemos saber qu tan rpidamente necesitamos reportar el
resultado de un examen, as como tambin qu tan cercano debe estar el resultado al valor correcto o verdadero. Un estndar para el tiempo requerido es ms
fcilmente entendido que un estndar para veracidad o exactitud.
Por ejemplo, es obvio que el tiempo requerido debera ser estimado en
pgina 15

Validacin Bsica de Mtodos, Edicin Wallace Coulter

unidades de tiempo, generalmente en minutos. Estas unidades son entendidas


tanto por quien solicita el examen como por quien provee el servicio. Aquel que
ordena el examen define el requisito en base al servicio mdico que se ofrece.
Ambas partes pueden medir si el desempeo observado satisface el requisito o
no. La calidad analtica es ms difcil ya que involucra conceptos tcnicos tales
como la imprecisin y la inexactitud, que no son siempre comprendidos por los
laboratoristas y son ciertamente menos an entendidos por los mdicos que
ordenan los exmenes o los pacientes, que son los ltimos consumidores de los
resultados de los exmenes. Los clientes y los consumidores de los servicios del
laboratorio no pueden definir fcilmente a la calidad analtica que es requerida
(al menos no en los trminos analticos deseados por el laboratorio) ni tampoco
medir o evaluar la calidad analtica. El laboratorio, por lo tanto, debe asumir
la completa responsabilidad del manejo de la calidad analtica de sus servicios.

Un proceso estndar para la gestin de la calidad


La gestin de la calidad debera ser un proceso estndar de laboratorio.
Dicho proceso puede ser estructurado como se muestra en la siguiente figura.
Comenzando por la parte superior y avanzando en el sentido de las agujas del
reloj, PC, se refiere al planeamiento de la calidad, PCL, a los procesos de la
calidad en el laboratorio, CC, al control de la calidad, EC, a la evaluacin de la
calidad, y MC, a la mejora de la calidad. En el centro, SC, significa estndares de
la calidad, en otras palabras, estndares para la calidad requerida por el examen

Planeamiento
de la Calidad

Mejora de la
Calidad

Evaluacin de
la Calidad

pgina 16

Estndares
o
Requisitos
de la
Calidad

Procesos de
la Calidad en
el Laboratorio

Control de la
Calidad

Westgard QC, Inc., Copyright 2013

o el servicio que se provee. Este marco de trabajo brinda un proceso de manejo


de la calidad que funciona como un crculo de retroalimentacin. PC, planea el
mejor modo de realizar el trabajo, por ejemplo, la seleccin y evaluacin de los
mtodos analticos, el equipamiento, los reactivos y los procedimientos utilizados
para llevar a cabo exmenes de laboratorio. El PCL establece los procesos de
trabajo estndar para utilizar las polticas, procedimientos, protocolos y personal
del laboratorio; el CC provee mediciones cuantitativas del desempeo del proceso
usando tcnicas estadsticas de control de procesos; la EC brinda mediciones
ms amplias acerca de qu tan bien se est realizando el trabajo, por ejemplo,
la efectividad en los procedimientos de toma de muestras, el tiempo requerido
para los servicios del laboratorio, los formatos apropiados para el reporte de
resultados, etc. Cuando se detectan problemas, MC provee un mecanismo de
solucin de problemas para determinar sus causas, las cuales pueden luego ser
eliminadas a travs de PC, en cuyo caso, los procesos de examen son planeados
nuevamente y se implementan nuevos y mejores modos de realizar el trabajo (es
decir, cambios en el PCL). A travs de este marco de trabajo, la mejora continua
se construye dentro del proceso de gestin por medio de las C. El enfoque al
cliente se logra al centrar estas C en los estndares de la calidad que representan
los objetivos del laboratorio y los requisitos del cliente informacin esencial
para el manejo objetivo y cuantitativo del laboratorio.
El enfoque inicial del laboratorio es el establecimiento de procedimientos
o procesos operativos estndar por medio de los cuales se realiza el trabajo.
En particular, nos ocupamos de la seleccin, la validacin y la implementacin
de mtodos analticos que brindarn consistentemente una calidad analtica
confiable. Estas actividades son parte del PC y conducen al establecimiento de
procesos de exmenes de calidad que son parte del PCL. El CC se aplica luego de
que se establezcan los procesos de exmenes apropiados. De la misma manera,
la EC y la MC son parte del monitoreo y mejora continua de los procesos operativos estndar.

Prioridades en el desarrollo de un proceso estndar


de gestin de la calidad
Las prcticas tradicionales para la gestin de la calidad en el laboratorio siempre
han comenzado con el establecimiento de mtodos estndar para realizar exmenes
de laboratorio (PCL), luego han enfatizado el control estadstico de la calidad
para monitorear el desempeo analtico (CC), y ms tarde se han expandido
y ampliado las mediciones de la calidad para incluir el tiempo requerido, etc.
(EC). Las prcticas de mejora de la calidad (MC) han sido introducidas como
parte del Gestin Total de la Calidad (MTC) o Mejora Continua de la Calidad
(MCC) [2,3] as como Seis Sigma [15].
pgina 17

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Los laboratorios generalmente carecen de:


Estndares de la Calidad (SC): metas definidas de la calidad, objetivos
y requisitos de los clientes, y
Planeamiento de la Calidad (PC): metodologa y destrezas para construir
la calidad deseada en los procesos de laboratorio.
Si estos requisitos de la calidad y los planeamientos para alcanzarlos no han
sido especificados, la calidad no est siendo realmente gestionada. En cambio, lo
que sucede, es lo que sucede. Es como en los dibujos animados donde Lucky Eddy
y Hagar El Horrible estn en un bar. Hagar le pregunta a Lucky Eddy qu va a
beber y Lucky Eddy le contesta Lo de siempre. Hagar le pregunta Qu es lo
de siempre? y Lucky Eddy le responde Es lo que bebo siempre. En laboratorios
al servicio de la salud, a pesar de las supuestamente bien establecidas prcticas
de gestin de PCL, CC, EC y MTC, lo que pasa con la calidad es generalmente
lo que ha pasado antes. Para gestionar realmente a la calidad, los laboratorios
deben definir la calidad que es requerida e implementar los procesos sistemticos para validar el desempeo del mtodo, seleccionar los procedimientos de
control estadstico interno de la calidad apropiados y monitorear el desempeo
del proceso de manera objetiva y en forma cuantitativa.

Una breve historia sobre los Estndares de la calidad


En realidad, hay una larga historia de debates sobre estndares de la calidad
en la literatura de la qumica clnica. Comenzando en 1963, un qumico clnico
canadiense de nombre David Tonks, sugiri que los errores que son permitidos
en un examen deberan ser relacionados con el ancho del intervalo de referencia
(en ese momento llamado rango normal) [4]. Un examen que tenga un intervalo
de referencia estrecho debera tener tambin alta precisin para distinguir si
un paciente era normal o no. Tonks recomend que el error permitido para
un examen no debiera ser mayor de un cuarto del rango normal.
En 1968, el doctor Roy Barnett, un patlogo clnico, investig la relacin
entre el desempeo a nivel de precisin de los mtodos de laboratorio y el uso
clnico y la interpretacin de los resultados de los exmenes por parte de los
mdicos. En su famoso artculo acerca de El significado mdico de los Resultados del Laboratorio [5], Barnett brind lineamientos especficos para las desviaciones estndar permitidas mdicamente (S) para muchos de los exmenes
de laboratorio de rutina.
Debido a que Tonks defini a la calidad deseada en la forma de un error
permitido, y Barnett lo hizo en la forma de una desviacin estndar permitida,
hubo desacuerdo acerca del modo correcto de dar formato a las recomendaciones
pgina 18

Westgard QC, Inc., Copyright 2013

para los estndares de la calidad. En 1976, el College of American Pathologists


(CAP) convoc a una conferencia para debatir las metas analticas. Como yo
era un joven qumico clnico que haba escrito artculos sobre la evaluacin de
mtodos y la necesidad de estndares de la calidad para juzgar la aceptabilidad
de nuevos mtodos, fui invitado a esta conferencia para exponer. Propuse el
concepto de error total y el uso del error total permitido como el mejor formato
para definir a la calidad, pero me encontr en el lado opuesto del pensamiento
de los bien establecidos qumicos y patlogos clnicos. Los debates de esta Conferencia de Aspen brindan algunos vistazos de los altercados y desacuerdos
[6]. stos continuaron por muchos aos e inhibieron la aplicacin prctica de
cualquier forma de estndar de la calidad en los laboratorios clnicos. Durante
este tiempo, el concepto error total se consolid y fue aceptado en los laboratorios clnicos. Finalmente en 1999, la Conferencia de Consenso de Estocolmo
convoc a muchos expertos en el campo para establecer especificaciones de la
calidad analtica globales [7]. El resultado fue una recomendacin para una
jerarqua de especificaciones de la calidad para priorizar la fuente preferida
de informacin, como sigue:
La evaluacin del efecto del desempeo analtico de resultados clnicos
en un marco clnico especfico;
La evaluacin del efecto del desempeo analtico en las decisiones clnicas
en general:
Informacin basada en componentes de variacin biolgica,
Informacin basada en el anlisis de opiniones de clnicos;
Recomendaciones profesionales publicadas:
De grupos expertos nacionales e internacionales;
De grupos expertos locales o individuos
Metas de desempeo establecidas por
Entes regulatorios;
Organizadores de Programas de la Evaluacin Externa de la Calidad
(PEEC);
Metas basadas en el estado actual de la tcnica:
Tal como se demuestra en la informacin proveniente de la programas
de evaluacin externa de la calidad o de esquemas de evaluacin de
la competencia;
Como se encuentra en la publicaciones actuales de metodologa.

pgina 19

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Cuando estn disponibles y cuando sean apropiado para el propsito deseado, se preferirn los modelos ms altos en la jerarqua a los modelos de
niveles ms bajos [7]. Por lo tanto, se prefieren los modelos especficos clnicos
a los modelos clnicos generales, los cuales a su vez son preferidos por sobre las
recomendaciones de grupos expertos, el criterio de Esquemas de Evaluacin
de la Competencia o programas de Evaluacin Externa de la Calidad y los
lineamientos del estado actual de la tcnica (estado del arte). En la prctica,
sin embargo, un laboratorio quizs debe satisfacer requisitos regulatorios, que
entonces tienen prioridad sobre los modelos clnicos y las metas biolgicas, an
si el criterio de los Esquemas de Evaluacin de la Competencia y Programas
de Evaluacin Externa de la Calidad se encuentra por debajo en la jerarqua.
Una nota final: la terminologa vara ampliamente a travs del tiempo entre
los cientficos, de un texto a otro, entre profesiones, entre partes involucradas en
regular a la calidad, entre pases, entre continentes, en el mundo entero. Uno
debe adaptarse a nombres y trminos diferentes al leer, estudiar e investigar
la literatura como gua. Yo tiendo a utilizar los trminos metas de la calidad
y requisitos de la calidad como sinnimos de estndares de la calidad y
reservar el trmino especificaciones para la precisin y exactitud necesarias
para alcanzar la meta como en especificaciones operativas. Pero muchos de
mis artculos anteriores muestran el uso de estndares de la calidad como se
refleja en este libro. Perdn por la confusin, pero es una parte integral en la
historia de los estndares de la calidad.

Ponerse en marcha con los estndares de la calidad


Nuestro objetivo aqu no es que usted se transforme en un experto en el tema de
estndares de la calidad, sino ayudarlo a que comience a aprender acerca de los
estndares de la calidad y asegurarnos que usted conoce las diferentes fuentes
de informacin que estn convenientemente disponibles. No existe un solo y
nico modo de definir a la calidad necesaria para un examen de laboratorio,
aun cuando hay feroces debates a favor y en contra de ciertos tipos de requisitos
de la calidad. Se necesitan diversos tipos de estndares de la calidad para el
manejo de la calidad en diferentes momentos del proceso, tales como criterios
con orientacin clnica que reflejan cambios clnicamente importantes en los
resultados de los exmenes, criterios con orientacin analtica, que describen el
error analtico total permitido en los resultados de los exmenes, y especificaciones
operativas analticas que describen la imprecisin permitida, el sesgo permitido
y el control estadstico interno de la calidad necesario para detectar errores
clnicamente importantes en el proceso de examen.

pgina 20

Westgard QC, Inc., Copyright 2013

Cambios
Clnicos
Importantes

Metas de
Clasificacin
Diagnstica
Metas
Biolgicas
Individuales

Criterio a partir de
Resultados Cnicos (Dint.)

Metas de Desempeo
Smax., Sesgomax.

Estado
del Arte

Criterios de
Esquemas de
Evaluacin de la
Competencia

Metas
Biolgicas
Totales

Criterio a partir de
Resultados Analticos (TEa)

Especificaciones de Operacin
(Sprom.,Sesgoprom.,Reglas de Control, N )

Control
Arbitrario

La figura adjunta muestra las relaciones entre ciertos tipos de recomendaciones y diferentes tipos de criterios de la calidad. Comenzando por la parte
superior de la figura, los cambios clnicamente importantes en los resultados de
los exmenes pueden ser definidos por medio de lineamientos de tratamiento
estndar (vas clnicas, lineamientos clnicos prcticos, etc.) para establecer criterios con fundamentos clnicos (o intervalos de decisin, Dint). Dichos criterios
clnicos pueden ser convertidos en especificaciones operativas de laboratorio
para la imprecisin (Sprom.), inexactitud (sesgoprom.), y Control Estadstico Interno
de la Calidad (reglas de control, N) por un modelo clnico de planificacin de la
calidad [8] que toma en cuenta factores pre-analticos, tales como variabilidad
biolgica individual o intra-individuo(Sintra Ind.).
El lado derecho de la figura muestra cmo los criterios de Esquemas de
Evaluacin de la Competencia o Programas de Evaluacin Externa de la Calidad definen los criterios con fundamentos analticos en la forma de errores
totales permitidos (TEa), los cuales pueden ser convertidos en especificaciones
operativas de laboratorio para la imprecisin (Sprom.), inexactitud (sesgoprom.), y
Control Estadstico Interno de la Calidad (reglas de control, N) por medio de
un modelo de planificacin de la calidad analtica [9]. Ntese que el error total
permitido tambin puede ser establecido en base a metas biolgicas totales
que pueden estar basadas en datos poblacionales o individuales, por lo tanto la
pgina 21

Validacin Bsica de Mtodos, Edicin Wallace Coulter

base de datos extensiva de variabilidad biolgica individual puede tambin ser


usada en esta situacin [10].
El lado izquierdo de la figura muestra cmo los criterios de desempeo para
la imprecisin e inexactitud pueden ser definidos como metas analticas separadas
para la mxima imprecisin y sesgo que seran permitidos para el desempeo
estable del mtodo. Las especificaciones para la imprecisin mxima pueden ser
derivadas considerando la variabilidad biolgica intra-individuo [11]. El sesgo
mximo permitido puede ser derivado de modelos de clasificacin de diagnstico
[12]. Los laboratorios pueden utilizar estos criterios de desempeo individuales
relacionando el desempeo del mtodo observado con el valor mximo permitido,
calculando el error de tamao crtico que necesita ser detectado para mantener
un desempeo satisfactorio y luego seleccionando procedimientos de Control
Estadstico Interno de la Calidad apropiados por medio del uso de grficos de
funcin de potencia.
La parte inferior de la figura muestra qu pasa en la ausencia de estndares
definidos de la calidad. El desempeo analtico del estado de la tcnica (estado
del arte) establece las especificaciones para la imprecisin y la inexactitud ya
que los fabricantes fijan los objetivos de desempeo de sus productos en base al
desempeo necesario para poder ser competitivos en el mercado. Se establece
entonces un control arbitrario en lugar del control estadstico interno de la calidad necesario porque las prcticas de Control Estadstico Interno de la Calidad
son establecidas en base a lineamientos de la prctica profesional, regulatorios
o de acreditacin.

Fuentes convenientes de estndares de la calidad


Los criterios obtenidos a partir de Esquemas de Evaluacin de la
Competencia o Programas de Evaluacin Externa de la Calidad ofrecen un
listado de requisitos analticos de la calidad para un desempeo aceptable
que han sido definidos en CLIA (por sus siglas en ingles Enmiendas
para el Mejoramiento de los Laboratorios Clnicos). Esta informacin
est fcilmente disponible y puede ser utilizada al validar el desempeo
de mtodos analticos.
Vase Apndice 1 o http://www.westgard.com/clia.htm.
Tambin se encuentra disponible informacin acerca de los cambios
clnicamente importantes en los resultados de exmenes, aunque dicha
informacin debe ser interpretada cuidadosamente si va a ser utilizada
para validar el desempeo de mtodos analticos.
Vase http://www.westgard.com/clinical.htm
pgina 22

Westgard QC, Inc., Copyright 2013

Puede consultarse una base extensiva de datos en lnea que sintetizan todos
los estudios disponibles de variabilidad biolgica y ofrecen recomendaciones
para las especificaciones de precisin, sesgo y error total. Esta base de
datos es una actualizacin del trabajo original publicado por la doctora
Carmen Ricos y sus colegas espaoles [13]. Para el debate concreto de
variabilidad biolgica, vase el libro del doctor Callum Fraser [14].
Vase http://www.westgard.com/biodatabase1.htm
Tambin puede consultar recomendaciones europeas anteriores para
metas biolgicas para impresin e inexactitud, as como errores totales
biolgicos permitidos basados en variabilidad biolgica individual o intraindividuo.
Vase http://www.westgard.com/europe.htm

Cul es el punto?
La validacin de mtodos debera ser un proceso estndar en su laboratorio.
Debera ser parte de sus procedimientos operativos estndar para realizar el
trabajo en su laboratorio. Eso significa tener un protocolo que defina un conjunto
estndares de procedimientos experimentales, modos estndar de recolectar y
analizar la informacin y una manera estndar de juzgar la aceptabilidad de un
nuevo mtodo. Y esa decisin de aceptabilidad va a depender de la definicin
de un estndar de la calidad que brinde una declaracin objetiva sobre que tan
bueno debe ser un examen! Un punto de partida prctico para los estndares
de la calidad podra ser seleccionar algn requisito de la calidad regulatorio
que defina criterios de desempeo aceptable como los requisitos de CLIA para
los Esquemas de Evaluacin de la Competencia. Pero el nmero de exmenes
en el listado de CLIA es limitado y ser necesario consultar otras fuentes y
recomendaciones, tales como aquellas basadas en la variabilidad biolgica intraindividuo y entre-individuos y, cuando se hallen disponibles, requisitos basados
en el uso clnico deseado de los exmenes de laboratorio.
Estas lecciones acerca de la validacin de mtodos le ensearn un proceso
estndar, aprender cmo realizar los experimentos apropiados y recoger la
cantidad necesaria de informacin y cmo analizar esa informacin de manera
analtica y grfica para interpretar crticamente los resultados experimentales.
Una decisin objetiva sobre la aceptabilidad de cualquier mtodo depender
de la capacidad de definir un estndar de la calidad para ese examen. Esa es
quizs la evaluacin ms crtica y difcil de hacer, pero una vez que se tiene esa
informacin, la decisin acerca del desempeo del mtodo es simple y directa.

pgina 23

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Tendencias y orientaciones
El foco aqu est puesto en el proceso bsico para el manejo de la calidad y la
informacin actualmente disponible sobre los estndares de la calidad. Pero por
supuesto, las cosas cambiarn y evolucionarn y es de esperar que haya nuevas
tendencias y orientaciones.
En primer lugar, los criterios CLIA para el desempeo aceptable fueron
formulados originalmente en 1992 y no han sido an actualizados. Se espera
que el listado CLIA de analitos regulados cambie, tanto los analitos en el listado como los valores numricos para los criterios de desempeo aceptable. Las
regulaciones CLIA incluyen una disposicin para actualizar estos criterios pero
CDC/CMS no ha hecho cambios en los primeros quince aos. Mientras tanto,
los exmenes en los laboratorios han avanzado, pero no hay criterios CLIA para
exmenes importantes como HbA1c, cTn y PSA y nuevos exmenes como hsCRP.
Es obvio que se necesitan cambios.
En segundo lugar, hay que tener en cuenta que siempre hay nuevas
propuestas. La gestin tiende a estar a la moda, siempre buscando Nuevas
formas que traern Nuevos beneficios. Lo mismo aplica para la gestin de la
calidad. Hoy en da los laboratorios pueden tener programas para La Gestin
Total de la Calidad, Seis Sigma, Lean, Seguridad del Paciente, Anlisis de Riesgos
e Indicadores de la Calidad. Pueden seguir lineamientos de CLSI (Instituto de
Estndares de Laboratorios Clnicos, por sus siglas en ingls)) y de ISO (Organizacin Internacional de Estndares, por sus siglas en ingls). Estn sujetos a
inspecciones de una variedad de acreditadores, tales como CMS (Centros para
Servicios de Cuidado y Ayuda Mdica), CAP (Colegio de Patlogos Americanos),
JC (Comisin Conjunta para la Acreditacin de Organizaciones al Cuidado de
la Salud), y COLA (originalmente llamada la Comisin para la Acreditacin de
Laboratorios). Desde mi punto de vista, todas estas propuestas, programas y
lineamientos son herramientas que deberan ser integradas al proceso bsico de
gestin de la calidad descripto aqu, en vez de ser sustituidas por este proceso
bsico.

pgina 24

Westgard QC, Inc., Copyright 2013

Referencias
1. Westgard JO, Barry PL. Total quality control: Evolution of quality management
systems. Laboratory Medicine 1989;20:377-384.
2. Westgard JO, Barry PL. Beyond quality assurance: Committing to quality improvement.
Laboratory Medicine 1989;20:241-247.
3. Westgard JO, Burnett RW, Bowers GN. Quality management science in clinical
chemistry: a dynamic framework for continuous improvement of quality. Clin Chem
1990;36:1712-1716.
4. Tonks DB. A study of the accuracy and precision of clinical laboratory determinations
in 170 Canadian laboratories. Clin Chem 1963;9:217-233.
5. Barnett RN. Medical significance of laboratory results. Am J Clin Path 1968;50:671-676.
6. 1976 Aspen Conference on Analytical Goals in Clinical Chemistry.
7. Hyltoft Petersen P, Fraser CG, Kallner A, Kenny D. Strategies to set global
analytical quality specifications in laboratory medicine. Scand J Clin Lab Invest
1999:59:No.7(Nov).
8. Westgard JO, Hyltoft Petersen P, Wiebe DA. Laboratory process specifications for
assuring quality in the U.S. National Cholesterol.
9. Westgard JO, Wiebe DA. Cholesterol operational process specifications for assuring
the quality required by CLIA proficiency testing. Clin Chem 1991;37:1938-1944.
10. Hyltoft-Petersen P, Ricos C, Stockl D, Libeer J-C, Baadenhuijsen H. Fraser CG,
Thienpont L. Proposed guidelines for the internal quality control of analytical
results in the medical laboratory. Eur J Clin Chem Clin Biochem 1996;34:983-999.
11. Fraser CG, Hyltoft Petersen P, Ricos C, Haeckel R. Proposed quality specifications
for the imprecision and inaccuracy of analytical systems for clinical chemistry. Eur
J Clin Chem Clin Biochem 1992;30:311-317.
12. Klee GG. Tolerance limits for short-term analytical bias and analytical imprecision
derived from clinical assay specificity. Clin Chem 1993;39:1514-1518.
13. Ricos C, Alvarez V, Cava F, Garcia-Lario JV, Hernandez A, Jimenez CV, Minchinela
J, Perich C, Simon M. Current databases on biological variation: pros, cons and
progress. Scand J Clin Lab Invest 1999;59:491-500.

pgina 25

Validacin Bsica de Mtodos, Edicin Wallace Coulter

14. Fraser C. Biologic Variation: From principles to practice. AACC Press, Washington
DC, 2001.
15. Westgard JO. Six Sigma Quality Design and Control: Desirable precision and
requisite QC for laboratory testing processes. Second Edition. Madison, WI:Westgard
QC, Inc., 2007.

pgina 26

Westgard QC, Inc., Copyright 2013

3: Cul es el propsito de un estudio de


validacin de mtodos?

El Dr. Westgard revela el significado secreto ms interno, escondido y profundo


de la validacin de mtodos. El conocimiento de este significado debera hacer
todo el proceso de validacin de mtodos ms racional y entendible.

Objetivos:
Comprender qu estudios de validacin de mtodos se deben estudiar.
Reconocer las deficiencias potenciales de la estadstica en los estudios de
validacin de mtodos.
Identificar los diferentes tipos de errores analticos que necesitan ser
evaluados.

Materiales del captulo:


VM El significado Secreto ms Interno, Escondido y Profundo,
por James O. Westgard, PhD

Cosas qu hacer:
Estudiar la leccin.
Revisar un artculo de validacin de mtodos de la literatura cientfica.

pgina 27

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cules son los dos tipos principales de errores analticos?
Qu se entiende por Error Total?
Cmo se relaciona el Error Total con los tipos de errores bsicos?
Cmo describe la literatura los errores de un mtodo?
Qu estadsticos se emplean en un informe de validacin de mtodos?
Cmo se vinculan las conclusiones del informe con los errores del mtodo?

pgina 28

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
El Significado Secreto ms Interno,
Escondido y Profundo
James O. Westgard, PhD

En el primer ao de escuela, tuve un profesor de ingls que me ense algo que


nunca he olvidado. l siempre preguntaba, cul es el significado secreto ms
interno, escondido y profundo de lo que estn escribiendo? En otras palabras,
qu ests tratando realmente de alcanzar? Ser mejor que lo descubras si ests
esperando que alguien ms lo comprenda. En verdad, puedes escribir acerca de
algo, pero tienes que ser realmente claro en lo que quieres lograr, si esto no es
as, le verdadero si propsito y significado permanecer oculto.
La verdadera sorpresa lleg en mi primer trabajo como qumico clnico
cuando comenc a evaluar el desempeo de un nuevo equipo de qumica de
ensayos mltiples. Estudi toda la literatura cientfica existente que proveen
los lineamientos para realizar estudios de validacin de mtodos (VM), pero
no estaba en absoluto claro cmo decir si un mtodo era o no aceptable. Nadie
deca el secreto! Y ese secreto es de suprema importancia para evaluar un mtodo apropiadamente. Claro, puedes recolectar algunos datos, calcular algunas
estadsticas y proveer algo de papeleo en una carpeta para mostrarlo a un
inspector de laboratorios, pero es esta la razn por la que realmente lo haces?
En tanto que no afirmar que mi profesor de ingls me hizo un mejor escritor
(tampoco lo pueden culpar ustedes), me hizo un mejor cientfico ayudndome a
buscar el significado ms profundo y el propsito real de lo que hago. Cul es
el propsito verdadero de la validacin de mtodos? Cul es el problema que
estamos tratando de resolver? Brinda la prctica actual soluciones correctas?
Existe una forma mejor de hacer esto? Cmo sabes cul es la forma correcta
de validar el desempeo de un mtodo?

El Secreto Revelado
Aqu est el significado secreto ms interno, escondido y profundo de la
validacin de mtodos (y no tienes que leer ms all para entender el mensaje):
EVALUACIN DE ERRORES. Uno quiere estimar que tanto error podra estar
presente en el resultado de un examen producido por un mtodo en su laboratorio.
Con esta informacin, entonces usted quiere asegurar que la magnitud del
error no afectar la interpretacin del resultado del examen y comprometer el
cuidado del paciente. Si los errores observados son tan grandes que causarn
una interpretacin incorrecta, el mtodo no es aceptable. Para que sea aceptable,
pgina 29

Validacin Bsica de Mtodos, Edicin Wallace Coulter

los errores observados necesitan ser pequeos en relacin a los cambios que
causarn un cambio en la interpretacin de un resultado de un examen.
Un enfoque en los errores analticos es la clave para todo proceso de validacin de mtodos. Qu tipos de errores analticos pueden ocurrir en un mtodo
de laboratorio? Qu experimentos pueden proveer datos acerca de estos errores?
Cul es el mejor modo de llevar a cabo esos experimentos para evaluar los
errores? Cuntos datos necesitan ser recolectados para obtener buenas estimaciones del error evaluado? Qu estadstica estima mejor el tamao de estos
errores a partir de los datos experimentales? Qu tamao de error es permitido
sin afectar la interpretacin de un examen y comprometer el cuidado del paciente?
La validacin de mtodos guarda estrecha relacin con la evaluacin de errores ese es el secreto!

Una prueba rpida


El coeficiente de correlacin es un estadstico que casi siempre se calcula y se
informa para describir los resultados de un estudio de comparacin de mtodos.
Un valor de 1.000 indica una correlacin perfecta entre los resultados de dos
mtodos. Otras estadsticos (tales como pendiente, ordenada al origen y desviacin
estndar de las diferencias) tambin pueden ser calculados a partir de los mismos
datos para estimar el tamao de error presente entre los dos mtodos. Cules
son ms tiles?
Considere la siguiente situacin.
Aqu hay un nuevo mtodo de colesterol
donde los resultados de un estudio de
comparacin de mtodos dieron un coeficiente de correlacin de 0.999, que
es muy cercano al valor ideal de 1.000.
Suena bastante bien, no es as? Qu
tan cercanos son los resultados entre
los dos mtodos? Es aceptable el nuevo
mtodo? Permitame darle un poco de
informacin adicional.
Aqu est el grfico de los resultados
del examen del nuevo mtodo frente a
los del mtodo de comparacin. Ntese
primero que el coeficiente de correlacin
muestra que los resultados son cercanos a la mejor lnea de ajuste entre los
mtodos; no se muestra que los valores
obtenidos a partir del mtodo de prueba
sean iguales a los obtenidos por el mpgina 30

Westgard QC, Inc., Copyright 2013

todo de comparacin. El grfico muestra que casi todos los valores del nuevo
mtodo son sistemticamente ms altos por 15 mg/dL. Esta informacin de
que hay un error sistemtico de 15 mg/dL le ayuda a tomar una decisin sobre
la aceptabilidad del nuevo mtodo? No se ve tan bien ahora, verdad? Siendo el
error de 15 mg/dL puede ser limitada la utilidad de los resultados producidos
por el nuevo mtodo.
Como profesionales del laboratorio comprendemos intuitivamente los errores y tenemos un sentido de cmo stos podran afectar la interpretacin de
los resultados de los exmenes y el cuidado de los pacientes. No tenemos el
mismo sentido respecto a la estadstica! Es por esto que las estadsticas deben
ser usadas para estimar los errores que son significativos para nosotros [1] - este
es un segundo secreto importante y se ver con mayor detalle ms adelante.
De este sencillo ejemplo, usted podr reconocer la dificultad en la interpretacin del coeficiente de correlacin, ya que no brinda por si solo una estimacin
til de los errores analticos. La informacin acerca del tamao de los errores
analticos es ms til a la hora de juzgar el desempeo de un mtodo [2]. El
hecho de que el coeficiente de correlacin se calcula comnmente no lo hace
til. Slo muestra que la gente no sabe el secreto de la validacin de mtodos!

Errores analticos
Enfoqumonos en los errores analticos y asegurmonos de que tenemos un
entendimiento general de los diferentes tipos de errores que necesitan ser
estimados. Aqu hay una lista de trminos que
podra necesitar entender: error aleatorio o
imprecisin, error sistemtico o inexactitud,
error constante, error proporcional y error total.
Error aleatorio , EA, o Imprecisin
El error aleatorio es descrito como un
error que puede ser tanto positivo como negativo,
cuya direccin y magnitud exacta no pueden
ser predichas, como se muestra en la figura a
la derecha, por la distribucin de los resultados
de las mediciones repetidas efectuadas sobre un
espcimen nico.
La imprecisin es usualmente cuantificada
calculando la desviacin estndar (S) de los resultados de un conjunto de mediciones repetidas.

pgina 31

Validacin Bsica de Mtodos, Edicin Wallace Coulter

La S usualmente se incrementa conforme se incrementa la concentracin,


por lo que es generalmente til calcular el coeficiente de variacin (CV) para
expresar la S como un porcentaje de la concentracin media del estudio de repetibilidad. El tamao mximo de un error aleatorio es expresado comnmente
como un estimado de 2 S 3 S para ayudar a comprender el tamao potencial
del error que podra ocurrir.
Error Sistemtico, ES, o Inexactitud
Un error sistemtico es un error que
siempre va en una direccin, como se muestra
en la figura a la derecha, donde un cambio
sistemtico desplaza la media de la distribucin de su valor original. En contraste a
los errores aleatorios que pueden ser tanto
negativos como positivos y cuya direccin no
puede ser predicha, los errores sistemticos
son en una sola direccin y causan que todos
los resultados de exmenes sean altos o bajos.
Qu tan altos o qu tan bajos puede
ser descrito por el sesgo, que es calculado
como la diferencia promedio, o la diferencia
entre los promedios de los valores obtenidos a partir del mtodo de examen y los
valores obtenidos a partir de un mtodo
de comparacin en un experimento de
compracin de mtodos. Alternativamente, la diferencia sistemtica esperada
puede ser predicha a partir de la ecuacin de la lnea que mejor se ajusta a la
proyeccin grfica de los valores obtenidos a partir del mtodo de examen en
el eje de las ordenadas Y contra los valores obtenidos a partir del mtodo de
comparacinen el eje de las abscisas X. El ES puede mantenerse constante
en un rango de concentraciones, en cuyo caso puede ser llamado tambin error
sistemtico constante, o puede variar al cambiar la concentracin, en cuyo caso
se le puede llamar error sistemtico proporcional.
Error Total, ET
El error total es el efecto neto o combinado de los errores aleatorios y
sistemticos, como se muestra en la figura abajo. Representa el peor caso
de una situacin, o slo qu tan errneo puede ser el resultado de un examen
debido a ambos errores, aleatorio y sistemtico. Dado que los laboratorios hacen tpicamente slo una medicin por cada examen, esa medicin puede tener
error producto del ES esperado, o sesgo, ms 2 3 S, dependiendo de cmo se
cuantifique el efecto del EA.
pgina 32

Westgard QC, Inc., Copyright 2013

Mientras que en el laboratorio nos gusta pensar en la imprecisin y la


inexactitud como errores separados, el mdico y el paciente experimentan el
efecto total de los dos, o sea el error total. El error total provee una medida
orientada al cliente o consumidor del desempeo del examen, lo que lo hace el
parmetro ms importante al juzgar la aceptabilidad de los errores analticos.

Cul es el punto?
Debe entender el por qu de la validacin de mtodos para entender cmo
debera ser efectuada la validacin de mtodos! El por qu define el propsito,
que es determinar la cantidad de error que podra ocurrir con un mtodo. El
cmo define los protocolos experimentales y los procedimientos de anlisis de
datos que proveen los estimados de los errores que podran ocurrir con el nuevo
mtodo. La validacin de mtodos guarda estrecha relacin con los errores!
Las regulaciones de laboratorio en los E.U.A. requieren que el desempeo
del mtodo para cualquier nuevo mtodo sea verificado previo a reportar los
resultados de los exmenes de los pacientes. Bajo la Regla Final de CLIA,
los laboratorios deben verificar el rango reportable, la precisin, la
exactitud y los intervalos de referencia para todos los mtodos nonwavived implementados despus del 24 de abril de 2003. Para los mtodos
desarrollados en el propio laboratorio o modificados por el laboratorio, tambin
deben ser verificadas las caractersticas adicionales de sensibilidad analtica
(lmite de deteccin) y de especificidad analtica (interferencia, recuperacin).
pgina 33

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Tambin son apropiados estudios de intervalos de referencia ms extensivos.


La responsabilidad de la verificacin o validacin de mtodos, por lo tanto, an
reside en cada laboratorio. Mientras que los fabricantes usualmente recolectarn datos de validacin de mtodos durante la instalacin de nuevos sistemas
analticos, el laboratorio an es responsable de ver que se hayan recolectado los
datos adecuados y que estos datos muestren que los nuevos mtodos brindan
un desempeo aceptable en el laboratorio.

Tendencias y Direcciones
Los esfuerzos para proveer estndares mundiales de prcticas de laboratorio
van a cambiar los trminos y conceptos que usamos. ISO, la Organizacin de
Estndares Internacionales (International Standards Organization), provee
lineamientos especficos para los laboratorios dedicados al cuidado de la salud
en su documento 15189 Laboratorios de Anlisis Clnicos Requisitos
particulares para la calidad y la competencia [3]. Cubriremos ste tema
con mayor detalle en el captulo 21. Por ahora, mencionemos brevemente lo que
evoca el enfoque de ISO:
Cuando se describen el desempeo de los procedimientos y la fiabilidad de
sus resultados, debe usarse la terminologa de ISO. Los resultados deben
ser comparables universalmente y esto requiere trazabilidad metrolgica,
la incertidumbre concomitante que indica fiabilidad debera ser obtenida de
manera universal y transparente, y debera ser combinable. [4]
Los conceptos y la terminologa preferidos por la ISO son veracidad e
incertidumbre. La veracidad es utilizada para describir la proximidad entre
la medida un nmero de valores infinitos medidos y un valor de referencia.
Esto es equivalente a los trminos sesgo y error sistemtico en este captulo.
La incertidumbre de medicin es usada por la ISO para describir un parmetro no negativo que caracteriza la dispersin de los valores atribuidos a un
mensurando a partir de la informacin que se utiliza, donde el mesurando se
refiere al analito o al examen particular. La incertidumbre describe un rango de
valores que corresponde a un resultado dado, por ejemplo, un resultado de 200
podra tener una incertidumbre estndar (S, CV) de 4 unidades o 2%, indicando que un valor de 200 representa una incertidumbre expandida de 192 a
208 unidades (intervalo de confianza de 95% o 2 S). Este concepto suena y luce
similar a la precisin, pero el estimado de la incertidumbre tambin incorpora
cualquier sesgo o veracidad; as, es de hecho ms cercano a la idea de error total.
Estos conceptos de veracidad e incertidumbre vienen del mundo de la
metrologa, donde se provee a los clientes con productos que tienen valores target ((blanco, verdaderos o diana) asignados junto con la incertidumbre asociada
pgina 34

Westgard QC, Inc., Copyright 2013

a la estimacin de ese valor target ((blanco, verdadero o diana). El enfoque de


la ISO espera que los clientes sepan el significado de incertidumbre. El mundo
de los laboratorios clnicos es diferente. Los clientes, mdicos y pacientes, no
necesariamente poseen el conocimiento sobre la ciencia de las mediciones y la
incertidumbre en los resultados de los exmenes. Sera mejor si los laboratorios
controlaran sus mtodos analticos para verificar el cumplimiento de la calidad
clnica pretendida de los resultados, pero en ausencia de esto, ser necesario informar al cliente de la duda real de los resultados reportados. La incertidumbre
de medicin es casi seguramente una parte de sus responsabilidades futuras.

Referencias
1. Westgard JO, Hunt MR. Use and interpretation of common statistical test
in method comparison studies. Clin Chem 1973;19:49-57.
2. Westgard JO, Carey RN, Wold S. Criteria fot judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825-33.
3. ISO/FDIS 15789 Medical Laboratories Particular requirements for quality
and competence.2003. International Organization for Standards, Geneva
Switz. (Note that 2 edition of 15189 was published in 2007 and 3 edition
is expected to be released by the end of 2008.)
4. Dybkaer R. Setting quality specifications for the future with newer approaches
to defining uncertainty in laboratory medicine. Scand J Clin Lab Invest
1999;37:579-584.

pgina 35

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 36

Westgard QC, Inc., Copyright 2013

4: Cules son los requisitos regulatorios para


la validacin de mtodos?

La Dra. Sharon S. Ehrmeyer revisa los lineamientos de CLIA (Clinical Laboratory


Improvement Amendments) del gobierno de E.U.A. que relacionan los requisitos
de validacin de mtodos con la complejidad de los exmenes de laboratorio.
Tambin describe los requisitos de validacin de mtodos de las organizaciones
profesionales de acreditacin tales como el College of American Pathologists
(CAP) y la Joint Comission (JC).

Objetivos:
Clasificar los exmenes de laboratorio en base a las guas de complejidad
de CLIA.
Relacionar la clasificacin de la complejidad de un examen con los estudios
experimentales requeridos para validar o verificar las caractersticas de
desempeo de un mtodo de laboratorio.
Comparar los requisitos regulatorios y de acreditacin para la validacin
de mtodos.

Materiales del captulo:


VM Las regulaciones, por Sharon S. Ehrmeyer, PhD

Cosas qu hacer:
Estudiar la leccin.
Acceder a la pgina web de CLIA para encontrar la ltima clasificacin
de exmenes: http://www.cms.gov/clia/.

pgina 37

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cul es la clasificacin de los procedimientos de examen considerando
su complejidad que es empleada por CLIA para establecer los requisitos
para la validacin de mtodos?
Cules son los requisitos para la validacin de mtodos waived?
Cules son los requisitos para la validacin de mtodos non-waived
aprobados por la FDA?
Cules son los requisitos para la validacin de mtodos non-waived no
aprobados por la FDA o modificados por el laboratorio?

pgina 38

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Las regulaciones
Sharon S. Ehrmeyer, PhD
Hasta que la Regla Final de CLIA fue publicada, muchos laboratorios escapaban
a los requisitos de validacin del desempeo de sus mtodos. Las reglas del 28 de
febrero de 1992 [1] brindaron una excepcin para los laboratorios que llevaban a
cabo exmenes moderadamente complejos usando mtodos y sistemas analticos
no modificados aprobados por la FDA. Estos laboratorios podan aceptar las
especificaciones de desempeo del fabricante en lugar de realizar estudios de
validacin de mtodos ellos mismos. Todo esto cambi el 24 de enero de 2003
con la emisin de la Regla Final de CLIA [2]. Ahora TODOS los mtodos de
examen non-waived (de complejidad moderada y alta) requieren una validacin
de desempeo realizada en el propio laboratorio. Los CMS (Centers for Medicare
& Medicaid Services) otorgaron un periodo educacional durante el cual no se
entregaron citaciones, pero desde el 1 de enero de 2008, los requisitos de validacin
de mtodos deben ser cumplidos o el laboratorio ser citado por deficiencias en
esta rea.
Si bien CLIA establece los requisitos mnimos de examen, los laboratorios
pueden escoger entre cumplir los requisitos (los cuales podran ser ms estrictos)
de organizaciones de acreditacin con estatus CLIA, tales como la Joint Commission (JC) [3], College of American Pathologists (CAP) [4], y COLA (anteriormente la Commission on Office Laboratory Accreditation) [5]. Tambin hay
organizaciones de laboratorios estatales de salud en Washington y Nueva York,
las cuales estn aprobadas por el gobierno (tienen estatus de exentos) y que
imponen requisitos especficos. Adems, siempre es importante mantener en
mente aquellas prcticas que se esperara formaran parte de la responsabilidad
profesional y buenas prcticas del laboratorio.

Sistemas de la Calidad y los Procesos Totales de


Examen
La Regla Final de CLIA se enfoca en los sistemas de la calidad, un trmino
nuevo en esta revisin. Los CMS identifican estos componentes clave en un
sistema de la calidad:
Sistemas generales del laboratorio
Sistemas pre-analticos
pgina 39

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Sistemas analticos
Sistemas post-analticos
Todos estos componentes son importantes para asegurar la calidad de los
servicios de examen de los laboratorios. Todos deben ser controlados, monitoreados y mejorados. En la Regla Final de CLIA, el proceso de asegurar la calidad
de los servicios de examen de los laboratorios se llama evaluacin de la calidad,
ms que aseguramiento de la calidad o gestin de la calidad, como se llam en
revisiones anteriores.
Independientemente de la terminologa escogida, el intento de la Regla Final
de CLIA es promover el desarrollo, la implementacin, la entrega, el monitoreo
y la mejora de los servicios de laboratorios de alta calidad. Esto requiere de un
sistema de gestin de la calidad efectivo. En este contexto, Sistema de la Calidad se refiere a la organizacin, la estructura, los recursos, los procesos y los
procedimientos necesarios para implementar la gestin de la calidad. Proceso
significa una o ms fuentes interrelacionadas y/o actividades que transforman
entradas en salidas. Procedimiento representa una forma especfica de realizar
una actividad.
La Regla Final de CLIA est organizada alrededor del flujo de un espcimen a travs del laboratorio. A este camino se le da el trmino de proceso total
de examen e incluye los procesos y procedimientos pre-analticos, analticos y
post-analticos, como se muestra en la figura abajo.

El trmino evaluacin de la calidad es usado para abarcar ampliamente


las prcticas de medicin y monitoreo de procesos y procedimientos, incluyendo
validacin y verificacin, as como trminos relacionados tales como evaluacin,
auditora, etc. En nuestro enfoque del proceso analtico, la evaluacin de la calidad debera involucrar metodologa cientfica y anlisis (estadstica) de datos
pgina 40

Westgard QC, Inc., Copyright 2013

para proveer una comparacin objetiva del desempeo medido u observado con
las metas y los requisitos de la calidad definidos.

Requisitos generales para el control de la calidad en


los exmenes de laboratorio
Subpart K, Sistemas de la Calidad para Exmenes Nonwaived, comienza
con los siguientes requisitos generales:
493.1200 (a) Cada laboratorio que lleva a cabo exmenes non-waived debe
establecer y mantener polticas y procedimientos escritos que implementen
y monitoreen sistemas de la calidad para todas las fases del proceso total de
examen (esto es, pre-analtica, analtica y post-analtica), as como sistemas
generales del laboratorio. (b) Los sistemas de la calidad de los laboratorios
deben incluir un componente de evaluacin de la calidad que asegure la
mejora continua del desempeo del laboratorio y los servicios a travs de
un monitoreo en curso que identifique, evale y resuelva problemas. (c) Los
diversos componentes del sistema de la calidad del laboratorio son usados
para alcanzar los requisitos en esta parte y deben ser apropiados para las
especialidades y subespecialidades de los exmenes que realiza el laboratorio,
los servicios que ofrece y los clientes a quienes sirve.
493.1250, Sistemas Analticos, requiere a los laboratorios alcanzar los
requisitos para lo siguiente:
493.1251 Manual de procedimientos
493.1252 Sistemas de examen, equipos, instrumentos, reactivos,
materiales y suministros
493.1253 Establecimiento y verificacin de las especificaciones de
desempeo del mtodo
493.1254 Chequeo del mantenimiento y la funcin
493.1255 Procedimientos de calibracin y de verificacin de la calibracin
493.1256 Procedimientos de control
493.1261-1278 Requisitos de especialidad y subespecialidad
493.1281 Comparacin de los resultados de examen
493.1282 Acciones correctivas
493.1283 Registro del examen
493.1289 Evaluacin de sistemas analticos

pgina 41

Validacin Bsica de Mtodos, Edicin Wallace Coulter

En esta discusin, consideramos esos requisitos para el establecimiento y


verificacin de las especificaciones del desempeo del mtodo, esto es, validacin
de mtodos, ms la comparacin de los resultados de examen y la verificacin
de la calibracin.

Validacin de Mtodos y Complejidad de Examen


Las recomendaciones que deben ser seguidas dependen de la complejidad del
examen. La Regla Final de CLIA combin complejidades moderadas y altas
en una clasificacin Non-Waived que gobierna la validacin de mtodos. La
informacin acerca de la clasificacin de los mtodos de examen especficos est
disponible en el website de CMS en la direccin:

http://www.cms.gov/clia/

Exmenes Waived. Los requisitos mnimos para los exmenes waived (baja
complejidad) bajo CLIA es seguir las instrucciones de los fabricantes. No hay
requisitos para la validacin de mtodos.
Exmenes Non-Waived Aprobados por la FDA. La mayora de los exmenes
realizados en los laboratorios actualmente caen en esta categora, por lo
que la mayora de los estudios de validacin de mtodos deberan seguir las
recomendaciones de la seccin 493.1253:
493.1253 Establecimiento y verificacin de especificaciones de desempeo.
(a) Aplicabilidad. No se requiere a los laboratorios verificar o establecer
especificaciones de desempeo para ningn sistema de examen usado por
el laboratorio antes del 24 de abril de 2003.
(b)(1) Verificacin de las especificaciones de desempeo. Cada laboratorio
que introduce un sistema de examen no modificado, aprobado o autorizado
por la FDA, debe seguir lo siguiente antes de reportar los resultados de
exmenes de los pacientes:
(i) Demostrar que puede obtener especificaciones de desempeo
comparables a aquellas establecidas por el fabricante para las siguientes
caractersticas de desempeo:

pgina 42

(A) Exactitud.

(B) Precisin.

(C) Rango reportable de los resultados de examen del sistema de


examen.

Westgard QC, Inc., Copyright 2013

(ii) Verificar que los lmites de referencia del fabricante (valores normales)
son apropiados para la poblacin de pacientes del laboratorio.
Esto generalmente significara llevar a cabo cuatro experimentos:
El experimento de comparacin de mtodos para estimar la inexactitud
o sesgo;
El experimento de replicacin para estimar la imprecisin;
El experimento de linealidad para determinar el rango reportable;
La recoleccin de valores de referencia para verificar el intervalo de
referencia [alternativamente, el director del laboratorio clnico puede
documentar que los intervalos del fabricante o los intervalos del libro de
texto son apropiados para los clientes a quienes sirve.]
Exmenes Non-Waived Modificados o Desarrollados En Casa. Los
laboratorios que modifican exmenes de complejidad moderada o usan
exmenes desarrollados en casa o exmenes clasificados como de alta
complejidad bajo CLIA deben seguir requisitos de validacin de mtodos
ms estrictos, como sigue:
493.1253 (b)(2) Cada laboratorio que modifica un sistema de examen
aprobado o autorizado por la FDA, o que introduce un sistema de examen
no sujeto a aprobacin o autorizacin de la FDA (incluyendo mtodos
desarrollados en casa y mtodos estandarizados tales como procedimientos
de libros de texto, tincin Gram, o preparaciones de hidrxido de potasio),
o usa sistemas de examen en los que las especificaciones de desempeo no
son provistas por el fabricante, debe, antes de reportar los resultados de
los pacientes, establecer para cada sistema de examen las especificaciones
de desempeo para las caractersticas de desempeo siguientes, cuando
sean aplicables:
(i) Exactitud.
(ii) Precisin.
(iii) Sensibilidad analtica.
(iv) Especificidad analtica para incluir sustancias interferentes.
(v) Rango reportable de los resultados de examen del sistema de examen.
(vi) Intervalos de referencia (valores normales).
(vii) Cualquier otra caracterstica de desempeo requerida para el
desempeo del examen.

pgina 43

Validacin Bsica de Mtodos, Edicin Wallace Coulter

(3) Basados en las especificaciones del desempeo verificadas o establecidas


de acuerdo con los prrafos (b)(1) o (b)(2) de esta seccin, determinar la
calibracin del sistema de examen y los procedimientos de control para
los exmenes de pacientes como se requiere en 493.1255 y 493.1256.
Esto significara llevar a cabo siete experimentos diferentes:
El experimento de comparacin de mtodos para estimar la inexactitud/
sesgo;
El experimento de replicacin para estimar la imprecisin;
El experimento de linealidad para determinar el rango reportable;
El experimento de lmite de deteccin para estimar la concentracin ms
baja que puede ser medida;
El experimento de interferencia para determinar las interferencias
constantes;
El experimento de recuperacin para determinar las interferencias
proporcionales;
El estudio extensivo de valores de referencia para estimar intervalo de
referencia.
Estos estudios experimentales deben ser documentados. La seccin
493.1253(c) requiere que el laboratorio mantenga la documentacin de validacin de mtodos por al menos tanto tiempo como sea usado el mtodo.
Es importante notar que estos requisitos NO son retroactivos, lo que significa que cualquier mtodo utilizado antes de la implementacin de la Regla
Final de CLIA el 24 de abril de 2003 no necesita volver a ser verificado.

Reglas Especficas para la Calibracin y la


Verificacin de la Calibracin
Calibracin. Existen requisitos adicionales para la calibracin, como sigue:
493.1255(a) Realizar y documentar procedimientos de calibracin(1) Siguiendo las instrucciones del sistema de examen del fabricante, usando
materiales de calibracin provistos o especificados, y respetando al menos
la frecuencia recomendada por el fabricante;
(2) Usando criterios verificados o establecidos por el laboratorio como se
especifica en 493.1253 (b)(3)
pgina 44

Westgard QC, Inc., Copyright 2013

(i) Usando los materiales de calibracin apropiados para el sistema de


examen y, si es posible, con trazabilidad a un mtodo de referencia o a
materiales de referencia de valor conocido;
(ii) Incluyendo el nombre, tipo y concentracin de los materiales de
calibracin, as como los lmites aceptables y la frecuencia de calibracin; y
(3) Cada vez que falle la verificacin de la calibracin en alcanzar los lmites
aceptables del laboratorio para la verificacin de la calibracin.
En pocas palabras, esto significa que los laboratorios deben seguir las
instrucciones del fabricante para la calibracin y re-calibrar tan frecuentemente
como lo recomiende el fabricante, ms re-calibrar cada vez que falle la verificacin de calibracin.
Verificacin de la calibracin. Este es el proceso de verificar que la calibracin
permanezca estable. En muchos aspectos, el procedimiento para hacer esto es
similar al experimento para el rango reportable. Los requisitos especficos son
los siguientes:
493.1255(b) Realizar y documentar los procedimientos de verificacin de
la calibracin(1) Siguiendo las instrucciones de verificacin de la calibracin del fabricante:
(2) Usando criterios verificados o establecidos por el laboratorio bajo
493.1253(b)(3)
(i) Incluyendo el nmero, tipo y concentracin de los materiales, as como
los lmites aceptables para la verificacin de la calibracin; e
(ii) Incluyendo al menos un valor mnimo (o cero), un valor medio y un
valor mximo cercano al lmite superior del rango para verificar el rango
reportable del laboratorio de los resultados de examen para el sistema
de examen; y
(3) Al menos una vez cada 6 meses y cada vez que ocurra alguna de las
siguientes situaciones:
(i) Es introducido un cambio completo de reactivos para un procedimiento,
a menos que el laboratorio pueda demostrar que cambiar el nmero de
lote del reactivo no afecta el rango usado para reportar los resultados de
los exmenes de los pacientes, y que los valores de los controles no son
afectados adversamente por cambios en el nmero de lote del reactivo.
(ii) Hay un mantenimiento preventivo mayor o un reemplazo de las partes
crticas que podra influenciar el desempeo del examen.
pgina 45

Validacin Bsica de Mtodos, Edicin Wallace Coulter

(iii) Los materiales de control reflejan una tendencia o un cambio inusual,


o estn fuera de los lmites aceptables del laboratorio, y otros medios de
evaluar y corregir valores de los controles inaceptables fallan al identificar
y corregir el problema.
(iv) La agenda establecida del laboratorio para la verificacin del rango
reportable para los resultados del examen del paciente requiere una
verificacin de la calibracin ms frecuente.
En resumen, los laboratorios deben ya sea verificar la calibracin, o la
re-calibracin, al menos cada 6 meses, despus de un cambio en los reactivos,
despus de un mantenimiento preventivo mayor, despus del cambio de cualquier componente mayor, y en cualquier momento que haya un problema con
los resultados del control de la calidad que persista por algn tiempo.

Requisitos Adicionales para la Validacin Peridica


Finalmente, hay otros dos requisitos que podran llevar a estudios adicionales
de validacin de mtodos para ciertos exmenes.
Se requiere de una evaluacin en curso (al menos semi-anual) de la exactitud
para cualquier examen no evaluado por un esquema de evaluacin de
la competencia (PT, por sus siglas en ingls) o programa de evaluacin
externa de la calidad.
493.1236 Evaluacin del desempeo de los esquemas de evaluacin de
la competencia. (c) Al menos dos veces al ao, el laboratorio debe verificar
la exactitud de lo siguiente: (1) Cualquier examen o procedimiento que
realice no incluido en la subparte I de esta parte que es o evaluada o
calificada por esquema de evaluacin de la competencia aprobado por
CMS. (2) Cualquier examen o procedimiento listado en la subparte I de
esta parte para el que no se ofrecen muestras de esquemas de evaluacin
de la competencia compatibles con un esquema de evaluacin de la
competencia aprobado por los CMS.
Los exmenes que son realizados por sistemas analticos mltiples
requieren comparaciones peridicas, como sigue:
493.1281 Comparacin de resultados de examen. (a) Si un laboratorio
realiza el mismo examen usando diferentes metodologas o instrumentos,
o realiza el mismo examen en mltiples sitios de examen, el laboratorio
debe tener un sistema que, dos veces al ao, evale y defina la relacin
entre exmenes utilizando diferentes metodologas, instrumentos o sitios
de examen.
pgina 46

Westgard QC, Inc., Copyright 2013

Estndares de la JC para la validacin de


mtodos [3]

Exmenes Waived. Antes de 2007, los estndares de la JC incluyeron requisitos


para exmenes waived, pero no imponen ya esos requisitos. Los laboratorios
pueden slo aceptar los reportes de desempeo del fabricante.
Exmenes Non-Waived (Complejidad Moderada y Alta) Aprobados por la
FDA. Si bien JC aplica los mismos requisitos generales de control de la calidad
que CLIA, la JC tiene requisitos especficos de validacin de mtodos (CC.1.70).
La JC identifica los elementos de desempeo como sigue:
Antes de que sea utilizado un nuevo examen, mtodo o instrumento para
reportar resultados de pacientes, el laboratorio valida que el examen,
mtodo o instrumento producir consistentemente resultados exactos.
El laboratorio valida la exactitud, la precisin y el rango reportable para
un examen, mtodo o instrumento no modificado aprobado para el cual
el fabricante ha establecido las especificaciones de desempeo.
El laboratorio establece especificaciones de desempeo que incluyen
exactitud, precisin, sensibilidad analtica, especificidad analtica, el
rango reportable, y los intervalos de referencia (valores normales) para
exmenes, mtodos o instrumentos modificados.
Nota: Los exmenes modificados, mtodos o instrumentos incluyen lo
siguiente:
Los procedimientos de examen con modificaciones al uso aprobado
por la FDA para el tipo de espcimen, los reactivos, el instrumento,
los pasos del procedimiento u otros componentes
Los exmenes o los mtodos desarrollados en el laboratorio sin
evaluacin de la FDA
Los exmenes, los mtodos o los instrumentos no sujetos a autorizacin
de la FDA
Cuando un nuevo examen, mtodo o instrumento reemplace un examen,
mtodo o instrumento anterior, se realizan las correlaciones entre el
examen, el mtodo o el instrumento anterior y el nuevo.
Nota: Si el reemplazo del examen, el mtodo o el instrumento es debido a
un desempeo pobre, se sigue el EP 1 de este estndar.
Para cada examen nuevo, mtodo o instrumento, el laboratorio ha
determinado que los intervalos de referencia son aplicables (valores
normales) para la poblacin especfica de pacientes examinada.
pgina 47

Validacin Bsica de Mtodos, Edicin Wallace Coulter

El laboratorio ha documentado la validacin de nuevos exmenes, mtodos


o instrumentos implementados.
El laboratorio establece el nmero, tipo y frecuencia de los materiales
de control de la calidad utilizando las especificaciones de desempeo
verificadas o establecidas por el laboratorio.
A lo largo del tiempo el laboratorio monitorea la exactitud y la precisin
del desempeo del examen que podran ser influenciadas por cambios en
el desempeo del sistema de examen y en las condiciones ambientales, y
variacin en el desempeo del operador.
La JC acepta datos del control estadstico de la calidad e historiales de
desempeo del examen como la evidencia de un adecuado desempeo del
mtodo cuando un mtodo usado en una locacin se instituye en otra locacin.

Estndares del Programa de Acreditacin de


Laboratorio del CAP para validacin de mtodos [4]
Exmenes Waived. Como la JC, el CAP no requiere ya la validacin de mtodos
para exmenes waived (ver su 9/07 LAB GEN Checklist, pgina 58). Sin embargo,
un intervalo de referencia debe ser identificado.
Exmenes Non-Waived. La filosofa del CAP es que todos los exmenes de los
laboratorios clnicos necesitan cumplir los requisitos definidos bajo la seccin
493.1253(b)(2) de CLIA 88.
La lista de verificacin GEN de 2007 del CAP (Laboratorio General) incluye
requisitos de especificacin de desempeo exactitud y precisin (GEN:42020),
rango reportable (GEN:42085), sensibilidad o lmite de deteccin inferior
(GEN:42025), e intervalo de referencia (GEN:42162) para cada procedimiento
de examen. La especificidad (GEN:42030) implica una evaluacin de la habilidad del mtodo para responder correctamente a la concentracin del analito en
la presencia de sustancias interferentes. La lista de verificacin de CAP ahora
establece:
Ha verificado o establecido y documentado el laboratorio las interferencias
analticas para cada examen? Las sustancias interferentes plantean un
problema significativo al laboratorio clnico y a los profesionales de la salud
que podran ser desorientados por los resultados del laboratorio que no
reflejan el estado clnico del paciente. El laboratorio debe considerar las
interferencias comunes realizando estudios o teniendo a su disposicin
estudios realizados en algn otro lado (tales como por el fabricante para el
reactivo del instrumento).
pgina 48

Westgard QC, Inc., Copyright 2013

Cul es el punto?
Las regulaciones de la Regla Final de CLIA establecen estndares mnimos
para la gestin de la calidad de los procesos de examen. Otras agencias de
inspeccin y organizaciones deben proveer estndares que sean al menos tan
demandantes como los de CLIA para ser aprobados por CMS para la inspeccin
y la acreditacin de laboratorios de EUA. Desde 2008, estas acreditadoras han
adaptado sus estndares para ser consistentes con CLIA, en algunos casos,
disminuyendo o eliminando sus requisitos anteriores.
Para mtodos non-waived aprobados por la FDA, usted debe validar la
precisin, la exactitud, el rango reportable, y los intervalos de referencia
para cualquier nuevo examen o sistema analtico.
Para mtodos non-waived NO aprobados por la FDA o modificados por el
laboratorio, debe validar las caractersticas adicionales de sensibilidad
analtica y especificidad analtica.
Adems, cada seis meses debe validar la exactitud de los mtodos donde
no est disponible un esquema de evaluacin de la competencia aprobado,
comparar los resultados de examen si hay mltiples mtodos en servicio,
y verificar la calibracin cada vez que hay cambios significativos en
reactivos, componentes y desempeo (problemas evidenciados en los datos
del control estadstico interno de la calidad).

pgina 49

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Referencias
1. U.S. Department of Health and Human Services. Medicare, Medicaid and CLIA
programs: Regulations implementing the Clinical Laboratory Improvement
Amendments of 1988 (CLIA). Final rule. Fed Regist 1992; 57:7002-186.
2. US Centers for Medicare & Medicaid Services (CMS). Medicare, Medicaid,
and CLIA Programs: Laboratory Requirements Relating to quality
Systems and Certain Personnel Qualifications. Final Rule. Fed Regist Jan
24 2003;16:3640-3714. See also the CMS website http://www.cms.hhs.gov/
clia/ and the CMS State Operations Manual Appendix C, Regulations and
Interpretive Guidelines for Laboratories and Laboratory Services,
http://www.cms.hhs.gov/CLIA/03_Interpretive_Guidelines_for_
Laboratories.asp
3. Accreditation Manual for Pathology and Clinical laboratory Services.Joint
Commission (JC). Oakbrook Terrace, IL. 60181
4. CAP Laboratory Accreditation Checklists. College of American Pathologists
(CAP). 325 Waukegan Road, Northfield, IL 60093-2750 http://www.cap.org
5. COLA Accreditation Manual. 9881 Broken Land Parkway, Suite 200,
Columbia, MD 21046. http://www.cola.org

pgina 50

Westgard QC, Inc., Copyright 2013

La ciudad mtica del oro: El Dorado

PAYS des CARIBES et GVIANE, by Alain Mallet,


Paris 1683. The mythical city of gold Manoeal
Dorado on the western bank of the mythical Lac
De Parime.
Se rumoreaba ampliamente que el Lago de Parima y
El Dorado (ciudad del oro) existan y esto estaba bien
documentado en los mapas de esa poca, pero nunca
fueron implementados (descubiertos)- algo as como
las regulaciones de CLIA en E.U.A. que describen un
proceso de compensacin del control de la calidad cuya
implementacin an se mantiene demorada. La Regla
Final de CLIA (24 de Enero del 2003) puso bien en claro
que el proceso de compensacin del control de la calidad
es solo un mito. La gente busc, espero ansiosamente por
la nueva implementacin y busc algo ms, pero la ciudad
del oro nunca apareci.
pgina 51

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 52

Westgard QC, Inc., Copyright 2013

5: Cmo es seleccionado un mtodo?


El proceso de establecer un examen de rutina comienza con la seleccin del
mtodo a ser evaluado o validado. El Dr. Westgard describe diferentes tipos de
caractersticas de un mtodo e identifica aquellas importantes en la seleccin y
validacin de mtodos. Ejemplos de estas caractersticas estn incluidos para
un examen de colesterol.

Objetivos:
Definir los pasos para establecer un examen de rutina de laboratorio.
Identificar los diferentes tipos de caractersticas de un mtodo.
Reconocer las caractersticas que son el enfoque de los estudios de validacin
de mtodos.

Materiales del captulo:


VM Seleccionando un mtodo para validar,
por James O. Westgard, PhD

Cosas qu hacer:
Estudiar la leccin.
Relacionar los tipos de caractersticas de un problema comn de seleccin,
tales como encontrar un lugar donde alojarse, comprar un nuevo abrigo,
decidir a dnde ir para cenar, etc.

pgina 53

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cules son los tres tipos de caractersticas de un mtodo?
De tres ejemplos de cada uno de los tipos de caractersticas de un mtodo.
Cules son las caractersticas de mayor inters al momento de seleccionar
un mtodo?
Cules son las caractersticas de mayor inters durante la validacin de
un mtodo?

pgina 54

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Seleccionando un Mtodo para Validar
James O. Westgard, PhD
La validacin de mtodos se trata de evaluacin de errores, como se discuti
antes en El secreto ms interno oculto y profundo sobre la validacin de mtodos.
Sin embargo, antes de que pueda evaluar cualquier error, tiene que seleccionar
el mtodo a ser validado. La seleccin de mtodos es un proceso diferente que
necesita ser entendido en relacin al proceso de validacin que seguir. De hecho,
hay varios procesos que son esenciales para establecer un mtodo de anlisis
de rutina.

Estableciendo un proceso de examen de laboratorio


En la figura de abajo se muestran las actividades importantes para establecer
un mtodo de rutina de anlisis. Los cuadros mostrados en la porcin inferior
del grfico ilustran los pasos clave involucrados en el anlisis de rutina, donde el
laboratorio adquiere especmenes, realiza exmenes, chequea el control estadstico
interno de la calidad, y reporta los resultados del laboratorio. Esas actividades
son generalmente referidas como el trabajo real del laboratorio.

Seleccionar, Evaluar una


Prueba de Diagnstico
Seleccionar un Mtodo
de Anlisis

Adquirir un espcimen
Realizar
Prueba
(toma
de la
muestra)

Proceso para Establecer


una Prueba de Rutina

Validar el Desempeo
del Mtodo

Desarrollar mejoras para


el Mtodo

Implementar el
Mtodo

Mantener el Mtodo
Prevenir Problemas

Realizar la Prueba

Monitorear a partir del


Control Estadstico
Interno de la Calidad

Informar
Resultados

Proceso de Anlisis de Rutina en un Laboratorio


pgina 55

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Sin embargo, para que un anlisis se convierta en rutina, las otras actividades
mostradas en la figura son muy importantes. La seleccin de los exmenes de
diagnstico es de hecho el primer paso, pero esto es a menudo omitido para los
exmenes comunes cuya utilidad clnica es bien aceptada. Para estos exmenes
establecidos, usualmente comenzamos con la seleccin del mtodo (el cuadro
con el borde ms oscuro), luego validamos su desempeo. Si el desempeo es
aceptable, el mtodo es implementado para el servicio de rutina. Si el desempeo
no es aceptable, el laboratorio podra desarrollar algunas mejoras, aunque eso
se convierte en algo cada vez ms difcil con el alto grado de automatizacin
de muchos sistemas analticos. Hoy en da es ms probable que un laboratorio
seleccione otro mtodo en lugar de intentar hacerle mejoras, luego comenzar
el proceso de validacin una vez ms para el nuevo mtodo.
Una vez que un mtodo ha demostrado un desempeo aceptable, el mtodo debe ser implementado para operaciones de rutina. Esto involucra definir
los procedimientos estndar de operacin y documentar el procedimiento,
seleccionando un procedimiento de Control Estadstico Interno de la Calidad
apropiado para el monitoreo del desempeo de rutina, y entrenar al personal
para operar el nuevo mtodo. En un servicio de rutina, los problemas sern sin
duda identificados a travs del Control Estadstico Interno de la Calidad, lo
que llevar a procedimientos de mantenimiento preventivos para minimizar
o eliminar esos problemas. La operacin de rutina es a menudo la parte ms
simple de todo este proceso si el laboratorio hace un buen trabajo al seleccionar
el mtodo, valida el desempeo del mtodo, implementa el mtodo a travs de
entrenamiento en servicio cuidadoso y minucioso, monitorea el desempeo del
mtodo con un procedimiento de Control Estadstico Interno de la Calidad que
tiene una tasa baja de falso rechazo y una deteccin apropiada de errores, y
mantiene activamente el mtodo para identificar problemas, eliminar fuentes
de error, y prevenir futuros problemas.

Caractersticas del mtodo


La meta cuando se selecciona un mtodo es escoger el mtodo que tiene la mejor
oportunidad de alcanzar los requisitos de servicio del laboratorio. El proceso de
seleccin consiste en definir aquellos requisitos, buscando la literatura tcnica
para encontrar informacin acerca de mtodos disponibles, luego seleccionar
el mtodo cuyas caractersticas satisfacen mejor los requisitos de servicio del
laboratorio.
Una definicin cuidadosa de los requisitos es esencial [1]. Si se omite este
paso, el laboratorio podra gastar un tiempo y esfuerzo considerables evaluando
un mtodo que no ser satisfactorio, sin importar el desempeo del mtodo.
Un ejemplo podra ser un mtodo de point-of-care que resulta ser muy costoso
aunque su desempeo analtico sea aceptable. El costo debera ser considerado
pgina 56

Westgard QC, Inc., Copyright 2013

durante el proceso de seleccin del mtodo a ser evaluado, no despus de validar


el desempeo del mtodo.
Qu caractersticas de un mtodo son importantes? En general, pueden
ser divididas en tres categoras.
Las caractersticas de aplicacin son factores que determinan si un
mtodo puede ser implementado en una situacin particular del laboratorio.
Consisten en un costo-por-examen, tipos de especmenes que pueden ser
analizados, volumen de la muestra, tiempo de entrega de resultados,
carga de trabajo, requisitos de equipo y personal, espacio, transporte y
consideraciones de seguridad.
Las caractersticas metodolgicas son factores que, en principio,
deberan contribuir a un mejor desempeo. En general, tienen que ver
con la sensibilidad analtica y la especificidad analtica del mtodo de
anlisis. Consideran la eleccin de la reaccin qumica, la optimizacin de
las condiciones de reaccin, los principios de estandarizacin y calibracin,
y el rigor del procedimiento analtico.
Las caractersticas de desempeo son factores que, en la prctica,
demuestran qu tan bien se desempea un mtodo. Incluyen el rango
reportable, la precisin, la recuperacin, la interferencia, la exactitud y
algunas veces el lmite de deteccin.
Comencemos con un ejemplo fuera del laboratorio que ilustra estos diferentes
tipos de caractersticas. Asuma que est seleccionando un vehculo motorizado
nuevo.
Las caractersticas de aplicacin incluyen su uso previsto, el tipo
de vehculo, el rango de precios, el estilo del cuerpo, el color, etc. Su uso
previsto ayudar a definir el tipo de vehculo tractor, camin, automvil
o motocicleta. Asumiendo que es un vehculo que se usar para ir al
trabajo, busquemos un automvil. Si su color favorito es el rojo, no tiene
que probar con un coche negro puede saber por la vista si satisface esta
caracterstica de aplicacin.
Las caractersticas metodolgicas pueden ser ilustradas por lo
siguiente. Si usted vive en Wisconsin, o peor an en Minnesota (sin
ofender; he vivido ah y an visito a menudo), podra querer un automvil
con buena traccin por el clima en invierno. Se esperara que un vehculo
con traccin en las cuatro ruedas funcione mejor que uno con traccin en
dos ruedas. Si tambin fuera importante obtener un buen rendimiento
por kilometraje, un motor de cuatro cilindros sera una mejor opcin que
un motor de seis u ocho cilindros. Tanto la eleccin de un vehculo con
pgina 57

Validacin Bsica de Mtodos, Edicin Wallace Coulter

traccin en la cuatro ruedas como el nmero de cilindros (o tamao del


motor) son caractersticas metodolgicas que deberan ayudar a satisfacer
sus necesidades de desempeo.
Las caractersticas de desempeo son aquellos factores que puede
evaluar al conducir el vehculo. Las medidas estndar de desempeo
son la aceleracin, el manejo, el confort de conduccin, los frenos y el
kilometraje. Las mediciones especiales podran incluir traccin fuera
del camino o cambio de traccin para clima invernal. Usted no hace una
prueba de manejo en un camin costoso, grande, negro, de ocho cilindros
y traccin en dos ruedas porque el vehculo no satisface su aplicacin y
sus caractersticas metodolgicas.

Ejemplo de colesterol
Las caractersticas generales por considerar son las siguientes:
Las caractersticas de aplicacin deben incluir el tipo de espcimen, el
volumen del espcimen, la carga de trabajo apropiada para la situacin de
examen (un laboratorio centralizado de alto volumen contra un point-ofcare de bajo volumen), el costo por examen, el tiempo para el anlisis, las
habilidades del operador, y los requisitos de entrenamiento del operador.
Las caractersticas metodolgicas deberan incluir el tipo de estndares
o calibradores, la trazabilidad del estndar o de los valores asignados del
calibrador, el principio qumico, los reactivos y las condiciones de reaccin,
el principio de medicin, y las capacidades de medicin.
Las caractersticas de desempeo deberan incluir el rango reportable,
la imprecisin, el sesgo contra el mtodo de referencia Abell-Kendahl [3], la
interferencia, y un error total menor al 10%.
Las caractersticas de un laboratorio automatizado de alto volumen
pueden ser definidas ms especficamente:
Las caractersticas de aplicacin son muestras de suero, un tamao de
muestra menor a 10 microlitros, un rendimiento de examen de 200 pruebas
por hora, un costo menor que $0.25 por click o $0.50 por examen.
Las caractersticas metodolgicas son la reaccin enzimtica de esterasa
de colesterol, calibradores con trazabilidad al mtodo de referencia nacional
Abell-Kendahl [3], y una exactitud verificada por comparacin de resultados
con un laboratorio de referencia en lpidos.
pgina 58

Westgard QC, Inc., Copyright 2013

Las caractersticas de desempeo son un rango reportable de 50 a


500 mg/dL, un error total permitido del 10% en una concentracin de 200
mg/dL, un CV para el mtodo de 3% o menor, un sesgo para el mtodo
del 3% o menos, sin interferencia por ictericia hasta una concentracin
de bilirrubina de 10 mg/dL, sininterferencia por lipemia hasta una
concentracin de trigliceridos de 600 mg/dL, y una interferencia mnima
por hemlisis.
Las caractersticas de un point-of-care (POC) podran ser bastante
diferentes, particularmente las caractersticas de aplicacin que deben tomar
en cuenta los sitios POC:
Las caractersticas de aplicacin son un espcimen de sangre entera
obtenida por puncin capilar o una muestra heparinizada, un tiempo de
entrega de 10 minutos o menos, facilidad de uso para operadores que no
estn entrenados en exmenes de laboratorio, un mantenimiento y tiempo
muerto mnimo, funcionen o no funcionen, un costo menor a $4.00 por
examen, un lote de reactivos imposible de usar no calibrado, pequeo,
ligero y porttil.
Las caractersticas metodolgicas son la reaccin enzimtica de
esterasa de colesterol, una calibracin incorporada en el sistema de examen
por el fabricante con valores especficos de lote, todos con trazabilidad al
mtodo de referencia Abell-Kendahl [3], y una exactitud verificada por
comparacin de resultados con un laboratorio de referencia en lpidos.
Las caractersticas de desempeo son un rango reportable de 100 a 400
mg/dL, un error total permitido del 10 % en una concentracin de 200 mg/
dL, sin interferencia con hematocritos de hasta 55 %, sin interferencia por
bilirrubina de hasta 5 mg/dL, sin interferencia por una lipemia de hasta
600 mg/dL de triglicridos, y una interferencia mnima por hemlisis.

Seleccin de sistemas analticos de exmenes mltiples


Se torna mucho ms complicado cuando se intenta seleccionar un sistema analtico
que lleva a cabo muchos exmenes diferentes. Los sistemas analticos hoy en
da pueden ofrecer un centenar de exmenes diferentes. Son estos instrumentos
enormes, que pueden consolidar mucho del trabajo de laboratorio de una sola
caja. Cuando el objetivo es la consolidacin, entonces las caractersticas de
aplicacin dominarn el proceso de seleccin. Las caractersticas metodolgicas
podran ser de inters para algunos exmenes crticos, pero la calidad analtica
de muchos exmenes ser asumida como aceptable. A pesar de esto, el desempeo
de cada examen debe ser validado para rango reportable, precisin, exactitud
e intervalos de referencia.
pgina 59

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Como un ejemplo de las caractersticas de aplicacin en el mundo real, una


presentacin de un trabajo libre[4] en una convencin nacional se enfoc en las
siguientes caractersticas: el nmero de diferentes exmenes disponibles (men
de pruebas), los exmenes/hora (rendimiento), cantidad de reactivos a bordo, la
carga de reactivos, la capacidad de carga de muestras, el volumen de la muestra,
el volumen muerto mnimo, la deteccin de cogulos/burbujas, el tiempo de anlisis, la demora durante la puesta en marcha, el tiempo hasta generar el primer
resultado, la capacidad para muestras de urgencia y el tiempo de demora para
las urgencias, las horas de mantenimiento diario, el registro de mantenimiento
realizado en el software del equipo, la simplicidad de operacin del software, la
reglas de Control de la Calidad disponibles y el tiempo de entrenamiento. stas
son caractersticas de aplicacin complejas que requieren un estudio cuidadoso
y minucioso para comparar las caractersticas de diferentes sistemas.
Encontrar toda la informacin es un reto. Los fabricantes a menudo
proveen descripciones para sus sistemas analticos en sus sitios web y en sus
materiales de mercadeo. La comparacin de las caractersticas de diferentes
sistemas analticos es ayudada en gran medida por reportes de comparacin
de instrumentos, tales como los provistos en CAP Today del CAP College of
American Pathologists. Existen enormes exhibiciones de equipos y sistemas en
convenciones de profesionales tales como la de la AACC American Association
of Clinical Chemistry. Finalmente, y tal vez lo ms importante antes de la decisin final de compra, debe haber visitas a los laboratorios donde los sistemas
ya estn instalados y funcionando.
La informacin y las especificaciones para el desempeo del mtodo podran
ser ms difciles de encontrar. Si bien se solicita a los fabricantes declarar sus
especificaciones de desempeo para obtener aprobacin de mercado de la FDA,
estos reportes sobre las caractersticas de desempeo podran ser difciles de
encontrar en su material de mercadeo. A veces los estudios de validacin de
mtodos son publicados en la literatura cientfica, pero esto est usualmente
limitado a nuevos exmenes y nuevos sistemas. Es ms comn encontrar buena
informacin cientfica en los resmenes y carteles presentados en convenciones
profesionales. Para los sistemas analticos que tienen algo de historia en el campo,
su desempeo comparativo podra ser consultado en reportes de encuestas de
esquemas de evaluacin de la competencia y programas de evaluacin externa
de la calidad de organizaciones tales como el CAP, el Medical Laboratory Evaluation (MLE), y la American Association of Bioanalysts (AAB).

pgina 60

Westgard QC, Inc., Copyright 2013

Cul es el punto?
La seleccin de un mtodo o de un sistema analtico lleva directamente a la
calidad de los exmenes disponibles de un laboratorio. Por tanto, el proceso de
seleccin en s mismo debe ser objetivo y justificar la aplicacin y las caractersticas
metodolgicas que son importantes en su laboratorio. El proceso de seleccin es
particularmente complicado para los sistemas analticos de exmenes mltiples,
donde las caractersticas de aplicacin dominarn la decisin. Para mantener
la calidad analtica presente en el proceso de decisin, podra ser necesario ir
ms all de la consideracin de las caractersticas metodolgicas y observar el
desempeo comparativo de los mtodos, informacin disponible en los reportes
de encuestas de los esquemas de evaluacin de la competencia y programas de
evaluacin externa de la calidad. El laboratorio debe validar las caractersticas
de desempeo de todos los exmenes en el sistema. Y el laboratorio poseer la
calidad que compre.

Referencias
1. Westgard JO, deVos DJ, Hunt MR, Quam EF, Carey RN, Garber CC.
Concepts and practices in the evaluation of laboratory methods. I.
Background and Approach. Am J Med Technol 1978;44:290-300.
2. Wiebe DA, Westgard JO. Cholesterol - a model system to relate medical
needs with analytical performance. Clin Chem 1993;39:1504-1513.
3. Cooper GR, Smith SJ, Duncan IW, et al. Interlaboratory testing of the
transferability of a candidate reference method for total cholesterol in
serum. Clin Chem 1986;32:921-929.
4. Perkins SL, Bookalam S, Warr M, Ooi DS. Evaluation of the Architect
i1000SR Immunoassay Analyzer. Abstract D-81. Clin Chem 2007/53:A185.

pgina 61

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Un

problema de seleccin!
VIRGINIAE ITEM et FLORIDAE, by Johannes Cloppenburg,
Amsterdam, 1630.

Este mapa de la costa sudeste de E.U.A. fue preparado a partir de dos


mapas anteriores uno de Florida y uno de Virginia. Si bien el mapa
fue bien realizado, es decir, un grabado hermoso, no fue de mucha
utilidad porque omiti una caracterstica muy importante Las
Carolinas. En consecuencia las islas Cape del lado oeste del mapa de
Virginia se unieron a la geografa del este de Florida, sin dejar lugar
para Las Carolinas. Un mito notorio surgido de este mapa es el lago
no existente en las montaas Appalachian, que fue conocido como el
Lago Appalachia.

pgina 62

Westgard QC, Inc., Copyright 2013

6: Qu experimentos son necesarios para


validar el desempeo de un mtodo?
El Dr. Westgard explica cmo desarrollar un plan experimental para un estudio
de validacin de mtodos. Pueden ser utilizados experimentos especficos
para estimar la magnitud de los diferentes tipos de errores analticos. Estos
experimentos pueden ser organizados en un plan prctico en base al tiempo y
esfuerzo necesarios para llevar a cabo los diferentes experimentos.

Objetivos:
Identificar los diferentes experimentos utilizados en un estudio de
validacin de mtodos.
Relacionar esos experimentos a los tipos de error estimados.
Organizar esos experimentos en un plan prctico para llevar a cabo el
estudio.

Materiales del captulo:


VM El plan experimental, por James O. Westgard, PhD

Cosas qu hacer:
Estudiar la leccin.
Revisar un reporte de literatura y sus procedimientos experimentales.

pgina 63

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Qu experimento es utilizado para estimar la imprecisin de un mtodo?
Qu experimentos son utilizados para estimar la inexactitud de un
mtodo?
Por qu el experimento para rango reportable es realizado al comienzo
del estudio de validacin?
Por qu por lo general se realizan dos experimentos de replicacin?
Qu diferencia existe entre el error sistemtico proporcional y constante?
Qu experimentos se realizan para estimar los errores sistemticos
proporcional y constante?

pgina 64

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos: El Plan Experimental


James O. Westgard, PhD
Comienzo esta disertacin asumiendo que el mtodo a ser evaluado ha sido
seleccionado cuidadosamente, como se discuti anteriormente en Seleccionando
un mtodo para validar. Por lo tanto, los requisitos de aplicacin han sido
satisfechos y las caractersticas metodolgicas han sido consideradas.
Ahora podemos enfocarnos en las caractersticas de desempeo, los cuales
incluyen la precisin, la exactitud, la interferencia, el rango reportable, y algunas veces los lmites de deteccin. Estas caractersticas podran haber sido ya
estimadas por el fabricante (especificaciones de desempeo establecidas para el
mtodo) o por un usuario (publicados en un estudio de validacin). Estos reportes
o resultados publicados an necesitan ser verificados para demostrar que el
mtodo funciona adecuadamente y que es aceptable en su laboratorio particular.
Ese es el propsito de un estudio de validacin de mtodos.

Acercamiento para la formulacin de un plan


Para llevar a cabo un buen estudio de validacin de mtodos, necesita hacer lo
siguiente:
definir un requisito de la calidad para el examen en la forma de la cantidad
de error que es permitida, preferentemente un error total permitido;
seleccionar experimentos apropiados para revelar los tipos de errores
analticos esperados;
recolectar los datos experimentales necesarios;
realizar clculos estadsticos a partir de los datos para estimar el tamao
de los errores analticos;
comparar los errores observados con el error permitido definido, y
juzgar la aceptabilidad del desempeo del mtodo observado.
Un plan experimental puede ser formulado al:
reconocer los tipos de errores que necesitan ser evaluados para este
examen y este mtodo;
identificar los experimentos apropiados y la cantidad de datos necesaria
para estimar esos tipos de error, luego
organizar estos experimentos para realizar los que son rpidos y sencillos
primero, y los que toman ms tiempo y esfuerzo despus.
pgina 65

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Tipos de errores que deben ser evaluados


Todas las mediciones tienen algn error! Incluso los instrumentos simples
de medicin, tales como una bscula de bao, tienen errores. Cada vez que
se pesa en una bscula de bao, observa error. Por eso es que usted se baja
inmediatamente de la bscula, se sube nuevamente y hace otra medicin.
Usualmente observa que estas mediciones, aunque realizadas prximas en el
tiempo y esencialmente bajo condiciones idnticas, no son aun exactamente las
mismas esto es provocado por el error aleatorio o imprecisin como hemos
discutido anteriormente en El secreto ms interno oculto y profundo sobre la
validacin de mtodos. Podra tambin haber notado que virtualmente todas
las escalas son inexactas todas marcan muy alto, no es cierto? Este es un
ejemplo del error sistemtico o sesgo descrito anteriormente.

Resultados del Mtodo Evaluado

En respuesta a que consideramos que el peso obtenido es muy alto, usualmente tratamos de ajustar el punto cero de la bscula y lograr los resultados
ms bajos. Esto asume que hay un error sistemtico que es constante en la

Error
Aleatorio

Error
Sistemtico
Constante

Error
Sistemtico
Proporcional

Resultados del Mtodo de Comparacin


pgina 66

Westgard QC, Inc., Copyright 2013

naturaleza, esto es, toda la gente que se pese en esa bscula tendr mayor peso
en la misma cantidad. Si en lugar de ello los pesos de todas las personas tienen
error en proporcin a su peso total, esto es, error proporcional, la medicin
necesita ser corregida mediante un tipo de calibracin de ajuste, ms que un
ajuste de punto cero.
Si artefactos tan simples como las bsculas, estn sujetos a error, es totalmente comprensible que las mediciones de los dispositivos complejos y sistemas
utilizados para los exmenes de laboratorio estn sujetos a los mismos tipos de
error:
imprecisin o errores aleatorios,
inexactitud, sesgo, o errores sistemticos, que pueden ser de dos tipos
- error sistemtico constante, o
- error sistemtico proporcional.
Todos estos errores pueden ser reconocidos cuando un grupo de mediciones
es comparado con los valores correctos o verdaderos. Por ejemplo, la figura de
arriba muestra cmo los diferentes tipos de error se revelan cuando los resultados
de un mtodo de examen son graficados en el eje y contra aquellos obtenidos
a partir de un mtodo de comparacin en el eje x. La lnea punteada en el
medio de la figura representa el desempeo del mtodo ideal donde el mtodo
de examen y el mtodo de comparacin dan exactamente los mismos resultados.
La lnea inferior en la figura muestra el efecto de un error sistemtico proporcional, donde la magnitud del error se ve incrementada en cuanto el resultado
del examen se torna ms alto. La lnea superior muestra el efecto de un error
sistemtico constante, donde toda la lnea se desplaza hacia arriba y todos los
resultados son mayores en la misma cantidad. Ntese que estos resultados
tambin estn afectados por el error aleatorio del mtodo, por consiguiente, los
puntos de los datos reales estaran dispersos alrededor de la lnea ilustrada en
la figura. El rango generado por la dispersin hacia arriba y abajo de la lnea
brinda una idea de la cantidad de error aleatorio que est presente.

Experimentos para estimar los errores analticos


Si bien un experimento de comparacin de mtodos puede revelar todos estos
diferentes tipos de errores, no es necesariamente la mejor manera de ir y estudiar
un nuevo mtodo. Por ejemplo, el error aleatorio podra ser estimado ms
rpidamente por anlisis de un solo espcimen o un material de control estable.
Hay experimentos especficos para la estimacin de los diferentes tipos de
error analtico, como se muestra en la tabla abajo. La primera columna enumera
el tipo de error. La segunda columna est rotulada como preliminares porque
pgina 67

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Tipo de Error
Analtico

Experimentos de Evaluacin
Preliminares

Finales

Replicacin
Intra corrida

Replicacin
Entre corridas

Error Sistemtico
Constante

Interferencia

Error Sistemtico
Proporcional

Recuperacin

Comparacin
de
Mtodos

Error Aleatorio

estos experimentos son generalmente ms sencillos de realizar y toman menos


tiempo y esfuerzo que los experimentos finales. Los experimentos finales son
ms demandantes y deben ser realizados despus de que los resultados de los
experimentos preliminares han mostrado que todo es aceptable hasta ahora. Sin
embargo, si se observa un desempeo pobre a partir de los datos obtenidos en
los experimentos preliminares se puede detener el estudio y rechazar un mtodo
debido a que una condicin de error especfica ha sido identificada.
Aqu hay una pequea descripcin de estos diferentes experimentos:
Un experimento de replicacin provee informacin acerca del error
aleatorio y se lleva a cabo haciendo mediciones de una serie de alcuotas
de las mismas muestras dentro de un periodo de tiempo especfico,
usualmente dentro de una corrida analtica, en un da o durante un
periodo de un mes. El experimento preliminar usualmente involucra la
determinacin de la imprecisin intracorrida (condiciones de repetibilidad).
El experimento final generalmente requiere de al menos 20 das de
trabajo para generar un buen estimado de la imprecisin total (precisin
intermedia o intralaboratorio), que incluye los componentes de precisin
intra e intercorridas y entre das.
Un experimento de interferencia provee informacin acerca del error
sistemtico constante causado por la falta de especificidad del mtodo. Se
prepara una muestra para examen adicionando el material sospechoso a
una muestra que contenga el analito. Una segunda alcuota de la muestra
original es diluida con la misma cantidad de un diluyente, luego ambas
muestras son analizadas por el mtodo de examen y se determina la
diferencia.

pgina 68

Westgard QC, Inc., Copyright 2013

Un experimento de recuperacin provee informacin acerca del error


sistemtico proporcional causado por una reaccin competitiva. Se prepara
una muestra para examen aadiendo una solucin estndar del analito que
se est midiendo a una alcuota del espcimen de un paciente. Se prepara
una muestra control aadiendo una cantidad igual del solvente usado
para la solucin estndar a una segunda alcuota del mismo espcimen
del paciente. Las dos muestras son entonces analizadas por el mtodo de
examen y la cantidad recuperada es comparada a la cantidad aadida.
Un experimento de comparacin de mtodos es primariamente
usado para estimar el error sistemtico promedio observado con muestras
reales de pacientes, pero tambin puede revelar la naturaleza constante
o proporcional de ese error. Se recolecta una serie de especmenes de
pacientes y se analizan tanto por el mtodo de examen como por un
mtodo analtico de comparacin. Los resultados son comparados para
determinar las diferencias entre los mtodos, que representan los errores
analticos entre los mtodos.

Organizar los experimentos en un plan


Un plan general para validar el desempeo de un nuevo mtodo se bosqueja abajo.
Incluye cuatro fases la familiarizacin inicial con el mtodo, los experimentos
preliminares de evaluacin rpidos y sucios, seguidos de estudios ms extensivos
de precisin y exactitud, y concluyendo con los pasos para implementar el mtodo
para el trabajo de rutina.
Periodo de familiarizacin
Establecer el procedimiento de trabajo
Validar el rango reportable
Verificar la calibracin
Verificar el lmite de deteccin
Experimentos preliminares de Validacin de Mtodos (VM por sus
siglas en ingls)
Realizar estudios de replicacin intracorrida
Realizar estudios de interferencia
Realizar estudios de recuperacin
Juzgar la aceptabilidad analtica

pgina 69

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Experimentos finales de Validacin de Mtodos (VM por sus siglas en


ingls)
Realizar estudios de replicacin total
Realizar estudios de comparacin de mtodos
Juzgar la aceptabilidad analtica
Verificar el(os) intervalo(s) de referencia
Documentar los estudios.
Implementacin
Seleccionar los procedimientos de Control Estadstico Interno de la Calidad
Escribir los protocolos o procedimientos de operacin
Entrenar a los analistas
Introducir el mtodo en el servicio
Monitorear el desempeo de rutina
Ntese que este plan puede y debera ser ajustado para considerar alguna
caracterstica nica de un mtodo o algn requisito especial de un laboratorio
y de los pacientes a quienes sirve. Por ejemplo, los estudios de interferencia y
recuperacin podran ser ms extensivos si el hospital es un centro oncolgico
cuyos pacientes sern tratados probablemente con varios medicamentos diferentes. En un centro de trasplantes, los estudios de comparacin de mtodos
podran enfocarse en los pacientes trasplantados que estn en tratamiento
con frmacos anti rechazo. La cantidad de datos necesarios tambin puede ser
ajustada en base a lo que ya est disponible en la literatura o a lo que se requiere
por lineamientos regulatorios o de acreditacin. Por ejemplo, este plan debera
tomar en consideracin la complejidad de los mtodos, como se clasifica en los
lineamientos de la Regla Final de CLIA. Cualquier mtodo desarrollado en casa
o cualquier mtodo de fabricante modificado requieren estudios ms cuidadosos
y podran aplicarse los protocolos de CLSI para el experimento de replicacin y
para los experimentos de comparacin de mtodos. Los mtodos sin modificacin
non-waived podran ser evaluados con experimentos ms simples que requieren
menos tiempo y esfuerzo y tambin menos datos. Para mtodos non-waived, no
modificados aprobados por la FDA, existe un protocolo ms simple planeado
para la verificacin por parte del usuario para veracidad y la precisin en el
laboratorio, el cual ser discutido en el captulo 19.

pgina 70

Westgard QC, Inc., Copyright 2013

Un recorrido por el plan


El primer paso con cualquier mtodo nuevo es hacer que el mtodo funcione y
establecer un protocolo de operacin. ste es el periodo de familiarizacin, donde
el objetivo es aprender cmo trabajar apropiadamente el mtodo y establecer
un protocolo de operacin que genere resultados de examen consistentes. Con
nuestra bscula de bao, por ejemplo, tiene que sacar la bscula fuera de la caja,
transportarla al lugar apropiado, encontrar un espacio para ponerla, y probarla.
Con un nuevo mtodo analtico, tiene que instalar el instrumento, preparar los
reactivos, calibrar los mtodos y obtener resultados a partir del examen de las
muestras. Uno de los factores crticos es revisar los estndares y confirmar que
el mtodo est calibrado apropiadamente, de otro modo los errores de calibracin
aparecern a lo largo del trabajo experimental.
Una vez que el mtodo est en operacin, el siguiente paso es determinar
el rango reportable. Con nuestra bscula de bao, generalmente nos preocupa
que el rango sea adecuado para poder pesar desde un nio pequeo hasta un
adulto moderadamente grande. La bscula comn no tiene probabilidad de ser
suficientemente sensible para pesar a un pequeo beb, as que si un lmite de
deteccin muy bajo es importante, esta caracterstica necesita ser enfrentada
directamente cuando se seleccione la bscula. La bscula comn tampoco tiene
probabilidad de poder pesar un jugador de futbol americano de ms de 130 kilos, as que si es importante un rango de trabajo extremadamente amplio, esa
caracterstica, de nuevo, debera ser considerada durante el proceso de seleccin.
Del mismo modo, con un nuevo mtodo analtico, el rango reportable variar
de examen a examen y debe ser definido como parte de las especificaciones del
mtodo, luego verificado analizando una serie de soluciones, usualmente en
duplicado o triplicado, cuyas concentraciones cubran todo el rango analtico de
inters. Si el lmite de deteccin es una caracterstica crtica, podra ser evaluado
en este momento o en la siguiente fase de experimentos preliminares.
Despus se realizaran los experimentos preliminares para determinar la
imprecisin intracorrida, recuperacin e interferencia. Se recolectan cantidades
de datos mnimas en un perodo corto de tiempo para facilitar una evaluacin
rpida sobre la aceptabilidad del desempeo del mtodo bajo las condiciones
ms simples. El experimento de replicacin podra incluir 20 muestras de dos
o tres materiales cuyas concentraciones que estn prximas a los niveles de decisin mdica de inters para los exmenes. Los experimentos de interferencia
deberan examinar problemas comunes tales como la hemlisis, la lipemia y
altas concentraciones de bilirrubina. Los experimentos de recuperacin evalan
si existe alguna reaccin competitiva debida a la matriz o a otros materiales
presentes en los especmenes originales. Si los errores revelados por los experimentos preliminares son pequeos, se deben realizar los experimentos finales
de replicacin y comparacin de mtodos.
pgina 71

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Este experimento final de replicacin debera cubrir al menos 20 das de


trabajo. El experimento de comparacin de mtodos ser realizado usualmente
con especmenes frescos de pacientes, pero tambin se deberan examinar especmenes almacenados si esas condiciones de almacenamiento representan un
proceso y manejo tpico de los especmenes analizados rutinariamente. El mtodo
comparativo debera, idealmente, ser uno que haya sido estudiado previamente y
un mnimo de 40 muestras de pacientes bien escogidas deberan ser examinadas
por un mnimo de 5 das de trabajo. Estas muestras deberan estar distribuidas
en un tercio del rango bajo a normal-bajo, un tercio en el rango normal, y un
tercio en el rango anormal alto. Una vez que se han recolectado estos datos, la
aceptabilidad del mtodo debera ser evaluada en base al tamao de los errores
analticos aleatorios, sistemticos y totales. Si estos errores son pequeos en
comparacin con la cantidad de error que invalidara el uso e interpretacin
de un resultado de examen, el mtodo es aceptable. Si es muy grande, estos
errores harn necesario rechazar el mtodo o identificar y eliminar las causas
de los errores.
An cuando el desempeo de un mtodo sea evaluado como aceptable, podra
ser necesario estimar o al menos verificar el o los intervalos de referencia. Si el
desempeo del mtodo comparativo no est bien documentado, podra tambin
ser necesario realizar estudios clnicos para correlacionar los resultados de los
exmenes con las condiciones clnicas. Finalmente, todos estos estudios necesitan
ser documentados para futuras referencias.
La implementacin comienza escribiendo el protocolo del mtodo o el
procedimiento de laboratorio que ser usado para entrenar a otros analistas
para ejecutar el nuevo mtodo. Una parte esencial es una descripcin de los
procedimientos de control de la calidad que sern usados para monitorear el
desempeo en el trabajo de rutina. Una vez que el analista haya sido entrenado
y el mtodo incluido en el servicio de rutina, ser muy importante monitorear
de cerca el desempeo durante el primer mes, identificar las fuentes de los
problemas potenciales, mejorar los procedimientos de mantenimiento preventivo,
y actualizar a los analistas acerca de cmo manejar mejor la calidad del mtodo.

Qu hacer?
Para realizar un estudio de validacin de mtodos usted necesita entender los
experimentos y organizarlos en un plan eficiente. El bosquejo que hemos ofrecido
en este captulo provee un punto de inicio, pero puede y debera ser modificado
para sus aplicaciones particulares. Debera definir y escribir su propio plan,
ajustarlo con procedimientos que describan la cantidad de muestras y su origen,
as como hojas de trabajo para registrar los datos. Es importante observar los
datos a medida que son obtenidos para identificar de manera temprana problemas
pgina 72

Westgard QC, Inc., Copyright 2013

mientras son realizados los experimentos. Esto generalmente significa tabular y


graficar los datos antes del anlisis estadstico. Y los problemas de inters son
tanto aquellos surgidos de los experimentos como aquellos que estn vinculados
con el mtodo! Debe sacar conclusiones acerca de la aceptabilidad del desempeo
conforme complete cada experimento individual. Por ltimo, la decisin final
debera estar basada en el error mximo o total esperado de los experimentos para
precisin a largo plazo y para comparacin de mtodos. Incluso cuando el mtodo
sea juzgado como aceptable, el trabajo no est terminado. La implementacin
requiere del diseo de un procedimiento de Control Estadstico Interno de la
Calidad adecuado, de la documentacin de los procedimientos estndar de
operacin, y del entrenamiento eficiente de todos los operadores. La validacin
de mtodos no termina hasta que el mtodo demuestra un desempeo estable
bajo condiciones de operacin de rutina.

Referencias
1. CLSI EP5-A2. Evaluation of precision performance of quantitative
measurement methods. Approved Guideline 2004. Clinical and Laboratory
Standards Institute, Wayne PA.
2. CLSI EP9-A2. Method comparison and bias estimation using patient samples.
Approved Guideline 2002. Clinical and Laboratory Standards Institute,
Wayne PA.
3. CLSI EP15-A2. User verification of performance for precision and trueness.
Approved Guideline 2006. Clinical and Laboratory Standards Institute,
Wayne PA.

pgina 73

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 74

Westgard QC, Inc., Copyright 2013

7: Cmo se analizan los datos experimentales?


Antes de explicar los detalles de los experimentos especficos, el Dr. Westgard
da una visin general del anlisis de datos que es til y apropiada para los
diferentes experimentos. El acercamiento presentado se basa en considerar las
herramientas para el anlisis de datos, ms que las estadsticas y las ecuaciones.
Estas herramientas estn disponibles de manera simple con un formato de
calculadores, hojas de clculo electrnicas y programas de computadora. Se
introducen calculadores en lnea para proveer herramientas fciles de usar con
este libro de texto.

Objetivos:
Minimizar su miedo a la estadstica.
Identificar las herramientas y las tcnicas necesarias para el anlisis de
datos.
Combinar las herramientas con los experimentos y los errores a ser
estimados.
Reconocer la capacidad de las herramientas de clculo disponibles

Materiales del captulo:


VM El conjunto de herramientas de anlisis de datos, por
James O. Westgard, PhD
El conjunto de herramientas de anlisis de datos para la
validacin de mtodos, http://www.westgard.com/mvtools.html

Cosas qu hacer:
Estudiar la leccin.
Practicar usando los calculadores en lnea con los datos presentados como
ejemplo.
Revisar las estadsticas presentadas en un informe de validacin publicado.

pgina 75

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Qu clculos realizara usted con los datos obtenidos a partir del
experimento de replicacin?
Qu clculos realizara usted con los datos obtenidos a partir del
experimento de comparacin de mtodos?
Qu grficos estn asociados a los diferentes tipos de anlisis?
Estime la media, desvo estndar y coeficiente de variacin a partir del
siguiente conjunto de datos:
[203, 202, 204, 201, 197, 200, 198, 196, 206, 198, 196, 192, 205, 195,
207, 198, 201, 195, 202, 195]
Estime los estadsticos de regresin y el sesgo promedio a partir del
siguiente conjunto de datos:

pgina 76

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
La Caja de Herramientas para el Anlisis
de Datos
James O. Westgard, PhD
Este captulo en realidad es sobre estadstica, pero no puse estadstica en el
ttulo porque mucha gente se desanima tan pronto como ve esa palabra. Otras
se ponen incmodas cuando ven las ecuaciones para los clculos estadsticos.
Hasta ahora tres oraciones en este captulo usted podra preguntarse si puede
simplemente saltarse el captulo y evadir el tema. La respuesta es NO. Necesita
la estadstica para darle sentido a los datos recolectados en los experimentos de
validacin de mtodos.

Herramientas, no ecuaciones!
Para reducir los obstculos mentales que surgen cuando tratamos de entender la
estadstica, no hay ninguna ecuacin en este captulo. En su lugar, vamos
a asumir que los clculos pueden ser realizados fcilmente con la calculadora
y la tecnologa de informtica disponible hoy en da. Su trabajo principal ser
reconocer qu clculos son tiles para diferentes grupos de datos.
Cuando doy conferencias sobre este tema, comienzo mostrando a la clase
un conjunto de herramientas, tales como un martillo, una llave para tuercas,
una sierra y un destornillador. Las herramientas de oficina (tales como una
engrapadora, tijeras, papel y pluma) tambin son buenos ejemplos, pero usted
est demasiado cmodo con esas herramientas. Quiero que aprenda que puede
usar herramientas, incluso si no est muy cmodo con ellas. As que, consideremos el martillo, la llave para tuercas, la sierra y el destornillador.
Qu herramienta sera ms til para colgar un cuadro en la pared?
Qu herramienta usara para ajustar el armazn de sus lentes de sol?
Qu herramienta quisiera llevar en Navidad cuando va al bosque para
conseguir su rbol?
Qu herramienta espera tener si su carro tiene una llanta baja?
Usted no tiene que ser un ingeniero, un mecnico o un carpintero para
reconocer qu herramienta se ajusta a cada uno de estos trabajos. Cada quien
hace uso de estas herramientas para hacer ciertos trabajos bsicos. Si bien existen
aplicaciones ms complicadas que requeriran ms habilidad y conocimiento y
pgina 77

Validacin Bsica de Mtodos, Edicin Wallace Coulter

algunas veces herramientas ms especializadas cualquiera es capaz de hacer


uso prctico de las herramientas comunes.
Podra ser lo mismo con la estadstica!

Herramientas recomendadas para el anlisis de datos


La estadstica slo es una herramienta para combinar muchos resultados
experimentales, es decir datos, y resumir todos estos datos en slo unos cuantos
nmeros. Recuerde que el objetivo de cada experimento es estimar la cantidad
de error a partir de los datos recolectados. La clave con la estadstica es saber
cul estadstico nos da una informacin ms til acerca de los errores de inters
en los diferentes experimentos.
Antes de intentar estimar estos errores, necesitamos definir el rango
analtico til (o rango reportable) del mtodo para que los experimentos
puedan ser planificados apropiadamente y puedan ser recolectados datos vlidos. El rango reportable est usualmente definido como el rango en el cual la
respuesta analtica del mtodo es lineal con respecto a la concentracin del
analito que est siendo medida.
Luego comenzamos con el anlisis de errores. Primero, queremos saber
la imprecisin o el error aleatorio de 20 ms datos obtenidos a partir de un
experimento de replicacin. Luego necesitamos estimar el error sistemtico a
partir de 40 o ms datos (para cada uno de los mtodos, o sea 40 pares de datos)
obtenidos a partir de un experimento de comparacin de mtodos. Finalmente,
necesitamos evaluar desempeo del mtodo en base a los errores que han sido
observados. La estadstica se usa para hacer estimaciones confiables de los errores a partir de los datos que han sido obtenidos.
Aqu hay una imagen de la caja de herramientas que necesitar para
analizar los datos de los experimentos de la validacin bsica de mtodos. La
caja de herramientas incluye varios calculadores y herramientas para graficar:

pgina 78

Westgard QC, Inc., Copyright 2013

Media
S , CV
Estadsticas de
Distribucin

Herramienta para
graficar datos de
linealidad

Histograma

Calculador de Desviacin Estndar (S)

Calculador de
Decisiones

Sesgo

a, b
Sy/x, r
Estadsticas de
Regresin

Sdif. , t
Grfico
de Comparacin

Estadsticas para
la prueba t

Grfico de
Diferencias

Calculador de datos apareados

Caja de Herramientas Bsicas para la Validacin de Mtodos

Herramienta para graficar datos de linealidad para mostrar la respuesta


del mtodo observado contra las concentraciones relativas o asignadas para
una serie de soluciones o especmenes;
Calculador de Desvo Estndar (S) para determinar la estadstica de la
distribucin (media, S, CV) y para mostrar un histograma de la distribucin;
Calculador de datos apareados para determinar estadsticas de regresin
(pendiente o a ,intercepcin en y o b, desviacin estndar sobre la linea
de la regresin lineal o sy/x, y el coeficiente de correlacin, r), mostrar los
datos en un grfico de comparacin (mtodo de examen en y, mtodo de
comparacin en x), determinar los estadsticos t (sesgo, Sdif, valor-t), y
mostrar datos en un grfico de diferencias (y-x contra x);
Calculador de Decisiones para evaluar el desempeo.
pgina 79

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Ntese que estas herramientas a menudo incluyen tanto los clculos como
grficos a partir de los datos. Hay una asociacin entre ciertos clculos y grficos
porque se complementan entre s al describir y mostrar un conjunto de datos.
Por ejemplo, las estadsticas de distribucin se utilizan con un histograma para
describir y mostrar datos para imprecisin o error aleatorio. Para la inexactitud
o el error sistemtico, se utilizan estadsticas de regresin con un grfico de
comparacin, o estadsticas t con un grfico de diferencias.
Ntese tambin que existe un orden natural para usar las herramientas,
como se sugiere por su ubicacin en la caja de herramientas. Aquellas situadas
arriba son generalmente empleadas primero, por ejemplo, la herramienta para
graficar datos lineales es usada en un primer momento para establecer o verificar
el rango reportable del mtodo, despus la prxima herramienta a utilizar es el
Calculador de Desvo Estndar para estimar la imprecisin o el error aleatorio,
cuya aceptabilidad puede ser evaluada utilizando la calculadora de decisiones.
Despus de estos pasos, la calculadora de datos apareados ser utilizada para
estimar la inexactitud del mtodo y usar de nuevo el Calculador de Decisiones
para evaluar el desempeo general del mtodo.

Dnde conseguir las herramientas


Estas herramientas de clculo podran ser obtenidas empleando calculadoras
de mano (por ejemplo, Texas Instruments), de hojas de clculo (por ejemplo,
Excel), software de estadstica de uso general (Minitab, SAS, SPSS), software
especializado de validacin de mtodos hecho para aplicaciones del laboratorio, y
tambin de calculadores en lnea en la pgina web de Westgard. Muchas de estas
fuentes tambin van a ofrecer grficos apropiados, o puede usted construirlos
manualmente usando papel para graficar. La Carta de Decisin de Mtodo puede
ser construida fcilmente a mano con papel para graficar.
El captulo 8 provee ms informacin acerca de los clculos. Los captulos
posteriores nos ofrecen una discusin ms detallada acerca del uso e interpretacin de las estadsticas con experimentos individuales. Por ahora, vamos a
enfocarnos en un contexto global qu herramientas son apropiadas para los
diferentes experimentos de validacin de mtodos.

Cundo usar cada herramienta


Dado un conjunto de datos experimentales, necesita reconocer qu herramienta
es correcta cada trabajo especfico. Aqu hay unas guas generales:
El error aleatorio (EA) casi siempre se estima calculando la desviacin
estndar (S). El experimento por s mismo determina cules son los factores
pgina 80

Westgard QC, Inc., Copyright 2013

que contribuyen al estimado, por ejemplo, el experimento de replicacin limita


los errores aleatorios slo al mtodo que se est evaluando, mientras que el
experimento de comparacin de mtodos puede proveer un estimado de los
errores aleatorios entre los mtodos, lo que depende de la variacin observada
para el mtodo en evaluacin (examen), y para el mtodo de comparacin.
El error sistemtico (ES) est relacionado en cierta manera con el clculo de
una media o promedio. sta podra ser la diferencia promedio entre muestras
apareadas en un estudio de comparacin de mtodos, o la diferencia entre
las medias obtenidas a partir de cada mtodo, o una representacin de la
relacin promedio como se da por la lnea de mejor ajuste a travs de datos
de comparacin de mtodos.
Recuerde que una decisin sobre la aceptabilidad del desempeo de un
mtodo implica evaluar si los errores observados afectarn la utilidad clnica
del examen. La estadstica provee el mejor estimado del tamao de los
errores [1]. Usted debe evaluar si esos errores afectarn la utilidad clnica
del examen [2]. Puede hacer esto definiendo un requisito de la calidad en la
forma de un error total permitido, TEa, tal como se define en los criterios
de los esquemas de evaluacin de la competencia de CLIA para desempeo
aceptable. Una herramienta grfica simple llamada la Carta de Decisin de
Mtodo puede ser usada para ayudarle a evaluar el desempeo del mtodo.

Herramientas de ejemplo para uso educacional


Las calculadores en lnea para uso educacional estn disponibles en la pgina web
de Westgard http://www.westgard.com/mvtools.html. Estas herramientas
web deberan ser tiles para trabajar con los conjuntos de datos empleados
para los ejemplos y para el conjunto de datos presentados como problemas
para resolver. Sin embargo, no estn diseados para responder a todas sus
necesidades de anlisis de datos para los estudios de validacin de mtodos.
Tambin se recomienda que adquiera sus propias herramientas de clculo, ya
sea un programa de estadstica general, un programa de validacin de mtodos
especializado, o una hoja de clculo electrnica.
La herramienta para graficar datos de linealidad es usada con los
datos obtenidos en el experimento de linealidad, donde el propsito es evaluar
el rango analtico, a lo largo del cual seran informados los resultados de pacientes. La respuesta del mtodo es graficada en el eje y contra la concentracin
relativa o valores asignados de las muestras o especmenes en el eje x. El
rango reportable es estimado generalmente como el rango lineal de trabajo
del mtodo analtico.
pgina 81

Validacin Bsica de Mtodos, Edicin Wallace Coulter

El calculador de desvo estndar se utiliza para los datos obtenidos en


el experimento de replicacin, donde el objetivo es estimar el error aleatorio o
la imprecisin del mtodo en base a mediciones repetidas del mismo material.
La estadstica que debera ser calculada es la media, la S y el CV. Tambin
asegrese de registrar el nmero de mediciones usadas en los clculos.
La media, o el promedio del grupo de resultados, describe la locacin
central de las mediciones.
La desviacin estndar S describe la distribucin de resultados esperada,
esto es, se espera que el 66% de los resultados estn dentro de la media
1 S , el 95% dentro de la media 2 S, y el 99.7% dentro de la media
3S.
El CV, o coeficiente de variacin, es igual a la desviacin estndar S
dividida por la media, multiplicada por 100 para expresarse en porcentaje.
El histograma muestra la distribucin de resultados. Idealmente, la
distribucin debera ser Gaussiana, o normal.
El calculador de datos apareados podra ser usado con los pares de
resultados de cada espcimen analizado por el mtodo en evaluacin (examen)
y el mtodo de comparacin en el experimento de comparacin de mtodos.
Esta es la parte ms complicada del anlisis estadstico y requiere el mayor
cuidado y atencin. La estadstica de regresin lineal podra ser usada con un
grfico de comparacin, usar la estadstica de la prueba t junto con un grfico
de diferencias.
Las estadsticas de regresin que deberan ser calculadas son la pendiente
(b) y la intercepcin en y de la lnea (a), la desviacin estndar de los puntos
alrededor de esa lnea (sy/x), y el coeficiente de correlacin (r el coeficiente de correlacin del momento del producto Pearson). Tambin podra ver la pendiente
designada como m, la intercepcin en y como b y la desviacin estndar como
sresiduos, respectivamente. Se incluye el coeficiente de correlacin para ayudarle
a decidir si las estadsticas de regresin lineal o las estadsticas t nos van a
dar los estimados ms confiables del error sistemtico.
La pendiente describe el ngulo de la lnea que provee el mejor ajuste entre
los resultados generados por el mtodo en evaluacin y los obtenidos por el
mtodo de comparacin. Una pendiente perfecta sera 1.00. Las desviaciones
de 1.00 son una indicacin del error sistemtico proporcional [1].
La intercepcin en y describe dnde se intersecta la lnea de mejor ajuste con
el eje y. Idealmente, la intercepcin en y debera ser 0.0. Las desviaciones
de 0.0 son indicadores de un error sistemtico constante.
pgina 82

Westgard QC, Inc., Copyright 2013

El trmino sx/y describe la dispersin de los datos alrededor de la lnea de


mejor ajuste. Brinda una estimacin del error aleatorio entre los mtodos que
incluye tanto la imprecisin del mtodo de examen y como la del mtodo de
mtodo de comparacin, as como posibles efectos matriz que varan de un
espcimen a otro. Nunca ser cero porque tanto el mtodo de examen como
el mtodo de comparacin tienen alguna imprecisin.
El coeficiente de correlacin el grado de acuerdo entre los resultados de los
dos mtodos (el mtodo en evaluacin y el de comparacin). Un r de +1.00
indica una correlacin perfecta, esto es, todos los puntos caen perfectamente
en una lnea que muestra los valores del mtodo de examen contra los
valores del mtodo de comparacin. Los valores menores a 1.00 indican que
hay dispersin en los datos alrededor de la lnea de mejor ajuste. Entre ms
bajo el valor de r, ms dispersos los datos. El uso principal de r es ayudarle a
evaluar la fiabilidad de los clculos de regresin lineal el r nunca debe
ser usado como un indicador de la aceptabilidad del mtodo. Cuando
r es 0.99 o mayor, los clculos de regresin lineal proveern estimaciones
confiables de los errores. Cuando r es menor a 0.975, es mejor usar clculos
de datos apareados (prueba t) o tcnicas de regresion alternativas (y ms
complicadas) tal como la regresin de Deming o de Passing-Bablock [4,5].
Se debera utilizar un grfico de comparacin para mostrar los datos del
experimento de comparacin de mtodos (graficando los valores del mtodo
de comparacin en el eje x y los valores del mtodo de examen en el eje y).
Este grfico es usado entonces para inspeccionar visualmente los datos, para
identificar posibles valores atpicos y evaluar el rango lineal de acuerdo [1].
Las estadsticas de la prueba t de inters son el sesgo, el desvo estndar
de las diferencias (Sdif), y finalmente, lo que se conoce como valor t que tambin requiere conocimiento del nmero de mediciones de muestras apareadas.
De nuevo, asegrese de llevar registro del nmero de mediciones, el cual para
el experimento de comparacin de mtodos es el nmero de especmenes de
pacientes comparados.
El sesgo es la diferencia entre los promedios de los dos mtodos, que tambin
es la diferencia promedio de todos los especmenes analizados por los dos
mtodos. Nos da un estimado del error sistemtico o de la diferencia promedio
que se espera entre los dos mtodos entre ms pequeo el sesgo, ms
pequeo el error sistemtico, mejor el grado de acuerdo.

pgina 83

Validacin Bsica de Mtodos, Edicin Wallace Coulter

El desvo estndar de las diferencias (Sdif) provee un estimado del error


aleatorio entre los mtodos. Nunca ser cero porque tanto el mtodo de
examen como el mtodo de comparacin tienen algo de imprecisin.
El valor t por s mismo es un indicador de si se han recolectado suficientes
mediciones de muestras apareadas para saber si el sesgo observado es real,
o estadsticamente significativo. Por regla general, en un experimento de
comparacin de mtodos donde se ha comparado un mnimo de 40 especmenes
de pacientes (procesados en ambos mtodos), si es mayor que 2.0, implica que
los datos son suficientes para concluir que existe un sesgo. Es importante
recordar que para para evaluar la aceptabilidad del mtodo debemos considerar
el tamao del sesgo y no del valor t.
Un grfico de diferencias debera ser usado para mostrar las diferencias entre
los resultados apareados, graficando la diferencia entre los resultados del
mtodo de examen menos los valores obtenidos por el mtodo de comparacin
en el eje y para cada espcimen contra los resultados obtenidos a partir del
mtodo de comparacin en el eje x. Los grficos de diferencias son populares
hoy en da por su simplicidad, sin embargo, su uso e interpretacin no son
tan simples cuando se quiere tomar una decisin cuantitativa objetiva acerca
del desempeo.
El calculador de decisiones es utilizado para mostrar las estimaciones
de los errores aleatorios y sistemticos y evaluar el desempeo del mtodo.
Por consiguiente, esta grfica depende de las estimaciones de los errores que
son obtenidas a partir de otros clculos estadsticos. Resumiendo, la grfica es
trazada en base al requisito de la calidad definido para el mtodo y muestra la
inexactitud permitida en el eje y contra la imprecisin permitida en el eje x.
La imprecisin y la inexactitud observadas del mtodo son luego graficadas para
mostrar el punto operativo del mtodo (la coordenada y es la estimacin de
la inexactitud o el ES, la coordenada x es la estimacin de la imprecisin o el
EA). La posicin de este punto operativo es interpretada en relacin a las lneas
que definen reas de desempeo inaceptable, pobre, marginal, bueno,
excelente y clase mundial (Seis Sigma). Vea los archivos en PDF en la pgina
web de Westgard para ms detalles. Discutiremos el Cuadro de Decisin del
Mtodo en detalle en el captulo 16.

pgina 84

Westgard QC, Inc., Copyright 2013

Referencias
1. Westgard JO, Hunt MR. Use and interpretation of common statistical tests
in method comparison studies. Clin Chem 1973;19:49-57. See below for PDF
files.
2. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825-33.
3. Westgard JO. A method evaluation decision chart (MEDx Chart) for judging
method performance. Clin Lab Science. 1995;8:277-83.
4. Stockl D, Dewitte K, Thienpont M. Validity of linear regression in method
comparison studies: limited by the statistical model or the quality of the
analytical data? Clin Chem 1998;44:2340-6.
5. Cornbleet PJ, Gochman N. Incorrect least-squares regression coefficients in
method-comparison analysis. Clin Chem 1979;25:432-8.
6. Bland JM, Altman DG. Statistical methods for assessing agreement beween
two methods of clinical measurement. Lancet 1986;307-10.
7. Hyltoft-Petersen P, Stockl D, Blaabjerg O, Pedersen B, Birkemose E, Thienpont
L, Flensted Lassen J, Kjeldsen J. Graphical interpretration of analytical
data from comparison of a field method with a reference method by use of
difference plots [opinion]. Clin Chem 1997;43:2039-46.

Referencias en lnea
The Method Validation data analysis tool kit
http://www.westgard.com/mvtools.html
Use and interpretation of common statistical tests in method
comparison studies. http://www.westgard.com/method1.htm

pgina 85

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Otro problema de perspectiva!


CHINA, by Philip Galle, Antwerp, 1595.
China aparece diferente en este mapa porque el Norte est a la derecha, no
arriba. No obstante la Gran Muralla se muestra con claridad. Su perspectiva
sobre las estadsticas es crtica para su uso correcto y aplicacin. Si usted puede
recordar que las estadsticas son herramientas para estimar el tamao de los
errores, entonces podr tener bien clara la informacin que es importante.

pgina 86

Westgard QC, Inc., Copyright 2013

8: Cmo se calculan estas estadsticas?

Este captulo brinda las ecuaciones que fueron evitadas tan cuidadosamente en el
captulo anterior de herramientas para el anlisis de datos. Es muy importante
que usted entienda las pruebas de significancia estadstica y sus limitaciones
al momento de evaluar la aceptabilidad de un mtodo y la verificar se obtenga
un desempeo semejante al declarado por el fabricante en sus especificaciones
de desempeo. Tambin es importante comprender el uso y aplicacin de las
estadsticas que puede encontrar en los programas de computacin especficos
disponibles. Se necesita acceder a los clculos correctos de aquellos programas
y algunas veces es necesario mirar las ecuaciones para confirmar que est
obteniendo los clculos correctos.

Objetivos:
Aprender los trminos estadsticos que se encuentran comnmente en los
informes de validacin de mtodos y las especificaciones de desempeo
del mtodo declaradas por los fabricantes.
Revisar las ecuaciones utilizadas para calcular esas estadsticas.
Reconocer aspectos crticos del clculo y la interpretacin de los estadsticos
de significancia t y F y su capacidad para verificar las especificaciones
de desempeo del mtodo declaradas por los fabricantes.
Identificar las estadsticas incluidas comnmente en los anlisis de
regresin, incluyendo la pendiente, la interseccin-Y, el error estndar de
la lnea de regresin, la desviacin estndar de la pendiente, la desviacin
estndar de la interseccin, y el coeficiente de correlacin.

Materiales del captulo:


VM Los Clculos Estadsticos por James O. Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.
Identificar un programa de cmputo disponible para su trabajo de rutina.
Encontrar todas las estadsticas en su programa de cmputo.

pgina 87

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
En un estudio de validacin de mtodos de colesterol, el estadstico-t obtenido
a partir de la comparacin de mtodos arroja los siguientes datos:
Sesgo = 1.74 mg/dL, Sdif = 5.90 mg/dL, N = 81, y t = 2.65. Cul es el valor
critico de t para p = 0.05? Es el sesgo observado estadsticamente significativo?
Es el sesgo observado clnicamente significativo?
En un estudio de validacin de mtodos, el mtodo en evaluacin tiene
una desviacin estndar de 4.0 mg/dL y el mtodo de comparacin tiene
una desviacin estndar de 5.0 mg/dL, ambos valores fueron estimados a
partir de 21 mediciones efectuadas sobre el mismo material de control cuya
concentracin aproximada es de 200 mg/dL. Cul es el valor calculado
para el estadstico F? Es la diferencia de desempeo a nivel de precisin
estadsticamente significativa? Es la diferencia de desempeo a nivel de
precisin cnicamente significativa?
Para verificar las especificaciones de precisin declaradas por el fabricante
se calcul el estadstico-F para comparar la desviacin estndar de 5.0 mg/
dL obtenida en un experimento de replicacin para el mtodo evaluado a
partir de un N= 31 con la desviacin estndar declarada por el fabricante
de 4.0 mg/dL obtenida tambin de un experimento de replicacin con N= 31.
Ha verificado usted las especificaciones del fabricante para precisin?
Para verificar las especificaciones de precisin declaradas por el fabricante
se calcul el estadstico-F para comparar la desviacin estndar de 5.0 mg/
dL obtenida en un experimento de replicacin para el mtodo evaluado a
partir de un N= 11 con la desviacin estndar declarada por el fabricante
de 3.0 mg/dL obtenida tambin de un experimento de replicacin con N= 11.
Ha verificado usted las especificaciones del fabricante para precisin?
Para verificar las especificaciones del fabricante para exactitud se trabaj
con el estadstico-t, se obtuvo un sesgo de 1.5 mg/dL y un valor de t de 2.5
para un estudio dnde se procesaron 40 muestras de pacientes por el mtodo
a evaluar y el mismo mtodo de comparacin empleado por el fabricante al
momento de establecer sus especificaciones. El fabricante declar que no
exista sesgo entre ambos mtodos. Ha verificado usted las especificaciones
declaradas por el fabricante para exactitud?

pgina 88

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos: Los Clculos Estadsticos


James O. Westgard, PhD
La estadstica provee una herramientapara lograr que un conjunto de resultados
de experimentos individuales puedan ser combinados y resumidos con unos
pocos nmeros. Esto debera ser de gran ayuda para clarificar el significado
de los resultados experimentales. Sin embargo, la estadstica a menudo tiene
el efecto contrario, causando ms bien confusin que clarificacin. Esto ocurre
usualmente cuando no se entiende bien el propsito del anlisis estadstico. En
la validacin de mtodos, el objetivo debera ser estimar los errores analticos a
partir de los resultados de los experimentos de validacin. La estadstica debera
proporcionar informacin sobre el tipo y magnitud de los errores analticos: de
otro modo tendran poco valor para interpretar los resultados de los estudios de
validacin y para evaluar la la aceptabilidad del desempeo del mtodo.
Una estadstica es simplemente un nmero. Es un nmero que describe una
serie de otros nmeros a partir de los cuales ha sido calculada. La media (X) de
un conjunto de nmeros se calcula en los experimentos de replicacin, recuperacin e interferencia. La desviacin estndar (S) se calcula en el experimento
de replicacin. Estas estadsticas se calculan a partir de un nmero limitado
de observaciones, las cuales son un subconjunto o muestra estadstica de la poblacin de inters. Proveen estimados que son usados para inferir algo acerca
de la poblacin como un todo; aunque estos estimados no son necesa-riamente
idnticos a los nmeros o parmetros que describen a la poblacin. Por ejemplo,
X y S son estadsticas utilizadas para inferir los valores de parmetros con ser,
la media verdadera, y s, la verdadera desviacin estndar. Sin embargo, X y S
podran no tener los mismo valores que m y s , especialmente cuando el nmero
de mediciones es pequeo. Se pueden hacer inferencias y conclusiones de fiar
slo cuando el trabajo experimental es el adecuado y los anlisis estadsticos y
la interpretacin se hace correctamente.
El uso correcto y la interpretacin de la estadstica es esencial si los experimentos de validacin se realizan para tomar decisiones objetivas sobre el
desempeo del mtodo. La estadstica utilizada comnmente en la validacin de
mtodos incluye la media, la desviacin estndar, el coeficiente de variacin, el
error estndar de la media, el estadstico t obtenido a partir de datos apareados,
el estadstico F, el anlisis de regresin lineal y el coeficiente de correlacin.

pgina 89

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Media, Desviacin Estndar, Coeficiente de Variacin


La media (X) es una medida de tendencia central o localizacin de un conjunto de
valores. La desviacin estndar (S) es una medida de dispersin o propagacin de
un conjunto de mediciones alrededor de la media. El coeficiente de variacin (CV)
expresa la desviacin estndar como un porcentaje de la media. Las ecuaciones
son las siguientes:

x=
s=
CV =

xi
N

(xi x)2
N 1
s (100%)
x

donde xi es una observacin individual, X es la media de la serie de observaciones, y N es el nmero total de observaciones en la serie.
El denominador de la segunda ecuacin utiliza N - 1 porque esta es una
ecuacin para la estadstica S, ms que una ecuacin para el parmetro s, en
cuyo caso se utilizara N. La estadstica S da el mejor estimado del parmetro
s cuando se usa N - 1 y subestimara s si se utilizara N. Por supuesto, cuando
N es grande, hace poca diferencia si se usa N o N - 1.
N - 1 tambin representa el nmero de grados de libertad (GL). Este es un
concepto difcil. Los grados de libertad son definidos como el nmero de comparaciones independientes que pueden ser realizadas entre N observaciones.
Esto tambin podra ser considerado como el nmero de observaciones o mediciones en una serie menos el nmero de restricciones en la serie. Por ejemplo, si
hubiera tres mediciones, slo seran necesarias tres ecuaciones simultneas para
identificar los tres valores. Si se calcular la media, entonces slo habra N - 1
ecuaciones independientes sobrantes, o N - 1 comparaciones independientes, o
N - 1 grados de libertad para una desviacin estndar. Esto se vuelve ms obvio
si N=1, en cuyo caso una nica observacin podra ser tomada como un estimado
de la media, pero no sera posible estimar una desviacin estndar. Slo hay una
pieza de informacin y no puede ser usada para estimar otras dos cantidades.
Si se utiliza la desviacin estndar para describir un conjunto de datos,
se asume que la distribucin de los datos se ajusta a una curva Gaussiana o a
una curva normal. Esta es una distribucin simtrica con forma de campana
que puede ser descrita matemticamente por una ecuacin especfica en la cual
la media y la desviacin estndar son las variables. La estadstica que asume
pgina 90

Westgard QC, Inc., Copyright 2013

una distribucin Gaussiana de una variable se llama estadstica paramtrica.


Aquella que no hace ninguna asuncin acerca de la naturaleza de la distribucin
de una variable se llama estadstica no paramtrica. Toda la estadstica que se
discute aqu es estadstica paramtrica.

Esta figura muestra una curva Gaussiana. En una curva Gaussiana, 68.2
por ciento de las observaciones estarn dentro de 1.0s de la media, 95.5 por
ciento dentro de 2.0s de la media, y 99.7 por ciento dentro de 3.0s de la media. Es comn hablar sobre un intervalo de confianza o rango de confianza de
un 95 por ciento y estimar esto por la media 2.0s, aunque el mltiplo exacto
debera ser 1.96 para un intervalo de 95.0 por ciento.

Error Estndar de la Media


La dispersin de los valores de la media est dada por una estadstica llamada el
error estndar de la media (Sx), que se calcula a partir de la siguiente ecuacin:

sx =

s
N

donde S es la desviacin estndar que representa la dispersin de mediciones individuales como un estimado de mediciones replicadas y N es el nmero
de mediciones incluidas en la media.
En los experimentos de validacin destinados a calcular los errores sistemticos, tales como los experimentos de recuperacin e interferencia, a menudo es
til promediar los resultados de varias mediciones o muestras. Esto reduce los
efectos del error aleatorio del mtodo y permite una evaluacin de los errores
sistemticos pequeos en un mtodo que tiene un error aleatorio relativamente
grande. La media verdadera de las mediciones estar contenida por un inter-

pgina 91

Validacin Bsica de Mtodos, Edicin Wallace Coulter

valo de confianza alrededor de la media experimental, como se describe en la


ecuacin siguiente:

=xt

s
N

El ancho del intervalo se calcula del error estndar de la media Sx (S/(N))


y un mltiplo (t). ste mltiplo debe ser apropiado para los grados de libertad,
que son N 1, y el nivel del intervalo de confianza deseado, usualmente 90%,
95% o 99%. El valor numrico del mltiplo t se obtiene de una tabla estadstica,
que usualmente enumera t como una funcin de los grados de libertad y una
probabilidad (p). Los valores t para p=0.10 se utilizan para calcular un intervalo de confianza de 90%, aquellos para p=0.05 son usados para un intervalo
de confianza de 95%, y aquellos para p=0.01 son usados para un intervalo de
confianza de 99%.
Se muestra en la pgina 95 una tabla ejemplo de valores t. Observe que
los valores t para p=0.05 se acercan a 1.96 conforme el grado de libertad se
acerca a infinito. En general, un mltiplo de 2 puede ser utilizado para calcular un intervalo de confianza del 95% cuando GL=20 ms, y el intervalo ser
correcto dentro de un cuatro por ciento. sta es la base del uso general de + 2s
como un estimado del 95% del intervalo de confianza. Note que, a medida que
GL se hace ms pequeo, especialmente menor de diez, t se hace mucho mayor.
He aqu por qu es importante obtener el valor t correcto para experimentos
tales como los de recuperacin e interferencia, donde GL o N-1 tienden a ser
pequeos.
Aqu hay un ejemplo del uso de la ecuacin para calcular un estimado del
intervalo de confianza del error sistemtico. Use los siguientes datos de un
experimento de recuperacin: 94 por ciento, 96 por ciento, 95 por ciento, 96
porciento, 99 por ciento, 97 por ciento, 100 por ciento, 96 por ciento y 98 por
ciento. De estos nueve valores, la media de recuperacin (X) es 96.8 por ciento y
la desviacin estndar (S) expresada en porcentaje (CV) es 1.9 por ciento. Por lo
tanto la verdadera media de recuperacin (m) estimada con 95% de confianza es

donde 2.31 es el valor t para GL=8 (N - 1) y p=0.05, como se obtiene de


la tabla en la pgina 95. El intervalo que va desde 95.3% hasta 98.3% tiene un
95% de probabilidad de contener la verdadera media de recuperacin. Slo hay
pgina 92

Westgard QC, Inc., Copyright 2013

un 5% de probabilidad de que la verdadera media de recuperacin est fuera


de este intervalo.
Se pueden realizar clculos similares para el experimento de interferencias.
Por ejemplo, los siguientes pares de observaciones (muestra blanco, muestra
para examen) muestran el efecto de aadir una interferencia sospechada: 20, 23;
14, 20; 15, 20; 12, 15; 32, 35; 22, 26; 40, 42; 18, 23; y 16, 22. Las interferencias
observadas de las muestras individuales son 3, 6, 5, 3, 3, 4, 2, 5 y 6. La media
observada de la interferencia (X) es 4.1 y la desviacin estndar (S) es 1.5. La
verdadera media de la interferencia (m) es estimada con 95% de confianza como:

donde 2.31 es nuevamente el valor de t para GL=8 y p=0.05. El intervalo que


va desde 2.9 hasta 5.3 tiene un 95% de probabilidad de contener la verdadera
media de la interferencia. Slo existe un 5% de probabilidad de que la verdadera
media de la interferencia est fuera de este intervalo.
La utilidad de establecer un intervalo de confianza como estimado del
error sistemtico debera volverse visible al comparar los resultados de estos
dos experimentos de recuperacin:
(A) (X) es 96.8%, el intervalo de confianza del 95% es de 95.3% a 98.3%;
(B) (X) es 96.8%, el intervalo de confianza del 95% es de 85.3% a 108.3%.
En el experimento A, los datos son suficientes para concluir que existe
un error sistemtico proporcional debido a que el intervalo de confianza no se
superpone al valor ideal de 100% de recuperacin. En el experimento B, los datos no son suficientes para apoyar una conclusin de la existencia de un error
proporcional debido a que el intervalo de confianza se superpone al valor ideal
de 100%.

Las pruebas de significacin y los intervalos de


confianza
Los exmenes estadsticos tales como el estadstico t y el estadstico F son
usados a menudo para determinar si existe diferencia entre dos cantidades que
son estimados de los parmetros de desempeo. Estos exmenes son llamados
pruebas de significacin y miden si los datos experimentales son adecuados para
apoyar una conclusin sobre la presencia de una diferencia real. La hiptesis
pgina 93

Validacin Bsica de Mtodos, Edicin Wallace Coulter

examinada se llama hiptesis nula que dice que no hay diferencia entre las dos
cantidades. Cuando el estadstico (t o F) es grande, se desaprueba la hiptesis
nula. La conclusin es que la diferencia es estadsticamente significativa. En
trminos prcticos, esto significa que se ha observado una diferencia real. Cuando
el estadstico es pequeo, la conclusin es que la hiptesis nula se mantiene y
no hay diferencia estadsticamente significativa entre las dos cantidades. No se
ha observado una diferencia real.
Los pruebas de significacin proveen informacin similar a la disponible a
partir de los intervalos de confianza, y las similitudes son tiles para entenderlas.
Cuando el intervalo de confianza del estimado de una cantidad no se superpone
a un valor de inters especificado, dgase cero, esto significa que el estimado no
incluye ese valor especificado y por tanto es diferente de l. Esto es anlogo a
una prueba de significacin, que da un resultado estadstico grande, indicando
as una diferencia estadsticamente significativa. Cuando el intervalo de confianza se superpone al valor de inters especificado, la situacin es similar a la
observacin obtenida a partir de la prueba de significacin que indica que no
hay una diferencia estadsticamente significativa.

Estadstico t para datos apareados


Un estadstico t puede ser usado para medir dos medias y determinar si
existe diferencia entre ellas. Existen formas del estadstico t tanto para datos
apareados como no apareados. Esto se refiere a si las dos medias comparadas
vienen de las mismas muestras estadsticas o de diferentes muestras estadsticas.
Por ejemplo, el estadstico t para datos apareados es utilizado cuando hay
pares de mediciones de un conjunto de muestras tales como en el experimento
de comparacin de mtodos en el que cada muestra es analizada por el mtodo
analtico evaluado y el de comparacin. La forma no apareada se utiliza cuando
se examina la diferencia entre medias de dos conjuntos separados de muestras,
tales como la media de los valores de referencia para mujeres contra la media
para hombres. Se describen aqu slo los clculos de la forma apareada del
estadstico t.
Se calculan tres estadsticas. El sesgo es la diferencia entre dos medias:

Sesgo = Y - X

donde la Y y la X son valores promedio. La desviacin estndar de las diferencias (Sdif) est dada por:
Sdifsd =

pgina 94

[(yi xi) bias]2


N 1

Westgard QC, Inc., Copyright 2013

Finalmente, el valor t es calculado a partir del sesgo, la Sdif y N, utilizando la ecuacin:

t=

Sesgo
Sdif / N

Esta ecuacin muestra la naturaleza del valor t. Es una proporcin de


dos trminos, uno que representa una diferencia o error sistemtico (Sesgo) y
otro que representa un error aleatorio (Sdif/(N)); en este caso tiene la forma de
un error estndar de la media debido a que se estn midiendo los valores de la
media. El valor de t expresa la magnitud del error sistemtico en mltiplos
del error aleatorio. Por ejemplo, un valor t de seis indicara que el trmino de
error sistemtico es seis veces mayor que el trmino de error aleatorio. Esta
cantidad de error sistemtico es mucho mayor que la cantidad que podra ser
observable slo con la incertidumbre de los datos experimentales. No se esperan
proporciones mayores a dos o tres. Si el valor de la proporcin es muy grande,
es probable que los datos experimentales demuestren una diferencia real entre
los valores promedio, o la presencia de un error sistemtico.
GL

Intervalos o pruebas de dos lados


p = 0.10
p = 0.05
p = 0.01

6.31

12.71

63.66

2.92

4.30

9.92

2.35

3.18

5.84

2.13

2.78

4.60

2.02

2.57

4.03

1.94

2.45

3.71

1.90

2.36

3.50

1.86

2.3

3.36

1.83

2.26

3.25

10

1.81

2.23

3.17

12

1.78

2.18

3.06

14

1.76

2.14

2.98

16

1.75

2.12

2.92

18

1.73

2.10

2.88

20

1.72

2.09

2.84

30

1.70

2.04

2.75

40

1.68

2.02

2.70

1.64

1.96

2.58

Tabla t. Valores crticos de t para probabilidades (p) y grados de libertad


(GL) seleccionados.

pgina 95

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Una interpretacin ms exacta del estadstico t se realiza comparando el


valor t observado de la primera ecuacin con un valor crtico de t obtenido
de una tabla estadstica. La hiptesis examinada es que no hay diferencia entre
los dos valores de la media (hiptesis nula).
Si el valor t observado es mayor que el valor crtico de t encontrado en
la tabla, se rechaza la hiptesis nula, demostrando que hay una diferencia entre
los dos valores de la media, o que se ha observado un error sistemtico. Usualmente, se declara que la diferencia o el error sistemtico es estadsticamente
significativo. Esto significa que la diferencia observada es mayor que la esperada
debido a la incertidumbre de los datos experimentales o al error aleatorio en las
mediciones. La conclusin es que los datos experimentales son suficientes para
apoyar una afirmacin de que existe error sistemtico.
Si el valor t observado es menor que el valor crtico de t de la tabla, no
se rechaza la hiptesis nula. No existe diferencia entre los dos valores de las
medias. La diferencia observada o error sistemtico no es estadsticamente
significativo. Esto quiere decir que los datos experimentales no apoyan una
conclusin de que existe error sistemtico.
El valor crtico de t es tabulado usualmente como una funcin de probabilidad (p) y de grados de libertad (GL). Es comn seleccionar una probabilidad
de 0.05 o 0.01 para interpretacin de exmenes. Para una interpretacin con
p=0.05, slo habra una chance del cinco por ciento o probabilidad de 0.05 de que
el valor de t observado exceda el valor crtico de t debido a errores aleatorios
en las mediciones. Esto significa que hay un 95% de confianza de que el error
sistemtico sea real. Para una p=0.01, habra slo un chance del 1% de que
la observacin responda a errores aleatorios, por lo que hay 99% de confianza
de que el error sistemtico es real. Los grados de libertad en el estadstico t
son iguales a N 1. Para un experimento de comparacin de mtodos con 41
muestras de pacientes, GL=40. El valor crtico de t para p=0.05 y GL=40 sera
2.02, como se muestra en la tabla. Para valores observados de t mayores a este
(2.02), los datos experimentales demuestran que existe un error sistemtico.
Para valores observados de t menores a este (2.02), los datos experimentales
no demuestran la presencia de un error sistemtico.
Note cuidadosamente que la interpretacin no dice nada acerca de la
aceptabilidad del desempeo del mtodo, solo dice si hay error sistemtico presente. La aceptabilidad depender del tamao del error sistemtico, no del valor
de t. Hay situaciones en las que el valor de t es grande debido a que el error
aleatorio en las mediciones es pequeo o debido a que el nmero de mediciones es
grande. Esto se ve ms fcilmente cuando se reordena nuestra ecuacin previa:

pgina 96

Westgard QC, Inc., Copyright 2013

t = Sesgo

Sdif

Si el sesgo es constante (y no es cero), t incrementar conforme incremente


N o disminuya Sdif. Por otro lado, cuando Sdif sea muy grande, o cuando N sea
muy pequea, t tender a ser pequeo. Esto causa dificultades al interpretar
el valor de t, una dificultad que es anloga a la interpretacin del valor del pH
sanguneo. El pH sanguneo es una funcin de la proporcin entre el bicarbonato y el cido carbnico (o pCO2). La informacin acerca de estos componentes
individuales es necesaria para una correcta interpretacin del valor de pH. De
manera similar, la informacin acerca del sesgo, la Sdif y N debe ser considerada
para una interpretacin correcta del examen.
La aceptabilidad del desempeo se debera juzgar con base en los estimados del error sesgo y Sdif. Los valores ideales para estas estadsticas seran
cero. El valor t podra abarcar un amplio rango de valores conforme el sesgo
y la Sdif se acercan a sus valores ideales. Debido a esto, el valor t no provee
un criterio fiable para juzgar la aceptabilidad, aunque algunas veces se usa de
esta manera. Es comnmente errneo interpretar un valor t pequeo como un
indicador de desempeo aceptable, o un valor de t grande como un indicador
de un desempeo inaceptable. La nica conclusin que debera obtenerse
del valor t es si se ha demostrado o no que existe error sistemtico.

Estadstico F
En estudios de validacin de mtodos, el estadstico F se utiliza en ocasiones para
comparar la varianza del mtodo analtico evaluado con la varianza del mtodo de
comparacin. La varianza es simplemente el cuadrado de la desviacin estndar.
Mientras que el estadstico t dice si la diferencia entre dos valores promedio es
estadsticamente significativa, el estadstico F dice si la diferencia entre
las varianzas es estadsticamente significativa. Resumiendo, el estadstico
t se utiliza para error sistemtico o inexactitud, y el estadstico F se utiliza
para el error aleatorio o imprecisin.
Para obtener el estadstico F, se elevan al cuadrado las desviaciones estndar del mtodo analtico a evaluar y la del mtodo de comparacin, y la varianza
ms grande es dividida por la varianza ms pequea, como se muestra abajo:

(s1)2
F = (s )2
2

pgina 97

Validacin Bsica de Mtodos, Edicin Wallace Coulter

donde S1 es la S ms grande (o el mtodo menos preciso) y S2 es la S ms


pequea (o el mtodo ms preciso). El estadstico F se interpreta comparando
el valor calculado de F con un valor crtico de F, que se obtiene de una tabla
estadstica. La hiptesis nula examinada es que no hay diferencia entre las
varianzas de los dos mtodos. La hiptesis nula se rechaza cuando el valor observado de F es mayor que el valor crtico de F, y en este punto, se dice que
la diferencia entre las varianzas o los errores aleatorios es estadsticamente
significativa.
El significado prctico es simplemente que los datos son suficientes para
mostrar que el mtodo en el numerador de la ecuacin del estadstico F tiene
un error aleatorio mayor que el mtodo en el denominador. Cuando el valor observado de F es menor que el valor crtico de F, la hiptesis nula no puede
ser rechazada. No hay diferencia entre las varianzas o los errores aleatorios de
los dos mtodos.
Por ejemplo, dado un mtodo analtico a evaluar con S=5.0 (N=21) y un mtodo comparativo con S=4.0 (N=31), el valor calculado de F es 1.56 (F=25/16).
La tabla abajo (tabla F, siguiente pgina) da una lista abreviada de valores
crticos de F para p=0.05. Los encabezados de columna dan los grados de libertad en el numerador y los encabezados de fila dan los grados de libertad en
el denominador. En ambos casos, GL es igual a N-1, donde N es el nmero de
mediciones en los respectivos experimentos de replicacin. Para este ejemplo,
el valor crtico de F es 1.93. El valor observado es menor que el valor crtico,
lo que significa que no hay diferencia entre los errores aleatorios de los dos
mtodos (con p=0.05).
Observe que la interpretacin del estadstico F no dice nada acerca
de si el error aleatorio del mtodo evaluado es aceptable, slo dice si
es diferente al del mtodo de comparacin. El mtodo comparativo en s
podra o no tener error aleatorio aceptable, haciendo as que medir la diferencia
en el error aleatorio entre el mtodo analtico evaluado y el de comparacin no
sea realmente relevante en al momento de evaluar la aceptabilidad. La aceptabilidad depende del tamao del error aleatorio, independientemente de que
sea menor o mayor que el error aleatorio del mtodo de comparacin.

pgina 98

Westgard QC, Inc., Copyright 2013

pgina 99

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Anlisis de Regresin Lineal


En el experimento de comparacin de mtodos, se recomienda que sean
graficados primero los datos de la siguiente forma, los valores del mtodo a ser
evaluado en el eje de las ordenadas Y y los valores del mtodo de comparacin
en el de las abscisas X. Puede dibujarse una lnea imaginaria a travs de
los puntos generados a partir de los pares de datos, y por inspeccin visual
evaluar cualitativamente los errores analticos. Esta evaluacin puede hacerse
cuantitativamente usando un anlisis de regresin lineal.
Este procedimiento estadstico es nombrado algunas veces como anlisis de
los cuadrados mnimos debido a la tcnica utilizada para determinar la mejor
localizacin de la lnea recta a travs de un conjunto de puntos de datos. Cuando
se dibuja la lnea manualmente, su locacin se juzga minimizando visualmente
las distancias de todos los puntos a la lnea. Para encontrar la mejor lnea posible,
se pueden dibujar varias lneas y medirse las distancias de todos los puntos a
cada una de las lneas. Las distancias del conjunto de puntos a cada lnea podra
ser sumada y la lnea con el menor total debera ser la mejor lnea. De hecho,
la mejor lnea es aquella que minimiza los cuadrados de las distancias de los
puntos de datos a la lnea, permitiendo que los puntos ms distantes tengan un
mayor efecto en la lnea. sta lnea se llama lnea de los cuadrados mnimos y
el proceso estadstico se llama anlisis de los cuadrados mnimos.
La lnea recta se describe por la ecuacin de regresin:

Y1 = a + bx1

donde a es la interseccin-Y (el punto donde la lnea intersecta con el eje


de las ordenadas Y) y b es la pendiente (el ngulo de la lnea en el grfico).
La pendiente (b) se calcula de la ecuacin:

b=

Nxiyi xiyi
Nxi2 (xi)2

Note que el trmino (xi)2 significa que los valores individuales son sumados y la suma se eleva al cuadrado. No es lo mismo que xi2, que significa que
los valores individuales se elevan al cuadrado primero para luego ser sumados.
El intercepto en y (a) se calcula de la ecuacin:

a=
pgina 100

-b

Westgard QC, Inc., Copyright 2013

donde y son los valores promedio de las muestras de pacientes por el


mtodos analtico evaluado y el mtodo de comparacin respectivamente, y b
es la pendiente de la ecuacin de arriba.
La desviacin estndar alrededor de la lnea de regresin (Sx/y) es calculada
a partir de la ecuacin:

sy/x =

(yi Yi)2
N 2

Esta estadstica es ms conocida como el error estndar y a veces como la


desviacin estndar de los residuos. Cuantifica la dispersin de los puntos alrededor de la lnea de regresin. Para calcular Sy/x, se calculan primero los valores
tericos de Y correspondientes a los valores de x usando la ecuacin de regresin
(Yi = a + bxi). Las diferencias de los valores reales del examen son calculadas
(yi Yi), elevadas al cuadrado, y luego sumadas. Observe que la desviacin
estndar alrededor de la ecuacin de la lnea de regresin que vemos arriba
es muy similar a la ecuacin para calcular una desviacin estndar. Hay dos
diferencias. La primera es que Yi es usada en lugar del valor de la media. Esto
corresponde a tomar los puntos en la lnea de regresin y calcular las diferencias
o desviaciones de los puntos reales alrededor de la lnea de regresin. Por esto
es que preferimos llamar a la estadstica desviacin estndar alrededor de la
lnea de regresin. La segunda diferencia de la ecuacin de la desviacin estndar es el nmero de grados de libertad en el denominador, que aqu es N-2 en
lugar de N-1. Esto ocurre debido a que tanto la pendiente como la interseccin
son calculadas antes de calcular Sx/y, as que hay dos restricciones en la serie
de mediciones, dejando N-2 comparaciones independientes o grados de libertad
sobrantes.
Otras dos estadsticas que algunas veces son tiles, aunque rara vez vistas
en reportes de validacin de mtodos en la literatura, son la desviacin estndar
de la pendiente (Sb) y la desviacin estndar de la interseccin (Sa):

sb =

sy/x

(xi2 x)2

sa = sy/x

xi2
N(xi2 x)2

Estas dos estadsticas cuantifican la dispersin de valores de la pendiente y


la interseccin, respectivamente, y permiten calcular los intervalos de confianza
para la pendiente y la interseccin.
pgina 101

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Los valores ideales para las estadsticas de regresin seran 1.000 para la
pendiente y cero para el resto. Estos valores ideales seran obtenidos slo cuando
los resultados del mtodo analtico evaluado fueran exactamente los mismos
que los del mtodo de comparacin. Las desviaciones de estas estadsticas de
sus valores ideales son, por lo tanto, indicaciones de errores analticos.
Una de las aplicaciones ms tiles de las estadsticas de regresin es el clculo del error sistemtico. Esto puede ser realizado para cualquier concentracin
en el rango de concentraciones estudiado en el experimento de comparacin de
mtodos. Por ejemplo, Xc podra ser un nivel de decisin mdica, donde la interpretacin de los resultados del examen es crtica. El valor del mtodo analtico
evaluado correspondiente, Yc, podra ser calculado a partir de la ecuacin de
regresin, sustituyendo Xc por xi e Yc por Yi en la ecuacin, para dar:

Yc = a + b Xc

El error sistemtico (ES) est dado entonces por la ecuacin:

ES = Yc - Xc

cuando Xc = X, Yc ser igual a Y, y as el ES ser igual al sesgo como se estim


a partir del estadstico t. Esto sugiere que un anlisis de regresin proveer
la misma estimacin del error sistemtico, al menos en el caso especial donde
se desea una estimacin en la media de las concentraciones estudiadas.

Coeficiente de Correlacin
El coeficiente de correlacin (r) puede ser calculado a partir de la ecuacin
mostrada abajo, usando los trminos de sumatoria de los clculos de regresin:

r=

Nxiyi xiyi
[Nxi2 (xi)2][Nyi2 (yi)2]

Los valores de r pueden variar de -1.000 a +1.000. Un valor de +1.000


indica una correlacin perfecta, esto es, a medida que incrementa x, y incrementa proporcionalmente. Un valor de 0.000 indica que no hay correlacin,
esto es, a medida que incrementax, y podra incrementar o disminuir.. Si r
es -1.000, existe una correlacin negativa perfecta. A medida que incrementa x,
y disminuye proporcionalmente. No se encontrarn situaciones de correlacin
negativa en los experimentos de comparacin de mtodos, que es el experimento
donde se ven usualmente aplicaciones de r.

pgina 102

Westgard QC, Inc., Copyright 2013

9: Cmo se determina el rango reportable de un


mtodo?
Este captulo describe cmo puede ser determinado el rango reportable usando
una serie de estndares con valores asignados o utilizando una serie de diluciones
a partir de la muestra de un paciente o de una muestra obtenida a partir de
un pool de pacientes. Se recomienda un anlisis grfico de los datos, junto con
una valoracin visual del rango de linealidad. Se puede utilizar la herramienta
disponible online para graficar datos de linealidad para cualquiera de las opciones
planteadas, estndares con valores asignados o la serie de diluciones a partir
de una muestra o pool de muestras. Finalmente, el captulo brinda una breve
discusin del procedimiento experimental para la verificacin de la calibracin.

Objetivos:
Aprender el procedimiento prctico para determinar el rango reportable.
Identificar factores experimentales importantes.
Calcular y graficar datos experimentales para determinar el rango
reportable.
Reconocer la diferencia entre el rango reportable y la verificacin de la
calibracin.

Materiales del captulo:


VM El experimento de Linealidad o Rango Reportable
Problema: Datos de validacin de un mtodo para colesterol
Herramienta para graficar datos de linealidad (www.westgard.
com/mvtools.html)

Cosas qu hacer:
Estudiar los materiales.
Practicar usando las hojas de clculo y las herramientas de clculo
disponibles online.
Trabajar con el problema de colesterol.

pgina 103

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cuntos niveles de materiales son necesarios para validad el rango reportable?
Cul es una forma prctica de obtener una serie de esos materiales?
Cuntas repeticiones se efectan por lo general sobre cada uno de los
materiales?
Cmo se analizan los datos para evaluar el rango reportable?
Cmo se analizan los datos para evaluar linealidad?

pgina 104

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
El Experimento de Linealidad o Rango Reportable
James O. Westgard, PhD y Elsa Quam, BS, MT(ASCP)
Es importante determinar el rango reportable de un mtodo de laboratorio, esto es,
los resultados del examen ms bajos y ms altos que son confiables y pueden ser
informados. Los fabricantes establecen especificaciones para el rango reportable
asentando los lmites inferior y superior del rango. Es muy importante verificar
estas especificaciones declaradas por los fabricantes, particularmente cuando
se asume que un mtodo es lineal y se utiliza una calibracin de dos puntos.

La calibracin es
el procedimiento que
determina la relacin
entre la seal generada
por una metodologa
analtica y los resultados del examen que
son informados. La
calibracin de puntos
mltiples se requiere
para mtodos que no
generan una respuesta
lineal (por ej., mtodos
de inmunoensayo) y
usualmente involucra
analizar de tres a cinco
(o incluso ms) niveles
de calibrador y utilizar
una rutina de ajuste
de curvas para establecer la funcin de calibracin.

Seal de la medicin

Los fabricantes proveen instrucciones y usualmente materiales para calibrar


sus mtodos. Los mtodos podran requerir de una calibracin con cada corrida
analtica, o slo diaria, semanal o mensualmente, o incluso a intervalos mayores,
o slo cuando se ha puesto en uso un nuevo lote de reactivos, dependiendo de
la documentacin que dispone el fabricante sobre la estabilidad del mtodo.
Cuando se establece una calibracin a largo plazo, podra ser necesario para el
laboratorio verificar peridicamente que la calibracin es correcta, esta es una
funcin llamada verificacin de la calibracin en la Regla Final de CLIA.

Calibracin de Puntos
Mltiples

Lmite superior del


rango reportable?

Valor Asignado
pgina 105

Podra ser requerido algo de criterio para evaluar el lmite superior


del rango reportable incluso cuando
haya calibradores altos en el rango
superior. El cambio en la respuesta
podra volverse tan bajo en el lmite
superior que la resolucin de la
medicin no sera ya satisfactoria.
Por ejemplo, son significativos
los cambios entre los resultados
analticos entre los dos calibradores
ms altos mostrados en la figura o
debera restringirse el rango reportable al valor mximo del quinto
calibrador?

Seal de la medicin

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Calibracin de dos
puntos

Lmite superior del


rango reportable?

Valor Asignado

El experimento a realizar es
llamado a frecuentemente experimento de linealidad, aunque no hay
tcnicamente una condicin que un
mtodo provea una respuesta lineal a
menos que se utilice una calibracin
de dos puntos. CLIA utiliza el trmino rango reportable ms que
rango lineal, pero es comn tambin referirse a este rango como el
rango lineal, el rango analtico o
el rango de trabajo para un mtodo.
Debido a que la terminologa
vara en sta rea, es importante
comprender los trminos y los significados en las regulaciones de
CLIA.

pgina 106

Valor informado

En analizadores automticos, se
utiliza comnmente una calibracin de dos puntos. Tpicamente, un calibrador
provee un punto cero y el otro un punto de referencia, como se muestra aqu.
Se asume que una funcin de calibracin lineal puede ser dibujada entre el punto
cero y el punto de referencia y que el rango lineal se extiende ms all de ste
ltimo. Qu tan ms all? La pregunta debera ser contestada determinando
el rango reportable.

Experimento de
Linealidad

Lmite
superior
del
rango
reportable

Valor Asignado

Westgard QC, Inc., Copyright 2013

Definicin de trminos
La Regla Final de CLIA incluye las siguientes definiciones (493.2) que son
importantes al momento de interpretar estos requisitos:
Calibracin significa un proceso de anlisis y ajuste de un instrumento
o sistema analtico para establecer una correlacin entre la respuesta de
medicin y la concentracin o cantidad de la sustancia que est siendo medida
por el procedimiento analtico.
Verificacin de la calibracin significa el anlisis de materiales de
concentracin conocida en la misma manera que las muestras de pacientes
para corroborar la calibracin del instrumento o del sistema analtico a travs
del rango reportable para los resultados de los exmenes de los pacientes.
Note la relacin al rango reportable, que tambin se define en la Regla Final
de CLIA [1] como:
Rango reportable significa el rango de los valores de los resultados analticos
sobre los que el laboratorio puede establecer o verificar la exactitud del
instrumento o de la respuesta de las mediciones del sistema analtico.
El College of American Pathologists (CAP) hace uso de trminos diferentes [2]:
Rango analtico de medicin (RAM) es el rango de los valores del analito
que un mtodo puede medir directamente en el espcimen sin ninguna
dilucin, concentracin u otro tratamiento previo que no sea parte del proceso
de ensayo usual.
Rango clnico reportable (RCR) es el rango de los valores del analito
que un mtodo puede medir, permitiendo la dilucin, la concentracin u otro
tratamiento previo del espcimen utilizado para extender el rango directo
analtico de medicin.
Reconocemos que RAM corresponde al rango reportable de CLIA y que RCR
provee informacin prctica adicional que puede tomar en consideracin el
lmite de deteccin de un mtodo y/o la extensin del RAM por procedimientos
verificados para diluciones de especmenes de pacientes. Por ejemplo, el lmite
inferior del RCR para un mtodo como la Protena C-Reactiva (PCR) podra
estar restringido a reportar valores como menores a 10 mg/L, en lugar de cero,
para evitar confusiones con resultados de un mtodo de mayor sensibilidad (PCR
ultrasensible) donde los valores de intereses estn en un rango ms bajo, de 1 a 5
mg/L. El lmite superior del RCR podra permitir la dilucin de especmenes del
pgina 107

Validacin Bsica de Mtodos, Edicin Wallace Coulter

paciente para extender los estimados de los valores analticos ms all del lmite
superior del RAM, por ejemplo, para exmenes tales como glucosa y creatinina,
donde podra emplearse un protocolo de dilucin para estimar valores fuera del
RAM.

Factores a considerar
El experimento de linealidad involucra una serie de muestras de concentraciones
conocidas (valores asignados) o una serie de diluciones conocidas de un espcimen
de muy alta concentracin o un pool de pacientes. Los valores analticos medidos
o reportados son comparados a los valores asignados o a los valores de las
diluciones, comnmente graficando los valores medidos en el eje de las ordenadas
Y y los valores asignados o de las diluciones en el de las abscisas X, como se
muestra en la figura abajo.

Rango Reportable

Rango Reportable

500

450

450

400

400

Valor informado

Valor informado

500

350
300
250
200
150
100
50

350
300
250
200
150
100
50

0.0

0.0
0

100

200

300

Valor Asignado

400

500

0.2

0,4

0,6

Factor de dilucin

0,8

El rango reportable se evala por inspeccin de la grfica de linealidad.


Esta inspeccin podra involucrar dibujar manualmente la mejor lnea recta
a travs de la porcin linear de los puntos, dibujando una lnea punto a punto
a travs de todos los puntos y luego comparndola con la mejor lnea recta, o
ajustando una lnea de regresin a travs de los puntos en el rango lineal. Hay
clculos estadsticos ms complejos que se recomiendan en algunas guas, como
el protocolo EP-6 de CLSI [3] para evaluar la linealidad de los mtodos analticos.
Pero se acepta comnmente que el rango reportable puede ser determinado
adecuadamente de una valoracin visual, esto es, dibujando manualmente la
mejor lnea recta que ajuste a los puntos ms bajos de la serie.

pgina 108

1.0

Westgard QC, Inc., Copyright 2013

Nmero de niveles
El Instituto de Estndares del Laboratorio Clnico (CLSI, por sus siglas en
Ingls) recomienda un mnimo de 4 -preferiblemente 5- diferentes niveles de
concentraciones [3]. Pueden ser usados ms de 5, particularmente si el nivel
superior del rango reportable necesita ser maximizado, pero hemos encontrado
que 5 niveles son convenientes y casi siempre suficientes.

Materiales
Las soluciones estndares pueden ser fciles de preparar para algunos exmenes.
Para otros, los fabricantes y proveedores de esquemas de evaluacin de la
competencia podran suplir un conjunto de soluciones para la evaluacin de
la linealidad con valores conocidos o relaciones conocidas entre materiales.
Tambin podran usarse especmenes de pacientes o pools de especmenes de
pacientes, que son a menudo convenientes y econmicos cuando existen valores
altos disponibles. En algunos casos, por ej., en Drogas de Monitoreo Teraputico,
podra ser necesario introducir en un pool el analito a ser medido para obtener
el nivel alto deseado.

Diluyentes para utilizar cuando se trabaja con


especmenes de pacientes
La seleccin del diluyente es importante cuando se necesita mantener la matriz
del espcimen, por ej., cuando el suero es el tipo usual de espcimen, podra ser
importante mantener una matriz srica para la serie de muestras analticas
diluidas. Para exmenes generales de qumica clnica, es frecuente utilizar
agua o solucin salina como diluyente. Para otras pruebas, podra ser mejor
utilizar preparaciones de albmina bovina o srica, especmenes con bajas
concentraciones o suero libre de frmacos. Una forma de escoger el diluyente
es seguir la recomendacin del fabricante para diluir especmenes de pacientes
fuera de rango.

Procedimiento para preparar diluciones


Es conveniente usar dos pools uno cerca del nivel cero o cerca del lmite de
deteccin y el otro cerca o ligeramente por encima del lmite superior esperado
del rango reportable. Determine el volumen total necesario para los anlisis,
seleccione pipetas volumtricas apropiadas y luego haga lo siguiente:
1. Etiquete el pool de concentracin ms baja como Pool 1, y el de ms alta
concentracin como Pool 5.
pgina 109

Validacin Bsica de Mtodos, Edicin Wallace Coulter

2. Prepare la Mezcla 2 (75/25) con 3 partes del Pool 1 + 1 parte del Pool 5.
3. Prepara la Mezcla 3 (50/50) con 2 partes del Pool 1 + 2 partes del Pool 5.
4. Prepare la Mezcla 4 (15/75) con 1 parte del Pool 1 + 3 partes del Pool 5.
Si se desean ms niveles, ste protocolo de dilucin puede ser modificado,
por ej., los dos pools pueden ser mezclados 4 a 1, 3 a 2, 2 a 3 y 1 a 4 para dar
cuatro niveles intermedios para un total de seis niveles para el experimento.

Nmero de replicados de medicin


El CLSI recomienda hacer 4 mediciones de cada espcimen o pool. En la prctica,
hemos encontrado que 3 replicados son generalmente suficientes, lo que implica
procesar por triplicados los pools originales alto y bajo tambin.

Anlisis de datos
Grafique la media de los valores medidos en el eje de las ordenadas Y contra
los valores asignados o valores relativos o factores de dilucin en el eje de las
abscisas X. Primero dibuje una lnea punto a punto a travs del rango analtico
entero. Luego dibuje manualmente la mejor lnea recta a travs de la mayor
cantidad posible de puntos, asegurndose de que la lnea pasa por los puntos
ms bajos o los estndares ms bajos o los valores de dilucin ms bajos. En
las concentraciones donde la lnea recta ya no pasa por los puntos, se estima el
error sistemtico debido a la no linealidad. Compare ese error sistemtico ms
el error aleatorio esperado en esa concentracin (2 S) con el error total permitido
para el examen.

Ejemplo de colesterol
Los datos son los siguientes:
Asignado: 0, observado: 0, 5, 10, promedio: 5.0;
Asignado: 100, observado: 95, 100, 105, promedio: 100;
Asignado: 200, observado: 200, 195, 205, promedio: 200;
Asignado: 300, observado: 310, 300, 290, promedio: 300;
Asignado: 400, observado: 380, 390, 400, promedio: 390;
Asignado: 500, observado 470, 460, 480, promedio: 470.

pgina 110

Westgard QC, Inc., Copyright 2013

La figura abajo muestra los valores promedio (valores observados) graficados en el eje de las ordenadas Y contra los valores asignados en el eje de las
abscisas X.

Rango Reportable

500
450

Valor informado

400
350

10 por
debajo

300

30 por
debajo

250
200
150
100
50
0.0
0

100

200

300

Valor Asignado

400

500

La lnea slida representa la lnea dibujada punto a punto y la lnea punteada representa la lnea recta ajustada a los puntos en el rea baja a media
del rango. Se estiman diferencias sistemticas de 0 mg/dL en 300 mg/dL, 10
mg/dL en 400 mg/dL, y 30 mg/dL en 500 mg/dL. El rango reportable se extiende
claramente a 300 mg/dL, pero se extiende a 400 mg/dL o 500 mg/dL?
En 500 mg/dL, dado un mtodo con un CV de 3.0%, la desviacin estndar
sera 15 mg/dL y el estimado del error aleatorio a 2 S sera 30 mg/dL. Esto
significa que en una muestra con un valor verdadero de 500, en promedio
sera observado un valor de 470 mg/dL debido al error sistemtico producto
de la no linealidad. Adems, ese valor podra ser + 30 mg/dL debido al
error aleatorio, esto es, el valor esperado estara en el rango de 440 a
500 mg/dL para una muestra con un valor verdadero de 500 mg/dL. Dado
que el criterio de CLIA para el error total permitido es del 10%, que es
50 mg/dL a un nivel de 500 mg/dL, los errores que seran observados a
500 mg/dL podran ser mayores que el error permitido, as que el rango
reportable debera ser restringido a una concentracin menor.
pgina 111

Validacin Bsica de Mtodos, Edicin Wallace Coulter

A 400 mg/dL, la desviacin estndar sera de 12 mg/dL, dando un estimado


del error aleatorio a 2 S es igual a 24 mg/dL. En una muestra con un valor
verdadero de 400 mg/dL, en promedio sera observado un valor de 390 mg/
dL debido al error sistemtico producto del error de no linealidad. Una
adicin del error aleatorio da un rango esperado de 366 a 414 mg/dL, que
significa que un resultado podra tener un error de hasta 34 mg/dL. El
criterio de CLIA del 10% provee un error total permitido de 40 mg/dL a
400 mg/dL, as que los resultados esperados son correctos considerando
el error total permitido que se a escogido para el mtodo (34 mg/dL < 40
mg/dL), y por tanto el rango reportable se extiende a 400 mg/dL.

Rango Reportable y Verificacin de la Calibracin


De acuerdo con CLIA, la verificacin de la calibracin implica examinar materiales
de concentracin conocida en la misma manera que se examina la muestra de un
paciente para corroborar la calibracin del instrumento o del sistema analtico
a travs del rango reportable para los resultados de los exmenes de pacientes.
Para sistemas que son calibrados de forma infrecuente, la calibracin debe ser
verificada al menos cada 6 meses y ms asiduamente si hay un cambio completo
de reactivos, un cambio de partes o componentes crticos, un mantenimiento
mayor o un problema con el control estadstico interno de la calidad incorregible
que demuestre una modificacin en los resultados analticos.

Si bien el experimento de verificacin de la calibracin se parece mucho
al experimento para el rango reportable, hay una diferencia importante el
experimento debe usar materiales con valores asignados. Los materiales podran
ser una serie especial calibradores de fabricantes o vendedores de reactivos,
calibradores que se corren como desconocidos, es decir como si fuesen muestras
de pacientes,, muestras control con valores asignados, muestras que participan
en esquemas de evaluacin de la competencia con valores conocidos, e incluso
muestras de pacientes con valores ensayados [4]. La disposicin de CLIA para
examinar materiales como muestras de pacientes no debera considerarse una
restriccin del diseo experimental. El uso de mediciones replicadas brindar
mejor informacin acerca de errores sistemticos posibles originados por la
calibracin.
El procedimiento de anlisis de datos debera determinar las diferencias
entre los valores observados y asignados, luego comparar aquellas diferencias
con un criterio para la aceptabilidad, previamente definido por el laboratorio. El
enfoque puede ser similar al esbozado aqu para el rango reportable si se hacen
los replicados de las mediciones y se determinan los valores de la media de esos
valores. Si se realizan mediciones nicas, entonces las diferencias observadas
podran ser comparadas directamente al error total permitido definido por CLIA.
pgina 112

Westgard QC, Inc., Copyright 2013

Referencias
1. US Centers for Medicare & Medicaid Services (CMS). Medicare, Medicaid,and
CLIA Programs: Laboratory Requirements Relating to quality Systems and
Certain Personnel Qualifications. Final Rule. Fed Regist Jan 24 2003;16:36403714.
2. CAP Laboratory Accreditation Checklists. http://www.cap.org
3. CLSI EP6. Linearity of the Linearity of Quantitative Measurement Procedures:
A Statistical Approach. Clinical Laboratory Standards Institute, Wayne PA,
2003.
4. CMS State Operations Manual Interpretative Guidelines: Appendix C. http://
www.cms.hhs.gov/CLIA/03_Interpretive_Guidelines_for_Laboratories.asp

pgina 113

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Problema- Datos de la validacin de un mtodo para


colesterol
Una serie de soluciones estndar con valores asignados de 50, 100, 150, 200,
250, 300, 350, y 400 mg/dL fueron medidas por triplicado. Prepare un grfico a
partir de los datos: evalu el rango reportable de este mtodo. (Las respuesta
aparecen en la pgina 306)

pgina 114

Westgard QC, Inc., Copyright 2013

10: Cmo se determina la imprecisin de un


mtodo?

Una vez que conoce el rango analtico para informar resultados de pacientes, es
importante determinar la imprecisin del mtodo en concentraciones donde es
crtica la interpretacin de los resultados de los pacientes. Este captulo describe
cmo realizar un experimento de replicacin, los factores que son importantes
en el procedimiento experimental y los clculos y grficos que son apropiados
para los datos.

Objetivos:
Aprender un procedimiento prctico para estimar la imprecisin de un
mtodo.
Identificar los factores experimentales importantes.
Calcular los datos experimentales para valorar la imprecisin.

Materiales del captulo:


VM El experimento de replicacin, por James O. Westgard, PhD
Problema: Datos de validacin de un mtodo de colesterol

Cosas qu hacer:
Estudiar los materiales.
Practicar usando la herramienta de clculo online.
Trabajar con el problema de colesterol.

pgina 115

Practicas Bsicas de Validacin de Metodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cuntos niveles o materiales se necesitan para un experimento de replicacin?
Cul es el nmero mnimo de mediciones necesarias para cada material o
nivel?
Qu perodo de tiempo debera abarcar el experimento de replicacin final?
Cmo se analizan los datos para estimar la imprecisin?

pgina 116

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Experimento de Replicacin
James O. Westgard, PhD
Se realiza un experimento de replicacin para estimar la imprecisin o
error aleatorio del mtodo analtico. Los mtodos de medicin casi siempre estn sujetos a variaciones aleatorias. Recuerde nuestro ejemplo de la bscula de
bao de errores aleatorios y sistemticos en El plan experimental, as como las
descripciones grficas en El significado secreto, interno, oculto y ms profundo.
Repetir las mediciones usualmente revelar resultados ligeramente diferentes,
algunas veces un poco mayores, algunas veces un poco menores. Determinar
la cantidad de error aleatorio es usualmente uno de los primeros pasos en un
estudio de validacin de mtodos.

Un experimento de replicacin se realiza tpicamente al obtener los
resultados de 20 muestras del mismo material y luego calculando la media, la
desviacin estndar y el coeficiente de variacin. El propsito es observar la
variacin esperada en un resultado de examen bajo las condiciones normales
de operacin del laboratorio. Idealmente, la variacin del examen debera ser
pequea, esto es, todas las respuestas en las mediciones repetidas deberan
arrojar resultados similares.

El experimento de replicacin estima el error aleatorio causado por
factores que varan en la operacin del mtodo, tales como el pipeteo de las
muestras, las condiciones de reaccin que dependen del tiempo, el mezclado,
la temperatura y el calentamiento, e incluso las mediciones en s mismas. En
sistemas no automatizados, la variacin en las tcnicas aplicadas por distintos
analistas podra contribuir mucho a la variacin observada de un examen. Con
sistemas automatizados, la falta de uniformidad y la inestabilidad del instrumento y de las condiciones de reaccin podran causar pequeas variaciones
que podran verse nuevamente como variaciones positivas y negativas en los
resultados finales del examen. Mientras que el efecto exacto no puede ser predicho en cualquier momento, la distribucin de estos efectos a lo largo del tiempo
puede ser predicha para describir qu tan grande podra ser el error aleatorio.

Factores a considerar
La cantidad de error aleatorio que ser observada depende del diseo experimental
debido a que ciertas variables podran no manifestarse a menos que se escojan
las condiciones apropiadas. Por ejemplo, cuando se realiza un experimento en
un periodo corto de tiempo, digamos dentro de una misma corrida analtica, los
pgina 117

Practicas Bsicas de Validacin de Metodos, Edicin Wallace Coulter

efectos de variacin a largo plazo debidos a los cambios da a da en las condiciones


de operacin no sern observados. La temperatura ambiente podra permanecer
constante en ese periodo corto de tiempo y variar ms a lo largo de un da, en
diferentes das y en diferentes estaciones. Son factores importantes para disear
el experimento: el periodo de tiempo del experimento, la matriz de las muestras
a ser analizadas, el nmero y concentracin de materiales a ser analizados y el
nmero de muestras a ser analizadas. Mientras que se espera que el nmero de
analistas que realicen el examen tambin sea un factor, esta variable se controla
generalmente durante los estudios de validacin de mtodos y slo uno o pocos
analistas bien entrenados estn involucrados en estos estudios.

Periodo de tiempo del experimento


La longitud de tiempo en la que es conducido el experimento es crtica para
la interpretacin de los datos y la conclusin que podra ser obtenida a partir
de los mismos. Cuando se analizan muestras en una sola corrida analtica, el
error aleatorio observado intracorrida ser generalmente menor (y optimista)
debido a que los resultados slo son afectados por aquellos factores que varan en
este periodo de tiempo corto. Estas condiciones llevaran al mtodo a obtener el
mejor desempeo posible; si este desempeo no es aceptable, el mtodo debera
ser rechazado o es necesario identificar las causas que generan estos errores
aleatorios y eliminarlas antes de que se lleven a cabo ms exmenes.
Un experimento llevado a cabo en un periodo de tiempo de un da, esto es,
intrada, usualmente mostrar ms variacin que un experimento intracorrida a menos que el mtodo est altamente automatizado y sea muy estable.
Se espera que un experimento conducido en un periodo de tiempo de veinte das
provea un estimado incluso ms realista de la variacin que ser observada en
las muestras de los pacientes a lo largo del tiempo. Este estimado podra ser
llamado imprecisin da a da, entre das o total del mtodo. La CLSI prefiere el trmino imprecisin total tal vez porque implica que estn incluidos
los componentes de la variabilidad intrada y entre das [1].

Matriz de la muestra
Los otros materiales presentes en una muestra constituyen su matriz. Por
ejemplo, la matriz de inters para un examen de laboratorio podra ser sangre
entera, suero, orina o liquido cefalorraqudeo. Mientras que podra ser de inters
medir glucosa en cada uno de estos tipos de especmenes, ser difcil encontrar
un nico mtodo para todos ellos. Al evaluar el desempeo de un mtodo, es
importante usar muestras que tengan una matriz tan cercana como sea posible
al tipo real del espcimen de inters para el mtodo evaluado.
pgina 118

Westgard QC, Inc., Copyright 2013

Las muestras para examen estn comnmente disponibles como soluciones


estndar, soluciones control, pools de pacientes, y muestras individuales de pacientes. Todas pueden ser usadas en un experimento de replicacin, pero cada
una tiene ciertas ventajas al igual que limitaciones.
Las soluciones estndar estn disponibles para analitos comunes en qumica
clnica y pueden prepararse para lograr las concentraciones de inters. La matriz
de las soluciones estndar es usualmente ms simple que la de las muestras
reales de pacientes, por ejemplo, el estndar podra ser acuoso y la muestra del
paciente ser suero con una alta concentracin proteica. As, un estimado del
error aleatorio en una solucin estndar sera optimista y es ms probable que
represente el mejor desempeo posible. Aun as, si este desempeo obtenido
en condiciones tan favorables no es satisfactorio, se puede tomar la decisin de
rechazar el mtodo.
Las soluciones control o materiales de control pueden ser obtenidos de fuentes
comerciales en forma y tamao convenientes y con estabilidad a largo plazo. La
matriz podra ser muy similar a la matriz de las muestras de pacientes, pero
podran presentarse ciertos efectos debidos al agregado de estabilizantes, al
efecto provocado por la liofilizacin y reconstitucin, y el agregado de aditivos
especiales para incrementar los niveles de ciertos analitos, tales como enzimas
y lpidos. Podra volverse ms difcil en el futuro obtener materiales de control
preparados a partir de muestras de pacientes reales debido a la necesidad de
examinar y documentar que estn libres de enfermedades infecciosas. Ver Prcticas Bsicas de Control de la Calidad para una discusin ms extensa sobre
materiales de control.
Los pools de muestras frescas de pacientes se pueden usar a menudo para
exmenes a corto plazo, particularmente en estudios de replicacin intracorrida
e intrada. Se pueden analizar diariamente duplicados de muestras frescas de
pacientes por largos periodos de tiempo, pero estas muestras an reflejarn slo
los componentes de la imprecisin intracorrida e intrada. El componente
entre das no ser observado a menos que se realicen duplicados en diferentes
das, en cuyo caso se debe demostrar la estabilidad de la muestra fresca para
el periodo de tiempo transcurrido entre los duplicados.

Nmero de materiales y concentraciones a ser


analizadas
El nmero de materiales a ser analizados debera depender de las concentraciones
que son crticas para el uso clnico del examen. Generalmente, dos o tres
materiales deberan ser seleccionados para tener concentraciones de analitos a
niveles importantes de decisin mdica. Un nivel de decisin mdica representa
pgina 119

Practicas Bsicas de Validacin de Metodos, Edicin Wallace Coulter

una concentracin donde la interpretacin mdica de un resultado de examen


es crtica.
Para colesterol, los niveles de decisin mdica son 200 mg/dL y 240 mg/
dL de acuerdo a las recomendaciones del NCEP para interpretar un resultado
de un examen de colesterol [2]. La glucosa tiene una interpretacin crtica a
varios niveles de decisin mdica, tales como 50 mg/dL para hipoglucemia, 120
mg/dL para una muestra en ayuno, 160 mg/dL para una curva de tolerancia, y
a niveles mayores como 300 mg/dL para monitorear pacientes diabticos. Para
lineamientos e informacin sobre niveles de decisin mdica para una gran variedad de exmenes vea las recomendaciones para Niveles de Decisin Mdica
provistas por el Dr. Bernard Statland [3].

Nmero de muestras a evaluar


Es comnmente aceptado que un mnimo de 20 muestras debera ser medido
en el periodo de tiempo de inters. Un gran nmero de muestras dar un mejor
estimado del error aleatorio, pero las consideraciones de costos y tiempo a
menudo indican que los datos se evalen en un periodo de tiempo temprano o
ms corto, luego se podr juntar ms datos si es necesario.

Clculo de los datos


El error aleatorio se describe cuantitativamente calculando la media (X), la
desviacin estndar (S) y el coeficiente de variacin (CV) del nmero n de
mediciones individuales Xi, usando estas ecuaciones:

x = xi
n
s = (xi - x)2
n-1

CV = ( s ) 100
x

Los programas de clculo estn disponibles en calculadoras, hojas de clculo, programas estadsticos y software especializado de validacin de mtodos,
as como en las herramientas de clculo online disponibles en la pgina web de
Westgard: http://www.westgard.com/mvtools.html. Tambin es til preparar un
pgina 120

Westgard QC, Inc., Copyright 2013

histograma de los resultados para mostrar visualmente la variacin aleatoria


esperada y demostrar qu tan grande podra llegar a ser para una medicin
individual.
Para especmenes de pacientes analizados por duplicado, la desviacin estndar se calcula a partir de las diferencias d entre duplicados, utilizando la
siguiente ecuacin, donde n es el nmero de diferentes especmenes de pacientes:

sdup = d2
2n

Criterios para un desempeo aceptable


Aunque los clculos de estos datos son simples, evaluar si la desviacin estndar
calculada representa un desempeo analtico aceptable no es tan simple. El criterio
sobre aceptabilidad depende de qu cantidad de error analtico es permitido sin
afectar o limitar el uso e interpretacin de un resultado de examen [4,5]. Como un
punto de inicio para definir la cantidad de error permitido, recomendamos usar
los criterios CLIA para aceptabilidad. Estos estn disponibles en el Apndice 1.
Para imprecisin a corto plazo, la desviacin estndar intracorrida
(Sintra-c) o la desviacin estndar intrada (Sintra-d) debera ser 1/4 o menos del
error total permitido (TEa) definido como aceptable, esto es:

Sintra-c o Sintra-d < 0.25 TEa


Para imprecisin a largo plazo, la desviacin estndar total (Stot) debera
ser 1/3 o menos del error total permitido (TEa) definido, esto es:

Stot < 0.33 TEa


Se pueden hacer juicios semejantes sobre aceptabilidad usando un Cuadro
de Decisin del Mtodo, disponible en formato PDF y Excel en la pgina web de
Westgard, esta alternativa ser discutida en el captulo 16.

Verificacin del Reporte del Fabricante


CLIA no requiere estrictamente que un laboratorio determine la aceptabilidad
del desempeo. En su lugar, CLIA dice que el laboratorio debera verificar
las especificaciones provistas por los fabricantes (en el inserto por lo general)
para precisin. Esto puede realizarse con el estadstico F, como se muestra
a continuacin:

pgina 121

Practicas Bsicas de Validacin de Metodos, Edicin Wallace Coulter

Obtenga la S esperada y el nmero de mediciones utilizado en el


experimento de replicacin aplicado por al fabricante al momento de
declarar sus especificaciones (usualmente estos datos estn incluidos en
la documentacin del instrumento o insertos de los reactivos), por ejemplo,
S = 3 mg/dL basada en 31 mediciones.
Obtenga la S y el nmero de mediciones de su experimento de replicacin,
por ejemplo, S = 4 mg/dL basada en 21 mediciones.
Calcule el valor de F, la S mayor al cuadrado dividida por la S menor
al cuadrado, esto es, (4)2/(3)2 = 16/9 = 1.78.
Busque el valor crtico de F para 20 grados de libertad (L = N 1) en el
numerador y L = 30 en el denominador en la tabla F en la pgina 99,
donde el valor encontrado debera ser 1.93.
En este caso, la F calculada es menor que el valor crtico de F, lo que
indica que no existe diferencia real entre la S observada en el laboratorio
y la S reportada por el fabricante.
Conclusin las especificaciones de desempeo del fabricante para
precisin han sido verificadas!

Estudios mnimos recomendados


Seleccione al menos 2 materiales de control diferentes que representen las
concentraciones de decisin mdica baja y alta del examen de inters. Analice
20 muestras de cada material dentro de una corrida o dentro de un da para
obtener un estimado a corto plazo de la imprecisin. Calcule la media, la
desviacin estndar y el coeficiente de variacin para cada material. Determine
si la imprecisin a corto plazo es aceptable antes de proceder con ms exmenes.
Analice 1 muestra de cada uno de los materiales en 20 das diferentes para
estimar la imprecisin a largo plazo. Calcule la media, la desviacin estndar
y el coeficiente de variacin para cada material. Determine si la imprecisin a
largo plazo es aceptable.

Consideraciones futuras
Podran emplearse diseos experimentales algo ms elaborados para proveer
informacin ms extensa sobre los componentes a corto y a largo plazo de la
variacin. Estos diseos a menudo usan clculos estadsticos conocidos como
Anlisis de Varianza (ANOVA), como se ilustra en los protocolos de CLSI para
precisin [1,7]. El protocolo EP5 est diseando primariamente para fabricantes,
mientras que el protocolo EP15 est diseado para usuarios de laboratorio. El
EP15 especifica un mnimo de 3 replicados por da por un periodo de 5 das,
pgina 122

Westgard QC, Inc., Copyright 2013

dando un total de 15 mediciones. Para estimar la imprecisin total, los clculos


proveen un modo de determinar los componentes de variacin intracorrida e
intercorrida que luego se combinan para dar la imprecisin total. Los clculos
necesarios se presentan en una hoja de trabajo contenida en un apndice del
EP15, adems hay un ejemplo a partir de un conjunto de datos que muestra
cmo verificar las especificaciones de desempeo provistas por el fabricante.
Dado que el EP15 permite la verificacin de la precisin con datos de slo 5 das,
es probable que ste se convierta en el protocolo predeterminado en muchos
laboratorios. Por sta razn, se discute el EP15 a detalle en el Captulo 19.

Referencias
1. CLSI CP5-A. Evaluation of Precision Performance of Quantitative Measurement
Methods. Clinical and Laboratory Standards Institute, Wayne, PA 2004.
2. National Cholesterol Education Program Laboratory Standardization Panel.
Current status of blood cholesterol measurement in clinical laboratories in
the United States. Clin Chem 1988;34:193-201.
3. Statland BE. Clinical Decision Levels for Laboratory Tests, 2nd ed. Oradell
NJ;Medical Economics Books, 1987.
4. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825- 833.
5. Westgard JO, Burnett RW. Precision requirements for cost-effective operation
of analytical processes. Clin Chem 1990;36:1629-1632.
6. Westgard JO. A method evaluation decision chart (MEDx Chart) for judging
method performance. Clin Lab Science 1995;8:277-283.
7. CLSI EP15-A2. User Verification of Performance for Precision and Trueness.
Clinical Laboratory Standards Institute, Wayne, PA, 2006.

pgina 123

Practicas Bsicas de Validacin de Metodos, Edicin Wallace Coulter

Problema Datos de Validacin de un Mtodo de


Colesterol
Replicacin (usada para estimar la imprecisin o el error
aleatorio)
Se corrieron dos materiales de control diferentes una vez al da por un periodo
de 20 das. Calcule la media, desviacin estndar (S) y el coeficiente de variacin
(%CV) para cada material de control. Prepare un histograma para cada control.
(Las respuestas aparecen en la pgina 306).

pgina 124

Westgard QC, Inc., Copyright 2013

11: Cmo se determina la inexactitud o sesgo


de un mtodo?

Este captulo describe cmo se realiza un experimento de comparacin de mtodos


y cmo deben ser analizados los datos, enfatizando en los clculos estadsticos
y los grficos. Se consideran estadsticas de regresin y el estadstico t, junto
con grficos de comparacin y diferencias.

Objetivos:
Aprender un procedimiento prctico para estimar la inexactitud o el sesgo
de un mtodo.
Identificar los factores experimentales importantes.
Comparar anlisis estadsticos y presentaciones grficas que son apropiados
para conjuntos de datos que cubran rangos analticos estrechos y amplios.

Materiales del captulo:


VM El experimento de comparacin de mtodos,
por James O. Westgard, PhD
Problema: Datos de validacin de un mtodo de colesterol

Cosas qu hacer:
Estudiar los materiales.
Practicar usando la herramienta de clculo online.
Trabajar con el problema de colesterol.

pgina 125

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cul es el nmero mnimo de especmenes que se utilizan generalmente un
estudio de comparacin de mtodos?
Cuntos replicados de las mediciones se efectan por lo general?
Qu perodo de tiempo se recomienda para la duracin del experimento?
Cmo deberan ser calculados los datos cuando existen dos niveles de decisin
mdica?
Cmo deben graficarse los datos si hay dos o ms niveles de decisin mdica?
Qu clculos deben ser utilizados si hay un nico nivel de decisin mdica?
Cmo se grafican los datos cuando existe un nico nivel de decisin mdica?

pgina 126

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
El Experimento de Comparacin de Mtodos
James O. Westgard, PhD
Un experimento de comparacin de mtodos se realiza para estimar la inexactitud
o el error sistemtico. Revise El plan experimental para ver cmo se ajusta este
experimento con los otros. Se realiza este experimento analizando muestras
de pacientes con el nuevo mtodo (mtodo analtico a evaluar) y un mtodo de
comparacin, luego se estiman los errores sistemticos en base a las diferencias
observadas entre los mtodos. Las diferencias sistemticas en concentraciones
crticas, que representan niveles de decisin mdica, son los errores de inters.
Sin embargo, la informacin sobre la naturaleza constante o proporcional del error
sistemtico tambin es til y a menudo est disponible a partir de los clculos
estadsticos apropiados. Tanto el diseo experimental como los clculos estadsticos
son crticos para obtener estimados confiables de los errores sistemticos.

Factores a Considerar
Mtodo comparativo
El mtodo analtico utilizado para la comparacin debe ser cuidadosamente
seleccionado debido a que la interpretacin de los resultados experimentales
depender de la asuncin que pueda hacerse acerca de la exactitud de los
resultados del mtodo comparativo. Cuando sea posible, se debera escoger un
mtodo de referencia como mtodo comparativo. Este trmino tiene un significado
especfico que infiere un mtodo de alta calidad cuyos resultados se sabe son
correctos a travs de estudios comparativos con un mtodo definitivo exacto
y/o a travs de su trazabilidad con materiales estndar de referencia. Cualquier
diferencia entre un mtodo analtico en evaluacin y un mtodo de referencia
se le asigna al mtodo analtico en evaluacin, esto es, los errores se atribuyen
al mtodo analtico evaluado porque la veracidad del mtodo de referencia est
bien documentada.
El trmino mtodo comparativo es un trmino ms general y no implica
que la veracidad del mtodo haya sido documentada. La mayora de los mtodos
de rutina del laboratorio caen en esta categora. Cualquier diferencia entre un
mtodo analtico a evaluar y un mtodo de rutina debe ser interpretada cuidadosamente. Si las diferencias son pequeas, entonces los dos mtodos tienen

pgina 127

Validacin Bsica de Mtodos, Edicin Wallace Coulter

la misma exactitud relativa. Si las diferencias son grandes e inaceptables desde


un punto de vista clnico, entonces es necesario identificar cul mtodo es inexacto. Se pueden emplear experimentos de recuperacin e interferencia para
obtener informacin adicional.

Nmero de especmenes de pacientes


Un mnimo de 40 especmenes de pacientes diferentes deberan ser examinados
por los dos mtodos [1]. Estos especmenes deberan ser seleccionados para
cubrir el rango reportable entero del mtodo y deberan representar el espectro
de enfermedades que se esperan en la aplicacin de rutina del mtodo. El
nmero real de especmenes examinados es menos importante que la calidad
de esos especmenes. Veinte especmenes cuidadosamente seleccionados en
base a sus concentraciones probablemente proveern mejor informacin que
cien especmenes recibidos aleatoriamente en el laboratorio. La calidad del
experimento y las estimaciones de los errores sistemticos dependern ms de
elegir un amplio rango de resultados de examen (calidad de los especmenes)
que que de trabajar con un gran nmero de resultados.
La ventaja principal de realizar el experimento con un gran nmero de
especmenes es identificar muestras de pacientes cuyos resultados no concuerden
debido a interferencias en la matriz de esa nica muestra. Esto es a menudo
de inters cuando el nuevo mtodo hace uso de una reaccin qumica diferente
o de un principio de medicin diferente. Se recomiendan trabajar con un gran
nmero de especmenes de 100 a 200 para evaluar si la especificidad del
nuevo mtodo es similar a la del mtodo comparativo.

Mediciones nicas contra mediciones por duplicado


La prctica ms frecuente consiste en analizar cada espcimen una vez por el
mtodo analtico evaluado y una vez por el mtodo comparativo. Sin embargo,
existen ventajas en hacer mediciones por duplicado cada vez que sea posible.
Idealmente, estos duplicados deberan ser dos muestras diferentes (o tubos) que
se analizan en diferentes corridas, o al menos en diferente orden (en lugar de
replicados efectuados uno tras otro en el mismo tubo o copa de muestra). Los
duplicados brindan una comprobacin de la validez de las mediciones por los
mtodos individuales y ayudan a identificar problemas que surgen de mezclar
muestras, errores de transposicin y otra tipo de equivocaciones. Una o dos
equivocaciones de este tipo pueden tener un fuerte impacto en las conclusiones
obtenidas a partir del experimento. Este tipo de errores o equivocaciones causan
mucha confusin al tener que definir si estos resultados discrepantes representan
el desempeo del mtodo, o si son valores atpicos que deberan ser retirados
del conjunto de datos. Los anlisis por duplicado pueden evidenciar si estas
discrepancias observadas son consistentes o no.

pgina 128

Westgard QC, Inc., Copyright 2013

Si no se realizan duplicados, entonces es de suma importancia inspeccionar


los resultados de comparacin en el momento en que son obtenidos, identificar
aquellos especmenes donde las diferencias son grandes, y repetir los anlisis
mientras an estn disponibles los especmenes.

Periodo de tiempo
Deberan incluirse varias corridas analticas diferentes en das diferentes para
minimizar cualquier error sistemtico que podra ocurrir en una sola corrida. Se
recomienda un mnimo de 5 das [1], pero sera preferible extender el experimento
a un periodo de tiempo ms largo. Dado que el estudio de replicacin a largo
plazo probablemente se extender por 20 das, el estudio de comparacin puede
cubrir un periodo de tiempo similar y requerir de slo 2 a 5 especmenes de
pacientes al da.

Estabilidad del espcimen


No ms de dos horas deberan transcurrir entre que se analizan los especmenes en
uno y otro mtodo analtico (mtodo analtico evaluado y mtodo de comparacin),
a menos que se sepa que los especmenes tienen corta estabilidad, por ejemplo,
el amonio y el lactato. Se podra mejorar la estabilidad para algunos exmenes
aadiendo conservantes, separando el suero o el plasma de las clulas, refrigerando
o congelando. El manejo de los especmenes debe ser definido cuidadosamente
y sistematizado antes de comenzar el estudio de comparacin de mtodos. De
otro modo, las diferencias observadas podran ser debidas a variables en el
manejo de especmenes, ms que a los errores analticos sistemticos que son
el propsito del experimento.

Anlisis de datos
Aqu es dnde se pone difcil! Existe mucho debate y discusin sobre la forma
correcta de analizar los datos obtenidos a partir de un experimento de comparacin
de mtodos [2]. Esto ha sido as desde hace mucho tiempo, desde que yo me
convert en qumico clnico y parece ser un problema crnico que estalla con
cada nueva generacin de cientficos del laboratorio. Estudiamos el uso y la
interpretacin de las estadsticas en los estudios de comparacin de mtodo
hace ms de treinta aos y las lecciones que aprendimos an sirven hoy en da.
Nuestra intencin aqu es brindar breves lineamientos las estadsticas como
tal, se revisan con ms detalle en el siguiente captulo.

pgina 129

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Graficando los datos


La tcnica fundamental de anlisis de datos consiste en graficar los resultados
de la comparacin e inspeccionar visualmente los datos. Idealmente, esto debera
ser realizado en el momento en que los datos son recolectados para identificar
resultados discrepantes que complicarn el anlisis de datos. Cualquier espcimen
de paciente con resultados discrepantes entre el mtodo analtico a evaluar y
el de comparacin debera ser analizados nuevamente para confirmar que las
diferencias sean reales y no equivocaciones al registrar los valores o mezclar
los especmenes.

Grfico de Diferencia

Diferencia (Mtodo Evaluado Comp)

Si se espera que
los dos mtodos concuerden de manera absoluta, el grfico inicial
podra ser un Grfico
de Diferencias que
muestre la diferencia
Lnea de
entre los resultados del
Cero
mtodo evaluado y los
resultados de mtodo
de comparacin en el
eje de las ordenadas
Y contra el resultado
obtenido a partir del
Resultados del Mtodo de Comparacin
mtodo de comparacin
en el eje de las abscisas
X, tal como se muestra en la figura. Estas diferencias deberan ubicarse, alrededor de la lnea de cero diferencias, la mitad arriba y la mitad abajo. Las
diferencias grandes van a sobresalir y nuestra atencin estar dirigida a aquellos
especmenes cuyos resultados necesitan ser confirmados por mediciones repetidas.
Busque cualquier punto atpico que no caiga en el patrn general de los otros
puntos obtenidos a partir de los datos. Por ejemplo, hay un punto sospechoso en
el Grfico de Diferencias. Note tambin que los puntos tienden a dispersarse
sobre la lnea a concentraciones bajas y bajo la lnea a concentraciones altas,
sugiriendo que podra haber errores sistemticos constantes y/o proporcionales.
Para situaciones donde no esperamos una concordancia absoluta entre los
mtodos, una concordancia absoluta, por ejemplo en anlisis enzimticos que
tienen diferentes condiciones de reaccin, deberamos aplicar un Grfico de
Comparacin que muestre el resultado del mtodo a ser evaluado en el eje de
las ordenadas Y contra el resultado obtenido a partir del mtodo de comparacin en el eje de las abscisas X, como se muestra en la segunda figura abajo.
pgina 130

Westgard QC, Inc., Copyright 2013

Sin embargo, ste tipo de


grfico generalmente es ventajoso para mostrar el rango analtico
de datos, la linealidad de la respuesta a lo largo del rango, y la
relacin general entre mtodos
como se muestra por el ngulo
de la lnea y su interseccin con
el eje de las ordenadas.

Grfico de Comparacin
Resultados del Mtodo Evaluado

Conforme se acumulan los


puntos, debera dibujarse una
lnea visual que representa el
mejor ajuste para mostrar la relacin general entre los mtodos
y ayudar a identificar resultados
discrepantes. Nuevamente, el
propsito de sta inspeccin grfica inicial de datos es identificar
resultados discrepantes para
reanalizar especmenes mientras
estn frescos y an disponibles.

Resultados del Mtodo de Comparacin

Calcule las estadsticas apropiadas


Mientras que los Grficos de Diferencias y los Grficos de Comparacin
proveen impresiones visuales de los errores analticos entre el mtodo analtico
evaluado y el mtodo de comparacin, las estimaciones numricas de estos
errores pueden ser obtenidas a partir de clculos estadsticos. Recuerde que el
significado secreto, ms profundo y escondido de la validacin de mtodos es el
anlisis de errores. Necesita saber qu tipos de errores estn presentes y qu
tan grandes podran ser. Los clculos estadsticos pondrn nmeros ms exactos
a sus impresiones visuales de los errores.
Dado que el propsito del experimento de comparacin de mtodos es valorar
la inexactitud, las estadsticas calculadas deberan proveer informacin acerca
del error sistemtico en concentraciones importantes que representan niveles
de decisin mdica. Adems, sera til conocer la naturaleza constante o proporcional de ese error (revise, El plan experimental para definiciones de errores
constantes y proporcionales). Esta ltima informacin es til para determinar
la causa o fuente del error sistemtico y valorar la posibilidad de mejorar el desempeo del mtodo. Para una discusin adicional sobre el uso e interpretacin
de las estadsticas, vea el captulo 12 y los archivos PDF de la referencia [3].
pgina 131

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Para resultados de comparacin que cubran un amplio rango analtico,


por ejemplo, glucosa o colesterol, se prefieren estadsticas de regresin lineal.
Estas estadsticas permiten la estimacin del error sistemtico a ms de una
concentracin que represente o este prxima a niveles de decisin medica para
evaluar la aceptabilidad del mtodo, y tambin brindan informacin sobre la
naturaleza proporcional o constante del error sistemtico para poder as valorar
las fuentes posibles de errores. Los programas estadsticos proveen comnmente
clculos de regresin lineal o anlisis de cuadrados mnimos para la pendiente
(b) y la interseccin-Y (a) de la lnea de mejor ajuste y la desviacin estndar
de los puntos alrededor de esa lnea (Sx/y). El error sistemtico (ES) a una concentracin que representa un nivel de decisin mdica dado (Xc) se determina
entonces calculando el valor Y correspondiente (Yc) a partir de la regresin
lineal, y luego se toma la diferencia entre Yc y Xc, como sigue:

Yc = a + bXc

ES = Yc Xc

Por ejemplo, en el estudio de comparacin de colesterol, donde la lnea de


regresin es Y = 2.0 + 1.03X, esto es, el intercepto-Y es 2.0 mg/dL y la pendiente
(b) es 1.03, el valor Yc que corresponde a un nivel crtico de decisin de 200 (Xc)
sera 208 (Yc = 2.0 + 1.03*200), lo que significa que hay un error sistemtico de
8 mg/dL (208 200) para un nivel de decisin mdica de 200 mg/dL.
Tambin es comn calcular el coeficiente de correlacin, r, que es til sobre
todo para evaluar si el rango de datos es lo suficientemente amplio como para
brindar buenas estimaciones de la pendiente y la interseccin-Y ms que para
evaluar la aceptabilidad del mtodo [3]. Cuando r es 0.99 o mayor, los clculos
de regresin lineal simple deberan proveer estimaciones confiables de la pendiente y la interseccin-Y. Si r es menor a 0.99, sera mejor recolectar datos
adicionales para expandir el rango de concentraciones evaluadas. Considere
usar clculos de estadsticos t para estimar el error sistemtico en la media de
los datos, o utilizar clculos de regresin ms complicados que son apropiados
para un rango de datos ms estrecho.
Para resultados de comparacin que cubran un rango analtico estrecho, por
ejemplo, sodio o calcio, etc., usualmente es mejor calcular la diferencia promedio
entre los resultados, que es lo mismo que la diferencia entre los promedios de
los dos mtodos, que tambin se llama comnmente sesgo. Este sesgo calculado
est disponible tpicamente en programas estadsticos que proveen clculos de
estadsticos t para datos apareados. Los clculos tambin incluyen la desviacin estndar de las diferencias (Sdif), la cual describe la distribucin de estas
diferencias entre mtodos, y un valor t, que puede ser usado para interpretar
pgina 132

Westgard QC, Inc., Copyright 2013

si los datos son suficientes para concluir que realmente hay un sesgo o diferencia
entre los mtodos. Los captulos 8 y 12 discuten en detalle estas estadsticas.
Por ejemplo, si el promedio de 40 anlisis de sodio por el mtodo analtico
evaluado es de 141.0 mmol/L y el promedio para los mismos especmenes por
el mtodo de comparacin es de 138.5, entonces el error sistemtico promedio,
o sesgo, es de 2.5 mmol/L (141.0 138.5). El signo algebraico de ste sesgo es
til para mostrar qu mtodo arroja resultados ms bajos o menores, pero es
el valor absoluto de la diferencia el que es importante para evaluar la aceptabilidad del mtodo.

Criterios para un desempeo aceptable


El juicio de aceptabilidad depende de qu cantidad de error analtico es permitida
sin afectar o limitar el uso y la interpretacin de resultados analticos individuales.
Esto es complicado por el hecho de que cualquier resultado analtico individual
tambin est sujeto a error aleatorio, as que el conjunto o error total (ET) est
compuesto del error sistemtico (ES) ms el error aleatorio (EA). Este Error
Total puede ser calculado como sigue:

ETcalc = ES + EA
ETcalc = Sesgomedia + 3Smedia
donde Smedia es el estimado de la desviacin estndar del mtodo en evaluacin obtenido a partir del experimento de replicacin y Sesgomedia es la diferencia promedio o la diferencia entre los promedios de los clculos del estadstico
t o la diferencia entre Yc Xc donde Yc = a + bXc es obtenida a partir de las
estadsticas de regresin. El desempeo del mtodo es aceptable cuando el
Error Total calculado (ETcalc) es menor que el Error Total Permitido (TEa,
por sus siglas en Ingls). Recuerde que los criterios de CLIA de competencia
analtica para un desempeo aceptable estn expresados en forma de Errores
Totales Permitidos y son un buen punto de inicio para asentar requisitos para
la calidad analtica.
Se pueden hacer evaluaciones similares de aceptabilidad usando el Cuadro
de Decisin de Mtodos [6], que se describe en el captulo 16. Esta grfico le
permite graficar el Sesgomedia en el eje de las ordenadas Y y la Smedia en el de las
abscisas X, y luego evaluar la aceptabilidad del mtodo evaluado a partir de
la ubicacin del punto operativo relativo a las lneas para diferentes criterios
de error total en el grafico.
pgina 133

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Verificacin del Reporte del Fabricante


CLIA no requiere estrictamente que el laboratorio evale la aceptabilidad
de ningn sesgo o error sistemtico observado relativo a cualquier estndar
de calidad, incluso a su propio criterio para un desempeo aceptable en los
exmenes de esquemas de valuacin de la competencia. En su lugar, CLIA
enfatiza la verificacin de las especificaciones declaradas por los fabricantes para
exactitud (o inexactitud, sesgo, error sistemtico). Si un fabricante establece
en sus especificaciones que no hay sesgo, el estadstico t revelar si los datos
del laboratorio confirman o no las especificaciones declaradas por el fabricante.
Si el valor calculado del estadstico t para datos apareados es menor que el
valor crtico de t, entonces no se ha observado un sesgo real o estadsticamente
significativo. Si un fabricante reporta un sesgo determinado, entonces es til
determinar el intervalo de confianza para su estimacin del sesgo y compararlo
con el sesgo declarado por el fabricante en sus especificaciones de desempeo. Si el
sesgo declarado por el fabricante en sus especificaciones de desempeo cae dentro
de los lmites de confianza alto y bajo del sesgo observado, entonces se confirma
la especificacin declarada por el fabricante; si esto no es as, la especificacin
del fabricante no ha sido verificada. Note una simplificacin importante: si el
sesgo observado por usted es menor que el sesgo declarado por el fabricante
en sus especificaciones de desempeo, habr verificado las especificaciones de
desempeo del fabricante y no son necesarios ms clculos estadsticos.
Por ejemplo, suponga que un conjunto de 41 comparaciones de pacientes
para colesterol dio una media de 200 mg/dL, un sesgo de 2.5 mg/dL, una Sdif de
4.3 mg/dL y un valor de t de 2.58. Si el fabricante declara en sus especificaciones que no hay sesgo, entonces aplique el estadstico t para asegurarse de que
esto es verdad. Busque el valor crtico de t para 40 grados de libertad (N 1)
y una p=0.05 en la pgina 95. Compare el valor de t calculado de 2.58 con el
valor crtico de t de 2.02 (L=40, p=0.05). Como el valor de t calculado (2.58)
es mayor que el valor crtico de t (2.02), se ha observado un sesgo estadsticamente significativo o real. Sus resultados experimentales son diferentes y NO
verifican las especificaciones de desempeo declaradas por el fabricante para
exactitud que establecen un de cero sesgo.
Note, sin embargo, que el mtodo an podra desempearse aceptablemente
dado que el sesgo real de 2.5 mg/dL es pequeo comparado con el error total
permitido de CLIA del 10%.
Si el fabricante reporta un sesgo de 1.5 mg/dL, entonces sera til calcular
el intervalo de confianza alrededor del sesgo que usted ha estimado de 2.5 mg/
dL. El intervalo se calcula como sigue: 2.5 mg/dL + t(Sdif)/N1/2, donde el trmino
que acompaa al + es 2.02*4.3/6.4 o 1.4 mg/dL. Su estimacin del sesgo est
entre 1.1 y 3.9 mg/dL, lo que incluye el sesgo declarado por el fabricante en sus
pgina 134

Westgard QC, Inc., Copyright 2013

especificaciones que es de 1.5 mg/dL, por lo que sus resultados experimentales


han confirmado las especificaciones de desempeo declaradas por el fabricante
para exactitud.

Estudios mnimos recomendados


Seleccione 40 especmenes de pacientes para cubrir el rango reportable entero del
mtodo. Analice 8 especmenes por da dentro de 2 horas por el mtodo analtico
evaluado y el mtodo de comparacin. Grafique los resultados inmediatamente
en un Grfico de Diferencias y busque discrepancias; reanalice cualquier
espcimen que d resultados discrepantes para eliminar valores atpicos e
identificar interferencias potenciales. Contine el experimento por 5 das si
no se observan resultados discrepantes. Contine otros 5 das si se observan
discrepancias durante los primeros 5 das. Prepare un Grfico de Comparacin
a partir de todos los datos para evaluar el rango, valores atpicos y la linealidad.
Calcule el coeficiente de correlacin y si r es 0.99 o mayor, calcule las estadstica
aplicando un modelo de regresin lineal simple y estime el error sistemtico a
concentraciones que representen o estn prximas a niveles de decisin mdica.
Si r<0.975, estime el sesgo en la media de los datos a partir del estadstico t
o, alternativamente, a partir de tcnicas ms sofisticadas de regresin [4].
Use el Cuadro de Decisin de Mtodo para combinar los estimados del error
sistemtico y el error aleatorio y haga una evaluacin del Error Total observado
para el mtodo.

Direcciones Futuras
El nmero recomendado de muestras de pacientes para el experimento de
comparacin de mtodos parece reducirse con los aos. Los lineamientos actuales
de CLIA dan 20 como regla general para los experimentos de validacin de
mtodos [7]. La gua EP15 del CLSI para la verificacin por parte del usuario
de la veracidad o sesgo tambin recomienda un mnimo de 20 muestras de
pacientes. Adems, la EP15 incluye una metodologa alternativa que hace uso
de un mnimo de 2 materiales de referencia con valores asignados que deben
ser medidos por duplicado de 3 a 5 corridas (ver captulo 19). Los materiales de
referencia aqu podran incluir Materiales de Referencia Certificados, tales como
los obtenidos del E.U.A. National Institute of Standards and Technology (NIST,
por sus siglas en Ingls), pero tambin podran ser muestras de exmenes de
esquemas de evaluacin de la competencia, materiales de control de la calidad o
materiales de comparacin de grupos pares con valores asignados. La adopcin
de esta metodologa alternativa que usa materiales de referencia ciertamente
disminuye los obstculos y reduce los esfuerzos necesarios para verificar las
especificaciones de desempeo establecidas por los fabricantes. No debe usted
olvidar que el verdadero propsito de la validacin de mtodos es asegurarse
pgina 135

Validacin Bsica de Mtodos, Edicin Wallace Coulter

de que su laboratorio est generando resultados analticos correctos para los


pacientes que concurren al laboratorio, no solamente mantener la conformidad
con los requisitos regulatorios. Es importante ser minucioso y asegurarse que
su mtodo se desempea de forma aceptable y que provee la calidad analtica
requerida para el cuidado del paciente.

Referencias
1. CLSI EP9-A2. Method Comparison and Bias Estimation using Patient Samples.
Clinical and Laboratory Standards Institute, Wayne, PA, 2002.
2. Hyltoft-Petersen P, Stockl D, Blaaberg O, Pedersen B, Birkemose E, Thienpont
L, Flensted Lassen J, Kjeldsen J. Graphical interpretation of analytical
data from a comparison of a field method with a reference method by use of
difference plots. Clin Chem 1997;43:2039-2046.
3. Westgard JO, Hunt MR. Use and interpretation of common statistical tests
in method-comparison studies. Clin Chem 1973;19:49-57.
4. Cornbleet PJ, Gochman N. Incorrect least-squares regression coefficients in
method-comparison studies. Clin Chem 1979;25:432-438.
5. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825-833.
6. Westgard JO. A method evaluation decision chart (MEDx chart) for judging
method performance. Clin Lab Science 1995;8:277-283.
7. CLIA Brochure: Validation of Performance Specifications.
http://www.cms.hhs.gov/CLIA/05_CLIA_Brochures.asp
8. CLSI EP15-A2. User Verification of Performance for Precision and Trueness.
Clinical and Laboratory Standards Institute, Wayne, PA, 2006.

Referencias Online
Herramientas para el anlisis de datos de los estudios de validacin de mtodos.
http://www.westgard.com/mvtools.html
Uso e interpretacin de las estadsticas que generalmente se aplican en los
estudios de validacin de mtodos.
http://www.westgard.com/downloads/
pgina 136

Westgard QC, Inc., Copyright 2013

Problema Datos
de Validacin de un
Mtodo de Colesterol:
Comparacin de
Mtodos
Se ha llevado a cabo un estudio de
comparacin utilizando el mtodo
de Abell Kendal como mtodo
de comparacin. Grafique los
datos de comparacin, obtenga
las estadsticas de regresin y
determine el valor del coeficiente
de correlacin, r. (Respuestas
en la pgina 306).

pgina 137

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Munsters

Monsters!
Sebastian Munster, 1598

Todos nosotros debemos lidiar con monstruos, tales como esas


feroces criaturas de mar que decoraban muchos de los mapas del
siglo XVI. Uno de nuestros monstruos modernos que debemos
enfrentar a diario en los laboratorios es llamado estadstica. Mucho
atemorizan las estadsticas, pero como los Munsters Monsters, las
estadsticas son criaturas imaginarias que podemos superar con
educacin y entrenamiento. Aprender a usar las estadsticas de
los estudios de validacin de mtodos requiere que usted supere
sus temores y adopte a las estadsticas como una herramienta
prctica que le ayudar a resumir y comprender el significado de
los nmeros que surgen de estos estudios. El uso apropiado de las
estadsticas es particularmente importante para comprender los
resultados de los estudios de comparacin de mtodos.

pgina 138

Westgard QC, Inc., Copyright 2013

12: Cmo usar la estadstica para estimar


errores analticos?

ste captulo provee ms detalles acerca del anlisis e interpretacin de los datos
de un experimento de comparacin de mtodos. Hace uso de datos simulados
para demostrar el comportamiento de los parmetros estadsticos en respuesta
a diferentes tipos de errores que podran ser observados a partir de los datos.

Objetivos:
Relacionar las estadsticas utilizadas para analizar los datos de un
experimento de comparacin de mtodos con los tipos de errores analticos
que ocurren entre los mtodos.
Identificar las limitaciones del estadstico t y de las estadsticas de
regresin.
Formular una estrategia para realizar un anlisis de datos apropiado de
un experimento de comparacin de mtodos.

Materiales del captulo:


VM Sentido Estadstico, Sensibilidad y Significatividad,
por James O. Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.
Preparar un conjunto de datos para demostrar el efecto del error
proporcional sobre los estadsticos t y el grfico de diferencias.
Preparar un conjunto de datos para mostrar el efecto de trabajar con un
rango estrecho de datos sobre los estadsticos de regresin y en el grfico
de comparacin.
Examinar un estudio de validacin publicado en la literatura cientfica
y criticar el uso y aplicacin de las estadsticas.

pgina 139

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
El siguiente resumen estadstico fue obtenido a partir de un experimento de
comparacin de mtodos para glucosa:
a = 5,23 mg/dL, b = 0,999, Sy/x = 7,23 mg/dL, sesgo = 5,13 mg/dL, Sdif =
7,23 mg/dL, t = 8,03, r = 0,996, N = 128.
Cul es el error sistemtico proporcional entre mtodos?
Cul es el error sistemtico constante entre mtodos?
Cul es el error aleatorio entre mtodos?
Por qu hay tan buena concordancia entre las estimaciones del error
obtenido a partir de estadsticas de regresin y estadsticos t?
Es el error sistemtico entre mtodos estadsticamente significativo
o real? Qu le dice el coeficiente de correlacin?
El siguiente resumen estadstico fue obtenido a partir de un experimento de
comparacin de mtodos para nitrgeno ureico:
N = 316, a = -0,31 mg/dL, Sa = 0,23 mg/dL, b = 1,032, Sb = 0,009, Sy/x =
0,97 mg/dL, Sx = 13,2 mg/dL, r = 0,997, sesgo = 0,40 mg/dL, Sdif = 1,08
mg/dL, t = 6,58.
Cul es el error sistemtico proporcional entre mtodos?
Cul es el error sistemtico constante entre mtodos?
Por qu es mejor usar las estadsticas de regresin para estimar los
errores en lugar de usar un estadstico t?
Cul es el intervalo de confianza del 95% para la interseccin en y?
La interseccin en y difiere significativamente del valor ideal de 0.0?
Cul es el intervalo de confianza del 95% para la pendiente?
Difiere la pendiente significativamente del valor ideal de 1,00?
Qu le dice el coeficiente de correlacin?

pgina 140

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Sentido Estadstico, Sensibilidad y
Significatividad
James O. Westgard, PhD

Recuerde que el primer secreto de la validacin de mtodos se trata totalmente


de evaluacin de errores. El segundo secreto es que las estadsticas son slo
herramientas para estimar el tamao de esos errores. La caja de herramientas
de anlisis de datos le facilita calcular las estadsticas apropiadas y preparar
los grficos asociados utilizando calculadoras y herramientas para graficar online.
An as, necesita ser cuidadoso al interpretar las estadsticas, particularmente
para datos del experimento de comparacin de mtodos.

Hace muchos aos, estudiamos el uso y la interpretacin de las estadsticas para el estudio de los datos provenientes de la comparacin de mtodos.
Empleamos un modelo de simulacin de datos para crear conjuntos de datos
que tienen diferente tipo y magnitud de errores analticos, luego calculamos las
estadsticas de regresin, estadsticos t y los coeficientes de correlacin para
cada uno de los conjuntos de datos. Vimos qu estadsticas cambiaron conforme
cambi el tipo y la magnitud de los errores analticos en los conjuntos de datos.

Esos resultados fueron publicados en Clinical Chemistry [1] y el
artculo original est disponible en Westgard Web en http://www.westgard.
com/downloads. En 2008, Clinical Chemistry reconoci ste artculo como un
clsico para citar. Si bien ste conocimiento ha estado disponible por alrededor de 30 aos, no est siendo difundido en programas actuales de educacin y
entrenamiento. Muchos profesionales del laboratorio an tienen gran dificultad
para interpretar los estudios de comparacin de mtodos. La clave para hacer
tiles a las estadsticas descansa en entender su sensibilidad a los distintos
tipos de error que pueden estar presentes en los datos. El sentido estadstico
se relaciona con la sensibilidad de las estadsticas a los errores.

Simulacin de errores en resultados de examen


Los mtodos antiguos de glucosa no tenan la especificidad de los mtodos
enzimticos actuales. Debido a que varios estudios de comparacin entre mtodos
especficos y no especficos de glucosa estaban apareciendo en la literatura en
ese tiempo, la glucosa era un buen ejemplo para demostrar cmo los diferentes
tipos de errores analticos aparecen en los resultados estadsticos de los estudios
de comparacin de mtodos.

pgina 141

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Empezamos por construir un conjunto de datos de 41 especmenes que


seran tpicos de una poblacin hospitalaria, como se muestra en la Tabla 1 colocando los resultados del mtodo de referencia en la 1 columna. En un mundo
perfecto, el mtodo de examen dara exactamente los mismos resultados, como
se muestra en la 2 columna. Para demostrar los efectos de los diferentes tipos
de errores, se pueden crear conjuntos de datos adicionales de resultados de
comparacin manipulando los datos de referencia originales (1 columna) de
maneras especficas.
El error aleatorio puede ser simulado aadiendo o sustrayendo
alternativamente 5 mg/dL a cada punto de los datos de referencia (1
columna), como se muestra en la tercera columna de resultados. Esto no
es verdaderamente aleatorio, al menos no el error aleatorio Gaussiano
normal esperado para un mtodo analtico, pero ser suficiente para
demostrar el efecto de este tipo de error. Se pueden construir conjuntos
de datos adicionales aadiendo 2 mg/dL y 10 mg/dL para demostrar el
efecto generado por el cambio en la magnitud del error aleatorio.
El error sistemtico constante puede ser simulado aadiendo 10 mg/dL
a cada punto del conjunto de datos de referencia (1 columna), como se
muestra en la cuarta columna. Se pueden construir datos adicionales
aadiendo 2 mg/dL o 5 mg/dL para demostrar el efecto generado por el
cambio en la magnitud del error sistemtico constante.
El error sistemtico proporcional puede ser simulado multiplicando cada
resultado del conjunto de datos de referencia (1 columna) por 1,05. Se
pueden construir datos adicionales usando factores de 1,02 y 1,10 para
demostrar el efecto generado por el cambio en la magnitud del error
sistemtico proporcional.
Se pueden simular combinaciones de errores aplicando dos o ms de las
operaciones de arriba, como se muestra en las columnas de datos 6, 7 y
8.

pgina 142

Westgard QC, Inc., Copyright 2013

pgina 143

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Anlisis estadstico de los datos simulados


Estos conjuntos de datos estn sometidos a clculos estadsticos de regresin
(la pendiente, b; la interseccin-Y, a; y la desviacin estndar de los puntos
alrededor de la lnea de regresin, sy/x), el anlisis del estadstico t para datos
apareados (la diferencia promedio entre los mtodos, sesgo; la desviacin estndar
de las diferencias, Sdif; y el valor t calculado que se usa para determinar si el
sesgo es estadsticamente significativo o real), y finalmente el coeficiente de
correlacin, r.
Sdif

Las estadsticas calculadas se muestran en la 2 tabla, donde la primera columna a la


izquierda (1 columna) identifica el tipo y magnitud de los errores analticos en el conjunto
de datos (EA, error aleatorio; ESC, error sistemtico constante; ESP, error sistemtico
proporcional) y las siguientes tres columnas muestran la magnitud de los errores. Cada
fila provee los resultados estadsticos de la condicin de error especfico o del conjunto de
condiciones de error. La comparacin de las condiciones de error y los valores estadsticos nos permiten correlacionar el tipo y magnitud de los errores a los estimados de las
estadsticas.
pgina 144

Westgard QC, Inc., Copyright 2013

Sin errores. Los datos de comparacin perfectos tienen exactamente los


mismos valores para los mtodos de examen y de referencia. En un grfico de
comparacin, todos los puntos caeran exactamente en una lnea dibujada en
un ngulo de 45 grados y con la interseccin-Y, justo en la interseccin de los
dos ejes X e Y, o sea cero de x y cero de y. Como se muestra en la tabla,
los resultados estadsticos para sta situacin ideal muestran un valor de 1,00
para la pendiente y el coeficiente de correlacin, y valores de 0,00 para todas
las dems estadsticas, excepto el estadstico t que es indefinido (debido a
que es una proporcin de dos trminos que son 0,00). En un mundo perfecto,
las estadsticas tienen valores ideales de 1,00 (pendiente, coeficiente de
correlacin) y 0,0 (interseccin-Y, Sy/x, sesgo, Sdif). Desviaciones de estos
valores ideales son indicadores de error.

Error aleatorio.
El efecto del error aleatorio se muestra en sta figura para los datos donde
5 mg/dL han sido aadidos y sustrados alternativamente a los valores de referencia. El error aleatorio se manifiesta en el grfico como dispersin en los
puntos alrededor de la lnea de regresin. Los clculos estadsticos en la Tabla
2 muestran cambios mnimos en la pendiente, la interseccin o el sesgo, pero
las Sy/x y Sdif reflejan directamente el tamao del error aleatorio. El coeficiente
de correlacin disminuye conforme se incrementa el error aleatorio, pero los
cambios en r son pequeos y no proveen un estimado directo del error aleatorio
en unidades de concentracin.

300

Error Aleatorio
5 mg/dL

Mtodo Evaluado

200

100

0
0

100

Mtodo de Referencia

200

300

pgina 145

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Error Sistemtico Constante.


El efecto del error sistemtico constante se muestra en la siguiente figura,
donde la lnea de regresin no pasa ya por el origen. En este caso, se aadieron
10 mg/dL para crear un error sistemtico constante y la magnitud del error est
correctamente estimada tanto por la interseccin-Y de la regresin como por el
sesgo del anlisis del estadstico t. Note que no hay cambios en el coeficiente
de correlacin.

300

Error Constante
10 mg/dL

Mtodo Evaluado

200

100

0
0

100

Mtodo de Referencia

pgina 146

200

300

Westgard QC, Inc., Copyright 2013

Error Sistemtico Proporcional.


El efecto del error sistemtico proporcional es mostrado por tres situaciones
donde los resultados de los exmenes son menores que los de referencia por un
2%, 5% y un 10%. El error sistemtico proporcional cambia la pendiente de la
lnea de regresin y la magnitud exacta del error se estima por la pendiente
del anlisis de regresin. Note que el error sistemtico proporcional no afecta
la interseccin-Y, Sy/x y r, pero causa cambios en el sesgo y la Sdif en anlisis
del estadstico t.
300

Error Proporcional
2%, 5%, 10%

Mtodo Evaluado

200

100

0
0

100

200

300

Mtodo de Referencia

pgina 147

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Sensibilidad de la estadstica a los tipos de error


El comportamiento de los distintos estadsticos respecto a los diferentes tipos
de error se resume en la tabla mostrada aqu. El error aleatorio se refleja en
cambios en Sy/x, Sdif y r. Los errores sistemticos constantes se muestran en la
interseccin en y, y en el sesgo. El error sistemtico proporcional puede ser
estimado de mejor manera por la desviacin de la pendiente de la ideal, pero
tambin causa cambios en el sesgo y la DEdif del anlisis del estadstico t. Esto
es un problema y la razn del signo de interrogacin en la tabla de abajo. El
error sistemtico proporcional confunde la interpretacin de los estadsticos t!
Tambin existe un problema con el coeficiente de correlacin porque responde
slo al error aleatorio, no a errores sistemticos, que son los errores de inters
en el experimento de comparacin de mtodos. Puede tener un coeficiente de
correlacin ideal incluso si un mtodo es inexacto!

Sensibilidad de la Estadstica
Regresin
Pendiente, b
Y-Intercepto, a
DE alrededor de la lnea, Sy/x
Prueba - T
Sesgo
Sdif
Coeficiente de Correlacin
r

EA

ESC

ESP

No
No

No
Si

Si
No

Si

No

No

No
Si

Si
No

Si?
Si?

Si?

No?

No?

Estimacin del error aleatorio.


De la tabla de sensibilidad, es aparente que hay tres estadsticas que
responden al error aleatorio. Mientras que ste error fue introducido en el mtodo de examen por simulacin de datos, las estadsticas a menudo reflejan el
error aleatorio de ambos mtodos y a veces hasta incluyen dispersin adicional
causada por diferencias en la especificidad entre los dos mtodos que estn
siendo comparados. Por lo tanto, el estimado de la precisin del experimento de
replicacin es importante todava para caracterizar el desempeo de un mtodo
individual.
Note que la Sdif tambin est influenciado por el error sistemtico proporcional, lo que significa que sta estadstica no provee un estimado especfico de
pgina 148

Westgard QC, Inc., Copyright 2013

error aleatorio. Las otras dos estadsticas Sy/x y r son sensibles slo al error
aleatorio, pero difieren en sus unidades y valores numricos. Es ms til estimar
el error aleatorio como desvo estndar, en unidades de concentracin como nos
ofrece el Sy/x, que en los nmeros adimensionales provistos por el coeficiente de
correlacin. Un valor de 5 mg/dL para sy/x puede ser fcilmente interpretado en
trminos de diferencias esperadas, por ejemplo, 95% de las diferencias estarn
dentro de 2 veces el valor de Sy/x. Un valor de 0,996 para r no provee un estimado del tamao de los errores aleatorios en una forma significativa como un
trmino de desvo estndar.
Una limitacin mayor de r es que depende del rango analtico cubierto
por los datos. Por ejemplo, en los dos grficos mostrados aqu, el error aleatorio
es el mismo, 10 mg/dL, aunque los valores para r son muy diferentes, 0,986
vs 0,764. El grfico a la izquierda muestra el amplio rango de datos que se esperaran de una poblacin de un hospital, mientras que el grfico a la derecha
muestra el rango estrecho esperado de una poblacin saludable.

Rango
Error Aleatorio
Coeficiente de Correlacin

0 a 300 mg/dL
10 mg/dL
0.986

Rango
70 a 110 mg/dL
Error Aleatorio
10 mg/dL
Coeficiente de Correlacin
0.764

El coeficiente de correlacin es de hecho sensible al error aleatorio entre


mtodos (la dispersin en la direccin y) relativo al rango de datos analticos
en la direccin x. Un alto coeficiente de correlacin significa que la dispersin
en y es pequea comparada con la distribucin en x. Aunque que ste comportamiento hace que coeficiente de correlacin tenga poco valor para estimar
pgina 149

Validacin Bsica de Mtodos, Edicin Wallace Coulter

errores analticos, s de los valores obtenidos para la pendiente y el interceptoY durante la comparacin de mtodos, una medida sobre confiabilidad de los
valores obtenidos para la pendiente y el intercepto-Y durante la comparacin
de mtodos, esto es, un valor alto de r significa que los datos cubren un amplio
rango relativo a la dispersin entre mtodos, haciendo que la lnea que pasa a
travs de los datos est bien definida.

Estimacin del error sistemtico constante.


La interseccin en y de la regresin y el sesgo del estadstico t son las
mejores estadsticas para estimar el error sistemtico constante. Ambos dan
estimados en unidades de concentracin y proveen valores similares cuando est
ausente el error sistemtico proporcional. Considerando que el error sistemtico
proporcional afecta al sesgo del anlisis del estadstico t, este estadstico no
ofrece un estimado especfico del error sistemtico constante. En su lugar provee
un estimado general del error sistemtico que es confiable slo en la media de
los datos. Recuerde que el sesgo es calculado como la diferencia entre la media
de los resultados del mtodo de examen menos la media de los resultados del
mtodo de comparacin, que es lo mismo que el promedio de las diferencias de
todos los especmenes individuales.

Estimacin del error sistemtico proporcional.


La pendiente de la regresin, as como el sesgo y la Sdif del estadstico t son
todos sensibles al error sistemtico proporcional. El hecho de que tanto el sesgo
como la Sdif responden demuestra que stos estadsticos no pueden proveer
un estimado especfico de error sistemtico proporcional. Ambos pueden ser
desorientadores debido a que tambin responden a otros tipos de error, esto
es, el sesgo responde tambin al error sedantico constante y la Sdif responde
tambin a errores aleatorios. Sera mejor evitar usar estadsticos t cuando
est presente el error sistemtico proporcional.
La regresin provee el mejor estimado del error sistemtico proporcional. La
diferencia entre la pendiente y su valor ideal de 1,00, expresado como porcentaje,
describe el error sistemtico proporcional en la forma ms til. Por ejemplo, una
pendiente observada de 0,95 indica un error sistemtico proporcional del 5,0%.

pgina 150

Westgard QC, Inc., Copyright 2013

Dndole Sentido a las Estadsticas


Coeficiente de correlacin.
El coeficiente de correlacin provee informacin slo sobre el error aleatorio, incluso si el objetivo de un estudio de comparacin de mtodos es estimar
el error sistemtico. Por lo tanto, el coeficiente de correlacin es de poco
valor para estimar errores analticos en un experimento de comparacin de mtodos. Sin embargo, dado que r es sensible al rango de datos
recolectados, r es til para medir la confiabilidad de las estadsticas
de regresin. [No es maravilloso? Una limitacin puede ser convertida en una
herramienta til una vez que el comportamiento est bien entendido].

Estadsticos t.
Las estimaciones de los errores podran ser confundidas por la presencia
de error sistemtico proporcional. Hay dos casos donde las estimaciones de
error sistemtico sern confiables: (1) si el error sistemtico proporcional est
ausente, entonces el error sistemtico es constante a lo largo de todo el rango
de concentracin; (2) si la media de los resultados de los pacientes es cercana
al nivel de decisin mdica de inters, entonces el estimado general del error
sistemtico constante y proporcional es confiable en la media de los datos, pero
ese estimado de error sistemtico no debera ser extrapolado a concentraciones
de otros niveles de decisin mdica.
La inspeccin de un grfico con valores del mtodo de ensayo en el eje
y, y valores del mtodo de comparacin en el eje de las x usualmente
revelar la presencia de error sistemtico proporcional.
Si NO est presente el error sistemtico proporcional, entonces el estimado
del error constante podra aplicar a todo el rango de datos estudiado, pero
an as sera mejor restringir la interpretacin de los niveles de decisin
mdica cerca de la media de los datos.
Si est presente el error sistemtico proporcional, sera mejor usar
estadsticas de regresin para estimar el error sistemtico a niveles de
decisin de inters.

Estadsticas de regresin.
Es ideal tener tres parmetros estadsticos que puedan estimar cada uno
un tipo diferente de error. El error sistemtico proporcional puede ser estimado
a partir de la pendiente, el error sistemtico constante a partir de la interseccin-Y, y el error aleatorio (entre mtodos) a partir de la desviacin estndar
alrededor de la lnea de regresin. El error sistemtico puede ser estimado a
pgina 151

Validacin Bsica de Mtodos, Edicin Wallace Coulter

cualquier concentracin usando la ecuacin de regresin, esto es, Yc = a + bXc,


donde Xc es la concentracin que est prxima o representa un nivel de decisin
mdica y Yc es el mejor estimado de la concentracin por el mtodo de examen.
La diferencia entre Yc y Xc es el error sistemtico a esa concentracin crtica,
esto es, Yc Yx = ES.
Las estimaciones de los errores a partir de las estadsticas de regresin no
sern confiables a menos que los datos satisfagan ciertas condiciones y asunciones.
Se asume la linealidad, por lo que debe inspeccionar un grfico de resultados
de comparacin para asegurarse de que hay una relacin lineal entre los
dos mtodos. Por ejemplo, en el grfico de abajo se muestra el efecto de
la no-linealidad en la lnea de regresin. Aunque es obvio que hay algo
de no-linealidad en el extremo superior, los clculos para la regresin
lineal determinarn la mejor lnea recta a travs de todos los datos. En
ste caso, los puntos en el extremo superior llevarn la lnea hacia abajo,
haciendo que la pendiente baje y aumentando el valor del intercepto-Y.
Las estimaciones de error sistemtico proporcional y error sistemtico
constante sern corrompidas por cualquier falta de linealidad en los datos.

pgina 152

Westgard QC, Inc., Copyright 2013

Los valores atpicos pueden causar un problema similar! Uno o dos puntos
al final de la lnea pueden ejercer una influencia indebida arrastrando la
lnea hacia ellos y afectando tanto la pendiente como la interseccin-Y. El
remedio es nuevamente inspeccionar el grfico de los datos para asegurarse
de que no hay valores atpicos.
Un rango estrecho de datos tambin es un problema porque una lnea no
puede ser bien definida por una nube de puntos de datos. Mientras que
sta situacin puede ser reconocida en ocasiones a partir de la observacin
de un grfico de datos, la mejor alerta est dada por el coeficiente de
correlacin. Un valor bajo de r, menor de 0.99 segn algunas referencias
o menor de 0.975 segn otras [2], indica que las estimaciones de la
pendiente y la interseccin podran ser afectadas por la dispersin de los
datos. Un remedio es utilizar tcnicas de regresin ms sofisticadas, tales
como regresin de Deming o regresin de Passing-Bablock. Un remedio
ms simple es utilizar una estimacin del sesgo obtenida a partir del
estadsticos t e interpretar los datos en la media de los resultados de
los pacientes (asumiendo que la media es cercana al nivel de decisin
mdica de inters).

Significatividad estadstica vs clnica.


No hemos incluido el valor t en la discusin hasta ahora porque no provee
un estimado de los errores! ste estadstico es un examen de significatividad
que es principalmente til para decidir si se han juntado suficientes datos para
demostrar que existe una diferencia. Si el valor t calculado es mayor que el
valor t crtico (que es 2,02 para el ejemplo de conjuntos de datos con 41 puntos),
se dice que el sesgo observado es estadsticamente significativo, que en trminos
prcticos significa real. Si el valor t calculado es menor que el valor crtico
de t, entonces los datos no son suficientes para demostrar que existe un sesgo
estadsticamente significativo entre los valores obtenidos a partir del mtodo
en evaluacin y el mtodo de comparacin.
Desde mi perspectiva, sta informacin sobre la significatividad estadstica
es de importancia secundaria. El evaluacin sobre la aceptabilidad del mtodo
debe hacerse sobre la significatividad clnica, no sobre la significatividad estadstica. Un error puede ser estadsticamente significativo, esto es, real, aunque
tan pequeo que no sea clnicamente importante. Por otro lado, un error puede
ser grande y clnicamente importante, aunque los datos no sean suficientes para
demostrar que es estadsticamente significativo.
Recuerde que el valor t se calcula como t = sesgo * (N1/2/Sdif), lo que
muestra que es una proporcin del error sistemtico (sesgo) dividido
por el error aleatorio (Sdif) multiplicado por la raz cuadrada del nmero
pgina 153

Validacin Bsica de Mtodos, Edicin Wallace Coulter

de muestras apareadas (N1/2). Esto es anlogo a la ecuacin para el pH


sanguneo, donde el pH es una funcin de la proporcin del bicarbonato
sobre la constante de disociacin de los tiempos de la PCO2. Un valor de
pH por s mismo es difcil de interpretar sin tener informacin acerca de
los valores de bicarbonato y PCO2. Del mismo modo, un valor t tiene
poco sentido a menos que se tenga informacin acerca de los errores
sistemticos y aleatorios (estadsticos representativos: Sesgo y Sdif).
Desafortunadamente encontrar a menudo el valor t reportado sin
ninguna informacin dada sobre el sesgo o la Sdif.
Valores altos de t podran resultar de un sesgo grande, siendo la Sdif
pequea o N grande. Un valor alto de t indica que existe un sesgo real,
sin embargo, ese sesgo puede ser pequeo y estadsticamente significativo
si Sdif es pequeo y/o N es grande.
Valores bajos de t podran resultar de un sesgo pequeo, siendo Sdif
grande o N pequeo. Un valor bajo de t indica que los datos no son
suficientes para demostrar que existe una diferencia real, concluyendo
as que no existe diferencia. Sin embargo, un sesgo grande podra no ser
estadsticamente significativo si la Sdif es grande y/o N es pequeo.
La aceptabilidad del desempeo del mtodo depende de si los errores afectarn o no la utilidad clnica de los resultados de examen. La significatividad
clnica depende de definir los lmites de error permitidos, para luego comparar
los errores observados con esos lmites. Si los errores observados son menores que los errores permitidos, el desempeo del mtodo es aceptable. Si los
errores observados son mayores que los permitidos, el desempeo del mtodo
no es aceptable.

Cul es el punto?
Necesita tener una estrategia sobre cmo usar la estadstica con datos del
experimento de comparacin de mtodos si espera obtener buenos estimados
de los errores analticos de inters! Aqu estn las partes importantes de la
estrategia del anlisis de datos:
Grafique los datos de comparacin en el momento de la recoleccin para
identificar cualquier valor atpico mientras que las muestras de los
pacientes an estn disponibles para investigaciones futuras. Puede
usar tanto un grfico de diferencias (diferencia entre los resultados del
mtodo evaluado y los resultados del mtodo de comparacin en el eje de
las ordenadas y contra los resultados del mtodo de comparacin en el
eje de las abscisas x) o el grfico de comparacin (resultados del mtodo
evaluado como Y, resultados del mtodo comparacin como X).
pgina 154

Westgard QC, Inc., Copyright 2013

Analice los datos de comparacin utilizando estadsticas de regresin.


Coteje el coeficiente de correlacin (idealmente debera ser 0,99 o mayor)
para asegurarse de que los clculos de regresin lineal simple proveen
estimados confiables de la pendiente y la interseccin. Inspeccione la
grfica de comparacin para identificar la presencia de valores atpicos
o problemas de no linealidad. Estime el error sistemtico a niveles de
decisin mdica importantes (Xc) calculando los valores Yc correspondientes,
luego tomando las diferencias (Yc-Xc) como la estimacin de los errores
sistemticos a cada nivel de decisin mdica de inters.
Si las estadsticas de regresin no son confiables, considere recolectar
ms resultados de comparacin para extender el rango analtico, luego
reevale el coeficiente de correlacin.
O, analice los datos de comparacin con estadsticos t. Restrinja la
interpretacin de resultados a un nivel de decisin mdica cercano a la
media de los datos.
O, use clculos de regresin ms sofisticados, tales como la regresin de
Deming o la regresin de Passing-Bablock, si estn disponibles programas
estadsticos especializados.
Recuerde, los exmenes estadsticos pueden proveer estimados de errores
sobre los que se pueden hacer una evaluacin,, pero no son un sustituto de la
evaluacin.. La significatividad clnica se determina comparando los estimados
estadsticos de los errores al error total permitido definido oportunamente. Una
herramienta til para hacer realizar esta evaluacin es la Carta de Decisin de
Mtodo que se describirn en detalle en el captulo 16.

pgina 155

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Referencias
1. Westgard JO, Hunt MR. Use and interpretation of statistical tests in methodcomparison studies. Clin Chem 1973;19:49-57.
2. Stockl D, Dewitte K, Thienpont M. Validity of linear regression in method
comparison studies: Is it limited by the statistical model or the quality of
the analytical input data? Clin Chem 1998;44:2340-6.
3. Cornbleet PJ, Gochman N. Incorrect least-squares regression coefficients in
method-comparison analysis. Clin Chem 1979;25:432-8.
4. Passing H, Bablock W. A new biometrical procedure for testing the equality
of measurements from two different analytical methods. J Clin Chem Clin
Biochem 1983;21:709-720.
5. Westgard JO. A method evaluation decision chart (MEDx Chart) for judging
method performance. Clin Lab Science 1995;8:277-83.

pgina 156

Westgard QC, Inc., Copyright 2013

13: Cmo examinar fuentes especficas de


inexactitud?

ste captulo describe experimentos para interferencia y recuperacin, que


siempre son necesarios si no hay un mtodo comparativo disponible y proveen a
menudo informacin til junto con los datos obtenidos a partir del experimento
de comparacin de mtodos. Estos experimentos le permiten examinar fuentes
especficas que podran causar inexactitud en el nuevo mtodo. Debido a que
estos experimentos no son requeridos para mtodos no modificados, podra
considerar ste captulo de lectura opcional

Objetivos:
Aprender procedimientos prcticos para validar interferencia y
recuperacin.
Identificar los factores importantes para realizar estudios de interferencia
y recuperacin.
Distinguir entre procedimientos experimentales de interferencia y
recuperacin.
Distinguir entre los clculos estadsticos apropiados para datos de
experimentos de interferencia y recuperacin.
Describir error sistemtico constante apropiadamente.
Describir error sistemtico proporcional apropiadamente.

Materiales del captulo:


VM Los experimentos de interferencia y recuperacin,
por James O. Westgard, PhD
Problema: Datos de validacin de un mtodo de colesterol

Cosas qu hacer:
Estudiar los materiales.
Trabajar en el problema de colesterol.

pgina 157

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cul es la diferencia entre un experimento de recuperacin y uno de
interferencia?
Qu interferencias comunes se estudian usualmente?
Cul es la manera adecuada de calcular la recuperacin?

pgina 158

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Los Experimentos de Interferencia y
Recuperacin
James O. Westgard, PhD
Los estudios de validacin de mtodos para exmenes no modificados de
complejidad moderada o alta tienden a enfocarse en los experimentos de
linealidad o rango reportable, de replicacin y de comparacin de mtodos, los
cuales han sido descritos en captulos anteriores. Sin embargo, nuestro plan
experimental recomienda que tambin se realicen experimentos de interferencia
y recuperacin para estimar los efectos de materiales especficos en la exactitud o
el error sistemtico de un mtodo. Estos dos experimentos pueden ser realizados
rpidamente para medir fuentes especficas de error. Como tal, complementan
las estimaciones del error del experimento de comparacin de mtodos. Sin
embargo, podra saltarse estos materiales, o parte de estos materiales, hasta
que aquellos experimentos se vuelvan de inters para sus aplicaciones.

Experimento de Interferencia
Propsito
El experimento de interferencia se realizar para estimar el error sistemtico
causado por otros materiales que pudieran estar presentes en el espcimen
a analizar. Describimos estos errores como errores sistemticos constantes
debido a que una concentracin determinada del material interferente causar
generalmente una cantidad constante de error, sin importar la concentracin del
analito a medir en el espcimen que se est examinando. No obstante, se espera
que conforme cambie la concentracin del material interferente, el tamao del
error constante cambie.

Factores a considerar
El procedimiento experimental est ilustrado en la figura abajo. Un par alcuotas
de la muestras de examen se preparan para su anlisis por el mtodo que se
est estudiando. La primera alcuota se prepara aadiendo una solucin del
material que se sospecha es interferente (llamado interferente, ilustrado por
I en la figura) a una muestra de un paciente que contenga el analito a medir
(ilustrado por A en la figura) Una segunda alcuota se prepara diluyendo la
alcuota de la muestra original con solvente puro o una solucin diluyente que
no contenga la interferencia sospechada. Ambas alcuotas se analizan por el
mtodo de inters para ver si hay alguna diferencia en los valores debido a la
adicin de la interferencia sospechada.
pgina 159

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Solucin del analito.


Se pueden utilizar soluciones
e s t n d a r, e s p e c m e n e s
de pacientes o pools de
pacientes. Recomendamos un
procedimiento general usando
especmenes de pacientes dado
que estn convenientemente
disponibles en un laboratorio
clnico y contienen muchas de
las sustancias encontradas en
un espcimen real.

Replicados.

El Experimento de Interferencias
Agregar
Interferente
I

Agregar
Agua
H2O

Prepare un par
alicuotas de las
misma muestra

Mida A en ambas
alicuotas de la
muestra

IIII

H, O

AAAA
AAA

AAAA
AAA

Es una buena prctica hacer


7A
7A
mediciones por duplicado en
7A - 7A = 0 Sesgo
todas las muestras debido a que Calcular la
diferencia
el error sistemtico se revela por
las diferencias entre muestras
apareadas. Pequeas diferencias podran estar solapadas por el error aleatorio
causado por la imprecisin del mtodo. Hacer replicados de las mediciones de
los pares de muestras de varios especmenes permite que el error sistemtico
sea estimado a partir de las diferencias entre los valores promedio, que estarn
menos afectados por el error aleatorio del mtodo.

Solucin interferente.
Para materiales solubles, es conveniente usar soluciones estndar que sean
capaces de introducir la interferencia a concentraciones conocidas. Para algunas
interferencias comunes, tales como la lipemia y la hemlisis, se utilizan a menudo
muestras o pools de pacientes.

Adicin del volumen del interferente.


El volumen aadido del interferente debera ser pequeo respecto al volumen
de la muestra original para minimizar la dilucin del espcimen del paciente.
Sin embargo, la magnitud de la dilucin no es tan importante como mantener
exactamente las mismas diluciones (volmenes finales) para el par de las
muestras a examinar.

pgina 160

Westgard QC, Inc., Copyright 2013

Realizacin del pipeteo.


La precisin es ms importante que la exactitud debido a que es esencial
mantener exactamente la misma cantidad de volumen (volumen final) en el
par de muestras a examinar.

Concentracin del material del interferente.


La cantidad de interferente aadida debera alcanzar un nivel marcadamente
elevado, de preferencia cercano de la concentracin mxima esperada en la
poblacin de pacientes. Por ejemplo, al analizar cmo afecta el cido ascrbico
un mtodo de glucosa, podra ser usada una concentracin cercana a 15 mg/dL
debido a que representa la concentracin mxima esperada [1]. Si se observa
un efecto al nivel mximo, entonces tambin podra ser de inters examinar
concentraciones ms bajas y determinar el nivel en el cual la interferencia
invalida por primera vez la utilidad de los resultados analticos.

Interferencias a medir.
Las sustancias a ser medidas son seleccionadas a partir de las especificaciones
de desempeo publicadas por los fabricantes en sus insertos y/o documentos
similares, informacin publicada en literatura, los artculos de revisin de
materiales interferentes y datos de tabulados o bases de datos, tales como la tabla
extensiva compilada por Young y cols., que tambin contiene una bibliografa
comprensiva.
Tambin es una buena prctica examinar interferencias comunes tales
como la bilirrubina, la hemlisis, la lipemia y los aditivos (conservantes) y anticoagulantes utilizados en la recoleccin del espcimen.
La bilirrubina puede ser medida por adicin de una solucin estndar de
bilirrubina.
La hemlisis se mide a menudo removiendo una alcuota de una muestra,
luego hemolizndola mecnicamente, o congelando, y descongelando el
espcimen antes de remover una segunda alcuota.
La lipemia se puede medir aadiendo una emulsin de grasa comercial o
analizando los especmenes de pacientes con lipemia antes y despus de
un proceso de ultra centrifugacin [3, ver procedimiento recomendado
por el CLSI].
Los aditivos para los tubos de recoleccin de especmenes pueden ser
estudiados convenientemente tomando una muestra de sangre total,
luego dispensndola en alcuotas en una serie de tubos que contengan
diferentes aditivos.
pgina 161

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Mtodo comparativo.
Recomendamos que las muestras de interferencia tambin sean analizadas por
el mtodo comparativo, particularmente cuando el mtodo comparativo es un
mtodo de que se trabaja de rutina. Si ambos mtodos sufren efectos provocados
por la misma interferencia, sta interferencia no puede ser motivo suficiente
para rechazar el mtodo. El mtodo de examen podra tener otras caractersticas
que mejoraran an el desempeo general del examen. Si la razn para cambiar
los mtodos es librarse de una interferencia, luego, por supuesto, los datos de
interferencia deberan ser usados para rechazar el nuevo mtodo.

Clculos de los datos


El anlisis de datos es equivalente a los clculos del estadstico t para datos
apareados en un estudio de comparacin de mtodos y puede ser llevado a
cabo con el mismo programa estadstico. Sin embargo, el nmero de muestras
apareadas ser mucho menor que los 40 especmenes requeridos tpicamente
en el estudio de comparacin de mtodos. Note tambin que las estadsticas
de regresin no son apropiadas aqu dado que los datos probablemente no
demostrarn un rango analtico amplio. Aqu hay un procedimiento paso a paso
para calcular los datos:
1. Tabule los resultados para las muestras apareadas.

Muestra A: I aadida = 110, 112 mg/dL; dilucin = 98, 102 mg/dL;

Muestra B: I aadida = 106, 108 mg/dL; dilucin = 93, 95 mg/dL;

Muestra C: I aadida = 94, 98 mg/dL; dilucin = 80, 84 mg/dL.

2. Calcular el promedio de los replicados.


Muestra A: I aadida = 111 mg/dL; dilucin = 100 mg/dL;

Muestra B: I aadida = 107 mg/dL; dilucin =

94 mg/dL;

Muestra C: I aadida = 96 mg/dL; dilucin =

82 mg/dL.

pgina 162

Westgard QC, Inc., Copyright 2013

3. Calcule las diferencias entre los resultados de las muestras pareadas.


Muestra A diferencia = 11 mg/dL;

Muestra B diferencia = 13 mg/dL;

Muestra C diferencia = 14 mg/dL.

4. Calcule la diferencia promedio de todos los especmenes examinados a una


concentracin o nivel de interferencia dados.

Interferencia promedio = 12.7 mg/dL.

Criterios para un desempeo aceptable


La evaluacin de la aceptabilidad se hace comparando el error sistemtico
observado con la cantidad de error permitido para el examen. Por ejemplo, se
supone que un examen de glucosa es correcto dentro de un margen de error del
10% de acuerdo a los criterios de CLIA para desempeo aceptable. En el extremo
superior del rango de referencia (110 mg/dL), el error permitido sera 11.0 mg/
dL. Dado que la interferencia observada de 12.7 mg/dL es mayor que el error
permitido, el desempeo de ste mtodo no es aceptable.

Experimento de Recuperacin
Los estudios de recuperacin son tcnicas clsicas para validar el desempeo
de cualquier mtodo analtico. Sin embargo, su uso en laboratorios clnicos ha
sido cargado de problemas debidos a desempeos inapropiados del experimento,
clculos inadecuados de los datos e interpretacin inadecuada de los resultados.
Los estudios de recuperacin, por la tanto, son utilizados selectivamente y no
tienen alta prioridad cuando est disponible otro mtodo analtico para efectuar
un experimento de comparacin. Sin embargo, podran ser todava tiles para
ayudar a entender la naturaleza de cualquier sesgo revelado en el experimento
de comparacin de mtodos. En ausencia de un mtodo de comparacin confiable,
los estudios de recuperacin deberan tomar ms importancia.

Propsito
El experimento de recuperacin se lleva a cabo para estimar el error sistemtico
proporcional. ste es el tipo de error cuya magnitud se incrementa conforme
aumenta la concentracin del analito. El error es causado a menudo por una
sustancia en la matriz de la muestra que reacciona de manera similar al analito
pgina 163

Validacin Bsica de Mtodos, Edicin Wallace Coulter

a medir y por tanto compite


con el reactivo analtico. El
experimento tambin podra
ser de ayuda para investigar
soluciones de calibracin cuyos
valores asignados son usados
para establecer los puntos de
ajuste del instrumento (ajuste
de calibracin).

Factores a
considerar

El Experimento de Recuperacin
Agregar
analito A
Preparar un par de
alicuotas a partir
de una muestra
Calcular la
cantidad de analito
A agregado
Medir el analito
A en ambas
muestras

Agregar
agua
H2O

AAA

H, O

AAAA
AAA

AAAA
AAA

El
procedimiento
experimental se resume en
la figura a la derecha. Note
10A
7A
Calcular el % de
que las muestras apareadas
recuperacin del
estn preparadas en forma
10A - 7A = 100%
analito A
similar al experimento de
3A
agregado
interferencia. La diferencia
importante es que la solucin
aadida contiene el analito A a medir (mostrado como A) en lugar del material
interferente (mostrado como I en la figura anterior). La solucin aadida es
a menudo un estndar o solucin de calibracin del analito a medir. Ambas
alicuotas son analizadas entonces por el mtodo de inters.

Volumen aadido del estndar.


Es importante mantener pequeo el volumen del estndar en relacin al volumen
del espcimen original del paciente para minimizar la dilucin de la matriz del
espcimen original. De otro modo, el error podra cambiar conforme se diluya
la matriz. Recomendamos que la dilucin del espcimen original no sea mayor
a 10%. Para un procedimiento prctico, aada 0.1 ml de solucin estndar a 0.9
ml o 1.0 ml del espcimen del paciente.

Exactitud del pipeteo.


sta es crtica debido a que la concentracin del analito aadido ser calculada
a partir del volumen del estndar y del volumen espcimen original del paciente.
El trabajo experimental debe llevarse a cabo cuidadosamente. Se deberan
emplear pipetas de alta calidad. Debe prestarse tambin particular atencin a
su limpieza, llenado y tiempo de descarga.

pgina 164

Westgard QC, Inc., Copyright 2013

Concentracin del analito aadido.


Una gua prctica es aadir una cantidad suficiente del analito a medir como
para alcanzar el siguiente nivel de decisin mdica del examen. Por ejemplo, para
especmenes de glucosa con valores de referencia normales en el rango de 70 a
110 mg/dL, una adicin de 50 mg/dL elevara las concentraciones a un rango de
120 a 160 mg/dL, que estn en el rango ms alto donde la interpretacin mdica
de los exmenes de glucosa ser crtica. Tambin es importante considerar la
variabilidad (precisin) del mtodo. Un nivel pequeo de adicin estar ms
afectado por la imprecisin del mtodo que un nivel grande.

Concentracin de la solucin estndar.


Dada la importancia de aadir un pequeo volumen para minimizar el efecto de la
dilucin, ser deseable usar soluciones estndar con concentradas. Para nuestro
ejemplo de glucosa, una solucin estndar con 500 mg/dL sera necesaria para
hacer una adicin de 50 mg/dL, asumiendo que se aaden 0.1 ml del estndar
a 0.9 ml de un espcimen de un paciente. Una solucin estndar de 1000 mg/
dL sera necesaria para hacer una adicin de 100 mg/dL. La concentracin de la
solucin estndar puede ser calculada una vez que los volmenes de la adicin
del estndar y del espcimen del paciente han sido decididos. Si se adopta un
procedimiento general de 0.1 ml de estndar y 0.9 ml de espcimen, entonces la
concentracin de la solucin estndar necesitar ser 10 veces el nivel deseado
de adicin.

Nmero de replicados de medicin por espcimen.


Se debera efectuar mediciones por replicados sobre todas las muestras porque
el error aleatorio propio de las mediciones con frecuencia dificulta evidenciar
la presencia de errores sistemticos pequeos. Como regla general, lleve a cabo
mediciones por duplicado. Si la adicin del estndar es baja en relacin a la
concentracin de los especmenes originales, sera aconsejable realizar mediciones
por triplicado o cuadruplicado.

Nmero de especmenes de pacientes examinados.


Esto depende de la reaccin competitiva que podra causar un error sistemtico.
Por ejemplo, si el objetivo es determinar si protenas sricas afectan la reaccin
analtica, entonces slo se requieren investigar unos pocos especmenes de
pacientes dado que todos contienen protenas. Si el objetivo es determinar si
los metabolitos de algn frmaco afectan la recuperacin, entonces se deben
examinar varias muestras de pacientes diferentes.

pgina 165

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Verificacin de la tcnica experimental.


Es una buena prctica analizar las muestras de recuperacin por los mtodos
de examen y de comparacin. Hay problemas ocasionales causados por la
inestabilidad de las soluciones estndar, errores en la preparacin de las muestras,
intercambio de muestras y errores en el clculo de los datos. Si el mtodo de
comparacin muestra la misma recuperacin que el mtodo de examen, los
resultados de ste experimento son de valor limitado al evaluar la aceptabilidad
del mtodo de examen.

Clculo de datos
La recuperacin debera ser expresada como un porcentaje ya que el objetivo
experimental es estimar error sistemtico proporcional, que es un tipo de error
porcentual. La recuperacin ideal es del 100%. La diferencia entre 100 y la
recuperacin observada (en porcentaje) es el error sistemtico proporcional. Por
ejemplo, una recuperacin del 95% corresponde a un error proporcional del 5%.
Los clculos de recuperacin son difciles y a menudo se realizan incorrectamente, incluso en estudios publicados en revistas cientficas. Aqu hay
un procedimiento paso a paso para calcular los datos:
1. Calcule la cantidad de analito aadido multiplicando la concentracin de
la solucin estndar por el factor de dilucin (ml estndar)/(ml estndar + ml
espcimen).
Por ejemplo, para un mtodo de calcio, si 0.1 ml de un estndar de 20 mg/
dL se aade a 1.0 ml de suero, la cantidad aadida es 20*(0.1/1.1) 1.82
mg/dL.
2. Promedie los resultados para los replicados de medicin de cada muestra.

Muestra A adicin = (11.4/11.6)/2 = 11.5 mg/dL;

Muestra A dilucin = (9.7 + 9.9) /2 =

Muestra B adicin = (11.2 + 11.0)/2 = 11.1 mg/dL;

Muestra B dilucin =

pgina 166

9.8 mg/dL;

(9.5 + 9.5)/2 = 9.5 mg/dL.

Westgard QC, Inc., Copyright 2013

3. tome la diferencia entre la muestra con adicin y la muestra con dilucin.


Muestra A adicin = 11.5, Muestra A dilucin = 9.8, diferencia = 1.7 mg/dL;
Muestra B adicin = 11.1, Muestra B dilucin = 9.5, diferencia = 1.6 mg/dL;
4. Calcule la recuperacin para cada espcimen como la diferencia [paso 3]
dividida por la cantidad aadida [paso 1] en porcentaje.

(1.7 mg/dL/1.82 mg/dL)100 = 93.4% de recuperacin;

(1.6 mg/dL/1.82 mg/dL)100 = 87.9% de recuperacin;

[Note la variabilidad de estos estimados, que probablemente se deba a la


imprecisin del mtodo; podra ser deseable realizar ms replicados de la
medicin o preparar ms muestras].
5. Promedie las recuperaciones de todos los especmenes examinados.

(93.4 + 87.9)/2 = 90.6% de recuperacin promedio.

6. Calcule el error proporcional.


100 90.6 = 9.4% de error proporcional.

Criterios para un desempeo aceptable


El error observado es comparado con la cantidad de error total permitido para el
examen. Para calcio, por ejemplo, el criterio de CLIA para un desempeo aceptable
es de 1 mg/dL. En el medio del rango de referencia, alrededor de 10 mg/dL, el
error total permitido es del 10%. Dado que el error proporcional observado es
de 9.4%, el desempeo de nuestro mtodo cumple de manera ajustada con los
criterios de CLIA para aceptabilidad.

Resumen sobre interferencia y recuperacin


Los experimentos de interferencia y recuperacin pueden ser utilizados para
valorar los errores sistemticos de un mtodo. Complementan el experimento
de comparacin de mtodos permitiendo estimados iniciales rpidos de errores
especficos el experimento de interferencia para error sistemtico constante y
el experimento de recuperacin para error sistemtico proporcional. En ausencia
de un mtodo de comparacin, proveen una forma alternativa para estimar
pgina 167

Validacin Bsica de Mtodos, Edicin Wallace Coulter

errores sistemticos.
Las tcnicas experimentales son similares, pero el material aadido es diferente. Un material que se sospeche interferente es aadido en el
experimento de interferencia, mientras que el analito a medir se aade en el
experimento de recuperacin.
El clculo de los datos es diferente. El sesgo entre las muestras apareadas debera ser calculado para los datos de interferencia, de forma similar
al clculo de los estadsticos t en el experimento de comparacin de mtodos.
La recuperacin promedio porcentual debera ser calculada del experimento
de recuperacin, siendo cuidadosos al dividir la diferencia entre las muestras
apareadas por la cantidad aadida, no por el total despus de la adicin. El
error sistemtico proporcional es la diferencia entre 100% y el porcentaje de
recuperacin observado.
Los experimentos de interferencia son generalmente tiles para evaluar
los efectos de condiciones comunes de las muestras, como ictericia, hemlisis,
lipemia y aditivos de los tubos de recoleccin de muestra. Los resultados en la
literatura son generalmente confiables.
Los estudios de recuperacin se llevan a cabo con menor frecuencia y sus
resultados en la literatura son difciles de interpretar debido a la falta de un
procedimiento estandarizado para el clculo de los datos. Se requiere de mucho
cuidado y atencin cuando se realizan estudios de recuperacin y tambin cuando
se interpretan sus resultados.
Cuando se hacen juicios sobre el desempeo de un mtodo, los errores observados deberan ser comparados con el error permitido definido oportunamente.
La estimacin del sesgo a partir de un experimento de interferencia puede ser
comparada directamente a un requisito de la calidad analtico expresado en
unidades de concentracin. La recuperacin promedio necesita ser convertida a
error proporcional (100 % de recuperacin) y luego comparada con un requisito
de la calidad analtico expresado en porcentaje.

pgina 168

Westgard QC, Inc., Copyright 2013

Referencias
1. Katz SM, DiSalvio TV. Ascorbic acid effects on serum glucose values. JAMA
1973;224:628.
2. Young DS. Effects of preanalytical variables on clinical laboratory tests.
Washington DC:AACC Press, 1993.
3. CLSI Document EP7-A. Interference testing in clinical chemistry. Approved
Guideline. CLSI, 940 West Valley Road, Wayne, PA, 2002.

pgina 169

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Problema Datos de Validacin de un Mtodo de


Colesterol: Recuperacin (usada para estimar el
error sistemtico proporcional)
Se utilizaron seis especmenes de pacientes diferentes (#1-6). Se prepararon
dos muestras para examen (base y suplementada con analito). Cada muestra
fue medida 4 veces. Las muestras base fueron preparadas diluyendo 0.9 mL de
cada espcimen de paciente con 0.1 ml de solucin salina. Las muestras con el
analito fueron preparadas mezclando 0.9 mL de cada espcimen de paciente con
0.1 mL de un estndar de colesterol de 500 mg/dL.
Calcule la cantidad de colesterol aadida a las muestras suplementadas con analito, la cantidad recuperada de cada muestra y el promedio
de recuperacin de los 6 especmenes. Recuerde, la recuperacin se expresa
como %. (Respuestas en la p.306).

Nota: Los resultados en la tabla estn expresados en mg/dL

pgina 170

Westgard QC, Inc., Copyright 2013

Problema Datos de Validacin de un Mtodo de


Colesterol: Interferencia (usada para estimar el error
sistemtico constante)
Se utilizaron seis especmenes de pacientes diferentes (#1-6). Se prepararon dos
muestras para examen (Base y Suplementada con interferente). Cada muestra
fue medida 4 veces. Las muestras base fueron preparadas diluyendo 0.9 mL
de cada espcimen de paciente con 0.1 ml de solucin salina. Las muestras
suplementadas con interferente fueron preparadas mezclando 0.9 mL de cada
espcimen de paciente con 0.1 mL de un estndar de bilirrubina de 100 mg/dL.
Calcule la cantidad de interferencia (sesgo) para cada muestra y
el sesgo promedio para todas las muestras. Recuerde, la interferencia se
expresa en unidades de concentracin (mg/dL). (Respuestas en la p.306).

Nota: Los resultados en la tabla estn expresados en mg/dL


pgina 171

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 172

Westgard QC, Inc., Copyright 2013

14: Cul es el valor ms bajo confiable para un


mtodo?
El experimento de rango reportable es usado para caracterizar qu tan alto
puede ser un valor de examen confiable, esto es, dentro del rango reportable. El
extremo ms bajo est caracterizado por un valor de cero. Con ciertos exmenes,
tales como drogas de abuso, TDMs, y algunos marcadores cardiacos, es necesario
determinar ms exactamente el valor mnimo que puede ser medido, esto es,
el lmite de deteccin del mtodo. Esto se logra realizando un experimento de
lmite de deteccin.

Objetivos:
Aprender un procedimiento prctico para determinar el lmite de deteccin
de un mtodo.
Distinguir entre los conceptos Lmite de Blanco (LB), Lmite de Deteccin
(LD), Sensibilidad Funcional (SF) y Lmite de Cuantificacin (LC).
Distinguir los procedimientos experimentales para stas caractersticas
diferentes.

Materiales del captulo:


VM El experimento de lmite de deteccin,
por James O. Westgard, PhD
Problema: Datos de validacin de un mtodo de colesterol

Cosas qu hacer:
Estudiar los materiales.
Trabajar con los datos provistos para el problema de Colesterol.

pgina 173

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cundo usted necesita realizar un experimento de lmite de deteccin?
Qu estimacin del lmite de deteccin dar generalmente el valor ms
alto?
Por qu el lmite de deteccin (LD) siempre es ms alto que el lmite de
blanco (LB)?

pgina 174

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
El Experimento de Lmite de Deteccin
James O. Westgard, PhD

Propsito
El experimento de lmite de deteccin est previsto para estimar la menor
concentracin a la que puede ser medido un analito. ste lmite inferior de
concentracin es obviamente de inters en exmenes forenses de drogas, donde
la presencia o ausencia de una droga puede ser informacin crtica del examen.
El desempeo analtico a bajas concentraciones tambin es importante para
marcadores tumorales, tales como el antgeno prosttico especfico (PSA, por
sus siglas en Ingls), donde el monitoreo de los valores de los pacientes despus
del tratamiento podra ser til para valorar un relapso bioqumico [1].
Las regulaciones de laboratorios en E.U.A. requieren que el lmite de deteccin (o sensibilidad analtica) sea establecido slo para mtodos non-waived que
han sido modificados por el laboratorio y sistemas analticos que no han sido
sujetos a la aprobacin de la FDA, tales como mtodos desarrollados en el propio
laboratorio. Las buenas prcticas de laboratorio dictan que el lmite de deteccin
debe ser verificado, cuando sea relevante, por ejemplo, todos los exmenes de
drogas teraputicas y exmenes; TSH e inmunoensayos similares; marcadores
cardiacos tales como las troponinas; PSA y otros marcadores de cncer. El lmite
de deteccin no es importante para exmenes tales como la glucosa, el colesterol,
enzimas y otros constituyentes donde hay rangos normales o de referencia que
son relevantes para la interpretacin de resultados de exmenes.
La terminologa en sta rea es un desastre! Al establecer sus especificaciones de desempeo, los fabricantes a menudo usan una variedad de trminos,
tales como sensibilidad, sensibilidad analtica, lmite mnimo de deteccin, lmite
inferior de deteccin, lmite de blanco, lmite biolgico de deteccin, lmite de
deteccin, sensibilidad funcional y lmite de cuantificacin [2-6]. La gua de la
CLSI EP17-A recomienda estandarizar la terminologa con el uso de los siguientes tres parmetros:

pgina 175

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Lmite de Blanco (LB): El resultado ms alto de una medicin que


probablemente se observar (con una probabilidad dada) para una muestra
de blanco; estimado tpicamente como un lmite de confianza del 95 %,
(distribucin normal, un lado), por el valor medio del blanco ms 1.65
veces la desviacin estndar del blanco.
Lmite de Deteccin (LD): La cantidad de analito ms baja en una
muestra que puede ser detectada con una cierta probabilidad, aunque
tal vez no cuantificada como un valor exacto; estimada como un lmite
de confianza del 95 % (distribucin normal, un lado),por el valor medio
del blanco ms 1.65 veces la desviacin estndar de una muestra de
concentracin baja.
Lmite de Cuantificacin (LC) / Lmite inferior de cuantificacin: La
cantidad ms baja de analito que puede ser determinada cuantitativamente
con precisin y veracidad aceptables, bajo condiciones experimentales
dadas; la concentracin de analito a la cual el 95% del lmite del error
total, esto es el sesgo ms dos veces la desviacin estndar, cumple con
la meta requerida o dada para el error permitido.
Note que el LB reemplaza el trmino anterior Lmite Inferior de Deteccin (LID) y es estimado de la manera similar. La principal diferencia es que el
mltiplo por el cual la desviacin estndar es multiplicada es 1.65, en lugar de
2 3 que se usa comnmente con LID.
pgina 176

Westgard QC, Inc., Copyright 2013

Del mismo modo, el LD reemplaza el Lmite Biolgico de Deteccin (LBD),


siendo nuevamente la principal diferencia el mltiplo empleado para multiplicar el valor del desvo estndar que es de 1.65, en lugar del de 2 3 usado
comnmente con LBD.
El LC es de cierto modo similar al concepto anterior de Sensibilidad Funcional:
Sensibilidad Funcional (SF): La concentracin del analito a la que el CV del
mtodo es 20% [2].
Ambos representan las concentraciones de analito a las que se alcanza
cierto nivel de desempeo analtico. Para Sensibilidad Funcional, ese nivel es
la concentracin a la que se alcanza un CV del 20%. Para el LC, ese nivel es la
concentracin del analito a la que la suma del sesgo del mtodo ms dos veces
la desviacin estndar del mtodo satisface una meta de error permitido. Es
ms complicado estimar el LC porque es ms difcil estimar el sesgo del mtodo.
Tambin es improbable que muchos fabricantes establezcan sus especificaciones
para LC, porque no les es requiero por la FDA volcar esas especificaciones en
el etiquetado (inserto) juntos con las dems especificaciones de desempeo que
definen la calidad que debera ser alcanzado por un examen.

Factores a considerar
La figura de abajo provee una descripcin general del procedimiento experimental.
Se analizan generalmente dos tipos diferentes de muestras. Una muestra es
un blanco con una concentracin cero del analito de inters. La segunda es
una muestra suplementada que tiene una concentracin baja del analito de
inters. En algunas situaciones, particularmente la estimacin de la SF o del
LC, muchas muestras de diferentes concentraciones podran ser necesarias a
concentraciones progresivamente mayores del analito. Tanto el blanco como
las muestras con diferentes concentraciones del analito de inters se miden
repetidamente en un tipo de experimento de replicacin, luego se calculan las
medias y los desvos estndar de los valores observados, y la estimacin del
lmite de deteccin realiza a partir de esos resultados.

pgina 177

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Solucin blanco. Una alcuota de la solucin blanco se usa generalmente


para el blanco y otra alcuota se usa para preparar una muestra
suplementada. Idealmente, la solucin blanco debera tener la misma
matriz que las muestras de pacientes regulares. Sin embargo, tambin es
comn usar el estndar cero de una serie de calibradores como el blanco
y el estndar ms bajo como la muestra suplementada.
Muestra Suplementada. Al verificar la especificacin establecida por el
fabricante para el lmite de deteccin de un mtodo, la cantidad de analito
aadida a la solucin blanco debera representar o estar prximo a la
declarada por el fabricante en sus especificaciones. Para establecer el lmite
de deteccin, podra ser necesario preparar varias muestras suplementadas
cuyas concentraciones estn en el rango analtico del lmite de deteccin
esperado. Para algunos exmenes, podra ser de inters usar muestras de
pacientes que estn libres de enfermedad bajo tratamiento (por ejemplo,
sueros de EPA de pacientes tratados para cncer de prstata) [4].
Nmero de replicados de las mediciones. No hay una gua contundente
y rpida, pero se recomiendan a menudo 20 replicados de mediciones en
la literatura. ste nmero es razonable dado que el experimento de lmite
de deteccin es un caso especial del experimento de replicacin, donde 20
mediciones se aceptan generalmente como el mnimo. Los lineamientos de
pgina 178

Westgard QC, Inc., Copyright 2013

la gua de la CLSI tambin sugieren que el laboratorio haga 20 replicados


para verificar una especificacin de un fabricante, pero recomienda que
los fabricantes trabajen con un mnimo de 60 replicados para establecer
una especificacin
El periodo de tiempo del estudio. Un estudio en condiciones de
repetibilidad (intra corrida) o a corto plazo se lleva a cabo usualmente
cuando el enfoque principal es el desempeo del mtodo en una solucin
blanco. Un periodo de tiempo ms largo, que represente un desempeo en
condiciones de precisin intermedia (entre das), se recomienda cuando el
enfoque principal est en la muestra suplementada [2]. Los lineamientos
de la gua de la CLSI [7] recomiendan que el LD sea estimado a partir de
los datos obtenidos en un periodo de varios das y el LC de datos de al
menos 5 corridas, asumido como un periodo mayor a 5 das. Por lo tanto
se deben hacer mediciones mltiples a diario durante cinco das.
Cantidad a ser estimada. Para los laboratorios, ser generalmente ms
prctico verificar o establecer el LB o, preferentemente, el LD. En casos
en los que el laboratorio quiera verificar especificaciones para SF o LC,
ser mejor seguir el protocolo experimental descrito en el reporte del
fabricante o en un estudio cientfico.

Ejemplo de estimaciones
Para ilustrar los diferentes conceptos de lmites de deteccin (incluyendo la SF),
considere un caso donde 20 replicados provean una S de 1.0 mg/L para un blanco
y tambin para bajas concentraciones de muestras hasta 10 mg/L. Asuma
que ste es un examen de frmacos, donde el criterio de CLIA para desempeo
aceptable es 25%.
LB ser igual a 1.65*1.0 mg/L 1.65 mg/L
LD ser igual a LB ms 1.65*1.0 mg/L, sea 3.30 mg/L.
La SF ser igual a la concentracin donde el CV es 20%, el cual puede ser
calculado de la ecuacin para un CV, por ejemplo, CV = 20% = S*100/SF igual
a 1.0 mg/L*(100%/20%) 5.0 mg/L.
Para el LC, asuma que el sesgo es 0.0, as el TEa = 25% = 2*CV y un CV
de 12.5% (25%/2) ser observado a una concentracin de S*(100%/12.5%)
1.0*8 8.0 mg/L.

pgina 179

Validacin Bsica de Mtodos, Edicin Wallace Coulter

En la prctica, es necesario obtener estimados experimentales de la S para


varias concentraciones de la muestra, por ej., 0.0 mg/L, 3.0 mg/L, 6.0 mg/L y 9.0
mg/L. Es improbable que la S sea exactamente la misma, as que el LB ser estimado a partir del A de la muestra de concentracin 0.0 mg/L, el LD usando la
S de la muestra de concentracin 3.0 mg/L, la SF de la muestra de 6.0 mg/L y el
LC de la muestra de 9.0 mg/L. Un acercamiento para estimar la SF y el LC es
crear un perfil de precisin, esto es, graficar el CV en funcin de las concentraciones de las distintas muestras o diluciones, dibujar una curva a lo largo
de los puntos, luego interpolar en esa curva para identificar la concentracin
que corresponda a un CV de 20% (SF) y luego la concentracin donde el CV es
12.5% (LC).

Verificacin del reporte del LC y el LD


Los lineamientos de la gua de la CLSI recomiendan que los laboratorios verifiquen
las especificaciones provistas por los fabricantes haciendo 20 mediciones. Para
el LB, la especificacin se verifica si 3 o menos del los 20 resultados del blanco
excedieron el LB declarado por el fabricante. Para el LD, la especificacin
provista por el fabricante se verifica si no ms de 1 de los 20 replicados de la
muestra suplementada (con la concentracin del LD o prxima) es menor al
LB. Para emplear un nmero diferente de replicados de medicin, consulte los
lineamientos de la gua de la CLSI [7].

Resumen de Comentarios
Para validar las especificaciones declaradas por el fabricante para el lmite de
deteccin, es importante reconocer de qu formas fue estimada la especificacin,
los datos necesarios para verificarla y el manejo apropiado de los mismos para
una correcta verificacin. Muchos fabricantes escogen el LB dado que es el ms
sencillo de estimar y da el nmero ms bajo una ventaja de mercadeo. Para
aplicaciones clnicas, generalmente son ms tiles las estimaciones del LD o
el LC. Ms fabricantes establecern ms especificaciones para LD que para
LC; as que tal vez el LD es la estimacin ms prctica. La gua EP17-A de la
CLSI brinda lineamientos definitivos para estos conceptos, los procedimientos
experimentales y el anlisis de datos, as que la mayora de los fabricantes
seguirn esos lineamientos.

pgina 180

Westgard QC, Inc., Copyright 2013

Referencias
1. Diamandis EP, Yu J, Melegos DN. Ultrasensitive prostate-specific antigen
assays and their clinical application. Clin Chem 1996;42:853-857.
2. Stamey TA. Lower limits of detection, biological detection limits, functional
sensitivity, or residual cancer detection? Sensitivity reports on prostatespecific antigen assays mislead clinicians. Clin Chem 1996;42:849-852.
3. Lawson GM. Defining limit of detection and limit of quantitation as applied to
drug of abuse testing: striving for a consensus. Clin Chem 1994;40:1218-1219.
4. Armbruster DA, Tillman MD, Hubbs LM. Limit of detection (LOD)/limit of
quantitation (LOQ): Comparison of the empirical and the statistical methods
exemplified with GC-MS assays of abused drugs. Clin Chem 1994;40:12331238.
5. Klee GG, Dodge LA, Zincke H., Oesterling JE. Measurement of serum
prostate specific antigen using Imx prostate specific antigen assay. J Urol
1994;151:94-98.
6. Spencer CA, Takeuchi M, Kazarosyan M, MacKenzie F, Beckett GH, Wilkinson
E. Interlaboratory/Intermethod differences in functional sensitivity of
immunometric assays of thyrotropin (TSH) and impact on reliability of
measurement of subnormal concentrations of TSH. Clin Chem 1995;41:367374.
7. CLSI EP17-A. Protocols for Determination of Limits of Dection and Limits
of Quantitation. Clniical Laboratory Standards Institue, Wayne PA, 2003.

pgina 181

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Problema: Datos de Validacin de un Mtodo de


Colesterol: Lmite de Deteccin
A partir de los datos de abajo calcule el lmite de blanco (LB), el lmite de deteccin
(LD), y la sensibilidad funcional (SF). (Respuestas, pg. 306).

pgina 182

Westgard QC, Inc., Copyright 2013

Por ltimo, pero no menos importante!


LAMERIQUE SEPTENTRIONALE, by De la Porte, Paris,
1786.
El noroeste del Pacfico fue una de las ltimas zonas por
explorar y dio lugar a algunos de los mitos ms grandes,
como el gran Mar del Oeste que aparece en estos mapas. Es
probable que los experimentos de interferencia, recuperacin,
y el de lmite de deteccin sean tambin los ltimos que
usted va a realizar usted va a realizar. Sin embargo, son
crticos para ciertos mtodos en su laboratorio. Recuerde
que son discutidos en estos dos ltimos captulos; regrese
y repase este material cuando sean relevantes para sus
propias aplicaciones.

pgina 183

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 184

Westgard QC, Inc., Copyright 2013

15: Cmo se verifica el intervalo de referencia


de un mtodo?

Una ltima consideracin es verificar que el intervalo de referencia es apropiado


para la poblacin de pacientes. En ste captulo, Patricia L. Barry, BS, MT
(ASCP), presenta un procedimiento prctico para evaluar la validez de las
recomendaciones del fabricante para intervalos de referencia.

Objetivos:
Describir 4 modelos para la verificacin o transferencia de intervalos de
referencia.
Identificar las condiciones de aplicacin de los diferentes modelos.
Comparar los requisitos de datos para los diferentes modelos.
Comparar los clculos a efectuar a partir de los datos y su presentacin.
Organizar los acercamientos en un plan para su aplicacin prctica.

Materiales del captulo:


VM Transferencia del intervalo de referencia, por Patricia L.
Barry, BS, MT(ASCP) y James O. Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.

pgina 185

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cuntos pacientes se necesitan por lo general para verificar un intervalo
de referencia?
Cul es el nmero mnimo de especmenes de pacientes para establecer
un intervalo de referencia?
Cmo se puede transferir un intervalo de referencia desde un mtodo
de comparacin?

pgina 186

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Transferencia del Intervalo de Referencia
Patricia L. Barry, BS, MT (ASCP), y James O. Westgard, PhD

Propsito
El intervalo de referencia es la ltima caracterstica a ser estudiada en el proceso
de validacin de mtodos. Se estudia en general al final porque el intervalo de
referencia en s no entra en la decisin de la aceptabilidad del mtodo y el estudio
no es necesario cuando el desempeo del mtodo es inaceptable. Si el desempeo
del mtodo es aceptable, entonces es importante valorar el(os) intervalo(s) de
referencia para fortalecer a la interpretacin de los resultados de pacientes.

Trasfondo
Un intervalo de referencia es establecido por lo general ensayando especmenes
que son obtenidos de individuos que cumplen con criterios de seleccin que
han sido definidos cuidadosamente (muestra de la poblacin de referencia).
Protocolos tales como los del Grupo de Expertos en Teora de los Valores de
Referencia de la International Federation of Clinical Chemistry (IFCC) [1-6]
y los del Clinical Laboratory Standards Institute (CLSI)[7] delinean procesos
lgicos y sistemticos que emplean una muestra de la poblacin de referencia
seleccionada cuidadosamente para establecer intervalos de referencia. Estos
protocolos por lo general necesitan un mnimo de 120 individuos de referencia
para cada grupo (o subgrupo) que deba ser caracterizado.
Por ejemplo, para establecer un intervalo de referencia para hemoglobina
un examen que es dependiente de gnero el laboratorio necesitara obtener resultados de hemoglobina al menos de 240 individuos de referencia (120
hombres y 120 mujeres). Estos individuos son reclutados por lo general de la
poblacin regional general (esencialmente potenciales usuarios del servicio del
laboratorio) y luego seleccionados para su inclusin en el estudio utilizando criterios cuidadosamente definidos. La seleccin se realiza con frecuencia aplicando
un cuestionario para evaluar la condicin de salud del individuo. Algunas veces
tambin se requiere de un examen fsico como parte del criterio de aceptacin
del individuo para el estudio.
El establecimiento de los intervalos de referencia requiere de una planificacin, control y una documentacin cuidadosos de cada aspecto del estudio. As,
los intervalos de referencia resultantes estn bien caracterizados en trminos
de la variacin atribuible a factores pre analticos y analticos. Estos protocolos
formales son particularmente tiles cuando un laboratorio necesita establecer
pgina 187

Validacin Bsica de Mtodos, Edicin Wallace Coulter

sus propios intervalos de referencia para un examen particular. Esta situacin


podra ocurrir si un laboratorio ha modificado un mtodo previamente aprobado
por la FDA o ha desarrollado un examen propio. Desafortunadamente, estos
protocolos son costosos y pueden resultar inaccesibles para establecimientos
ms pequeos. Incluso los grandes laboratorios encuentran cada vez ms difcil
llevar a cabo estos estudios integrales considerando su relacin costo beneficio.
Por esto, los laboratorios son cada vez ms dependientes de los fabricantes para
establecer cientficamente los intervalos de referencia solidos que puedan ser
verificados utilizando acercamientos ms simples, de menor costo y que impliquen menos trabajo.
En ste captulo, el enfoque est en la transferencia de los intervalos de
referencia, los cuales requieren considerablemente menos esfuerzo y menos
datos que los necesarios para establecer intervalos de referencia. El intervalo
de referencia de mayor inters durante el proceso de validacin de mtodos es
el que describe los valores del examen observados tpicamente en una poblacin
sana. ste intervalo se llama histricamente rango normal y se deriva del
examen de especmenes de individuos que cumplen con los criterios de buena
salud (por ejemplo no tener problemas de salud conocidos, ser ambulatorios, no
estar en un rgimen regular de frmacos, tener un peso dentro de las normas
recomendadas, etc.). Los resultados del examen (valores de referencia) para
ste grupo son analizados estadsticamente para determinar un intervalo de
valores que incluyan un porcentaje determinado de todos los valores (intervalo
de referencia) de la muestra de la poblacin. Por tradicin, ste intervalo incluye
un 95% de los valores (usualmente el 95% central). Un par de valores del examen
(llamados lmites de referencia superior e inferior) representan los extremos del
intervalo. Los resultados de pacientes que caigan fuera de los lmites de referencia as establecidos, se sealan generalmente como resultados anormales.

Acercamientos de transferencia a considerar


La Gua Aprobada de la CLSI C28-A3 [7] describe diferentes alternativas a las
que puede acceder un laboratorio para validar la transferencia de intervalos
de referencia establecidos a un laboratorio individual:

1. Juicio divino.
La aceptabilidad de la transferencia podra ser valorada subjetivamente en
base a la consistencia entre la demografa y la geografa de la poblacin
empleada para realizar el estudio y la demografa de la poblacin a examinar
en el laboratorio. El laboratorio simplemente revisa la informacin entregada
y verifica subjetivamente que los intervalos de referencia son aplicables a la
poblacin del laboratorio que los est adoptando y a los mtodos de ensayo
del propio laboratorio. Para hacer esto, toda la informacin sobre el estudio
pgina 188

Westgard QC, Inc., Copyright 2013

original debera ser requerida y estar disponible en el laboratorio. Esto incluye


los datos demogrficos del grupo de referencia, el proceso de seleccin, las
condiciones pre analticas del estudio tales como la preparacin del individuo
y la recoleccin del espcimen y las tcnicas de manejo, el sistema analtico
utilizado, y el mtodo estadstico utilizado para establecer los intervalos.
En ocasiones es til pedir los valores de referencia originales y analizarlos
nuevamente para verificar el anlisis estadstico original. La mayora de
los casos de transferencia involucran la adopcin de intervalos de otro
laboratorio utilizando el mismo sistema analtico o intervalos establecidos
por el fabricante del mtodo.
Las regulaciones de la Regla Final de CLIA permiten que el Director
Mdico de un laboratorio haga sta valoracin y ste juicio.
Mientras la transferencia requiere slo la firma apropiada, el enfoque
depende de una investigacin cuidadosa de las recomendaciones publicadas,
acceder a la informacin apropiada y experiencia significativa clnica y en
el laboratorio para asegurarse de la comparabilidad de las condiciones.
La provisin de los intervalos de referencia para sub-poblaciones,
particularmente para intervalos peditricos por intervalos de edad, a
menudo requieren de ste acercamiento dada la dificultad para obtener
especmenes suficientes para establecer experimentalmente o verificar
este tipo de intervalos de referencia.

2. Verificacin con 20 muestras.


La validacin experimental podra ser realizada recolectando y analizando
especmenes de 20 individuos que representan una muestra de la poblacin de
referencia. Si dos o menos resultados del examen caen fuera de los lmites de
referencia propuestos, el intervalo de referencia se considera verificado,
como se ilustra en la figura.
Experimentalmente, ste es un enfoque simple. Slo requiere un mnimo
de datos, y el estudio provee un criterio claro para interpretar los datos
y verificar la transferencia.
Es ms fcil seleccionar la poblacin adulta, hombres adultos o mujeres
adultas como el intervalo de referencia a verificar que una sub-poblacin
ms pequea.

pgina 189

Validacin Bsica de Mtodos, Edicin Wallace Coulter

3. Estimacin con 60 muestras.


Una validacin experimental podra ser realizada recolectando y analizando
especmenes de 60 individuos que representan una muestra de la poblacin
de referencia. El intervalo de referencia se estima a partir de estos datos y
se compara con el intervalo propuesto utilizando una frmula estadstica que
compare las medias y las desviaciones estndar de las dos poblaciones [7].
A veces encontrar incluso 60 individuos de referencia puede ser una tarea
desalentadora. Cuando mucho, se deberan usar no menos de 40 individuos
para calcular estadsticamente los intervalos de referencia. Cuando se
utilizan menos de 40 individuos, es mejor reportar los descubrimientos
en trminos de los valores mnimos y mximos del ensayo observados a
lo largo de un histograma mostrando la distribucin de los valores.
Las comparaciones estadsticas de los intervalos observados y los propuestos
son ms complicadas y por tanto menos atractivas para verificar un
intervalo de referencia que el acercamiento de 20 muestras.

4. Clculos a partir del mtodo de comparacin.


El documento de CLSI tambin reconoce pero no respalda otro
acercamiento que ajustara o corregira los intervalos de referencia propuestos
o reportados en base al sesgo metodolgico observado y la relacin matemtica
demostrada entre los mtodos analticos en uso (como se muestra en la figura
pgina 190

Westgard QC, Inc., Copyright 2013

abajo). Las estadsticas de regresin obtenidas de un estudio de comparacin


de mtodos podran ser usadas para calcular los lmites de referencia (Xinf
y Xsup) para el nuevo mtodo (Yinf = a + bXinf, Ysup = a + bXsup, donde a es la
interseccin-Y,, y b es la pendiente de la lnea de regresin.

ste enfoque es atractivo cuando el laboratorio ha realizado los estudios


necesarios para establecer sus propios intervalos de referencia en el pasado
y luego cambia a un nuevo mtodo analtico. Los datos propios deberan,
por lo tanto, estar disponibles para documentar la comparacin del nuevo
mtodo con el antiguo.
Se recomienda la verificacin por anlisis de 20 muestras si hay alguna
duda sobre la confiabilidad de los intervalos de referencia a ser trasladados
del mtodo de comparacin.
La transferencia por clculos debera estar limitada a un cambio de
mtodos para minimizar la cascada potencial de errores que se podr
generar al establecer los nuevos lmites de referencia.
El enfoque matemtico tambin es apoyado por Koivula [8] para la
transferencia de intervalos de referencia de un laboratorio de referencia
a un laboratorio individual. El laboratorio analiza seis o siete muestras
seleccionadas cuidadosamente de un programa de evaluacin externa de
la calidad y calcula la lnea de regresin entre los valores del laboratorio
individual y los valores del laboratorio de referencia. El intervalo de
pgina 191

Validacin Bsica de Mtodos, Edicin Wallace Coulter

referencia del laboratorio de referencia es usado entonces con la ecuacin de


regresin para calcular los lmites de referencia del laboratorio individual.

Qu hacer?
Para exmenes donde hay intervalos de referencia bien establecidos para el mtodo
comparativo en su laboratorio, transfiera esos intervalos matemticamente
usando la ecuacin de regresin obtenida del experimento de comparacin de
mtodos realizado en su laboratorio. Asegrese de que las estadsticas de regresin
sean confiables siguiendo los lineamientos para realizar el experimento de
comparacin de mtodos y generando el anlisis estadstico de datos adecuado.
La transferencia slo requerir unos pocos clculos adicionales, haciendo rpido
y fcil determinar los nuevos lmites. ste acercamiento debera ser apto para
exmenes comunes de las reas de qumica clnica y hematologa donde se espera
que haya una concordancia uno a uno.
Para exmenes donde hay diferencias sistemticas entre el nuevo mtodo
y el de comparacin, use el enfoque matemtico, antes abordado, para estimar
los intervalos de referencia y compararlos con el propuesto por el fabricante.
Verifique posteriormente los lmites as obtenidos por un anlisis de 20 especmenes de individuos sanos. ste enfoque sera apropiado con mtodos enzimticos donde existen a menudo diferencias proporcionales entre los mtodos y los
inmunoensayos donde cambios sistemticos podran ocurrir entre generaciones
de sistemas de medicin.
Use la estimacin con 20 muestras para transferir los intervalos de referencia propuestos por los fabricantes cuando el fabricante provea la documentacin
de un estudio adecuado de valores de referencia.
Use la estimacin con 60 muestras para hacer estimados del intervalo de
referencia cuando la informacin del intervalo de referencia propuesto por el
fabricante no sea adecuada, cuando el nuevo mtodo est basado en un principio
de medicin diferente con diferente especificidad de medida, o cuando el examen
est siendo aplicado a una poblacin de pacientes diferente.
Use el juicio divino cuando no haya datos experimentales que apoyen la
transferencia de los intervalos de referencia.

pgina 192

Westgard QC, Inc., Copyright 2013

Referencias
1. Solberg HE. Approved recommendation (1986) on the theory of reference values.
Part 1. The concept of reference values. Clin Chim Acta 1987;167:111-118.
2. PetitClerc C, Solberg HE. Approved recommendation (1987) on the theory of reference
values. Part 2. Selection of individuals for the production of reference values. J Clin
Chem Clin Biochem 1987;25:639-644.
3. Solberg HE, PetitClerc C. Approved recommendation (1988) on the theory of reference
values. Part 3. Preparation of individuals and collection of specimens for the
production of reference values. Clin Chim Acta 1988;177:S-S12.
4. Solberg HE, Stamm D. Approved recommendation on the theory of reference values.
Part 4. Control of analytical variation in the production, transfer, and application
of reference values. Eur J Clin Chem Clin Biochem 1991;29:531-535.
5. Solberg HE. Approved recommendations (1987) on the theory of reference values. Part
5. Statistical treatment of collected reference values. Determination of reference
limits. J Clin Chem Clin Biochem 1987;25:656-656.
6. Dybkaer R, Solberg HE. Approved recommendations (1987) on the theory of reference
values. Part 6. Presentation of observed values related to reference values. J Clin
Chem Clin Biochem 1987;25:657-662.
7. CLSI C28-A3: How to define and determine reference intervals in the clinical
laboratory - Second edition - Approved Guideline. Wayne, PA: Clinical Laboratory
Standards Institute, 2000.

8. Koivula T. Possibilities for quality assurance of reference intervals. Scand J


Clin Lab Invest 1995;55, Suppl. 222:17-20.

pgina 193

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 194

Westgard QC, Inc., Copyright 2013

16: Cmo juzgar el desempeo de un mtodo?


Usted ya ha realizado los experimentos, tabulado los resultados, graficado los
datos y calculado las estadsticas. ste captulo describe el siguiente paso, que
es hacer una evaluacin sobre desempeo del mtodo. Se recomienda una tcnica
grfica La Carta de Decisin de Mtodo y se ilustran su construccin y
aplicacin.

Objetivos:
Construir una Carta de Decisin de Mtodos.
Evaluar el desempeo de un mtodo usando la Carta de Decisin de
Mtodos.
Recomendar acciones apropiadas en base al desempeo del mtodo
observado.

Materiales del captulo:


VM La decisin sobre el desempeo de un mtodo,
por James O. Westgard, PhD
Caja de herramientas de datos para validacin de mtodos
http://www.westgard.com/mvtools.html
Calculadora de puntos operativos normalizados
http://www.westgard.com/normcalc.htm
Problema: Datos de validacin de un mtodo de colesterol.

Cosas qu hacer:
Estudiar los materiales.

pgina 195

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cmo se incorpora un requisito de la calidad en una Carta de Decisin
del Mtodo?
Cul es una fuente comn de requisitos de la calidad para un ensayo?
Cules son los parmetros de desempeo crticos que se grafican en una
Carta de Decisin del Mtodo?
Cules son las clasificaciones de desempeo en una Carta de Decisin
del Mtodo?
Cul es su juicio sobre un mtodo de calcio cuya S observado es 0.2 mg/
dL y cuyo Sesgo observado es 0.1 mg/dL a un nivel de decisin mdica de
11.0?

pgina 196

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
La Decisin sobre el Desempeo de un
Mtodo
James O. Westgard, PhD
Usted ya ha realizado los experimentos, tabulado los resultados, graficado
los datos y calculado las estadsticas. Ahora tiene que decidir si el mtodo es
aceptable. Cmo decide si el mtodo es suficientemente bueno para ser usado
en su laboratorio?

Cul es el enfoque adecuado?


Recuerde el secreto mas interno oculto y profundo sobre la validacin de mtodos
se trata de EVALUACIN DEL ERRORES. La decisin sobre la aceptabilidad
del desempeo de un mtodo depende del tamao de los errores observados en
relacin a algunos estndares o requisitos de la calidad que definen el error
clnico permitido. El desempeo del mtodo es aceptable cuando los errores
observados son ms pequeos que el error clnico permitido. El desempeo del
mtodo NO es aceptable cuando los errores observados son ms grandes que el
error clnico permitido.
Debera de hecho definir los errores clnicos permitidos a niveles de decisin
mdica relevantes al inicio para ayudarse a guiar el diseo de los experimentos
y la recoleccin de los datos. Lo que quedar por hacer es comparar sus errores
observados con los errores permitidos definidos desde un punto de vista clnico.

Cmo deberan asentarse los requisitos para errores


clnicamente permitidos?
En la literatura cientfica, los requisitos para la calidad analtica han sido
definidos en tres formatos diferentes el error total permitido, el desvo estndar
permitido y el sesgo permitido. Un error total permitido sienta los lmites del
efecto combinado de los errores aleatorio y sistemtico de un mtodo, donde un
desvo estndar permitido y un sesgo permitido sientan los lmites separados
para los errores aleatorio y sistemtico, respectivamente.
Pareceran ser tiles requisitos separados para el desvo estndar permitido
y sesgo permitido dado que stas estadsticas pueden ser calculadas directamente
de los datos experimentales (por ej., un desvo estndar se calcula a partir de los
datos de un experimento de replicacin y un sesgo para partir de los datos los
datos de un experimento de comparacin de mtodos). Sin embargo, la calidad del
pgina 197

Validacin Bsica de Mtodos, Edicin Wallace Coulter

resultado de un paciente se determina por el error neto o total, efecto combinado


de ambos errores, por lo que el error total es clnicamente ms relevante [1]:
Los mdicos piensan ms bien en trminos mas relevante desde un punto de
vista clnico error analtico total, que incluyen tanto el componente aleatorio
como el sistemtico. Desde ste punto de vista, todos los tipos de error
analtico son aceptables en tanto que el error analtico total sea menor que
una cantidad especificada. El error total es clnicamente ms til; despus de
todo, hace poca diferencia para un paciente si un valor de laboratorio tiene
error por errores analticos aleatorios o por sistemticos, y finalmente l es
el nico que deber vivir con ese error.

Dnde encuentra recomendaciones para errores


totales permitidos?
Una fuente comn son las encuestas de programas de evaluacin externa de la
calidad o un esquema de evaluacin de la competencia en los que participe su
laboratorio. Estos programas definen generalmente un valor blanco central y un
rango de valores alrededor de ese blanco que son considerados como aceptables.
Dado que estos programas usualmente solicitan procesar el espcimen una nica
vez en cada encuesta, ese nico resultado estar afectado por el error aleatorio
y el error sistemtico de su procedimiento de medida. El rango aceptable es
por tanto un requisito de desempeo analtico en el formato de un error total
permitido.
Para los laboratorios de E.U.A, CLIA tiene disponible un listado de error
total permitido basado en los criterio de error total aceptable para esquemas
de evaluacin de la competencia, que ha sido publicado en el Registro Federal
y provee recomendaciones para ms de 70 exmenes diferentes. Vea la lista de
criterios provistos en el Apndice 1. Estos criterios son presentados de 3 formas
diferentes:
Como un lmite de concentracin absoluta, por ej., valor blanco 1 mg/
dL para calcio;
Como un porcentaje, por ej., valor blanco 10% para albmina, colesterol
y protenas totales;
Como el rango determinado de un grupo de encuestas, por ej., el valor
blanco 3 desviaciones estndar para la hormona estimulante de la
tiroides (TSH, por sus siglas en Ingls).
En algunos pocos casos, se dan dos conjuntos de lmites, por ej., el requisito
de la calidad para la glucosa es el valor blanco 6 mg/dL 10%, cualquiera que
sea mayor. A un nivel de decisin mdica de 50 mg/dL, el error total permitido
pgina 198

Westgard QC, Inc., Copyright 2013

es 6 mg/dL 12%. A un nivel de decisin mdica de 125 mg/dL, el error total


permitido es 10% 12.5 mg/dL.

Cmo se comparan los errores observados con el


error total permitido?
Para estimar el error aleatorio del mtodo a partir del experimento de replicacin
usted calcular una desviacin estndar (S) o un coeficiente de variacin (CV).
Para estimar el error sistemtico a partir del experimento de comparacin de
mtodos usted calcular el sesgo entre las medias obtenidas por los mtodos de
examen y comparativo, o usar estadsticas de regresin para calcular la diferencia
esperada a niveles particulares de decisin mdica. Estas estimaciones de errores
aleatorio y sistemtico necesitan ser combinadas para juzgar su efecto total.
La literatura provee cuatro recomendaciones diferentes sobre cmo combinar los errores aleatorio y sistemtico:
Aada Sesgo + 2 veces la S observada [ref 1], esto es, Sesgo + 2S < TEa;
Aada Sesgo + 3 veces la S observada [ref 1], esto es, Sesgo + 3S < TEa;
Aada Sesgo + 4 veces la S observada [ref 1], esto es, Sesgo + 4S < TEa;
Aada Sesgo + 5 veces la S observada [ref 1], esto es, Sesgo + 5S < TEa.
Ms que escoger entre estas recomendaciones, todas pueden ser incorporadas
en una herramienta de decisin grfica una Carta de Decisin del Mtodo.
La carta es fcil de construir, minimiza la necesidad de clculos adicionales y
provee una imagen grfica que simplifica la interpretacin y evaluacin del
desempeo del mtodo.

Cmo se construye una Carta de Decisin del


Mtodo?
Primero, exprese el error total permitido como un porcentaje de la concentracin
de decisin mdica evaluada. La mayora de los errores permitidos de CLIA ya se
expresan de sta forma. Para aquellos errores permitidos que estn expresados
en unidades de concentracin, exprese el error permitido como un porcentaje de
la concentracin de decisin mdica de inters, esto es, divida el error permitido
por la concentracin de decisin mdica y multiplquelo por 100 para expresarlo
como porcentaje.
Luego, tome una hoja o papel para graficar y haga lo siguiente:

pgina 199

Validacin Bsica de Mtodos, Edicin Wallace Coulter

1. Rotule el eje de las ordenadas (Y) como Inexactitud permitida, (Sesgo,


%) y establezca una escala desde 0 hasta el TEa, por ej., para un TEa
= 10 %, establezca una escala en el eje de las ordenadas de 0 a 10% en
incrementos de 1%.
2. Rotule el eje de las abscisas (X) como Imprecisin permitida, (CV, %) y
establezca una escala desde 0 hasta 0.5 TEa, por ej., para un TEa = 10%,
establezca una escala en el eje de las abscisas de 0 a 5% en incrementos
de 0.5%.
3. Dibuje una lnea para el Sesgo + 2S desde el valor del TEa en el eje de las
ordenadas (Y) hasta el valor de 0.5 TEa en el eje de las abscisas (X), por
ej., para un TEa = 10%, dibuje la lnea del 10% (eje y) al 5% (eje x).
4. Dibuje una lnea para el Sesgo + 3S desde el valor del TEa en el eje de las
ordenadas (Y) hasta el valor de 0.33 TEa en el eje de las abscisas (X), por
ej., para un TEa = 10%, dibuje la lnea del 10% (eje y) al 3.33% (eje x).
5. Dibuje una lnea para el Sesgo + 4S desde el valor del TEa en el eje de las
ordenadas (Y) hasta el valor de 0.25 TEa en el eje de las abscisas (X), por
ej., para un TEa = 10%, dibuje la lnea del 10% (eje y) al 2.5% (eje x).
6. Dibuje una lnea para el Sesgo + 5S desde el valor del TEa en el eje de las
ordenadas (Y) hasta el valor de 0.20 TEa en el eje de las abscisas (X), por
ej., para un TEa = 10%, dibuje la lnea del 10% (eje y) al 2.0% (eje x).
7. Dibuje una lnea para el Sesgo + 6S desde el valor del TEa en el eje de las
ordenadas (Y) hasta el valor de 0.17 TEa en el eje de las abscisas (X), por
ej., para un TEa = 10%, dibuje la lnea del 10% (eje y) al 1.7% (eje x).

pgina 200

Westgard QC, Inc., Copyright 2013

8. Marque las regiones definidas entre las lneas trazadas como: inaceptable,
pobre, marginal, bueno, excelente y clase mundial como se muestra
en la figura.

Cmo se usa la Carta de Decisin del Mtodo?


Exprese su desvo estndar y sesgo observados para el procedimiento de medida
evaluado en porcentaje, luego grafique el punto cuya coordenada en x sea la
imprecisin observada y su coordenada en y la inexactitud observada. A ste
punto se le llama el punto operativo pues describe cmo opera su mtodo.
Evaluar el desempeo de su mtodo en base a la locacin del punto operativo,
como sigue:
Un mtodo con desempeo inaceptable no cumple con sus requisitos
de la calidad, incluso cuando el mtodo est trabajando adecuadamente.
No es aceptable para operaciones de rutina.
Un mtodo con desempeo pobre podra haber sido considerado adecuado
antes de la introduccin reciente de los principios de Gestin de la Calidad
Seis Sigma, pero los estndares industriales de referencia sientan ahora
un estndar mnimo de desempeo 3-Sigma para un proceso de produccin
de rutina, por lo que el desempeo en la regin entre 2-Sigma y 3-Sigma
no es hoy en da verdaderamente satisfactorio.
Un mtodo con desempeo marginal provee la calidad necesaria cuando
todo est trabajando correctamente. Sin embargo, ser difcil de manejar
en operaciones de rutina, requerir de 4 a 8 controles por corrida y una
estrategia de Control de la Calidad Total que enfatiza en operadores bien
entrenados, rotacin reducida del personal, mantenimiento preventivo
ms agresivo, monitoreo cuidadoso de los resultados de los pacientes y
esfuerzos continuos para mejorar el desempeo del mtodo.
Un mtodo con desempeo bueno cumple con sus requisitos de la calidad
y puede ser bien manejado en operaciones de rutina con mediciones de 2
a 4 controles por corrida usando procedimientos de Control de la Calidad
de reglas mltiples o una nica regla de control con lmites de control a
2.5S.
Un mtodo con desempeo excelente es claramente aceptable y puede
ser bien manejado en operaciones de rutina con slo 2 controles por corrida
analtica con una sola regla de control con lmites de control de 2.5S
3.0S.
Un mtodo con desempeo de clase mundial es incluso ms fcil de
manejar y controlar, usualmente requirieren slo 1 2 controles por corrida
analtica y una sola regla de control con lmites amplios, tales como 3.0S
3.5S.
pgina 201

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Ejemplos de aplicaciones
Todos estos ejemplos ilustran la evaluacin para mtodos de colesterol, donde
el requisito de la calidad de CLIA para desempeo aceptable es un error total
permitido de 10%.
A. Un mtodo de colesterol con un CV de 1.5% y un Sesgo de 0.0% provee una
calidad de clase mundial, como se muestra por el punto operativo marcado
como A, cuya coordenada en x es 1.5 y en y es 0.0. ste mtodo es
claramente aceptable y ser fcil de manejar y controlar en operaciones
de rutina usando 2 controles por corrida analtica y recurriendo a una
sola regla de control con lmites a 3.5S.
B. Un mtodo de colesterol con un CV de 2.0% y un Sesgo de 0.0% provee un
desempeo excelente, como se muestra por el punto operativo B. ste
mtodo es claramente aceptable y ser controlable en servicios de rutina
usando 2 controles en una sola corrida analtica y recurriendo a una sola
regla de control con lmites de control a 3.0S o 2.5S.
C. Un mtodo de colesterol con un CV de 2.0% y un Sesgo de 2.0% tiene un
punto operativo que cae en la zona enmarcada por las lneas de buen
desempeo y desempeo marginal, como se muestra en el punto operativo
C. Se requiere una valoracin cuidadosa del control estadstico interno
pgina 202

Westgard QC, Inc., Copyright 2013

de la calidad y mostrar que se necesita un procedimiento de reglas


mltiples con un total de 4 controles para garantizar la calidad deseada
para ste mtodo. Vea tambin la aplicacin Control de la Calidad (QC,
por sus siglas en Ingls) en Westgard Web en http://www.westgard.com/
qcapp3.htm.
D. Un mtodo de colesterol con un CV de 3.0% y un Sesgo de 3.0% satisface
las especificaciones del National Cholesterol Education Program (NCEP,
por sus siglas en Ingls) [7]. Para valorar si stas especificaciones de
desempeo son adecuadas, se puede graficar un punto operativo con una
coordenada en y de 3.0% y una coordenada en x de 3.0%, como se muestra
en el punto operativo marcado como D en la figura acompaante. Tal
mtodo tiene un desempeo pobre y slo alcanzar la calidad deseada si
todo est trabajando perfectamente. Ser muy difcil detectar problemas
y mantener la calidad deseada durante el servicio de rutina [Note que
discordamos con el CDC (Centers for Disease Control and Prevention) en
la metodologa apropiada para asentar especificaciones de desempeo.
La referencia [8] provee algo de discusin y debate. La referencia [9] es
una defensa extensa de la metodologa de CDC-NCEP].
E. Un mtodo de colesterol con un CV de 4.0% y un Sesgo de 3.0% podra
ser representativo del tipo de mtodos de tamizaje encontrados en
supermercados y farmacias. Como se muestra en el punto operativo E,
tales mtodos no proveen la calidad necesaria para cumplir los requisitos
de la calidad de CLIA para desempeo aceptable incluso si todo est
trabajando perfectamente.

Intntelo!
Defina el error total permitido para su examen. Construya una Carta de Decisin
de Mtodo usando una pgina o papel para graficar. Grafique la inexactitud
observada (% sesgo) del experimento de comparacin de mtodos contra la
imprecisin observada (% S o CV) del experimento de replicacin. Vea donde est
localizado ste punto operativo y juzgue si quiere o no implementar el mtodo
para servicios de rutina.

pgina 203

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Pruebe con las Calculadoras en Lnea!


En Westgard Web, estn disponibles dos herramientas:
Method Decision Calculator
http://www.westgard.com/mvtools.html
Normalized Operating Point Calculator
http://www.westgard.com/normcalc.htm
La Calculadora Method Decision Calculator trabaja envindole los valores
que usted introduce al servidor para el clculo y la preparacin de la Carta de
Decisin del Mtodo. La Calculadora Normalized Operating Point Calculator
es una calculadora Javascript que realiza los clculos en su computadora. Sin
embargo, no puede realizar un grfico as que necesita imprimir la Carta de
Decisin del Mtodo Normalizada y graficar manualmente su punto operativo.
Tambin est disponible una Carta de Decisin del Mtodo automatizada en
Westgard Web como una hoja de clculo de Excel. Puede descargar el archivo
en http://www.westgard.com/downloads/

pgina 204

Westgard QC, Inc., Copyright 2013

Referencias:
1. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825-33.
2. U.S. Department of Health and Social Services. Medicare, Medicaid,and CLIA
Programs: Regulations implementing the Clinical Laboratory Improvement
Amendments of 1988 (CLIA). Final Rule. Fed Regist 1992(Feb 28);57:70027186.
3. Ehrmeyer SS, Laessig RH, Leinweber JE, Oryall JE. 1990 Medicare/ CLIA
final rules for proficiency testing: Minimum interlaboratory performance
characteristics (CV and Bias) needed to pass. Clin Chem 1990;36:1736-40.
4. Westgard JO, Burnett RW. Precision requirements for cost-effective operation
of analytical processes. Clin Chem 1990;36:1629-32.
5. Westgard JO. Six Sigma Quality Design and Control, 2nd Edition, Chapter
7. Madison WI: Westgard QC, Inc., 2006, pp.91-105.
6. Westgard JO. A method evaluation decision chart (MEDx Chart) for judging
method performance. Clin Lab Science. 1995;8:277-83.
7. Westgard JO, Wiebe DA. Cholesterol operational process specifications
for assuring the quality required by CLIA proficiency testing. Clin Chem
1991;37:1938-44.
8. Westgard JO, Wiebe DA. Adequacy of NCEP recommendations for total
cholesterol, triglycerides, HDLC, and LDLC measurements. Clin Chem
1998;44:1064-1066.
9. Caudill SP, Cooper GR, Smith SJ, Myers GL. Assessment of current
National Cholesterol Education Program guidelines for total cholesterol,
triglycerides, HDL-cholesterol, and LDL-cholesterol measurements. Clin
Chem 1998;44:1650-8.

pgina 205

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 206

Westgard QC, Inc., Copyright 2013

17: Cul es un procedimiento prctico para


validar un mtodo?
ste captulo revisa el enfoque general de la validacin de mtodos y provee un
conjunto de hojas de clculo para recolectar las cantidades mnimas de datos
necesarios en cada experimento. Si usted decide trabajar con este modelo y
emplear estas hojas de clculo, usted podr planificar y organizar su propio
estudio de validacin de mtodos.

Objetivos:
Revisar el enfoque general de validacin de mtodos.
Desarrollar hojas de clculo para recolectar los datos experimentales.
Organizar stas hojas de clculo en un plan prctico de validacin de
mtodos.
Determinar el apoyo estadstico necesario para implementar un plan de
validacin de mtodos.

Materiales del captulo:


VM Las aplicaciones del mundo real,
por James O. Westgard, PhD
VM Las hojas de clculo

Cosas qu hacer:
Estudiar los materiales.
Adaptar las hojas de clculo para ajustarlas a sus necesidades.

pgina 207

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cules son los experimentos mnimos necesarios para sus exmenes?
Cul es el nmero mnimo de mediciones necesarias para cada
experimento?
Cul es la mejor forma de organizar estos experimentos?
Cul es la forma ms prctica de hacer los clculos a partir de los datos?

pgina 208

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Las Aplicaciones del Mundo Real
James O. Westgard, PhD
Los captulos previos le han otorgado habilidades para establecer su propio proceso
de validacin de mtodos. Es importante establecer un proceso sistemtico a la
medida de las necesidades de su laboratorio y de las caractersticas del mtodo
que va a ser examinado. No asuma que el desempeo del mtodo est bien slo
porque ha comprado un nuevo instrumento o un nuevo lote de reactivos! En el
mundo real, los mtodos todava tienen problemas. Recuerda los Mitos de la
calidad?

Una revisin del proceso de Validacin de Mtodos


Aqu hay un breve resumen de nuestras lecciones sobre validacin de mtodos.
Puede revisar los captulos anteriores para obtener mayores detalles y aclarar
los puntos ms importantes.
La Validacin de Mtodos debera ser un proceso estndar en el laboratorio
clnico, pero el proceso no necesita ser exactamente el mismo para cada
laboratorio o para cada mtodo validado por un laboratorio. Vea Gestin
de la Calidad La necesidad de procesos estandarizados y estndares para
la calidad para una visn general del proceso de manejo de la calidad que
se necesita en los laboratorios clnicos y el rol de la validacin de mtodos
al establecer los procesos estandarizados de examen.
Recuerde que el propsito de la validacin de mtodos es la valoracin
del error. Vea El significado secreto mas interno, oculto y profundo para
una descripcin de los errores aleatorios, sistemtico y total que son el
foco de los estudios de validacin de mtodos.
Note que a un laboratorio de E.U.A. se le requiere por las regulaciones de
CLIA que demuestre que antes de informar resultados de pacientes, puede
alcanzar las especificaciones de desempeo para exactitud, precisin y
rango reportable, comparables a aquellas establecidas por el fabricante.
El laboratorio tambin debe verificar que el rango de referencia del
fabricante es adecuado para la poblacin de pacientes del laboratorio.
Para mtodos non-waived, CLIA tambin requiere la verificacin de la
sensibilidad analtica y de la especificidad analtica. Vea Las Regulaciones.
Otros factores o caractersticas importantes para el mtodo, tales como

pgina 209

Validacin Bsica de Mtodos, Edicin Wallace Coulter

costo del examen, tipos de espcimen, volmenes del espcimen, tiempo


requerido para el anlisis, proporcin del anlisis, equipo requerido,
personal requerido, eficiencia, seguridad, etc., deben ser considerados
durante la seleccin del mtodo analtico. Vea Seleccionando un mtodo
para validar.
El enfoque en la validacin de mtodos es realizar una serie de
experimentos diseados para estimar ciertos tipos de errores analticos,
por ej., un experimento de linealidad para determinar rango reportable,
un experimento de replicacin para estimar imprecisin o error aleatorio,
un experimento de comparacin de mtodos para estimar inexactitud o
error sistemtico, o experimentos de interferencia y recuperacin para
estimar especficamente errores sistemticos constantes y sistemticos
proporcionales (especificidad analtica), y un experimento de lmite
de deteccin para caracterizar la sensibilidad analtica. Vea El Plan
Experimental. Para detalles sobre los diferentes tipos de experimentos,
vea lo siguiente:
El experimento de linealidad o rango reportable. Deberan analizarse
un mnimo de 5 especmenes con valores conocidos o asignados por
triplicado para evaluar el rango reportable.
El experimento de replicacin. Se recomienda hacer la determinacin
de 20 replicados de al menos dos niveles de materiales de control para
estimar la imprecisin o el error aleatorio del mtodo.
El experimento de comparacin de mtodos. Deberan analizarse un
mnimo de 40 especmenes de pacientes por el nuevo mtodo (mtodo
analtico) y un mtodo establecido (mtodo de comparacin) para
estimar la inexactitud o el error sistemtico del mtodo.
Los experimentos de interferencia y recuperacin. Se analizan
usualmente las interferencias comunes, tales como lipemia, hemlisis
e ictericia, junto con las interferencias especficas del ensayo y la
metodologa. Los experimentos de recuperacin se utilizan para medir
las interferencias competitivas, como pueden ser los posibles efectos
de protenas y metabolitos en los especmenes.
El experimento de lmite de deteccin. El lmite de deteccin est
indicado para aquellos mtodos cuyos valores analticos bajos tienen
una interpretacin fundamental desde el punto de vista clnico.
Generalmente, se analizan 20 veces un espcimen blanco y un
espcimen suplementado con la cantidad de analito declara por el
fabricante en el inserto para el lmite de deteccin.

pgina 210

Westgard QC, Inc., Copyright 2013

Los datos recolectados en los diferentes experimentos necesitan ser


resumidos (por clculos estadsticos) para brindar estimaciones de los
errores analticos que son el foco de cada experimento. Vea Conjunto de
herramientas para el anlisis de datos.
La aceptabilidad de estos errores observados se juzga por comparacin
con los estndares de la calidad, esto es, recomendaciones para el error
total permitido tales como las provistas por los criterios de los esquemas
de evaluacin de la competencia de CLIA. El desempeo del mtodo es
aceptable cuando los errores observados son menores que los lmites
establecidos para error permitido del procedimiento de medida evaluado.
Una herramienta grfica la Carta de Decisin de Mtodos puede ser
utilizada para clasificar el desempeo como clase mundial (Seis Sigma),
excelente, bueno, marginal, pobre o inaceptable. [1] Vea La decisin del
desempeo del mtodo.
Si se juzga aceptable el desempeo de un mtodo, se deben verificar los
intervalos de referencia. Vea Transferencia de Intervalos de Referencias.

Aplicaciones con datos publicados


Una revisin crtica de la literatura siempre es un buen punto de partida al
seleccionar y evaluar un mtodo. Esto puede incluir artculos cientficos as como
las descripciones del mtodo del fabricante. El tiempo y esfuerzo necesarios para
los estudios de validacin del mtodo en su laboratorio pueden ser minimizados
con una valoracin cuidadosa de los datos en la literatura.
Los estudios publicados de validacin de mtodos rara vez siguen un proceso de validacin estandarizado. Por lo tanto, es necesario imponer su propio
sistema de organizacin, de anlisis y de interpretacin de datos si quiere que
sus resultados tengan sentido. Este es un proceso de revisin crtica, que no
implica slo aceptar el formato, los datos y el anlisis y las conclusiones que
han sido publicadas.
Defina el requisito de la calidad en forma de un error total permitido (TEa)
para el examen (o exmenes) de inters a concentraciones prximas o que
representes niveles de decisin mdica crticos para la interpretacin de
los exmenes. Note que solo unas pocas revistas cientficas requieren a
los autores declarar la calidad que ellos consideran aceptable, por lo que
las conclusiones de muchos estudios publicados rara vez hacen referencia
a algn estndar o requisito de la calidad. La excepcin notable es la
revista Clinical Chemistry que comenz en enero de 1999 a aconsejar a
los escritores contribuyentes a dar referencia de sus descubrimientos de
desempeo del mtodo para estndares de la calidad definidos [2]. An
as, pocos artculos siguen ste consejo.
pgina 211

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Prepare una pgina de datos para resumir la informacin sobre los


experimentos. Liste los experimentos estndar que esperara encontrar,
por ej., el rango reportable, la replicacin intrada (repetibilidad), la
replicacin interda (Intermedia o intralaboratorio), la interferencia, la
recuperacin y la comparacin de mtodos.
Vea el informe publicado para localizar los diferentes experimentos,
resuma los factores fundamentales (nmero de especmenes de pacientes,
nmero de replicados de mediciones, etc.), e identifique las fortalezas y
debilidades de los estudios publicados.
Para un experimento de replicacin, valore la adecuacin de las
concentraciones de los materiales de control, la matriz de la muestra, el
periodo de tiempo del estudio y otras condiciones, tales como la cantidad de
lotes de reactivo distintos incluidos, el nmero de analistas involucrados,
etc. Tabule el nmero de mediciones, la media y la desviacin estndar
o el coeficiente de variacin de cada material.
Para un experimento de interferencia, valore si las sustancias y las
concentraciones analizadas son apropiadas. Tabule la diferencia promedio
o el sesgo al estimar el error sistemtico constante.
Para un experimento de recuperacin, determine qu clculos se realizaron
(si se calcul la recuperacin de la cantidad total medida o de la cantidad
aadida, siendo la ltima la forma correcta). Tabule el nmero de
experimentos y la recuperacin promedio. Calcule el error proporcional
(100 promedio %Recuperacin), luego multiplique por las concentraciones
crticas de decisin mdica para estimar el error sistemtico proporcional.
Para un experimento de lmite de deteccin, identifique claramente la
definicin del trmino particular utilizado y el enfoque experimental para
hacer la estimacin. Identifique las muestras analizadas, el nmero de
replicados de medicin y la ecuacin para calcular el lmite de deteccin.
Para un experimento de comparacin, valore si el mtodo de comparacin
por s mismo es una buena eleccin. Tabule el nmero de especmenes
de pacientes analizados por los dos mtodos, el rango de concentracin
estudiado y la distribucin de los datos a lo largo de ese rango. Tabule los
resultados estadsticos (con estadsticos t y estadsticas de regresin).
Valores si las estadsticas de regresin lineal brindan estimaciones de
error confiables inspeccionando el grfico de comparacin y tambin
del valor del coeficiente de correlacin (que debera ser 0.99 o mayor).
Cuando las estadsticas de regresin son confiables, estime la inexactitud
o el error sistemtico a partir de la ecuacin ES = (a + bXc) Xc, donde
a es la interseccin-Y, b es la pendiente, y Xc es la concentracin
pgina 212

Westgard QC, Inc., Copyright 2013

crtica de decisin mdica. Si las estadsticas de regresin ordinarias no


proveen las estimaciones confiables de los errores, determine si el sesgo
de los estadsticos t sera confiable, lo que requiere que la media de los
resultados de comparacin sean cercanos a la concentracin de decisin
mdica de inters.
Use la Carta de Decisin del Mtodo para evaluar si el desempeo del
mtodo es satisfactorio para su laboratorio. Muestre las estimaciones
individuales de error sistemtico o inexactitud (de los experimentos de
interferencia y recuperacin) como puntos en el eje de las ordenadas (Y);
muestre las estimaciones individuales de error aleatorio o imprecisin
como puntos en el eje de las abscisas (X). Valore el efecto combinado de
los errores aleatorio y sistemtico graficando los puntos operativos cuya
coordenada en y es el sesgo o ES del experimento de comparacin de
mtodos y cuya coordenada en x es el CV del estudio de replicacin
interda.
Revise las conclusiones y las recomendaciones de los autores. Resuelva
las diferencias entre sus conclusiones y las de los autores. Identifique
los factores que sern fundamentales si analiza el mtodo en su propio
laboratorio.

Aplicaciones en su propio laboratorio


Es importante tener un entendimiento claro del proceso de validacin de mtodos
y estar bien organizado al llevar a cabo los estudios experimentales. Un buen
mantenimiento de los registros es esencial para documentar las condiciones de
los estudios (nmeros de lote de reactivos, nmeros de lote de los calibradores,
recalibraciones, procedimientos de mantenimiento preventivo, cualquier cambio
en el mtodo o accin correctiva).
Especifique cuidadosamente la aplicacin, metodologa y requisitos de
desempeo para el ensayo de inters. Establezca el requisito de la calidad
para el examen en forma de error total permitido (TEa), como se especifica
en muchos esquemas para la evaluacin d la competencia. Conduzca una
bsqueda cuidadosa en la literatura y seleccione el mtodo que tiene la
aplicacin y las caractersticas metodolgicas adecuadas y tiene una buena
probabilidad de alcanzar el desempeo deseado.
Desarrolle un plan de validacin en base a las caractersticas del examen
y del mtodo que sern fundamentales para una aplicacin exitosa en su
laboratorio. Identifique los experimentos, especifique la cantidad de datos
a ser recolectados e identifique las concentraciones de decisin mdica o
los rangos analticos donde deben ser recolectados los datos. Establezca un
horario para que el personal pueda llevar a cabo los estudios de validacin.
pgina 213

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Implemente el plan de validacin de mtodos preparando un conjunto de


hojas de clculo que definan la cantidad de datos a ser recolectados en los
diferentes experimentos. Estas hojas formalizarn la planificacin de los
experimentos y tambin facilitarn la recoleccin de los datos.
La hoja de clculo de rango reportable debera tener columnas para
los datos, el analista, la identificacin de la muestra, el valor conocido
o asignado, el resultado observado #1, el #2, el #3, el resultado
promedio y los comentarios. El nmero de filas depender del nmero
de especmenes analizados, que estar por lo general entre 5 y 10.
Tambin incluya informacin sobre la fuente de los especmenes, la
preparacin de los pools de especmenes, el fabricante y los nmeros
de lote de los materiales comerciales. Vea pgina 217.
La hoja de clculo de replicacin debera tener columnas para los datos,
el analista, el resultado del material 1, del material 2, (del material 3
si es necesario), y los comentarios. El nmero de filas debera ser por
lo menos de 20. Tambin incluya informacin acerca del fabricante y
los nmeros de lote de los materiales de control analizados. Note que
usualmente necesitar una hoja de clculo para el estudio de replicacin
intrada (repetibilidad) y un segundo estudio interda (intermedio o
intralaboratorio). Vea pgina 218.
La hoja de clculo de comparacin de mtodos debera tener columnas
para la fecha, el analista, el nmero de identificacin del espcimen, el
resultado del examen (valor y), el resultado del examen por el mtodo
de comparacin (valor x), la diferencia (y-x), y los comentarios. Aada
columnas extra si se realizarn duplicados de las mediciones. El nmero
de filas debera ser por lo menos de 40. Vea pginas 219-220.
Comience a graficar los datos del estudio de comparacin diariamente
conforme se van obteniendo. Identifique valores discrepantes y repita
esos exmenes por ambos mtodos. Un grfico de diferencia remarcar
stas discrepancias ms claramente que un grfico de comparacin, pero
se puede usar cualquiera o ambos para ste propsito.
Realice los clculos estadsticos que son apropiados para los datos
recolectados en los diferentes experimentos.
Use la Carta de Decisin de Mtodo para valorar si el desempeo del
mtodo es satisfactorio para su laboratorio.
Documente los estudios de validacin de mtodos. Si el desempeo del
mtodo es aceptable, prepare un procedimiento para documentar el
proceso de validacin estandarizado. Prepare materiales de docencia
pgina 214

Westgard QC, Inc., Copyright 2013

para capacitaciones. Selecciones los materiales de control, las reglas de


control y el nmero de mediciones de los controles adecuadamente para
monitorear el desempeo en condiciones de rutina.

Adaptaciones para aplicaciones de laboratorios


individuales
Debemos reconocer que la situacin de cada laboratorio podra ser diferente, por
lo tanto, se pueden realizar diferentes adaptaciones en diferentes laboratorios. El
enfoque que proponemos es mantener los principios del proceso de validacin de
mtodos, mientras hacemos el trabajo experimental tan eficiente y tan prctico
como sea posible. Se presentan algunas ideas aqu en relacin al alcance de los
estudios, las habilidades personales y las tcnicas de anlisis de datos.
El alcance de los estudios podra ajustarse a la informacin disponible
en la literatura cientfica. Se puede realizar un trabajo mnimo cuando
se han publicado estudios minuciosos. Siempre realice un experimento
de linealidad o rango reportable y un estudio de replicacin por lo menos
durante diez das. Reduzca el nmero de pacientes a emplear en el
estudio de comparacin de mtodos a 20 especmenes teniendo el cuidado
de cubrir el rango reportable de manera homognea con las diferentes
concentraciones de los especmenes seleccionados. Minimice el uso de
los estudios de recuperacin y de interferencia. Del mismo modo, cuando
reemplace un mtodo o un instrumento con el mismo mtodo o instrumento,
o similar, su experiencia previa en el laboratorio le permitir reducir la
cantidad de datos necesarios para validar el nuevo mtodo o instrumento.
Nuevas tecnologas o cambios en los principios del mtodo o de medicin
requerir estudios de validacin ms extensivos. Se debe evaluar
crticamente las nuevas metodologas que apenas estn saliendo y no han
sido muy difundidas. Si el laboratorio est involucrado en exmenes de
campo de un fabricante, se requerirn estudios incluso ms extensivos,
mucho ms all de los mnimos sugeridos aqu para los estudios de
validacin bsica de mtodos.
El personal del laboratorio involucrado en los estudios de validacin de
mtodos puede tener una experiencia heterognea (variable). Sin embargo,
es importante tener al menos un analista con las habilidades para organizar
los estudios, especificar la cantidad de datos a ser recolectados, monitorear
los datos durante su recoleccin para identificar problemas obvios del
mtodo, inspeccionar cuidadosamente los datos para identificar los
resultados discrepantes, analizar apropiadamente los datos estadsticos,
interpretar crticamente los resultados y hacer cualquier cambio o ajuste
pgina 215

Validacin Bsica de Mtodos, Edicin Wallace Coulter

necesario al plan de validacin. Otros analistas podran llevar a cabo los


experimentos y tabular los datos. La participacin de varios analistas va
a generar estimaciones ms realistas de la imprecisin esperada bajo las
condiciones de operacin de rutina del mtodo.
El anlisis de los datos debe ser comprendido por los analistas del
laboratorio, si la informacin no es correctamente interpretada, las
decisiones sobre el desempeo del mtodo pueden ser incorrectas. Los
datos que surgen de la comparacin de mtodos son ms difciles de
analizar. Debe prepararse siempre un grfico a partir de los datos. Se
prefieren generalmente las estadsticas de regresin, pero los estadsticos
t podran ser suficientes cuando se obtiene la estimacin del sesgo a una
media que es muy cercana al nivel de decisin mdica. Vea los captulos
8, 12 y 18 para lineamientos ms detallados del anlisis de datos.

Referencias:
1. Westgard JO. A method evaluation decision chart (MEDx) Chart for judging
method performance. Clin Lab Science 1995;8:277-83.
2. Information for authors. Journal of Clinical Chemistry
http://www.clinchem.org/info_ar/anal_meth.shtml

Referencias en Lnea
A method evaluation decisin chart for judging method performance
http://www.westgard.com/downloads/
Method Decision Chart spreadsheet
http://www.westgard.com/downloads/
Points of Care in using statistics in method comparison studies
http://www.westgard.com/essay19.htm

pgina 216

Westgard QC, Inc., Copyright 2013

pgina 217

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 218

Westgard QC, Inc., Copyright 2013

pgina 219

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 220

Westgard QC, Inc., Copyright 2013

18: Cmo usa la estadstica en el Mundo Real?


Este captulo le otorgar una ltima dosis de estadstica. La mayora de los
estudiantes aprenden estadstica lentamente, unas pocas ideas a la vez. Toma
varias dosis incrementar los conocimientos de estadstica de una persona y
mejorar sus habilidades para interpretar la estadstica correctamente. Algunas
veces se trata de escuchar o ver la informacin presentada de diferente forma.
Esta es otra forma de trabajar a travs del uso correcto y una interpretacin
apropiada de las estadsticas generadas a partir de los estudios de comparacin
de mtodos.

Objetivos:
Repasar el uso de la estadstica en los estudios de comparacin de mtodos.
Resumir consideraciones importantes para el uso apropiado de las
estadsticas de regresin.
Identificar cuando es necesario utilizar tcnicas de regresin ms
sofisticadas como la regresin de Deming o el modelo de Passing-Bablock.

Materiales del captulo:


Aspectos a considerar en el uso de las estadsticas en los
estudios de comparacin de mtodos, por James O. Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.
Revisar un estudio de validacin de mtodos publicado y criticar la
aplicacin de la estadstica.

pgina 221

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:

El anlisis de regresin lineal para una prueba de hemoglobina glicosilada


muestra los siguiente: Nuevo Mtodo (Y) = 0.93 Viejo mtodo (X) + 0.29
( r = 0.992). Cul es el estimado para la pendiente y cul es el estimado
para el intercepto-Y?
Son confiables los estimados para la pendiente y el intercepto-y?
Debera usted emplear la prueba-t o Bland Altman en lugar de la regresin
lineal simple?
Debera usted usar la regresin de Deming o el modelo Passing-Bablock
en lugar de la regresin lineal simple?

pgina 222

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Algunos Aspectos a Considerar en el uso de
las estadsticas en la validacin de mtodos
James O. Westgard, PhD
Esta es una actualizacin de otra versin de una editorial aparecida en Noviembre de 1998 en un ejemplar
de la revista Clinical Chemistry, volumen 4, pginas 2240-2242.

Como qumicos clnicos y cientficos de laboratorio, a menudo nos preocupamos


cuando personal que tiene poca experiencia y entrenamiento en el laboratorio
comienza a realizar exmenes de laboratorio, tales como las aplicaciones de
Point of Care. Si bien hoy en da puede ser fcil realizar esos exmenes con los
sistemas analticos modernos disponibles, aun hay cosas que pueden salir mal.
Nosotros esperamos que algn tipo de sistema de la calidad se use para verificar
que todo est funcionando correctamente con los anlisis de Point of Care.
Imagine usted como se sienten los estadsticos considerando que tenemos en
nuestras manos programas estadsticos muy poderosos. Estos programas hacen
que sea muy simple cargar un conjunto de datos y luego as calcular una gran
variedad de estadsticos aunque no sepmonos que representan o para que se
emplean. Debemos verificar que en nuestros laboratorios estamos trabajando
el anlisis estadstico de los datos de manera apropiada.
En un ejemplar de Clinical Chemistry aparecido en Noviembre de 1998,
Stockl, Dewitte and Thienpont
[1], sealaron que la calidad
de los datos puede ser ms importante que la calidad de la
tcnica de regresin (es decir,
regresin lineal simple versus
regresin de Deming versus el
modelo Passing-Bablock). En
la revista Clinical Chemistry
el proce-dimiento estndar
para analizar los datos de un
experimento de comparacin
de mtodos ha sido preparar
un grfico de compasin que
muestre los resultados del
mtodo evaluado en el eje Y
y los resultados del mtodo de
comparacin en el eje X y
pgina 223

Validacin Bsica de Mtodos, Edicin Wallace Coulter

luego calcular las estadsticas de regresin para hallar la mejor lnea de ajuste
para los datos. Diferentes modelos de regresin pueden ser apropiados, dependiendo de las caractersticas de los datos; particularmente el rango analtico
que es cubierto considerando los valores del ensayo que son crticos desde un
punto de vista clnico.
En varias citas bibliogrficas [2], existe
una tendencia a desalentar el uso del anlisis de
regresin y se sugiere su
reemplazo por una simple
representacin grfica de
los datos de la comparacin
de mtodos con el formato
de un grfico de diferencias
(Difference Plot), en el cual
se representa la diferencia
entre los valores obtenidos
entre el mtodo a evaluar
y el de referencia en el
eje Y versus los valores
obtenidos por el mtodo
de referencia en el eje X,
en el caso de contar con
un mtodo de referencia,
o la diferencia entre los valores obtenidos entre el mtodo a evaluar y el de
comparacin en el eje Y versus la media de los valores del mtodo a evaluar
y de comparacin en el eje X. Se conoce a este grfico como Bland-Altman [3].
Hyltoft-Petersen y colaboradores [4] han demostrado que el grfico de diferencias
debe ser cuidadosamente interpretado para tomar una decisin objetiva sobre
el desempeo de un mtodo. No es tan simple utilizar este grfico de diferencias
cuando debe realizarse una interpretacin objetiva para evaluar el desempeo
de un mtodo.
A pesar de estos informes y recomendaciones recientes sobre uso de las
estadsticas, muchos analistas e investigadores todava tienen dificultades con
los datos de comparacin de mtodos. Nosotros hemos estudiado eso problemas
hace treinta aos [5]. Muchos de los problemas que observamos hace tiempo,
son similares a los problemas que existen hoy en da, la diferencia es que actualmente existen programas de computacin que simplifican mucho los clculos. No ha habido mucha mejora, si es que hubo alguna, en los conocimientos y
habilidades sobre estadstica bsica en los laboratorios a la fecha, no solamente
para los estudio de validacin de mtodos sino tambin para control estadstico
pgina 224

Westgard QC, Inc., Copyright 2013

de la calidad. Esto no significa que no ha habido mejoras en la teora y que no


han sido publicadas recomendaciones en la literatura, ms bien implica que
las prcticas de laboratorio no han cambiado mucho realmente.
Por lo tanto aun necesitamos prestar mucha atencin para juntar, analizar
e interpretar los datos de los estudios de comparacin de mtodos. Aqu presentamos algunos puntos sobre los que debemos prestar cuidado:
Punto N 1: Usar la estadstica para brindar un estimado de los errores,
no como un indicador de aceptabilidad. Tal vez este sea el punto principal
para tener un sentido prctico sobre el uso de las estadsticas en los estudios
de comparacin de mtodos. Recuerde que el propsito de los estudios de
validacin es estimar o validar las especificaciones para los parmetros
de desempeo del mtodo. [Ver El significado secreto mas interno, oculto y
profundo.] Las caractersticas de aplicacin y metodolgicas deberan ser
consideradas durante el proceso de seleccin del mtodo. [Ver Seleccionando
un mtodo para validar.] Las estadsticas son simples herramientas para
cuantificar el tamao de los errores a partir de los datos recolectados durante
los experimentos de validacin de mtodos. [Ver Conjunto de herramientas
para el anlisis de datos].
Las estadsticas no van a decirle a usted directamente si un mtodo
es aceptable, si le van a brindar estimados de los errores que le permitirn
a usted evaluar la aceptabilidad del mtodo en estudio. Usted hace esto
comparando la magnitud del error observado con el tamao del error que
podra ser tolerado sin comprometer la interpretacin clnica de los resultados del examen. El desempeo del mtodo no es considerado aceptable
cuando la magnitud del error observado es mayor al tamao del error que
podra ser tolerado. El proceso de decisin puede ser facilitado empelando
un criterio matemtico [6] o a partir del uso de herramientas grficas [7].
[Ver La decisin sobre el desempeo del mtodo.]
Punto N 2: Reconocer que el propsito principal del experimento de
comparacin de mtodos es obtener un estimado del error sistemtico
o Sesgo. El experimento de comparacin de mtodos se realiza para estudiar
la exactitud de un nuevo mtodo. [Ver El plan experimental.] Es fundamental
obtener informacin sobre el error sistemtico promedio o sesgo. Tambin
es til para identificar la naturaleza proporcional o constante del error
sistemtico y para cuantificar el error aleatorio entre ambos mtodos.
Conocer la naturaleza del error es importante porque nos orienta a tomar
acciones especficas en el laboratorio para controlar el error total del proceso
de anlisis (por ejemplo, reducir el error sistemtico proporcional mejorando
la calibracin del mtodo). El error total es importante para juzgar sobre la
aceptacin del mtodo y puede ser calculado a partir de sus componentes
(errores sistemticos y aleatorios).

pgina 225

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Punto N 3: Obtener estimaciones del error sistemtico a concentraciones


que representen o estn prximas a niveles de decisin mdica.
La recoleccin de especmenes y la seleccin de las estadsticas pueden
ser optimizadas considerando la concentracin o concentraciones donde la
interpretacin de los resultados va a ser mas crticamente interpretada desde
un punto de vista mdico. [Ver el resumen de Niveles de decisin mdica
por Dr. Bernard Statland.] Si existe una nica concentracin de decisin
mdica los datos para la comparacin de mtodos deben ser obtenidos cerca
de ese valor (es decir que no va a ser necesario un amplio rango de datos)
y el grfico de diferencias va a ser de utilidad (junto con la estimacin del
sesgo a partir de los estadsticos t, ver el punto N 8 ms abajo). Si hay
dos o ms concentraciones que representen niveles de decisin mdica, es
recomendable obtener especmenes que cubran el rango analtico del mtodo,
usar un grfico de comparacin para visualizar los datos, y calcular las
estadsticas de regresin para estimar el error sistemtico a cada nivel de
decisin mdica.
Punto N 4: Cuando existe un nico nivel de decisin mdica hacer la
estimacin del error sistemtico cerca de la media de los datos. El
principal aspecto a tener en cuanta cuando existe un nico nivel de decisin
mdica es juntar los datos alrededor de ese nivel de decisin. La eleccin
de las estadsticas no va a ser crtica cuando hay un nico nivel de decisin
mdica relevante y est prximo a la media de los datos. La estimacin del
Sesgo a partir de la prueba-t para datos apareados y le estimacin del error
sistemtico a partir de las estadsticas de regresin van a generar la misma
estimacin del error.

[Nota de explicacin: El sesgo es la diferencia entre las medias de
dos mtodos (Sesgo = Ypromedio Xpromedio), lo cual es equivalente al promedio
de las diferencias calculadas de los pares de datos a partir de la prueba-t.
Con las estadsticas de regresin, el error sistemtico (ES) es estimado a
una concentracin crtica dada, Xc, como sigue: ES = Yc Xc, dnde Yc es
calculado a partir de las estadsticas de regresin por la ecuacin Yc = a +
b.Xc, dnde a es el intercepto-Y y b es la pendiente de la lnea de regresin.
En la regresin lineal simple, la pendiente se calcula en primer lugar, luego
se determina el intercepto-Y a partir de la siguiente ecuacin: a = Ypromedio
b.Xpromedio. Cuando en nivel de decisin es igual a Xpromedio, entonces l ES = (a +
b.Xpromedio) - Xpromedio = Ypromedio b.Xpromedio + b.Xpromedio -Xpromedio = Ypromedio - Xpromedio
, es decir el mismo estimado del error sistemtico ser obtenido a partir de
las estadsticas de regresin y las estadsticas de la prueba-t, an cuando
el rango de datos evaluados sean pequeo y los valores para pendiente e
intercepto-Y no son confiables.]

pgina 226

Westgard QC, Inc., Copyright 2013

Punto N 5: Cuando existen dos o ms niveles de decisin mdica,


utilice el coeficiente de correlacin, r, para evaluar si el rango
de datos es el adecuado para utilizar el modelo de regresin lineal
simple. Como fue confirmado por Stockl, Dewitte, y Thienpont [1], cuando
r es 0.99 o mayor, el rango de datos debera ser lo suficientemente ancho
para que el modelo de regresin lineal simple brinde estimados confiables
para la pendiente y el intercepto-Y. Resaltan que que si r es menor que
0.975, los estadsticos generados a partir de la regresin lineal simple no
sern confiables y sugieren mejorar el rango de datos o recurrir a modelos
de regresin alternativos ms apropiados para esta situacin. Note que no
se utiliza r para evaluar la aceptacin del desempeo del mtodo, pero si
es utilizado para evaluar la aceptacin del rango de datos utilizado para
calcular las estadsticas de regresin.
Punto N 6: Cuando el valor de r es alto, utilice el grfico de comparacin
junto con las estadsticas de la regresin lineal simple. La confiabilidad
de la pendiente y del intercepto-Y son afectadas por datos aberrantes y
errores de no linealidad as como tambin por el rango de concentraciones de
los datos [5]. Los datos aberrantes deben ser identificados preferiblemente
en el momento graficando de manera inmediata los datos en el grfico de
comparacin; los datos discrepantes deben ser investigados mientras los
especmenes an estn disponibles. El error por no linealidad puede ser
identificado a partir de la visualizacin del grfico de comparacin, el rango
de concentraciones puede ser restringido al segmento lineal, y las estadsticas
recalculadas. Stockl, Dewitte, y Thienpont [1] recomiendan usar el grfico
de residuales como parte de anlisis de regresin e inspeccionar la secuencia
de inicio de los residuales para realizar esta evaluacin.
Punto N 7: Cuando r es pequeo, mejore el rango de concentraciones
de los datos o cambie el modelo estadstico de regresin. Considere
alternativas para mejorar el rango de concentraciones de los datos, reduciendo
la variacin del mtodo de comparacin haciendo replicados, estimando el
error sistemtico para la media de los datos, dividiendo los datos en subgrupos
cuyas medias coincidan con los niveles de decisin mdica (los cuales pueden
ser luego analizados empleando la prueba-t y el grfico de diferencias) o
empleando tcnicas de regresin ms sofisticadas. Stockl, Dewitte, y Thienpont
[1] hallaron que el modelo de regresin de Deming es ms satisfactorio que
la tcnica de Passing-Bablock. Note que estas tcnicas de regresin no estn
siempre disponibles en los programas ordinarios de estadstica aunque si
podr hallarlas en programas espacialmente diseados para la estudios de
validacin de mtodos de laboratorio.

pgina 227

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Punto N 8: Cuando r es bajo y se utiliza el grfico de diferencias, calcule


las estadsticas a partir de la prueba-t para obtener una estimacin
cuantitativa del error sistemtico. Planteado el objetivo principal de
estimar el error sistemtico a partir de los datos del estudio de comparacin
de mtodos, la utilidad del grfico de diferencias por si solo es cuestionable
ya que la interpretacin visual ser influenciada principalmente por la
dispersin o error aleatorio observado entre los mtodos. El sesgo, o promedio
de las diferencias a partir de los resultados de los pares de datos debera ser
calculado. Los programas de computacin para calcular las estadsticas de
la prueba-t van a darnos esta estimacin junto con el desvo estndar de las
diferencias, el cual da una estimacin cuantitativa de la dispersin entre los
mtodos. Note que esa dispersin entre mtodos depende de la imprecisin del
mtodo evaluado, la imprecisin del mtodo de comparacin e interferencias
que afectan a los especmenes individuales de distinta manera por los dos
mtodos. El valor t considerado individualmente es un cociente entre el
error sistemtico y el error aleatorio, y es principalmente til para determinar
si se ha recolectado una cantidad suficiente de datos para hacer confiable
a la estimacin del sesgo (nuevamente evite usar las estadsticas como un
indicador para la aceptabilidad del mtodo). Mientras Bland-Altman tambin
recomiendan el clculo de la media de las diferencias y la desviacin estndar
de las diferencias y sugieren que la media de las diferencias mas menos dos
desviaciones estndar ( 2S) sean trazadas en el grfico [3], es incorrecto
juzgar la aceptabilidad de las diferencias observadas por comparacin con
ellas mismas. Para acceder a una discusin ms profunda sobre como juzgar
la aceptacin de un mtodo sobre la base de los grficos de diferencias vea
Hyltoft-Petersen y colaboradores [4].
Punto N 9: Cuando existan dudas sobre la validez de la tcnica estadstica
empleada, vea si los resultados obtenidos a partir de las distintas
tcnicas modifica la decisin sobre la aceptacin del desempeo del
mtodo. Ya que es muy fcil realizar los clculos a partir de los programas
de estadstica disponibles, se pueden compara como los resultados obtenidos
a partir de la distintas tcnicas de regresin afectan la interpretacin del
desempeo del mtodo. Si la seleccin de la tcnica estadstica afecta su
decisin sobre la aceptabilidad del mtodo, entonces tenga cuidado. Por lo
general lo mejor ser juntar ms datos y asegurarse que la interpretacin
de esos nuevos datos satisfacen las conclusiones de la tcnica de anlisis
seleccionada.
Punto N 10: Planifique el experimento cuidadosamente y junte los datos
necesarios considerando la tcnica estadstica que va a usar. Usted
puede juntar los datos para ajustarlos a las necesidades del modelo estadstico
pgina 228

Westgard QC, Inc., Copyright 2013

empleado o cambiar el modelo estadstico para compensar la limitacin de


los datos. Una correcta comprensin del uso y aplicacin de las estadsticas
le va a ayudar a planificar los experimentos y minimizar las dificultades que
pudiesen surgir en la interpretacin de los resultados. [Ver El experimento
de comparacin de mtodos] Si usted est estableciendo un proceso estndar
para la validacin de mtodos en su laboratorio, sera aconsejable hacer un
esfuerzo para juntar los datos apropiados, esta es mi recomendacin personal
para los laboratorios del rea de la salud. Este enfoque de obtener los datos
correctos implica tomar la muestra apropiada, en las condiciones correctas,
procesar las muestras correctamente, operando el mtodo o sistema analtico
en condiciones representativas y analizar la muestra del paciente con un
proceso que se encuentre bajo control estadstico. Este punto requiere mucho
cuidado y debera tenar la ms alta prioridad. Las estadsticas no tiene
sentido si usted no tiene realmente cuidado con los datos.
En trminos de gestin de la calidad, el uso correcto de las estadsticas es
un problema crnico que continuar generando problemas hasta que sea resuelto.
El proceso que necesita ser mejorado es el proceso de educacin y entrenamiento
en las reas de qumica clnica, patologa clnica y laboratorio clnico. Existe
una deficiencia en una competencia bsica la habilidad de usar la estadstica
bsica para los estudios de validacin de mtodos y control estadstico de la
calidad. Para corregir esta deficiencia se necesitan cursos para estudiantes en
formacin, talleres de educacin continua y seminarios para profesional que ya
estn en el campo, as como la publicacin de artculos en literaturas cientficas
para recordarle a los investigadores las dificultades y problemas. Con el acceso
que en la actualidad nos brinda Internet, cursos bsicos de entrenamiento y
herramientas de software pueden ser enviadas a quien las quiera donde quiera
y cuando quiera.

pgina 229

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Referencias
1. Stockl D, Dewitte K, Thienpont M. Validity of linear regression in method
comparison studies: limited by the statistical model or the quality of the
analytical data? Clin Chem 1998;44:2340-6.
2. Hollis S. Analysis of method comparison studies [editorial]. Ann Clin Biochem
1996;33:1-4.
3. Bland JM, Altman DG. Statistical methods for assessing agreement beween
two methods of clinical measurement. Lancet 1986;307-10.
4. Hyltoft-Petersen P, Stockl D, Blaabjerg O, Pedersen B, Birkemose E, Thienpont
L, Flensted Lassen J, Kjeldsen J. Graphical interpretration of analytical
data from comparison of a field method with a reference method by use of
difference plots [opinion]. Clin Chem 1997;43:2039-46.
5. Westgard JO, Hunt MR. Use and interpretation of common statistical tests
in method-comparison studies. Clin Chem 1973;19:49-57.
6. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy
in method development and evaluation. Clin Chem 1974;20:825-33.
7. Westgard JO. A method evaluation decision chart for judging method
performance. Clin Lab Science 1995;8:277-83.

Referencias en Lnea
Points of care in using statistics in method comparison studies. Trabajo original
en formato PDF. http://www.westgard.com/downloads/
Use and interpretation of common statistical tests in method-comparison studies.
Trabajo original en formato PDF. http://www.westgard.com/downloads/
Medical Decision Levels. http://www.westgard.com/decision.htm

pgina 230

Westgard QC, Inc., Copyright 2013

19: Cmo pueden ser verificadas las


especificaciones de desempeo de los
fabricantes?
En este captulo el Dr. Neill Carey, presidente del comit de la CLSI EP 15 que
redact los lineamientos para la gua Verificacin del usuario de las caractersticas
de desempeo de precisin y veracidad declaradas por el fabricante colabora con
el Dr. Westgard para describir el protocolo y el anlisis de datos recomendado
a los laboratorios para verificar las especificaciones de desempeo declarados
por los fabricantes.

Objetivos:
Comprender el protocolo experimental de la gua EP 15 para precisin y
veracidad.
Aprender como realizar los clculos de la EP 15 empleando una planilla
de clculo de Excel.
Aprender cmo realizar los clculos para veracidad usando la prueba-t
para datos apareados con una hoja de clculo.
Aplicar los lineamientos de la EP 15 para verificar las especificaciones
de desempeo de los fabricantes para precisin y veracidad.

Materiales del captulo:


VM-EP 15 Gua para verificar las especificaciones de
desempeo declarados por el fabricante para precisin y
veracidad, R. Neill Carey, PhD, y James O. Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.
Configurar los clculos de la gua EP 15 para precisin empleando una
hoja de clculo.
Configurar los clculos para la prueba-t con datos apareados empleando
una hoja de clculo.
Verificar los clculos de su hoja de clculos empleando el conjunto de
datos ejemplo de la gua EP 15.

pgina 231

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:

Qu es lo que hace al protocolo EP 15 atractivo para los laboratorios?


Cules son las dificultades potenciales en la implementacin del EP 15?
Qu es la precisin intra laboratorio?
Qu es veracidad?
Cul es el modelo estadstico recomendado por el EP 15 para la estimacin
del sesgo?

pgina 232

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Gua para verificar las especificaciones de
desempeo declarados por el fabricante para
precisin y veracidad
R. Neill Carey, PhD, y James O. Westgard, PhD

Propsito
Hoy en da los laboratorios trabajan con la presin de gestionar a la calidad al
menor costo posible. Esta cuestin de costos tambin alcanza a los estudios de
validacin de mtodos. Cul es el estudio mnimo necesario para satisfacer el
requisito regulatorio de verificar las especificaciones de desempeo declaradas por
los fabricantes? Esta cuestin fue abordada directamente en la gua de la CLSI
EP 15: Verificacin del usuario de las caractersticas de precisin y veracidad
declaradas por el fabricante.[1]

Este documento de CLSI fue desarrollado por un comit formado por
usuarios de los laboratorios, profesionales, fabricantes y el gobierno. El proceso
de CLSI implica revisin por pares de la gua recomendada por votacin oficial
de sus miembros. Una vez aprobada, la gua representa buenas prcticas de
laboratorio que son aceptadas por la comunidad profesional, organismos de
acreditacin e inspeccin, as como tambin por el gobierno. El laboratorio solo
necesita referenciar el EP 15 para justificar el uso de este protocolo para satisfacer las regulaciones de CLIA para la validacin de nuevos mtodos.

De acuerdo al subcomit de la EP 15 el propsito de este documento
es el siguiente:
El subcomit tuvo dos metas principales durante el desarrollo de la EP 15.
Una fue desarrollar un protocolo de examen que fuera lo suficientemente
simple para ser aplicado en laboratorios de una gran variedad de recursos
y complejidad, desde los pequeos laboratorios ubicados en las salas de los
patlogos hasta los grandes laboratorios clnicos. La segunda meta fue
desarrollar un protocolo lo suficientemente riguroso como para brindar
conclusiones estadsticamente vlidas para los estudios de verificacin. Para
cumplir con esas dos metas el subcomit desarroll un protocolo de examen
de cinco das y hojas de trabajo simplificadas para juntar todos los datos,
realizar clculos estadsticos y trabajar las pruebas para evaluar la precisin
y veracidad observadas. Se brinda una hoja de clculo para simplificar y
estandarizar los clculos estadsticos y pruebas para la precisin y veracidad
observadas.
pgina 233

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Este documento fue diseado para ser usado primariamente cuando un


mtodo ya establecido (validado por el fabricante) es inicialmente puesto
en funcionamiento en el laboratorio. Tambin puede ser empelado para
verificar el desempeo de un mtodo despus de la implementacin de una
accin correctiva posterior a una falla en una encuesta de un esquema de
evaluacin de la competencia.

Alcance y Definiciones
El EP 15 ha sido diseado para que los laboratorios verifiquen que sus mtodos
tienen un desempeo comparable al desempeo declarado por el fabricante en
sus especificaciones. Otros documentos de CLSI ofrecen lineamientos a los
fabricantes para establecer sus caractersticas de desempeo para precisin
(EP 5) [2] y veracidad (EP 9) [3].
El EP 15 brinda un protocolo y anlisis de datos para verificar las especificaciones de desempeo del fabricante para repetibilidad, precisin intra
laboratorio y veracidad. Estas caractersticas de desempeo estn definidas en
el EP 15 de la siguiente forma:
Repetibilidad (de los resultados de una medicin): Proximidad
o acuerdo entre los resultados de mediciones sucesivas del mismo
mensurando llevadas a cabo bajo las mismas condiciones de medicin.
NOTA: Formalmente se empleaba el trmino de precisin intra corrida
o intra serie.
Condiciones de Repetibilidad: Condiciones a partir de las cuales
resultados independientes de un ensayo son obtenidos con el mismo
mtodo sobre el mismo material en el mismo laboratorio por el mismo
operador usando el mismo equipo en un perodo corto de tiempo.
Precisin Intra laboratorio: Precisin obtenida en un perodo
determinado de tiempo; operadores, calibracin y lotes de reactivos pueden
variar dentro del mismo laboratorio y usando el mismo equipo. NOTA:
Formalmente se utilizaba el trmino de precisin total.
Veracidad (de una medicin): Proximidad o acuerdo entre el valor
promedio obtenido a partir de una serie de resultados obtenidos sobre el
mismo material y un valor de referencia aceptado. NOTA: La medida de
la veracidad se expresa usualmente en trminos de sesgo.
El EP 15 describe tres protocolos: uno para precisin basado en el anlisis
de tres replicados sobre un material de control durante cinco das; otro para
veracidad basado en el anlisis de 20 especmenes de pacientes; y un tercer
protocolo de veracidad basado en el anlisis, por lo menos, de dos materiales de
referencia con valores verdaderos asignados.
pgina 234

Westgard QC, Inc., Copyright 2013

EP 15 Protocolo de Precisin
Se especifica un perodo de familiarizacin para aprender a operar el sistema
analtico, incluyendo calibracin, procedimientos de mantenimiento y
procedimientos de monitoreo (control estadstico interno de la calidad). Los
procedimientos de control de la calidad recomendados por el fabricante van a ser
usados para monitorear el desempeo del sistema analtico durante el desarrollo
del protocolo EP 15. Los materiales de control a utilizar en el protocolo deben
ser seleccionados considerando que sus concentraciones deben estar prximas
o representar niveles de decisin mdica. Las concentraciones de los materiales
de control tambin deben estar prximas a las concentraciones empleadas por
los fabricantes al momento de establecer sus especificaciones para precisin.
Si es posible, deberan ser los mismo materiales que empleo el fabricante al
momento de establecer sus especificaciones, o muy similares (matriz similar).
El protocolo de examen [1] es el siguiente:
1. Analizar una corrida por da con tres replicados por muestra para cada una
de las dos (o tres) concentraciones seleccionadas a diario durante cinco das.
2. Si una corrida debe ser rechazada a causa de los resultados del procedimiento
de control interno de la calidad o dificultades operativas, descartar los datos
y agregar una corrida adicional.
3. Incluir dentro de la corrida analtica del protocolo los controles diarios para
monitorear el desempeo del mtodo durante el protocolo.
4. Las muestras para veracidad deben ser incluidas dentro de la misma corrida.
5. Calibrar como especifica el fabricante en sus instrucciones para la operacin
rutinaria mtodo en el equipo. Si el fabricante menciona en sus especificaciones
de desempeo que los datos para precisin fueron obtenidos considerando
ciclos mltiples de calibracin, entonces el operador puede elegir calibrar
tambin durante el experimento.

pgina 235

Validacin Bsica de Mtodos, Edicin Wallace Coulter

EP 15 Ecuaciones para los Clculos de Precisin


S intra corrida (Sr), Varianza para las medias diarias (Sb2), S
intra laboratorio (Si), y grados de libertad efectivos (T).

Ecuacin 1

Ecuacin 2

Ecuacin 3

Ecuacin 4

Dnde D Nmero total de das,


N nmero total de replicados por da,

Xdi resultado del replicado i del da d,


Xd media de los resultados del da d,

X media de todos los resultados.

pgina 236

Westgard QC, Inc., Copyright 2013

Clculo de Datos. El EP 15 brinda estimaciones para repetibilidad (Sr) y precisin


intra laboratorio (Si). Las ecuaciones son algo complicadas, como puede verse en
la pgina 236. Los clculos implican determinara las varianzas intra corrida y
entre corridas, luego combinar las dos para conseguir la varianza total, la cual
es la base para calcular el desvo estndar intra laboratorio (Si). Recuerde que
la varianza es el cuadrado de la desviacin estndar, por lo tanto la precisin
intra laboratorio es la raz cuadrada de la varianza total del laboratorio. Hay
una hoja de trabajo en el EP 15 que lo orienta pasa a paso en estos clculos y
adems hay un ejemplo demostrando todos estos clculos.
El EP 15 hace referencia a una hoja de clculo comercial para realizar
estos clculos, pero la CLSI aun no ha lanzado esta herramienta de clculo
hasta comienzos del 2008. Por esta razn, abajo damos algunos lineamientos
para realizar clculos. Si usted tiene acceso a una herramienta de clculo para
EP 15, estos lineamientos no le sern necesarios y usted solamente necesita
comprender los resultados y como son los mismos interpretados para verificar
las especificaciones de desempeo de los fabricantes.
Clculos empleando Excel. Un ejemplo a partir de un conjunto de datos
simulados para EP 15 aparece en la prxima figura, la cual tambin describe
como fueron realizados esos clculos empleando una hoja de clculo de Excel.
Solo con el propsito de simplificar los clculos es conveniente ingresar los
tres replicados en una columna para cada uno de los cinco das. La media y la
desviacin estndar (S) para cada da puede ser calculada para cada da usando
las funciones PROMEDIO y DESVEST disponibles en Excel. La ltima columna
(G) muestra la varianza de la corrida, obtenida al elevar al cuadrado el S de la

pgina 237

Validacin Bsica de Mtodos, Edicin Wallace Coulter

corrida presente en la columna anterior (F).


Con la informacin de la figura de arriba, las estimaciones de repetibilidad y
precisin intra laboratorio pueden ser calculadas siguiendo los siguientes pasos:
Obtener la media promedio usando la funcin de Excel PROMEDIO para
los datos comprendidos entre las celdas E5 y E9 (141.333 mg/dL para este
ejemplo de EP 15 de glucosa).
Obtener la varianza intra corrida promedio empleando la funcin
PROMEDIO de Excel para los datos comprendidos entre las celdas G5 y
G9. (0.400 mg2/dL2 para este ejemplo)
Obtener la raz cuadrada de la varianza intra corrida promedio de la celda
E12 aplicando la funcin de Excel RAIZ. (0.632 mg/dL, que es el desvo
estndar intra corrida, es decir en condiciones de repetibilidad)
Calcular el desvo estndar entre corridas S usando la funcin de Excel
DESVEST para los datos comprendidos entre las celdas E5 y E9. (2.147
mg/dL para este ejemplo)
Elevar al cuadrado el valor obtenido en la celda E14 empleando la funcin
de Excel POTENCIA y as obtener la varianza entre corridas. (4.611 mg2/
dL2 para este ejemplo)
Calcular el radio entre la varianza intra corrida (Vr) celda E12 y la
varianza entre corridas (Vb) celda E15.(0.087 para este ejemplo)
Calcular la varianza total partir de las varianzas intra corrida (Vr) y la
varianza entre corridas(Vb) ; Nota: Esto se hace multiplicando la varianza
intra corrida (Vr de la celda E12) por un factor (n-1)/n (dnde n es el
nmero de replicados que se ingres en la celda B2) y luego sumando el
valor de la varianza entre corridas (Vb de la celda EP 15).(4.878 mg2/dL2
para este ejemplo)
Calcular el desvo estndar S intra laboratorio aplicando la funcin de
Excel RAIZ al valor obtenido en la celda E17.(2.209 mg/dL que es el desvo
estndar intra laboratorio)
Calcular el coeficiente de variacin intra laboratorio CV dividiendo el
valor del desvo estndar intra laboratorio obtenido en la celda E18 por
la media obtenida en la celda E11, y multiplicando al nmero resultante
de ese cociente por 100. (1.563 % para este ejemplo)
El ejemplo de esta hoja de clculo fue configurado para un diseo de tres
replicados durante 5 das, no obstante ms replicados pueden ser aadidos
pgina 238

Westgard QC, Inc., Copyright 2013

insertando columnas despus de la Repeticin (Rep.) 3, columna D y ms das


pueden ser agregados insertando filas despus del Da 5 (fila 9). La insercin de
columnas y filas debe ser hecha de esta forma para asegurar que las ecuaciones
aplicadas a los datos siguen siendo vlidas.
Verificacin de las especificaciones de precisin: El EP 15 recomienda que
el valor de verificacin sea calculado para generar un lmite superior para la
especificacin declarada por el fabricante para precisin. Si el desvo estndar
S observado por el laboratorio es menor que el valor de verificacin, entonces la
especificacin del fabricante ha sido verificada. El valor de verificacin depende
del nmero de replicados (n), del nmero de das (D), de la varianza intra
corrida (Sr2, en condiciones de repetibilidad) y de la varianza entre corridas
(Sb2, varianza para las medias diarias). El procedimiento consiste en calcular
un parmetro llamado T, el cual representa los grados de libertad efectivos,
luego se busca en una tabla de doble entrada CHI CUADRADO en la fila
correspondiente al valor de T y en la columna correspondiente a la cantidad
de niveles de control empleados, el valor de C, luego se calcula el valor de
verificacin para la especificacin declarada por el fabricante (Sdeclarada) para
precisin de la siguiente forma:

Valor de Verificacin = Sdeclarada * C1/2/T1/2

El primer paso es calcular T de acuerdo a la ecuacin 4 (mostrada en un


grfico anterior). Esta ecuacin es confusa y difcil de implementar en una nica
celda en una hoja de clculo de Excel. Es por esto que se muestra un clculo
paso a paso en la hoja de clculo de Excel de la siguiente pgina:

pgina 239

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Esta hoja de clculo muestra el clculo de T para el EP 15 a partir de un


conjunto de datos ejemplo en la columna B, adems ilustra la gama de valores de
T que pueden ser obtenidos dependiendo del tamao relativo de las varianzas
intra corrida y entre corridas (B16, C16, D16, E16). Note que para simplificar
la interpretacin en la hoja de clculo, Vr representa la varianza intra corrida
(Sr2) y Vb representa la varianza entre corridas (Sb2).El EP 15 para el conjunto
de datos de la columna B da un valor de 4.47. Note que el rango de T puede
variar desde D-1, o 4, a n*D-1, o 14, como se muestra en los clculos adicionales
en las columnas C, D y E. Si la varianza intra corrida es pequea comprada con
la varianza entre corridas, entonces T ser bajo. Un valor bajo de T puede
representar a un mtodo automatizado que tiene una muy buena precisin intra corrida (repetibilidad), pero con variables de operacin que causan desvos
da a da lo que queda evidenciado en la varianza entre corridas. Un valor alto
de T puede representar a un instrumento de pie de cama que usa cartuchos
descartables para cada medicin. La varianza intra corrida puede ser grande
comprada con la varianza entre corridas, en este caso el valor de T ser grande.
Si la varianza entre corridas es cero 0, T da un valor de 10. Como T puede
variar tanto, ser necesario ir sobre los clculos confusos de arriba.
Una vez que el valor de T ha sido calculado, el valor de C puede ser hallado en la tabla de Puntos seleccionados de porcentaje para una distribucin Chi
cuadrado para diferente cantidad de niveles con el fin de brindar un porcentaje
de falso rechazo del 5 %, la cual puede ser encontrada al final de este captulo.
Para el conjunto de datos ejemplo del EP 15 el valor de T es 4.47 y se asume
que se trabaj con dos niveles de control. Si entramaos en la tabla en la columna
de 4 grados de libertad efectivos (fila 4) y en la columna que representa 2 niveles
de control (columna B) el valor de C es 11.14.
Con esto valores de C y T, podemos estimar el valor de verificacin
para la especificacin declarada por el fabricante (Sdeclarada) de la siguiente forma:

Valor de Verificacin = Sdeclarada * C1/2/T1/2

Para nuestro ejemplo de EP 15 el fabricante declar un S intra laboratorio de 2.00 mg/dl. Dado un valor de C de 11.14 y siendo T 4.47, sus races
cuadradas son 3.34 y 2.11 respectivamente.

Valor de Verificacin = 2.00 * 3.34/2.11 = 3.16 mg/dL

La estimacin del laboratorio para la precisin intra laboratorio es de 2.21


mg/dL, que es menor que 3.16 mg/dL, esto significa que los datos del laboratorio
verifican la especificacin declarada por el fabricante para precisin.

pgina 240

Westgard QC, Inc., Copyright 2013

Si bien el EP 15 recomienda verificar precisin en condiciones de repetibilidad y precisin intra laboratorio, ser suficiente verificar nicamente la
precisin intra laboratorio ya que es ms representativa para las condiciones
de operacin de rutina de los laboratorios.

EP 15 Protocolo para Veracidad empleando Muestras


de Pacientes
Es una prctica comn para validar el desempeo de un nuevo mtodo analizar
muestras de pacientes por el nuevo mtodo y el mtodo que est siendo
reemplazado. Se asume que los resultados del mtodo de comparacin (viejo)
son correctos y esta es la base sobre la cual los fabricantes establecen sus
especificaciones de desempeo para veracidad o sesgo. Es probable que esto
sea correcto cuando el nuevo mtodo es una actualizacin del mtodo previ o
del sistema analtico anterior. Si esto no es as la especificacin del fabricante
debe ser cuidadosamente inspeccionada para estar seguros de que el mtodo
de comparacin en el laboratorio y el empleado por el fabricante al momento de
establecer sus especificaciones son comparables en desempeo.
El siguiente es el protocolo recomendado:
1. Analizar 20 muestras cuyas concentraciones cubran el rango reportable
del mtodo evaluado;
2. Analizar muestras frescas en las mismas condiciones de operacin de
rutina en el laboratorio;
3. Medir de 5 a 7 muestras por da durante un perodo de 3 o 4 das por el
mtodo a evaluar y el mtodo de comparacin no dejando pasar ms de
4 horas en el procesamiento por uno y otro mtodo;
4. Evaluar los resultados del control estadstico interno de la calidad para
asegurar que el sistema analtico est trabajando de manera estable y
validar los resultados obtenidos;
5. Inspeccionar los datos comparados para identificar resultados discrepantes;
6. Calcular las diferencias entre los pares de datos y graficar esas diferencias
versus los valores obtenidos por el mtodo de comparacin para obtener
una visualizacin grfica de los datos;
7. Someter a los pares de datos a una prueba-t de datos apareados para
determinar la media de las diferencias entre mtodos (sesgo) as como
tambin la desviacin estndar de las diferencias (Sdif);
pgina 241

Validacin Bsica de Mtodos, Edicin Wallace Coulter

8. Calcular los lmites de confianza y/o verificacin para comparar el sesgo


observado con el declarado por el fabricante en sus especificaciones de
desempeo.

Clculo de Datos
Los clculos de la prueba-t para datos apareados son soportados por varios
programas de estadstica. El calculador de datos apareados descripto en el
Capitulo 7 realizar estos clculos y preparar un grfico de diferencias con los
resultados (Ver http://www.westgard.com/mvtools.html).
Clculos usando una hoja de clculo de Excel. Es fcil configurar estos clculos en una hoja de clculo de Excel, como se muestra a continuacin:

pgina 242

Westgard QC, Inc., Copyright 2013

La columna A puede ser empleada para colocar las identificaciones de las


muestras, los resultados del mtodo a evaluar se ingresan en la columna B y
los resultados del mtodo de comparacin se ingresan en la columna C. Las
diferencias entre los resultados del mtodo evaluado y el mtodo de comparacin se muestran en la columna D. Los promedios de los resultados del mtodo
evaluado y del mtodo de comparacin se muestran al final de las columnas
(199.0 para el mtodo evaluado y 196.5 para el mtodo de comparacin). La
diferencia entre esos dos promedios nos da un estimado del sesgo, el cual es de
2.50 mg/dL. El mismo estimado puede ser obtenido calculando el promedio de
las diferencias obtenidas en la columna D. La columna E muestra la diferencia
individual de cada par de datos menos el sesgo entre los mtodos (Yi Xi B).
La desviacin estndar de esa columna brinda un estimado del desvo estndar
de las diferencias Sdif.
Se puede calcular un intervalo de confianza para el Sesgo observado de 2.50
mg/dL de la siguiente forma:

Lmite superior = Sesgo + tcrtico * Sdif./(N1/2)

Lmite inferior = Sesgo - tcrtico * Sdif./(N1/2)


dnde el sesgo calculado a partir de los datos del ejemplo es de 2.50 mg/dL,
tcrtico para N-1 o 19 grados de libertad y un p=0.01 es de 2.861, como podemos
encontrar en la tabla-t al final de este captulo, Sdif ha sido calcula con un valor
de 4.33 mg/dL, y N es de 20 apara el protocolo EP 15. El lmite superior es de
5.27 mg/dL y el lmite inferior es de -0.27 mg/dL, como podemos ver en la hoja
de clculo.
Si la especificacin de desempeo del fabricante para el Sesgo es de 2.00
mg/dL, los lmites de verificacin para la especificacin del fabricante pueden
ser calculados de la misma manera, lo cual dar unos lmites de verificacin
de 4.77 mg/dL a -0.77 mg/dL como podemos ver en la hoja de clculo. Dado que
el sesgo observado de 2.50 mg/dL cae dentro de los lmites de verificacin de
la especificacin declarada por el fabricante, los datos verifican dicha especificacin. Note que los lmites de confianza se superponen a la especificacin del
fabricante, por lo tanto esto tambin verifica que los datos son consistentes con
las especificaciones del fabricante.
Tambin es posible emplear las funciones de Excel para efectuar grficos y
preparar as el grfico de diferencias como vemos en la figura abajo:

pgina 243

Validacin Bsica de Mtodos, Edicin Wallace Coulter

En este grfico la lnea solida representa cero diferencias y la lnea punteada representa el sesgo observado de 2.50 mg/dL.

pgina 244

Westgard QC, Inc., Copyright 2013

EP 15 Protocolo para Veracidad empleando Materiales


de Referencia
El EP 15 brinda una segunda aproximacin para verificar la veracidad de un
mtodo-el anlisis de materiales de referencia con valores asignados. Estos
materiales deben ser cuidadosamente seleccionados considerando su conveniencia
de uso en mtodos de anlisis clnicos y sistemas analticos. Los materiales
recomendaos incluyen los siguientes:
Materiales certificados de referencia (CRM, por sus siglas en Ingls)
disponibles para algunos analitos en E.U.A. en el NIST National
Institute of Standards and Technology (Instituto Nacional de Estndares
y Tecnologa);
Materiales de referencia pertenecientes a esquemas de evaluacin de la
competencia con valores asignados;
Materiales provistos por fabricantes con valores asignados;
Materiales empleados en programas de evaluacin externa de la calidad;
Materiales provistos por terceras partes que tienen valores asignados a
travs de su anlisis en distintos laboratorios;
Materiales estndar que pueden ser preparados a concentraciones
conocidas.
El EP 15 recomienda que se seleccionen por lo menos dos materiales que
representen concentraciones prximas a un niveles de decisin mdica bajo y
a un nivel de decisin mdica del rango reportable del mtodo. Los materiales deberan ser preparados de acuerdo a las recomendaciones del fabricante,
analizados por duplicado durante 3 o 5 corridas, luego se debe calcular media y
desvo estndar junto con los lmites de confianza para ayudar a la verificacin
del valor asignado.

pgina 245

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Clculo de Datos
Un conjunto de datos provistos a manera de ejemplo estn disponibles en el EP
15 y se muestran en la hoja de clculo de Excel abajo:

La media y el desvo estndar se calculan con las funciones de Excel PROMEDIO y DESVEST, luego el error estndar de la media se calcula teniendo
en cuanta las 10 mediciones efectuadas. El valor-t crtico para N-1 grados de
libertad y una p=0.010 es 3.25, el cual puede ser hallado en la tabla-t al final
de este captulo. El intervalo de confianza del 95% calculado va de 36.7 a 38.7
mg/dL, este intervalo no incluye al valor asignado de 40.0 mg/dL; por lo tanto
la veracidad no ha sido demostrada a partir de estos datos experimentales.
El EP 15 recomienda considerar la incertidumbre del valor verdadero
asignado combinando la varianza (Sa2) con la incertidumbre de la medicin
del experimento realizado. Esto se logra sumando las dos varianzas y luego
aplicando la RAIZ cuadrada a las varianzas combinadas. Si bien los lmites de
verificacin van a ser algo ms grandes que los lmites de confianza, los lmites
pgina 246

Westgard QC, Inc., Copyright 2013

de confianza sern por lo general apropiados para evaluar si el desempeo observado demuestra la veracidad del mtodo. En el caso del ejemplo del EP 15,
la incertidumbre del valor verdadero asignado Sa tiene un valor de 0.15 mg/dL.
Cuando Sa se combina con la incertidumbre experimental, el S resultante es de
0.33 mg/dL. Por lo tanto los lmites de verificacin son ligeramente ms amplios
que los lmites de confianza-36.61 a 38.79 comprados con 36.73 a 38.68- y nuevamente la interpretacin es que la veracidad no ha sido demostrada a partir
de los datos experimentales.

Cul es el punto?
El muy probable que el protocolo EP 15 se convierta en una prctica estndar en
E.U.A. para verificar las especificaciones de precisin y veracidad declaradas por
los fabricantes. Para que este protocolo brinde una verificacin confiable de las
especificaciones declaradas por los fabricantes, los clculos deben ser llevados
a cabo de manera correcta. Los clculos para precisin son ms complejos que
los necesarios para el experimento de replicacin simple para el cul se toma
una nica medicin del material por cada da. El perodo ms corto de tiempo
propuesto por el EP 15 implica mediciones repetidas de los materiales cada da,
esto hace necesario combinar adecuadamente la varianza intra corrida con la
varianza entre corridas para obtener una estimacin confiable del desvo estndar
intra laboratorio. El protocolo de veracidad a partir de muestras de pacientes es
el ms tradicional, empleando estadsticas de la prueba-t para datos apareados
y un grfico de diferencias. Sin embargo, el protocolo que utiliza materiales
de referencia con valores asignados va a necesitar un anlisis cuidadoso y la
comprensin del nuevo concepto de incertidumbre de la medicin. Esto ser
un paso en la direccin de la comprensin de los conceptos ISO de veracidad e
incertidumbre y las prcticas globales emergentes para caracterizar el desempeo
de un procedimiento de medida.

pgina 247

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Referencias
1. CLSI EP15-A2(e). User Verification of Performance for Precision and Trueness:
Approved Guideline Second Edition. Clinical and Laboratory Standards
Institute, Wayne PA, 2005.
2. CLSI EP5-A2. Method Comparison and Bias Estimation using Patient Samples.
Clinical and Laboratory Standards Institute, Wayne PA, 2002.
3. CLSI EP9-A2. Evaluation of Precision Performance of Quantitative
Measurement Methods. Clinical and Laboratory Standards Institute, Wayne
PA, 2004.

Puntos de porcentaje
seleccionados para
la distribucin Chicuadrado para un
nmero seleccionado
de niveles para dar una
tasa de falso rechazo
del 5%. (Tabla 1 del EP
15 A2 (e)).

pgina 248

Westgard QC, Inc., Copyright 2013

Valores crticos t para Probabilidades Seccionadas (p)


y Grados de Libertad Seleccionados (gl)

pgina 249

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 250

Westgard QC, Inc., Copyright 2013

20: Cmo pueden ser evaluadas las


especificaciones de desempeo declaradas
por los fabricantes en una escala Sigma?
Las regulaciones CLIA requieren que los laboratorios verifiquen que el desempeo
observado para un mtodo es consistente con las especificaciones de desempeo
declaradas por el fabricante. Adems los laboratorios deberan estar bien
asesorados para evaluar la calidad de los procesos de anlisis sobre la base de
esas especificaciones de desempeo as como tambin sobre la aceptabilidad de
estas especificaciones para el uso clnico previsto para el mtodo. Se puede calcular
una mtrica Sigma a partir de las especificaciones de desempeo declaradas por
el fabricante para precisin (S, CV) y exactitud (Sesgo, Veracidad) para brinda
una evaluacin objetiva de la calidad del mtodo en una escala Sigma y as
juzgar objetivamente sobre la aceptacin del mismo.

Objetivos:
Comprender el concepto Seis Sigma.
Aprender como calcular una mtrica Sigma a partir de la imprecisin, el
sesgo y el requisito de la calidad definido para el mtodo.
Establecer un vnculo entre la mtrica Sigma y la aceptabilidad del
desempeo del mtodo.

Materiales del captulo:


VM-Traduciendo las especificaciones de desempeo en una
mtrica Sigma, por James O Westgard, PhD, y Sten Westgard, MS

Cosas qu hacer:
Estudiar los materiales.
Revisar las aplicaciones de las mtricas Sigma en el sitio web de Westgard

pgina 251

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:

Cul es el vnculo que existe entre el Grfico de Decisin de Mtodo y


la mtrica Sigma?
Cul es la ecuacin para estimar la mtrica Sigma?
Cmo puede estimar la mtrica sigma a partir de las especificaciones de
desempeo declaradas por el fabricante?
Cul es el desempeo Sigma de un mtodo de colesterol para el cual la
precisin declarada por el fabricante es de 2.0 % a una concentracin de
200 mg/dL y la exactitud declarada est dada por la siguiente ecuacin
de regresin Y=0.96X +6.0?

pgina 252

Westgard QC, Inc., Copyright 2013

Validacin de Mtodos:
Transformando las especificaciones de
desempeo en una mtrica Sigma

James O. Westgard, PhD y Sten Westgard, MS


El Grfico de Decisin de Mtodos que fue descripto en el captulo 16 brinda una
herramienta grfica para juzgar sobre el desempeo de un mtodo. El punto
operativo representa la precisin y el sesgo observado para el mtodo, el cual es
comprado con varios criterios para juzgar sobre la aceptacin del desempeo del
mismo. Todos esos criterios diferentes describen distintos niveles de la calidad
sobre la base de una escala Sigma, por ejemplo un mtodo que satisface el
criterio TE = Sesgo + 6 DE alcanza el nivel de la calidad 6 sigma, el cual es el
objetivo mximo de la calidad de la clase mundial world class, un mtodo que
satisface el criterio TE= Sesgo + 3 DE alcanza la mnima calidad requerida
para un proceso de produccin.

Las especificaciones de desempeo declaradas por el fabricante para
precisin y sesgo pueden ser convertidas directamente en una mtrica Sigma
para determinar la aceptabilidad del mtodo-para responder a la pregunta, Es
este mtodo lo suficientemente bueno?

Una introduccin terriblemente corta a Seis Sigma


Para poder comprender la relacin entre los datos de validacin de mtodos
y Seis Sigma, nosotros necesitamos hacer una introduccin a los conceptos y
clculos de Seis Sigma. Esto representa un pequeo problema ya que por lo menos
esto es un asunto de un libro entero. De hecho nosotros hemos escrito un libro
completo sobre el tema: Seis Sigma CC Diseo y Control [1]. Por lo tanto todo
lo que nosotros podemos ofrecer en este pequeo espacio, prximo al final del
libro, es un perfil resumido de Seis Sigma. Debera ser suficiente para ayudarlo
a usted, pero tenga en mente que elementos y conceptos ms profundos sobre
Seis Sigma que los que nosotros podemos discutir ac.

Seis Sigma es uno de los sistemas de gestin de la calidad ms populares. Pero los conceptos de Seis Sigma estn disponibles desde hace mucho
tiempo. Las mtricas Sigma son realmente la evolucin de la Gestin Total de
la Calidad con una evaluacin ms cuantitativa del desempeo de los procesos
y metas claras para la mejora de la calidad.

pgina 253

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Los principios de Seis Sigma se remontan al enfoque que Motorola le aplico


a la Gestin de la Calidad total antes del cambio de siglo. Motorola estableci
una meta: 6 Sigmas o desviaciones estndar de la variacin propia del
procesos debera ajustarse (no superar) a los lmites de tolerancia del
proceso, de aqu bien el nombre Seis Sigma.
El poder de Seis Sigma reside en permitir una medicin universal del
desempeo de un proceso en una escala Sigma para facilitar una evaluacin
comparativa en la industria. La metodologa Seis Sigma puede ser aplicada siempre que las salidas de un proceso puedan ser medidas. Para muchos procesos
las salidas pobres pueden ser contadas como errores o defectos, expresadas
como defectos por milln de oportunidades (DPM), y luego convertidas en una
mtrica Sigma empleando una tabla estandarizada disponible en cualquier
texto de Seis Sigma [1]. En este tiempo dnde las salidas de los procesos son
de gran inters para el mbito de la salud, Seis Sigma brinda una metodologa
para describir desempeo de una manera cuantitativa en trminos que son
fciles de comprender.

Dos modelos para medir el desempeo de un proceso


La Gestin de la Calidad Seis Sigma brinda una meta general para el desempeo
de los procesos -Seis Sigmas de la variacin de un proceso deberan ajustarse
dentro de los lmites de tolerancia o requisitos de la calidad del producto. Dada
esta meta, es importante medir el desempeo del proceso para determinar si
el mismo necesita ser mejorado. Hay dos metodologas distintas. Una se basa
el conteo de los defectos producidos por un proceso (medida de las salidas),
y la otra basada en medir la variabilidad del proceso de manera directa (una
medicin predictiva).
La primera alternativa (inspeccionar las salidas) es ampliamente aplicada en la industria y en el mbito de la salud y depende del conteo del nmero
de defectos a la salida del proceso, estimar la tasa de defectos por milln de
oportunidades (DPM), y luego convertir DPM a una mtrica Sigma usando
una tabla de conversin estndar. Cada vez que estimemos una tasa de error,
nosotros podemos usar esta metodologa para convertir la tasa de error en una
mtrica Sigma. Esta primera metodologa es fcilmente aplicable a procesos de
laboratorio pre y pos analticos.
La primera aplicacin de la mtrica Sigma a datos de laboratorio fue publicada en el 2000 por Nevalainen y colaboradores [1]. Los autores utilizaron
datos de tres laboratorios individuales, as como tambin los resmenes de
desempeo obtenidos a partir de entre 300 a 500 laboratorios del programa
Q-Probe de CAP (College of American Pathologist s). El trabajo original brinda
informacin sobre el tamao de muestra empleado y el nmero de defectos o
pgina 254

Westgard QC, Inc., Copyright 2013

errores hallados, los cuales fueron convertidos a errores porcentuales y defectos


por milln de oportunidades. Los valores en DPM para indicadores de la calidad
representativos tomados del Q-Probe son convertidos a la mtrica Sigma en la
tabla de abajo.
Indicador de la Calidad del Esquema Q-Probe % de Error

DPM

Sigma*

Exactitud de la solicitud mdica

1.8 %

18,000

3.60

Pruebas pedidas por duplicado

1.52

15,200

3.65

Error de identificacin de brazalete

0.65

6,500

4.00

Demoras en el informe de TDM

24.4

244,000

2.20

Aceptabilidad de especmenes en hematologa

0.38

3,800

4.15

Aceptabilidad de especmenes en qumica clnica

0.30

3,000

4.25

Registro de muestras de patologa


durante las cirugas

3.4

34,000

3.30

Adecuacin de los especmenes de citologa

7.32

73,700

2.95

Esquemas de evaluacin
de la competencia del laboratorio

0.9

9,000

3.85

Discordancia en el diagnstico
de la muestras congeladas de patologa

1.7

17,000

3.60

Frotis de PAP de tamizaje falsos negativo

2.4

24,000

3.45

Informe de errores

0.0477

477

4.80

* Conversin empleando una tabla con una tolerancia de desvo de 1.5DE.

Este modelo que mide salidas puede ser virtualmente aplicado a cualquier
proceso. Varios de los errores observados para estos procesos estn en un rango
de 0.3 % a 3.0 %, lo que se traduce tpicamente a una mtrica Sigma en un rango
de 4 a 3. El desempeo analtico, estimado a partir de la participacin en los
esquemas de evaluacin de la competencia tiene apenas un sigma de 3.85. El
mejor proceso es Informe de errores con una mtrica Sigma de 4.80. Ninguno
de los procesos evaluados cumple con la meta del desempeo Seis Sigma. La
mtrica de desempeo sigma promedio de todos estos procesos es de 3.65.
Solo a efectos de hacer una evaluacin comparativa, Nevalainen cito los
siguientes nmeros. El manejo de equipaje de una aerolnea muestra una tasa
de error de 0.4 %, o 4000 DPM, lo cual representa un 4.15 considerando la
mtrica Sigma. La seguridad en las aerolneas (del sistema normal de causas
aleatorias, no causas asignables, tales como secuestros terroristas) tiene un
ndice de fatalidad muy bajo de 0.43 muertes por milln de pasajeros por milla,
lo cual es mejor an que la meta de desempeo de 6 Sigmas para una calidad
de clase mundial world class. En la industria, el desempeo mnimo aceptable
para un proceso de produccin se establece por lo general en 3.0 Sigmas. Por lo
general se espera que los procesos de negocios tengan un desempeo de alredpgina 255

Validacin Bsica de Mtodos, Edicin Wallace Coulter

edor de 4.0 Sigmas. Como fue observado por Nevalaine, los procesos tpicos del
laboratorio tienen un desempeo sigma similar al desempeo promedio de los
procesos de negocios. Solo para considerar un ejemplo diferente, la produccin
de neumticos de Firestone-los neumticos de las SUV que reventaron causaron cerca de 2000 accidentes de auto con 100 muertes-tena un desempeo de
5 Sigmas, que es mejor que cualquiera de los desempeos de los procesos de
laboratorio evaluados por Nevalaine.
Los hallazgos de Nevalaine no fueron una aberracin; la mayora de los
procesos de laboratorio no estn siquiera cerca de tener un desempeo Seis
Sigma. Usted puede considerar esto muy fuerte, pero tasas de error de 1% a
2% son consideradas excelentes para procesos en el mbito de la salud. Esas
tasas de error corresponden a 10,000 y 20,000 DPM respectivamente o un nivel
de desempeo Sigma de 3.8 a 3.6. Actualmente deberamos estar apuntando a
tasas de error de 0,1 % (4.6 Sigmas) a 0,01% (5.2 Sigmas) y por ultimo a 0,001
% (5.8 Sigmas).
Es difcil emplear esta metodologa de conteo de defectos para determinar
el desempeo Sigma para los exmenes de laboratorio. El problema reside en
establecer que es un error en un resultado de laboratorio: Es el resultado un
error cuando difiere del valor verdadero de lo que se pretende medir? (y cmo
determina usted cual es el valor verdadero de lo que pretende medir en la muestra del paciente si usted la mide solamente una vez?) o Es el resultado un error
cuando el desempeo del examen excede los 2 DE o cuando excede algn otro
lmite del control o excede el error clnico tolerable? o es el resultado un defecto
si causa un error en la decisin mdica, o si el resultado causa alguna fatalidad?.
La mayora de los laboratorios, si emplean como es usual como lmite para sus
controles 2 DE, estaran determinando errneamente el conteo de defectos y por
ende obtendran un valor incorrecto para la mtrica Sigma del proceso analtico
que estn evaluando. Considerando estas dificultades, no vamos a usar este
modelo con los datos provenientes de la validacin de mtodos.
La segunda metodologa (medir variacin) es actualmente mucho ms simple
y se vincula de una manera natural con los datos provenientes de la validacin
de mtodos. Esta metodologa depende de definir los requisitos de la calidad y
la variacin del procedimiento de medida. Ya que esto es lo que se hace exactamente durante los estudios de validacin, toda la estadstica y datos obtenidos
durante la validacin del mtodo pueden ser inmediatamente utilizados para
el clculo de la mtrica Sigma.

pgina 256

Westgard QC, Inc., Copyright 2013

Evaluacin de la calidad de los procesos analticos


Es muy fcil acceder al desempeo de un procedimiento de medida analtico en
una escala Sigma. Los niveles mximos de tolerancia (Requisitos de la Calidad)
pueden ser tomados a partir de los criterios que CLIA aplica a sus esquemas
de evaluacin de la competencia o tambin pueden ser seleccionados a partir
de alguna otra fuente adecuada; la variacin del proceso y el sesgo pueden
ser estimados a partir de los experimentos de validacin de mtodos, datos de
esquemas de comparacin de grupo par (peer group Esquemas Interlaboratorio),
resultados de esquemas de evaluacin externa de la calidad o evaluacin de la
competencia, o inclusive datos obtenidos del control estadstico interno de la
calidad de rutina.
Esto es lo que usted necesita de un estudio de validacin de mtodos:
Resultados de los estudios de replicacin (CV).
Resultados de los estudios de comparacin de mtodos (pendiente,
intercepto-Y e inclusive r).
Esto es lo que usted necesita a partir de otras fuentes:
Requisitos de la Calidad (CLIA, Clnicos, Biolgicos u otra fuente).
Niveles de Decisin Mdica (para determinar concentraciones crticas).
Para calcular la mtrica Sigma, debe tomar el requisito de la calidad seleccionado, restarle el sesgo observado para su mtodo y dividir al nmero resultante
por el DE o CV de su mtodo como se ve en la siguiente ecuacin:
Sigma del Mtodo = (Requisito de la Calidad Sesgo del Mtodo)

CV del Mtodo
El primer paso para estimar el Sigma del Mtodo es obtener las estimaciones
de Sesgo y precisin (CV) del/los nivel/es de decisin mdica crticos escogido/s
(Xc). Por lo general los fabricantes ofrecen especificaciones de desempeo para
precisin estimadas a 2 o 3 concentraciones diferentes. Si alguna de estas concentraciones esta prxima al nivel de decisin de interese, entonces usar el DE
o CV obtenido por el fabricante para esa concentracin. En algunos casos es
necesario promediar los coeficientes de variacin si el nivel de decisin medica
de inters est entre las concentraciones de los materiales evaluados por los
fabricantes; otras veces puede ser apropiado interpolar entre los coeficientes de
variacin declarados por los fabricantes para las concentraciones que el evalu.
Es mejor trabajar con coeficientes de variacin (CV) porque el desvo estndar
cambia notoriamente con las concentraciones y el coeficiente de variacin no
pgina 257

Validacin Bsica de Mtodos, Edicin Wallace Coulter

tanto. Adems la mayora de los requisitos de la calidad provistos por CLIA para
desempeo aceptable estn expresados en porcentaje.
Los fabricantes presentan por lo general las especificaciones de desempeo
para sesgo con el formato de la ecuacin de una lnea recta obtenida a partir de
una regresin, es decir, Yc = a + bXc, dnde Xc representa el nivel de decisin de
inters, Yc es la mejor estimacin para el valor observado para el nuevo mtodo,
y a y b son el intercepto-Y y la pendiente que han sido calculados a partir
de los datos del experimento de comparacin de mtodos llevado a cabo por el
fabricante. Calcular Yc, luego tomar la diferencia entre Yc y Xc como una estimacin del sesgo, luego dividir por Xc y multiplicar por 100 para tener el sesgo
expresado en porcentaje. Note que todos los componentes de la ecuacin de la
mtrica Sigma deben estar expresados en las mismas unidades (Requisito de la
Calidad, CV y Sesgo), ya sea unidades de concentracin o porcentaje.

Ejemplo de Clculo de la Mtrica Sigma


Tomemos un ejemplo para Colesterol. Para este ejemplo el fabricante ha
establecido sus especificaciones a partir de un experimento en el cual dos niveles
de control han sido analizados una vez por da durante 30 das:
Especificacin para precisin total:
1.9 % para una concentracin de 106.7 mg/dL
1.6 % para una concentracin de 238.7 mg/dL
Para exactitud el fabricante ha realizado un estudio de comparacin de
mtodos que incluye 80 especmenes de pacientes que han sido analizados por
el nuevo mtodo y el sistema analtico de la generacin anterior (como mtodo
de comparacin).
Especificacin para Sesgo
Y = 1.46 + 0.99 X
Requisito de la Calidad
CLIA: 10 %
Ya que los niveles de decisin mdica importante para colesterol son de
200 y 240 mg/dL, comenzaremos con el nivel de decisin de 240 mg/dL. Para
estimar el sesgo a 240 mg/dL, Yc = 1.46 + 0.99 (240) = 1.46 + 237.6 = 239.1 mg/
dL. El sesgo es la diferencia observada entre 239.1 y 240 mg/dL o sea 0.9 mg/dL
(en valor absoluto), y expresada en porcentaje, ((0.9/240) X 100), 0.4 %. Ya que
la imprecisin para 238.7 mg/dL es de 1.6 % y la concentracin evaluada por el
pgina 258

Westgard QC, Inc., Copyright 2013

fabricante (238.7) es muy prxima al nivel de decisin mdica evaluado (240),


podemos emplear 1.6 % como estimado de CV.
Por lo tanto el sigma ser de: (10 % - 0.4 %) / 1.6 %; es un procedimiento
de medida 6.0 Sigmas al nivel de decisin mdica de 240 mg/dL.
Para estimar el sesgo a 200 mg/dL, Yc = 1.46 + 0.99 (200) = 1.46 + 198 =
199.5 mg/dL. El sesgo es la diferencia observada entre 199.5 y 200 mg/dL o sea
0.5 mg/dL (en valor absoluto), y expresada en porcentaje, ((0.5/200) X 100), 0.3
%. La precisin debera estar entre 1.9 % y 1.6 % ms cerca de 1.6 %, por lo
tanto tomaremos un valor de 1.7 % como nuestro estimado.
Por lo tanto el sigma ser de: (10 % - 0.3 %) / 1.7 %; es un procedimiento
de medida 5.7 Sigmas al nivel de decisin mdica de 200 mg/dL.
En este caso las mtricas Sigmas observadas para ambos niveles de decisin
mdica son prcticamente iguales, como era de esperarse ya que los niveles de
decisin mdica evaluados (200 y 240 mg/dL) no estn muy separados entre s.

Algunos lineamientos generales para el clculo de la


mtrica sigma
1. Identifique las especificaciones de desempeo declaradas por el fabricante para
precisin y sesgo; preste mucha atencin al identificar las concentraciones
a las cuales las especificaciones fueron obtenidas.
2. Defina los niveles de decisin mdica de inters para usted y su laboratorio.
3. Defina el requisito de la calidad para cada uno de los niveles de decisin de
inters.
4. Use el CV el coeficiente de variacin declarado por el fabricante obtenido a
la concentracin ms prxima al nivel de inters, o promedie los CVs si el
nivel de decisin est entre las concentraciones para las cuales el fabricante
estableci sus especificaciones, o interpole entre los CVs declarados por el
fabricante si su nivel de decisin de interese est prximo a uno de los CVs
enmarcados por el fabricante. Para estar ms seguro tambin puede usar
el CV ms alto declarado por el fabricante.
5. Estime el sesgo al/los nivel/es de decisin de inters.
6. Calcule la mtrica Sigma.
7. Si ha trabajado con dos o ms niveles de decisin diferentes, compare las
mtricas sigma para determinar cul es ms crtica para el cuidado de la
salud del paciente.
pgina 259

Validacin Bsica de Mtodos, Edicin Wallace Coulter

El criterio cientfico va a jugar un rol importante al momento de seleccionar


los nmeros correctos para incluir en los clculos. Los fabricante por lo general
establecen especificaciones para la precisin intra corrida (repetibilidad) y para
precisin total (intra laboratorio). El uso de los CVs obtenidos para precisin
total nos va a dar Sigmas ms bajos, pero esta situacin ser ms representativa
del desempeo en el laboratorio a largo plazo. Los fabricantes pueden brindar
especificaciones para sesgo obtenidas por comparacin con dos o ms mtodos.
Usted debera seleccionar el mtodo de comparacin ms parecido a su propio
mtodo.

El poder de la mtrica Sigma


La mtrica Sigma establece con un solo nmero el vnculo entre el requisito de
la calidad, la precisin y el sesgo de un mtodo. Establece una escala para el
desempeo de un mtodo independientemente de que mtodo estemos hablando.
Esta escala es una escala de calidad que ha sido bien establecida en la industria
a travs de estudios de evaluacin comparativa- 6.0 Sigmas es la meta, 3.0
Sigmas es el mnimo desempeo aceptable.
Usted puede determinar facialmente el desempeo que es deseable para
un mtodo. Por ejemplo, si el criterio para desempeo aceptable de CLIA para
un mtodo es del 10 %, el mtodo debe tener un CV de 1.7 % y un sesgo de 0.0
% para lograr un desempeo sigma de 6.0 [(10.0-0.0)/1.7]= 6.0. Uno se pregunta
cmo un grupo de expertos como los de (NCEP) National Cholesterol Education
Program aparece con guas que establecen un CV mximo aceptable del 3.0
% y un sesgo mximo aceptable del 3.0 % para el colesterol. Si consideramos el
requisito de la calidad de CLIA para colesterol del 10 %, un mtodo de colesterol
que cumple con esta gua tendr un desempeo sigma de 2.33 [(10-3)/3]. En
cualquier otro tipo de industria, un proceso con un desempeo sigma menor de
3.0 no sera considerado para uso de rutina o de produccin. Con este ejemplo,
usted puede ver como los conceptos y principios de Seis Sigma pueden impactar
sobre la visin que tenemos del desempeo de un mtodo y as cambiar nuestras
metas y especificaciones para los mtodos analticos.

pgina 260

Westgard QC, Inc., Copyright 2013

Evaluacin de la calidad para los procesos vinculados


a la salud
Dada la universalidad de la aplicacin de esta metodologa Seis Sigma, podemos
esperar que el pblico en algn momento nos demande saber cul es la calidad
de los procesos vinculados a la salud en una escala sigma. Si no hacemos esta
traduccin, otros tomaran las tasas de error y las convertirn en una mtrica
Sigma. El pblico en general pronto tendr una mejor compresin de la calidad
vinculada a los procesos de la salud!
Le gustara a usted explicarle a un paciente por que los procesos vinculados
a la salud son peores que los procesos de manejo de equipaje de las aerolneas?
Probablemente no. An no se ha comprendido como evaluar a la calidad de
nuestros procesos y como establecer metas para la mejora de estos procesos. Seis
Sigma cambia esto. Los laboratorios son afortunados porque estos conceptos
pueden ser fcilmente aplicados y los datos necesarios para efectuar los clculos
ya estn disponibles.
Este captulo aborda someramente la superficie de los conceptos, ventajas
y aplicaciones de Seis Sigma. Las mtricas Sigma son una extensin lgica de
la validacin de mtodos y hacen un uso prctico de los datos de la validacin.
Los clculos son simples y los resultados poderosos.
Para obtener ms informacin, consulte Six Sigma QC Design and Control,
o visite la web de Westgard para acceder a listados de aplicaciones y lecciones
sobre Seis Sigma: http://www.westgard.com/archives.htm

pgina 261

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Referencias
1. Westgard JO. Six Sigma Quality Design and Control: Desirable precision
and requisite QC for laboratory testing processes. Second Edition. Madison,
WI:Westgard QC, Inc., 2007.
2. Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory
performance on quality indicators with the six sigma scale. Arch Pathol Lab
Med 2000;124:516-519.

pgina 262

Westgard QC, Inc., Copyright 2013

21: Qu impacto tendr ISO en la gestin de la


calidad analtica?
Este captulo considera un enfoque general sobre la gestin de la calidad
analtica de acuerdo a las recomendaciones de ISO International Standards
Organization volcadas en la norma 15189 para laboratorios clnicos. Teniendo
en cuenta guas de Metrologa para laboratorios, ISO enfatiza los conceptos de
veracidad e incertidumbre. Es muy importante estar al tanto de los conceptos
de esta norma, aunque tambin debemos considerar las fortalezas y debilidades
de este modelo en comparacin a los modelos tradicionales que se basan en un
esquema de errores.

Objetivos:
Revisar los Requisitos de ISO para la validacin y verificacin de mtodos.
Identificar y comprender los conceptos de ISO de veracidad, trazabilidad
y estimacin de la incertidumbre de la medicin.
Comparar estos conceptos metrolgicos con los conceptos de error que
han sido diseados para ser empleados en el laboratorio clnico.
Evaluar el valor prctico que aporta la utilizacin del modelo de error en
la gestin de la calidad analtica en el entorno del laboratorio clnico.
Identificar cual ser el impacto que ISO va a tener sobre los laboratorios
de E.U.A. en el futuro.

Materiales del captulo:


Conceptos sobre la calidad Es mejor estar con incertidumbre
que con error?, por James O Westgard, PhD

Cosas qu hacer:
Estudiar los materiales.
Revisar los puntos 5.5 y 5.6 de la Norma ISO 15189 si la tiene disponible.

pgina 263

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Preguntas de Autoevaluacin:
Cul es el significado de las siglas ISO?

A qu concepto se aproxima ms veracidad: precisin, exactitud o error


total?
A qu concepto se aproxima ms incertidumbre: precisin, exactitud
o error total?
Por qu es importante la trazabilidad?
Cules son las ventajas que aportan los conceptos de veracidad e
incertidumbre?
Cules son las ventajas de aplicar el modelo de error tradicional en el
laboratorio clnico?

pgina 264

Westgard QC, Inc., Copyright 2013

Conceptos sobre la Calidad - Es mejor estar


con incertidumbre que con error?

James O. Westgard, PhD y Sten Westgard, MS


A partir de la publicacin de la Norma ISO 15189 en el ao 2003, hay disponible
un estndar general de la calidad para ser aplicado en los laboratorios clnicos
[1]. Anteriormente algunos estndares de ISO fueron aplicados en el entorno
del laboratorio clnico aunque no eran especficos sino de aplicacin general, por
ejemplo la serie ISO 9000 para Sistemas de Gestin de la Calidad, o aplicables
para laboratorios de Metrologa, por ejemplo la Norma ISO 17025 Requisitos
Generales para la Competencia de Laboratorios de Prueba y Calibracin, la cual
enfatiza los conceptos de veracidad e incertidumbre de la medicin [GUM, 2].
Con la aparicin de la ISO 15189, los conceptos y terminologas que se aplicaban a los laboratorios de prueba y calibracin, es decir conceptos metrolgicos,
se aplicaron a los laboratorios clnicos. Ahora nosotros vivimos en un mundo de
veracidad, exactitud, precisin e incertidumbre de medida. Los nuevos documentos de CLSI demuestran que esta terminologa est siendo aplicada en los
laboratorios de E.U.A., por ejemplo la gua EP15-A2 esta titulada como Verificacin del usuario de la caractersticas de desempeo de Precisin y Veracidad
[3]. Adicionalmente la CLSI tiene un proyecto en desarrollo (C51) para generar
un documento sobre Expresin de la Incertidumbre de la Medicin en el Laboratorio Clnico.

Lineamientos de la Norma ISO 15189 para la


Validacin de Mtodos y el Control de la Calidad
La Norma ISO 15189 es un estndar de alto nivel que brinda lineamientos
generales sobre lo que debe ser hecho, pero no especifica mucho como hacerlo.
Los lineamientos para la validacin de mtodos y control de la calidad se
encuentran en el apartado 5. Las citas que ac realizamos provienen de un
documento borrador del 2007 - 2da edicin que est prximo a ser editado pero
que al momento de publicar este libro no es an oficial. Si bien pueden aparecer
algunos cambios en la edicin final de la Norma ISO 15189:2007, la intencin
es brindarle la mejor informacin disponible al momento de publicar el libro.
Se aconseja a los lectores consulten la versin final del documento que ser
publicada supuestamente para fines del 2008.
5.5.1.2 Validacin y/o Verificacin de procedimientos de examen.
Todos los procedimientos de examen deben ser validados para asegurar, brindando
evidencia objetiva, que las especificaciones de desempeo del procedimiento
pgina 265

Validacin Bsica de Mtodos, Edicin Wallace Coulter

se vinculan y son aptas para el uso previsto del procedimiento de examen.


Para aquellos procedimientos que han sido validados por el desarrollador del
mtodo (por ejemplo, el fabricante o autor de un mtodo publicado), el laboratorio
debe obtener informacin del desarrollador del mtodo para confirmar que las
especificaciones de desempeo del mtodo son apropiadas para el uso previsto
del mismo.
Nota 1. La informacin tambin puede ser empleada, si es necesario, para
validar el mtodo para un uso diferente al previsto por el desarrollador.
Nota 2. Las especificaciones de desempeo del mtodo de examen incluyen:
Lmite de deteccin; lmite de cuantificacin; linealidad, sensibilidad; medicin
de la precisin, incluyendo medicin en condiciones de repetibilidad y en
condiciones de reproducibilidad; selectividad/especificidad, incluyendo sustancias
interferentes y robustez.
Nota 3. El laboratorio debe tener en cuenta la meta deseada para la medicin
de la incertidumbre considerando el uso previsto del procedimiento de examen.
5.5.1.3 Validacin de procedimientos de examen.
La validacin deber ser tan profunda como sea necesario para confirmar,
brindando evidencia objetiva, que los requisitos (especificaciones de desempeo)
para el uso previsto especfico del procedimiento de examen son cumplidos.
A continuacin vemos un listado de la informacin que debe ser registrada:
Identidad del mensurando, propsito del procedimiento de examen y metas
para su desempeo, principio del mtodo, requisitos de desempeo (ver la
Nota 2 arriba), tipo primario de muestra, requisitos de equipo y materiales,
procedimientos de calibracin, instrucciones paso a paso para llevar a cabo
el procedimiento de examen, procedimientos de control estadstico interno de
la calidad, interferencias, clculos, medicin de la incertidumbre, intervalos de
referencia, rango reportable, valores crticos y de alerta, interpretacin de la
prueba, precauciones de seguridad y fuentes potenciales de variacin.
Para cada estudio de validacin, el laboratorio debe registrar lo siguiente:
Criterios de aceptacin y rechazo, resultados obtenidos, procedimientos
de calibracin y control, anlisis de datos, caractersticas de desempeo
determinadas, comparacin de los resultados con otros mtodos y otros
laboratorios, factores que afectan los resultados, arrastre (cuando sea aplicable),
e interferencias o problemas de especificidad.

pgina 266

Westgard QC, Inc., Copyright 2013

5.5.1.3 Verificacin de procedimientos de examen.


Los procedimientos de examen de los desarrolladores que son empleados
sin modificaciones deben ser verificados para asegurar que cumplen con los
requisitos necesarios de los usuarios de acuerdo a su uso previsto. El proceso
de verificacin debe confirmar, brindando evidencia objetiva, que los requisitos
especficos de desempeo son cumplidos. El proceso de verificacin debe ser
tan profundo como lo requiera el uso previsto del procedimiento de examen. Las
especificaciones de desempeo estudiadas durante el proceso de verificacin
deben ser aquellas que sean relevantes al uso previsto del mismo. El laboratorio
debe verificar la instalacin del o los equipos y operacin del procedimiento de
examen.
Para mtodos cuantitativos,
se debe verificar que los siguientes parmetros de desempeo tengan un
comportamiento semejante al obtenido por el fabricante al momento de su
validacin: medicin de la precisin, incluyendo precisin en condiciones de
repetibilidad y reproducibilidad; acuerdo a los resultados de los pacientes con
respecto a mtodos previos o de referencia; recuperacin del mensurando a
lo largo del rango de medicin analtico; arrastre para altas concentraciones
cuando sea aplicable; interferencias y perdidas de especificidad; intervalos de
referencia y puntos de corte (puntos de decisin clnica).
Para mtodos cualitativos,
se deben verificar los siguientes parmetros de desempeo: precisin en
condiciones de reproducibilidad y repetibilidad para muestras por encima y por
debajo del valor de corte (positivas y negativas); acuerdo para los resultados
de los pacientes (sensibilidad y especificidad diagnstica); arrastre, cando sea
aplicable; interferencias y problemas de especificidad.
5.6.2.1 Programas de Control de la Calidad.
El laboratorio debe disear un programa de control de la calidad para cada
procedimiento de examen con la capacidad de detectar errores, monitorear el
desempeo del procedimiento de examen y verificar la calidad pretendida para
los resultados.
5.6.3 Medicin de la Incertidumbre.
Los laboratorios deben determinar la incertidumbre de medida de sus
procedimientos de medida con el propsito de interpretar los valores medidos.
Cuando se calcula la incertidumbre de medida, todos los componentes de la
incertidumbre que contribuyen de manera significativa a la incertidumbre de
la medicin deben ser tenidos en cuenta empleando un mtodo apropiado de
anlisis. El laboratorio debe tener los datos de incertidumbre de la medicin
pgina 267

Validacin Bsica de Mtodos, Edicin Wallace Coulter

de sus procedimientos de medida cuando le sea requerida por los usuarios de


sus servicios.
5.6.3.1 Calibracin de los sistemas de medida.
El laboratorio debe tener un programa para calibrar los sistemas de medicin que
est diseado y realizado para asegurar que los resultados tienen trazabilidad a
un material de referencia especifico o procedimiento de medicin de referencia
de alta jerarqua, preferiblemente al SI de unidades o por referencia a una
constante natural u otra referencia establecida. Cuando nada de esto sea posible
o pertinente, se deben aplicar otros medios para proporcionar confianza en los
resultados, incluyendo al menos los siguientes:
a) participacin en un programa adecuado de comparaciones
interlaboratorios;
b) uso de materiales de referencia adecuados, certificados para indicar la
caracterizacin del material;
c) anlisis o calibracin por otro procedimiento;
d) mediciones por cociente o basadas en relaciones de reciprocidad;
e) normas o mtodos de consentimiento mutuo que estn claramente
establecidos, especificados, caracterizados y mutuamente acordados por
todas las partes involucradas;
f) documentacin de declaraciones respecto de reactivos, procedimientos o
el sistema de anlisis cuando la trazabilidad la proporciona el proveedor
o el fabricante.
5.6.4 Verificando la comparabilidad metrolgica de los resultados.
Para aquellos anlisis realizados utilizando distintos procedimientos,
equipamientos, o en lugares diferentes, o todos stos, debe existir un mecanismo
definido para verificar la comparabilidad de los resultados a lo largo de intervalos
clnicamente apropiados. Tal verificacin se debe realizar en perodo de tiempos
definidos y apropiados a las caractersticas del procedimiento o el instrumento.

Uso previsto, Validacin y Verificacin


Los documentos ISO emplean una nomenclatura estandarizada que puede no
resultar completamente familiar a los cientficos del laboratorio. Por ejemplo, la
diferenciacin entre los conceptos de validacin y verificacin tiene que ver con
el uso previsto. Uso previsto, un trmino ampliamente empleado en las guas
ISO, no est explcitamente definido, pero est vinculado a la calidad requerida
para la aplicacin clnica prevista de la prueba de laboratorio. El trmino Uso
previsto puede estar representado por un error mximo permitido, tal como se
emplea el concepto en este libro. No obstante, tambin puede estar representado
pgina 268

Westgard QC, Inc., Copyright 2013

por un intervalo de decisin clnica, que es un tipo de requisito de la calidad


(ver captulo 2) que es una representacin ms concreta de la calidad clnica
requerida.
Ntese que el concepto de uso previsto aplica al diseo del procedimiento
de control estadstico interno de la calidad, especficamente cuando se menciona
verificar la calidad prevista de los resultados. Lineamientos sobre como disear
un esquema de control estadstico interno de la calidad sobre la base de la calidad
requerida para una prueba de laboratorio y la precisin y exactitud observada
para un mtodo pueden ser encontrados en nuestros libros Diseo y Control de la
Calidad Seis Sigma, y Asegurando la Calidad Correcta de la Manera Correcta.
De acuerdo a la Norma ISO 15189 se define validacin como la confirmacin, brindando evidencia objetiva, de que los requisitos especficos para un
uso previsto u aplicacin han sido cumplidos. Por otro lado, se define verificacin como la confirmacin, brindando evidencia objetiva, de que requisitos
especficos han sido cumplidos. En el contexto de este libro, cuando hablamos
de verificacin nos referimos a la confirmacin de las especificaciones de desempeo declaradas por el fabricante, como fue discutido en el captulo 19. Cuando
hablamos de validacin nos referimos a la comparacin de las caractersticas
de desempeo de un mtodo con un requisito de la calidad establecido para el
mismo, lo cual constituye el mensaje principal de este libro, como se demuestra
en el grfico de decisiones en el captulo 16 y en el de evaluacin de las mtricas
seis sigma de las especificaciones declaradas por el fabricante en el captulo 20.

Caractersticas de Desempeo del Mtodo


El listado de caractersticas de desempeo de ISO es muy similar al de CLIA, por
ejemplo, rango reportable o linealidad; precisin en condiciones de repetibilidad
y reproducibilidad; exactitud o sesgo o veracidad; interferencia, recuperacin, y
especificidad analtica; lmite de deteccin o lmite de cuantificacin; intervalos
de referencia adems de puntos de corte o decisin clnica. ISO enfatiza sobre el
concepto de calibracin, particularmente en la verificacin de la trazabilidad en
lugar de demostrar simplemente que los calibradores son consistentes respecto
a su valor asignado (lo cual puede implicar o no trazabilidad respecto al valor
verdadero). La otra gran diferencia es el nfasis que pone ISO en la incertidumbre
de la medicin, una caracterstica de desempeo separada que los laboratorios
deben determinar.
Si bien este libro brinda una gua detallada sobre cmo definir el Uso Previsto de una prueba y sobre como satisfacer los requisitos de ISO para validacin
y verificacin de las caractersticas de desempeo de un mtodo, la discusin
es insuficiente para generar una comprensin de los conceptos de veracidad
pgina 269

Validacin Bsica de Mtodos, Edicin Wallace Coulter

e incertidumbre de la medicin. El resto de este captulo esta dirigido a subsanar esta falencia dando una perspectiva de la direccin en que se dirigen los
estndares globales y algunos cambios que es probable sean encontrados en un
futuro cercano en los laboratorios de los E.U.A.

Veracidad y Trazabilidad
Primero vamos a ver algunas definiciones de la terminologa ISO/GUM [1,2]:
Procedimiento de Examen: conjunto de operaciones que tienen por
objetivo determinar el valor o caracterstica de una propiedad; (Nota: este
es un trmino ISO que se corresponde con el de Mtodo o procedimiento
de medida);
Mensurando: magnitud que se desea medir;
Exactitud de medida: proximidad entre un valor medido y un valor
verdadero de un mensurando;
Veracidad de medida: proximidad entre la media de un nmero de
valores infinitos medidos repetidos y un valor de referencia;
Precisin: proximidad entre las indicaciones o los valores medidos
obtenidos en mediciones repetidas de un mismo objeto, o de objetos
similares, bajo condiciones especificadas;
Un principio fundamental es que la veracidad solo puede ser definida a
travs de la trazabilidad. La trazabilidad se refiera a un contexto de mtodos de
referencia y materiales de referencia que vinculan un mtodo de prueba hacia
atrs a la verdad o valor verdadero, como se muestra en la siguiente figura.

pgina 270

Westgard QC, Inc., Copyright 2013

Valor Verdadero

Mtodo Definitivo

Material de
Referencia
Primario

Trazabilidad

Validacin
de Mtodo

Mtodo de Referencia

Material de
Referencia
Secundario

Valor Observado

Validacin
de Mtodo
& PEEC

Mtodo de Campo

Material de
Control

Control
Interno de la
Calidad

El punto de partida es un mtodo definitivo que puede ser empleado para


asignar valores a materiales de referencia primarios y que tambin genera la
base de comparacin para otros mtodos de referencia ms prcticos. Tales
mtodos de referencia y materiales de referencia secundarios se transforman
en el vnculo prctico a la verdad para los mtodos de campo, los cuales son
implementados en los laboratorios de rutina y monitoreados a travs del control
estadstico interno de la calidad y control externo de la calidad. En este contexto,
el control estadstico interno de la calidad se refiere al anlisis de materiales
de control por el laboratorio y a los esquemas de evaluacin de la competencia
o programas de evaluacin externa de la calidad.

El colesterol es un ejemplo histricos sobre el desarrollo y la implementacin de un sistema de referencia nacional en los E.U.A. El NIST (US National Institute for Standards and Technology) desarrollo un mtodo definitivo
pgina 271

Validacin Bsica de Mtodos, Edicin Wallace Coulter

y un material certificado de referencia para colesterol. El CDC estableci una


serie de laboratorios de referencia para soportar los esfuerzos nacionales de estandarizacin. Estos laboratorios empleaban el mtodo de Abell-Kendahl para
establecer una base de comparacin para los mtodos de campo. Los fabricantes
brindan calibradores y mtodos de campo que generan resultados consistentes
en los servicios de laboratorio de rutina, dnde los mtodos son monitoreados
diariamente empleando material de control interno de la calidad estable y
participan peridicamente en programas de evaluacin externa de la calidad o
esquemas de evaluacin de la competencia.
Considerando estos sistemas de mtodos y materiales de referencia, un
valor trazable puede ser establecido por comparacin como se muestra en la
figura anterior.
El concepto de valor trazable reemplaza al concepto anterior de valor verdadero que nunca pude ser conocido de manera exacta. Observe que ISO/GUM
no define actualmente el trmino de valor trazable, pero asume que dicho valor
puede sustituir al valor verdadero. Es evidente que el valor trazable no puede
ser conocido exactamente y su significacin debe ser descripta en trminos de
incertidumbre de medida (MU, por sus siglas en Ingls). En este nuevo mundo
de trminos de ISO y GUM, exactitud se transforma en el error de un resultado
individual, lo cual tiene cierta similitud con el concepto de error total ya que
puede ser afectado tanto por el error aleatorio como por el error sistemtico, pero
ahora son considerados (error aleatorio y sistemtico) como fuentes de varianza,
no como diferentes tipos de error.

Incertidumbre de Medida
Para comprender el concepto de incertidumbre de la medicin es necesario
familiarizarse con terminologa adicional de ISO/GUM [1,2], como sigue:
Incertidumbre de medida: parmetro asociado al resultado de una
medicin, que caracteriza la dispersin de los valores que podran ser
razonablemente atribuidos al mensurando;
Meta para la incertidumbre de medida: Incertidumbre de medida
formulada como meta u objetivo y decidida sobre la base de un uso previsto
especfico para la medicin de un resultado;
Evaluacin de Tipo A (de incertidumbre): mtodo de evaluacin de
la incertidumbre mediante anlisis estadstico de series de observaciones;
Evaluacin de Tipo B (de incertidumbre): mtodo de evaluacin de
la incertidumbre por medios distintos al anlisis estadstico de series de
observaciones;
pgina 272

Westgard QC, Inc., Copyright 2013

ISO Veracidad y Exactitud

Valor
Trazable

Media
Observada

X
X X Dispersin
X X Observada
XXXX
XXXX
X X X X XX

235 240 245 250 255 260 265


Sesgo
Veracidad
Error del Resultado
Exactitud

Incertidumbre Tpica (Estndar): incertidumbre del resultado de una


medicin, expresada en forma de desviacin tpica;
Incertidumbre Tpica Combinada: incertidumbre tpica del resultado
de una medicin, cuando el resultado se obtiene a partir de los valores
de otras magnitudes, igual a la raz cuadrada positiva de una suma de
trminos, siendo stos las varianzas o covarianzas de esas otras magnitudes,
ponderadas en funcin de la variacin del resultado de medida con la
variacin de dichas magnitudes;
Incertidumbre Expandida: magnitud que define un intervalo vinculado
al resultado de una medicin, y en el que se espera encontrar una fraccin
importante de la distribucin de valores que podran ser atribuidos
razonablemente al mensurando;
pgina 273

Validacin Bsica de Mtodos, Edicin Wallace Coulter

NOTA 1 La fraccin puede entenderse como la probabilidad o el nivel de


confianza del intervalo.
NOTA 2 Para asociar un nivel especfico de confianza a un intervalo definido
por la incertidumbre expandida, se requieren hiptesis explcitas o
implcitas sobre la distribucin de probabilidad representada por el
resultado de medida y su incertidumbre tpica combinada. El nivel de
confianza que puede atribuirse a este intervalo posee la misma validez
que las hiptesis realizadas.
NOTA 3 La incertidumbre expandida se denomina incertidumbre global
en el apartado 5 de la Recomendacin INC-1 (1980).
Los conceptos y terminologas vinculados a la incertidumbre estn representados en la figura que se muestra a continuacin. Una estimacin de la
incertidumbre puede darse en la forma de desviacin estndar (incertidumbre Tpica o Estndar). Estimados de componentes mltiples del proceso de
medicin pueden ser combinados adicionando las varianzas de los componentes
indivi-duales, luego tomando la raz cuadrada de las varianzas combinadas
(Incertidumbre tpica combinada). Estos componentes pueden ser estimados
experimentalmente (Evaluacin del Tipo A de la incertidumbre) u obtenidos a
partir de informacin publicada, tericos, (Evaluacin del Tipo B de la incertidumbre). Finalmente la incertidumbre puede ser expresada como un intervalo de
confianza con un factor de cobertura establecido (una Incertidumbre Expandida
o Incertidumbre Combinada Expandida con un factor de cobertura de 2 para

Valor
Trazable

Media
Observada

X
X X Dispersin
X X Observada
XXXX
XXXX
X X X X XX

235 240 245 250 255 260 265


S
Sesgo

Zs

Incertidumbre
Estndar
Incertidumbre
Expandida

Incertidumbre Expandida Combinada


Z(Sesgo 2 + S2)1/2

pgina 274

Westgard QC, Inc., Copyright 2013

un intervalo del 95 %).

Los clientes y las aplicaciones previstas


Puede ser til evaluar los conceptos de veracidad, exactitud, precisin, error total
e incertidumbre de la medida en el contexto de los clientes quienes sern los que
hagan uso de los conceptos. Diferentes clientes tendrn distintas capacidades
y/o necesidades para aplicar los distintos conceptos. En el laboratorio clnico
nosotros hemos empleado tradicionalmente el modelo de error para comprender
la calidad de las pruebas y mtodos. En nuestro mercado global cambiante,
el modelo de incertidumbre puede no ofrecer alguna utilidad adicional para
juzgar, controlar y manejar la calidad del proceso de examen del laboratorio.
Ac explicamos por que!
En el mundo de la metrologa, los clientes previstos son cientficos de alto
nivel quienes quieren conocer la confiabilidad del valor de un material certificado
de referencia. En este entorno, los clientes previstos tienen el conocimiento del
significado de la veracidad e incertidumbre de medida y estn en condiciones
de incorporar esa informacin dentro de su uso previsto.
Es completamente diferente en el mundo de la salud! Los mdicos an con
un alto nivel de educacin en las ciencias mdicas, tienen poca comprensin sobre
el significado de las mediciones analticas y las caractersticas de desempeo
de los procedimientos de medida. Ellos perciben que las pruebas de laboratorio
brindan una informacin muy exacta, particularmente cuando los resultados
estn impresos con varias cifras significativas en informes generados por computadoras. Por lo tanto el laboratorio debe intervenir por el bien del mdico as
como tambin por el del paciente, brindando resultados que son confiables para
el uso clnico previsto de la prueba.
De la misma manera los fabricantes deben intervenir en favor del laboratorio entregando procedimientos de medida con resultados comparables. Los
laboratorios dependen de los fabricantes para brindar mtodos con especificidad
analtica, estandarizacin adecuada, y materiales de calibracin que transfieran
al laboratorio individual veracidad en sus resultados.
Como cientficos del laboratorio clnico, nosotros debemos reconocer que
es necesario en las pruebas de laboratorios en el mbito de la salud manejar la
calidad y alcanzar resultados comparables a partir de diferentes laboratorios.
Es importante que esas actividades y responsabilidades estn adecuadamente
enfocadas en las siguientes formas:
La veracidad debe estar manejada primariamente por los fabricantes. Si
se necesita alcanzar trazabilidad, ser necesario un esfuerzo por parte
pgina 275

Validacin Bsica de Mtodos, Edicin Wallace Coulter

de los fabricantes. Pocos laboratorios tienen el tiempo y los recursos para


hacer esto. En el laboratorio, la nica aplicacin prctica es para aquellos
procedimientos de examen para los cuales existen materiales certificados
de referencia y pueden ser utilizados para la trazabilidad de la calibracin.
La medida prctica es el sesgo lo cual indica que el concepto sistemtico
de exactitud est aplicado aqu.
Exactitud, particularmente el sesgo residual del procedimiento de
medida despus de una estandarizacin apropiada, correccin del sesgo,
y calibracin apropiada en el campo, debe ser declarada por el fabricante
y verificada por el laboratorio. La estimacin prctica del sesgo hace uso
del concepto sistemtico de exactitud.
La precisin debe ser declarada por el fabricante y verificada por el
laboratorio. Como existen distintas condiciones experimentales para su
estimacin, el fabricante debe describir esas condiciones al momento de
declarar sus especificaciones de precisin. El laboratorio debe considerar
esas condiciones (declaradas por el fabricante) al momento de disear sus
experimentos de verificacin.
El error total fue diseado para evaluar rigurosamente los efectos del
desempeo de los procedimientos de medida sobre la utilidad clnica
de los resultados [4]. El error total debera ser manejado por los
fabricantes y los laboratorios para establecer adecuacin al uso previsto.
Desafortunadamente las regulaciones de los E.U.A. no requieren que los
fabricantes declaren sus especificaciones para la calidad, a travs de la
FDA parece que se estuviese alentando a las fabricantes a declarar una
especificacin de error total para la aprobacin de los pruebas waived.
No obstante los laboratorios deberan adoptar un criterio basado en el
error total para tomar sus propias decisiones sobre la aceptabilidad de
los procedimientos de medida de acuerdo a su aplicacin prevista. Como
se establece el documento de la CLSI EP 21 A [5]:
Se recomienda que para la mayora de los casos, si uno tiene el
conocimiento del error analtico total y resultados aberrantes, entonces
uno tiene la informacin suficiente para evaluar la aceptabilidad de la
prueba de diagnstico.
La incertidumbre de medida aparentemente tiene algunas aplicaciones
tiles para los cientficos de laboratorios clnicos y otras para los mdicos
solicitantes. Los cientficos del laboratorio clnico rara vez tienen las
habilidades matemticas de la gente que se dedica a la metrologa, es
por esto que la metodologa recomendada por GUM no es prctica o til
para el laboratorio clnico. Los mdicos rara vez tiene un entendimiento
de la variacin asociada a las mediciones, por lo tanto es probable que
pgina 276

Westgard QC, Inc., Copyright 2013

aunque se les entregue una declaracin sobre la incertidumbre de los


resultados esta informacin no otorgue una ayuda real al momento de
interpretarlos. En el mundo real es ms probable que los mdicos y los
pacientes se sientan sorprendidos al ver que sus resultados tiene una
incertidumbre asociada, desilusionados al saber que sus resultados tienen
una duda asociada y preocupados al ver que sus resultados pueden ser
errneos. Es probable que los mdicos no compren este concepto y que el
mismo caiga en desgracia en el mercado. Por lo tanto la incertidumbre
de medida debe ser dirigida por los clientes intermedios, primeramente
los fabricantes y secundariamente el laboratorio.
Por lo tanto, una estimacin detallada de los componentes de la variacin
es importante para los fabricantes para mejorar la veracidad y confiabilidad de
sus pruebas, precisin y exactitud son de utilidad para los fabricantes al momento de establecer y declarar sus especificaciones y para los laboratorios para
verificar esas especificaciones de desempeo establecidas por los fabricantes.
El error total es de utilidad para los cientficos de laboratorio para juzgar sobre
la aceptabilidad de sus mtodos en relacin a su uso clnico previsto y posiblemente a los mdicos que estn interesados en comprender la calidad promedio
de las pruebas del laboratorio. Los mdicos comprenden el concepto de error!

Utilidad del Modelo de Error en el Mundo Real


Desde mi perspectiva, el error total fue el precursor de la incertidumbre de
medida (actualmente se corresponde con el concepto de incertidumbre combinada
expandida con un factor de cobertura de 2). Las similitudes se muestran en
la figura ms abajo, dnde el concepto de incertidumbre se muestra como un
modelo en la parte ms baja del grfico y pude ser comparado con el modelo de
error total que se ve justo por arriba.
Aunque existen diferencias matemticas en la forma en que los errores
sistemticos o sesgo son agregados a la varianza observada, o imprecisin, existe
un propsito comn que es el de mostrar el rango de valores que estn asociados a un resultado individual. El modelo de estimacin de la incertidumbre de
medida de GUM es un modelo de mxima ms detallado que caracteriza cada
componente individual y luego los combina para determinar su efecto total. Este
modelo es impracticable en los laboratorios clnicos y debera estar dirigido a
los fabricantes y sus aplicaciones.
Guas existentes para valores diana o errores permitidos (requisitos
de la calidad). Al momento de evaluar la confiabilidad de los procedimientos
de medida tanto fabricantes como laboratorios tienen la responsabilidad de
evaluar y verificar las caractersticas de desempeo del procedimiento de
medida, identificar las fuentes de error o variacin, y hacer una evaluacin
pgina 277

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Valor
Trazable

Media
Observada

X
X X Dispersin
X X Observada
XXXX
XXXX
X X X X XX

235 240 245 250 255 260 265


Sesgo
Zs
Error Total
Sesgo + Zs

Incertidumbre Expandida Combinada


Z(Sesgo 2 + S2)1/2

sobre la aceptabilidad de esos errores o varianzas para el uso clnico previsto


del procedimiento de medida. Ac es donde el modelo de error tiene una larga
historia de aplicacin en el laboratorio clnico y existen muchas guas y recursos
para asistir a la definicin de lmites para error aceptable. Una conferencia de
consenso internacional desarrollada en el ao 1999 reconoci una jerarqua para
las especificaciones de la calidad como se muestra a continuacin [6]:
Criterio de interpretacin clnico, por ejemplo zona gris entre dos lmites
dnde se observan diferentes diagnsticos o distintas decisiones de
tratamiento son tomadas,
Metas biolgicas para la imprecisin mxima permitida y el mximo
sesgo permitido derivadas de la variabilidad biolgica intra individuo y
de grupo, las cuales tambin se combinan para establecer una meta para
error total,
Criterios o metas para error analtico total permitido para desempeo
aceptable en un esquema de evaluacin de la competencia (Proficiency
Testing PT) y Programas de evaluacin externa de la calidad (PEEC),
Opinin de grupos de expertos (por ejemplo, NCEP), y
Guas sobre estado del arte basadas en el desempeo del mtodo por
ejemplo a partir de datos tomados de esquemas de evaluacin de la
competencia (Proficiency Testing PT) y programas de evaluacin externa
de la calidad (PEEC).
pgina 278

Westgard QC, Inc., Copyright 2013

Protocolos de Validacin de mtodos existentes. Ya existen prcticas


estandarizadas, procedimientos experimentales y herramientas para el anlisis
de datos para evaluar el desempeo de un procedimiento de medida y validar
su aceptabilidad considerando su uso previsto (contra requisitos de la calidad
o valores diana para error permitido). La CLSI tiene disponibles una serie de
documentos que han sido diseados por comits tcnicos, sujetos a consenso,
revisin y aprobacin y tambin sujetos a modificaciones posteriores y revisiones
despus de que son probados en el campo. Estos protocolos cubren las siguientes
especificaciones de desempeo: precisin, veracidad o sesgo a partir de la
comparacin de mtodos, interferencias, rango lineal, lmites de deteccin e
intervalos de referencia. Estos protocolos describen aproximaciones para el
anlisis de datos empleando herramientas estadsticas relativamente simples
y por lo general incluyen hojas de trabajo que sirven de orientacin para la
recoleccin de datos y ejecucin de clculos haciendo de estos protocolos una
herramienta prctica en el laboratorio hoy en da.
Comparabilidad con estrategias y mtricas Seis Sigma. Una vez establecida
la cantidad de error que puede ser permitida, existen herramientas y mtricas
que se ajustan a las estrategias de manejo de la calidad actual, particularmente la
Gestin de la Calidad Seis Sigma. Los fabricantes han utilizado tradicionalmente
ndices sobre la capacidad del proceso para caracterizar el desempeo de un
proceso relativo a ciertos lmites de tolerancia o especificaciones de la calidad.
En la dcada del 90 esos ndices fueron transformados para describir a la calidad
en una escala sigma y brindar as una herramienta de evaluacin comparativa
para la calidad entre las industrias y entre los procesos [7]. Las aplicaciones
en el laboratorio han demostrado la utilidad de los conceptos y mtricas Seis
Sigma para asegurar la calidad de los procesos pre analticos y pos analticos
[8], caracterizacin del desempeo y evaluacin de la aceptabilidad de un nuevo
procedimiento de medida [9], y la evaluacin del desempeo entre laboratorios
a partir de los datos obtenidos de esquemas de evaluacin de la competencia
(Proficiency Testing PT) y Programas de evaluacin externa de la calidad
(PEEC) [10].
Seleccin y diseo de procedimientos de Control Estadstico Interno
de la Calidad. Un proceso crtico para la gestin de la calidad analtica es
realizar el control estadstico interno de la calidad apropiado durante el servicio
de operacin de rutina del laboratorio. La norma ISO 15189 [1] identifica
la necesidad de hacer esto en la seccin 5.6.1 la cual enfatiza que el control
estadstico interno de la calidad debe ser diseado para verificar la calidad
prevista para los resultados de las pruebas. Desafortunadamente el modelo de
incertidumbre de medida no ha demostrado ofrecer alguna orientacin sobre
como cumplir con esta necesidad. Por otro lado, el modelo de error total, puede
ser expandido para brindar modelos para la planificacin de la calidad analtica
pgina 279

Validacin Bsica de Mtodos, Edicin Wallace Coulter

y clnica as tambin como herramientas para seleccionar las reglas de control


correctas, y el nmero correcto de mediciones de control [11-12] sobre la base de
la calidad requerida para la prueba y la precisin y exactitud observada para el
procedimiento de medida. Por lo tanto el modelo de error total ya ha contribuido
al desarrollo del proceso de planificacin de la calidad y tambin ha aportado
herramientas grficas para una implementacin prctica que ya son parte de
la gua de consenso de la CLSI C24 A3 [13].
Considerando la variabilidad biolgica intra individuo. Para muchas
pruebas, la variabilidad biolgica intra individuo puede ser muy grande,
tan grande o an ms grande que la variabilidad analtica, por lo tanto la
incertidumbre de la prueba debe tener en cuenta la variabilidad biolgica
propia del paciente. Por ejemplo, la variabilidad biolgica intra individuo para
el colesterol es aproximadamente del 6%, en comparacin a la variabilidad
analtica tpica para el colesterol que es aproximadamente menor al 3%. Los
modelos para establecer metas o requisitos de la calidad [14] o los modelos para
la planificacin de la calidad [12] ya han sido desarrollados y estn disponibles.
Existe y est disponible una base de datos con informacin sobre la variabilidad
biolgica intra individuo y de grupo, con metas de desempeo para precisin,
sesgo y error total para unas 300 a 400 entidades diferentes [15].
Interpretacin de los resultados de las pruebas en serie de pacientes.
La variabilidad biolgica intra individuo debe ser considerada al momento de
interpretar una serie de resultados de un mismo paciente, es decir comparar
un resultado frente a los antecedentes, lo cual es crtico para el seguimiento del
tratamiento del paciente. Ac es donde el modelo de incertidumbre de medida
falla en la direccin del uso previsto, no obstante exista ya una solucin en
el formato de relacin valores de cambio (RCV, por sus siglas en Ingls), un
trmino de incertidumbre definido por Fraser [14] para incluir la variabilidad
analtica y la variabilidad biolgica intra individuo de la siguiente forma:

RCV = 21/2 * Z * (CVA2 + CVI2)1/2


Donde
Z: Factor de Cobertura (1,96 para un 95 % o 2,33 para un 99 %)
CVA: Imprecisin o Coeficiente de variacin del procedimiento de medida
CVI: Coeficiente de variacin biolgico intra individuo

Comunicacin de los resultados a los mdicos. Fraser [14] tambin ha


desarrollado un modelo prctico para informar resultados y ayudar a los mdicos
a interpretar los cambios en los resultados de las pruebas frente a los lmites
de referencia, as como tambin los cambios frente a resultados anteriores
pgina 280

Westgard QC, Inc., Copyright 2013

(antecedentes) usando los siguientes cdigos en los informes:


> Mayor que el lmite de referencia
< Menor que el lmite de referencia
>> Mayor que el lmite de referencia y clnicamente significativo
<< Menor que el lmite de referencia y clnicamente significativo
* cambio significativos frente a antecedente (intervalo de confianza del
95%)
** cambio altamente significativo frente a antecedente (intervalo de confianza
del 99%)
En efecto, se est reportando incertidumbre con este tipo de informes sin
necesidad de generar nmeros. En lugar de generar nmeros, la estimacin de
la incertidumbre de medida se emplea para determinar si un resultado debe ser
sealizado como con una desviacin con respecto a los lmites de referencia o si
ha sufrido un cambio importante con respecto a un resultado inmediato anterior (antecedente). Esta aplicacin toma en cuenta las necesidades del mdico
respecto a la informacin en un formato de fcil interpretacin que puede ser
fcilmente ledo e interpretado por el cliente.

Cul es el punto?
Veracidad, error total e incertidumbre de medida cumplen diferentes roles y a su
vez son tiles a diferentes clientes. Los conceptos de veracidad e incertidumbre
de medida deberan estar orientados a los fabricantes de dispositivos mdicos y
materiales de diagnstico, quienes deben ser responsables de brindar procesos
de examen y materiales trazables y confiables, y son responsables tambin de
brindar pruebas cuyas resultados sean comparables mtodo a mtodo, laboratorio
a laboratorio y de pas en pas.
El modelo de error, con el concepto de error total junto a las aproximaciones para establecer especificaciones para la calidad, es ms til a los cientficos
de laboratorio quienes deben evaluar el desempeo del mtodo, implementar
el control estadstico interno de la calidad, manejar la calidad del proceso de
examen para asegurar que los resultados alcanzan la calidad para el uso clnico
previsto de la prueba. Los conceptos y principios de ISO para sistemas de la
calidad pueden ser aplicados en el laboratorio clnico como fue demostrado por
Cooper y Gillions [16], pero el manejo de la calidad analtica debera seguir
empleando el modelo de error junto con sus guas y herramientas que han sido
desarrolladas especficamente para el laboratorio clnico.
Los cientficos del laboratorio deben asumir la responsabilidad de la gestin
de la calidad analtica para garantizar la calidad de los resultados que producen,
no solo informar la incertidumbre y esperar que el mdico solicitante y el pacipgina 281

Validacin Bsica de Mtodos, Edicin Wallace Coulter

ente hagan uso correcto de los resultados. Si se va a informar la incertidumbre,


entonces el sistema para informar resultados debe ser cuidadosamente diseado
por los profesionales del laboratorio para ayudar a sus clientes, es decir, aplicar
un sistema como el diseado por Fraser [14] que sealiza los resultados que
exceden los lmites de referencia y alerta sobre cambios significativos en una
serie de resultados (comparacin frente antecedentes).
El argumento ms fuerte en funcin de la necesidad de caracterizar la incertidumbre de medida ser nuestra incapacidad para controlar las pruebas de
laboratorio para verificar la calidad prevista de los resultados de pruebas, para
usar la frase de la norma ISO 15189. Si no conseguimos la calidad con eficacia,
entonces tendremos que medir la calidad de estamos logrando, que puede ser
caracterizada por la incertidumbre de medicin!
Nuestro mundo est lleno de incertidumbre, para estar seguros, pero se
vuelve ms manejable en el laboratorio cuando la atencin se centra en los
errores analticos.

Referencias
1. ISO/FDIS 15189 Medical laboratories Particular requirements for quality and
competence. 2002. International Organization for Standards, Geneva Switz. (Note
that a 2nd edition of 15189 was released in 2007, and a third in 2012.)
2. GUM. Guide to the expression of uncertainty in measurement. ISO, Geneva, 1995.
3. CLSI. EP15-A2. User Verification of Performance for Precision and Trueness. Clinical
Laboratory Standards Institute, Wayne, PA, 2005.
4. Westgard JO, Carey RN, Wold S. Criteria for judging precision and accuracy in
method development and evaluation. Clin Chem 1974;20:825-833.
5. CLSI EP21-A. Estimation of total analytical error for clinical laboratory methods.
Clinical Laboratory Standards Institute, Wayne, PA 2003.
6. Petersen PH, Fraser CG, Kallner A, Kenny D. Strategies to Set Global Analytical Quality
Specifications in Laboratory Medicine. Scand J Clin Lab Invest 1999;59(7):475-585.
7. Harry M, Schroeder R. Six Sigma: The Breakthrough Management Strategy
Revolutionizing the Worlds To Corporations. New York:Currency, 2000.
8. Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance
on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519.
9. Westgard JO. Six Sigma Quality Design and Control: Desirable precision and requisite
QC for laboratory measurement processes. 2nd ed. Madison WI:Westgard QC, 2006.

pgina 282

Westgard QC, Inc., Copyright 2013

10. Westgard JO, Westgard SA. The quality of laboratory testing today: An assessment
of sigma-metrics for analytical quality using performance data from proficiency
testing surveys and the CLIA criteria for acceptable performance. Am J Clin Pathol
2006;125:343-354.
11. Westgard JO. Charts of operational process specifications (OPSpecs charts) for
assessing the precision, accuracy, and quality control needed to satisfy proficiency
testing criteria. Clin Chem 1992;38:1226-33.
12. Westgard JO. Internal quality control: planning and implementation strategies.
Ann Clin Biochem 2003;40:593-611.
13. CLSI C24-A3. Statistical Quality Control for Quantitative Measurement Procedures:
Principles and Definitions; Approved Guideline Third Edition. Clinical Laboratory
Standards Institute, Wayne, PA, 2006.
14. Fraser C. Biological Variation: From Principles to Practice. AACC Press, 2001.
15. Ricos C, Alarez V, Cava F, et al. Current databases on biological variation: pros,
cons and progress. Scand J Clin Lab Invest 1999:59:491-500. [Note that the latest
edition of this databank is available at http://www.westgard.com/biodatabase1.htm].
16. Cooper G, Gillions T. Producing Reliable Test Results in the Medical Laboratory:
Using a quality system approach and ISO 15189 to assure the quality of laboratory
examination procedures. Bio-Rad Laboratories, Quality Systems Division, Irvine
CA 2007.

pgina 283

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 284

Westgard QC, Inc., Copyright 2013

22: Respuestas de auto evaluacin


Captulo 1: Es la calidad an un asunto relevante para los exmenes
de laboratorio?
Qu mitos acerca de la calidad existen en los laboratorios hoy en da?
Muchos analistas de laboratorio creen que la calidad, particularmente la calidad
analtica, ya no es un tema relevante debido a que los laboratorios han implementado
procedimientos de control de la calidad, planeamientos de garanta de la calidad y
proyectos de mejora de la calidad. A menudo creemos errneamente que:
Los programas de garanta de la calidad aseguran la calidad en el cuidado de
la salud.
El control estadstico de la calidad controla la calidad de los exmenes de
laboratorio.
La calidad puede ser gestionada aun cuando se desconoce la calidad requerida.
Los requisitos de la calidad necesitan considerar slo la imprecisin y la
inexactitud.
Los mtodos actuales tienen mejor imprecisin e inexactitud que la necesaria.
Se considera hoy en da que la calidad analtica est asegurada.
No es necesario aplicar grandes mejoras a nivel de la calidad analtica.
El gobierno regula los exmenes de laboratorio para asegurar que la calidad es
aceptable.
Los laboratorios deben enfocarse en los errores pre y post analticos porque los
errores analticos ya no son un problema.
Qu puede hacerse para mejorar las prcticas de manejo de la calidad en el
laboratorio?
La calidad debe ser manejada de un modo objetivo y cuantitativo. Esto significa
definir la calidad que es necesaria o deseada para cada examen, realizar estudios
experimentales para validar que los mtodos alcancen el desempeo necesario para
producir la calidad deseada, y establecer los procedimientos de control de la calidad
estadsticos para asegurar que la calidad deseada es alcanzada en la operacin diaria.

Captulo 2. Cmo gestiona usted a la calidad?


Cules son los cinco componentes necesarios para gestionar a la calidad?
A menudo escuchamos acerca de las partes o componentes individuales de un
sistema de la calidad, sin entender cmo encajan. El marco de la gestin total de la
calidad (GTC) incluye procesos de la calidad de laboratorio (PCL), control de la calidad
(CC), evaluacin de la calidad (EC), mejora de la calidad (MC) y planificacin de la
pgina 285

Validacin Bsica de Mtodos, Edicin Wallace Coulter

calidad (PC). Estos componentes deben funcionar como un ciclo o crculo de retroalimentacin para proveer la mejora continua de la calidad.
Dnde encaja la validacin de mtodo en este marco GTC?
La validacin de mtodo (VM) debe ser un proceso estndar de laboratorio que se
utiliza al implementar un nuevo mtodo analtico. Como tal debera ser parte de los
PCL procesos de la calidad de laboratorio. Sin embargo, tambin debe entenderse
que la VM es un proceso utilizado como parte de la planificacin de la calidad, o PC,
para proveer la evaluacin tcnica del desempeo del mtodo que es necesaria para
implementar nuevos mtodos en el laboratorio.
Por qu es importante la validacin de mtodo?
Aunque los fabricantes prueben sus mtodos extensivamente, hay muchos factores
o variables que pueden cambiar cuando el mtodo funciona en un laboratorio individual. Estos factores incluyen cosas como: diferentes nmeros de lote de estndares
y reactivos, cambios en los instrumentos o componentes del sistema, cambios en las
condiciones ambientales en el laboratorio, diferentes niveles de habilidad de los operadores, y condiciones de transporte y almacenamiento que pueden afectar los reactivos y los materiales. La validacin de mtodos provee la garanta de que un nuevo
mtodo, sin importar los cambios que hayan ocurrido, aun opera aceptablemente bajo
las condiciones de uso en el laboratorio. Es esencial para establecer los procesos de la
calidad del laboratorio.
Qu gua o conduce el proceso de gestin de la calidad?
Los requisitos, metas y objetivos de la calidad son necesarios para conducir el proceso de gestin de la calidad y guiar la implementacin y la evaluacin de los servicios
y procesos de examen del laboratorio.

Captulo 3. Cul es el propsito de un estudio de validacin de


mtodos?
Cules son los dos tipos principales de errores analticos?
Los dos principales tipos de errores analticos son la imprecisin y la inexactitud,
los cuales pueden ser descritos como error aleatorio y error sistemtico respectivamente.
Los errores aleatorios pueden ser tanto positivos como negativos y su direccin no es
predecible. Los errores sistemticos son en una direccin y son predecibles.
Qu se entiende por Error Total?
El error total es el efecto neto de la imprecisin y la inexactitud en una medicin
individual o en un resultado de examen individual. Debido a que comnmente se realiza
una nica medicin cuando se hace un examen de rutina de laboratorio, esa medicin
puede ser errnea a causa de la imprecisin y la inexactitud del mtodo. Realizar
mediciones replicadas puede reducir el error aleatorio del resultado del examen, pero
no reducir el error sistemtico o la inexactitud.
pgina 286

Westgard QC, Inc., Copyright 2013

Cmo se relaciona el Error Total con los tipos de errores bsicos?


El error total se estima comnmente como el sesgo (o error sistemtico) del mtodo
ms un mltiplo (generalmente 2, 3 o 4) de la desviacin estndar (o error aleatorio)
del mtodo. Por ejemplo, usando el criterio ET= sesgo +3S, se espera que un resultado
de un examen de colesterol ser correcto dentro de 7.0 mg/dL si el error sistemtico
promedio o sesgo para un mtodo de colesterol es 1.0 mg/dL y la S es 2.0 mg/dL. Esto
indica que los estimados del sesgo y la S son apropiados para el nivel de concentracin
del espcimen de inters.
Cmo describe la literatura los errores de un mtodo?
La mayora de los estudios publicados abordan el tema de los estimados de precisin
obtenidos a partir de estudios de replicacin y los estimados de exactitud obtenidos partir
de estudios de comparacin de mtodos. A menudo se documenta el rango reportable o
el rango de desempeo lineal. Los lmites de deteccin, la recuperacin, interferencias
y los intervalos de referencia son raramente incluidos. El informe quizs ofrezca un
puado de estadsticas sin ninguna intencin de describir el tamao de los errores.
Qu estadsticas se usan en un informe de validacin de mtodos?
Comnmente encontrar promedios (o media), S y CV para resumir la informacin
de un estudio de replicacin. Para un experimento de comparacin de mtodos, ver regresin lineal o estadsticas de cuadrados mnimos (pendiente, intercepto-y y desviacin
estndar sobre la lnea de regresin) y el coeficiente de correlacin y a veces tambin
estadsticas de exmenes t (sesgo, S de las diferencias y valores t). Estas son las
diferentes estadsticas que deber aprender para poder interpretar los resultados de
los estudios de validacin de mtodo.
Cmo se vinculan las conclusiones del informe con los errores del mtodo?
Las conclusiones acerca del desempeo de un mtodo analtico son probablemente
la parte menos estandarizada de un estudio de validacin de mtodo, an en estudios
publicados en prestigiosos artculos. Se debera relacionar el desempeo del mtodo con
los estndares de desempeo o requisitos de la calidad del examen.

Captulo 4. Cules son los requisitos regulatorios para la validacin


de mtodos?
Cules son las clasificaciones de complejidad de un examen utilizadas para
categorizar los requisitos de CLIA para la validacin de mtodos?
La Regla Final de CLIA clasifica los exmenes como microscopia realizada por
el proveedor (PPM), waived y non-waived, donde la ltima clasificacin incluye las
categoras de complejidad moderada y alta de versiones anteriores de las regulaciones.

pgina 287

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Cules son los requisitos de validacin de mtodos para los exmenes waived?
No hay requisitos de validacin de mtodos para estos exmenes. Los laboratorios
solo necesitan seguir las instrucciones de los fabricantes.
Cules son los requisitos de validacin de mtodos para exmenes nonwaived aprobados por la FDA?
Para exmenes non-waived, el laboratorio debe verificar las caractersticas de
desempeo para rango reportable, precisin, exactitud e intervalos de referencia.
Cules son los requisitos de validacin de mtodo para los exmenes nonwaived no aprobados por la FDA o- modificados por el laboratorio?
Para los exmenes non-waived no aprobados por la FDA o modificados por el
laboratorio, debe ser validada (adems de rango reportable, precisin, y exactitud) la
especificidad analtica (interferencias) y la sensibilidad analtica (deteccin de lmite). Son
requeridos estudios ms extensivos, tambin, para establecer intervalos de referencia.

Captulo 5. Cmo es seleccionado un mtodo?


Cules son los tres tipos de caractersticas de un mtodo?
Las caractersticas de aplicacin describen las condiciones que el mtodo requiere
si va a ser utilizado en el laboratorio. Las caractersticas de metodologa son factores
ms tcnicos relacionados al desempeo esperado del mtodo. Las caractersticas de
desempeo son mediciones especficas de desempeo que son importantes para que el
mtodo genere resultados aceptables.
D tres ejemplos de cada uno de los tipos de caractersticas de un mtodo.
Los ejemplos de caractersticas de aplicacin pueden ser tipo de espcimen, tamao
de la muestra y costo. Si un mtodo no satisface las condiciones necesarias, su uso no
debe ser considerado en el laboratorio. Los ejemplos de caractersticas de metodologa
pueden ser el tipo de estndar utilizado (primario contra secundario), el principio de
medicin (fotomtrico contra electro-qumico), o la reaccin qumica especfica elegida
(enzimtica contra no enzimtica). Los ejemplos de caractersticas de desempeo son el
rango reportable, la precisin, la exactitud, la recuperacin la interferencia y el lmite
de deteccin.
Qu caractersticas son de mayor inters al momento de seleccionar un
mtodo?
Las caractersticas de aplicacin deben ser cumplidas en la seleccin inicial de un
mtodo. Si el mtodo no trabaja con el tipo correcto de espcimen, no tiene un tamao
de muestra lo suficientemente pequeo, o el costo es excesivo, entonces no hay razn
para probar su desempeo. Las caractersticas de metodologa son, del mismo modo,
tiles para guiar la seleccin hacia un mtodo del que se espera el desempeo deseado.

pgina 288

Westgard QC, Inc., Copyright 2013

Cules son las caractersticas de mayor inters durante la validacin de un


mtodo?
Los estudios de validacin de mtodo son los que realmente evalan las caractersticas de desempeo. La precisin y la exactitud son las caractersticas de desempeo
fundamentales de cualquier mtodo y deben siempre ser evaluadas. Otras caractersticas de desempeo importantes incluyen el rango reportable, la recuperacin, la
interferencia y el lmite deteccin.

Captulo 6. Qu experimentos son necesarios para validar el


desempeo de un mtodo?
Qu experimento es utilizado para estimar la imprecisin de un mtodo?
Un experimento de replicacin se realiza haciendo diversas mediciones, generalmente un mnimo de 20, en una muestra que es estable por un perodo de tiempo de
inters en el estudio. Tpicamente, al comienzo se estudia por un perodo corto de tiempo,
1 corrida o 1 da, luego se estudia un perodo ms largo, 20 corridas a lo largo de das.
Qu experimentos son utilizados para estimar la inexactitud de un mtodo?
El experimento de comparacin de mtodos es comnmente el ms utilizado para
proveer un estimado total del sesgo o del error sistemtico entre el nuevo mtodo, o
mtodo de evaluacin, y un mtodo de comparacin establecido. Los experimentos de
recuperacin e interferencia tambin pueden ser utilizados para evaluar si un material
especfico o la matriz de una muestra causan errores sistemticos.
Por qu el experimento para rango reportable es realizado al comienzo del
estudio de validacin?
Este experimento define el rango analtico que se va a considerar para juntar
datos e informacin para los dems experimentos. Por ejemplo, las concentraciones de
los materiales seleccionados para el experimento de replicacin deberan estar dentro
del rango (reportable) til del mtodo. Los especmenes de pacientes en el estudio de
comparacin de mtodos deberan ser seleccionados para estar en el rango reportable
del mtodo.
Por qu por lo general se realizan dos experimentos de replicacin diferentes?
La informacin ms rpida acerca de la precisin se obtiene de un estudio a corto
plazo, como el de intra corrida o intra da. Si esta estimacin muestra que el desempeo
del mtodo no es aceptable, no hay razn para continuar y realizar otros estudios. Si el
desempeo a corto plazo es aceptable, entonces se necesitar un estudio a largo plazo
para evaluar el desempeo bajo condiciones que representarn ms realsticamente lo
que es esperado durante el servicio de rutina del laboratorio.

pgina 289

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Qu diferencia existe entre el error sistemtico proporcional y constante?


Un error constante es aquel cuyo tamao en unidades de concentracin permanece
igual aun cuando el valor real del resultado del examen cambia. Un error proporcional es aquel cuyo tamao en unidades de porcentaje permanece igual cuando el valor
real del resultado del examen cambia. Por ejemplo, al calibrar un mtodo, un error al
ajustar el cero producir generalmente un error constante, mientras que un error al
ajustar la calibracin producir un error proporcional.
Qu experimentos se realizan para estimar los errores sistemticos
proporcional y constante?
Los experimentos de interferencia pueden ser usados para estimar los errores
sistemticos constantes (EC) a causa de los materiales especficos. Los estudios de recuperacin pueden ser usados para estimar los errores sistemticos proporcionales (EP).
Tambin puede obtenerse informacin acerca de los errores sistemticos constantes y
proporcionales a travs de un experimento de comparacin de mtodos al interpretar
cuidadosamente las estadsticas de regresin (la pendiente es relacionada al EP, el
intercepto-Y al EC).

Captulo 7. Cmo se analizan los datos experimentales?


Qu clculos realizara usted con los datos obtenidos a partir del experimento
de replicacin?
Las estadsticas generalmente calculadas son la media, la S y CV. Ocasionalmente,
los valores F son calculados para comparar las S observadas de los diferentes mtodos.
Qu clculos realizara usted con los datos obtenidos a partir del experimento
de comparacin de mtodos?
Generalmente se calculan las estadsticas de regresin lineal (pendiente, interceptoY, desviacin estndar de los puntos sobre la lnea de regresin). A menudo se incluye
el coeficiente de correlacin. Otros clculos que tambin suelen encontrarse son las
estadsticas para datos apareados de exmenes t (sesgo, desviacin estndar de las
diferencias, valor t).
Qu grficos estn asociados a los diferentes tipos de anlisis?
Un histograma provee un til grfico de la informacin de un estudio de replicacin. Para la informacin proveniente de un experimento de comparacin de mtodos,
comnmente se usa un grfico de comparacin (valor del examen como coordenada y,
valor comparativo como coordenada x) cuando se calculan las estadsticas de regresin.
Cuando las estadsticas t son calculadas a menudo se utiliza un grfico de diferencias (la diferencia entre valor obtenido por el mtodo de examen y el valor obtenido por
el mtodo de comparacin como la coordenada en y, contra el valor obtenido por el
mtodo de comparacin como la coordenada en x).

pgina 290

Westgard QC, Inc., Copyright 2013

Estime la media, desvo estndar y coeficiente de variacin a partir del


siguiente conjunto de datos:
[203, 202, 204, 201, 197, 200, 198, 196, 206, 198, 196, 192, 205, 195, 207, 198, 201,
195, 202, 195]
La razn para hacer esta pregunta (y la siguiente) es saber si tiene acceso a herramientas de clculo tales como una calculadora de mano, una planilla electrnica
de clculo o un programa estadstico para trabajar en un ordenador.. Tambin puede
hacer uso de las calculadoras online disponibles en:
http://www.westgard.com/mvtools.html
Para este conjunto de datos (que tambin es el conjunto de datos ejemplo provisto
con las calculadoras en lnea nombradas ms arriba) la media es 199,55, la S es 4,1861
y CV es 2,0977. En la prctica, redondearamos la S a 4,19 y CV a 2,10%.
Estime los estadsticos de regresin y el sesgo promedio a partir del siguiente
conjunto de datos:

Este conjunto de datos es tambin la informacin disponible a manera de ejemplo


en la calculadora de datos apareados online disponible en la direccin mencionada
arriba. La pendiente es 1,0226, el intercepto-Y es -2,6022, la S de los puntos sobre la
lnea de regresin es 4,754 y el coeficiente de correlacin es 0,9986. En la prctica,
redondearamos las estadsticas de regresin a 1,023, -2,60 y 4,75 respectivamente.
pgina 291

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Captulo 8. Cmo se calculan estas estadsticas?


En un estudio de validacin de mtodos de colesterol, el estadstico-t obtenido
a partir de la comparacin de mtodos arroja los siguientes datos:
Sesgo = 1.74 mg/dL, Sdif = 5.90 mg/dL, N = 81, y t = 2.65. Cul es el valor crtico
de t para p = 0.05? Es el sesgo observado estadsticamente significativo?
Es el sesgo observado clnicamente significativo?
Para N=81, el valor t crtico puede ser encontrado en el cuadro y es aproximadamente 1,99 para P=0,05 (examen bilateral de significancia, df=N-2). Ntese que a
menudo tendr que interpolar entre los valores dados en los cuadros de valores crticos. El valor t observado de 2,65 es mayor que el valor crtico de 1,99, por lo tanto el
sesgo observado es estadsticamente significativo o real. Sin embargo, la magnitud
del sesgo (1,74 mg/dL) podra ser lo suficientemente pequea para ser aceptable para
el uso clnico de un mtodo. Es por eso que no recomendamos usar un examen t para
evaluar la aceptabilidad del desempeo del mtodo. En vez de eso recomendamos una
tcnica grfica conocida como el Cuadro de Decisin de Mtodo, descrito en el captulo 16.
En un estudio de validacin de mtodos, el mtodo en evaluacin tiene una
desviacin estndar de 4.0 mg/dL y el mtodo de comparacin tiene una
desviacin estndar de 5.0 mg/dL, ambos valores fueron estimados a partir de 21
mediciones efectuadas sobre el mismo material de control cuya concentracin
aproximada es de 200 mg/dL. Cul es el valor calculado para el estadstico
F? Es la diferencia de desempeo a nivel de precisin estadsticamente
significativa? Es la diferencia de desempeo a nivel de precisin clnicamente
significativa?
El valor F calculado es de 1,56 (25/16). Para 20 grados de libertad (df=N-1) para
cada mtodo, el valor crtico F puede encontrarse en el cuadro y es de 2,12. Debido
a que el valor F observado es menor que el valor F crtico, la diferencia no es estadsticamente significativa. Sin embargo, la significancia clnica de la imprecisin
observada depende del tamao de la S del mtodo comparada con la cantidad de error
permitido. Nuevamente, no recomendamos el uso de un examen de significancia, en
este caso el examen F, para juzgar la aceptabilidad del desempeo de un mtodo. El
Cuadro de Decisin de Mtodo le permitir considerar la precisin y la exactitud del
mtodo en relacin a un requisito de la calidad definido en la forma de la cantidad de
error total que es permitido para el examen.
Para verificar las especificaciones de precisin declaradas por el fabricante
se calcul el estadstico F para comparar la desviacin estndar de 5.0 mg/
dL obtenida en un experimento de replicacin para el mtodo evaluado a
partir de un N= 31 con la desviacin estndar declarada por el fabricante de
4.0 mg/dL obtenida tambin de un experimento de replicacin con N= 31. Ha
verificado usted las especificaciones del fabricante para precisin?
El valor F calculado es nuevamente 1,56 (25/16). Para 30 grados de libertad
(N-1) por ambos mtodos, el valor crtico F es de 1,93. Debido a que el valor F calpgina 292

Westgard QC, Inc., Copyright 2013

culado es menor que el valor F crtico, la informacin no muestra que la diferencia


sea estadsticamente significativa. En este caso la precisin observada en el laboratorio
no es diferente a la declarada por el fabricante, de esta manera la especificacin del
fabricante ha sido verificada.
Para verificar las especificaciones de precisin declaradas por el fabricante
se calcul el estadstico F para comparar la desviacin estndar de 5.0 mg/
dL obtenida en un experimento de replicacin para el mtodo evaluado a
partir de un N= 11 con la desviacin estndar declarada por el fabricante de
3.0 mg/dL obtenida tambin de un experimento de replicacin con N= 11. Ha
verificado usted las especificaciones del fabricante para precisin?
El valor F calculado es 2,78 (25/9). El valor crtico F para 10 grados de libertad
(N-1) por ambos mtodos es de 2,98. Debido a que el valor F calculado es menor que
el valor F crtico, no hay diferencia estadsticamente significativa entre la precisin
observada en el laboratorio y aquella declarada por el fabricante. Por lo tanto la informacin no es inconsistente con la especificacin declarada por el fabricante y puede
decirse que la especificacin del fabricante ha sido verificada. Ntese, sin embargo,
que si se hubiese realizado un experimento de mayor peso con 31 mediciones, el valor
crtico F sera 2,70 y la informacin obtenida nos dira que la especificacin del fabricante no fue verificada. Este es un ejemplo que muestra que tener poca informacin
limita la capacidad de evaluar adecuadamente el desempeo de un mtodo frente a la
especificacin declarada por el fabricante.
Para verificar las especificaciones del fabricante para exactitud se trabaj
con el estadstico t, se obtuvo un sesgo de 1.5 mg/dL y un valor de t de 2.5
para un estudio dnde se procesaron 40 muestras de pacientes por el mtodo
a evaluar y el mismo mtodo de comparacin empleado por el fabricante al
momento de establecer sus especificaciones. El fabricante declar que no
exista sesgo entre ambos mtodos. Ha verificado usted las especificaciones
declaradas por el fabricante para exactitud?
El valor crtico t es 2,02 para un N de 40. Debido a que el valor t calculado de 2,50
es mayor que el valor crtico t de 2,02, la diferencia es estadsticamente significativa
o real. La informacin no verifica la especificacin declarada por el fabricante que
dice que el sesgo debera ser cero entre estos dos mtodos. Sin embargo, el tamao del
sesgo es pequeo (1,5 mg/dL) y el desempeo del mtodo podra ser aceptable para los
propsitos clnicos. Una vez ms, este ejemplo muestra que las conclusiones acerca de
la significancia estadstica y la significancia clnica pueden ser diferentes. Nuevamente,
una mejor propuesta es usar el Cuadro de Decisin de Mtodo en vez de depender de
exmenes de significancia estadstica.

Captulo 9. Cmo se determina el rango reportable de un mtodo?


Qu cantidad de niveles de diferente concentracin son necesarios
para validar el rango reportable?
El mnimo es 4, pero normalmente se prefiere 5 o 6.
pgina 293

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Cul es una forma prctica de obtener una serie de esos materiales?


Una serie de 5 materiales puede ser fcilmente preparada usando un pool de pacientes alto y uno bajo. Mezcle 3 partes del pool bajo con 1 parte del pool alto, 2
partes del bajo con 2 partes del alto y 1 parte del bajo con 3 partes del alto. Estas
3 mezclas junto con los pooles originales alto y bajo le dar una serie de 5 muestras.
Cuntas repeticiones se efectan por lo general sobre cada uno de los
materiales?
Un mnimo de 2, pero es preferible que se realicen 3 o 4.
Cmo se analizan los datos para evaluar el rango reportable?
A pesar de todas las estadsticas que pueden ser calculadas, el estndar de oro
para evaluar el rango reportable es graficar los valores observados o el promedio de
los replicados en el eje y contra el valor asignado para los materiales en el eje x.
Dibuje la mejor lnea recta a travs de la informacin, asegurndose que la lnea pase
a travs de los puntos al final inferior del rango. Inspeccione visualmente el grfico
y determine el rango lineal donde los resultados de los exmenes sern confiables.
Describa este rango reportable por el lmite inferior (generalmente cero) y el lmite
superior determinado por el grfico obtenido a partir de sus datos.
Cmo se analizan los datos para evaluar linealidad?
La linealidad no es realmente la caracterstica de desempeo que necesita ser
validada! Lo que es de inters es el rango reportable. Sin embargo, puede usar estadsticas de regresin lineal o de primer orden para ajustar la informacin y describir
estadsticamente la lnea observada y el ajuste de la informacin. Existen exmenes
estadsticos ms elaborados y ms complicados publicados en la literatura para evaluar
la linealidad, pero por razones prcticas, la mayora de la gente solo inspecciona visualmente la informacin y la lnea de mejor ajuste para determinar la linealidad.

Captulo 10. Cmo se determina la imprecisin de un mtodo?


Cuntos niveles o materiales se necesitan para un estudio de replicacin?
Un mnimo de dos diferentes niveles o concentraciones, y preferiblemente tres
para brindar estimados a niveles bajos, normales y elevados.
Cul es el nmero mnimo de mediciones que generalmente se recogen?
Comnmente se acepta que el nmero mnimo de mediciones replicadas debera
ser de 20. Sera mejor realizar ms mediciones debido a la dificultad para obtener un
estimado confiable de la S aun con 20 mediciones.
Qu perodo de tiempo debera abarcar el experimento de replicacin final?
La mayora de los estudios adhieren a un perodo de tiempo mnimo de 20 das
pgina 294

Westgard QC, Inc., Copyright 2013

hbiles o un mes de calendario debido al alto costo de extender el perodo de tiempo


del estudio ms all del mnimo requerimiento.
Cmo se analizan los datos para estimar la imprecisin?
Calcule la media, la S y los CV para cada uno de los materiales. Prepare un histograma para documentar la forma de la distribucin.

Captulo 11. Cmo se determina la inexactitud o sesgo de un mtodo


determinado?
Cul es el nmero mnimo de especmenes que se utilizan generalmente en
la comparacin?
Se recomienda generalmente un nmero de 40. Sin embargo, se puede obtener un
resultado aceptable con un mnimo de 20 si los especmenes han sido seleccionados para
cubrir de manera homognea del rango analtico del procedimiento de medida evaluado.
Si los especmenes se eligen de manera aleatoria, muchos valores de los exmenes caern
en el intervalo de referencia para la poblacin saludable y por lo tanto se necesitarn
ms especmenes para cubrir el rango analtico amplio deseado para el experimento.
Cuntos replicados de las mediciones se efectan por lo general?
Se prefieren efectuar duplicados por el mtodo de examen y el mtodo de comparacin. Sin embargo, es comn realizar mediciones nicas para ambos mtodos cuando
estos han sido bien estudiados por los fabricantes o bien documentados por los estudios
publicados.
Qu perodo de tiempo se recomienda para la duracin del experimento?
Se recomienda un mnimo de 5 das para los experimentos de comparacin de
mtodos con el fin obtener datos representativos del desempeo de los mtodos. Un
perodo de tiempo mayor es aceptable. Es frecuente realizar el estudio de comparacin
de mtodos en paralelo con el estudio de replicacin a largo plazo, el cual usualmente
cubre un perodo de 20 das.
Cmo deberan ser calculados los datos cuando existen dos niveles de decisin
mdica?
Es conveniente utilizar estadsticas de regresin lineal cuando hay dos o ms
niveles de decisin de inters. Estas estadsticas permiten estimar el error sistemtico
en cualquier concentracin dentro del rango analtico que ha sido estudiado.
Cmo deben graficarse los datos si hay dos o ms niveles de decisin mdica?
Usando un grfico de comparacin donde el resultado obtenido por el mtodo de
examen es graficado en el eje y contra el resultado obtenido por el mtodo comparativo en el eje x.

pgina 295

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Qu clculos deben ser utilizados si hay un nico nivel de decisin mdica?


Las estadsticas de regresin lineal pueden usarse para calcular el error sistemtico
en un nivel de decisin, pero tambin es posible que las estadsticas de los exmenes
t brinden un estimado confiable del error sistemtico si la media de la informacin
es cercana al nivel de decisin de inters. Si el rango de la informacin analtica es
estrecho, entonces se preferirn las estadsticas de exmenes t y no las estadsticas
de regresin.
Cmo se grafican los datos cuando existe un nico nivel de decisin mdica?
Junto con el uso de estadsticas de exmenes t, puede usar un grfico de diferencias en el cual la diferencia entre el resultado obtenido por el mtodo de examen
y el resultado obtenido por el mtodo de comparacin se grafica en el eje y contra el
resultado obtenido a partir del mtodo de comparacin que se representa en el eje x.

Captulo 12. Cmo usar la estadstica para estimar errores


analticos?
El siguiente resumen estadstico fue obtenido a partir de un experimento
de comparacin de mtodos para glucosa:
a = 5,23 mg/dL, b = 0,999, Sy/x = 7.23 mg/dL, sesgo = 5,13 mg/dL, Sdif =
7,23 mg/dL, t = 8,03, r = 0,996, N = 128.
Cul es el error sistemtico proporcional entre los mtodos?
Hay muy poco error proporcional dado que la pendiente es de 0,999, lo cual es
solo 0,001 o 0,1% diferente al valor ideal de 1,000.
Cul es el error sistemtico constante entre los mtodos?
El error constante puede ser estimado del intercepto-Y o del sesgo, que son de
5,23 mg/dL y 5,13 mg/dL respectivamente.
Cul es el error aleatorio entre mtodos?
El error aleatorio entre los mtodos puede ser estimado a partir de Sy/x o del Sdif
cuyos valores son de 7,23 mg/dL.
Por qu hay tan buena concordancia entre las estimaciones del error obtenido
a partir de estadsticas de regresin y estadsticos t?
Los estimados de errores por regresin y los exmenes t tienen tan buena concordancia porque no hay error proporcional presente.
Es el error sistemtico entre mtodos estadsticamente significativo o real?
S, el error sistemtico es estadsticamente significativo o real, como lo muestra
el hecho de que el valor t calculado de 8,03 es mayor que el valor t crtico, que es
aproximadamente 2,0 cuando N es 30 o ms.
pgina 296

Westgard QC, Inc., Copyright 2013

Qu le dice el coeficiente de correlacin?


El alto valor para el coeficiente de correlacin indica que se ha obtenido una amplia gama de informacin y los estimados de regresin de la pendiente y del intercepto
deberan ser confiables.
El siguiente resumen estadstico fue obtenido a partir de un experimento de
comparacin de mtodos para nitrgeno ureico:
N = 316, a = -0,31 mg/dL, Sa = 0,23 mg/dL, b = 1,032, Sb = 0,009, Sy/x =
0,97 mg/dL, Sx = 13,2 mg/dL, r = 0,997, sesgo = 0,40 mg/dL, Sdif = 1,08 mg/
dL, t = 6,58.
Cul es el error sistemtico proporcional entre los mtodos?
Hay un error sistemtico proporcional de alrededor de 3,2% como se revela por la
diferencia entre la pendiente observada de 1,032 y el valor ideal de 1,00.
Cul es el error sistemtico constante entre los mtodos?
El mejor estimado del error constante est dado por el intercepto-Y (-0,31 mg/
dL); en este caso hay un error proporcional entre los mtodos, lo que hace sospechar
las estadsticas de la prueba t.
Por qu es mejor usar las estadsticas de regresin para estimar los errores
en lugar de usar un estadstico t?
Recuerde que los estimados de errores a travs de las estadsticas de pruebas
t son influenciadas por el error proporcional, que se evidencia tanto por el valor del
Sesgo como por el valor de SDdiff, aun cuando no es un error de este tipo. Por lo tanto
es mejor estimar los componentes constantes y proporcionales del error sistemtico
usando la pendiente y el intercepto y respectivamente.
Cul es el intervalo de confianza del 95% para la interseccin-Y?
Difiere la interseccin-Y significativamente del valor ideal de 0.0?
El intervalo de confianza del 95% para el intercepto-Y puede ser calculado a partir
del valor del intercepto-Y (a) 2 veces la desviacin estndar del intercepto-Y (Sa),
en el cual a es -0,31 mg/dL, Sa es 0,23 mg/dL y 2*Sa es 0,46 mg/dL. Esto significa
que el intervalo de confianza del 95% para el intercepto-Y va desde -0,76 mg/dL hasta
+0,15 mg/dL. Debido a que este intervalo de confianza incluye el valor ideal de 0,0, el
intercepto-Y no es significativamente diferente del valor ideal.
Cul es el intervalo de confianza del 95% para la pendiente?
Difiere la pendiente significativamente del valor ideal de 1,0?
El intervalo de confianza del 95% para la pendiente puede ser calculado del valor
de la pendiente (b) 2 veces la desviacin estndar de la pendiente (Sb), en el cual
b es 1,032, Sb es 0,009 y 2*Sb es 0,018. Esto significa que el intervalo de confianza
del 95% para la pendiente va desde 1,014 hasta 1,050. Debido a que este rango no
pgina 297

Validacin Bsica de Mtodos, Edicin Wallace Coulter

incluye el valor ideal para la pendiente de 1,0, puede decirse que la diferencia entre
la pendiente observada e ideal es estadsticamente significativa.
Qu le dice el coeficiente de correlacin?
El alto valor del coeficiente de correlacin indica que se ha obtenido una amplia
gama de informacin y que los estimados de la pendiente y el intercepto deberan ser
confiables.

Captulo 13. Cmo examinar fuentes especficas de inexactitud?


Cul es la diferencia entre un experimento de recuperacin y uno de
interferencia?
Los experimentos se ven similares, pero son en realidad diferentes. En un experimento de recuperacin, se aade el analito que el examen est midiendo. En un
experimento de interferencia, se aade un material diferente que potencialmente
interferir en la medicin del analito de inters. Los clculos son bastante diferentes
porque los experimentos se utilizan para estimar diferentes tipos de errores analticos.
El experimento de recuperacin se usa para estimar los errores sistemticos proporcionales, por lo tanto los resultados son en porcentaje. El experimento de interferencia
se usa para estimar errores sistemticos constantes, por lo tanto los resultados son en
unidades de concentracin.
Qu interferencias comunes se estudian usualmente?
Los efectos provocados por elevaciones en los niveles de bilirrubina y la presencia
de lipemia y hemolisis, son comnmente estudiados por la mayora de los mtodos.
Cul es la manera apropiada de calcular la recuperacin?
Debido a que el error proporcional debera ser representado como un porcentaje,
los resultados de un experimento de recuperacin son proporcionados para brindar una
proporcin que luego puede ser convertida a un porcentaje. La cantidad recuperada debe
ser dividida por la cantidad aadida. La cantidad recuperada es la diferencia entre el
resultado obtenido para la muestra aadida y el resultado obtenido para la muestra
empleada como blanco. Un error comn es dividir el resultado de la muestra aadida
por el resultado de la muestra de blanco, en vez de calcular la diferencia y dividir por
la cantidad aadida.

Captulo 14. Cul es el valor ms bajo confiable para un mtodo?


Cundo usted necesita realizar un experimento de lmite de deteccin?
El lmite de deteccin debera ser validado para aquellos exmenes en los cuales los valores
inferiores son interpretados crticamente. El lmite de deteccin es importante para las drogas
forenses con el fin de documentar la presencia o ausencia de las drogas. El lmite de deteccin
tambin es importante para marcadores tumorales que se usan para dar seguimiento a los
resultados de un tratamiento.

pgina 298

Westgard QC, Inc., Copyright 2013

Qu estimacin del lmite de deteccin dar generalmente el valor ms alto?


El Lmite de Cuantificacin LC (LoQ, por sus siglas en ingls) dar generalmente el
estimado ms alto del lmite de deteccin. La Sensibilidad Funcional (FS, por sus siglas en
ingls) dar el estimado prximo ms alto. El Lmite de Blanco (LoB, por sus siglas en ingls)
dar el ms bajo.
Por qu el Lmite de Deteccin LB (LoD, por sus siglas en ingls) es siempre ms
alto que el Lmite Vaco (LoB)?
El Lmite de Deteccin (LoD) es siempre ms alto que el Lmite de Blanco (LoB) porque
es definido como LoB +1,65 Sspk, en el cual Sspk es la desviacin estndar observada para
una muestra suplementada de bajo nivel.

Captulo 15. Cmo se verifica el intervalo de referencia de


un mtodo?
Cuntos especmenes de pacientes se necesitan generalmente para verificar
un intervalo de referencia?
De acuerdo a los lineamientos de CLSI, se necesitan un mnimo de 20 especmenes
para verificar la transferencia de un intervalo de referencia recomendado por el fabricante al laboratorio.
Cul es el nmero mnimo de especmenes de pacientes para establecer un
intervalo de referencia?
Los lineamientos de CLSI por lo general recomiendan obtener 120 individuos
que representen un grupo de inters. Se necesita un mnimo de 60 para brindar un
estimado preliminar.
Cmo se puede transferir un intervalo de referencia desde un mtodo de
comparacin?
Asumiendo que en el pasado ha habido estudios adecuados para estimar el/los
intervalo/s de referencia para el mtodo comparativo, un intervalo de referencia para
un nuevo mtodo puede ser calculado a partir de la lnea de regresin, o estadstica
de regresin, obtenida a partir de la informacin del experimento de comparacin de
mtodos.

Captulo 16. Cmo evaluar el desempeo de un mtodo?


Cmo se incorpora un requisito de la calidad en una Carta de Decisin del
Mtodo?
La escala del Cuadro de Decisin de Mtodo est basada en el error total permitido (TEa) que es definido para el examen. La escala en el eje y va desde cero hasta
el valor del TEa y la escala del eje x va desde cero hasta el 50 % del requisito de la
calidad (0,5*TEa).
pgina 299

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Cul es una fuente comn de requisitos de la calidad para un ensayo?


Para los laboratorios de E.U.A., los errores totales permitidos estn definidos para
aproximadamente 80 exmenes segn el criterio CLIA para el desempeo aceptable en
esquemas de evaluacin de la competencia (PT, por sus siglas en Ingles). Los criterios
CLIA son oficialmente publicados en el Registro Federal. Para los laboratorios fuera de
Estados Unidos, existen criterios similares disponibles de otros programas nacionales
o profesionales de evaluacin externa de la calidad.
Cules son los parmetros de desempeo crticos que se grafican en una
Carta de Decisin del Mtodo?
El sesgo o inexactitud observada del mtodo se grafica en el eje y. La imprecisin observada o CV del mtodo se grafica en el eje x. Se recomienda que el CV del
experimento de replicacin a largo plazo se acople con el error sistemtico (Sesgo) del
experimento de comparacin de mtodos para localizar el punto operativo o de funcionamiento del mtodo. Estos resultados brindarn la evaluacin ms exigente del
desempeo del mtodo.
Cules son las clasificaciones de desempeo en una Carta de Decisin del
Mtodo?
Al desempeo del mtodo se lo clasifica como inaceptable, pobre, marginal, bueno,
excelente y clase mundial (Seis Sigma), dependiendo del lugar dnde se posicione el
punto operativo. Un mtodo con un desempeo inaceptable es tan malo que la calidad
del examen no puede satisfacer el requisito de la calidad definido para el examen. Un
mtodo con un desempeo pobre podra haber sido considerado aceptable antes de la
introduccin de la Gestin de la Calidad Seis Sigma, pero Seis Sigma estableci un
mnimo de desempeo de 3 sigmas para cualquier proceso de produccin. Un mtodo
con un desempeo marginal est bien cuando todo est funcionando adecuadamente
pero generalmente requerir esfuerzos extensivos para mantener el desempeo bajo
operaciones de rutina. Un mtodo con un desempeo bueno requiere de un esquema de
control estadstico interno de la calidad solido y ofrece un desempeo consisten durante
la operacin de rutina. Un mtodo con un desempeo excelente ser muy manejable y
controlable. Un mtodo con desempeo de clase mundial requerir un mnimo control
estadstico interno de la calidad para garantizar que se alcanza la calidad deseada en
la operacin de rutina.
Cul es su evaluacin sobre un mtodo de calcio cuya S observada es 0.2 mg/
dL y cuyo Sesgo observado es 0.1 mg/dL a un nivel de decisin mdica de 11.0?
Para el calcio, el error total permitido por CLIA es 1,0 mg/dL, el cual a un nivel de
decisin de 11,0 mg/dL sera aproximadamente 9%. Establezca una escala en el eje y
desde cero hasta el valor del requisito de la calidad escogido para el nivel de decisin
mdica evaluado (9%) en la Carta de Decisin de Mtodo. Establezca la escala en el
eje x desde cero hasta el 50% del requisito de la calidad escogido, 4,5% (9% *0,5).
La S observada es de 0,2 mg/dL a 11,0 mg/dL y equivale a un CV de 1,8%. El sesgo
observado es equivalente a 0,9%. El punto operativo (y=0,9%, x=1,8%) muestra que el
desempeo del mtodo es bueno.
pgina 300

Westgard QC, Inc., Copyright 2013

Captulo 17. Cul es un procedimiento prctico para validar un


mtodo?
Cules son los experimentos mnimos necesarios para sus exmenes?
La respuesta, por supuesto, depende de la clasificacin de los exmenes que se
realizan en su laboratorio. Si se realizan slo exmenes waived o PPM, no se necesitan
estudios de validacin de mtodo. Si se realizan exmenes non-waived, por lo general
necesitar validar el rango reportable, realizar un experimento de replicacin para
validar la precisin y realizar un experimento de comparacin de mtodos para validar
la exactitud del mtodo. Puede verificar la transferencia de los intervalos de referencia
mediante el clculo de los resultados de la comparacin de mtodos si previamente ha
realizado estudios para establecer intervalos de referencia en su propio laboratorio o
mediante el enfoque de 20 muestras para verificar los intervalos recomendados por el
fabricante.
Cul es el nmero mnimo de mediciones necesarias para cada experimento?
Las mediciones mnimas para el rango reportable son duplicados en una serie de
4 muestras o estndar (o 5 materiales para CAP). La precisin requiere 20 mediciones
por un perodo de 20 das preferiblemente, aunque algunas agencias de inspeccin
pueden aceptar protocolos ms cortos. La exactitud a travs de la comparacin de mtodos debera requerir de 20 a 40 especmenes de pacientes 20 si las muestras son
seleccionadas para cubrir un rango analtico amplio, 40 si son seleccionadas de manera
pgina 301

Validacin Bsica de Mtodos, Edicin Wallace Coulter

aleatoria. La transferencia de los intervalos de referencia puede ser verificada con 20


especmenes de un subgrupo definido de la poblacin.
Cul es la mejor forma de organizar estos experimentos?
Realice la linealidad primero, luego la replicacin y la comparacin de mtodos y
por ltimo verifique la transferencia del intervalo de referencia.
Cul es la forma ms prctica de hacer los clculos a partir de los datos?
Esto, por supuesto, depende de sus recursos personales y de los recursos disponibles
en su laboratorio. A menudo es prctico usar una hoja de clculos electrnica ya que la
mayora de las computadoras vienen con algn tipo de paquete de office que incluye
una hoja de clculo.

Captulo 18. Cmo usa la estadstica en el Mundo Real?


El anlisis de regresin lineal para una prueba de hemoglobina glicosilada

muestra los siguiente: Nuevo Mtodo (Y) = 0.93 Viejo Mtodo (X) + 0.29 (r =
0.992). Cul es el estimado para la pendiente y cul es el estimado para el
intercepto-Y?
Es bastante comn ver las estadsticas de regresin presentadas como la ecuacin y=a+b*x, en la cual a es el intercepto-Y y b es la pendiente. En este caso y
es valor del nuevo mtodo y x es el valor del viejo mtodo. El multiplicador del
viejo mtodo es la pendiente, que es de 0,93. Idealmente, debera ser de 1,00 pero la
informacin muestra que el nuevo mtodo tiene un error proporcional de 7,0% (1,000,93, que es 0,07 o 7,0% al expresarlo como porcentaje). El intercepto-Y es de 0,29%
GHb. Ntese que % aqu es la unidad de la medicin GHb.
Son confiables los estimados para la pendiente y el intercepto-y?
Dado que r es mayor que 0,99, la regresin lineal comn brindar estimados
confiables de la pendiente y el intercepto-Y.
Debera usted emplear la prueba t o Bland Altman en lugar de la regresin
lineal simple?
No es necesario recurrir al anlisis de datos de una prueba t o Bland-Altman
ya que la regresin lineal comn ser confiable para estos datos.
Debera usted usar la regresin de Deming o el modelo Passing-Bablock en
lugar de la regresin lineal simple?
No es necesario utilizar la regresin Deming o Passing-Bablock ya que la regresin
lineal comn ser confiable para esta informacin.

pgina 302

Westgard QC, Inc., Copyright 2013

Captulo 19. Cmo pueden ser verificadas las especificaciones de


desempeo de los fabricantes?
Qu es lo que hace al protocolo EP 15 atractivo para los laboratorios?
El EP15 requiere mnima informacin, slo 5 das para la precisin, slo 20 especmenes de pacientes para la comparacin de mtodos, y posiblemente slo 2 materiales
de referencia analizados en duplicado por 5 das para la veracidad. El EP15 slo est
destinado a verificar las especificaciones declaradas por los fabricantes, es decir para
demostrar que el desempeo observado en el laboratorio es consistente con el desempeo esperado (declarado) por el fabricante.
Cules son las dificultades potenciales en la implementacin del EP 15?
Los clculos son ms complicados, particularmente aquellos empleados en la
estimacin de la precisin. Los clculos tambin requieren la estimacin de los lmites
de confianza o lmites de verificacin para demostrar que el desempeo del laboratorio
es consistente con el desempeo declarado por el fabricante.
Qu es la precisin intra laboratorio?
Este es un nuevo trmino, consistente con la terminologa utilizada por ISO (Organizacin Internacional para la Estandarizacin) para la precisin total o da a da.
Qu es veracidad?
Este es un nuevo trmino, una vez ms utilizado por ISO, para la exactitud, la
cual es estimada al calcular el sesgo.
Cul es el modelo estadstico recomendado por el EP 15 para la estimacin
del sesgo?
Las estadsticas apareadas de la prueba t, junto con un grfico de diferencias
para realizar una presentacin grfica de los datos de pacientes.

Captulo 20. Cmo pueden ser evaluadas las especificaciones de


desempeo declaradas por los fabricantes en una escala Sigma?
Cul es el vnculo que existe entre La Carta de Decisin de Mtodo y la
mtrica Sigma?
El criterio de la Carta de Decisin de Mtodo corresponde al desempeo en la escala
sigma, por ejemplo TE=sesgo+ 6S corresponde a 6-desempeo Sigma, TE= sesgo+5S
corresponde a 5- desempeo Sigma, etc. Puede usar una herramienta grfica para
juzgar la aceptabilidad del desempeo, o puede calcular una mtrica Sigma.
Cul es la ecuacin para calcular una mtrica Sigma?

Sigma= (TEa-sesgo)/CV, en el cual se toma TEa como el error total permitido


expresado por el criterio CLIA para el desempeo aceptable de exmenes de evaluacin
pgina 303

Validacin Bsica de Mtodos, Edicin Wallace Coulter

de la competencia (PT, por sus siglas en ingles), el sesgo es la exactitud (error sistemtico,
veracidad) determinado por un experimento de comparacin de mtodos y CV es la
precisin determinada por un experimento de replicacin. Todas estas cantidades deben
expresarse en la misma unidad, sea porcentaje o unidades de concentracin.
Cmo puede estimar la mtrica sigma a partir de las especificaciones de
desempeo declaradas por el fabricante?
Los fabricantes deben establecer y declarar especificaciones de desempeo para
la precisin y la exactitud de sus procedimientos de medida. La especificacin de precisin se presenta frecuentemente como la S o CV observado en 2 o ms materiales de
control diferentes con diferentes concentraciones. La especificacin de desempeo de
exactitud se presenta frecuentemente a travs de las estadsticas de regresin obtenidas
a partir de los datos de la comparacin de mtodos. Debe interpretar adecuadamente
las estadsticas disponibles para elaborar el estimado de precisin y sesgo, luego introducir esos nmeros en la ecuacin Sigma. Esto requiere la definicin del nivel(es)
de decisin mdica o concentracin(es) crtica(s) para el uso clnico e interpretacin
del resultado del examen con el fin de realizar los estimados apropiados de precisin y
sesgo a partir de las especificaciones declaradas por los fabricantes.
Cul es el desempeo Sigma de un mtodo de colesterol para el cual la
precisin declarada por el fabricante es de 2.0% a una concentracin de
200 mg/dL y la exactitud declarada est dada por la siguiente ecuacin de
regresin Y=0.96X +6.0?
Dado el requisito de la calidad de CLIA TEa de 10% y un nivel de decisin mdica
de 200 mg/dL, el CV de 2,0% representa el desempeo a una concentracin crtica. El
sesgo a 200 mg/dL es estimado como 1,0% (Yc=198 correspondiente a un Xc de 200, o
un sesgo de 2,0 mg/dL, el cual es 1,0% en una concentracin de 200 mg/dL). Sigma =
(10-1)/2 o 4,5.

Captulo 21. Qu impacto tendr ISO en la gestin de la calidad


analtica?
Cul es el significado de las siglas ISO?
Organizacin Internacional para la Estandarizacin, la cual establece estndares
globales para el manejo de la calidad incluyendo un documento especfico 15189 para
laboratorios mdicos.
A qu concepto se aproxima ms veracidad: precisin, exactitud o error
total?
A exactitud, que es estimada como sesgo, o diferencia promedio entre las mediciones observadas y el valor verdadero o trazable.

pgina 304

Westgard QC, Inc., Copyright 2013

A qu concepto se aproxima ms incertidumbre: precisin, exactitud o


error total?
El error total representa el mximo error esperado de un mtodo de medicin; de
la misma manera, la incertidumbre explica la variacin total esperada. Las dos caractersticas son calculadas de maneras diferentes, pero ambas intentan caracterizar la
calidad de una medicin o resultado de un examen.
Por qu es importante la trazabilidad?
La trazabilidad es la conexin con la verdad o la relacin de un valor observado con
el valor real. La trazabilidad depende de un sistema de mtodos de referencia o materiales de referencia que conectan mtodos de campo con la verdad (valores verdaderos).
Cules son las ventajas que aportan los conceptos de veracidad e
incertidumbre?
Estos trminos representan el lenguaje global estndar para describir el desempeo de los procedimientos de medicin. Estn basados en conceptos y procedimientos
provenientes del campo de la metrologa, es decir la ciencia de las mediciones. Como
tales, representan conceptos y terminologa aceptada que sern adoptados en todos
los campos de medicin y en la actualidad estn siendo adoptados globalmente en los
laboratorios clnicos. La veracidad y la incertidumbre brindan medidas de la calidad
que los procesos de exmenes de laboratorio estn alcanzando.
Cules son las ventajas de aplicar el modelo de error tradicional en el
laboratorio clnico?
La practicidad! Los errores son medidas significativas de la calidad de los exmenes
de laboratorio y procesos de medicin. La gente entiende que los errores necesitan ser
cuidadosamente monitoreados y controlados con el fin de brindar resultados de exmenes
con la calidad apropiada. Existen muchas herramientas para medir, monitorear, controlar, validar y evaluar la calidad de los exmenes de laboratorio y sus procesos.

pgina 305

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Respuestas al Conjunto de Problemas


Informacin de Validacin del Mtodo de
Colesterol
Experimento de Linealidad
Los valores promedio a ser graficados en el eje y contra los valores asignados
de botella en el eje x son los siguientes: 49,50 mg/dL contra 50 mg/dL; 99,75
contra 100; 153,25 contra 150; 195,00 contra 200; 250,75 contra 250; 308,50
contra 300; 341,75 contra 350; 389,75 contra 400. El trazado de una lnea recta
a travs de estos puntos muestra buena linealidad a lo largo del rango. La cada
observada a 400 mg/dL es de 10.25 mg/dL, es pequea comparada con el error
permitido del 10% (el criterio CLIA PT por sus siglas en ingles para desempeo
aceptable), que expresado en unidades de concentracin es de 40 mg/dL en el
extremo superior (400mg/dL*0,10). El rango reportable final ha sido validado
como 0 a 400 mg/dL.

pgina 306

Westgard QC, Inc., Copyright 2013

Experimento de replicacin
Los datos para el Control A dan una media de 199,20 mg/dL, una S de 5,84
mg/dL y un CV de 2,93%. El Control B muestra una media de 239,65 mg/dL,
una S de 5,61 mg/dL y un CV de 2,34%.

Experimento de recuperacin
La cantidad de estndar aadido es 50,0 mg/dL (dilucin 1/10 de un estndar
de 500 mg/dL). Para 6 muestras de recuperacin, el resultado de base promedio
(muestra de base), el resultado spiked (la muestra suplementada) promedio,
la diferencia y el % de recuperacin es el siguiente:
Muestra de Base

Muestra Suplementada

Diferencia

Agregado

% de Recuperacin

149,75

200,50

50,75

50,0

101,5

182,75

228,50

45,75

50,0

91,5

201,75

253,25

51,50

50,0

103,0

189,00

240,50

51,50

50,0

103,0

160,50

207,75

47,25

50,0

94,5

190,25

242,25

52,00

50,0

104,0
pgina 307

Validacin Bsica de Mtodos, Edicin Wallace Coulter

La recuperacin promedio es de 99,58%, la cual es muy cercana a la recuperacin ideal de 100,0%. Se concluye que hay poco, si es que existe, error
proporcional sistemtico observado para este mtodo.

Experimento de interferencia
El efecto de la bilirrubina en el desempeo del mtodo puede ser visto al calcular la
diferencia entre las muestras de base promedio y las muestras spiked promedio.
Base

Suplementada

Diferencia

214,25

225,50

11,25 mg/dL

220,25

234,75

14,50

295,00

302,00

7,00

171,25

183,50

12,25

251,75

260,00

8,25

225,50

236,00

10,50

La interferencia promedio es de 10,63 mg/dL cuando el espcimen tiene un


nivel de bilirrubina de 10 mg/dL. Se concluye que una bilirrubina elevada es un
problema con este mtodo de medicin de colesterol.

Experimento de comparacin de mtodos


Los datos originales de 40 pares de datos, muestran que hay un par para el cual
hubo probablemente un error al registrar los resultados. La muestra #8 muestra
resultados tabulados de 197 para el mtodo comparativo y 275 para el mtodo
de examen. Incluir este par de resultados fue un truco sucio para ensearle la
importancia de inspeccionar la informacin cuidadosamente tan pronto como
los resultados analticos estn disponibles.
Si este punto discrepante se incluye en el anlisis estadstico de la datos,
las estadsticas de regresin dan una pendiente de 0,941, un intercepto-Y de
3,25 mg/d, una S de 15,3 mg/dL para los residuales o puntos sobre la lnea de
regresin, y un coeficiente de correlacin de 0,945. Las estadsticas de la prueba
t para datos apareados dan un sesgo de -9,73 mg/dL en una media de 211,5
mg/dL, con una S de diferencias (Sdif )de 15,4 mg/dL y un valor t de 4,00.

Si se saca este punto discrepante del conjunto de datos y se analizan los 39

pgina 308

Westgard QC, Inc., Copyright 2013

pares de resultados restantes, las estadsticas de regresin dan una pendiente de


0.967, un intercepto-Y de -4,70 mg/dL, una S de 5,73 mg/dL para los puntos sobre
la lnea de regresin, y un coeficiente de correlacin de 0.992. Las estadsticas de
la prueba t para datos apareados dan un sesgo de -12,0 mg/dL en una media
de 209,9 mg/dL, una S de diferencias (Sdif ) de 5,86 mg/dL y un valor t de 12,8.
El punto discrepante ejerce mayor influencia en trminos de S y coeficiente de
correlacin porque est en el medio del rango analtico de los datos. Si hubiera
una discrepancia similar cerca del extremo superior o inferior del rango analtico,
la pendiente y el intercepto se veran ms afectadas.

Para este conjunto de datos, habiendo sacado el punto discrepante, las espgina 309

Validacin Bsica de Mtodos, Edicin Wallace Coulter

tadsticas de regresin son la mejor opcin para analizar los datos. El coeficiente
de correlacin alto indica que el rango analtico de los datos es lo suficientemente
amplio y los coeficientes de regresin (pendiente e intercepto-Y) deberan ser
confiables.
En una concentracin que representa un nivel de decisin mdica de 200
mg/dL (que sera crtica para la interpretacin de un examen de colesterol), el
error sistemtico puede ser calculado a partir de la lnea de regresin, como se
muestra a continuacin: Yc =a + bXc, en el cual Xc es 200 mg/dL, a es 4,70
mg/dL, y b es 0,967. El valor correspondiente a Yc sera de 188,7 mg/dL, lo
que indica un error sistemtico de 11,3 mg/dL o 5,65%.

Conjunto de Problemas de Lmite de Deteccin


El lmite de Blanco (LoB) puede ser calculado a partir del estndar 0 como
1,65*0,26 = 0,43. El Lmite de Deteccin (LoD) puede ser calculado de la S
del estndar 2 ms el LoB calculado previamente, es decir LoB + 1,65 * 0,56
= 1,37. La sensibilidad funcional se calcula ms fcilmente que el Lmite de
Cuantificacin (LoQ). El CV del estndar 6 es muy cercano a 20%, la FS es de
aproximadamente 6,0. El LoQ ser ms alto, pero es difcil de estimar a partir
de estos datos.

pgina 310

Westgard QC, Inc., Copyright 2013

Est 0

Est 2

Est 4

Est 6

Est 8

-0,23

2,84

5,51

6,46

6,92

0,12

2,26

5,07

5,14

6,29

-0,40

1,25

3,15

3,78

8,67

0,13

3,52

2,72

7,28

7,86

0,05

1,95

3,67

6,20

5,24

0,18

2,71

5,35

5,00

7,38

-0,41

3,07

5,22

5,54

7,41

0,20

2,47

4,46

6,44

6,06

-0,32

1,95

2,55

6,71

7,53

-0,08

1,94

3,61

7,17

10,11

-0,41

1,93

3,79

4,92

8,70

-0,39

2,45

3,21

4,40

6,37

-0,32

2,38

3,42

6,11

7,54

-0,37

1,37

4,73

7,51

9,30

-0,17

1,58

4,07

6,38

8,10

0,38

2,46

3,47

5,55

7,87

-0,31

2,55

3,28

8,19

8,20

-0,41

2,57

5,67

8,48

7,99

0,10

2,27

4,99

5,45

9,38

-0,30

1,57

4,42

7,61

8,22

Est 0

Est 2

Est 4

Est 6

Est 8

media -0,15

2,25

4,12

6,22

7,76

DS

0,26

0,57

0,97

1,26

1,20

CV

-173,50

25,44

23,46

20,28

15,44

pgina 311

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Evaluacin del desempeo del mtodo


Se puede confeccionar una Carta de Decisin de Mtodo usando esta informacin
para un requisito de la calidad analtica del 10%, que es el que dicta CLIA como
el error total permitido (TEa) para una prueba de colesterol. El punto operativo
est representado por una coordenada x de 2,93% que sale de los datos para el
Control A (cuya media es cercana a 200 mg/dL) del experimento de replicacin.
La coordenada y es de 5,65% en base al error sistemtico observado a un nivel
de 200 mg/dL proveniente de los datos de la comparacin de mtodos. La Carta
de Decisin de Mtodo clasifica este mtodo con un desempeo inaceptable, por
lo tanto no debera considerar el uso de este mtodo para exmenes de rutina
en su laboratorio.

pgina 312

Westgard QC, Inc., Copyright 2013

Apndice 1: Calidad Analtica CLIA 88


Requisitos

Es fundamental para el Control de la Calidad conocer la calidad que se necesita


controlar. Se debe definir un requisito de la calidad si se desea que la prctica
del Control de la Calidad sea racional y objetiva. Histricamente, el Control de
la Calidad se ha utilizado en los laboratorios para monitorear cualquier calidad
alcanzada, y no para controlar un nivel definido de la calidad.

Requisitos de la Calidad Analtica


Los requisitos de la calidad analtica han sido definidos por los criterios de
Evaluacin de la Competencia CLIA 88 para un desempeo aceptable [Registro
Federal, 28 de Febrero, 1992;57(40):7002186].
Estos criterios se presentan en tres formas distintas:
como lmites de concentracin absoluta, por ejemplo, valor target 1 mg/
dL para calcio.
como porcentaje, por ejemplo, valor target 10% para albmina, colesterol,
y protenas totales.
como la distribucin de una encuesta de evaluacin externa de la calidad
para un grupo de laboratorios (grupo par o por mtodo), por ejemplo,
valor target 3 desvos estndar (SD) para la hormona estimulante de
la tiroides.
En unos pocos casos, se presentan dos tipos de lmites, por ejemplo, el requisito
para glucosa se da como el valor target 6 mg/dL o 10% (cualquiera
que
sea mayor).
El criterio CLIA de Evaluacin de la Competencia especifica los errores totales
permitidos. El formato de error total es absoluto dado que las reglas CLIA-88
especifican que solo una prueba sea realizada para cada muestra de Evaluacin
de la Competencia.
Bajo tales condiciones, el error analtico observado ser el error total debido
tanto a la imprecisin como a la inexactitud.
A continuacin se muestra un listado de los criterios de Evaluacin de la
Competencia CLIA para las pruebas actualmente reguladas, en base al Registro
Federal, 28 de Febrero, 1992.

pgina 313

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Qumica de Rutina
Prueba o Analito Desempeo Aceptable
cido rico
Alanina aminotransferasa (ALT)
Albmina
Amilasa
Aspartato aminotransferasa (AST)
Bilirrubina Total

Calcio total
Cloro
Colesterol lipoprotena de alta
densidad (C-HDL)
Colesterol total
Creatina kinasa
Creatina kinasa isoenzimas

Creatinina

Fosfatasa alcalina
Gases en sangre pCO2

Gases en sangre pH
Gases en sangre pO2
Glucosa
Hierro total
Lactato deshidrogenasa (LDH)
LDH isoenzimas

Magnesio
Nitrgeno ureico

Potasio
Protenas totales
Sodio
Triglicridos
pgina 314

Valor target 17%


Valor target 20%
Valor target 10%
Valor target 30%
Valor target 20%
Valor target 0,4 mg/dL
o 20 % (el mayor)
Valor target 1,0 mg/dL
Valor target 5%
Valor target 30%

Valor target 10%


Valor target 30%
MB elevada (presente o ausente)
o valor target 3 SD
Valor target 0,3 mg/dL
o 15% (el mayor)
Valor target 30%
Valor target 5 mm Hg
o 8% (el mayor)
Valor target 0,04
Valor target 3 SD
Valor target 6 mg/dL o 10%
Valor target 20%
Valor target 20%
LDH1/LDH2 (+ o )
o valor targer 30%
Valor target 25%
Valor target 2 mg/dL
o 9% (el mayor)
Valor target 0,5 mmol/L
Valor target 10%
Valor target 4 mmol/L
Valor target 25%

Westgard QC, Inc., Copyright 2013

Toxicologa
Prueba o Analito Desempeo Aceptable
cido valproico
Alcohol, sangre
Carbamazepina
Digoxina

Etosuccimida
Fenitona
Fenobarbital

Gentamicina
Litio

Plomo, sangre

Primidona
Procainamida (y metabolito)
Quinidina
Teofilina
Tobramicina

Valor target 25%


Valor target 25%
Valor target 25%
Valor target 20%
o 0,2 ng/mL (el mayor)
Valor target 20%
Valor target 25%
Valor target 20%

Valor target 25%


Valor target 0,3 mmol/L
o 20% (el mayor)
Valor target 10%
o 4 mcg/dL (el mayor)
Valor target 25%
Valor target 25%
Valor target 25%
Valor target 25%
Valor target 25%

Hematologa
Prueba o Analito Desempeo Aceptable
Identificacin celular
Diferencial glbulos blancos

90% o mayor acuerdo en identificacin

Target 3 SD en base al porcentaje


de diferentes tipos de glbulos blancos

Fibringeno
Hematocrito
Hemoglobina
Recuento de eritrocitos
Recuento de leucocitos
Recuento de plaquetas
Tiempo de protrombina
Tiempo de tromboplastina parcial

Target 20%
Target 6%
Target 7%
Target 6%
Target 15%
Target 25%
Target 15%
Target 15%
pgina 315

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Endocrinologa
Prueba o Analito Desempeo Aceptable
Cortisol
Valor target 25%
Gonadotrofina corinica humana
Valor target 3 SD
o (positivo o negativo)
Hormona estimuladora de la tiroides
Valor target 3 SD
T3 captacin
Valor target 3 SD por mtodo
Tiroxina
Valor target 20%

o 1.0 mcg/dL (el mayor)
Tiroxina libre
Valor target 3 SD
Triiodotironina

Valor target 3 SD

Inmunologa General
Prueba o Analito Desempeo Aceptable
Alfa-1-antitripsina
Valor target 3 SD
Alfa-fetoprotena
Valor target 3 SD
Anticuerpos anti-nucleo
Valor target 2 diluciones

o (pos. o neg.)
Antiestreptolisina O
Valor target 2 diluciones
o (pos. o neg.)
Anti-virus de inmunodeficiencia humana Reactivo o no reactivo
Complemento C3
Valor target 3 SD
Complemento C4
Valor target 3 SD
Factor reumatoideo
Valor target 2 diluciones
o (pos. o neg.)
Hepatitis (HBsAg, anti-HBc, HBeAg) Rectivo (positivo)
o no reactivo (negativo)
IgA
Valor target 3 SD
IgE
Valor target 3 SD
IgG
Valor target 25%
IgM
Valor target 3 SD
Mononucleosis infecciosa
Valor target 2 diluciones
o (pos. o neg.)
Rubeola
Valor target 2 diluciones
o (pos. o neg.)
pgina 316

Westgard QC, Inc., Copyright 2013

ndice

caractersticas metodolgicas

AC, ver aseguramiento de la calidad


aceptabilidad del mtodo
72, 83, 84, 132, 133, 153, 166, 187, 225, 228, 253
anlisis de regresin

89, 100, 102, 222, 224,


227, 302

anlisis de varianzas (ANOVA)


anlisis estadstico

122

82, 144, 189, 192, 223,


272, 308

aplicaciones de campo de la validacin de


mtodos

197 204
aseguramiento de la calidad 5

, 40

B
b, ver pendiente
buenas prcticas de laboratorio

175

calculador de datos apareados

79, 82, 242

Calculador de Desvo Estndar (S)

79, 80, 82

calibracin
41, 44-46, 49, 57, 59, 67, 69, 71,
103, 164, 225, 234, 235, 265, 266, 268, 269, 275,
276, 290
definicin
107
directivas de los fabricantes
105
material
109
puntos mltiples
105
punto de ajuste
105
dos puntos
106
punto cero
106
verificacin de la calibracin
107, 112
anlisis de datos
110
calidad
definicin ISO

3, 5-7, 15
265

calidad analtica

5-7, 16, 17
57-61, 225, 288

caractersticas de desempeo 6, 37, 43, 57-61,


231, 234, 265, 266, 269, 278, 277, 288, 289
caractersticas del mtodo

carta de decisin de mtodos


195, 196, 199,
201, 204, 211, 213, 300
calculador
84
ejemplos de aplicacin
202
desempeo excelente
201
desempeo bueno
201
como construir
199-200
como usar
201
desempeo marginal
201
desempeo pobre
201
desempeo inaceptable
201
desempeo clase mundial
201
CC, ver control de la calidad
CLIA, CLIA criterios de aceptacin, etc.15, 22-24,
33, 39-40, 42-44, 47-49, 51, 70, 81, 105-107, 111112, 121, 133-136, 163, 167, 179, 189, 198, 199,
202, 203, 209, 211, 233, 251, 257, 258, 260, 269,
287, 300, 303, 304, 306, 312, 313
Clinical Laboratory Improvement Amendments,
ver CLIA
Clinical Laboratory Standards Institute, ver
CLSI

caractersticas de aplicacin

57-61, 65, 213

209

CLSI 24, 70, 73, 108-110, 113, 118, 122-123, 135136, 161, 175, 179-180, 187-188, 190, 193, 231,
233-234, 237, 248, 265, 276, 279-280, 299
CMS

7, 24, 37, 39, 42, 46, 49

coeficiente de correlacin (r)


30-31, 82-83,
102, 135, 148-149, 151, 155, 212, 287, 291, 297298, 308-310
definicin
102
coeficiente de Pearson, ver coeficiente de
correlacin
coeficiente de variacin (CV)
32, 76, 90, 102,
122, 124, 199, 212, 238, 257, 259, 280, 291
definicin
90
COLA

24, 39, 50

College of American Pathologists (CAP),


19, 37, 39, 107
complejidad del examen

42

concentracin de decisin mdica (nivel de


decisin mdica)
102, 119, 126, 132, 151, 153, 155, 165, 196, 198199. 213, 226, 245, 259, 296, 216

pgina 317

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Conferencia de Consenso de Estocolmo

19

desviacin estndar de las diferencias 228, 241

control arbitrario

22

desviacin estndar total

121

control de la calidad 6, 9, 41, 46-48, 51, 60, 72,


119, 135, 201, 203, 235, 265, 267, 269, 285, 313

desvo sistemtico

control estadstico interno de la calidad


6, 8-9, 18, 20-22, 56, 73, 112, 241, 257, 269, 271,
279, 300

diferencia promedio entre mtodos

control externo de la calidad


corrida analtica

271
201-202, 235

covarianzas

273

criterios de aceptacin de los esquemas de


evaluacin de la competencia
20-21, 46, 60-6, 81, 109, 112
cuadrados mnimos, lnea

100, 132, 287

curva Gaussian

90

curva normal 90
CV ver coeficiente de variacin
CV mximo permitido

22

D
datos aberrantes

227

desempeo aceptable 22, 24, 34, 133-134, 167,


179, 202-203, 258, 260, 278, 300, 303, 313
decisin de mtodos
decisin sobre el desempeo del mtodo
defectos por milln (DPM)

133, 253
197-204
254-255

desempeo del mtodo 6, 10, 22-23, 33, 48, 56,


60, 65, 67, 71-72, 78, 87, 133, 154, 179, 187, 195,
197, 209, 211, 213-214, 216, 225, 235, 266, 278,
286, 287, 289, 293, 300, 308
desviacin estndar (SD) 18, 30-31, 79, 82, 87-94,
101, 111-112, 117, 120-122, 124, 133, 144, 151,
176-177, 199, 212, 228, 237, 241, 243, 274, 287,
290, 292-293, 299
desviacin estndar del intercepto (sa):
desviacin estndar de la pendiente (sb):

101
101

desviacin estndar sobre la lnea de regresin


100
desviacin estndar de los residuales

pgina 318

100

34

deteccin de errores

6
160, 163

diseo de la calidad

10

dispersin

90

distribucin

31, 79

distribucin chi-cuadrado

239-240

E
ecuacin de la lnea de regresin

101

ecuacin de regresin 100-101, 152, 192, 252, 304


EP5

73, 122, 248

EP6

113

EP9

73, 136, 248

EP15 73, 122, 123, 135-136, 248, 265, 282, 303


clculos usando Excel
237
clculos de datos de precisin
236
Protocolo de precisin
235-244
propsito
233
alcance y definiciones
234
hoja de clculo
237
clculo de datos de veracidad
246
protocolo de veracidad empleando datos de
pacientes
241-244
protocolo de veracidad empleando materiales
de referencia
245-247
EP17

175, 180-181

error aleatorio 31-32, 66-68, 78, 80, 82-83, 91,


95-98, 110-112, 117-120, 124, 133, 135, 140, 142,
144-145, 148-149, 151, 153, 160, 165, 198-199,
210, 213, 225, 228, 272, 286-287, 296
EA, ver error aleatorio
errores analticos
7-8, 10, 27-28, 30-31, 33,
63, 65, 67, 69, 72, 89, 100, 102, 131, 139, 141,
144, 150-151, 154, 198, 210, 211, 282, 296, 298
definiciones
31
error constante

31, 151, 159, 290, 296-297

error estndar de la media


definicin

89, 92, 95, 246


89

Westgard QC, Inc., Copyright 2013

error mximo permitido (ETa), ver tambin error


total mximo permitido
268
error observador

167, 225

errores pos analticos

7, 10

errores pre analticos

7, 10

error total y error total permitido


19, 21, 23,
32-34, 58-59, 65, 81, 110-112, 121,133-134, 155,
167, 176, 197-199, 202-203, 211, 213, 225, 264,
272, 275-281, 286-287, 2929, 299-300, 303, 305,
312-313

estadsticas de regresin
79, 80, 82, 102,
125, 132, 137, 140, 141, 151, 152, 155, 162, 191,
192, 199, 212, 213, 216, 224, 226, 227, 290, 291,
295, 296, 297, 302, 304, 308, 309
estadstica no paramtrica

91

estadstica paramtrica

91

estadsticas de regresin lineal


82, 132,
212, 290, 295-296
estadsticamente significativo
84, 88, 96, 134,
140, 144, 153-154, 292, 296

ET ver error total

estado del arte

ETa ver error total permitidor

estndares de la calidad
una corta historia
fuentes convenientes
jerarqua
tendencias y direccin

ET calculado

133

ES, ver tambin error sistemtico


Error Sistemtico (ES)

32, 133, 135

error sistemtico constante 32, 67-68, 82, 140,


142, 144, 146, 150-152, 157, 167, 171, 212, 296297
error sistemtico proporcional
32, 67, 67, 69,
82, 93, 140, 142, 144, 147-148, 150-152, 157, 163,
166-168, 170, 212, 225, 290, 296-297
escala Sigma

251, 253-254, 257, 303

especificaciones declaradas por los fabricantes


105, 134, 247, 303-304
especificidad analtica

33, 47, 49, 57, 209-210,


269, 275, 288

especmenes
55, 57, 69, 71-72, 79, 81, 83-84,
107, 109, 118, 121, 126, 128-131, 133, 135, 142,
150, 160-163, 165, 167, 170-171, 186-190, 210,
212, 214-215, 226-228, 234, 258, 289, 295, 299,
301-302
especmenes de pacientes
69, 83-84, 107,
109, 121, 128, 129, 135, 160-161, 165, 170-171,
186, 210, 212, 234, 258, 289, 299, 301
esquemas de evaluacin de la competencia
19, 46, 60-61, 81, 109, 112, 135, 198, 211, 255,
257, 271-272, 278-279, 300
estadsticas
10, 17, 29, 31, 75, 79, 80, 82, 83,
86, 87, 89, 94, 97, 101, 102, 125, 129, 131, 132,
133, 136, 137, 138, 139, 140, 141, 144, 145, 148,
149, 150, 151, 152, 155, 162, 190, 191, 192, 195,
197, 199, 212, 213, 216, 221, 223, 224, 225, 226,
227, 228, 229, 247, 279, 287, 290, 291, 292, 294,
295, 296, 297, 302, 303, 304, 308, 309

20, 22, 278


17-19, 20, 23, 211
18 20
22
19-20, 268, 278
24

estudio de comparacin de mtodos


30, 81,
129, 151, 162, 191, 215, 228, 258, 289, 295
estadsticas apropiadas
131, 141
mtodo comparativo
72, 98, 127, 128,
157, 162, 192, 299, 308
criterio de desempeo aceptable
260
estudios mnimos recomendados
122
periodo de tiempo
118
verificacin de las especificaciones del
abricante
134-135
estudio de interferencias
159, 210
mtodo comparativo
162
clculos de datos
162
concentracin del material interferente
159, 161
criterios para desempeo aceptable
167
solucin interferente
160
interferencias a ser examinadas
161
desempeo del pipeteo
161
propsito
159
replicados
160
volumen del interferente aadido
160
estudio del lmite de deteccin
muestra de blanco
solucin de blanco
definicin
ejemplos estimados
factores a considerar
especificaciones del fabricante
nmero de mediciones replicadas
propsito
cantidad a ser estimada
muestra suplementada
definicin

175
176
178
176
179
177
175
178
175
179
178
176

pgina 319

Validacin Bsica de Mtodos, Edicin Wallace Coulter

cometarios 180
periodo de tiempo del estudio
179
verificacin de las especificaciones del
fabricante
175
estndar de cero
178
estudio de linealidad 43-44, 79, 81, 103, 105, 108109, 131, 152, 158
anlisis de datos
110
diluyente
109
materiales
109
cantidad de niveles
109
cantidad de replicados
110
procedimiento de dilucin
109
estudio de rango reportable
ver tambin estudio de linealidad
grfico

105-112
111

estudio de replicacin

117, 129, 213-215, 287,


294-295
concentraciones a ser ensayadas
119
criterio para desempeo aceptable
121
clculo de datos
120
consideraciones futuras
122
matriz de la muestra
118
cantidad de materiales
119
cantidad de nuestras a ser ensayadas
120
estudios mnimos recomendados
122
periodo de tiempo
118
verificacin de las especificaciones declaradas
por el fabricante
121
intra da
118, 119, 121, 123
intra corrida
118, 119, 121, 123
hoja de clculo
204, 208

estudio de recuperacin
69, 92, 158, 163167, 167-168, 212, 298, 307
concentracin necesaria del analito
165
concentracin de la solucin estndar
165
calculo de datos
166
factores a considerar
164-166
nmero de pacientes analizado
165
nmero de mediciones replicadas
165
exactitud de pipeteo
164
propsito
163
comentarios
167-168
verificacin de la tcnica experimental
166
volumen de estndar adicionado
164
estudios finales de validacin de mtodos 70

pgina 320

estudios de replicacin finales

71

estudios finales

68

estudio de replicacin intra corrida

118

estudios de validacin de mtodos preliminares


69
estudios de validacin
27, 64-65, 72, 88, 117,
139, 207, 224, 257, 266, 286-287, 289, 292
evaluacin de errores

29, 55, 66, 141

evaluacin de la calidad

5, 7, 16, 40-41,
257, 261

evaluacin de la competencia 19-21, 23, 46, 49,


60-61, 81, 109, 112, 135, 198, 211, 234, 255, 257,
271-272, 278-279, 300, 313
exactitud
7, 9, 15, 20, 33, 42-43, 46-49,
57-59, 65, 69, 80, 88, 107, 127-128, 134-135, 159,
161, 164, 209, 225, 251-252, 258, 264-265, 269270, 272-273, 275-277, 280, 287-289, 292-293, 31,
303-305
exactitud de la medicin,
definicin ISO

270

expresin de la incertidumbre de medida


272-273

F
falso rechazo
factores pre analticos
FDA

56, 240, 248


21, 187

7, 38-39, 42-43, 47, 49, 60, 70, 175, 177,


188, 276, 288

G
gestin de la calidad
14-17, 24, 40, 49, 201,
209, 229, 253-254, 263, 265, 279, 281, 286, 300,
304,
gestin total de la calidad (TQM)

13, 17,
24, 253, 285

grados de libertad (df)


90, 92, 95-96, 98, 101,
122, 134, 236, 239-240, 243, 246, 249, 292-293
grfico de Bland-Altman, ver tambin grfico de
diferencias
224, 228, 302
grfico de comparacin 79-80, 82-83, 130-131,
135, 139, 145, 154, 212, 214, 226-227, 290, 295
grfico de diferencias
79-80, 82, 84, 130, 135,
139, 154 224, 226-228, 242-243, 247, 303

Westgard QC, Inc., Copyright 2013

gua para la expresin de la incertidumbre de


medida (GUM)
265, 270, 272, 276-277
gua para verificar las especificaciones
declaradas por los fabricantes
231, 233

intervalo de referencia 18, 43, 48, 185-190, 192,


295, 299
datos demogrficos
189
establecimiento
187
lmites
188

H
herramientas para el anlisis de datos 136, 279

inexactitud
6, 21-22, 33, 64, 80, 84, 125, 127,
157, 200-201, 203, 210, 212-213, 285-286, 289,
295, 300
Ver tambin exactitud, sesgo

herramienta para graficar datos de linealidad


79, 81

inexactitud permitida

84

herramientas recomendadas para el anlisis de


datos
78-80

inexactitud observada

203, 300

intercepto

hemlisis

161, 210

hiptesis nula
histograma

94, 98
79-80, 82, 121, 124, 190, 290

interferencias

100, 297-298, 309


48, 93, 128, 135, 158, 160-161,
210, 228, 266-267, 287, 298

interpretacin de la prueba-F

87, 98

intervalo de confianza 34, 91-94, 134, 140, 243,


246, 274, 281

I
implementacin del mtodo

17, 70

imprecisin 6, 16, 20-22, 31, 33, 43-44, 58, 64,


66-68, 71, 78, 80, 82-84, 97, 115-119, 121, 124,
160, 165, 167, 200-201, 203, 210, 213, 216, 228,
251, 258, 277, 278, 280, 285-286, 289, 292, 294295, 313
imprecisin a corto plazo

122

imprecisin intracorrida e intrada

119

imprecisin observada

201, 203, 292

imprecisin permitida

definicin ISO

ISO 15189
34-35, 263, 265, 269, 279, 283
calibracin de sistemas
268
validacin y verificacin
265-268

J
jerarqua de la especificaciones de la calidad 278

84

incertidumbre 34-35, 95-96, 246-247, 263, 265267, 269-270, 272-282, 305


incertidumbre de la medicin

gua para la validacin de mtodos y control


estadstico interno de la calidad
265-268

246, 265, 267,


272
272

L
laboratorios de referencia

272

lmites de control aceptables


lmite de deteccin biolgico

45-46
175

incertidumbre estndar
definicin ISO

273-274
273

lmite de blanco (LoB)


definicin

incertidumbre estndar combinada


definicin de ISO

273-274
273

lmite de deteccin (LoD) 7, 33, 44, 48, 57, 69, 71,


107, 109, 173-178, 180, 182-183, 210, 212, 266,
269, 288, 298-299, 310
definicin
176

incertidumbre expandida
definicin ISO

34, 273-274, 278


273

173-176, 182, 299, 310


176

incertidumbre tipo A
definicin ISO

272

incertidumbre tipo B
definicin ISO

lmite de cuantificacin (LoQ) 173, 175-176, 299,


310
definicin
176

272

lmites de tolerancia

254

lnea de mejor ajuste

81-82, 132, 294

inmunoensayos

175, 192

pgina 321

Validacin Bsica de Mtodos, Edicin Wallace Coulter

lnea de regresin

101, 108, 132, 146-147,


191, 291

linealidad
43-44, 79, 81, 103, 105, 108-109,
131, 152, 159, 210, 215, 227, 294, 302, 306
lnea de mejor ajuste
108
liofilizacin
lipemia

119
59, 71, 160-161, 168, 298

lquido cefalorraquideo

118

M
mantenimiento preventivo

45-46, 56, 72, 201,


213

Materiales de Referencia Certificados

135

materiales de control 46, 48, 119, 122, 124, 135,


210, 214, 235, 271, 304
materiales de control de la calidad
materiales de referencia
matriz

48, 135

45, 135, 234, 245,


247, 268, 270-271, 303

71, 83, 109, 118-119, 128, 163-164, 178,


212, 235, 289

media
32, 68, 81-82, 89-96, 102, 110-112, 120,
132, 134-135, 150-151, 153, 155, 179, 212-213,
216, 224, 226-228, 236-237, 241, 245-246, 270,
291, 296, 307-308, 312
definicin
90
media verdadera

91

medicin de la incertidumbre
mediciones replicadas

266
91, 112, 286, 294

mejor lnea de ajuste

30, 224

MC, ver mejora de la calidad


mejora de la calidad (MC)

17

mtodos non-waived no aprobados por la FDA


43, 49, 288
Mtrica Sigma

251-256, 258, 260, 304

mitos modernos de la calidad

5-8

muestra de blanco

176, 298

muestras de pacientes
72, 88, 101, 107, 112,
119, 127-128, 135, 165, 178, 241, 247, 293
muestras de esquemas de evaluacin de la
competencia
46
muestra suplementada
179-180, 299

N
120, 203, 205, 260

NCEP

niveles de decisin
120, 126-127, 131-132,
135, 151, 155, 197, 211, 226-227, 235, 245, 257259, 295
nivel de decisin crtico
ver tambin nivel de decisin mdica

132

nivel de deteccin mnimo 1

75

no linealidad
non-waived

227
38-39, 41-43, 47, 49, 70, 175

nmero de mediciones 82-83, 89, 91, 86, 98, 122,


215

P
PCL, ver procesos de la calidad del laboratorio
PC, ver planificacin de la calidad
pendiente
30, 79, 82, 87, 90, 100-102, 132,
140, 144-145, 147-148, 150-153, 191, 212, 222,
226-227, 257-258, 287, 290-291, 296-298, 302,
308-310

mensurando
34, 234, 266-267, 270, 272-273
definicin ISO
270

plan de validacin

213-214

plan experimental

63, 65, 127, 131, 159

metas biolgicas

planificacin de la Calidad (PC)

metas de la calidad
mtodo comparativo

20-21, 23, 278, 280


6, 20
72, 98, 157, 162, 192, 308

mtodo definitivo

271

mtodo del fabricante

211

mtodo de referencia

45, 58-59, 127, 142, 224

mtodos non-waived aprobados por la FDA


42, 47, 49, 288

pgina 322

analtica
perodo de familiarizacin
point-of-care
pools de pacientes

6, 10, 21,
279-280, 286
21, 279
235
56, 59
119, 160

precisin
9, 18, 20, 47-48, 68-70, 73, 88,
122-123, 148, 161, 176, 179, 209, 231-235, 237,
240-241, 247, 251-253, 257-260, 265, 267, 269,
276-277, 280, 287, 289, 292-293, 301, 303-304

Westgard QC, Inc., Copyright 2013

ver tambin imprecisin


ver tambin error aleatorio
ver tambin coeficiente de variacin
probabilidad (p)

6, 71, 92-93, 96, 176, 213,


274

procedimiento, definicin
procedimientos de CC

40
18, 22, 70, 72, 201, 235,
266, 279, 285

procedimientos de examen
definicin ISO

38, 47, 265, 267,


276
265

procesos de la calidad del laboratorio

16, 285,
286

rango reportable
42-43, 45-48, 59, 64, 71,
78, 80, 103, 105, 107-109, 111-112, 114, 128, 135,
214-215, 245, 269, 287, 289, 293-294
definicin
107
rangos reportables clnicos (CRR)

rango reportable y verificacin de la calibracin


45-46, 107, 112
rango de trabajo
reactivos

71

17, 41, 45-47, 49, 58-60, 71, 105,


112, 122, 209, 213, 234, 268, 286

recuperacin 33, 44, 57, 68-71, 91-93, 128, 157159, 163-168, 170, 183, 210, 212-213, 215, 267,
287-289, 298, 307-308

proceso estndar para la gestin de la calidad 16

recuperacin observada

proceso de validacin

Regla Final de CLIA

27, 55-56, 187-188, 209,


213-215

procedimiento operativo estndar

23

reglas de control

programa de acreditacin de laboratorios

48

Regresin de Deming

programas de evaluacin externa de la calidad


(PEEC)
19-20, 22, 60, 198, 272, 278-279
procesos de laboratorio

254, 256

protocolo de operacin

71

pruebas de alta complejidad

47

pruebas de complejidad moderada

47

pruebas non-waived modificados o desarrollados


en el laboratorio
43
prueba t
82-83, 148, 222, 226-228, 231,
241-242, 247, 297, 302-303, 308-309
pruebas waived
punto operativo

166

39-40, 42, 44, 49, 51, 107,


189, 287
10, 60, 215, 280
83, 153, 155, 221-223,
227, 302

regresin lineal simple, ver regresin lineal


Regresin de Passing-Bablock 83, 153, 155, 302
tcnica
227
repetibilidad

68, 179, 212, 214, 234, 237-240,


260, 266-267, 269
definicin
234

requisitos de la calidad analtica

313

requisitos de la calidad 1, 6, 10, 18, 41, 196-197,


201, 203, 254, 256-258, 279-280, 300, 313
residuales

227, 308

42, 48, 287, 301


84, 202-203, 253, 300, 312

Q
Q-Probe

254-255

S
Smeas ver tambin imprecisin, coeficiente de
variacin, CV, precisin
sangre entera

59

SD entre corridas

R
rango analtico
71, 78, 107, 110, 115, 131-132,
149, 162, 178, 224, 226, 289, 295, 301, 309-310
rango analtico de medicin (AMR)

107

rango de referencia declarado por el fabricante


209
rango lineal

107

81, 83, 106, 294

238

SD intra laboratorio

237-238

SD, ver tambin desviacin estndar 18, 30-31,


79, 82, 87-94, 101, 111-112, 117, 120-122, 124,
133, 144, 151, 176-177, 199, 212, 228, 237, 241,
243, 274, 287, 290, 292, 293, 299
SD (desviacin estndar) permitida
SD de las diferencias

18

30, 228, 241, 290

pgina 323

Validacin Bsica de Mtodos, Edicin Wallace Coulter

Seis Sigma
253-254, 260-261, 269, 279, 300
una introduccin terriblemente corta
253
dos modelos para medir el desempeo de un
proceso
254
ejemplo de clculo de una mtrica sigma 258
gua general para el clculo
259
inspeccionar salidas
254
poder
260
evaluacin de la Calidad de un proceso
analtico
257
evaluacin de la calidad de un proceso
vinculado a la salud
261
clculo de la Mtrica Sigma
258
seleccin del mtodo

53-57, 210, 225

sensibilidad analtica

33, 49, 57, 208, 288

sensibilidad funcional

173, 175, 177, 182, 299,


310

sesgo 20-23, 32, 34, 43-44, 58-59, 66-67, 76, 79,


83-84, 88, 94-95, 97, 102, 125, 132-135, 140, 144148, 150, 153-154, 160, 163, 168, 171, 176-177,
179, 190, 196-197, 199, 200-203, 212-213, 216,
225-226, 228, 232, 234, 241-244, 251, 253, 257260, 269, 273-274, 276-280, 287-293, 295-297,
300, 303-304, 308-309
sesgo mximo permitido
sesgo permitido

22
20, 197, 278

T
tabla-F

98

tabla t

95, 122, 243, 246

tamao de error crtico

22

Tonks

18

traduciendo las especificaciones de desempeo en


una Mtrica Sigma
253
transferencia

185, 187-189, 191-192, 211, 299,


301-302

transferencia de intervalos de referencia


187, 192
criterio divino
188
estimacin a partir de 60 muestras
190
propsito
187
verificacin a partir de 20 muestras 189
qu hacer
192
trazabilidad, valor trazable
34, 45, 58-59,
127, 263-264, 268-272, 276, 305

U
uso previsto

57, 266-269, 272, 279

uso adecuado de las estadsticas


utilidad clnica

39, 221, 229


56, 81, 154, 176

sensibilidad
33, 43, 47-49, 57, 107, 139, 141,
148, 173, 175, 177, 182, 209-210, 267, 288, 299,
310

sensibilidad de las estadsticas a los distintos


tipos de error
141

validacin administrativa

validacin clnica

significacin clnica

153-155

simulacin de errores en el resultado de una


prueba
141
sentido estadstico, sensibilidad y significancia
139, 141
sistemas de la calidad

39, 41, 281

soluciones de control

119

soluciones estndar

114, 119, 160, 165

solucin interferente

159-161

suero
sustancias interferentes

109, 119, 129


48, 266

validacin del mtodo


validacin tcnica

valores asignados

58, 81, 103, 108, 110-111,


114, 135, 164, 245, 247, 306

valor-F

290, 292-293

valor t calculado
valor t crtico

153, 296
153, 246, 249, 292

valor de verificacin

239-240

valor target (diana)

34-35, 277, 279, 313

valores target (diana) asignados

34-35

valor verdadero

111-112, 246-247, 256,


270-271, 304

valores relativos

110

variabilidad biolgica

pgina 324

211, 256, 306

6, 22-23, 278, 280

Westgard QC, Inc., Copyright 2013

variabilidad biolgica entre individuos

23

variabilidad biolgica intra individuo 23, 278-280


variacin

6, 9, 19

varianza

97, 122, 236-240, 246-247, 277

varianza entre corridas

238-240, 247

varianza intra corrida

238-240, 247

varianza total

237-238

veracidad
15, 34, 70, 127, 176, 231, 233235, 241, 245-247, 263-265, 270, 273, 275, 277,
279, 281, 305
EP15 definicin
241
veracidad de la medicin
definicin ISO
verificacin de intervalos de referencia

270
185

verificacin de las especificaciones de desempeo


41-42, 134, 239-240, 243, 245

pgina 325

Validacin Bsica de Mtodos, Edicin Wallace Coulter

pgina 326

Validacin Bsica de Mtodo


Revisado. Ampliado. Esencial.
Por ms de 30 aos, el Dr. James O. Westgard ha promovido
estndares y buenas prcticas para la validacin de mtodos. En
esta edicin, la tercera edicin de Validacin Bsica de Mtodos, el
Dr. Westgard y sus colegas brinda importantes actualizaciones sobre
requisitos regulatorios, estndares de buenas prcticas emergentes y
las ultimas guas de CLSI (Clinical and Laboratory Standards Institute):
Actualizacin de las regulaciones de CLIA y requisitos
de acreditacin;
Captulo revisado sobre rango reportable que incluye
una discusin sobre verificacin de la calibracin;
Captulo revisado sobre lmites de deteccin que incluye
los conceptos de Limite de Blanco, Limite de Deteccin
y Limite de Cuantificacin;
Carta de Decisin de Mtodo actualizada que incluye los
criterios para un desempeo de dos, tres, cuatro, cinco, y
seis sigma;



Nuevo captulo sobre la estimacin de precisin y


veracidad basado en la gua de las CLSI EP15-A2,
incluyendo instrucciones para realizar los clculos
requeridos usando planillas electrnicas;

Nuevo captulo sobre estndares globales emergentes


(ISO, International Standars Organization), el estndar
ISO 15189, y los conceptos de veracidad e incertidumbre
de medida.

Con una gran cantidad de material nuevo y actualizado,


adems de accesos online a herramientas para graficar y
una base de datos sobre requisitos de la calidad, la tercera
edicin de Validacin Bsica de Mtodos continua siendo una
referencia practica esencial para el laboratorio moderno.

Este libro ha sido traducido con la autorizacin de Westgard QC, Inc.

Esta traduccin fue posible


gracias a una donacin de la
Fundacin Wallace H. Coulter.

7614 Gray Fox Trail


Madison, WI 53717
Copyright 2008 Westgard QC, Inc.

http://www.westgard.com

Você também pode gostar