Anlisis de sensibilidad:

Mtodos probabilsticos en la evaluacin econmica de t tecnologas l sanitarias it i Parte 2

David Epstein Dme2@york.ac.uk

La presentacin
El AS deterministico
U Univariante/multivariante i i t / lti i t Siempre es necesario pero no es suficiente

El AS probabilstico b bil ti (ASP)

Para evaluar la incertidumbre global en el modelo La importancia de valores extremos
Distribuciones de los parmetros Las simulaciones Monte Carlo Curva de aceptabilidad de coste efectividad

El valor de la informacin
2

Desafios a una AS deterministico

Interpretacion de los resultados Correlaciones entre los parametros del modelo La distribuciones de los parametros del modelo d l Varan simultneamente de valor 2 o ms parmetros del modelo
3

Anlisis de sensibilidad determinsticos

El AS deterministico no cuantifica la probabilidad de valores extremos p Valores extremos puede cambiar las conclusiones de un anlisis pero pueden ser muy improbables Un anlisis de sensibilidad probabilstico puede superar esta limitacin
4

Inputs p
Progresin de la enfermedad P(mala, A)= 0.30

Modelo determinstico sencillo

Estructura del Modelo Tratamiento A
Buena 11

p Output

Tratamiento A
AVAC

Cost

Valores medios

Efectos clnicos Odds ratio 0,78

Buena salud Mala 10

10.70 1000
0 30 0.30

AVACs Buena salud =11 Mala salud = 10

Tratamiento B
Buena 11 Buena salud

Tratamiento B
AVAC

Cost

10.75 2500 RCEI= 1500/0.05= 30000 5

Costes A = 1000 B= 2500

Mala 10

0.25

Inputs p
Progresin de la enfermedad

ASP Probabilistico y multivariante

Estructura del Modelo Tratamiento A
AVAC

p Output

Tratamiento A Coste

P (mala, A)
Buena salud

Buena 11

Efectos clnicos

Mala 10

10.70 1000

Ratio Odds A vs B
AVACs Buena salud =11 Mala = 10 AVACs Costes A = 1000 B= 2500

Tratamiento B
Buena 11 Buena salud Mala 10

Tratamiento B
AVAC

Coste 2.500
6

10.75

Medio ponderado

Anlisis de sensibilidad probabilstico (ASP)

Objetivo
Calcular la probabilidad de que la intervencin es costo-efectiva, , dado
La estructura del modelo El WTP p por el beneficio (p (p.ej. j Por AVAC) ) La distribucin de los parmetros del modelo

Inputs p
Progresin de la enfermedad P(mala, A)= 0.30

ASP Probabilistico
Estructura del Modelo Tratamiento A

p Output

Treatment A
Buena 11
AVAC

Efectos clnicos

C t Coste

Buena salud Mala 10

10.70 1000

0 30 0.30

Odds ratio
AVACs Buena salud =11 Mala = 10 AVACs

Tratamiento B
Buena 11 Buena salud

Treatment B
AVAC

Coste 2.500 2 500 2.500 2.500 2.500

8

10.85 10 75 10.75 10.55 10.75

Costes A = 1000 B= 2500

Mala 10

P(mala|B)

La familia de las distribuciones p paramtricas

Distribucin Inputs Normal Descripcin Media, DE Simtrico Rango : -Inf a +Inf Min, Max Rango min-max. Todos los valores tienen una probabilidad igual
9

Uniforme

Desviacin estndar

Ms distribuciones paramtricas
Distribucin

Inputs

Descripcin Util para

D ibi una Rango de R d 0 Describir probabilidad a 1, no es simtrico i t i

Numero N con un evento t Numero sin un evento Log-normal g Media, , DE Gamma

B t Beta

Rango g 0a Infinito Shape, scale Rango 0 a Infinito

Describir un Odds Ratio

Describir los costes

10

L distribucon La di t ib del d l Odds Odd Ratio R ti del d l tratamiento t t i t (La angina aguda)
Odds ratio 0,78, 95% CI 0,68-0,89]

En funcin log Media= log(0,78) log(0 78) = -0.25 DE= {log(0.89) log (0.68)}/ 4= 0.065
11

La distribucin LogNormal
___ ____ ____ Lognormal(Mean -0.25; 0 25; SE 0,065) 0 065) L Lognormal(Mean l(M -0.25; 0 25 SE 0,15) 0 15) Lognormal(Mean -0.25; SE 0,30) No son simtricas

0.5

1.5

2.5

3.5

1,0 Odds ratio

Bland, M. (2000) BMJ 12 320; 1468

El mtodo de Monte Carlo

Un mtodo de simulacin Elige una muestra aleatoria de valores para el parmetro de inters (p ej. ej 1.000 1 000 valores)
Como?

Calcula el modelo para cada valor en la muestra

13

Simulacin Monte-Carlo
Elige un numero aleatorio l i entre 0 y 1 En Excel, RAND() Por ej. 0,175 17 5% del rea de la 17.5% distribucin es a la derecha de 0,895 0 895
Odds ratio Odd ti en simulacin14#1

0.5

1.5

2.5

3.5

0 895 0,895 Rand Mean SE

LOGINV( 1 - 0,175 ; -0,25 ; 0,15 ) = 0,895

Una muestra aleatoria de valores de la distribucin

MC 1 2 3 4 5 6 7 8 9 10 Rand 0.175 0.476 0.830 0 010 0.010 0.117 0.203 0.933 0.203 0.122 0.053 OR 0.895 0.785 0.674 1 103 1.103 0.930 0.881 0.621 0.881 0.926 0.992

Rand Mean SE

LOGINV( 1 - 0,053 ; -0,25 ; 0,15 ) = 0,992

Odds ratio Odd ti en simulacin 15 #10

Calculacin del modelo para cada simulacin (n (n=10) 10)

MC 1 2 3 4 5 6 7 8 9 10 OR 0.895 0.785 0.674 1.103 0.930 0.881 0.621 0.881 0.926 0.992 DC 1500 1500 1500 1500 1500 1500 1500 1500 1500 1500 DU 0.023 0.048 0.076 -0.021 0.015 0.026 0.090 0.026 0.016 0.002 ICER 65923 31036 19779 Dominated 100021 57940 16699 57839 94347 856055 20000 Select A A B A A A B A A A

WTP=

35000 Select A B B A A A B A A A
16

0,87

1500

0,03

OjO j

P(B)=0,2 ( ) P(B)=0,3 ( )

10 simulaciones MC
Dif Costes
2000

Simulacion #10

1500

1000

Simulacion #4
500

Simulacion #1

-0.040

-0.020

0 0.000

0.020

0.040

0.060

0.080

0.100

Dif AVAC

17

10 simulaciones MC
Dif Costes
2000

WTP=20000

1500

1000

Probabilidad B es coste-efectivo=
500

2/10 20% 2/10=20%

-0.040 -0.020 0 0.000 0.020 0.040 0.060 0.080 0.100

Dif AVAC

18

10 simulaciones MC
Dif Costes
2000

WTP=35000

WTP=20000

1500

1000

Probabilidad B es coste-efectivo=
500

3/10 30% 3/10=30%

-0.040 -0.020 0 0.000 0.020 0.040 0.060 0.080 0.100

Dif AVAC

19

Los resultados del ASP

10 simulaciones no es suficiente para un Monte Carlo. La media de una muestra de 1.000 1 000 simulaciones
Diff Costes = 1.500 Diff AVAC = 0,05 RCEI = 1.500 / 0,05 = 30.000

Probabilidad que B es el tratamiento coste-efectivo:

WTP 20.000 30.000 35 000 35.000

10 simulaciones i l i 20% 20% 30%

1 000 simulaciones 1.000 i l i 16% 50% 58%

20

Curva de aceptabilidad de coste efectividad (1.000 simulaciones)

Darba.(2006) Gac San. 20(1) 74-77
1 0.9

T Tratamiento i B

0.8

Prob q que el tratamiento es costeefectivo

0.7

0.6

58% Tratamiento A 16%

0.5

0.4

0.3

0.2

0.1

0 0 10000 20000 30000 40000 50000 60000 70000

20K 30K 35K Disposicin a pagar /AVAC 21

Curva de aceptabilidad de coste efectividad (CEACc)

Las caractersticas de la curva En E el l caso de d 2 tratamientos, i P(B) = 1-p(A) 1 (A) En el caso de >2 tratamientos, P(A)+P(B)+P(C ) +...= 1 Cuando WTP=0 analisis de minimizacin de costes Cuando WTP = Infinito la curva tiende a la probabilidad b bilid d que B es ms efectivo f i Cuando WTP=RCEI la probabilidad que B es ms coste-efectivo t f ti es (aproximadamente) ( i d t ) 50%
22

Desafios a una AS deterministico

Interpretacion de los resultados Correlaciones entre los parametros del modelo La distribuciones de los parametros del modelo d l Varan simultneamente de valor 2 o ms parmetros del modelo
23

Anlisis de sensibilidad multivariante

En la mayora de modelos hay muchos parmetros inciertos Aunque los parmetros sean independientes, independientes los resultados del modelo varan en funcin de los dems

24

Un anlisis de sensibilidad deterministico y multivariante

B mucho mas efectivo f i que A
OR = 0,68

B un poco mas efective f i que A

OR = 0,78

Riesgo bajo
P( (mala | A) ) = 0,2 ,

RCEI = 27.000

RCEI = 40.000

Riesgo alto
P (mala | A) = 0,3

RCEI = 19.000 19 000

RCEI = 30.000 30 000

25

Supone WTP = 20.000

Mtodos del analisis de sensibilidad

Deterministico Simple (univariante) ( ) Varan un parmetro, los otros son fijos j Recomendable Combinado Varan simultneamente (multivariante) de valor dos o ms parmetros del modelo Difcil en el caso de ms que dos parmetros inciertos

26

Mtodos del analisis de sensibilidad

Deterministico Simple (univariante) ( ) Varan un parmetro, los otros son fijos j Recomendable Combinado Varan simultneamente Para evaluar la incertidumbre (multivariante) de valor dos o ms global. Recomendable parmetros del modelo Difcil en el caso de ms que dos parmetros inciertos Probabilistico Posible, pero no recomendable en la practica p

27

Anlisis de sensibilidad multivariante y probabilistico

Objetivo Evaluar la probabilidad de que la i t intervencin i sea coste-efectiva t f ti dado: d d
La estructura del modelo El WTP por beneficios de salud La incertidumbre conjunta en todos los parmetros
28

ASP Multivariate
Inputs p
Efectos clnicos

Modelo
Estructura del Modelo Tratamiento A

Output p
Tratamiento A
AVAC

Coste

Ratio Odds A vs B

Buena 11 Buena salud

Valores medios

Progresin de la enfermedad

Mala 10

10.70 1000

P (mala, (mala A)
AVACs Buena salud =11 Mala = 10 AVACs Costes A = 1000 B= 2500

Tratamiento B
Buena 11 Buena salud Mala 10

vB
AVAC

Coste 2.500
29

10.75

Ejercicio
Dibuja rpidamente un ejemplo de cada di ib i distribucin
Normal Lognormal Beta Uniforme

Qu distribucin es la mejor representacin del parmetro : la Probabilidad de mala salud en el grupo de control
30

La distribucin beta
Rango de valores entre 0 y 1 No N es simtrica i i Comando en Excel: Para parmetro Pa
Pa = BETAINV( X ; input1; input2)

Por ejemplo, si haba 100 pacientes en una muestra, y 30 tuvieron i la l enfermedad f d d

Input1 = numero de personas con un suceso = 30 Input2 I 2 = numero de d personas sin i el l suceso = 70

La media de E(Pa) = 30/100 = 0,30

31

La distribucin beta
0.35 03 0.3

- - -Distribucin Distribucin beta(30;70)

0.25

0.2

Frequencia
0.15 0.1

____Distribucin beta(9; 21)

0.05

0.4 0

0.5 0

0.6 0

0.7 0

0.8 0

0.9 0

0.1 0

0.2 0

0.3 0

Prob Mala Salud

32

La incertidumbre conjunta en todos los parmetros

MC 1 2 3 4 5 6 7 8 9 10 Rand 0.175 0 476 0.476 0.830 0.010 0.117 0.203 0.933 0.203 0 122 0.122 0.053 OR 0.895 0 785 0.785 0.674 1.103 0.930 0.881 0.621 0.881 0 926 0.926 0.992 Rand 0.322 0 928 0.928 0.441 0.507 0.360 0.336 0.369 0.146 0 137 0.137 0.646 PA 0.258 0 426 0.426 0.283 0.297 0.266 0.261 0.268 0.213 0 210 0.210 0.328

MC C 11, , 12, , ... 1.000 .000 OR Distribucin Lognormal

33 Beta P (A)Distribucin

Los resultados del ASP

MC 1 2 3 4 5 6 7 8 9 10 Diff Costs 1500 1500 1500 1500 1500 1500 1500 1500 1500 1500 Diff AVACs 0.021 0.058 0 073 0.073 -0.021 0.014 0.024 0.083 0.020 0.012 0.002 ICER 72689 25885 20588 Dominated 107830 63411 18122 73262 120237 816044 A A B A A A B A A A

25000 Select

WTP

35000 Select A B B A A A B A A A
34

P(B) = 0,2 P(B)=0,3

Los resultados de un ASP multivariante

WTP 25.000 30 000 30.000 35.000 10 simulaciones 20% 30% 30% 1.000 simulaciones 16% 50% 56%
35

Curva de aceptabilidad de coste efectividad - multivariante

1 0.9 0.8 0.7

Prob q que el tratamiento es costeefectivo

0.6

0.5

0.4

0.3

0.2

0.1

0 0 10000 20000 30000 40000 50000 60000 70000

Disposicin a pagar /AVAC 36

El valor de ms informacin
La curva de aceptabilidad muestra la probabilidad de hacer un error cuando elegimos una estrategia (y rechazamos la otra) Ms informacin reducira la probabilidad de un error y por lo tanto aumentara el beneficio a la sociedad Cundo ser rentable buscar ms informacin
p ej ej. financiar un nuevo ensayo clinico?

Cuando los costes del nuevo ensayo son menores que los beneficios
37

Valor de la informacin perfecta

El valor de la informacin perfecta es el valor mxima i que el l decisor d i querra pagar para eliminar li i toda la incertidumbre en la decisin Puede calcular el valor de la informacin perfecta, dado:
La estructura del modelo Las distribuciones de los parmetros del modelo El valor del WTP por un AVAC El numero de personas afectadas por la enfermedad
38

El valor de la informacin perfecta

Los resultados medios del modelo son Costes = 1.500 y AVACs son 0,05 RCEI es 1.500 1 500 / 0,05 0 05 = 30.000 30 000 Si el WTP es 35.000, adopta B

39

El valor de la informacin perfecta

Pero en 44% de las simulaciones, A fue la opcin i ms coste-efectiva. t f ti Por ejemplo, j p en simulacin #1 la diferencia en AVACs fue 0,021 y la RCEI fue , = 73.000 1.500/0,021 La sistema hubiera perdido beneficios netos (en Euros) de 0,021 * 35.000 1.500 = 765
40

La calculacin del valor de la informacin p perfecta (WTP=35.000) ( )

MC 1 2 3 4 Costes 1.500 1 500 1.500 1.500 1.500 AVAC 0,021 0 058 0,058 0,073 -0,021 RCEI 73.000 26 000 26.000 21.000 Domin Opcin optima A B B A Valor Perdido 765 0 0 2.235

...

...
1.500

...
0,05

...
30.000

...

...
377
41

MC 11, 12, ... 1.000

El valor de la informacin perfecta

Si el WTP = 35.000, B es la opcin mas coste-efectiva En algunas simulaciones MC (numer 1,4 1 4 etc), etc) A es el tratamiento optimo. Hay un coste de oportunidad de elegir B en estos casos En las dems, no hay ningn coste de la oportunidad El Valor de la Informacin Perfecta calcula el coste medio d la de l oportunidad id d por la l incertidumbre i id b El valor medio de la informacin perfecta por persona es 377 si el WTP por AVAC es 35 35.000 000

42

Valor de la informacin perfecta

Si la enfermedad afecta 1.000 personas, el valor l de d la l informacin i f i perfecta f t sera 1.000*377= 377.000 Euros Significa que el mximo que querramos pagar p g por p un nuevo ensayo y no supera p esto presupuesto (El valor de la informacin perfecta se presenta en funcin de WTP)
43

Valor de la informacin perfecta en funcin de WTP

450000 400000 350000 300000 EVPI Euros s 250000 200000 150000 100000 50000 0 0 10000 20000 30000 WTP 40000 50000 60000

44

Resumen
El AS deterministico
Univariante Siempre necesario pero no es suficiente

El AS probabilstico
Evaluar la incertidumbre global en el modelo Distribuciones de los parmetros Correlaciones entre los parmetros en el modelo Las simulaciones Monte Carlo C r a de aceptabilidad de coste efectividad Curva efecti idad

El valor de la informacin
45

Ejercicio
Abrir la hoja de calculo EE.xls Entender las formulas en color VERDE Minimo: Hacer AS univariante (valores en color AZUL) Merito: Hacer AS probabalistico (valores en color NARANJA) ) con el metodo Monte-Carlo Avanzada: Dibujar una curva CEAC Supersalida: p Calcular el valor de informacin perfecta Presentar sus resultados a los dems
46