Backtesting

Modelos de Capital y Reservas

Mayo 2009

Contenido

1. Antecedentes 2. Backtesting 3. Conclusiones

Backtesting de los Modelos de Reservas y Capital

Antecedentes
Nuevos esquemas regulatorios a nivel mundial, como Solvencia II, tienden a la utilizacin de modelos propios por parte de las compaas de seguros y bancos. Dichos modelos idealmente habran de medir las obligaciones de la compaa con base en las caractersticas y comportamiento propio de sus riesgos; sin embargo, ante la complejidad de stos, no es posible determinar analticamente si darn resultados congruentes con la realidad. Adicionalmente, ante el comportamiento dinmico de los riesgos, existe la constante posibilidad de que el modelo se desajuste. Ante tal circunstancia, la herramienta para vigilar el desempeo de los modelos es la prueba retrospectiva llamada Backtesting. Mxico tiende a la adopcin de un esquema regulatorio que contempla la aplicacin de modelos propios, lo que obliga a implementar esquemas de Backtesting.

Contenido

1. Antecedentes 2. Backtesting 3. Conclusiones

Backtesting de Reservas y Capital

Definicin de Backtesting
El Backtesting es un procedimiento tcnico que consiste en validar la idoneidad, precisin y validez de un modelo actuarial diseado para hacer estimaciones de un determinado valor contingente, que se basa en comparacin de las estimaciones hechas por el modelo respecto de los valores reales observados en periodos anteriores. No existe modelos nicos predefinidos de Backtesting, se debe crear la prueba dependiendo del tipo de modelos que se quieren validar. No obstante, existen principios fundamentales para hacer el Backtesting.
Un grado de tolerancia para la magnitud del error entre la estimacin y la
realidad.

Una tolerancia para el nmero de veces que puede fallar el modelo.

Backtesting de Reservas y Capital

Utilidad la Prueba de Backtesting en el Contexto de Solvencia II
En el contexto de Solvencia II, la adopcin de modelos propios para estimar las reservas y capital de solvencia, pueden generar resultados que son susceptibles de diferir de la realidad en un grado de error producido por la variacin natural del fenmeno o por que el modelo es errneo o inapropiado. Ante esto, resulta necesario definir esquemas de Backtesting para determinar la precisin y validez de los modelos adoptados por la compaas. Tres cuestiones fundamentales deben definirse:
Cmo sern los modelos de Backtesting que deben aplicarse? A qu modelos se le debe aplicar Backtesting? Cules sern las tolerancias para el error de los modelos?

Backtesting de Reservas y Capital

El Esquema de Basilea II, para Instituciones Bancarias
En el esquema regulatorio de Basilea II, se establece el Backtesting que deben aplicar las instituciones bancarias, al momento de calcular su capital de solvencia.

Consiste en analizar el nmero de veces que un modelo de estimacin del capital, ajustado con un nivel del confianza del 99%, falla en un ao, de 250 pruebas (una por da) realizadas durante el periodo de un ao.

1. Se dice que el modelo presenta una excepcin, cuando se observa que el valor real de las
prdidas son superiores a la estimacin dada por el modelo.

2. Dado que el modelo se supone ajustado al 99% de confianza, entonces se establece que la
tolerancia es de una excepcin por cada 100 ensayos (1%).

3. Cuando el modelo falla ms de una vez en cada 100, se establecen esquemas de alerta que
van de amarillo a rojo, dependiendo del nmero de veces que las excepciones han superado al parmetro de tolerancia. La mxima tolerancia es de 4 fallas en 100 veces (4%).

Backtesting de Reservas y Capital

El Esquema de Basilea II, para Instituciones Bancarias
En modelos de prediccin, los valores que exceden la magnitud de la estimacin son llamadas excepciones o fracasos.

Funcin de Densidad de Prdidas

Una excepcin es un valor que se ubica en esta zona, es decir que excede el lmite.

Lmite

Backtesting de Reservas y Capital

El Esquema de Basilea II, para Instituciones Bancarias
El nmero de excepciones se puede considerar una variable aleatoria con funcin de distribucin Binomial con parmetros (N,0.01). El nmero mximo de excepciones permitido es aquel que tenga una probabilidad de ocurrencia menor o igual a un determinado valor pequeo elegido por quien aplique la prueba de Backtesting. Especficamente podra ser un valor menor o igual al 0.5%. Aun cuando un modelo sea adecuado, puede presentar excepciones por encima del nmero esperado, pero a medida que se desva el nmero de excepciones, es ms improbable que el modelo sea adecuado. Para ello se puede establecer el nmero de excepciones a partir de lo cual se rechaza la hiptesis de que el modelo sea adecuado, con un alto grado de confianza. La evaluacin del modelo se puede determinar con base en los siguientes criterios, basados en el nmero de excepciones observadas.
1. Si la probabilidad del nmero de excepciones observado es menor o igual al 10%, el modelo es aceptable. 2. Si la probabilidad del nmero de excepciones observado es menor al 10% pero mayor al 0.5%, el modelo se
acepta pero debe quedar bajo observacin por que podra ser incorrecto o inapropiado.

3. Si la probabilidad del nmero de excepciones es inferior al 0.5%

Estos rango pueden fijarse con otros valores, dependiendo del grado de tolerancia que se le quiera dar al nmero de excepciones.

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas de Seguros
Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrar en un determinado intervalo (intervalo de confianza). Resulta natural realizar la prueba de Backtesting dando un intervalo de confianza para la variacin de esa media, y determinar en funcin de ello, el nmero de excepciones que se realizarn en un determinado periodo, que deben corresponder a aqullas que permiten eliminar errores del tipo I y II. Con base en el nmero de excepciones, se pueden definir zonas de aceptacin (verde), advertencia (amarilla), y rechazo (roja). Otro enfoque es crear un intervalo de confianza para el error de la media, con base en una estadstica de errores observado en el mercado, definidos dichos errores como porcentaje de la media. En este modelo se produce una excepcin cuando el valor de la media real difiere del estimador en una cantidad que se ubica fuera del intervalo de confianza.

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar un Backtesting para la media. La media es un valor que con un determinado grado de confianza su valor se encontrar en un determinado intervalo de confianza. Se presenta en las siguientes lminas un ejemplo que es slo ilustrativo, basado en que la media (es decir la reserva) es una variable aleatoria que se distribuye normal. Sin prdida de generalidad, a continuacin, se explica el modelo con base en el caso simplificado de una serie de mediciones de un modelo actuarial de reserva que se avala con un Backtesting basado en el intervalo de confianza de una distribucin normal de los datos reales observados, cuya media es 10 millones y es constante en el tiempo.

Media Varianza Veces la desv. (k) Intervalo aceptacin Prob. acumuladas Prob. intervalo Prob. excepcin

10
0.25

1 2.00 8.00 0.0228 95.45% 4.55%

0.10 0.15

Exceptions Zones
0.20
Confidence Interval Density Function

0.05

0.00 0 2 4 6 8 10 12 14 16 18 20

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
Excepciones 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Probabilidad 18.70% 50.80% 77.58% 92.04% 97.73% 99.47% 99.90% 99.98% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00%
0.25

0.20 Prob intervalo Densidad 0.15

0.10

0.05

0.00 0 2 4 6 8 10
14 12 10 8 6 4 2 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
observaciones limite inferior media limite superior

12

14

16

18

20

Media Varianza Veces la desv. (k) Prob. intervalo Prob. excepcin

10 1 2.00 95.45% 4.55%

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
Excepciones 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Probabilidad 18.70% 50.80% 77.58% 92.04% 97.73% 99.47% 99.90% 99.98% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00%

Con base en el nmero de excepciones, calculando la probabilidad del nmero excepciones mediante una binomial, cuya probabilidad de xito es la probabilidad de caer fuera del intervalo de confianza. El nmero de excepciones que puedan presentarse con a lo ms el 95% de confianza definen la zona verde, en tanto que la zona amarilla es para nmero de excepciones que puedan presentarse con un grado de confianza superior al 95%, pero menor al 99.99% de confianza, definiendo la zona roja como aquella en donde el nmero de excepciones slo puede ocurrir con una probabilidad muy pequea, es decir que la probabilidad de que ese nmero de excepciones no ocurra es del 99.99%. Como se mencion, estos rangos deben fijarse a criterio de acuerdo con las tolerancias que se le quiera dar al nmero de excepciones.

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
Excepciones 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Probabilidad 90.73% 99.57% 99.99% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00% 100.00%
0.25

0.20
Prob intervalo Densidad

0.15

0.10

0.05

0.00 0 2 4 6 8 10
14 12 10 8 6 4 2 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
observaciones limite inferior media limite superior

12

14

16

18

20

Media Varianza Veces la desv (k) Prob. intervalo Prob. de excepcin

10 1 3.00 99.73% 0.27%

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
No obstante, haber elaborado este criterio de Backtesting, existe la posibilidad de que un modelo aun siendo inapropiado, se acepte por lo que es necesario reforzar el modelo con una prueba que permita detectar un modelo que no obstante que se mantiene dentro del intervalo, extraamente presente resultados siempre inferiores o superiores a la media. En este caso, se puede aplicar una prueba binomial que nos indique la probabilidad que una serie de valores aleatorios sea factible. Supongamos que se observ que de ensayos, 25 veces estos se ubicaron debajo de la media. Cul es la probabilidad tener 25 valores por debajo de la media en 30 ensayos? En este caso la probabilidad muy baja (0.0001327)por lo que si se establece como tolerancia el 0.5%, entonces debe determinar que el comportamiento de este modelo es inapropiado.
14 12 10 8 6 4 2 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
observaciones limite inferior media limite superior

de 30 de es se

30 1 1 Pr( E i ) = = 0.000132719 25 2 2
25 5

Backtesting de Reservas y Capital

Un modelo de Backtesting para Reservas
No obstante, un modelo incorrecto podra pasar las dos pruebas anteriores ya que podra cumplir con la Binomial pero estar cargado hacia abajo o hacia arriba.

14 12 10 8 6 4 2 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
observaciones limite inferior media limite superior Serie5

Para estos caso, se probara la diferencia de medias, determinando que el modelo es incorrecto cuando la media de los resultados del modelo, an pasando las dos pruebas anteriores, sea inferior o superior significativamente a la media real. La diferencia significativa se establece a criterio, sin embargo es recomendable que no sea superior al 10%.

Backtesting de Reservas y Capital

Un modelo de Backtesting para Capital
El modelo de Backtesting para capital o para margen de riesgo, debe basarse en la probabilidad de exceder la estimacin hecha al 99.5% de confianza, considerando excedencia a toda prdida observada superior a la estimacin.

Funcin de Densidad de Prdidas

Se presenta una excepcin, cuando la realidad supera a la estimacin hecha con el modelo (excedencia).

Contenido

1. Antecedentes 2. Backtesting 3. Conclusiones

Backtesting de Reservas y Capital

Conclusiones
El modelo desarrollado constituye una herramienta slida para la evaluacin de la idoneidad de modelos actuariales de reservas ya qu los criterios de decisin del mismo estn basados en mediciones mediante mtodos no refutables de probabilidad y estadstica. Los parmetros del modelo de Backtesting planteado pueden fijarse de acuerdo al menor o mayor grado de tolerancia que se le quiera dar a los modelos actuariales de valuacin de reservas. El modelo propuesto incorpora dos criterios adicionales que refuerzan la prueba y que le hace ms seguro. Todos los procedimientos del modelo planteado son susceptibles de aplicar en forma prctica por lo que tiene gran viabilidad de aplicacin. El modelo parte de que las mediciones de reserva se realizan mensualmente y se puede tener una serie de datos de al menos 36 mediciones (tres aos)

Consultas y Comentarios a: J. Avendao: javendano@cnsf.gob.mx P. Aguilar: paguilar@cnsf.gob.mx S. Villers: svillers@cnsf.gob.mx

Mayo 2009