Variables Aleatorias y Procesos Estocasticos

Introduccin a los o PROCESOS ESTOCASTICOS
Luis Rincn o Departamento de Matemticas a Facultad de Ciencias UNAM Circuito Exterior de CU 04510 Mxico DF e Versin: Enero 2011 o
Una versin actualizada del presente texto se encuentra disponible en formato o electrnico en la direccin o o http://www.matematicas.unam.mx/lars
ii
Prlogo o
El presente texto contiene material bsico en temas de procesos estocsticos a nivel a a licenciatura. Est dirigido a estudiantes de las carreras de matemticas, actuar a a a, matemticas aplicadas y otras carreras anes. Este trabajo es una versin ampliada a o de las notas de clase del curso semestral de procesos estocstico que he impartido a en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar y a matemticas. a Los temas tratados en este texto corresponden a ciertos modelos clsicos de la a teor de los procesos estocsticos, y a ciertas preguntas o problemas matemticos a a a que uno puede plantearse al estudiar tales modelos. El texto inicia con una explicacin del concepto de proceso estocstico y con algunas deniciones y ejemplos o a generales de este tipo de modelos. A manera de un acercamiento inicial se presenta primero una introduccin breve al tema de caminatas aleatorias en una dimensin, o o y particularmente se analiza el problema de la ruina del jugador. En el segundo cap tulo se estudian cadenas de Markov a tiempo discreto y despus se estudia el e mismo tipo de modelo para tiempos continuos, para ello se presenta primero el proceso de Poisson. Se estudian despus los procesos de renovacin, y brevemente e o tambin la teor de la conabilidad. Se presenta despus una introduccin a la e a e o teor de martingalas a tiempo discreto, en donde se estudian solo algunos de sus a muchos resultados y aplicaciones. Se incluye adems una introduccin al movimiena o to Browniano. El texto naliza con una exposicin compacta y ligera del clculo o a estocstico de It. El material completo excede lo que regularmente es impartido a o en un curso semestral, y una seleccin adecuada de temas ser necesaria. Cada o a cap tulo contiene material que puede considerarse como introductorio al tema. Al nal de cada uno de ellos se proporcionan algunas referencias para que el lector pueda precisar o profundizar lo que aqu se presenta. El texto contiene una coleccin de ejercicios que se han colocado al nal de cada o cap tulo, y se han numerado de manera consecutiva a lo largo del libro. Se incluyen tambin sugerencias o soluciones de algunos de estos ejercicios. A lo largo de la e exposicin el lector encontrar tambin algunos otros ejemplos y ejercicios, los o a e cuales son particularmente utiles para el estudiante autodidacta, o para presentar en clase si se adopta alguna parte de este texto como material de estudio en alg n u curso.
A Este material fue escrito en L TEX, las grcas fueron elaboradas usando el excelente a
iii
paquete Pstricks, y las fotos fueron tomadas del archivo MacTutor (http://wwwhistory.mcs.st-and.ac.uk/) de la universidad de St. Andrews en Escocia. La mayor parte de este trabajo fue elaborado mientras realizaba una estancia sabtica en a la universidad de Nottingham durante el ao 2007, y agradezco sinceramente al n Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econmico recibido durante esa agradable o estancia. Agradezco sinceramente todos los comentarios, correcciones y sugerencias que he recibido por parte de alumnos y profesores para mejorar este material. Toda comunicacin puede enviarse a la cuenta de correo que aparece abajo. o Luis Rincn o Enero 2011 Ciudad Universitaria UNAM lars@fciencias.unam.mx
iv
Contenido
1. Introduccin o 2. Caminatas aleatorias 2.1. Caminatas aleatorias . . 2.2. El problema del jugador Notas y referencias . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 5 . 5 . 14 . 20 . 21 . . . . . . . . . . . . . . . . . . . 23 23 27 34 37 40 43 45 51 52 53 59 63 65 71 76 78 81 82 84
3. Cadenas de Markov 3.1. Propiedad de Markov . . . . . . . 3.2. Ejemplos . . . . . . . . . . . . . . 3.3. Ecuacin de Chapman-Kolmogorov o 3.4. Comunicacin . . . . . . . . . . . . o 3.5. Periodo . . . . . . . . . . . . . . . 3.6. Primeras visitas . . . . . . . . . . . 3.7. Recurrencia y transitoriedad . . . . 3.8. Tiempo medio de recurrencia . . . 3.9. Clases cerradas . . . . . . . . . . . 3.10. Nmero de visitas . . . . . . . . . u 3.11. Recurrencia positiva y nula . . . . 3.12. Evolucin de distribuciones . . . . o 3.13. Distribuciones estacionarias . . . . 3.14. Distribuciones l mite . . . . . . . . 3.15. Cadenas regulares . . . . . . . . . 3.16. Cadenas reversibles . . . . . . . . . Resumen de la notacin . . . . . . . . . o Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . v
4. El proceso de Poisson 4.1. Proceso de Poisson . . . . . . . . . 4.2. Deniciones alternativas . . . . . . 4.3. Proceso de Poisson no homogneo e 4.4. Proceso de Poisson compuesto . . . Notas y referencias . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
97 97 105 109 112 113 115 123 124 127 133 137 140 141 143 143 146 148 153 157 162 163 167 167 169 171 172 175 176 179 183 185 191 195 198 205
5. Cadenas de Markov a tiempo continuo 5.1. Procesos de saltos . . . . . . . . . . . . 5.2. Propiedades generales . . . . . . . . . . 5.3. Procesos de nacimiento y muerte . . . . 5.4. Proceso de nacimiento puro . . . . . . . Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 6. Procesos de renovacin y conabilidad o 6.1. Procesos de renovacin . . . . . . . . . o 6.2. Funcin y ecuacin de renovacin . . . o o o 6.3. Tiempos de vida . . . . . . . . . . . . 6.4. Teoremas de renovacin . . . . . . . . o 6.5. Conabilidad . . . . . . . . . . . . . . Notas y referencias . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . .
7. Martingalas 7.1. Filtraciones . . . . . . . . . . . . . . . . 7.2. Tiempos de paro . . . . . . . . . . . . . 7.3. Martingalas . . . . . . . . . . . . . . . . 7.4. Ejemplos . . . . . . . . . . . . . . . . . 7.5. Procesos detenidos . . . . . . . . . . . . 7.6. Una aplicacin: Estrategias de juego . . o 7.7. Teorema de paro opcional y aplicaciones 7.8. Algunas desigualdades . . . . . . . . . . 7.9. Convergencia de martingalas . . . . . . 7.10. Representacin de martingalas . . . . . o Notas y referencias . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . 8. Movimiento Browniano vi
vii
8.1. Denicin . . . . . . . . . . . . . . . . . . o 8.2. Funcin de probabilidad de transicin . . o o 8.3. Propiedades bsicas . . . . . . . . . . . . a 8.4. Propiedades de las trayectorias . . . . . . 8.5. Movimiento Browniano multidimensional 8.6. El principio de reexin . . . . . . . . . . o 8.7. Recurrencia y transitoriedad . . . . . . . . Notas y referencias . . . . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . . . . 9. Clculo estocstico a a 9.1. Integracin estocstica . . . . . . . . o a 9.2. Frmula de It . . . . . . . . . . . . o o 9.3. Ecuaciones diferenciales estocsticas a 9.4. Simulacin . . . . . . . . . . . . . . . o 9.5. Algunos modelos particulares . . . . Notas y referencias . . . . . . . . . . . . . Ejercicios . . . . . . . . . . . . . . . . . . A. Conceptos y resultados varios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 209 210 214 218 221 222 229 232 237 237 250 252 257 258 268 269 271
Cap tulo 1
Introduccin o
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg n u mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria para cada valor del ndice t. Esta coleccin de variables aleatorias es la denicin o o de proceso estocstico, y sirve como modelo para representar la evolucin aleatoa o ria de un sistema a lo largo del tiempo. En general, las variables aleatorias que conforman un proceso no son independientes entre s sino que estn relacionadas , a unas con otras de alguna manera particular. Ms precisamente, la denicin de a o proceso estocstico toma como base un espacio de probabilidad (, F , P ) y puede a enunciarse de la siguiente forma. Denicin. Un proceso estocstico es una coleccin de variables aleatorias o a o {Xt : t T } parametrizada por un conjunto T , llamado espacio parametral, y con valores en un conjunto S llamado espacio de estados. En los casos ms sencillos, y que son los que consideraremos en este texto, se toma a como espacio parametral el conjunto discreto T = {0, 1, 2, . . .}, o bien el conjunto continuo T = [0, ), y estos nmeros se interpretan como tiempos. En el primer u caso se dice que el proceso es a tiempo discreto, y en general este tipo de procesos se denotar por {Xn : n = 0, 1, . . .}, mientras que en el segundo caso el proceso es a a tiempo continuo, y se denotar por {Xt : t 0}. Es decir, seguiremos la convencin a o 1
2
de que si el sub ndice es n, entonces los tiempos son discretos, y si el sub ndice es t, el tiempo se mide de manera continua. Los posibles espacios de estados que consideraremos son subconjuntos de Z, y un poco ms generalmente tomaremos a como espacio de estados el conjunto de nmeros reales R, aunque en algunos pocos u casos tambin consideraremos a Zn o Rn . Naturalmente, espacios ms generales e a son posibles, tanto para el espacio parametral como para el espacio de estados. En particular, para poder hablar de variables aleatorias con valores en el espacio de estados S, es necesario asociar a este conjunto una -lgebra. Considerando que S a es un subconjunto de R, puede tomarse la -lgebra de Borel de R restringida a a S, es decir, S B(R). Un proceso estocstico puede cona siderarse como una funcin de dos o Xt () variables X : T S tal que a la pareja (t, ) se le asocia el estado X(t, ), lo cual tambin e puede escribirse como Xt (). Para cada valor de t en T , el mapeo Xt () es una variable aleatoria, mientras que para cada en t jo, la funcin t Xt () es llamao Espacio parametral da una trayectoria o realizacin del o proceso. Es decir, a cada del esFigura 1.1: pacio muestral le corresponde una trayectoria del proceso. Es por ello que a veces se dene un proceso estocstico como una funcin aleatoria. Una de tales trayectorias t a o picas que adems a cuenta con la propiedad de ser continua se muestra en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano, proceso que deniremos y estudiaremos ms adelante. a Si A es un conjunto de estados, el evento (Xt A) corresponde a la situacin en o donde al tiempo t el proceso toma algn valor dentro del conjunto A. En particular, u (Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x. Los diferentes tipos de procesos estocsticos se obtienen al considerar las distintas a posibilidades para: el espacio parametral, el espacio de estados, las caracter sticas de las trayectorias, y principalmente las relaciones de dependencia entre las variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estocsticos. Estos son procesos que cumplen una cierta a
Espacio de estados
Cap tulo 1. Introduccion
propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del texto estudiaremos y especicaremos con mayor detalle algunos de estos tipos de procesos. Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n = 0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo representa una sucesin de ensayos independientes de un mismo experimento o aleatorio, por ejemplo, lanzar un dado o una moneda repetidas veces. El resultado u observacin del proceso en un momento cualquiera es, por lo tanto, independiente o de cualquier otra observacin pasada o futura del proceso. o Procesos de Markov. Estos tipos de procesos son importantes y son modelos en donde, suponiendo conocido el estado presente del sistema, los estados anteriores no tienen inuencia en los estados futuros del sistema. Esta condicin se llama propieo dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados x0 , x1 , . . . , xn1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). De esta forma la probabilidad del evento futuro (Xn = xn ) slo depende el eveno to (Xn1 = xn1 ), mientras que la informacin correspondiente al evento pasado o (X0 = x0 , . . . , Xn2 = xn2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y existe un gran nmero de sistemas que surgen en muy u diversas disciplinas del conocimiento para los cuales el modelo de proceso estocstia co y la propiedad de Markov son razonables. En particular, los sistemas dinmicos a deterministas dados por una ecuacin diferencial pueden considerarse procesos de o Markov pues su evolucin futura queda determinada por la posicin inicial del o o sistema y una ley de movimiento especicada. Procesos con incrementos independientes. Se dice que un proceso {Xt : t 0} tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 < < tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes. Procesos estacionarios. Se dice que un proceso {Xt : t 0} es estacionario (en el sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribucin del vector o (Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier valor de h > 0. En particular, la distribucin de Xt es la misma que la de Xt+h o para cualquier h > 0, y entonces esta distribucin es la misma para cualquier valor o de t. Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t 0}
4
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier h > 0, las variables Xt+h Xs+h y Xt Xs tienen la misma distribucin de o probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t slo depende de estos tiempos a travs de la diferencia t s, y no de los valores o e espec cos de s y t. Martingalas. Una martingala a tiempo discreto es, en trminos generales, un e proceso {Xn : n = 0, 1, . . .} que cumple la condicin o E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn . (1.1)
En palabras, esta igualdad signica que el estado promedio del proceso al tiempo futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn . Esto es, se trata de una ley de movimiento aleatorio que es equilibrada pues en promedio el sistema no se mueve del ultimo momento observado. A estos procesos tambin se les conoce como procesos de juegos justos pues si se considera una e sucesin innita de apuestas sucesivas y si Xn denota el capital de uno de los o jugadores al tiempo n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues en promedio el jugador no pierde ni gana en cada apuesta. Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t 0} es e un proceso de L`vy si sus incrementos son independientes y estacionarios. Ms e a adelante veremos que tanto el proceso de Poisson como el movimiento Browniano son ejemplos de este tipo de procesos. Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t 0} es un proceso Gausiano si para cualesquiera coleccin nita de tiempos t1 , . . . , tn , el o o vector (Xt1 , . . . , Xtn ) tiene distribucin normal o Gausiana. Nuevamente, el movimiento Browniano es un ejemplo de este tipo de procesos. El objetivo del presente texto es el de proporcionar una introduccin a algunos o resultados elementales sobre ciertos tipos de procesos estocsticos. a Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con incrementos independientes es un proceso de Markov. Este resultado no es vlido a para procesos a tiempo continuo.
Cap tulo 2
Caminatas aleatorias
En este cap tulo se presenta una introduccin breve al tema de caminatas aleatorias o en una dimensin. Encontraremos la distribucin de probabilidad de la posicin de o o o una part cula que efecta una caminata aleatoria en Z, y la probabilidad de retorno u a la posicin de origen. Se plantea y resuelve despus el problema de la ruina del o e jugador, y se analizan algunos aspectos de la solucin. o
2.1.
Caminatas aleatorias
Una caminata aleatoria simple sobre el conjunto de nmeros enteros Z es un proceso u estocstico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra a en la Figura 2.1. Es decir, iniciando en el estado 0, al siq p guiente tiempo el proceso puede pasar al estado +1 con probabilidad p, o al estado 2 1 +1 +2 0 1 con probabilidad q, en donde p+q = 1. Se usa la misma regla para los siguientes tiempos, es decir, pasa al estado de la deFigura 2.1: recha con probabilidad p, o al estado de la izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n. Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo a las probabilidades de transicin que se muestran en la Figura 2.1, vlidas para o a
2.1. Caminatas aleatorias
cualquier n 0, y para cualesquiera enteros i y j. Estas probabilidades se pueden escribir de la forma siguiente p si j = i + 1, q si j = i 1, = j | Xn = i) = 0 otro caso.
P (Xn+1
Dado que estas probabilidades no dependen de n, se dice que son homogneas en e el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas consideraciones, es intuitivamente claro que este proceso cumple la propiedad de Markov, es decir, el estado futuro del proceso depende unicamente del estado pre sente y no de los estados previamente visitados. Una posible trayectoria de este proceso se muestra en la Figura 2.2. Una caminata aleatoria puede tambin dee nirse de la forma siguiente: Sea 1 , 2 , . . . una sucesin de variables aleatorias indeo pendientes e idnticamente distribuidas. e Por la idntica distribucin denotaremos a e o cualquiera de ellas mediante la letra sin sub ndice. Supondremos que P ( = +1) = p y P ( = 1) = q, en donde, como antes, p + q = 1. Entonces para n 1 se dene Xn = X0 + 1 + + n .
Xn ()
Figura 2.2:
Sin prdida de generalidad supondremos que X0 = 0. Nos interesa encontrar ale gunas propiedades de la variable Xn , y de su comportamiento como funcin de n. o Por ejemplo, a partir de la expresin anterior, es inmediato encontrar su esperanza o y varianza. Proposicin. Para cualquier entero n 0, o 1. E(Xn ) = n(p q). 2. Var(Xn ) = 4npq.
Demostracin. Para la esperanza tenemos que E(Xn ) = o
n i=1
E(i ) = n E() =
Cap tulo 2. Caminatas aleatorias
n(p q). Por otro lado, como E( 2 ) = p + q = 1 y E() = p q, se tiene que n Var() = 1 (p q)2 = 4pq. Por lo tanto Var(Xn ) = i=1 Var(i ) = n Var() = 4npq. Analicemos estas dos primeras frmulas. Si p > q, es decir, si la caminata toma o pasos a la derecha con mayor probabilidad, entonces el estado promedio despus e de n pasos es un nmero positivo, es decir, su comportamiento promedio es tender u hacia la derecha, lo cual es intuitivamente claro. Anlogamente, si p < q, entonces a el estado nal promedio de la caminata despus de n pasos es un n mero negativo, e u es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos casos la varianza crece conforme el nmero de pasos n crece, eso indica que mientras u mayor es el nmero de pasos que se dan, mayor es la incertidumbre acerca de la u posicin nal del proceso. Cuando p = q se dice que la caminata es asimtrica. o e Cuando p = q = 1/2 se dice que la caminata es simtrica, y en promedio el proceso e se queda en su estado inicial pues E(Xn ) = 0, sin embargo para tal valor de p la varianza es Var(Xn ) = n, y es sencillo demostrar que ese valor es el mximo de la a expresin 4npq, para p (0, 1). o Ejercicio. Demuestre que la funcin generadora de momentos de la variable Xn o o es M (t) = E(etXn ) = (pet + qet )n . A partir de esta expresin encuentre nuevamente la esperanza y varianza de Xn . Probabilidades de transicin. Como hemos supuesto que la caminata inicia en o cero, es intuitivamente claro que despus de efectuar un nmero par de pasos la e u cadena slo puede terminar en una posicin par, y si se efectan un n mero impar o o u u de pasos la posicin nal slo puede ser un nmero impar. Adems, es claro que o o u a despus de efectuar n pasos, la caminata slo puede llegar a una distancia mxima e o a de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente resultado se presenta la distribucin de probabilidad de la variable Xn . o Proposicin. Para cualesquiera nmeros enteros x y n tales que n x n, o u y para el caso cuando x y n son ambos pares o ambos impares, P (Xn = x | X0 = 0) =
1 2 (n
1 1 n p 2 (n+x) q 2 (nx) . + x)
(2.1)
Para valores de x y n que no cumplen las condiciones indicadas la probabilidad en cuestin vale cero. o
Demostracin. Suponga que se observa la posicin de la caminata despus de efeco o e tuar n pasos. Sean Rn y Ln el nmero de pasos realizados hacia la derecha y hacia u la izquierda, respectivamente. Entonces Xn = Rn Ln , y adems n = Rn + Ln . a n Sumando estas dos ecuaciones y substituyendo la expresin Xn = i=1 i se obo tiene n 1 1 (1 + i ). Rn = (n + Xn ) = 2 2 i=1 Esta ecuacin es la identidad clave para obtener el resultado buscado. Observe o que esta frmula arroja un valor entero para Rn cuando n y Xn son ambos pares o o ambos impares. Como las variables independientes i toman los valores +1 y 1 con probabilidades p y q respectivamente, entonces las variables independientes 1 o 2 (1 + i ) toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusin de que la variable Rn tiene distribucin binomial(n, p). Por lo tanto, para cualquier o valor de x que cumpla las condiciones enunciadas se tiene que P (Xn = x | X0 = 0) = = P (Rn =
1 2 (n
1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

1 1
n + x)
En particular, cuando la caminata es simtrica, es decir, cuando p = 1/2, y con las e mismas restricciones para n y x (n x n, ambos pares o ambos impares) se tiene la expresin o P (Xn = x | X0 = 0) =
1 2 (n
n + x)
1 . 2n
(2.2)
Esta frmula puede tambin justicarse mediante argumentos de anlisis combinao e a torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir debido a la simetr Ahora, Cuntas de estas trayectorias terminan en x 0, por a. a ejemplo? Como se ha argumentado antes, el nmero de pasos a la derecha debe u 1 u o u ser 2 (n + x), y el nmero de trayectorias que cumplen la condicin es el n mero 1 de formas en que los 2 (n + x) pasos a la derecha pueden escogerse de los n pasos totales. La respuesta es entonces el cociente que aparece en (2.2).
Ejercicio. Demuestre nuevamente la identidad (2.1) analizando ahora la variable n Ln , es decir, demuestre primero las igualdades Ln = (n Xn )/2 = i=1 (1 i )/2. Concluya que Ln tiene distribucin binomial(n, q). A partir de aqu obtenga (2.1). o Ejercicio. Demuestre que la probabilidad (2.1) es una funcin simtrica de x o e si, y slo si, la caminata es simtrica. o e La frmula (2.1) puede extenderse fcilmente al caso general de pasar de un estado o a cualquiera y a otro estado x en n pasos. Proposicin. Si los nmeros n y x y son ambos pares o ambos impares, o u entonces para n x y n, P (Xn = x | X0 = y) =
1 2 (n
n + x y)
p 2 (n+xy) q 2 (nx+y) .
(2.3)
Para valores de x y y n que no cumplen las condiciones indicadas la probabilidad en cuestin vale cero. o
Demostracin. Tenemos como hiptesis que X0 = y. Consideremos el proceso Zn = o o Xn y. Entonces {Zn } es ahora una caminata aleatoria que inicia en cero como en el caso antes demostrado. El resultado enunciado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x y | Zn = 0). Probabilidad de regreso a la posicin de origen. Nos plantearemos ahora el o problema de encontrar la probabilidad de que una caminata aleatoria que inicia en el origen, regrese eventualmente al punto de partida. Demostraremos que en el caso asimtrico, p = 1/2, la probabilidad de tal evento es menor que uno, es decir, e no es seguro que ello ocurra, pero en el caso simtrico, p = 1/2, se cumple que con e probabilidad uno la caminata regresa eventualmente al origen. Para el ultimo caso demostraremos adems que el nmero de pasos promedio para regresar al origen a u es, sin embargo, innito. La demostracin es un tanto tcnica y hace uso de las o e funciones generadoras de probabilidad. Dado que este cap tulo es introductorio, tal vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir los detalles de esta demostracin. o
10
Proposicin. Para una caminata aleatoria sobre Z, la probabilidad de un o eventual regreso al punto de partida es 1 |p q| = 1 <1 si p = q, si p = q.
Es decir, slo en el caso simtrico, p = q, se tiene la certeza de un eventual o e retorno, sin embargo el tiempo promedio de regreso en tal caso es innito.
Demostracin. Para demostrar estas armaciones utilizaremos los siguientes eleo mentos: a) Para cada n 0 denotaremos por pn a la probabilidad de que la caminata se encuentre en el estado 0 al tiempo n, es decir, pn = P (Xn = 0 | X0 = 0). Esta probabilidad es distinta de cero slo cuando n es un nmero par. Naturalmente o u p0 = 1. Denotaremos tambin por fk a la probabilidad de que la caminata visite e el estado 0 por primera vez en el paso k 0. El uso de la letra f proviene el trmino en Ingls rst. Por conveniencia se dene f0 = 0. Observe que en trminos e e e de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente al origen es k=0 fk . Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos que en el caso simtrico la suma vale uno. Recordemos nuevamente que los valores e de fk son estrictamente positivos slo para valores pares de k distintos de cero. o b) No es dif comprobar que se cumple la siguiente igualdad cil
n
pn =
k=0
fk pnk .
(2.4)
En esta expresin simplemente se descompone la probabilidad de regreso al origen, o pn , en las distintas posibilidades en donde se efecta el primer regreso al origen. u Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el ultimo momento, el paso n. Despus de efectuado el primer regreso se multiplica por la e probabilidad de regresar al origen en el nmero de pasos restantes. Observe que el u primer sumando es cero. Esta frmula ser demostrada ms adelante en el contexto o a a de las cadenas de Markov, vase la frmula (3.2) en la pgina 44. Usaremos (2.4) e o a para encontrar la funcin generadora de probabilidad de la coleccin de n meros o o u
Cap tulo 2. Caminatas aleatorias f0 , f1 , f2 , . . . , es decir, encontraremos G(t) =

k=0
11
f k tk .
Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene

n=1
p n tn
= = = =
fk pnk ) tn fk pnk tn
n=k n=0
n=1 k=0
k=0 n=k f k tk k=0
pnk tnk
G(t)
p n tn .
Por lo tanto (
n=0
pn tn ) 1 = G(t)
n=0
p n tn .
(2.5)
Para encontrar G(t) se necesita encontrar una expresin para la suma que aparece o en la ultima ecuacin, y que no es otra cosa sino el funcin generadora de los o o nmeros p0 , p1 , p2 , . . . Haremos esto a continuacin. u o c) Para el anlisis que sigue necesitamos recordar que para cualquier n mero real a u a y para cualquier entero n, se tiene el coeciente binomial a n = a(a 1) (a (n 1)) . n! (2.6)
Observe que en el numerador hay n factores. Este nmero es una generalizacin u o del coeciente binomial usual y aparece en la siguiente expansin binomial innita o vlida para |t| < 1, a a n a t . (2.7) (1 + t) = n n=0
12
En particular y como una aplicacin de (2.6) se tiene que o 2n n = = = = = 2n(2n 1)(2n 2) 3 2 1 n! n! n 2 n! (2n 1)(2n 3) 5 3 1 n! n! 2n 2n 2n 1 2n 3 5 3 1 ( )( ) ( )( )( ) n! 2 2 2 2 2 2n 2n 1 3 5 3 1 n (1) (n + )(n + ) ( )( )( ) n! 2 2 2 2 2 1/2 . (4)n n
(2.8)
d) Usando (2.7) y (2.8) podemos ahora encontrar una expresin cerrada para la o funcin generadora de la coleccin de nmeros p0 , p1 , p2 , . . . o o u
n=0
p n tn
= = =
n=0 n=0 n=0
2n n n 2n p q t n (4)n 1/2 n n 2n p q t n
1/2 (4pqt2 )n n (2.9)
= (1 4pqt2 )1/2 . e) Substituyendo (2.9) en (2.5) se llega a la igualdad (1 4pqt2 )1/2 1 = G(t) (1 4pqt2 )1/2 . De donde se obtiene nalmente G(t) = 1 (1 4pqt2 )1/2 .
(2.10)
Usando esta expresin podemos ahora calcular la probabilidad de un eventual reo greso al estado inicial. En efecto, por el lema de Abel,
n=0
fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|. m

t1
13
En el caso asimtrico, p = 1/2, esta cantidad es estrictamente menor a uno y e por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen. En cambio, en el caso simtrico, p = 1/2, esta cantidad vale uno, es decir, con e probabilidad uno la cadena aleatoria simtrica regresa eventualmente a su posicin e o de origen. Adems, el tiempo promedio de regreso se obtiene derivando la funcin a o generadora G(t) = 1 (1 t2 )1/2 , es decir,
n=0
n fn = l G (t) = l m m
t1 t1
t = . 1 t2
Puede considerarse tambin el caso de una caminata en donde sea posible permanee cer en el mismo estado despus de una unidad de tiempo. Esta situacin se ilustra e o en la Figura 2.3(a), en donde p, q y r son probabilidades tales que p + q + r = 1. Tambin pueden considerarse caminatas aleatorias en Z2 como la que se muestra e en la Figura 2.3(b), en donde p + q + r + s = 1, o ms generalmente en Zn o a cualquier otro conjunto reticulado.
r q 1 0 p 1 1 r q
1 p 1 s 1
(a)
(b)
Figura 2.3: En el siguiente cap tulo se estudiarn algunas otras propiedades de las caminatas a aleatorias en el contexto de las cadenas de Markov.
14
2.2. El problema del jugador
2.2.
El problema del jugador
En esta seccin consideraremos un ejemplo particular de una caminata aleatoria o puesta en el contexto de un juego de apuestas. Planteamiento del problema. Suponga que un jugador A apuesta sucesivamente una unidad monetaria a un jugador B. Inicialmente el jugador A tiene k unidades, y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es de N unidades monetarias. En cada apuesta el jugador A tiene probabilidad de ganar p, y probabilidad de perder q = 1 p, se asume adems que no hay empates. a Sea Xn la fortuna del jugador A al tiempo n. Entonces {Xn : n = 0, 1, . . .} es una caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el estado 0 cuando el jugador A ha perdido todo su capital, o bien puede terminar en el estado N que corresponde a la situacin en donde el jugador A ha ganado todo o el capital. Este proceso es entonces una caminata aleatoria sobre el conjunto {0, 1, . . . , N }, en donde los estados 0 y N son absorbentes, pues una vez que la cadena llega a alguno de ellos, jams a lo abandona. Una posible trayectoria cuando la caminata se absorbe en el estado 0 se muestra en la Figura 2.4.
Xn N
k n
Una de las preguntas que resolvereFigura 2.4: mos para esta caminata es la siguiente: Cul es la probabilidad de que evena tualmente el jugador A se arruine? Es decir, Cul es la probabilidad de que la caminata se absorba en el estado 0 y no a en el estado N , u oscile entre estos dos estados? Este problema se conoce como el problema de la ruina del jugador, y encontraremos a continuacin su solucin. o o Usando probabilidad condicional es posible transformar este problema en resolver una ecuacin en diferencias. o Solucin al problema. Sea es el primer momento en el que la caminata visita o alguno de los dos estados absorbentes, es decir, = m n{n 0 : Xn = 0 Xn = o N }. Puede demostrarse que esta variable aleatoria is nita casi seguramente. La
Cap tulo 2. Caminatas aleatorias pregunta planteada se traduce en encontrar la probabilidad uk = P (X = 0 | X0 = k). Por el teorema de probabilidad total se obtiene la ecuacin en diferencias o uk = p uk+1 + q uk1 ,
15
(2.11)
vlida para k = 1, 2, . . . , N 1. La interpretacin intuitiva de esta identidad es a o sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que sucede en la siguiente apuesta. Se tienen dos casos. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1, o bien el jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir del estado k 1. Las condiciones de frontera son u0 = 1 y uN = 0. Esta ecuacin es o una ecuacin en diferencias, lineal, de segundo orden y homognea. Puede encono e trarse su solucin de la siguiente forma: Multiplicando el lado izquierdo de (2.11) o por (p + q) y agrupando trminos se llega a la expresin equivalente e o uk+1 uk = (q/p) (uk uk1 ). (2.12)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la forma siguiente u2 u1 = (q/p) (u1 1)
u3 u2
uk uk1
= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).
Hemos usado aqu la condicin de frontera u0 = 1. Conviene ahora denir Sk = o 1 + (q/p) + + (q/p)k pues al sumar las k 1 ecuaciones anteriores se obtiene uk u1 = (Sk1 1) (u1 1). O bien uk = 1 + Sk1 (u1 1). (2.13)
De manera anloga pero ahora sumando todas las ecuaciones de (2.12) se obtiene a uN = 1 + SN 1 (u1 1). Usando la segunda condicin de frontera uN = 0 se llega o a u1 1 = 1/SN 1 . Substituyendo en (2.13) y simplicando se llega a la solucin o uk = 1 Sk1 . SN 1
16
Por lo tanto
Es necesario ahora distinguir los siguientes dos casos: k+1 k k+1 Sk = 1 + (q/p) + + (q/p) = 1 (q/p) 1 (q/p) (N k)/N k N uk = (q/p) (q/p) 1 (q/p)N
si p = q, si p = q.
si p = 1/2, si p = 1/2. (2.14)
En la Figura 2.5 se muestra la grca de la probabilidad uk como funcin del a o parmetro k para varios valores de p y con N = 50. En el caso simtrico la solucin a e o es la linea recta que une la probabilidad uno con la probabilidad cero. Naturalmente la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la seccin o de ejercicios se sugiere otra forma de resolver la ecuacin en diferencias (2.11). o
uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5
p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50
Figura 2.5: Anlisis de la solucin. Es interesante analizar la frmula (2.14) en sus varios a o o aspectos. Por ejemplo, para el caso simtrico p = 1/2, es decir, cuando el juego e es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque o n comparado con N . Esto sugiere que no conviene jugar esta serie de apuestas contra adversarios demasiado ricos, an cuando el juego sea justo. Es tambin un tanto u e inesperado observar que la probabilidad uk es muy sensible a los valores de p cercanos a 1/2. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de 1/2 la probabilidad uk es casi constante, pero para valores de p cercanos a 1/2
17
la probabilidad cambia rpidamente de un extremo a otro. Estas grcas fueron a a elaboradas tomando N = 50.
uk 1 1
uk 1
uk
k=5 0.5 1
k = 25 0.5 1
k = 45 0.5 1
Figura 2.6: Ejercicio. (Probabilidad de ruina del otro jugador). Si el juego se considera desde el punto de vista del jugador B, entonces se trata de la misma caminata aleatoria slo que ahora el capital inicial es N k y la probabilidad de ganar en cada o apuesta es q. Substituya estos parmetros en la solucin (2.14) y compruebe que la a o probabilidad de ruina del jugador B, denotada por vN k , es la que aparece abajo. Verique adems que uk +vN k = 1, es decir, la probabilidad de que eventualmente a el juego termine con la ruina de alguno de los jugadores es uno. si q = 1/2, k/N k vN k = (q/p) 1 si q = 1/2. N 1 (q/p) N mero esperado de apuestas antes de la ruina. Hemos comprobado en el u ejercicio anterior que con probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina. Es natural entonces plantearse el problema de encontrar el tiempo promedio que transcurre antes de observar la eventual ruina de alguna de las partes. Este nmero de apuestas promedio antes de la ruina puede enconu trarse expl citamente, y el mtodo que usaremos para encontrarlo es nuevamente e el planteamiento de una ecuacin en diferencias que resolveremos del modo moso trado antes. Sea entonces mk el nmero esperado de apuesta antes de que termine u el juego, en donde el jugador A tiene un capital inicial de k unidades, y B tiene N k.
18
Proposicin. El nmero esperado de apuestas antes de la ruina es o u si p = q, k (N k) k mk = 1 ( k N 1 (q/p) ) si p = q. N qp 1 (q/p) Demostracin. Condicionando sobre el resultado de la primera apuesta se obtiene o que mk satisface la ecuacin o mk = 1 + p mk+1 + q mk1 , vlida para k = 1, 2, . . . , N 1. Esta es una ecuacin en diferencias, de segundo a o orden, lineal y no homognea. Las condiciones de frontera son ahora m0 = 0 y e mN = 0. Substituyendo (p + q)mk por mk y agrupando trminos convenientemente e la ecuacin anterior puede reescribirse del siguiente modo o mk+1 mk = 1 q (mk mk1 ) . p p (2.15)
Recordando la notacin Sk = 1 + (q/p) + + (q/p)k , y substituyendo iterativao mente, las primeras k 1 ecuaciones son m2 m1 m3 m2 = = . . . mk mk1 = (q/p)k1 m1 1 Sk2 . p 1 S0 , p 1 (q/p)2 m1 S1 , p (q/p) m1
Aqu se ha hecho uso de la condicin de frontera m0 = 0. Sumando todas estas o ecuaciones se obtiene mk m1 = m1 (Sk1 1) Es decir, mk = m1 Sk1 1 p
k2
1 p
k2
Si .
i=0
Si .
i=0
(2.16)
Cap tulo 2. Caminatas aleatorias En particular, sumando todas las ecuaciones de (2.15) se obtiene mN = m1 SN 1 1 p
N 2 i=0
19
Si .
Ahora se hace uso de la condicin mN = 0, y se obtiene o m1 = Substituyendo en (2.16), mk = Sk1 1 SN 1 p

N 2 i=0
1 SN 1
1 p
k2
Si .
i=0
Si
1 p
k2
Si .
i=0
(2.17)
Substituyendo en (2.17) y simplicando, despus de algunos clculos se llega a la e a respuesta enunciada.

mk La forma en la que mk cambia al variar el parmetro k se muestra en la 625 a p = 0.5 Figura 2.7 cuando N = 50. La duracin mxima promedio del juego se o a obtiene cuando el juego es justo, p = 1/2, y ambos jugadores tienen el mismo capital inicial, es decir, k = N/2. p = 0.1 p = 0.9 Esto arroja un promedio mximo de a 10 20 30 40 (N/2)(N N/2) = (N/2)2 apuestas Figura 2.7: antes del n del juego. En el caso ilustrado, la duracin mxima promedio o a del juego es de (50/2)2 = 625 apuestas.
Nuevamente se deben distinguir los siguientes dos casos: k+1 k k+1 Sk = 1 + (q/p) + + (q/p) = 1 (q/p) 1 (q/p)
si p = q, si p = q.
50
Ejercicio. Demuestre que la duracin promedio del juego es siempre menor o o igual a (N/2)2 , es decir, para cada k = 1, . . . , N , se cumple que mk (N/2)2 ,
20
tanto en el caso simtrico como no simtrico. e e Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la mayor de los textos sobre procesos estocsticos, ya sea de una manera expl a a cita o como un ejemplo importante de cadena de Markov. En particular el libro de Jones y Smith [17], y el de Basu [1] contienen un cap tulo completo sobre el tema. Como lectura ms avanzada vase el texto de Resnick [28], y el de Spitzer [34]. a e
21
Ejercicios
Caminatas aleatorias 1. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de Markov, es decir, demuestre que para cualesquiera enteros x0 , x1 , . . . , xn+1 , P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ). 2. Para una caminata aleatoria simple {Xn } sobre Z demuestre que P (Xn+1 = x) = p P (Xn = x 1) + q P (Xn = x + 1). 3. Una part cula realiza una caminata aleatoria simtrica sobre Z empezando en e cero. Encuentre la probabilidad de que la part cula se encuentre nuevamente en el origen en el sexto paso. 4. Una part cula realiza una caminata aleatoria simtrica sobre Z empezando e en cero. Cul es la probabilidad de que la part a cula regrese al estado cero por primera vez en el sexto paso? 5. Considere una caminata aleatoria simple sobre Z que empieza en cero y tal que la probabilidad de pasar al estado de la derecha es p y la probabilidad de pasar al estado de la izquierda es q = 1 p. Sea n el primer momento en el que la caminata visita el estado n 1. Usuando anlisis del primer paso a (condicionando sobre si primer paso se efecta a la izquierda o a la derecha) u demuestre que (p/q)n si p < 1/2, P (n < ) = 1 si p 1/2. En particular, la probabilidad de que la caminata se mantenga siempre en el conjunto {. . . , 1, 0, 1, . . . , n 1} es 1 (p/q)n en el caso p < 1/2, y con probabilidad uno llegar al estado n en el caso p 1/2. Generalice la frmula a o anterior en el caso cuando el estado inicial es m, menor o mayor a n. 6. Un algoritmo aleatorio de bsqueda del estado cero opera del siguiente mou do: si se encuentra en el estado k en algn momento, entonces el estado del u algoritmo al siguiente paso es aleatorio con distribucin uniforme en el cono junto {0, 1, . . . , k 1}. Encuentre el nmero esperado de pasos en los que el u algoritmo alcanza el estado cero cuando inicia en el estado k.
22
El problema de la ruina del jugador 7. Siguiendo la notacin usada en el problema de la ruina del jugador, demuestre o la validez de la ecuacin uk = p uk+1 + q uk1 , para k = 1, 2, . . . , N 1. o 8. Para resolver el problema del jugador se requiere resolver la ecuacin en difeo rencias uk = p uk+1 + q uk1 . Resuelva nuevamente esta ecuacin siguiendo o los siguientes pasos [18]: a) Proponga la solucin uk = a mk , con a y m constantes distintas de cero, o y que encontraremos a continuacin. o b) Substituya la solucin propuesta en la ecuacin en diferencias y encueno o tre la ecuacin cuadrtica pm2 m + q = 0. Esta ecuacin se conoce o a o como la ecuacin caracter o stica de la ecuacin en diferencias. o c) Suponiendo el caso p = q, esta ecuacin cuadrtica tiene dos soluciones o a distintas: m1 = 1 y m2 = q/p. Dada la linealidad de la ecuacin en o diferencias, la solucin general puede escribirse como uk = a1 mk + o 1 a2 mk = a1 + a2 (q/p)k . 2 d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 , y obtener nuevamente la solucin (2.14). o e) Cuando p = q la ecuacin caracter o stica tiene una unica ra m1 = 1. z: Como segundo valor para m se propone k veces el valor de la primera solucin, es decir, m2 = k. Proceda como en el inciso anterior para o encontrar (2.14) en este caso. 9. Siguiendo la notacin usada para encontrar el nmero esperado de apuestas o u antes de la ruina en el problema del jugador, demuestre la igualdad mk = 1 + p mk+1 + q mk1 , para k = 1, 2, . . . , N 1. 10. Considere el problema de la ruina del jugador permitiendo ahora que existan empates en cada una de las apuestas. Las probabilidades de ganar, perder o empatar para el jugador A son p, q y r, respectivamente, con p+q+r = 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma expresin (2.14). Es decir, la posibilidad de empate en cada apuesta extiende o posiblemente la duracin del juego pero no modica las probabilidades de o ruina.
Cap tulo 3
Cadenas de Markov
Las cadenas de Markov fueron introducidas por el matemtico ruso Andrey Markov alrededor de 1905. Su ina tencin era crear un modelo probabil o stico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios. El xito del modelo propuesto por Mare kov radica en que es lo sucientemente complejo como para describir ciertas caracter sticas no triviales de algunos sistemas, pero al mismo tiempo es lo sucientemente sencillo para ser analizado matemticamente. Las cadea nas de Markov pueden aplicarse a una amplia gama de fenmenos cient o cos y sociales, y se cuenta con una teor a matemtica extensa al respecto. En este cap a tulo presentaremos una introduccin a algunos aspectos bsicos de o a este modelo.
Andrey Markov (Rusia 1856-1922)
3.1.
Propiedad de Markov
Vamos a considerar procesos estocsticos a tiempo discreto {Xn } que cumplen la a propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones equivalentes de una manera simple, a la probabilidad P (Xn = xn ) se le escribir como p(xn ), es decir, el sub a ndice indica tambin la variable a la que se hace e referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es anlogo. a 23
24
3.1. Propiedad de Markov
Denicin. Una cadena de Markov es un proceso estocstico a tiempo discreto o a {Xn : n = 0, 1, . . .}, con espacio de estados discreto, y que satisface la propiedad de Markov, esto es, para cualquier entero n 0, y para cualesquiera estados x0 , . . . , xn+1 , se cumple p(xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ). (3.1)
Si el tiempo n+1 se considera como un tiempo futuro, el tiempo n como el presente y los tiempos 0, 1, . . . , n1 como el pasado, entonces la condicin (3.1) establece que o la distribucin de probabilidad del estado del proceso al tiempo futuro n+1 depende o unicamente del estado del proceso al tiempo n, y no depende de los estados en los tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta propiedad, algunas de ellas se encuentran enunciadas en la seccin de ejercicios. Por o ejemplo, es posible demostrar que la condicin (3.1) es equivalente a poder calcular o la distribucin conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma o p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Sin prdida de generalidad tomaremos como espacio de estados de una cadena de e Markov al conjunto discreto {0, 1, 2, . . .}, o cualquier subconjunto nito que conste de los primeros elementos de este conjunto. Cuando el espacio de estados de una cadena de Markov es un conjunto nito se dice que la cadena es nita. Probabilidades de transicin. A la o 1 2 probabilidad P (Xn+1 = j | Xn = i) se 3 0 p00 p01 p02 le denota por pij (n, n + 1), y representa 0 1 p10 p11 p12 la probabilidad de transicin del estado i 2 o P = 2 p20 p21 p22 en el tiempo n, al estado j en el tiempo . . . . n + 1. Estas probabilidades se conocen co. . . . . . . . mo las probabilidades de transicin en un 1 o 0 1 2 3 4 5 paso. Cuando los nmeros pij (n, n + 1) no u dependen de n se dice que la cadena es esFigura 3.1: tacionaria u homognea en el tiempo. Por e simplicidad se asume tal situacin de modo que las probabilidades de transicin en o o un paso se escriben simplemente como pij . Variando los ndices i y j, por ejemplo sobre el conjunto de estados {0, 1, 2, . . .}, se obtiene la matriz de probabilidades de transicin en un paso que aparece en la Figura 3.1. La entrada (i, j) de esta matriz o es la probabilidad de transicin pij , es decir, la probabilidad de pasar del estado i al o
Cap tulo 3. Cadenas de Markov
25
estado j en una unidad de tiempo. En general, al escribir estas matrices omitiremos escribir la identicacin de los estados en los renglones y columnas como aparece o en la Figura 3.1, tal identicacin ser evidente a partir de conocer el espacio de o a estados del proceso. El ndice i se reere al rengln de la matriz, y el o ndice j a la columna. Proposicin. La matriz de probabilidades de transicin P = (pij ) cumple las o o siguientes dos propiedades. a) pij 0. b)
j
pij = 1.
Demostracin. La primera condicin es evidente a partir del hecho de que estos o o nmeros son probabilidades. Para la segunda propiedad se tiene que para cualquier u estado i y cualquier entero n 0, 1 = P (Xn+1 {0, 1, . . .}) = P (Xn+1 {0, 1, . . .} | Xn = i) = P(
j
(Xn+1 = j) | Xn = i)
=
j
P (Xn+1 = j | Xn = i) pij .
=
j
Esto ultimo signica que a partir de cualquier estado i con probabilidad uno la cadena pasa necesariamente a algn elemento del espacio de estados al siguiente u momento. En general toda matriz cuadrada que cumpla estas dos propiedades se dice que es una matriz estocstica. Debido a la propiedad de Markov, esta matriz a captura la esencia del proceso y determina el comportamiento de la cadena en cualquier tiempo futuro. Si adems la matriz satisface la condicin i pij = 1, a o es decir, cuando la suma por columnas tambin es uno, entonces se dice que es e doblemente estocstica. a
26
3.1. Propiedad de Markov
Distribucin de probabilidad inicial. En general puede considerarse que una o cadena de Markov inicia su evolucin partiendo de un estado i cualquiera, o ms o a generalmente considerando una distribucin de probabilidad inicial sobre el espacio o de estados. Una distribucin inicial para una cadena de Markov con espacio de o estados {0, 1, 2, . . .} es simplemente una distribucin de probabilidad sobre este o conjunto, es decir, es una coleccin de nmeros p0 , p1 , p2 . . . que son no negativos o u y que suman uno. El nmero pi corresponde a la probabilidad de que la cadena u inicie en el estado i. En general, la distribucin inicial juega un papel secundario o en el estudio de las cadenas de Markov. Existencia. Hemos mencionado que la propiedad de Markov es equivalente a la igualdad p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Esta identidad establece que las distribuciones conjuntas p(x0 , x1 , . . . , xn ) se encuentran completamente especicadas por la matriz de probabilidades de transicin y una distribucin inio o cial. En el texto de Chung [7] puede encontrarse una demostracin del hecho de o que dada una matriz estocstica y una distribucin de probabilidad inicial, existe a o un espacio de probabilidad y una cadena de Markov con matriz de probabilidades de transicin y distribucin inicial las especicadas. Es por ello que a la matriz o o misma se le llama a veces cadena de Markov. Ejercicio. Sea {Xn } una cadena de Markov con tres estados: 0,1,2, y con matriz de probabilidades de transicin como aparece abajo. Calcule P (X2 = 0, X1 = o 0 | X0 = 1) y P (X3 = 1, X2 = 1 | X1 = 2). P =
0.4 0.3 0.7 0.3 0.2 0 0.3 0.5 0.3
Ejercicio. Sea {Xn } una cadena de Markov con dos estados 0 y 1, con distribucin inicial P (X0 = 0) = 0.5, P (X0 = 1) = 0.5, y con matriz de probabio lidades de transicin como aparece abajo. Calcule P (X0 = 0, X1 = 1, X2 = 0), o P (X0 = 0 | X1 = 1), P (X1 = 0), P (X2 = 1) y P (X0 = 0, X1 = 0, X2 = 1, X3 = 1). P =
0.4 0.9 0.6 0.1
27
Ejercicio. Sea {Xn } una cadena de Markov con dos estados: 0,1, con distribucin o inicial P (X0 = 0) = 0.2, P (X0 = 1) = 0.8, y con matriz de probabilidades de transicin como aparece abajo. Encuentre la distribucin de las variables X1 , X2 , o o X1 y X2 conjuntamente. P =
1/2 2/3 1/2 1/3
Probabilidades de transicin en n pasos. La probabilidad P (Xn+m = j | Xm = o i) corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al tiempo m + n. Dado que hemos supuesto la condicin de homogeneidad en el o tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con P (Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad tambin se le e (n) u e denota como pij , en donde el nmero de pasos n se escribe entre parntesis para distinguirlo de algn posible exponente, y se le llama probabilidad de transicin en u o n pasos. Cuando n = 1 simplemente se omite su escritura, a menos que se quiera hacer nfasis en ello. Tambin cuando n = 0 es natural denir e e pij (0) = ij = 0 1 si i = j, si i = j.
Es decir, despus de realizar cero pasos la cadena no puede estar en otro estado e mas que en su lugar de origen. Esta es la funcin delta de Kronecker. o
3.2.
Ejemplos
Revisaremos a continuacin algunos ejemplos particulares clsicos de cadenas de o a Markov. Retomaremos ms adelante varios de estos ejemplos para ilustrar otros a conceptos y resultados generales de la teor general. a Cadena de dos estados. Considere una cadena de Markov con espacio de estados {0, 1}, con matriz y diagrama de transicin como aparece en la Figura 3.2, en o donde 0 a 1, y 0 b 1. Suponga que la distribucin inicial est dada por o a p0 = P (X0 = 0) y p1 = P (X0 = 1). Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues es comn encontrar situaciones en donde se presenta siempre la dualidad de ser o u
28
3.2. Ejemplos
0 P = 0 1 1a b
1 a 1b 1a 0
a 1 b 1b
Figura 3.2: no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre un estado y el otro. Cuando a = 1 b, las variables X1 , X2 , . . . son independientes e idnticamente distribuidas con P (Xn = 0) = 1 a y P (Xn = 1) = a, para cada e n 1. Cuando a = 1 b, Xn depende de Xn1 . Mas adelante demostraremos que las probabilidades de transicin en n pasos son, para a + b > 0, o p00 (n) p01 (n) p10 (n) p11 (n) = 1 a+b b a b a + (1 a b)n a+b a b a b .
Ejercicio. Para la cadena de Markov de dos estados, compruebe directamente que a) P (X0 = 0, X1 = 1, X2 = 0) = ab p0 . b) P (X0 = 0, X2 = 1) = (ab + (1 a)a) p0 . c) P (X2 = 0) = ((1 a)2 + ab) p0 + ((1 b)b + b(1 a)) p1 .
Cadena de variables aleatorias independientes. Sea 1 , 2 , . . . una sucesin o de variables aleatorias independientes con valores en el conjunto {0, 1, . . .}, y con idntica distribucin dada por las probabilidades a0 , a1 , . . . Deniremos varias cae o denas de Markov a partir de esta sucesin. o a) La sucesin Xn = n es una cadena de Markov con probabilidades de trano sicin pij = P (Xn = j | Xn1 = i) = P (Xn = j) = aj , es decir, la matriz de o
Cap tulo 3. Cadenas de Markov probabilidades de transicin es de la siguiente forma o

a0 . . .
29
Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo, una sucesin de lanzamientos de una moneda. o b) El proceso Xn = mx {1 , . . . , n } es una cadena de Markov con matriz a
a0
P = a0
a1 a1 . . .
a2 a2 . . .
0 P = 0
. . .
a1 a0 + a1 0 . . .
a2 a2 a0 + a1 + a2 . . .
a3 a3 a3 . . .
c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

a0
0 P = 0
. . .
a1 a0 0 . . .
a2 a1 a0 . . .
Ejercicio. Es el proceso Xn = m {1 , . . . , n } una cadena de Markov? En n caso armativo encuentre la matriz de probabilidades de transicin. o Cadena de rachas de xitos. Sea 1 , 2 , . . . una sucesin de ensayos indepene o dientes Bernoulli con probabilidad de xito p, y probabilidad de fracaso q = 1 p. e Sea Xn el nmero de xitos consecutivos previos al tiempo n, incluyendo el tiempo u e n. Se dice que una racha de xitos de longitud r ocurre al tiempo n si en el ensayo e n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al n son todos xitos. Grcamente esta situacin se ilustra en la Figura 3.3. e a o La coleccin de variables aleatorias {Xn : n = 1, 2, . . .} es una cadena de Markov o con espacio de estados {0, 1, . . .}. Las probabilidades de transicin y la matriz o correspondiente se muestran en la Figura 3.4. Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden observar en la Figura 3.5.
30
3.2. Ejemplos
r xitos e 1 2 F nr E nr+1 E n
Figura 3.3:
p q pij = 0
si j = i + 1, si j = 0, otro caso.
P =
Figura 3.4:
0 1 2 . . .
q q q . . .
p 0 0 . . .
0 0 p 0 0 p . . . .
0 p 1 q q 2 q 3 q r
Figura 3.5: Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el conjunto de nmeros enteros constituye una cadena de Markov con espacio de estados u el conjunto Z, y con probabilidades de transicin o p si j = i + 1, q si j = i 1, pij = 0 otro caso,
31
En otro caso pij (n) = 0, excepto cuando n = 0 e i = j. Ms adelante usaremos este a modelo para ilustrar algunos conceptos generales de cadenas de Markov.
en donde p+q = 1. Hemos demostrado en el cap tulo anterior que las probabilidades de transicin en n pasos son las siguientes: Si n + j i es par con n j i n, o entonces n p(n+ji)/2 q (nj+i)/2 . pij (n) = 1 (n + j i) 2
Cadena del jugador. El modelo usado para el problema del jugador estudiado en el primer cap tulo es una caminata aleatoria sobre el conjunto de n meros enteros u {0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades de transicin son como las de la caminata aleatoria simple slo que ahora p00 = o o 1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio de estados nito. Hemos demostrado antes que con probabilidad uno la cadena eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado la probabilidad de ruina, es decir, la probabilidad de que la absorcin se observe o en el estado 0, y hemos adems encontrado el tiempo medio de absorcin. a o Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran distribuidas N bolas de acuerdo a cierta conguracin inicial. En cada unidad de o tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede considerarse que las bolas se encuentran numeradas y que se escoge un n mero al u azar, se busca la bola con ese nmero y se cambia de urna. Vase la Figura 3.6. u e Sea Xn el nmero de bolas en la urna u A despus de n extracciones. Entonces e la coleccin {Xn : n = 0, 1, . . .} constio tuye una cadena de Markov con espa... ... cio de estados nito {0, 1, . . . , N }. Es claro que a partir del estado i la caN i bolas i bolas dena slo puede pasar al estadio i 1 o o al estado i + 1 al siguiente momenUrna A Urna B to, de modo que las probabilidades son pi,i1 = i/N , y pi,i+1 = (N i)/N , Figura 3.6: vlidas para i = 1, 2, . . . , N 1. Naa turalmente p01 = 1 y pN,N 1 = 1. En este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades de transicin aparece ms abajo. Este modelo fue propuesto por Ehrenfest para o a describir el intercambio aleatorio de molculas (bolas) en dos regiones separadas e por una membrana porosa. La regin con mayor nmero de molculas tender a o u e a
32
liberar mas molculas. e
0 1/N 0 . . . 0 0 1 0 2/N . . . 0 0
3.2. Ejemplos
P =
0 (N 1)/N 0 . . . 0 0
0 0 (N 2)/N . . . 0 0
0 0 0 . . . 0 1
0 0 0 . . . 1/N 0
Cadena de ramicacin. Considere una part o cula u objeto que es capaz de generar otras part culas del mismo tipo al nal de un periodo establecido de tiempo. El conjunto de part culas iniciales constituye la generacin 0. Cada una de estas o part culas simultneamente y de manera independiente genera un n mero de desa u cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece a la generacin 1, stos a su vez son los progenitores de la generacin 2, y as suo e o cesivamente. Una posible sucesin de generaciones se muestra en la Figura 3.7. El o posible evento cuando una part cula no genera ningn descendiente se interpreta u en el sentido de que la part cula se ha muerto o extinguido.
Generacin o 0 1 2 3 4 Xn 1 2 3 3 2
Figura 3.7: Sea k la variable aleatoria que modela el nmero de descendientes de la k-sima u e part cula. Para cada n 0 dena Xn como el nmero de part u culas en la generacin o n. Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin pij = P (1 + + i = j), para i 1. o Si en algn momento Xn = 0, entonces se dice que la poblacin de part u o culas se ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha
33
sido usado para determinar la probabilidad de extincin de la descendencia de una o persona. Cadena de la la de espera. Considere una cola o l nea de espera de clientes que solicitan algn tipo de servicio de un servidor. Suponga que el sistema es u observado en los tiempos discretos n = 0, 1, . . ., y que la la funciona del siguiente modo: cuando hay algn cliente esperando servicio al inicio de un periodo, el u cliente al frente de la la es atendido terminando el servicio al nal del periodo. Naturalmente si no existiera ningn cliente en la la al inicio de alg n periodo, u u entonces ningn cliente es atendido. Para cada entero n 1 dena n como el u nmero de nuevos clientes que se incorporan a la la durante el periodo n. Bajo u ciertas condiciones es natural suponer que estas variables aleatorias son independientes, idnticamente distribuidas y con valores enteros no negativos. Suponga que e P (n = k) = ak , con ak 0 y a0 + a1 + = 1. Sea X0 el n mero de clientes u iniciales, y para cada n 1 dena a Xn como el nmero de clientes en la la al u nal del periodo n. Las dos reglas de operacin mencionadas se pueden escribir de o la siguiente forma: Xn+1 = n+1 Xn + n+1 1 si Xn = 0, si Xn 1.
Esto puede escribirse como Xn+1 = (Xn 1)+ + n+1 , en donde x+ = mx{x, 0}. a Por lo tanto, el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados {0, 1, . . .}, y probabilidades de transicin o pij = P ( = j) si i = 0, P ( = j i + 1) si i 1.
a0 a0 0 0 . . . a1 a1 a0 0 . . . a2 a2 a1 a0 . . .
Es decir,
P =
Cadena de inventarios. Suponga que se almacena un cierto n mero de bienes u en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo n. Suponga que P (n = k) = ak , para k = 0, 1, . . . con ak 0 y k ak = 1, es decir, la distribucin de n es la misma para cualquier n. El nmero de bienes en o u
34
3.3. Ecuacion de Chapman-Kolmogorov
el almacn es revisado al nal de cada periodo y se aplica la siguiente pol e tica de reabastecimiento: Si al nal del periodo la cantidad del bien es menor o igual a un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel mximo S. Si al nal del periodo el nmero de bienes es mayor a s, entonces no a u hay ningn reabastecimiento. Naturalmente s < S. Sea Xn el nmero de bienes al u u nal del periodo n y justo antes de aplicar la pol tica de reabastecimiento. Entonces Xn es una cadena de Markov con espacio de estados {. . . , 2, 1, 0, 1, 2, . . . , S}. Se permiten valores negativos para Xn los cuales corresponden a demandas del bien no satisfechas en su momento pero que sern cubiertas en el siguiente reabastecimiento. a El valor de Xn+1 en trminos de Xn se escribe de la forma siguiente: e Xn+1 = S n+1 Xn n+1 si s Xn < S, si Xn s.
Las probabilidades de transicin para esta cadena son o pij = P (Xn+1 = j | Xn = i) = P (n+1 = i j) = aij P (n+1 = S j) = aSj si s < i S, si i s.
La primera expresin corresponde al caso cuando no hay reabastecimiento, la proo babilidad de pasar de i a j es la probabilidad de que la demanda al nal de ese periodo sea de j i pues el nuevo nivel del almacn ser de i (i j) = j. La see a gunda expresin corresponde al caso cuando hay reabastecimiento y el nuevo nivel o ser de S (S j) = j, cuando la demanda sea S j. a
3.3.
Ecuacin de Chapman-Kolmogorov o
Esta ecuacin es una frmula sencilla y muy util que permite descomponer la proo o babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera en un tiempo intermedio r. Ecuacin de Chapman-Kolmogorov. Para cualesquiera nmeros enteros r o u y n tales que 0 r n, y para cualesquiera estados i y j se cumple pij (n) =
k
pik (r) pkj (n r).
35
Demostracin. Por el teorema de probabilidad total y la propiedad de Markov, o pij (n) = P (Xn = j | X0 = i) =
k
P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n r) pik (r).
=
k
=
k
Grcamente, las trayectorias que van del estado i al estado j en n pasos se desa componen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las trayectorias de manera continua pero en realidad no lo son. Esta ecuacin es importante para hao cer ciertos clculos, y se usa con rea gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser utilizada ms a a adelante: Para cualquier estado k y para 0 r n, se tiene que pij (n) pik (r) pkj (n r). Como una consecuencia importante de la ecuacin o de Chapman-Kolmogorov se tiene el siguiente resultado. k j
i r Figura 3.8: n
Proposicin. La probabilidad de transicin en n pasos, pij (n), est dada por o o a la entrada (i, j) de la n-sima potencia de la matriz P , es decir, e pij (n) = (P n )ij .
Demostracin. Esta identidad es consecuencia de la ecuacin de Chapman-Kolmogorov o o aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de
36
3.3. Ecuacion de Chapman-Kolmogorov
la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

i1
pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)
=
i1 ,i2
. . . = =
i1 ,...,in1 (P n )ij .
pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)
En palabras este resultado establece que el problema de calcular las probabilidades de transicin en n pasos se transforma en obtener la n-sima potencia de la matriz o e de probabilidades de transicin en un paso, es decir, o n
p00 (n) . . .
Si se conoce esta matriz y si pi = P (X0 = i) es una distribucin inicial, entonces o la distribucin de Xn es P (Xn = j) = i pi pij (n). o Cuando una matriz estocstica P es diagonalizable, es decir, cuando puede ser a escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P se calculan fcilmente pues P n = QDn Q1 . Como D es diagonal, Dn es la matriz a con cada elemento de la diagonal elevado a la n-sima potencia. e Por ejemplo, vamos a ilustrar el proceso de diagonalizacin de una matriz estocstio a ca de dimensin dos. Consideremos nuevamente la cadena general de dos estados o
1a b a 1b
p10 (n)
p01 (n) p11 (n) . . .
p00 = p10 . . .
p01 p11 . . .
P =
Los eigenvalores de esta matriz estn dados por la ecuacin |P I| = 0, y resultan a o ser 1 = 1 y 2 = 1ab. Los correspondientes eigenvectores escritos como vectores
37
rengln son (1, 1) y (a, b), respectivamente. La matriz Q esta compuesta por los o eigenvectores como columnas, y si se cumple que a + b > 0, entonces es invertible, es decir, 1 a 1 b 1 a+b b a 1 1
Q=
Q1 =
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P = QDQ1 , es decir,
1a b a 1b 1 1 a b 1 0 0 1ab
1 a+b
b 1
a 1
Por lo tanto,
Pn
= = =
Q Dn Q1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b
a a b b
Ejemplo. Toda matriz estocstica P con renglones idnticos es idempotente, es a e decir, para cualquier entero n 1, se cumple que P n = P . Este es el caso de la cadena de variables aleatorias independientes.
3.4.
Comunicacin o
Deniremos a continuacin a la comunicacin entre dos estados de una cadena de o o Markov como la posibilidad de pasar de un estado a otro en alg n n mero nito u u de transiciones.
38
3.4. Comunicacion
Denicin. Se dice que el estado j es accesible desde el estado i si existe un o entero n 0 tal que pij (n) > 0, esto se escribe simplemente como i j. Se dice adems que los estados i y j son comunicantes, y se escribe i j, si se a cumple que i j y j i. Observe que siempre se cumple que i i, pues por denicin pii (0) = 1. Adems o a observe que si ocurre que i j, la accesibilidad de i a j puede darse en un n mero u de pasos distinto que la accesibilidad de j a i. Grcamente la accesibilidad y la a comunicacin se representan, como lo hemos hecho antes en los ejemplos, mediante o echas entre nodos como se muestra en la Figura 3.9. Es sencillo vericar que la comunicacin es una relacin de o o equivalencia, es decir, cumple las siguientes propiedades. a) Es reexiva: i i. b) Es simtrica: si i j, entonces j i. e c) Es transitiva: si i j y j k, entonces i k.
Comunicacin o Accesibilidad i j
En consecuencia, la comunicacin induce una particin del o o j i espacio de estados de una cadena de Markov dada por los subconjuntos de estados comunicantes, es decir, dos estados Figura 3.9: pertenecen al mismo elemento de la particin si, y slo si, o o tales estados se comunican. De este modo el espacio de estados de una cadena de Markov se subdivide en clases de comunicacin. A la clase de comunicacin de un estado i o o se le denotar por C(i). Por lo tanto, i j si, y slo si, C(i) = C(j). a o
C(i)
C(j) S
Particin de un espacio de estados o en clases de comunicacin o
Figura 3.10: Ejemplo. La cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de probabilidades de transicin que se muestra en la Figura 3.11 tiene tres clases de o
39
comunicacin que son C(0) = {0}, C(1) = {1, 2} y C(3) = {3}. Es evidente que el o estado 0 se comunica consigo mismo pues existe una echa que parte de tal estado y llega a l mismo. Visualmente tampoco hay duda de que la segunda coleccin de e o estados es una clase de comunicacin. Para la clase C(3) no existe una conexin o o f sica del estado 3 consigo mismo, sin embargo, por denicin p33 (0) = 1, y ello o hace que esta clase de unicamente un estado sea de comunicacin. Observe que o estas clases de comunicacin conforman una particin del espacio de estados. o o
C(0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1
C(1)
3 C(3)
Figura 3.11: Ejercicio. Dibuje un diagrama de transicin e identique las clases de comunio cacin para las siguientes cadenas de Markov. o a) P =
0.3 0.4 0.5 0 0.6 0 0.7 0 0.5 0 0.2
0.4 0.6 b) P = 0 0
0 0
0 0 1 0.3
0.8 0 0 0.7
Ejercicio. Cul es el nmero mximo y m a u a nimo de clases de comunicacin que o puede existir para una cadena de Markov de n estados? Dibuje un diagrama de transicin ilustrando cada una de estas dos situaciones. o El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Por ejemplo, el estado 0 de la cadena de la Figura 3.11 es absorbente.
40
3.5. Periodo
Denicin. Se dice que una cadena de Markov es irreducible si todos los estao dos se comunican entre s . En otras palabras, una cadena de Markov es irreducible si existe slo una clase de o comunicacin, es decir, si la particin generada por la relacin de comunicacin o o o o es trivial. Por ejemplo, la cadena de racha de xitos o la cadena de la caminata e aleatoria son cadenas irreducibles pues todos los estados se comunican entre s La . cadena de la Figura 3.11 no es irreducible pues no se cumple que todos los estados se comuniquen. Ejercicio. Dibuje el diagrama de transicin de una cadena de Markov que sea o a) nita e irreducible. b) nita y reducible. c) innita e irreducible. d) innita y reducible.
3.5.
Periodo
El periodo es un nmero entero no negativo que se calcula para cada estado de u una cadena. Una interpretacin de este nmero ser mencionada ms adelante y o u a a aparecer tambin dentro de los enunciados generales sobre el comportamiento a e l mite de cadenas de Markov. Denicin. El periodo de un estado i es un nmero entero no negativo denoo u tado por d(i), y denido como sigue: d(i) = m.c.d. {n 1 : pii (n) > 0}, en donde m.c.d. signica mximo comn divisor. Cuando pii (n) = 0 para toda a u n 1, se dene d(i) = 0. En particular, se dice que un estado i es aperidico o si d(i) = 1. Cuando d(i) = k 2 se dice que i es peridico de periodo k. o Ejemplo. Considere una cadena de Markov con diagrama de transicin como o en la Figura 3.12. Es fcil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0. a
41
Figura 3.12:
Ejercicio. Dibuje un diagrama de transicin, determine las clases de comunio cacin y calcule el periodo de cada uno de los estados de las siguientes cadenas de o Markov. 0 0 0 0 1 1/4 1/4 1/4 1/4 0 0 1 0 0 0 1/2 1/2 0 0 0 1/2 1/2 a) P = b) P = 0 0 0 0 1 0 0 1 0 0
0 0 1 0 1/5 1/5 1/5 1/5 1/5
Demostraremos a continuacin que el periodo es una propiedad de clase, es decir, o todos los estados de una misma clase de comunicacin tienen el mismo periodo. o De este modo uno puede hablar de clases de comunicacin peridicas, o clases o o aperidicas. o Proposicin. Si los estados i y j pertenecen a la misma clase de comunicacin, o o entonces tienen el mismo periodo.
Demostracin. Claramente el resultado es vlido para i = j. Suponga entonces que o a i y j son distintos. Como los estados i y j estn en la misma clase de comunicacin, a o existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Sea s 1 un entero cualquiera tal que pii (s) > 0. Tal entero existe pues pii (n + m) pij (n) pji (m) > 0. Esto quiere decir que d(i)|s. Adems pjj (n + m + s) pji (m) pii (s)pij (n) > 0. a Anlogamente, pjj (n + m + 2s) pji (m) pii (2s) pij (n) > 0. Por lo tanto d(j)|(n + a m + s) y d(j)|(n + m + 2s). Entonces d(j) divide a la diferencia (n + m + 2s) (n +
42
3.5. Periodo
m + s) = s. Por lo tanto, todo entero s 1 tal que pii (s) > 0 cumple d(j)|s. Pero d(i) divide a s de manera mxima, por lo tanto d(i) d(j). De manera anloga, a a escribiendo i por j, y j por i, se obtiene d(j) d(i). Se concluye entonces que d(i) = d(j). El rec proco del resultado anterior es en general falso, es decir, dos estados pueden tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar un ejemplo de tal situacin? El siguiente resultado establece que despus de un o e nmero sucientemente grande de pasos, con probabilidad positiva toda cadena u puede regresar a cada estado i cada d(i) pasos. Esta es la razn por la que a tal o nmero se le llama periodo. u Proposicin. Para cada estado i, existe un entero N tal que para toda n N , o se cumple pii (nd(i)) > 0. Demostracin. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la o armacin es vlida pues pii (0) = 1, sin embargo la interpretacin de recurrencia o a o peridica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros o tales que pii (n1 ) > 0, . . ., pii (nk ) > 0. Sea d = m.c.d.{n1 , . . . , nk } d(i). Como d(i) es divisor de cada entero n1 , . . ., nk , se tiene que d(i)|d, y por lo tanto existe un entero q tal que qd(i) = d. Ahora se hace uso del siguiente resultado cuya demostracin puede encontrarse en [19]. o Sean n1 , . . . , nk enteros no negativos y sea d = m.c.d.{n1 , . . . , nk }. Entonces existe un entero M tal que para cada m M existen enteros no negativos c1 , . . . , ck tales que md = c1 n1 + + ck nk . Entonces existe un entero no negativo M tal que para cada m M , md = c1 n1 + + ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto pii (md) = pii (c1 n1 + + ck nk ) pii (c1 n1 ) pii (ck nk ) > 0. Por lo tanto, para cada m M , pii (md) = pii (mqd(i)) > 0. Dena N = M q. Se puede entonces concluir que para toda n N , pii (nd(i)) > 0. Como corolario de la proposicin anterior se tiene el siguiente resultado: Si es o posible pasar de i a j en m pasos, entonces tambin es posible tal transicin en e o m + nd(j) pasos con n sucientemente grande, suponiendo d(j) > 0.
43
Proposicin. Si pij (m) > 0 para algn entero m, entonces existe un entero N o u tal que para toda n N se cumple pij (m + nd(j)) > 0. Demostracin. Por el resultado anterior, para n sucientemente grande, se tiene o que pij (m + nd(j)) pij (m) pjj (nd(j)) > 0.
3.6.
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov visita un estado particular o un conjunto de estados. Deniremos a continuacin o este tiempo aleatorio y despus demostraremos una frmula util que lo relaciona e o con las probabilidades de transicin. o Denicin. Sea A un subconjunto del espacio de estados de una cadena de o Markov Xn . El tiempo de primera visita al conjunto A es la variable aleatoria A = m {n 1 : Xn A} n si Xn A para algn n 1, u otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro de la coleccin de estados A, si ello eventualmente sucede. Estaremos interesados o principalmente en el caso cuando el conjunto A consta de un solo estado j, y si suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado j se escribe ij . Cuando los estados i y j coinciden se escribe simplemente i . En general no es fcil encontrar la distribucin de probabilidad de esta variable a o aleatoria, los siguientes ejemplos, sin embargo, son casos particulares sencillos. Ejemplo. Considere la cadena de Markov de dos estados. Es inmediato comprobar que a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . . b) P (00 = n) = a(1 b)n2 b, para n = 2, 3, . . .
44
3.6. Primeras visitas Ejemplo. Para la cadena de racha de xitos se tiene que e
a) P (01 = n) = q n1 p para n = 1, 2, . . . b) P (00 = n) = pn1 q para n = 1, 2, . . . Ejercicio. Demuestre las siguientes igualdades. a) P (ij = 1) = pij (1). b) P (ij = 2) =
k=j
pik (1) pkj (1). pik (1) P (kj = n),

k=j
c) P (ij = n + 1) =
para n 1.
Denicin. Para cada n 1, el nmero fij (n) denota la probabilidad de que o u una cadena que inicia en el estado i, llegue al estado j por primera vez en exactamente n pasos, es decir, fij (n) = P (ij = n). Adicionalmente se dene fij (0) = 0, incluyendo el caso i = j. Otra forma equivalente de escribir a la probabilidad de primera visita es a travs e de la expresin fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = i). En particular, o observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado i en el n-simo paso, y que fii (1) es simplemente pii . El uso de la letra f para esta e probabilidad proviene el trmino en ingls rst para indicar que es la probabilidad e e de primera visita, saber esto ayuda a recordar su signicado. El siguiente resultado establece que la probabilidad de visitar el estado j, a partir de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos en los que se presenta la primera visita, la cual puede efectuarse en el primer paso, o en el segundo paso, y as sucesivamente, hasta el ultimo momento posible n. Proposicin. Para cada n 1, o
n
pij (n) =
k=1
fij (k) pjj (n k).
(3.2)
45
Demostracin. La prueba se basa en la siguiente descomposicin que involucra o o eventos disjuntos. Se usa adems la propiedad de Markov. a pij (n) = =
k=1 n
P (Xn = j | X0 = i)
n
P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k) fij (k).
=
k=1 n
=
k=1
Ejercicio. Use (3.2) para demostrar que para cada n 1, se cumple la desigualdad pij (n) P (ij n).
3.7.
Recurrencia y transitoriedad
Veremos a continuacin que los estados de una cadena de Markov pueden ser clasio cados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz de regresar con certeza al estado de partida. Denicin. (I) Se dice que un estado i es recurrente si la probabilidad de o eventualmente regresar a i, partiendo de i, es uno, es decir, si P (Xn = i para alguna n 1 | X0 = i) = 1. Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad anterior es estrictamente menor a uno. De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg n mou mento nito, por la propiedad de Markov, se puede regresar a l una y otra vez con e probabilidad uno. Debido a este comportamiento es que al estado en cuestin se le o
46
3.7. Recurrencia y transitoriedad
llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en l, ya no regrese nunca a ese estado. En e trminos de las probabilidades de primera visita, la probabilidad de una eventual e visita al estado j, a partir del estado i, es el nmero u fij =
n=1
fij (n).
Recordemos que fij (n) es la probabilidad de que la primera visita al estado j, a partir de i, se efecte exactamente en el paso n. Siendo estos eventos disjuntos u para valores distintos de n, esta suma representa la probabilidad de una posible visita al estado j. De este modo la denicin de recurrencia y transitoriedad puede o enunciarse de manera equivalente de la siguiente forma. Denicin. (II) Un estado i es recurrente si fii = 1, es decir, si la probabilidad o de regresar a l en un tiempo nito es uno. Anlogamente, un estado i es e a transitorio si fii < 1. Adems de la denicin, tenemos el siguiente criterio util para determinar si un a o estado es recurrente o transitorio. Proposicin. (Criterio para la recurrencia) El estado i es o 1. recurrente si, y slo si o 2. transitorio si, y slo si o
n=1 n=1
pii (n) = . pii (n) < .
Demostracin. Sea Ni la variable aleatoria que cuenta el nmero de veces que el o u proceso regresa al estado i a partir del primer paso, es decir, Ni = n=1 1(Xn =i) ,
47
cuando X0 = i. Entonces Ni tiene una distribucin geomtrica pues para k 1, o e P (Ni k | X0 = i) = =

m=1 m=1 m=1
P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i) P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i) P (Ni k 1 | X0 = i) fii (m)
= P (Ni k 1 | X0 = i) fii . . . = P (Ni 1 | X0 = i) (fii )k1 = (fii )k . La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos formas. Primero, E(Ni | X0 = i) = =
k=1 k=1
P (Ni k | X0 = i) (fii )k si 0 fii < 1, si fii = 1.
Por otro lado, por el teorema de convergencia montona, o E(Ni | X0 = i) = = =

n=1 n=1 n=1
fii 1 fii
E(1(Xn =i) | X0 = i) P (Xn = i | X0 = i) pii (n).
El resultado se sigue de igualar estas dos expresiones.
48
Siguiendo con la notacin de la demostracin anterior, observe que la esperanza o o E(Ni | X0 = i) es el nmero promedio de retornos al estado i, de modo que un u estado i es recurrente si, y slo si, el nmero promedio de retornos a l es innito. o u e En contraparte, un estado i es transitorio si, y slo si, el nmero promedio de o u retornos a l es nito. e Ejemplo. Considere una caminata aleatoria sobre Z. En el primer cap tu lo demostramos que n=0 f00 (n) = 1 |p q|. De aqu hemos concluido que el estado 0 es recurrente en el caso simtrico. Siendo la cadena irreducible, la cae dena toda es recurrente. Alternativamente, hemos encontrado tambin la frmula e o o pii (n) = 12n 21 , para n par. Estimando los factoriales mediante la frmula de n 2 Stirling: n! 2 nn+1/2 en , puede comprobarse que n=0 p00 (n) = , conrmando nuevamente la recurrencia del estado 0 y de la cadena, en el caso simtrico. e La cadena es transitoria cuando es asimtrica. e Demostraremos a continuacin que la recurrencia y la transitoriedad son propieo dades de clase, es decir, si dos estados estn en una misma clase de comunicacin, a o entonces ambos estados son recurrentes o ambos son transitorios. Proposicin. La recurrencia es una propiedad de clase, es decir, o 1. Si i es recurrente e i j, entonces j es recurrente. 2. Si i es transitorio e i j, entonces j es transitorio.
Demostracin. Como i j, existen enteros n 1 y m 1 tales que pij (n) > 0 o y pji (m) > 0. Entonces pjj (m + n + r) pji (m) pii (r) pij (n). De modo que, por la ecuacin de Chapman-Kolmogorov, o
r=1
pjj (m + n + r) pji (m)
r=1
pii (r) pij (n).
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma del lado izquierdo tambin lo es, es decir, j es recurrente. La segunda armacin e o se demuestra fcilmente por contradiccin usando el primer resultado. a o
49
En consecuencia, cuando una cadena es irreducible y algn u estados estados estado es recurrente, todos los recurrentes transitorios estados lo son, y se dice que la cadena es recurrente. Tambin e puede presentarse la situacin o Descomposicin del espacio de estados o en donde el espacio de estados Figura 3.13: conste de varias clases de comunicacin recurrentes, en tal o caso la cadena tambin se llama recurrente. En contraparte, una cadena es transie toria si todos los estados lo son, ya sea conformando una sola clase de comunicacin o de estados transitorios o varias de ellas. De este modo el espacio de estados de una cadena de Markov puede descomponerse en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que son recurrentes. Tal particin se mueso tra en la Figura 3.13. Cada uno de estos subconjuntos puede constar de ninguna, una o varias clases de comunicacin. o Ejemplo. La cadena de dos estados es irreducible y recurrente cuando a, b (0, 1). En efecto, tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo tanto, f00 =
n=1
f00 (n) = (1 a) + ab
n=2
(1 b)n2 = (1 a) +
ab = 1. b
Ejemplo. Considere la cadena de rachas de xitos. En este caso es sencillo e demostrar que el estado 0 es recurrente pues f00 =
n=1
f00 (n) = q(1 + p + p2 + ) =
q = 1. 1p
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente. Ejercicio. Determine las clases de comunicacin de las siguientes cadenas de o Markov y clasique stas como recurrentes o transitorias. e
50
1/2 0 0 1/2 1/2 1/2

1/2 0 P = 0 1/4
a) P =
0 1/2 1/2
b)
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
Ejercicio. Dibuje un diagrama de transicin de una cadena de Markov tal que: o a) todos sus estados sean recurrentes. b) todos sus estados sean transitorios. c) tenga igual nmero de estados transitorios y recurrentes. u Veremos a continuacin algunos ejemplos de aplicacin del criterio anterior. o o Proposicin. Sea j un estado transitorio. Para cualquier estado inicial i, se o cumple que pij (n) < . En consecuencia, l pij (n) = 0. m n=1
n
Demostracin. Usando (3.2), por el teorema de Fubini, o

n=1
pij (n)
= =
n1
n=1 k=0 k=0 m=1
fij (n k) pjj (k) = fij (m) pjj (k) = fij
k=0 n=k+1 k=0
fij (n k) pjj (k)

k=0
pjj (k)
pjj (k) < .
Proposicin. Toda cadena de Markov nita tiene por lo menos un estado o recurrente. Demostracin. Por contradiccin, suponga que todos los estados son transitorios. o o Entonces para cualesquiera estados i y j, se cumple n=1 pij (n) < . Sumando sobre el conjunto nito de todos los posibles estados j se obtiene j n=1 pij (n) < . Por otro lado, intercambiando el orden de las sumas se llega a la armacin o contraria, n=1 j pij (n) = n=1 1 = . Por lo tanto es errneo suponer que o todos los estados son transitorios, debe existir por lo menos uno que es recurrente.
51
En consecuencia, toda cadena nita e irreducible es recurrente. Ms adelante dea mostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces.
3.8.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Y hemos denido el e tiempo de primera visita a un estado j, a partir de cualquier estado i, como la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}, con la posibilidad n de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es recurrente. Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) =
n=1
nfij (n).
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de inicio y de llegada j, se escribe j en lugar de jj . En este caso el tiempo medio de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o innita, y representa el nmero de pasos promedio que a la cadena le toma regresar u al estado recurrente j. Ejemplo. La cadena de Markov de dos estados es irreducible y recurrente cuando a, b (0, 1). Vamos a calcular los tiempos medios de recurrencia de estos dos estados. Tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por
52
lo tanto, 0 =
n=1
3.9. Clases cerradas
nf00 (n) = = =
(1 a) + ab
n=2
n(1 b)n2
(1 a) + ab ( a+b . b
b+1 ) b2
De manera anloga, o bien intercambiando los valores de a y b, se encuentra que a 1 = (a+b)/a. Observe que 1/0 +1/1 = 1, ms adelante explicaremos la razn de a o ello. Observe tambin que estos dos tiempos medios de recurrencia son, en general, e distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son necesariamente idnticos para cada elemento de una misma clase de comunicacin e o recurrente.
3.9.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto, no se puede pasar a cualquier otro estado fuera del subconjunto. Esa propiedad hace a este subconjunto de estados un subsistema propio de la cadena de Markov. Denicin. Una coleccin de estados no vac C es cerrada si ning n estao o a u do fuera de C es accesible desde algn estado dentro de C , es decir, si para u cualquier i C y j C , i j. / / Por ejemplo, si i es un estado absorbente, entonces la coleccin {i} es claramente o una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicacin recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C o y j C con C recurrente, e i j, entonces necesariamente j i pues hemos / supuesto que i es recurrente. Por lo tanto i j, y entonces j C , contrario a la hiptesis j C . Por lo tanto no es posible salir de una clase de comunicacin o / o recurrente. El siguiente resultado es una especie de rec proco de lo que acabamos de mencionar.
53
Proposicin. Toda coleccin de estados que es cerrada e irreducible es una o o clase de comunicacin. o Demostracin. Sea C una coleccin no vac de estados que es irreducible y cerrada, o o a y sea i C . Entonces C C(i) pues como C es irreducible, todos sus estados se comunican y por lo tanto deben pertenecer a la misma clase de comunicacin. o Como C es cerrada, no es posible salir de tal coleccin, de modo que la diferencia o C(i) C es vac si existiera j C(i) C , entonces i j, lo cual contradice el a, supuesto de que C es cerrada. Por lo tanto C = C(i).
3.10.
N mero de visitas u
En esta seccin vamos a estudiar la variable aleatoria que registra el n mero de o u visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para cualquier tiempo nito n se dene la variable aleatoria
n
Nij (n) =
k=1
1(Xk =j) ,
cuando X0 = i.
Cuando los estados i y j coinciden, se escribe Ni (n) en lugar de Nii (n). Observe que 0 Nij (1) Nij (2) , es decir, se trata de una sucesin montona creciente o o de variables aleatorias no negativas que converge casi seguramente a la variable Nij =
k=1
1(Xk =j) ,
cuando X0 = i.
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la diferencia cualitativa en el comportamiento de los estados transitorios respecto de los recurrentes.
54
3.10. Numero de visitas
Proposicin. Para cualesquiera estados i y j, o 1. P (Nij k) = 2. P (Nij = k) = 1 fij (fjj )k1 si k = 0, si k 1. si k = 0, si k 1. fij = 0, 0 fjj < 1, fij = 0 y fjj = 1.
3. E(Nij ) =
n=1
4. P (Nij = ) =
1 fij fij (fjj )k1 (1 fjj ) si 0 fij si pij (n) = 1 fjj si 0 fij 1 1 fij
si j es transitorio, si j es recurrente. si j es transitorio, si j es recurrente.
5. P (Nij < ) =
Demostracin. o 1. La primera parte de esta igualdad es evidente. Para demostrar el caso k 1 se usa anlisis del primer paso, a P (Nij k) = = =
n=1
fij (n) P (Njj k 1)
fij P (Njj k 1) fij (fjj )k1 .
2. Este resultado se sigue de la primera frmula y de la igualdad P (Nij = k) = o P (Nij k) P (Nij k + 1).
Cap tulo 3. Cadenas de Markov 3. Por el teorema de convergencia montona, o E(Nij ) = = = E(

n=1 n=1 n=1
55
1(Xn =j) | X0 = i)
E(1(Xn =j) | X0 = i) pij (n).
Por otro lado, usando la primera frmula o E(Nij ) = =

k=1 k=1
P (Nij k) fij (fjj )k1 si fij = 0, si 0 fjj < 1, si fij = 0 y fjj = 1.
4. Por la primera frmula, o
0 fij 1 fjj
k
P (Nij = ) = = =
l P (Nij k) m l fij (fjj )k1 . m 0 fij si j es transitorio, si j es recurrente.
5. Esta probabilidad es el complemento de la anterior.
Distribucin de probabilidad de la variable Nij . La variable aleatoria discreta o Nij toma valores en el conjunto {0, 1, . . . , }. La funcin de probabilidad que o hemos encontrado para esta variable incluye los siguientes casos:
56
a) Si fij = 0, entonces no es posible visitar j a partir de i, y por lo tanto P (Nij = 0) = 1, es decir la probabilidad se concentra completamente en el valor 0. b) Si fij > 0 y fjj = 1, es decir, si se puede pasar de i a j y j es recurrente, entonces para cualquier valor de k 1, P (Nij k) = fij , y por lo tanto P (Nij = ) = fij . Mientras que P (Nij = 0) = 1fij . Se trata entonces de una medida de probabilidad concentrada en los valores 0 e .
c) Si fij > 0 y fjj < 1, es decir, si se puede pasar de i a j y j es transitorio, entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica la frmula 2. o Recurrencia, transitoriedad y n mero esperado de visitas. A partir de u estas frmulas podemos ahora distinguir el comportamiento del n mero de visitas o u en los casos cuando el estado j es transitorio o recurrente. a) Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad uno la cadena realiza slo un nmero nito de visitas al estado j, esto es lo que o u dice la frmula 5, y el nmero esperado de visitas a tal estado es siempre nito o u por la frmula 3 con fjj < 1, es decir, E(Nij ) = pij (n) < . Por lo tanto, o n=1 encontramos nuevamente que l pij (n) = 0. m
n
b) Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena regresa a j una innidad de veces, esto es lo que dice la frmula 4 con fij = fjj = 1, o y el nmero esperado de visitas al estado j es innito. Si la cadena inicia en cualquier u otro estado i, entonces existe la posibilidad de que la cadena nunca visite j (fij = 0), y el nmero esperado de visitas es naturalmente cero (frmula 3 con fij = 0). Pero u o si la cadena visita j alguna vez (fij > 0), entonces regresar a j una innidad de a veces, y el nmero esperado de visitas al estado j es innito por la frmula 3 con u o fij > 0 y fjj = 1. Anteriormente hab amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en trminos de la convergencia o divergencia de la serie e pii (n). En vista de la frmula 3 ahora podemos corroborar que un estado o n=1 i es recurrente si, y slo si, el nmero promedio de regresos a l es innito, y es o u e transitorio si, y slo si, el nmero promedio de regresos es nito. Tambin en partio u e cular, la frmula 4 demuestra que toda cadena de Markov irreducible y recurrente, o visita cada uno de sus estados una innidad de veces con probabilidad uno. Ejemplo. La cadena de racha de xitos es irreducible y recurrente. Por lo tanto e con probabilidad uno visita cada uno de sus estados una innidad de veces.
57
Ejemplo: El problema del mono. Suponga que un mono escribe caracteres al azar en una mquina de escribir. Cul es la probabilidad de que eventualmente el a a mono escriba exactamente, y sin ningn error, las obras completas de Shakespeare? u Puede encontrarse la respuesta a esta pregunta de varias formas [30]. Usaremos la teor de cadenas de Markov para demostrar que esta probabilidad es uno. Imagia nemos entonces que un mono escribe caracteres al azar en una mquina de escribir, a y que lo hace de manera continua generando una sucesin lineal de caracteres. o Cada uno de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter independientemente de otro. Sea m el total de caracteres disponibles que se pueden imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas de Shakespeare. Sea Xn el nmero de caracteres correctos u obtenidos inmediatamente antes e incluyendo el ultimo momento observado n, es decir, se trata de un modelo de rachas de xitos. Es claro que las variables Xn e toman valores en el conjunto {0, 1, 2, . . . , N }, y dado que los caracteres se generan de manera independiente, el valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores, es decir, se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s mbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m, y P (Xn+1 = 0 | Xn = x) = (m 1)/m. El primer caso corresponde a obtener el caracter correcto al siguiente tiempo n + 1, y denotaremos a la probabilidad de tal evento por p. La segunda igualdad reeja la situacin de cometer un error en el siguiente caracter generado cuando ya se hab o an obtenido x caracteres correctos, tal probabilidad ser denotada por q. Las posibles a transiciones de un estado a otro y las correspondientes probabilidades se muestran en la Figura 3.14. Tcnicamente existen algunas otras posibles transiciones de ale gunos estados en otros, pero ello no modica substancialmente el comportamiento cualitativo del modelo.
0 P = q q . . . q q p 0 . . . 0 p 0 p . . . 0 0 0 0 0 0 0 0 . . . p 0
Figura 3.14: Como puede observarse, se trata de una matriz nita e irreducible pues todos los
58
estados se comunican. Por lo tanto es recurrente. Entonces con probabilidad uno la cadena visita cada uno de sus estados una innidad de veces. En particular, cada vez que la cadena visita el estado N el mono concluye una sucesin exitosa o de caracteres, y ello suceder una innidad de veces con probabilidad uno. a Teorema ergdico para cadenas de Markov. Para cualesquiera estados i o y j de una cadena de Markov irreducible se cumple que l m 1 Nij (n) = n j c.s. (3.3)
siendo este l mite cero cuando j = . Demostracin. Si la cadena es transitoria, entonces ambos lados de la igualdad se o anulan. Suponga que la cadena es recurrente. El tiempo de primera visita al estado j a partir de i es ij = m {n 1 : Xn = j | X0 = i}. Dada la recurrencia e n irreducibilidad, P (ij < ) = 1, y entonces para cualquier n 1 se cumple la identidad Nij (ij + n) = 1 + Njj (n). Por lo tanto es suciente demostrar la convergencia para Njj (n)/n pues
n
l m
Nij (n) n
= = = =
Nij (ij + n) ij + n 1 + Njj (n) l m n ij + n n Njj (n) l m n n ij + n Njj (n) l m . n n

n
l m
Sea Y (k) la variable que registra el nmero de pasos que transcurren entre la visita u k 1 y la visita k que la cadena realiza al estado j. Sabemos que el tiempo medio de recurrencia es E(Y (k)) = j , para j = 1, 2, . . ., y usando la propiedad fuerte de Markov puede demostrarse que las variables Y (1), Y (2), . . . son independientes. Se tienen entonces las siguientes estimaciones Y (1) + + Y (Njj (n)) n Y (1) + + Y (Njj (n) + 1) . Njj (n) Njj (n) Njj (n)
59
Por la recurrencia, Njj (n) , cuando n , de modo que por la ley de los grandes nmeros, los dos extremos de esta desigualdad convergen a j casi u seguramente. Por lo tanto, l m 1 Njj (n) = n j c.s.
Interpretacin: Para una cadena de Markov irreducible, el nmero j = 1/j o u es el tiempo promedio que la cadena permanece en el estado j a largo plazo. Tomando esperanza en (3.3), por el teorema de convergencia dominada, y para una cadena irreducible, se cumple que E( l m Nij (n) ) n 1 E(Nij (n)) n n 1 pij (k) = l m n n =
n
l m
k=1
1 . j
En particular, cuando el tiempo medio de recurrencia j es innito, y a n ms u a particularmente cuando el estado j es transitorio, se tiene que l m 1 n
n
pij (k) = 0.
k=1
3.11.
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces regresa a l una innidad de veces con probabilidad uno. Sin embargo, esta recue rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno es nito o cuando es innito. Esto lleva a la denicin de recurrencia positiva y o recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado
60
3.11. Recurrencia positiva y nula
i, es la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}. Recordemos n que cuando el tiempo de primera visita se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza de esta variable aleatoria es naturalmente el tiempo medio de recurrencia. Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir o del estado i, se dene como la esperanza de ij , y se denota por ij , es decir, ij = E(ij ) =
n=1
nfij (n).
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente clasicacin de estados recurrentes. o Denicin. Se dice que un estado recurrente i es o a) recurrente positivo si i < . b) recurrente nulo si i = . Demostraremos a continuacin que la recurrencia positiva y la recurrencia nula son o propiedades de las clases de comunicacin. Es decir, dos estados en una misma clase o de comunicacin recurrente, son ambos recurrentes positivos o recurrente nulos. o Proposicin. (La recurrencia positiva o nula es una propiedad de clase). o Sea i un estado recurrente. Entonces a) si i es recurrente positivo e i j, entonces j es recurrente positivo. b) si i es recurrente nulo e i j, entonces j es recurrente nulo. Demostracin. Observe que es suciente demostrar cualquiera de estas armacioo nes. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es decir, i es recurrente y es tal que i < . Como i j, se tiene que j es tambin un e estado recurrente. Adems existen enteros no negativos n y m tales que pij (n) > 0 a
Cap tulo 3. Cadenas de Markov y pji (m) > 0. Entonces para cualquier entero natural k, pjj (n + m + k) pji (m) pii (k) pij (n). Sumando para k = 1, . . . , N , y dividiendo entre N , 1 N
N N
61
k=1
pjj (n + m + k) pji (m)
1 N
pii (k) pij (n).

k=1
Haciendo N se obtiene
1 1 pji (m) pij (n) > 0. j i
Por lo tanto tambin j es nito, es decir, j es recurrente positivo. e De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios, recurrentes positivos y recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones de estados puede estar constituida por ninguna, una, o varias clase de comunicacin. o
estados transitorios
estados recurrentes nulos
estados recurrentes positivos
Descomposicin del espacio de estados o
Figura 3.15: Ejemplo. Anteriormente demostramos que para la caminata aleatoria sobre Z, el tiempo promedio de regreso al estado 0 es 0 = 4pq n f00 (n) = . 1 4pq n=0
En el caso simtrico, es decir, en el caso en el que la cadena es recurrente, este e cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por lo tanto la cadena entera es recurrente nula.
62
3.11. Recurrencia positiva y nula
Ejemplo. Demostraremos ahora que la cadena de Markov de rachas de xitos e es recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto, 0 =
n=1
n f00 (n) =
n=1
n (1 p)p
n1
= (1 p)
n=1
n pn1 =
1 < . 1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto el tiempo medio de recurrencia de cada estado es nito. Hemos aprovechado la facilidad del clculo de las probabilidades a de primer regreso al estado 0. Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas slo puede haber dos tipos o de estados: transitorios o recurrentes positivos. Proposicin. No existen estados recurrentes nulos en cadenas de Markov nio tas. Demostracin. Sea j un estado recurrente y sea C su clase de comunicacin. La o o clase C es cerrada y adems es nita pues la cadena completa lo es. Demostraremos a que j < . Para cualquier i C, y k natural, pij (k) = 1.
jC
Entonces 1 n
n
pij (k) =
k=1 jC jC
1 n
pij (k) = 1.
k=1
Haciendo n , por el teorema ergdico aplicado a la clase cerrada C se obtiene o

jC
1 = 1. j
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal que j < , pues de lo contrario cada sumando ser cero y la suma total no a
63
podr ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado a que la recurrencia positiva es una propiedad de clase, todos los elementos de C son recurrentes positivos. Observe que en particular, todos los estados de una cadena nita e irreducible son recurrentes positivos.
3.12.
Evolucin de distribuciones o
Una matriz estocstica establece una dinmica en el conjunto de las distribucioa a nes de probabilidad denidas sobre el espacio de estados de la correspondiente cadena de Markov. Para explicar la situacin de manera simple consideraremos un o espacio de estados nito {0, 1, . . . , N }, y una distribucin de probabilidad inicial o (0) = (0 (0), 1 (0), . . . , N (0)). Despus de transcurrida la primera unidad de e tiempo, la cadena se encuentre en cualquiera de sus posibles estados de acuerdo a la distribucin (1) = (0 (1), 1 (1), . . . , N (1)), en donde la j-sima entrada de o e este vector es j (1) = =
i=0
P (X1 = j)
N
P (X1 = j | X0 = i)P (X0 = i)
= =
0 (0) p0j + 1 (0) p1j + + N (0) pN j ((0) P )j .
Es decir, (1) se obtiene a partir de (0) y de la matriz de probabilidades de transicin P a travs de la frmula (1) = (0) P , o e o A su vez la distribucin (1) se transforma en (2) a travs de la ecuacin (2) = o e o (1) P = (0) P 2 , y as sucesivamente. En general, (n + 1) = (n) P = (0) P n+1 . De esta forma se obtiene una sucesin innita de distribuciones de probabilidad o (0), (1), (2), . . ., en donde cada una de ellas, excepto la primera, es obtenida de (0 (1), . . . , N (1)) = (0 (0), . . . , N (0))
p00 . . . pN0 p0N . . . . pNN
64
3.12. Evolucion de distribuciones
la anterior multiplicada por la derecha por la matriz de probabilidades de transicin o en un paso. Por ejemplo, considere la matriz estocstica a P =
0 0 1/2 1 0 1/2 0 1 0
con distribucin inicial (0) = (0.1, 0, 0.9). Las subsecuentes distribuciones se calo culan a continuacin y las grcas aparecen en la Figura 3.16. o a (1) = (2) = (3) = (4) = . . . (0) P 1 = (0.45, 0.55, 0) (0) P 2 = (0, 0.45, 0.55) (0) P 3 = (0.275, 0.275, 0.45) (0) P 4 = (0.225, 0.5, 0.275)
(0)
(1)
(2)
(3)
(4)
0 1 2
0 1 2
0 1 2
0 1 2
0 1 2
Figura 3.16: Es natural preguntarse si existe algn l u mite para esta sucesin de distribuciones. o En las siguientes secciones estudiaremos tal problema y encontraremos condiciones bajo las cuales existe un unico l mite para esta sucesin. Estudiaremos a continuao cin el caso particular cuando la distribucin inicial no cambia al ser multiplicada o o por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes en el tiempo.
65
3.13.
Distribuciones estacionarias
Denicin. Una distribucin de probabilidad = (0 , 1 , . . .) es estacionaria o o o invariante para una cadena de Markov con probabilidades de transicin pij o si i pij . j =
i
En trminos matriciales, es estacionaria si = P . Esta identidad tiene como e consecuencia el hecho de que para cualquier nmero natural n, se cumpla que u = P n , es decir, es tambin una distribucin estacionaria para la matriz e o P n . Esto signica que si la variable aleatoria inicial X0 tiene esa distribucin , o entonces la distribucin de Xn tambin es pues P (Xn = j) = i i pij (n) = j , o e es decir, esta distribucin no cambia con el paso del tiempo y por ello es que se le o llama estacionaria o invariante. Observe que el vector de ceros cumple la condicin o = P , sin embargo no corresponde a una distribucin de probabilidad. Los o siguientes ejemplos muestran que las distribuciones estacionarias pueden no ser unicas y pueden incluso no existir. Ejemplo: Existencia mltiple. Considere una cadena de Markov sobre el conjunto u de estados {0, 1, 2} y con probabilidades de transicin dada por la siguiente matriz o P =
1 1/3 0 0 1/3 0 0 1/3 1
Es inmediato comprobar que el vector = (1 , 0, ) satisface el sistema de ecuaciones = P para cada con [0, 1]. Existen entonces una innidad de distribuciones estacionarias para esta cadena. Observe que el vector (1 , 0, ) se puede escribir como la combinacin lineal (1 )(1, 0, 0) + (0, 0, 1). o Ejemplo: No existencia. No existe ninguna distribucin estacionaria para la o caminata aleatoria simtrica simple sobre Z pues la condicin = P se trae o duce en el sistema de ecuaciones en diferencias j = j1 /2 + j+1 /2. O bien j+1 j = j j1 . Sumando estas ecuaciones puede encontrarse que para todo entero n 1, n+1 0 = n(1 0 ). El lado izquierdo es acotado mientras el lado derecho crece sin l mite cuando n es grande, a menos que 1 0 = 0. Es-
66
3.13. Distribuciones estacionarias
to demuestra que todas estas diferencias son cero, y por lo tanto j es constante para cualquier valor de j. Es decir, el vector constante es la solucin al sistema o de ecuaciones en diferencias planteado, pero ello es incompatible con la restriccin o j = 1. Por lo tanto no existe ninguna distribucin de probabilidad que cumo j pla la igualdad = P para esta cadena. Ejemplo: Existencia unica. La cadena de Markov de dos estados dada por la matriz P =
1a b a 1b
a b tiene una unica distribucin estacionaria dada por = (0 , 1 ) = ( a+b , a+b ), o cuando a + b > 0. En cambio, cuando a = b = 0, la matriz resultante es la matriz identidad que acepta como distribucin estacionaria a cualquier distribucin de o o probabilidad sobre {0, 1}, es decir, en este caso existen una innidad de distribuciones estacionarias para esta cadena.
Con base en los ejemplos anteriores haremos algunas observaciones sobre las distribuciones estacionarias. Primeramente observe que para encontrar una posible distribucin estacionaria de una cadena con matriz P , un primer mtodo consiste o e a en resolver el sistema de ecuaciones = P , sujeto a la condicin j j = 1. Ms o adelante expondremos una forma alternativa de buscar distribuciones estacionarias para cadenas reversibles. Por otro lado, suponga que y son dos distribuciones estacionarias distintas para una matriz P . Entonces la combinacin lineal convexa o + (1 ) , para [0, 1], tambin es una distribucin estacionaria pues e o ( + (1 ) ) P = P + (1 ) P = + (1 ) . Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena, entonces existe una innidad de ellas. Esto demuestra que el conjunto de distribuciones estacionarias es un conjunto convexo. Tomando en cuenta las observaciones anteriores y de acuerdo a los ejemplos mostrados, slo hay tres situaciones sobre la o existencia de distribuciones estacionarias para una cadena de Markov cualquiera: no existe ninguna distribucin estacionaria, existe una distribucin estacionaria y o o es unica, o existe una innidad de distribuciones estacionarias. Dadas estas consi deraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribucin estacionaria. Primerao mente demostraremos que cuando existe una distribucin estacionaria, sta tiene o e como soporte el conjunto de estados recurrentes positivos.
67
Proposicin. (Soporte de una distribucin estacionaria). Sea una distrio o bucin estacionaria. Si j es un estado transitorio o recurrente nulo, entonces o j = 0.
Demostracin. Usaremos el hecho de que si j es un estado transitorio o recurrente o nulo, entonces para cualquier estado i, l m 1 n
n
pij (k) = 0.
k=1
Como es una distribucin estacionaria, o j =

i
i pij i pij (k)

i
= = =
i
1 n
i pij (k)
k=1 i
i (
1 n
pij (k) )
k=1
Tomando el l mite cuando n , por el teorema de convergencia dominada, se obtiene n 1 i ( l m j = pij (k) ) = 0. n n i
k=1
En particular, si j > 0, entonces j es un estado recurrente positivo. Esto es una consecuencia inmediata del resultado anterior y para ello puede usarse un argumento por contradiccin. Por otro lado, la proposicin recin demostrada tambin nos o o e e ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria simtrica e simple no tiene distribucin estacionaria pues se trata de una cadena cuyos estados o son todos recurrentes nulos. Se presenta a continuacin una solucin al problema o o de encontrar condiciones sucientes que garanticen la existencia y unicidad de la distribucin estacionaria. o
68
Proposicin. (Existencia y unicidad de la distribucin estacionaria). Toda o o cadena de Markov que es irreducible y recurrente positiva tiene una unica distribucin estacionaria dada por o j = 1 > 0. j
En particular, toda cadena nita e irreducible tiene una unica distribucin o estacionaria.
Demostracin. Sea j = 1/j . Demostraremos que o (1) j =

i
i pij .
(2)
j
j = 1.
(3) j es unica. Como la cadena es irreducible y recurrente positiva, se tiene que j < , para cualquier estado j. Por lo tanto el cociente 1/j es estrictamente positivo. Por el teorema ergdico para cadenas de Markov se tiene que o l m 1 1 . pij (m) = n m=1 j
n
(1) Estacionariedad. Para cualquier natural N ,

N N
i pij
i=0
=
i=0
( l m 1 n 1 n
1 n
pki (m) ) pij

m=1 N
= Haciendo N ,
l m
pki (m) pij

m=1 i=0 n
l m
pkj (m + 1)
m=1
= j . i pij j . (3.4)
69
Suponga que para algn valor de j la desigualdad anterior es estricta. Sumando u sobre todos los valores j, por el teorema de Fubini, j >
j j i
i pij =
i
i
j
pij =
i
i .
Lo cual es una contradiccin. Por lo tanto (3.4) es una igualdad. Esto demuestra o que es estacionaria, y para cualquier m natural, j =
i
i pij (m).
(3.5)
(2) Distribucin de probabilidad. Para cualquier natural N , o

N N
j
j=0
=
j=0
( l m 1 n n l m l m 1 n
1 n n
n
pij (k) )
k=1 N
pij (k)
k=1 j=0 n
1
k=1
= 1. Por otra parte, por (3.5), para cualquier n natural, j =

i
i (
1 pij (m) ). n m=1
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando el hecho de que j j 1, j =

i=0
i ( l m
i
1 pij (m) ) = n n m=1 i = 1.
i=0
i j .
Dado que j > 0, se obtiene
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces

j = i i pij (m) = i i (
1 pij (m)) n m=1
N i ( i=0
1 pij (m)). n m=1
70
Haciendo n ,
N j i j . i=0
Ahora hacemos N para obtener
j j .
(3.6)
Si esta desigualdad fuera estricta para algn valor de j, entonces sumando sobre u todos los valores de j se obtiene 1 = j j > j j = 1, lo cual es una contradiccin. Por lo tanto (3.6) es una igualdad para cada valor de j, y ello demuestra o la unicidad. Ejemplo. La cadena de dos estados es nita e irreducible cuando a + b > 0, y por lo tanto es recurrente positiva. Por el resultado recin demostrado esta cadee na tiene una unica distribucin estacionaria. Resolviendo el sistema de ecuaciones o = P se encuentra que = (0 , 1 ) = (b/a + b, a/a + b). Como una aplicacin de o la ultima proposicin demostrada encontramos nuevamente que los tiempos medios o de recurrencia son (0 , 1 ) = (1/0 , 1/1 ) = ((a + b)/b, (a + b)/a). Ejemplo. La cadena de Ehrenfest es nita e irreducible, en consecuencia es recurrente positiva. Por lo tanto tiene una unica distribucin estacionaria. Resolviendo o el sistema de ecuaciones = P se encuentra que el vector tiene distribucin o bin(N, 1/2), es decir, j = N 1 , j 2N para j = 0, 1, . . . , N.
En vista de la proposicin demostrada, los tiempos medios de recurrencia para esta o cadena son 1 2N = N , para j = 0, 1, . . . , N. j = j j Ejemplo. La cadena de racha de xitos, aunque no es nita, es irreducible y e recurrente positiva. Por lo tanto tiene una unica distribucin estacionaria dada por o la distribucin geo(1 p), es decir, el sistema de ecuaciones = P tiene como o unica solucin la distribucin o o j = (1 p) pj , para j = 0, 1, 2 . . .
71
Como consecuencia de la proposicin anterior, se obtiene que los tiempos medios o de recurrencia para cada uno de los estados de esta cadena son j = 1 1 = , j (1 p) pj para j = 0, 1, 2 . . .
En particular, 0 = 1/(1 p). Esto conrma los clculos realizados antes para 0 a a partir de la frmula 0 = n=1 n f00 (n). o
3.14.
Distribuciones l mite
Como hemos mencionado antes, toda matriz de probabilidades de transicin P o determina una sucesin de distribuciones de probabilidad 0 , 1 , . . . sobre el espacio o de estados en donde n+1 = n P = 0 P n+1 . (3.7) Bajo ciertas condiciones tal sucesin es convergente a una distribucin l o o mite . Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta distribucin l o mite. Por (3.7) se tiene que = l n = 0 l P n+1 = 1 l P n . m m m
n n n
Estas igualdades revelan varias cosas. Primero, la distribucin l o mite no depende de la distribucin inicial pues el lado derecho de estas ecuaciones debe ser el mismo. o Segundo, la distribucin l o mite est dada por el l a mite de las potencias de P pues si se toma como distribucin inicial aquella concentrada en el i-simo estado, entono e ces el j-simo elemento de la distribucin l e o mite es j = l n pij (n). Tercero, m el l mite de las potencias de P es una matriz con todos sus renglones idnticos, e siendo este regln la distribucin l o o mite. Por ultimo, a partir de (3.7) se obtiene que l n n+1 = l n n P , esto es, = P , es decir, la distribucin l m m o mite es una distribucin estacionaria, suponiendo un espacio de estados nito. En esta o seccin se establecen condiciones para obtener rigurosamente estos resultados. o Como se ha visto, toda distribucin l o mite es estacionaria pero el rec proco es en general falso como se ilustra en el siguiente ejemplo. Ejemplo. Es inmediato comprobar que la distribucin uniforme (1/2, 1/2) es o estacionaria para la cadena con matriz P = 0 1 , y sin embargo las potencias 1 0
72
3.14. Distribuciones l mite

0 1 1 0
P n no convergen pues para cualquier entero natural n, P 2n+1 = que P 2n = 1 0 . 0 1
, mientras
El siguiente resultado es vlido para espacios de estados nitos o innitos, y esa tablece que si el l mite de las probabilidades pij (n), cuando n , existen y no dependen de i, entonces la distribucin l o mite podr ser una distribucin estacioa o naria. Esto es solamente una posibilidad pues los l mites podr ser todos cero. an En el caso nito, sin embargo, demostraremos que tales l mites conforman una distribucin de probabilidad verdadera. o Proposicin. Considere una cadena de Markov con probabilidades de trano sicin pij tales que los l o mites j = l n pij (n) existen para cada j, y no m dependen del estado i. Entonces 1.
j
j 1. i pij (n).
i
2. j =
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obtenindose una distribucin de probabilidad verdadera. e o
Demostracin. Suponga primero el caso cuando el espacio de estados es el conjunto o nito {0, 1, . . . , N }. Entonces la primera armacin se cumple con igualdad pues o
N N N n
j =
j=0 j=0
l pij (n) = l m m
pij (n) = 1.
j=0
Para la segunda armacin se tiene que para cualquier n 1, o

N N
i pij (n) =
i=0 i=0
m N
l m pki (m) pij (n) pki (m) pij (n)

i=0
= = =
m m j .
l m
l pkj (m + n) m
73
Suponga ahora que el espacio de estados es innito. En este caso no es posible garantizar la validez del intercambio de l mite y suma efectuado antes. Para la primera armacin se tiene que para cualquier nmero natural N 1, o u
N N N
j =
j=0 j=0
l pij (n) = l m m
j=0
pij (n) l 1 = 1. m
n
Haciendo N se obtiene el resultado buscado. Para la segunda armacin, o nuevamente para cualquier nmero natural N 1, u
N N
i pij
i=0
=
i=0
n N
l pki (n) pij m pki (n) pij

i=0
= =
n n j .
l m
l pkj (n + 1) m
Si j = 0 para cualquier j, entonces estas desigualdades se convierten en identidades como dice el enunciado. Suponga que j j > 0. Demostraremos que las desigualdades estrictas no son posibles. Suponga que para algn estado j, i i pij < j . u Entonces i . pij = i i pij = j >
j i,j i j i
Esto es una contradiccin, por lo tanto la igualdad en el prrafo anterior se cumple. o a
Ahora se establecen condiciones sucientes para que exista el l mite de las probabilidades de transicin en n pasos. Este resultado es una especie de rec o proco del resultado anterior pues supone la existencia de una distribucin estacionaria para o concluir que los l mites de las probabilidades existen. Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) aperidica, y o c) con distribucin estacionaria . o Entonces para cualesquiera estados i y j,
n
l pij (n) = j . m
74
3.14. Distribuciones l mite
Demostracin. El mtodo de esta demostracin se conoce como tcnica de acople. o e o e Sea {Yn } una cadena de Markov independiente de la original {Xn }, pero con la misma matriz de probabilidades de transicin. Entonces el proceso {Zn } denido o por Zn = (Xn , Yn ) es una cadena de Markov con probabilidades de transicin o P (Zn+1 = (xn+1 , yn+1 ) | Zn = (xn , yn )) = pxn ,xn+1 pyn ,yn+1 , y puede fcilmente comprobarse que tiene distribucin estacionaria xn ,yn = xn yn . a o Puede adems vericarse que la cadena {Zn } es recurrente positiva. Adems es irrea a ducible pues como {Xn } y {Yn } son aperidicas, existe un nmero natural N tal o u que pij (n) pkl (n) > 0, para toda n > N . Por lo tanto p(i,k)(j,l) (n) > 0. Sea j un estado cualquiera de la cadena original. Dena el primer momento en el que la cadena {Zn } visita el estado (j, j) como j = m n{n 1 : Zn = (j, j)}. Sea adems = m a n{n 1 : Xn = Yn }. Este es el primer momento de acople de las dos cadenas. Como {Zn } es recurrente, P ( < ) = 1. Adems j . Por la a propiedad de Markov
n
P (Xn = x, n) = =
P (Xn = x, Xr = j, = r)
j r=1 n r=1 n r=1 n r=1
P (Xn = x | Xr = j, = r) P (Xr = j, = r) P (Yn = x | Yr = j, = r) P (Yr = j, = r) P (Yn = x | Yr = j) P (Yr = j, = r)
=
j
=
j
P (Yn = x, n),
es decir, sobre el evento ( n), las variables Xn y Yn tienen la misma distribucin o de probabilidad. Por otro lado P (Xn = j) = = P (Xn = j, n) + P (Xn = j, > n) P (Yn = j, n) + P (Xn = j, > n) P (Yn = j) + P ( > n).
Cap tulo 3. Cadenas de Markov De manera anloga, P (Yn = j) P (Xn = j) + P ( > n). Por lo tanto, a |P (Xn = j) P (Yn = j)| P ( > n) 0,
75
(3.8)
cuando n . Si ahora se toma X0 = i con probabilidad uno, y Y0 con la distribucin estacionaria , entonces P (Xn = j) = P (Xn = j | X0 = i)P (X0 = o i) = pij (n) P (X0 = i) = pij (n), y P (Yn = j) = i P (Yn = j | Y0 = i) i = i pij (n) = j . Por lo tanto (3.8) establece que |pij (n) j | 0. i El siguiente resultado establece condiciones sucientes para la existencia del l mite de las probabilidades de transicin, asegurando adems que se trata de una o a distribucin de probabilidad. o Teorema de convergencia. Considere una cadena de Markov que es a) irreducible, b) recurrente positiva, y c) aperidica. o Entonces las probabilidades l mite j = l pij (n) = m
n
1 existen, y constituyen j
la unica solucin al sistema de ecuaciones o j =

j=0 i=0
i pij ,
(3.9)
sujeto a las condiciones j 0, y
j = 1.
Demostracin. Como la cadena es irreducible y recurrente positiva, tiene una unica o distribucin estacionaria dada por j = 1/j . Es decir, es la unica solucin al sisteo o a o ma de ecuaciones = P , con j 0 y j j = 1. Adems, por la aperidicidad, pij (n) j .
76
3.15. Cadenas regulares
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de que a partir de un cierto momento, con probabilidad positiva se puede pasar de un estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas existe siempre la distribucin l o mite. Denicin. Se dice que una cadena nita o su matriz de probabilidades de o transicin es regular si existe un entero natural n tal que pij (n) > 0, para o cualesquiera estados i y j. En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz de probabilidades de transicin tiene todas sus entradas estrictamente positivas. o Otra forma de denir a una cadena regular es a travs del siguiente resultado. e Proposicin. Una matriz estocstica es regular si, y slo si, es nita, irreduo a o cible y aperidica. o
Demostracin. Si la matriz es regular, entonces claramente es nita, irreducible y o aperidica. Rec o procamente, por la irreducibilidad, para cualesquiera dos estados i y j, existe un entero m tal que pij (m) > 0. Entonces existe un entero N tal que pij (m + n d(j)) > 0, para cada n N . Como d(j) = 1 y siendo la matriz nita, esto implica la regularidad. Para este tipo particular de cadenas nitas se conocen los siguientes resultados acerca de su comportamiento l mite.
77
Proposicin. Toda cadena nita que adems es o a 1. regular, tiene como distribucin l o mite la unica solucin no negativa del o sistema (3.9). 2. regular y doblemente estocstica, tiene como distribucin l a o mite la distribucin uniforme. o 3. irreducible, aperidica y doblemente estocstica, tiene como distribucin o a o l mite la distribucin uniforme. o
Demostracin. o 1. Como la cadena es regular, es irreducible, aperidica, y es recurrente positiva o por ser nita. Por el teorema anterior la distribucin l o mite existe y est dada a por el sistema de ecuaciones (3.9). 2. Como la cadena es regular, es aperidica, irreducible y recurrente positiva o por ser nita. Entonces la distribucin l o mite existe. Por la hiptesis de doble o estocasticidad y suponiendo que el espacio de estados es {0, 1, . . . , N }, se N mite cuando n tiende a innito se tiene que i=0 pij (n) = 1. Tomando el l obtiene N j = 1. Por lo tanto j = 1/(N + 1). i=0 3. Este resultado es idntico al anterior pues hemos demostrado que la regularie dad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
Ejemplo. Sea Sn la suma de los resultados que se obtienen al lanzar un dado equilibrado n veces. Encontraremos
n
l P (Sn es mltiplo de 7). m u
Dena el proceso Xn = Sn mod. 7 cuyo espacio de estados es {0, 1, . . . , 6}. No es dif convencerse que Xn es una cadena de Markov con matriz de probabilidades cil
78
de transicin o
3.16. Cadenas reversibles
0 1/6 1/6 P = 1/6 1/6

1/6 1/6
1/6 0 1/6 1/6 1/6 1/6 1/6
1/6 1/6 0 1/6 1/6 1/6 1/6
1/6 1/6 1/6 0 1/6 1/6 1/6
1/6 1/6 1/6 1/6 0 1/6 1/6
1/6 1/6 1/6 1/6 1/6 0 1/6
1/6 1/6 1/6 1/6 1/6 1/6 0
El evento (Sn es mltiplo de 7) es idntico al evento (Xn = 0), de modo que la u e probabilidad de que Sn sea mltiplo de 7 a largo plazo es el tiempo de estancia a u largo plazo que la cadena Xn pasa en el estado 0. El problema se reduce a encontrar la distribucin l o mite de P . Pero esta matriz es regular, y entonces su distribucin o limite es la uniforme. Por lo tanto l P (Xn = 0) = 1/7. m
n
3.16.
Cadenas reversibles
Sea {Xn } una cadena de Markov con probabilidades de transicin pij . Sea m 1 o un entero jo y dena un nuevo proceso Yn = Xmn para n = 0, . . . , m, es decir, Yn es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo m al tiempo 0. Este nuevo proceso resulta tambin ser una cadena de Markov e pues cumple el criterio de independencia entre pasado y futuro cuando se conoce el presente, las nociones de pasado y futuro se intercambian debido al cambio en el sentido del tiempo. En efecto, para 1 r < n m, considere la probabilidad condicional P ( y1 , . . . , yr1 , yr+1 , . . . , yn | yr ). En trminos del proceso {Xn }, esta probabilidad es e P (Xm1 = y1 , . . . , Xmr+1 = yr1 , Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ). Por la propiedad de Markov del proceso {Xn }, esta probabilidad es el producto P (Xm1 = y1 , . . . , Xmr+1 = yr1 | Xmr = yr ) P (Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ),
Cap tulo 3. Cadenas de Markov que en trminos del proceso {Yn } es la propiedad de Markov para este proceso e P (y1 , . . . , yr1 | yr ) P (yr+1 , . . . , yn | yr ).
79
Sin embargo las probabilidades de transicin del nuevo proceso no son homogneas o e pues para 0 n < m, P (Yn+1 = j | Yn = i) = P (Xmn = i, Xmn1 = j) P (Xmn = i) P (Xmn1 = j) P (Xmn = i)
= P (Xmn = i | Xmn1 = j) = pji P (Yn+1 = j) , P (Yn = i)
es decir, estas probabilidades dependen de n a travs del cociente P (Yn+1 = e j)/P (Yn = i). Tal dependencia desaparece cuando se toma como hiptesis la exiso tencia de una distribucin estacionaria para {Xn }, pues en tal caso la igualdad o anterior se reduce a j . P (Yn+1 = j | Yn = i) = pji i Bajo tal hiptesis las probabilidades de transicin de la nueva cadena son ahora o o estacionarias. Si adicionalmente se pide que las probabilidades de transicin son o las mismas para ambas cadenas, entonces de la ecuacin anterior se obtiene que o debe satisfacerse la ecuacin pij = pji j , es decir, i pij = j pji . Esto lleva a la o i siguiente denicin de reversibilidad la cual aade la hiptesis de irreducibilidad. o n o Denicin. Se dice que una cadena de Markov irreducible con probabilidades o de transicin pij y con distribucin estacionaria es reversible en el tiempo si o o para cualesquiera estados i y j, i pij = j pji . (3.10)
A la ecuacin (3.10) se llama ecuacin de balance detallado. La utilidad de las o o cadenas reversibles est dada por el siguiente resultado, el cual ejemplicaremos a ms adelante con un par de aplicaciones. a
80
Proposicin. Considere una cadena irreducible para la cual existe una distrio bucin que cumple (3.10). Entonces es una distribucin estacionaria y la o o cadena es reversible.
Demostracin. Si cumple (3.10), entonces es una distribucin estacionaria pues o o a o i pij = i j pji = j . Adems la cadena es reversible por denicin. i Ejemplo. Considere nuevamente la cadena de Ehrenfest. El espacio de estados es {0, . . . , N }, y las probabilidades de transicin son, para i = 1, . . . , N 1, o (N i)/N si j = i + 1, i/N si j = i 1, pij = 0 otro caso,
con p01 = 1 y pN,N 1 = 1. Esta cadena es nita, irreducible y recurrente positiva. Estas propiedades garantizan que la cadena tiene una unica distribucin estacio o naria. Si se desea encontrar esta distribucin estacionaria a travs de la ecuacin o e o = P , uno tendr que resolver el sistema a 0 i N = (1/N ) 1 , = ((N i + 1)/N ) i1 + ((i + 1)/N ) i+1 , = (1/N ) N 1 . para i = 1, . . . , N 1,
A partir de estas ecuaciones puede demostrarse que es la distribucin bin(N, 1/2). o Alternativamente, se puede buscar una posible solucin al sistema (3.10), el cual o se escribe como sigue i+1 = N i i , i+1 para i = 0, 1, . . . , N 1.
Resolviendo iterativamente hacia abajo se encuentra que i = N i 0 , para i = 1, . . . , N.
Sumando todas estas cantidades,

N
1 = 0
i=0
N i
= 0 2N .
81
Por lo tanto 0 = 1/2N , y i = N /2N es la solucin al sistema. Esta es la distrio i bucin bin(N, 1/2). Por lo demostrado antes esta distribucin es estacionaria y la o o cadena es reversible. Ejemplo. Considere una caminata aleatoria no homognea sobre {0, 1, . . .}, con e probabilidades de transicin o si j = i + 1, pi qi si j = i 1, pij = 1 pi qi si j = i, 0 otro caso,
en donde q0 = 0. Esta es una cadena irreducible. Si uno busca una distribucin o estacionaria a travs de la ecuacin = P , uno tendr que resolver el sistema e o a de ecuaciones 0 i = = 0 (1 p0 ) + q1 1 , i+1 qi+1 + i (1 pi qi ) + i1 pi1 , para i 1.
Sin embargo la condicin (3.10) se traduce en el sistema ms simple i pi = o a i+1 qi+1 . Una posible solucin de este sistema (su existencia depender de los o a parmetros pi y qi ), ser la distribucin estacionaria para esta caminata y la cadea a o na ser entonces reversible en el tiempo. a Resumen de la notacin utilizada. Como referencia se presenta a continuacin o o una lista de la notacin utilizada en este cap o tulo. pij pij (n) Probabilidad de pasar del estado i al estado j en un paso, es decir, pij = P (X1 = j | X0 = i). Probabilidad de pasar del estado i al estado j en exactamente n pasos, es decir, pij (n) = P (Xn = j | X0 = i). En algunos textos aparece tambin como e (n) pij . En particular, se dene pij (0) = ij , que vale uno cuando i = j, y cero cuando i = j. Probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n, es decir, fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = (n) i). A veces se escribe tambin como fij . En particular se dene fij (0) = 0 e para cualesquiera estados i y j, incluyendo el caso i = j.
fij (n)
82
fij
3.16. Cadenas reversibles Probabilidad de una eventual visita el estado j a partir del estado i. En trminos de probabilidades de primeras visitas, esta probabilidad es fij = e k=0 fij (n). Variable aleatoria que registra el nmero de visitas realizadas al estado j u durante las primeras n transiciones, cuando la cadena inicia en el estado i, es n decir, Nij (n) = k=1 1(Xk =j) , cuando X0 = i. Variable aleatoria que cuenta el nmero total de visitas realizadas al estado j u cuando la cadena inicia en el estado i, es decir, Nij = 1(Xk =j) , cuando k=1 X0 = i. Puede tomar el valor innito. Tiempo en el que se logra la primera visita el estado j a partir del estado i, es decir, ij = m n{n 1 : Xn = j}, cuando X0 = i. Toma el valor innito cuando nunca ocurre tal evento. Cuando i = j se escribe i , y corresponde al tiempo del primer regreso al estado i. Tiempo medio de primera visita al estado j a partir del estado i, es decir, ij = E(ij ). Puede ser innito. Cuando i = j se escribe i y se le llama tiempo medio de recurrencia del estado i.
Nij (n)
Nij
ij
ij
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en casi cualquier texto de procesos estocsticos en mayor o menor profundidad, a e incluso puede encontrarse tambin en los ultimos cap e tulos de algunos textos de probabilidad. El tema es regularmente la parte inicial y obligada de un curso elemental de procesos estocsticos. Las siguientes referencias son una muestra de a algunos textos que contienen cap tulos sobre el tema de cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19], Brzeniak y Zastawniak [4], Jones z y Smith [17], Hoel, Port y Stone [16], y Stirzaker [36]. Los textos de Caballero et al [6] y Norris [25], estn dedicados enteramente al tema de cadenas de Markov. a
83
Andrei Andreyevich Markov (Rusia 18561922). Markov tuvo una salud muy precaria durante sus primeros aos de vida, teniendo que caminar con muletas n hasta la edad de 10 aos. En 1874 ingres a la facultad n o de f sica y matemticas de la universidad de San Petersa burgo, y asisti a las clases de reconocidos matemticos o a de la poca, entre ellos P. L. Chebyshev, quien tuvo una e inuencia decisiva en el quehacer futuro de Markov. Se gradu brillantemente en 1878, y continu con sus estuo o dios de maestr los cuales concluy en 1880. Trabaj coa, o o mo profesor en la universidad de San Petersburgo al misA. A. Markov mo tiempo que estudiaba para su doctorado, el cual concluy en 1884. Continu trabajando en la misma univero o sidad por prcticamente el resto de su vida. Despus de 1900, y siguiendo los a e trabajos de P. L. Chebyshev, aplic el mtodo de fracciones continuas en la teor o e a de la probabilidad. Markov fue el mejor exponente y continuador de las ideas de Chebyshev y de sus temas de investigacin en probabilidad. Especialmente sobreo salientes son sus trabajos sobre la ley de los grandes nmeros y el teorema central u del l mite, as como otros resultados fundamentales de la teor de la probabilidad, a y sobre el mtodo de m e nimos cuadrados. Markov fue un profesor muy estricto pero tambin muy claro en sus exposiciones, y demandaba mucho rigor matemtico e a en los argumentos de sus estudiantes. Markov desarroll su teor de cadenas de o a Markov desde un punto de vista matemtico, aunque tambin aplic su modelo en a e o el anlisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de a Markov, fund una nueva rama de la probabilidad e inici la teor de los procesos o o a estocsticos. Fuente: Archivo MacTutor, Universidad de St. Andrews. a
84
Ejercicios
Propiedad de Markov Recordemos que para hacer la notacin ms corta, a la probabilidad P (Xn = xn ) o a se le ha escrito como p(xn ), es decir, el sub ndice indica tambin la variable a la e que se hace referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es anlogo. a 11. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las siguientes condiciones. a) Esta condicin establece que la distribucin conjunta queda especicada o o a travs de la distribucin inicial y las probabilidades de transicin en e o o un paso: Para cualesquiera estados x0 , . . . , xn , p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). b) Esta condicin establece que el futuro, sin importar lo distante que se o encuentre, depende slamente del ultimo momento observado: Para cuao lesquiera enteros n, m 1, p(xn+m | x0 , . . . , xn ) = p(xn+m | xn ). c) Esta es la condicin de Markov para tiempos no necesariamente conseo cutivos: Para cualesquiera enteros 0 n1 < < nm+1 , p(xnm+1 | xn1 , . . . , xnm ) = p(xnm+1 | xnm ). d ) Esta condicin expresa la independencia entre el pasado y el futuro o cuando se conoce el presente: Para cualesquiera enteros 0 < k < n, p(x0 , . . . , xk1 , xk+1 , . . . , xn | xk ) = p(x0 , . . . , xk1 | xk ) p(xk+1 , . . . , xn | xk ).
e) En esta condicin se consideran varios eventos en el futuro: Para cuao lesquiera enteros n, m 1, p(xn+m , . . . , xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ) p(xn+m | xn+m1 ).
Cap tulo 3. Cadenas de Markov Matrices estocsticas a 12. Demuestre que
85
a) si P y Q dos matrices estocsticas (o doblemente estocsticas) de la a a misma dimensin, entonces P Q tambin es estocstica (o doblemente o e a estocstica). a b) si P es estocstica (o doblemente estocstica), entonces para cualquier a a entero positivo n, la potencia P n tambin es estocstica (o doblemente e a estocstica). a 13. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea estocstica para algn entero n 2, sin ser P misma estocstica. a u a 14. Demuestre que si una matriz estocstica P es simtrica, entonces para cuala e quier n 1, la potencia P n tambin es simtrica. e e 15. Demuestre que toda matriz estocstica simtrica es doblemente estocstica. a e a 16. Demuestre que toda matriz estocstica nita tiene siempre al n mero uno a u como valor propio.
Probabilidades de transicin o 17. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transicin como aparece abajo. Suponga que la cadena tiene o una distribucin inicial dada por el vector (0.6, 0.4). Encuentre P (X1 = 0), o P (X1 = 1), P (X2 = 0) y P (X2 = 1). P =
0.2 0.5 0.8 0.5
18. Considere una cadena de Markov de dos estados: 0 y 1, con distribucin o inicial (1/2, 1/2), y con matriz de probabilidades de transicin dada como o aparece abajo. Encuentre P (X1 = 0), P (X1 = 1), P (X5 = 1 | X4 = 0), P (X3 = 0 | X1 = 0), P (X100 = 0 | X98 = 0), P (X1 = 0 | X2 = 0), P (X1 = 1 | X2 = 1, X3 = 1), P (X3 = 0, X2 = 0 | X1 = 0). P =
1/3 3/4 2/3 1/4
86
19. Ecuacin de Chapman-Kolmogorov para cadenas no homogneas. Considere o e una cadena de Markov con probabilidades de transicin no necesariamente o homogneas pij (n, m) = P (Xm = j | Xn = i), para n m. Demuestre que e para cualquier tiempo u tal que n < u < m, pij (n, m) =
k
pik (n, u) pkj (u, m).
20. Demuestre o proporcione un contraejemplo. b) pij (n) = 1 pji (n). 21. Demuestre que a) pii (n) pii (m) pii (n + m) pii (n) pii (m) + (1 pii (n)). b) sup {pij (n)} fij
n
a) pij (n) pij (1) pjj (n 1).
pij (n).
n=1
c) i j si, y slo si, fij > 0. o d) i j si, y slo si, fij fji > 0. o e)
pij (n) = fij [
pjj (n) + 1 ].
n=1
n=1
Cadenas de Markov 22. Para la cadena de Markov de dos estados con distribucin inicial (p0 , p1 ), o demuestre que para a + b > 0, P (Xn = 0) = P (Xn = 1) = b b + (p0 ) (1 a b)n , a+b a+b a a + (p1 ) (1 a b)n . a+b a+b
23. Encuentre la matriz de probabilidades de transicin de la cadena de Markov o de cuatro estados dada por el diagrama de la Figura 3.17. A partir de cada posicin slo se permite pasar a los estados como indica el laberinto, con o o idntica probabilidad para todas las posibilidades. Suponga que no se permite e permanecer en la misma posicin al efectuarse un movimiento. o
87
Figura 3.17: 24. Se lanza un dado equilibrado repetidas veces. Sea Xn el nmero de lanzamienu tos realizados al tiempo n desde la ultima vez que apareci el n mero 6. o u Demuestre que {Xn } es una cadena de Markov y encuentre las probabilidades de transicin. o 25. Sea {Xn } una cadena de Markov con probabilidades de transicin pij , y sea o m 1 un entero jo. Demuestre que los siguientes procesos son tambin e cadenas de Markov y encuentre las correspondientes probabilidades de transicin. o a) Xn+m . b) Xnm . 26. Demuestre que para cualquier entero n 1, a) P (Xn = j) =
i
P (Xn1 = i) pij (1). P (X0 = i) pij (n).

i
b) P (Xn = j) =
27. Considere una cadena de Markov con espacio de estados {0, 1, . . . , N }, y probabilidades de transicin tales que para cualquier estado i, o
N
E(Xn+1 | Xn = i) =
j pij = i,
j=0
es decir, el estado promedio despus de una transicin es el estado inicial. e o Demuestre que esta cadena es una martingala y que los estados 0 y N son absorbentes. 28. Renovaciones discretas. Sea 1 , 2 , . . . una sucesin de variables aleatorias ino dependientes idnticamente distribuidas, y con valores en el conjunto {1, 2, . . .}. e
88
3.16. Cadenas reversibles Interpretaremos estas variables discretas como los tiempos de vida de art culos puestos en operacin uno despus de otro en un proceso de renovacin a o e o tiempo discreto. Sea X0 = 0 y para cada n 1 sea Xn = 1 + + n . Para cada k = 1, 2, . . . dena Nk = mx {n 1 : Xn k}. a Si el conjunto indicado es vac entonces el mximo se dene como cero. La o, a variable Nk cuenta el nmero de renovaciones efectuadas hasta el tiempo k. u Sea Ak = k XNk , es decir, Ak es la edad del art culo que se encuentra en operacin al tiempo k, o bien el tiempo transcurrido desde la ultima renoo vacin. La notacin A proviene del trmino en ingls age. Demuestre que el o o e e proceso Ak es una cadena de Markov con espacio de estados {0, 1, . . .}, y con probabilidades de transicin o pi,0 = P (X = i + 1) , P (X i + 1) pi,i+1 = P (X i + 2) . P (X i + 1)
29. Considere la cadena de inventarios en donde n tiene distribucin uniforme o en el conjunto {0, 1, 2, 3}, con s = 1 y S = 4. Encuentre la matriz de probabilidades de transicin de esta cadena. o 30. Sea Xn la cadena de Markov de dos estados. Demuestre que el proceso Yn = (Xn1 , Xn ) es una cadena de Markov. Determine el espacio de estados de este nuevo proceso y encuentre la matriz de probabilidades de transicin. o Generalize este resultado para cualquier cadena. 31. Se colocan N bolas negras en una primera urna, y N bolas blancas en una segunda urna. Se selecciona al azar una bola de cada urna y se intercambian. Este ensayo se repite varias veces. Sea Xn el nmero de bolas blancas en la u primera urna despus del n-simo ensayo. Justique que Xn es una cadena e e de Markov y encuentre la matriz de probabilidades de transicin. o 32. Sea 0 , 1 , . . . una sucesin de variables independientes con idntica distrio e bucin Ber(p). Determine si el proceso {Xn } denido a continuacin es una o o cadena de Markov. En caso armativo determine el espacio de estados y encuentre la matriz de probabilidades de transicin. o a) Xn = n + n1 . b) Xn = Xn1 + n . c) Xn = Xn1 + n , (md. 2). o
89
33. Sea 1 , 2 , . . . una sucesin de variables independientes con valores en el cono junto {0, 1, 2, 3, 4} y con idntica distribucin dada por {p0 , p1 , p2 , p3 , p4 }. e o Determine si el proceso {Xn } denido a continuacin es una cadena de Maro kov. En caso armativo determine el espacio de estados y encuentre la matriz de probabilidades de transicin. o X0 Xn+1 = 0, = Xn + n+1 (md. 5), para n 0. o
34. Modicacin de la cadena de Ehrenfest. Considere el esquema de dos urnas o como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que un ensayo consiste en que cada una de las bolas se cambia de urna con una distribucin de probabilidad especicada p1 , . . . , pN , sin importar la posicin o o de las bolas. Sea Xn el nmero de bolas en una de las urnas despus del nu e simo ensayo. Es esta una cadena de Markov? En caso armativo encuentre e la matriz de probabilidades de transicin. o 35. Sea {Xn } una cadena de Markov con espacio de estados E. Dena el proceso {Yn } de la siguiente forma: Yn = (Xn , Xn+1 ). Determine el espacio de estados del proceso {Yn }, demuestre que es una cadena de Markov y encuentre sus probabilidades de transicin en trminos de las probabilidades de transicin o e o de {Xn }. Comunicacin o 36. Dibuje un diagrama de transicin y encuentre las clases de comunicacin para o o cada una de las siguientes cadenas de Markov. a) P =
1/2 1/2 0 1/2 0 0 0 1/2 1 0 0 0 P = 0 1/2
c)
1 0 1 0
0 0 0 1/2
37. Considere una cadena de Markov con n estados. Demuestre que si i j, entonces es posible pasar de i a j en a lo sumo n 1 pasos. Suponga i = j.
0 1 0 0
1 b) P = 1/2
1/3
0 0 1/2 1/3
1 0 0 1/3
0 0 0 0
90
Clases cerradas
38. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicacin cerrada. o 39. Demuestre que la coleccin de estados C es cerrada si, y slo si, alguna de o o las siguientes condiciones se cumple. Para cualesquiera i C y j C , / a) pij (n) = 0, para cada n 1. b) pij (1) = 0. 40. Demuestre que a) toda clase de comunicacin recurrente es cerrada. o b) la unin de dos clases de comunicacin recurrentes es una clase cerrada. o o c) la unin de todas las clases de comunicacin recurrentes de una cadena de o o Markov es una clase cerrada.
Periodo 41. Dibuje un diagrama de transicin, determine las clases de comunicacin y o o calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov. a) P =
1/2 1/2 0 1/2 1/2 1/2 0 0 1/2 1/3 1/2 0 P = 1/2 1/4
c)
0 0 0 1/4
1/2 0 1/2 1/4
42. Hemos demostrado que el periodo es una propiedad de clase, es decir, dos estados que pertenecen a la misma clase de comunicacin tienen el mismo o periodo. El rec proco de tal armacin es en general falso, es decir, dos eso tados pueden tener el mismo periodo y sin embargo no ser comunicantes. Proporcione un ejemplo de tal situacin. o
0 1 0 1/4
1 b) P = 1/2
1/3
1/3 0 1/2 1/3
1/3 0 0 1/3
0 0 0 0
Cap tulo 3. Cadenas de Markov Tiempo y probabilidad de primera visita 43. Demuestre que i j, si y slo si, fij > 0. o
91
44. Sea j un estado absorbente. Demuestre que para cada n 1, pij (n) = P (ij n). Tiempo medio de absorcin o 45. Se efecta un sucesin de lanzamientos independientes de una moneda equiu o librada con resultados A y S. Encuentre el nmero esperado de lanzamientos u para que aparezca la secuencia particular a) S b) SA c) SAS
Recurrencia y transitoriedad 46. Encuentre las clases de comunicacin de la siguiente cadena de Markov. Eno cuentre adems los periodos, y clasique cada clase de comunicacin como a o transitoria o recurrente. P =
1/2 1/2 0 0 1/6 1/6 1/2 1/2 0 0 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 1/2 1/2 1/6 1/6 0 0 0 0 1/6 1/6 0 0 0 0 1/6 1/6
47. Demuestre que todo estado absorbente es recurrente.
48. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.18(a) es transitorio. o 49. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de transicin de la Figura 3.18(b) es recurrente. Suponga que 0 < < 1 y o 0 < < 1. Concluya que todos los estados de esta cadena son recurrentes. 50. Demuestre que si i es un estado recurrente e i j, entonces j i.
92
1/2 0 1/2 2 1/2 1 (a)
1/2
1 0 1 3
1 1 (b) 2 1
Figura 3.18: Tiempo medio de recurrencia 51. Considere una sucesin de ensayos independientes Bernoulli con resultados A o y B, y con probabilidades P (A) = p y P (B) = q = 1 p. Calcule el n mero u promedio de ensayos para la primera ocurrencia de la secuencia AB.
Recurrencia positiva y nula 52. Determine si la cadena de racha de xitos es recurrente positiva o nula. e 53. Sea {Xn } una cadena de Markov con espacio de estados {0, 1, 2, . . .} y probabilidades de transicin o p0,i pi,i1 = ai para i = 0, 1, 2, . . . = 1 para i = 1, 2, 3, . . .
en donde a0 + a1 + = 1. Encuentre condiciones sucientes sobre estas probabilidades para que la cadena sea a) irreducible. b) recurrente. c) recurrente positiva. 54. Sea P una matriz doblemente estocstica. Demuestre directamente que a a) si P es nita, entonces todos los estados son recurrentes positivos. b) si P es innita e irreducible, entonces todos los estados son transitorios o recurrentes nulos.
Cap tulo 3. Cadenas de Markov Distribuciones estacionarias
93
55. Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de Markov. a) P =
1/2 0 0 1/2 1/2 1/2 0 1/2 1/2 1/2
56. Determine si existe alguna distribucin estacionaria para la siguiente matriz o estocstica. En caso armativo encuentre todas las distribuciones estacionaa rias.
1p p 0
0 b) P = 0
1/4
1/2 1/2 1/2 1/4
0 1/2 1/2 1/4
0 0 0 1/4
57. Demuestre que la siguiente cadena de Markov tiene un n mero innito de u distribuciones estacionarias.
1/2
0 1p 0 P = 1p p 0 0 1 0
0 p 0 0
0 P = 1/2
0
0 1/2 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
58. Demuestre que la cadena del jugador tiene una innidad de distribuciones estacionarias. 59. Demuestre que la cadena de variables aleatorias independientes tiene una unica distribucin estacionaria dada por (0 , 1 , . . .) = (a0 , a1 , . . .). o 60. Demuestre que toda matriz doblemente estocstica, aperidica, nita e irrea o ducible tiene una unica distribucin estacionaria dada por la distribucin o o uniforme. 61. Demuestre que si la distribucin uniforme es una distribucin estacionaria o o para una cadena de Markov nita, entonces la correspondiente matriz de probabilidades de transicin es doblemente estocstica. o a 62. Considere una cadena de Markov a tiempo discreto con espacio de estados nito y tal que para cada estado j los siguientes l mites existen y no dependen del estado i, l pij (n) = j . m
n
94
3.16. Cadenas reversibles Demuestre que = {j } es una distribucin estacionaria. o
63. Justique la existencia y unicidad, y encuentre la distribucin estacionaria pao ra una caminata aleatoria simple no simtrica sobre el conjunto {0, 1, . . . , n}, e en donde los estados 0 y n son reejantes, es decir: p00 = q, p01 = p, pnn = p, pn,n1 = q. Las otras probabilidades de transicin son: pi,i+1 = p y pi,i1 = q o para i = 1, 2, . . . , n 1. 64. Considere una caminata aleatoria {Xn } sobre el conjunto {0, 1, . . . , N 1, N } en donde los estados 0 y N son reejantes, es decir, P (Xn+1 = 1 | Xn = 0) = 1 y P (Xn+1 = N 1 | Xn = N ) = 1. El resto de las probabilidades de transicin o son P (Xn+1 = i + 1 | Xn = i) = p y P (Xn+1 = i 1 | Xn = i) = q, para i = 1, 2, . . . , N 1. Vase la Figura 3.19. Calcule el nmero promedio de e u visitas que la caminata realiza a cada uno de sus estados.
1 0 1 q p 1
i 1
i + 1 N 1 N
Figura 3.19:
Distribuciones l mite 65. Calcule la distribucin l o mite, cuando existe, de las siguientes cadenas de Markov.
0
a)
1 P = 1/2
1/3 0
0 0 1/2 1/3
1 0 0 1/3
c)
66. Una persona se traslada todos los d de su casa a la ocina en la ma ana, as n y de la ocina a su casa por la tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga
0 P = 0
1/2
1 0 1 0
0 0 0 1/2
0 1 0 0
0 0 0 0
0 b) P = 0
1/3
1 0 1 0
0 0 0 2/3
0 1 0 0
95
el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno de estos lugares no est lloviendo. La probabilidad de lluvia por la ma ana a n o por la tarde es p > 0, independiente un evento del otro. a) Calcule la proporcin de viajes a largo plazo en los cuales la persona se o moja por la lluvia. b) Conteste la misma pregunta cuando la persona posee r coches.
Cadenas regulares 67. Determine si las siguientes matrices estocsticas son regulares. a a) P =
0 0 1 1 0 0 0 1 0
b) P =
0 0 1/2
1 1/2 1/2
0 1/2 0
68. Cuntas potencias de una matriz se necesitan calcular como mximo para a a vericar que es regular? 69. Sean {Xn } y {Yn } dos cadenas de Markov independientes y regulares. Demuestre que Zn = (Xn , Yn ) es una cadena de Markov regular y encuentre sus probabilidades de transicin. o
Cadenas reversibles 70. Resolviendo la ecuacin de balance detallado (3.10), demuestre que la cadena o de dos estados es reversible y encuentre nuevamente la distribucin estacioo naria (0 , 1 ) = (b/(a + b), a/(a + b)), cuando a + b > 0.
Cap tulo 4
El proceso de Poisson
En el presente y en el siguiente cap tulo estudiaremos el modelo de cadena de Markov a tiempo continuo. Como una introduccin a la teor general que se exo a pondr ms adelante, en este cap a a tulo estudiaremos uno de los ejemplos ms impora tantes de este tipo de modelos: el proceso de Poisson. Deniremos este proceso de varias formas equivalentes, y estudiaremos algunas de sus propiedades, sus generalizaciones y algunas de sus aplicaciones. El proceso de Poisson es un modelo relevante tanto en las aplicaciones como en la teor general de los procesos estocsticos. a a
4.1.
Proceso de Poisson
Suponga que un mismo evento ocurre repetidas veces de manera aleatoria a lo lar go del tiempo como se muestra en la Figu0 ra 4.1. Tal evento puede ser por ejemplo la llegada de una reclamacin a una como Figura 4.1: pa aseguradora, o la recepcin de una na o llamada a un conmutador, o la llegada de un cliente a una ventanilla para solicitar algn servicio, o los momentos en que una cierta maquinaria requiere reparacin, u o etctera. Suponga que las variables aleatorias T1 , T2 . . . representan los tiempos e que transcurren entre una ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son independientes uno del otro, y que cada uno de ellos tiene distribucin exp(). Se dene el proceso de Poisson al tiempo t como el n mero o u 97
98
4.1. Proceso de Poisson
de ocurrencias del evento que se han observado hasta ese instante t. Esta es una denicin constructiva de este proceso y la formalizaremos a continuacin. Ms o o a adelante enunciaremos otras deniciones axiomticas equivalentes de este mismo a proceso. Denicin. (I) Sea T1 , T2 , . . . una sucesin de variables aleatorias indepeno o dientes cada una con distribucin exp(). El proceso de Poisson de parmetro o a es el proceso a tiempo continuo {Xt : t 0} denido de la siguiente manera: Xt = mx {n 1 : T1 + + Tn t}. a
Se postula adems que el proceso inicia en cero y para ello se dene mx = 0. a a En palabras, la variable Xt es el entero n mximo tal que T1 + + Tn es menor o a igual a t, y ello equivale a contar el nmero de eventos ocurridos hasta el tiempo t. u A este proceso se le llama proceso de Poisson homogneo, tal adjetivo se reere a e que el parmetro no cambia con el tiempo, es decir, es homogneo en el tiempo. a e Una trayectoria t pica de este proceso Xt () puede observarse en la Figura 4.2, la cual es no decreciente, constante por 3 partes, continua por la derecha y con l mite por la izquierda. A los tiem- 2 pos T1 , T2 , . . . se les llama tiempos 1 de estancia, o tiempos de interarribo, y corresponden a los tiempos que t W1 W2 W3 transcurren entre un salto del proceso 0 y el siguiente salto. Hemos supuesto T1 T2 T3 T4 que estos tiempos son independientes y que todos tienen distribucin Figura 4.2: El proceso de Poisson y los tiemo exp(). En consecuencia, la variable pos de ocurrencia de eventos. Wn = T1 + + Tn tiene distribucin o gamma(n, ). Esta variable representa el tiempo real en el que se observa la ocurrencia del n-simo evento. Observe la e igualdad de eventos (Xt n) = (Wn t), esto equivale a decir que al tiempo t han ocurrido por lo menos n eventos si, y slo si, el n-simo evento ocurri antes o e o de t.
Cap tulo 4. El proceso de Poisson
99
Una de las caracter sticas sobresalientes de este proceso es que puede encontrarse expl citamente la distribucin de probabilidad de la variable Xt para cualquier o valor de t. La respuesta es la distribucin Poisson, y es de all de donde el proceso o adquiere su nombre. Proposicin. La variable Xt tiene distribucin Poisson(t), es decir, para o o cualquier t > 0, y para n = 0, 1, . . . P (Xt = n) = et (t)n . n!
Demostracin. Como Wn tiene distribucin gamma(n, ), su funcin de distribuo o o cin es, para t > 0, o n1 (t)k t P (Wn t) = 1 e . k!
k=0
Entonces para cualquier t > 0 y para cada n = 0, 1, . . . P (Xt = n) = P (Xt n) P (Xt n + 1) = P (Wn t) P (Wn+1 t) = et (t)k . k!
Entonces, dado que Xt tiene una distribucin Poisson(t), se tiene que E(Xt ) = o t, y Var(Xt ) = t. Por lo tanto t es el promedio de observaciones o registros del evento de inters en el intervalo [0, t]. As mientras mayor es la longitud del e , intervalo de observacin, mayor es el promedio de observaciones realizadas, y mayor o tambin la incertidumbre del nmero de observaciones. e u Prdida de memoria y sus consecuencias. Una de las propiedades que cae racterizan de manera unica a la distribucin exponencial dentro del conjunto de o distribuciones continuas es que satisface la propiedad de prdida de memoria, esto e es, si T tiene distribucin exp(), entonces para cualesquiera tiempos s, t > 0 se o cumple la igualdad P (T > t + s | T > s) = P (T > t).
100
En otras palabras, condicionada al evento (T > s), la variable T s sigue teniendo distribucin exp(). Esto signica que el proceso de Poisson puede estudiarse a o partir de cualquier tiempo s 0, teniendo las mismas propiedades a partir de ese momento hacia adelante. Esto es, si uno toma cualquier tiempo s 0 y empieza a contar desde cero las ocurrencias de eventos a partir de ese momento, lo que uno obtiene es nuevamente un proceso de Poisson. Entonces, para cualquier t > 0 y para n = 0, 1, . . . P (Xt+s Xs = n) = P (Xt = n) = et (t)n . n! (4.1)
Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar se todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov, la cual demostraremos a continuacin. o Proposicin. El proceso de Poisson satisface las siguientes propiedades. o a) Es un proceso de Markov. b) Tiene incrementos independientes. c) Tiene incrementos estacionarios. d) Para cualesquiera s, t > 0, Xt+s Xs Poisson(t).
e) Para cualesquiera s, t 0, y enteros 0 i j, las probabilidades de transicin son o (t)ji . (4.2) P (Xt+s = j | Xs = i) = et (j i)!
Demostracin. o a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 , . . . , Xtn1 = xn1 ), para cualesquiera n tiempos 0 t1 t2 tn , y estados 0 x1 . . . xn . Entonces al tiempo tn1 ha habido xn1 ocurrencias del evento de inters. e A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn1 , tn ] hayan ocurrido xn xn1 eventos. Esto es exactamente P (Xtn = xn | Xtn1 = xn1 ). b) Considere cualesquiera n tiempos 0 t1 t2 tn , y cualesquiera estados x1 , . . . , xn . Por comodidad llamaremos sn a la suma x1 + + xn , para cada n 1.
Cap tulo 4. El proceso de Poisson Por la propiedad de Markov y por (4.1), P (Xt1 = x1 , Xt2 Xt1 = x2 , . . . , Xtn Xtn1 = xn ) = P (Xt1 = s1 , Xt2 = s2 , . . . , Xtn = sn ) = P (Xt1 = s1 ) P (Xt2 = s2 | Xt1 = s1 ) P (Xtn = sn | Xtn1 = sn1 )
101
= P (Xt1 = x1 ) P (Xt2 Xt1 = x2 ) P (Xtn Xtn1 = xn ). Las propiedades c), d) y e) son consecuencia inmediata de (4.1). La expresin (4.2) establece de manera evidente que las probabilidades de transicin o o son estacionarias en el tiempo, es decir, no dependen del parmetro s, y se escriben a simplemente como pij (t). Pero tambin es interesante observar que (4.2) dice que e estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j unicamente a travs de la diferencia j i. En s e mbolos, pij (t) = p0,ji (t), para j i. Ejemplo: Paradoja del autobs. Suponga que la llegada de autobuses a una u estacin se modela mediante un proceso de Poisson de parmetro , es decir, el o a tiempo que transcurre entre la llegada de un autobs y el siguiente es una variable u aleatoria con distribucin exp(). Suponga que el tiempo es medido en minutos. o La propiedad de prdida de memoria en este contexto puede interpretarse de la sie guiente forma: Un persona ha llegado a la estacin y ha esperado s minutos sin que o un autobs aparezca. La probabilidad de que tenga que esperar ms de t minutos u a adicionales es la misma que la probabilidad de espera de ms de t minutos para a una persona que acaba de llegar a la estacin! o Ejemplo: La suma de dos procesos de Poisson independientes es un proceso de Poisson. Sean {Xt } y {Yt } dos procesos de Poisson independientes de parmetros a 1 y 2 respectivamente. Demostraremos que el proceso suma {Xt + Yt } es un proceso de Poisson de parmetro 1 + 2 . a Denotaremos por T1 , T2 , . . . a los Xt tiempos de interarribo del proceso suma. La forma en la que se Yt obtienen estos tiempos se muestra en la Figura 4.3. Demostraremos que estas variables aleatorias son in Xt + Yt dependientes con idntica distribue Figura 4.3: Suma de dos procesos de Poisson.
102
cin exp(1 + 2 ). Para cualesquieo ra tiempos t1 , . . . , tn , el evento (T1 > t1 , T2 > t2 , . . . , Tn > tn ) puede expresarse como ((X + Y )[0,t1 ] = 0, (X + Y )[T1 ,T1 +t2 ] = 0, . . . , (X + Y )[Tn1 ,Tn1 +tn ] = 0), esto es, (X[0,t1 ] = 0) (Y[0,t1 ] = 0)
(X[T1 ,T1 +t2 ] = 0) (Y[T1 ,T1 +t2 ] = 0)
(X[Tn1 ,Tn1 +tn ] = 0) (Y[Tn1 ,Tn1 +tn ] = 0). Por la independencia de los procesos y la propiedad de incrementos independientes de cada uno de ellos, la probabilidad de este evento es P (X[0,t1 ] = 0) P (Y[0,t1 ] = 0) P (X[T1 ,T1 +t2 ] = 0) P (Y[T1 ,T1 +t2 ] = 0) P (X[Tn1 ,Tn1 +tn ] = 0) P (Y[Tn1 ,Tn1 +tn ] = 0). Por lo tanto, P (T1 > t1 , T2 > t2 , . . . , Tn > tn ) = e(1 +2 )t1 e(1 +2 )t2 e(1 +2 )tn . Esta identidad demuestra que las variables T1 , T2 , . . . , Tn son independientes con idntica distribucin exp(1 + 2 ). e o Distribuciones asociadas al proceso de Poisson. Adems de las distribuciones a exponencial y gamma ya mencionadas, existen otras distribuciones de probabilidad que surgen al estudiar ciertas caracter sticas del proceso de Poisson. Mencionaremos a continuacin algunas de ellas. o
103
Proposicin. Dado el evento (Xt = n), el vector de tiempos reales o (W1 , . . . , Wn ) tiene la misma distribucin que el vector de las estad o sticas de orden (Y(1) , . . . , Y(n) ) de una muestra aleatoria Y1 , . . . , Yn de la distribucin o uniforme en el intervalo [0, t], es decir, n! si 0 < w1 < < wn < t, tn fW1 ,...,Wn |Xt (w1 , . . . , wn | n) = 0 otro caso. Demostracin. La frmula general para la funcin de densidad conjunta de las o o o estad sticas de orden Y(1) , . . . , Y(n) de una muestra aleatoria Y1 , . . . , Yn de una distribucin con funcin de densidad f (y) es, para y1 < < yn , o o fY(1) ,...,Y(n) (y1 , . . . , yn ) = n! f (y1 ) f (yn ). Cuando la funcin de densidad f (y) es la uniforme en el intervalo [0, t], esta funcin o o de densidad conjunta es la que aparece en el enunciado. Demostraremos que la distribucin conjunta de las variables W1 , . . . , Wn , condicionada al evento (Xt = n) o tambin tiene esta misma funcin de densidad. Usaremos nuevamente la identidad e o de eventos (Xt n) = (Wn t). Para tiempos 0 < w1 < < wn < t, se tiene que fW1 ,...,Wn |Xt (w1 , . . . , wn | n) n = P (W1 w1 , W2 w2 , . . . , Wn wn | Xt = n) w1 wn n = P (Xw1 1, Xw2 2, . . . , Xwn n | Xt = n) w1 wn n = P (Xt Xwn = 0, Xwn Xwn1 = 1, . . . w1 wn . . . , Xw2 Xw1 = 1, Xw1 = 1)/P (Xt = n) n e(twn ) e(wn wn1 ) (wn wn1 ) = w1 wn e(w2 w1 ) (w2 w1 ) ew1 w1 /[ et (t)n /n! ] n = n! (wn wn1 ) (w2 w1 )w1 /tn w1 wn = n!/tn .
104
Observe que bajo el signo de derivada, la probabilidad del evento (Xw1 1, Xw2 e 2, . . . , Xwn n, Xt = n), que aparece en la segunda igualdad, es idntica a la probabilidad de (Xt Xwn = 0, Xwn Xwn1 = 1, . . . , Xw2 Xw1 = 1, Xw1 = 1), pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno, la derivada se anula. La frmula anterior nos provee de un mecanismo para obtener simulaciones por o computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: Fije un valor t y asigne un valor para . Genere un valor al azar de la variable Xt con distribucin Poisson(t). Suponga Xt = n. A continuacin genere o o n valores u1 , . . . , un de la distribucin unif(0, t), y ordene estos valores de menor o a mayor: u(1) u(n) . Estos son los tiempos en donde la trayectoria tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra en la Figura 4.2. El siguiente resultado establece una forma de obtener la distribucin binomial a o partir del proceso de Poisson. Suponga que durante el intervalo de tiempo [0, t] se han observado n ocurrencias del evento de inters, es decir, el evento (Xt = n) ha e ocurrido. La pregunta es cuntos de estos eventos ocurrieron en el subintervalo a [0, s]? Demostraremos a continuacin que esta variable aleatoria tiene distribucin o o binomial(n, s/t). Proposicin. Sean s y t tiempos tales que 0 < s < t, y sean k y n enteros o tales que 0 k n. Entonces P (Xs = k | Xt = n) = s n s k ( ) (1 )nk . t t k
Demostracin. Por la denicin de probabilidad condicional, o o P (Xs = k | Xt = n) = P (Xt = n | Xs = k) P (Xs = k) . P (Xt = n)
Substituyendo estas probabilidades y simplicando se obtiene el resultado. Recordando que la suma de dos procesos de Poisson independientes es nuevamente un proceso de Poisson, se puede comprobar fcilmente el siguiente resultado. a
105
Proposicin. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con o parmetros 1 y 2 respectivamente, y sean k y n enteros tales que 0 k n. a Entonces P (X1 (t) = k | X1 (t) + X2 (t) = n) = 1 1 n )k (1 )nk . ( 1 + 2 k 1 + 2
Demostracin. Por la hiptesis de independencia entre los procesos, o o P (X1 (t) = k | X1 (t) + X2 (t) = n) = P (X1 (t) = k, X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n) = = P (X1 (t) = k, X2 (t) = n k)/P (X1 (t) + X2 (t) = n) P (X1 (t) = k) P (X2 (t) = n k)/P (X1 (t) + X2 (t) = n).
Substituyendo estas probabilidades se obtiene el resultado.
4.2.
Deniciones alternativas
La denicin (I) de proceso de Poisson es constructiva pues a partir de los tiempos o de interarribo se construye el proceso de conteo correspondiente. Existen otras formas equivalentes y un tanto axiomticas de denir a este proceso. Revisaremos a y comentaremos a continuacin dos de ellas. Una de las ventajas de contar con o estas deniciones alternativas es que para demostrar que un cierto proceso es de Poisson se puede tomar cualquiera de las deniciones a conveniencia.
106
4.2. Definiciones alternativas
Denicin. (II) Un proceso de Poisson de parmetro > 0 es un proceso a o a tiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes y estacionarios. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = h + o(h).
Esta denicin hace uso de las probabilidades innitesimales del proceso y ello tiene o algunas ventajas desde el punto de vista de la interpretacin de lo que sucede en o un intervalo innitesimal de tiempo (t, t + h]. El proceso empieza en cero y por el tercer postulado la probabilidad de que pase al estado uno al nal de un intervalo de tiempo pequeo [0, h] es h + o(h), la probabilidad de que el proceso no sufra n ningn cambio en dicho intervalo es 1 h + o(h), y nalmente la probabilidad de u que el proceso tenga dos o ms incrementos en tal intervalo es o(h). Es decir, en un a intervalo cualquiera de longitud innitesimal h slo pueden ocurrir dos situaciones: o que haya un incremento o que no lo haya. Ejemplo. (Demostracin de que la variable Xt+s Xs tiene distribucin o o Poisson(t) a partir de los postulados de la denicin (II)). Se dene pn (t) = o P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hiptesis de independencia, para t 0 y cuando o h 0, p0 (t + h) = = p0 (t) p0 (t, t + h] p0 (t) (1 h + o(h)).
Haciendo h 0 se obtiene la ecuacin diferencial p0 (t) = p0 (t), cuya solucin o o es p0 (t) = c et , en donde la constante c es uno por la condicin inicial p0 (0) = 1. o Ahora encontraremos pn (t) para n 1. Nuevamente por independencia, pn (t + h)
= pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) = pn (t) (1 h + o(h)) + pn1 (t) (h + o(h)) + o(h).
Entonces pn (t) = pn (t) + pn1 (t), con condicin inicial pn (0) = 0 para o
107
n 1. Deniendo qn (t) = et pn (t) la ecuacin diferencial se transforma en qn (t) = o qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se resuelve iterao tivamente primero para q1 (t), despus para q2 (t), y as sucesivamente, en general e qn (t) = (t)n /n! Por lo tanto pn (t) = et (t)n /n! Esto signica que Xt tiene distribucin Poisson(t). Debido al postulado de incrementos estacionarios, la vao riable Xt+s Xs tiene la misma distribucin que Xt . o Denicin. (III) Un proceso de Poisson de parmetro > 0 es un proceso a o a tiempo continuo {Xt : t 0} con espacio de estados {0, 1, . . .}, con trayectorias no decrecientes y que cumple las siguientes propiedades: a) X0 = 0. b) Tiene incrementos independientes. c) Xt+s Xs Poisson(t), para cualesquiera s 0, t > 0. Esta es posiblemente la denicin mas frecuente del proceso de Poisson. A partir de o ella inmediatamente sabemos que Xt tiene distribucin Poisson(t). La indepeno dencia de los incrementos es expl cita, y la estacionariedad de los mismos aparece de manera impl cita en el tercer postulado. Para demostrar la equivalencia con la denicin (I), el reto consiste en denir los tiempos de interarribo y demostrar que o stos son variables aleatorias independientes con distribucin exponencial(). e o Ejercicio. Usando la denicin (III), demuestre que la suma de dos procesos de o Poisson independientes es nuevamente un proceso Poisson.
Proposicin. Las deniciones (I), (II) y (III) son equivalentes. o
Demostracin. Hemos demostrado que (II) (III). El rec o proco es inmediato pues la propiedad de incrementos independientes y estacionarios aparecen en ambas
108
4.2. Definiciones alternativas
deniciones, y para cualquier t 0 y h > 0, P (Xt+h Xt 1) = = = = Anlogamente a P (Xt+h Xt 2) = = = 1 P (Xt+h Xt = 0) P (Xt+h Xt = 1) 1 eh eh h 1 (1 h + o(h)) (h + o(h)) 1 P (Xt+h Xt = 0) 1 eh 1 (1 h + o(h)) h + o(h).
o(h).
Estos clculos y lo desarrollado antes demuestran que (II) (III). Tambin antes a e hemos demostrado que (I) (III). Para demostrar el rec proco es necesario comprobar que los tiempos de interarribo T1 , T2 , . . . son independientes con distribucin o exp(). Daremos una demostracin no completamente rigurosa de este resultado. o Sean t1 , . . . , tn > 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que se muestran en la Figura 4.4.
t1 0
t1
t2
t2
tn
tn
Figura 4.4: La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en el intervalo t2 , etctera, es e fT1 ,...,Tn (t1 , . . . , tn )t1 tn = = (et1 et1 t1 ) (et2 et2 t2 ) (etn etn tn ) et1 et2 etn t1 tn e(t1 ++tn ) fT1 ,...,Tn (t1 , . . . , tn ) = et1 et2 etn . Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas tiene distribucin exp(). En conjunto esto demuestra que (I) (III) (II). o
Al hacer t1 , . . . , tn 0 se obtiene
109
Observe que la pregunta acerca de la existencia de un proceso estocstico que a cumpla los postulados de la denicin (II) o (III) queda resuelta al vericar la o equivalencia de tales postulados con la denicin constructiva (I). o Presentaremos a continuacin algunas generalizaciones del proceso de Poisson. Una o de tales generalizaciones que estudiaremos con mayor detalle en un cap tulo ms a adelante es aquella en la que se considera que las variables T1 , T2 , . . . no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso. A este tipo de procesos se les llama procesos de renovacin. o
4.3.
Proceso de Poisson no homogneo e
Se considera ahora que el parmetro del proceso de Poisson no es necesariamente a una constante sino una funcin del tiempo. A veces a este proceso se le llama o tambin proceso de Poisson con parmetro dependiente del tiempo. Este modelo e a puede ser naturalmente ms adecuado para algunas situaciones reales aunque deja a de cumplir la propiedad de Markov. Denicin. Un proceso de Poisson no homogneo es un proceso a tiempo cono e tinuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, con parmetro la funcin a o positiva y localmente integrable (t), y que cumple las siguientes propiedades: a) X0 = 0. b) Los incrementos son independientes. c) Para cualquier t 0, y cuando h 0, ii) P (Xt+h Xt 2) = o(h). i) P (Xt+h Xt 1) = (t) h + o(h).
Comparando esta denicin con la denicin (II) de proceso de Poisson se observa o o mucha similaridad excepto por dos aspectos: En lugar de la constante se escribe ahora la funcin (t), y la hiptesis de incrementos estacionarios ya no aparece. Ello o o es consecuencia de que el parmetro var con el tiempo, generalmente de manera a a decreciente. Es decir, la distribucin de probabilidad de la variable incremento o Xt+s Xs depende de los valores de la funcin en el intervalo (s, s + t]. Sin o
110
4.3. Proceso de Poisson no homogneo e
embargo, y en completa analog con el caso homogneo, la variable Xt contin a a e u teniendo distribucin Poisson como a continuacin demostraremos. o o Proposicin. La variable Xt en un proceso de Poisson no homogneo de o e t parmetro (t) tiene distribucin Poisson((t)), en donde (t) = 0 (s) ds, a o es decir, para n = 0, 1, . . . P (Xt = n) = e(t) [(t)]n . n!
Demostracin. La prueba es anloga a una de las realizadas en el caso homogneo. o a e Se dene nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hiptesis de o independencia, para t 0 y cuando h 0, p0 (t + h) = p0 (t) p0 (t, t + h] = p0 (t) (1 (t)h + o(h)). Calculando la derivada se obtiene la ecuacin diferencial p0 (t) = (t) p0 (t), cuya o solucin es p0 (t) = c e(t) , en donde la constante c es uno debido a la condio cin inicial p0 (0) = 1. Ahora encontraremos pn (t) para n 1. Nuevamente por o independencia, pn (t + h) = =

pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h) pn (t) (1 (t)h + o(h)) + pn1 (t) ((t)h + o(h)) + o(h).
Entonces pn (t) = (t) pn (t) + (t) pn1 (t), con condicin inicial pn (0) = 0 pao ra n 1. Deniendo qn (t) = e(t) pn (t) la ecuacin diferencial se transforma en o qn (t) = (t) qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se reo suelve iterativamente primero para q1 (t), despus para q2 (t), y as sucesivamente, e en general qn (t) = ((t))n /n! y de aqu se obtiene pn (t). Las trayectorias de un proceso de Poisson no homogneo son semejantes a las e trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen los saltos cambia a lo largo del tiempo. De manera anloga al caso homogneo, los a e incrementos de este proceso tambin tienen distribucin Poisson. e o
111
Proposicin. Para el proceso de Poisson no homogneo, la variable incremento o e Xt+s Xs tiene distribucin Poisson((t + s) (s)). o Demostracin. Se escribe Xt+s = Xs + (Xt+s Xs ), en donde, por el axioma de o incrementos independientes, en el lado derecho aparece la suma de dos variables aleatorias independientes. Recordando que la funcin generadora de momentos de o la distribucin Poisson() es M (r) = exp [(er 1)], al aplicar este resultado a la o ecuacin anterior se obtiene o exp [(t + s) (er 1)] = exp [(s) (er 1)] MXt+s Xs (r). Por lo tanto MXt+s Xs (r) = exp [((t + s) (s)) (er 1)]. Si la funcin (t) es constante igual a , entonces (t) = t, y se recupera el o proceso de Poisson homogneo. Cuando (t) es continua, (t) es diferenciable y e por lo tanto (t) = (t). A la funcin (t) se le llama funcin de intensidad y a (t) o o se le conoce como funcin de valor medio. Un proceso de Poisson no homogneo o e en donde {(t) : t 0} es un proceso estocstico se le llama proceso de Cox. a El siguiente resultado establece que bajo una transformacin del parmetro tiempo, o a un proceso de Poisson no homogneo puede ser llevado a un proceso de Poisson e homogneo de parmetro uno. Antes de demostrar este resultado observemos que e a como la funcin t (t) es positiva, la funcin de intensidad (t) es continua y no o o decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa por la derecha 1 (t) = nf{u 0 : (u) = t}, que cumple la identidad (1 (t)) = t, y que es una funcin continua y creciente. o Proposicin. Sea {Xt } un proceso de Poisson no homogneo de parmetro o e a t (t), y funcin de intensidad (t) = 0 (s) ds. Dena la funcin o o 1 (t) = nf {u 0 : (u) = t}. Entonces el proceso {X1 (t) } es un proceso de Poisson homogneo de parmee a tro = 1.
112
4.4. Proceso de Poisson compuesto
Demostracin. Usaremos la denicin (III) de proceso de Poisson. El proceso X1 (t) o o empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 t1 < t2 < < tn , bajo la funcin creciente 1 (t) estos o tiempos se transforman en una nueva coleccin montona de tiempos o o 0 1 (t1 ) < 1 (t2 ) < < 1 (tn ). Por lo tanto las variables X1 (t1 ) , X1 (t2 ) X1 (t1 ) ,. . ., X1 (tn ) X1 (tn1 ) son independientes. Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 (t+s) X1 (s) tiene distribucin Poisson de parmetro (1 (t + s)) o a (1 (s)) = (t + s) s = t. Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos W1 , W2 , . . . para un proceso de Poisson no homogneo de manera anloga al caso e a homogneo. Por hiptesis los incrementos de este procesos son independientes, sin e o embargo, debido a que el parmetro (t) es una funcin del tiempo, los tiempos a o de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de (t) para valores de t mayores a T1 . Y por las mismas razones las distribuciones de estas variables no son idnticas. e
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson ms conocidas y de a amplia aplicacin. La generalizacin consiste en que ahora los saltos ya no son o o necesariamente unitarios. Denicin. Sea {Nt } un proceso de Poisson y sea Y1 , Y2 , . . . una sucesin de o o variables aleatorias independientes, idnticamente distribuidas e independientes e del proceso Poisson. Sea Y0 = 0. El proceso de Poisson compuesto se dene de la siguiente forma:
Nt
Xt =
n=0
Yn .
(4.3)
La variable Xt es una suma de variables aleatorias en donde el n mero de suu mandos es aleatorio. Tal tipo de modelos encuentra aplicacin natural en distintos o
113
contextos. Por ejemplo, la variable Xt puede interpretarse como el monto total de reclamaciones recibidas por una compa aseguradora al tiempo t. El proceso na de Poisson determina el nmero de siniestros o reclamaciones efectuadas hasta un u momento cualquiera. La variable Yn representa el monto de la n-sima reclamacin e o y es natural suponer Yn > 0. En la Figura 4.5 se muestra una trayectoria de este proceso y en los siguienXt () tes ejercicios se presentan algunas de sus propiedades bsicas. Cuando las variables a Y3 Y1 , Y2 , . . . toman valores en el conjunto Y2 {1, 2, . . .} se dice que este proceso es un proceso de Poisson generalizado pues los Y1 saltos ya no son necesariamente unitarios. t Observe que si las variables Y1 , Y2 , . . . son todas idnticamente uno, este proceso se Figura 4.5: Trayectoria de un proceso e reduce al proceso de Poisson. de Poisson compuesto. Proposicin. El proceso de Poisson compuesto (4.3) cumple las siguientes o propiedades. a) E(Xt ) = t E(Y ). b) Var(Xt ) = t E(Y 2 ). c) Cov(Xt , Xs ) = E(Y 2 ) m n{s, t}. d) Tiene incrementos independientes y estacionarios. e) Es un proceso de Markov a tiempo continuo. e) La funcin generadora de momentos de la variable Xt es o MXt (u) = E(euXt ) = exp [ t (MY (u) 1) ].
Notas y referencias. El estudio del proceso de Poisson generalmente se incluye en los cursos elementales de procesos estocsticos. La mayor de los textos sobre a a procesos estocsticos que aparecen en la bibliograf cuentan por lo menos con una a a seccin sobre este tema. Algunos textos espec o cos que dedican un cap tulo entero
114
para el proceso de Poisson y que el lector puede consultar para profundizar en el tema son: Basu [1], Jones y Smith [17], y Taylor y Karlin [37].
115
Ejercicios
Proceso de Poisson 71. Los clientes de una tienda entran al establecimiento de acuerdo a un proceso de Poisson de parmetro = 4. Sea Xt el nmero de clientes que han a u ingresado hasta el instante t. Calcule a) P (X2 = 1). b) P (X1 = 3, X2 = 6). d ) P (X2 = 4 | X1 = 2). e) P (X2 3). f ) P (X1 4 | X1 2). c) P (X1 = 0 | X3 = 4).
72. Los pasajeros llegan a una parada de autobs de acuerdo a un proceso de u Poisson {Xt } de parmetro = 2. Sea el momento en el que llega el primer a autobs. Suponga que es una variable aleatoria con distribucin unif(0, 1) u o e independiente del proceso de Poisson. Calcule a) E(X | = t). b) E(X ).
2 c) E(X | = t).
d ) Var(X ).
73. Sea {Xt } un proceso de Poisson de parmetro = 2. Sea Wn el instante en a el que ocurre el n-simo evento. Calcule e a) E(X5 ). b) E(X5 | X2 = 1). c) E(W7 ). d ) E(W7 | X2 = 3).
e) E(W7 | W5 = 4).
116
74. Sean T1 , T2 , . . . una sucesin de variables aleatorias independientes idnticao e mente distribuidas con distribucin exp(). Dena la variable aleatoria N de o la siguiente forma N= 0 k si T1 > 1, si T1 + + Tk 1 < T1 + + Tk+1 .
Demuestre que N tiene distribucin Poisson(). Este resultado puede ser o usado para obtener valores al azar de la distribucin Poisson. o
1 75. Demuestre que si X tiene distribucin unif(0, 1), entonces Y := ln(1 o X) tiene distribucin exp(). Este resultado puede ser usado para generar o valores al azar de la distribucin exp() a partir de valores de la distribucin o o unif(0, 1).
76. Sean T1 , . . . , Tn variables aleatorias independientes cada una con distribucin exp(). Demuestre que la suma Wn = T1 + + Tn tiene distribucin o o gamma(n, ) y que la correspondiente funcin de distribucin puede escribirse o o de la siguiente forma: para cada t > 0, P (Wn t) =
k=n
et
(t)k . k!
77. Sea {Xt } un proceso de Poisson de parmetro = 1, e independiente de a una variable aleatoria con distribucin exp() con = 1. Dena el proceso o Yt = Xt . Demuestre que a) P (Yt = n) = 1 t n ( ) , para n = 0, 1, . . .. 1+t 1+t n+m n m 1 b) P (Yt = n, Yt+s = n + m) = t s ( 1+t+s )n+m+1 . n
Concluya que las variables Yt y Yt+s Yt no son independientes. 78. Sea {Xt } un proceso de Poisson de parmetro . Demuestre los siguientes a resultados de manera sucesiva. o a) (W1 > t1 , W2 > t2 ) = (Xt1 = 0, Xt2 Xt1 = 0 1). c) fW1 ,W2 (t1 , t2 ) = 2 et2 , para 0 < t1 < t2 . b) P (W1 > t1 , W2 > t2 ) = et1 (1 + (t2 t1 )) e(t2 t1 ) .
Cap tulo 4. El proceso de Poisson d ) fW1 (t1 ) = et1 . e) fW2 (t2 ) = 2 t1 et1 . f ) Las variables T1 = W1 y T2 = W2 W1 son independientes.
117
79. Sea {Xt } proceso de Poisson de parmetro , y sean s y t dos tiempos tales a que 0 s < t. Demuestre que b) P (Xs = Xt ) = e(ts) . a) P (Xs = 0, Xt = 1) = (t s)et .
80. Para un proceso de Poisson de parmetro demuestre que a Cov(Xt , Xs ) = m n{s, t}. 81. Las funciones seno y coseno hiperblico se denen de la siguiente forma: o senh(x) = (ex ex )/2, y cosh(x) = (ex + ex )/2. Para un proceso de Poisson de parmetro demuestre que a a) P (Xt sea impar) = et senh(t). b) P (Xt sea par) = et cosh(t). 82. Sea {Xt } un proceso de Poisson de parmetro , y sea s > 0 un tiempo jo. a Demuestre que el proceso Yt = Xt+s Xs tambin es un proceso de Poisson e de parmetro . En la Figura 4.6 se ilustra grcamente la denicin de este a a o nuevo proceso.
Xt
Yt
3 2 1
2 1
t t s
Figura 4.6: 83. Sea {Xt } un proceso de Poisson de parmetro . Demuestre que a
118
4.4. Proceso de Poisson compuesto 2 ew2 0 1/w2 0 si 0 < w1 < w2 , otro caso. si w1 (0, w2 ), otro caso. si w2 (w1 , ), otro caso.
a) fW1 ,W2 (w1 , w2 ) = b) fW1 | W2 (w1 | w2 ) = c) fW2 | W1 (w2 | w1 ) =
e(w2 w1 ) 0
84. Sea {Xt } un proceso de Poisson de parmetro . Sea T una variable aleatoria a con distribucin exp() e independiente del proceso de Poisson. Encuentre la o funcin de densidad de la variable XT . o 85. Sea {Xt } un proceso de Poisson de parmetro . Sean r y n dos enteros tales a que 1 r n, y sea t > 0. Suponga que el evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr . 86. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con parmetros a 1 y 2 respectivamente. Calcule la probabilidad de que a) X1 (t) = 1 antes que X2 (t) = 1. b) X1 (t) = 2 antes que X2 (t) = 2. 87. Suponga que un cierto aparato elctrico sufre desperfectos a lo largo del e tiempo de acuerdo a un proceso de Poisson de parmetro . Suponga que a cada vez que el aparato se descompone es enviado a reparacin y despus o e es puesto en funcionamiento nuevamente. Suponga adems que el aparato se a reemplaza completamente por uno nuevo cuando el tiempo que transcurre entre dos descomposturas sucesivas es menor o igual a una cierta constante a > 0, incluyendo el tiempo antes de la primera reparacin. Encuentre la o funcin de densidad del o a) tiempo de vida util del equipo antes de ser reemplazado. b) nmero de reparaciones antes de realizar el reemplazo. u 88. Suponga que un cierto circuito recibe impulsos elctricos de acuerdo a un e proceso de Poisson de parmetro . Suponga adems que el circuito se desa a compone al recibir el k-simo impulso. Encuentre la funcin de densidad del e o tiempo de vida del circuito.
119
89. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de parmea tro . Encuentre la distribucin de probabilidad del primer momento en el o cual a) ha ocurrido en cada uno de los procesos al menos un evento. b) ocurre el primer evento en cualquiera de los procesos. 90. Sean {X1 (t)} y {X2 (t)} dos procesos de Poisson independientes con parmea tros 1 y 2 , respectivamente. Sea n cualquier nmero natural, y dena el u tiempo aleatorio = {t 0 : X1 (t) = n}. Demuestre que X2 ( ) tiene nf distribucin binomial negativa, es decir, para k = 0, 1, . . . o P (X2 ( ) = k) = n+k1 k 1 1 + 2
k
2 1 + 2
91. Sea {Xt } un proceso de Poisson de parmetro , y sea a > 0 una constante. a Demuestre que {Xat } es un proceso de Poisson de parmetro a. a 92. Sea {Xt } un proceso de Poisson de parmetro . Demuestre que, condicionado a a que el proceso tiene exactamente un salto en el intervalo [s, s+t], el momento en el que ese salto ocurre se distribuye de manera uniforme en dicho intervalo. 93. Sea {Xt } un proceso de Poisson de parmetro . Suponga que cada evento a registrado es de tipo 1 con probabilidad , o de tipo 2 con probabilidad 1 . Sea X1 (t) el nmero de eventos del tipo 1 al tiempo t, y sea X2 (t) lo u correspondiente a eventos del tipo 2. a) Demuestre que {X1 (t)} y {X2 (t)} son procesos de Poisson de parmetro a y (1 ) respectivamente.
b) Demuestre que {X1 (t)} y {X2 (t)} son independientes.
94. Suponga que los mensajes llegan a una cierta cuenta de correo electrnico de o acuerdo a un proceso de Poisson de parmetro . Cada mensaje recibido es a de tipo basura con probabilidad y no basura con probabilidad 1 . a) Dado que hasta el tiempo t ha llegado n mensajes, encuentre la distribucin del nmero de mensajes tipo basura que hasta ese momento o u han llegado. b) Suponiendo que se recibe un mensaje tipo basura en alg n momento, u encuentre la distribucin del nmero total de mensajes recibidos hasta o u la llegada del siguiente mensaje tipo basura.
120
4.4. Proceso de Poisson compuesto c) Encuentre la probabilidad de que al tiempo t hayan llegado mas mensajes tipo basura que no basura.
95. Sean T1 , T2 , . . . los tiempos de interarribo de un proceso de Poisson de parmea tro , y sea c una constante positiva. Dena N = m {n 1 : Tn > c}. n Calcule E(WN 1 + c). Distribuciones asociadas al proceso de Poisson 96. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta es cundo ocurri tal evento? Demuestre que la distribucin condicional del a o o momento en el que se ha registrado el evento, es decir T1 , es uniforme en el intervalo [0, t0 ]. 97. Sea {Xt } un proceso Poisson de tasa y sean dos tiempos 0 < s < t. Dena la variable X(s,t] como el nmero de eventos del proceso de Poisson que ocurren u en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento o (Xt = n), la variable X(s,t] tiene distribucin binomial(n, 1 s/t). 98. Sea {Xt } un proceso de Poisson de parmetro . Suponga que para un tiempo a jo t > 0 se observa el evento (Xt = n), con n 1. a) Demuestre que la funcin de densidad del momento en el que ocurre el o k-simo evento (1 k n), condicionada al evento (Xt = n), es la e siguiente: para s (0, t), fWk | Xt (s | n) = n k k t s t
k1
s t
nk
b) Demuestre que la funcin de densidad condicional del cociente Wk /t, o dado el evento (Xt = n), es la densidad beta(k, n k + 1). c) Encuentre nuevamente la funcin de densidad gamma(k, ) de la variable o Wk efectuando la siguiente suma
n=k
fWk | Xt (s | n) P (Xt = n).
Cap tulo 4. El proceso de Poisson Proceso de Poisson no homogneo e
121
99. Sea {Xt } un proceso Poisson no homogneo de intensidad (t), sean T1 , T2 , . . . e los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia. Demuestre que para cualquier t > 0, a) fT1 (t) = e(t) (t). b)fT2 |T1 (t|s) = e(t+s)+(s) (t + s). c) fT2 (t) =
0
e(t+s) (t + s) (s) ds. [(t)]n1 (t). (n 1)!
d) fWn (t) = e(t)
e) FTk |Wk1 (t|s) = 1 e(t+s)+(s) . f) FTk (t) = 1
e(t+s)
[(s)]k2 (s) ds, k 2. (k 2)!
Proceso de Poisson compuesto 100. Suponga que los sumandos Y de un proceso de Poisson compuesto {Xt } de parmetro tienen distribucin exp(). Encuentre la distribucin de la a o o variable Xt . 101. Sea {Xt } un proceso de Poisson compuesto de parmetro . Suponga que a cada una de las variables Y de este proceso es constante igual a k N. Encuentre la distribucin de Xt . o 102. Suponga que los usuarios de cuentas de correo electrnico solicitan acceso o al servidor de acuerdo a un proceso de Poisson homogneo de parmetro e a . Suponga adems que cada usuario se mantiene conectado al servidor un a tiempo aleatorio con funcin de distribucin F (x), e independiente uno del o o otro. Sea Ct el nmero de usuarios conectados al servidor tiempo al t, y dena u t la funcin (t) = 0 (1 F (x)) dx. Demuestre que para k = 0, 1, . . . o P (Ct = k) = [(t)]k (t) e . k!
Cap tulo 5
Cadenas de Markov a tiempo continuo
Vamos a considerar ahora cadenas de Markov {Xt : t 0} en donde el tiempo es continuo y las variables toman valores enteros. Varios de los conceptos que mencionaremos para este tipo de procesos son anlogos al caso de tiempo discreto, a pero existen diferencias en el comportamiento y desarrollo matemtico entre los a dos modelos, y no pretendemos presentar y justicar la teor completa. a Usando la misma notacin que en el caso de tiempos discretos, recordemos que el o trmino p(xt ) signica P (Xt = xt ). La propiedad de Markov que consideraremos e tiene la siguiente forma: Para cualesquiera tiempos 0 t1 < t2 < < tn , p(xtn | xt1 , . . . , xtn1 ) = p(xtn | xtn1 ). Observe que no estamos suponiendo que se conoce la historia del proceso en todo el pasado a tiempo continuo, sino unicamente en una coleccin arbitraria pero nita de o tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades de transicin son estacionarias en el tiempo, esto signica que para cada s 0 y o t 0, la probabilidad P (Xt+s = j | Xs = i) es idntica a P (Xt = j | X0 = i), es e decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera breve mediante la expresin pij (t), para i y j enteros no negativos. En particular o para t = 0 se dene nuevamente pij (0) como la funcin delta de Kronecker, es decir, o pij (0) = ij = 1 0 si i = j, si i = j.
123
124
5.1. Procesos de saltos
Haciendo variar los ndices i y j en el espacio de estados, se obtiene la matriz de probabilidades de transicin al tiempo t: o p00 (t) p01 (t) Pt = p10 (t) p11 (t) . . . . . . . Plantearemos a continuacin el modelo general de cadena de Markov a tiempo o continuo, estudiaremos algunas de sus propiedades, y despus revisaremos algunos e modelos particulares.
5.1.
Procesos de saltos
Considere un proceso a tiemXt () po continuo {Xt : t 0} que i4 inicia en el estado i1 al tiempo i2 cero. El proceso permanece en ese estado un tiempo aleatorio i1 e Ti1 , y despus salta a un nuevo i3 estado i2 distinto del anterior. El sistema permanece ahora en t el estado i2 un tiempo aleatoTi1 Ti2 Ti3 Ti4 rio Ti2 al cabo del cual brinca a otro estado i3 distinto del inFigura 5.1: mediato anterior, y as sucesi vamente. Esta sucesin de salo tos se muestra grcamente en la Figura 5.1. Los tiempos aleatorios T son los a tiempos en los que el proceso permanece constante en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + + Tin , para n 1. El proceso puede entonces escribirse de la forma siguiente: i1 si 0 t < W1 , i2 si W1 t < W2 , Xt = i3 si W2 t < W3 , . . .
Cap tulo 5. Cadenas de Markov a tiempo continuo
125
Un proceso de estas caracter sticas se llama proceso de saltos, y parece ser una buena versin continua de las cadenas de Markov a tiempo discreto. Sin embargo o puede comprobarse que un proceso con estas caracter sticas pudiera no estar denido para todo t 0, y tampoco hay garant de que se cumpla la propiedad de a Markov. A n de evitar situaciones demasiado complicadas, los procesos de saltos que consideraremos estarn restringidos por las siguientes condiciones: a No explosin. Puede suceder que los tiempos de estancia T sean cada vez ms o a pequeos de tal forma que l n Wn < , es decir, existe la posibilidad de que n m el proceso efecte un nmero innito de saltos durante un intervalo de tiempo u u acotado. En tal situacin el proceso no estar bien denido para todo t 0, y se o a dice que el proceso explota en un tiempo nito. Para evitar tal comportamiento supondremos que l n Wn = , y por lo tanto, para cada t 0, el valor de Xt m es nito. Probabilidades de transicin. Supondremos que el espacio de estados es {0, 1, . . .} o y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la cual supondremos positiva con funcin de distribucin Fi (t). Como en el caso de cao o denas a tiempos discreto, se denotar por pij a la probabilidad de que la cadena a salte del estado i al estado j. Adicionalmente impondremos la condicin pii = 0, y o con ello se inhibe, por ahora, que la cadena salte al mismo estado de partida. Las probabilidades de transicin cumplen entonces las siguientes condiciones: o a) pij 0. b) pii = 0. c)
j
pij = 1.
Independencia. Supondremos que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s y tambin son independientes del mecanismo mediante el cual , e se escoge el estado j al cual la cadena brinca despus de estar en cualquier otro e estado i. Estados absorbentes o no absorbentes. Supondremos que cada variable Ti es nita con probabilidad uno, o bien es innita con probabilidad uno. En el primer caso se dice que el estado i es no absorbente, y en el segundo caso que es absorbente. El hecho de que Ti = se interpreta en el sentido de que el proceso deja de saltar y permanece en el estado i el resto del tiempo, es decir, es absorbente. Estamos entonces suponiendo que slo hay dos tipos de estados: absorbentes o no o
126
5.1. Procesos de saltos
absorbentes, en otras palabras, con probabilidad uno el tiempo de estancia es nito o con probabilidad uno es innito. Propiedad de Markov. Puede demostrarse que el proceso de saltos descrito arriba satisface la propiedad de Markov si, y slo si, los tiempos de estancia de estados o no absorbentes tienen distribucin exponencial. Este es un resultado importante o cuya demostracin omitiremos y que simplica el modelo general planteado. Suo pondremos entonces que el tiempo de estancia en un estado no absorbente i tiene distribucin exp(i ), con i > 0, es decir, Fi (t) = 1 ei t , para t 0. Cuando o Ti = puede considerarse que i = 0. Denicin. A un proceso de saltos con las caracter o sticas arriba se aladas se n le llama cadena de Markov a tiempo continuo. Observe que un proceso de Markov a tiempo continuo queda completamente especicado por los siguientes tres elementos: una distribucin de probabilidad inicial, o los parmetros i , y las probabilidades pij . a Ejemplo: Cadena de primera ocurrencia. Sea Xt el estado de un sistema tal que en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1. Suponga que X0 = 0 y que el proceso cambia al estado 1 despus de un tiempo e aleatorio con distribucin exp(), y permanece all el resto del tiempo. Una posible o trayectoria de este proceso se muestra en la Figura 5.2(a). Este proceso modela la situacin de espera para la primera ocurrencia de un evento de inters. Las o e probabilidades de transicin son o Pt =
p00 (t) p10 (t) p01 (t) p11 (t)
et 0
1 et 1
Ejemplo: Cadena de dos estados. Considere el proceso Xt con dos posibles estados: 0 y 1, denido por la siguiente dinmica: Cuando el proceso entra al estado a 0 permanece en l un tiempo exp(), y luego va al estado 1, entonces permanece en e el estado 1 un tiempo exp() y despus regresa a 0, y as sucesivamente. Se postula e que los tiempos de estancia en cada estado son variables aleatorias independientes. Una trayectoria de este proceso se muestra en la Figura 5.2(b). Puede demostrarse
127
Xt () 1 t (a) 1
Xt ()
t (b)
Figura 5.2: que las probabilidades de transicin son o Pt =

p00 (t) p10 (t) p01 (t) p11 (t)
1 +
1 +
e(+)t .
Ejemplo. El proceso de Poisson es una cadena de Markov a tiempo continuo que empieza en cero, los tiempos de estancia son exponenciales de parmetro , y a las probabilidades de transicin de un estado a otro son pi,i+1 = 1. o
5.2.
Propiedades generales
Mencionaremos ahora algunos conceptos y propiedades generales de procesos de Markov a tiempo continuo. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos. Cadena a tiempo discreto asociada. Toda cadena de Markov a tiempo continuo {Xt : t 0} tiene asociada una cadena a tiempo discreto que denotaremos por el mismo s mbolo {Xn : n = 0, 1, . . .}, y que est dada por la primera pero observada a en los tiempos en donde se efectan los saltos. Algunas caracter u sticas de la cadena a tiempo discreto se trasladan a su versin continua. Inversamente, a partir de o una cadena a tiempo discreto puede construirse su versin continua en el tiempo o tomando tiempos exponenciales independientes entre salto y salto.
128
5.2. Propiedades generales
Probabilidades de transicin. Para una cadena de Markov a tiempo continuo o las probabilidades de transicin son los nmeros pij (t) = P (Xt = j | X0 = i), para o u cualesquiera estados i y j, y para cualquier tiempo t 0. Cuando el espacio de estados es nito, los elementos de cada rengln de esta matriz suman uno, pero o para espacios de estados innito esta suma puede ser estrictamente menor a uno, es decir, en general, j pij (t) 1. Esta es una diferencia inesperada respecto del modelo a tiempo discreto. Intentar encontrar pij (t) para cada par de estados i y j, y para cada t 0, es un problema demasiado general, y slo en algunos casos es posible encontrar expl o citamente tales probabilidades. El siguiente resultado nos permitir obtener algunas a conclusiones generales acerca de pij (t). Proposicin. Sean i y j dos estados. Para cualquier t 0, o pij (t) = ij ei t + i ei t
0 t
ei s (
k=i
pik pkj (s) ) ds.
(5.1)
Demostracin. Si i es un estado absorbente, i.e. i = 0, entonces la frmula se o o reduce a pij (t) = ij , lo cual es correcto. Si i es un estado no absorbente, entonces pij (t) = = = = P (Xt = j | X0 = i)
t
P (Xt = j, Ti > t | X0 = i) + P (Xt = j, Ti t | X0 = i) ij ei t +

0 t
fXt ,Ti | X0 (j, u | i) du fXt ,Xu ,Ti | X0 (j, k, u | i) du,
ij ei t +
0 k=i
en donde por la propiedad de Markov y la independencia, fXt ,Xu ,Ti | X0 (j, k, u | i) = Por lo tanto, pij (t) = ij ei t +
0 t
fXt | Xu ,Ti ,X0 (j | k, u, i) fXu | Ti ,X0 (k | u, i) fTi | X0 (u | i) pkj (t u) pik i ei u . i ei u (

k=i
pik pkj (t u) ) du.
Cap tulo 5. Cadenas de Markov a tiempo continuo Haciendo el cambio de variable s(u) = tu en la integral se obtiene el resultado.
129
Las probabilidades de transicin satisfacen tambin una versin continua de la o e o ecuacin de Chapman-Kolmogorov, y que en este caso se conoce como la propiedad o de semigrupo. Proposicin. (Ecuacin de Chapman-Kolmogorov). Para cualquiera estados i o o y j, y para todo t 0 y s 0, pij (t + s) =
k
pik (t) pkj (s).
En notacin matricial, Pt+s = Pt Ps . o
Demostracin. Por la propiedad de Markov, o pij (t + s) = =

k
P (Xt+s = j | X0 = i) P (Xt+s = j, Xt = k | X0 = i) P (Xt+s = j | Xt = k) P (Xt = k | X0 = i) pik (t) pkj (s).

k
=
k
La coleccin {Pt : t 0} constituye un semigrupo de matrices estocsticas, esto o a quiere decir que cumple las siguientes propiedades: a) P0 = I, en donde I es la matriz identidad. b) Pt es una matriz estocstica. a c) Pt+s = Pt Ps , para cualesquiera t, s 0. La ecuacin de Chapman-Kolmogorov es interesante pues permite expresar a la o probabilidad pij (t), para cualquier tiempo t > 0, en trminos de probabilidades e
130
innitesimales, es decir, probabilidades de transicin en intervalos de tiempo de o longitud muy pequea. Por ejemplo, para cualquier n natural, tomando t = t/n, n pij (t) =
k1 ,...,kn1
pi,k1 (t) pk1 ,k2 (t) pkn1 ,j (t).
Esto quiere decir que es suciente conocer el comportamiento de pij (t) en tiempos t pequeos para conocer su comportamiento para cualquier t > 0. Especicaremos n con detalle este resultado ms adelante. a Parmetros innitesimales. De la frmula (5.1) es inmediato observar que las a o probabilidades pij (t) son funciones continuas en t, y en particular el integrando en (5.1) es una funcin continua. Esto implica que la integral es diferenciable y por o lo tanto tambin pij (t). Derivando entonces (5.1) se obtiene el siguiente resultado e conocido como el sistema de ecuaciones hacia atrs de Kolmogorov. a Proposicin. Para cualquier t > 0, o p (t) = i pij (t) + i ij pik pkj (t).
k=i
(5.2)
Observe que en particular la derivada p (t) es una funcin continua del tiempo. o ij Tomando ahora el l mite cuando t 0, se tiene que p (0) = ij = = i ij + i i i pij pik kj
k=i
i ij + i pij
si i = j, si i = j.
Denicin. A las cantidades p (0) se les denota por gij , y se les conoce con el o ij nombre de parmetros innitesimales del proceso. Es decir, estos parmetros a a son i si i = j, gij = (5.3) i pij si i = j.
131
Variando los ndices i y j, estos nuevos parmetros se escriben en notacin matricial a o de la forma siguiente:
0 1 p10 2 p20 . . . 0 p01 1 2 p21 . . . 0 p02 1 p12 2 . . .
G=
(5.4)
Esta matriz determina de manera unica el comportamiento de la cadena de Markov a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de transicin en un paso para cadenas a tiempo discreto. Se trata de una matriz con o las siguientes propiedades: a) gii 0. b) gij 0, si i = j. c)
j
gij = 0.
Observe que gii = 0 cuando el estado i es absorbente, es decir, cuando i = 0. Cuando i > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0 pues gij = i + i pij = i + i (1 pii ) = 0.
j j=i
Proposicin. Los parmetros innitesimales determinan de manera unica a la o a cadena de Markov a tiempo continuo. Este resultado es consecuencia de (5.3) pues a partir de gij se obtiene i pij = = gii , 0 gij /gii si i = j, si i = j.
(5.5)
Probabilidades innitesimales. Un proceso de Markov a tiempo continuo puede ser tambin denido a partir del comportamiento de las probabilidades de trane sicin pij (t) cuando t 0. Tales probabilidades se llaman a veces probabilidades o
132
innitesimales, y pueden expresarse en trminos de los parmetros innitesimales e a como establece el siguiente resultado y del cual omitiremos su demostracin. o Proposicin. Cuando t 0, o 1. pii (t) = 1 + gii t + o(t). 2. pij (t) = gij t + o(t), para i = j.
Ecuaciones de Kolmogorov. En trminos de los parmetros innitesimales, la e a ecuacin (5.2) puede escribirse en la forma o p (t) = ij
k
gik pkj (t).
(5.6)
En trminos de matrices esta igualdad se escribe como P (t) = G P (t), es decir, e
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
0 = 1 p10 . . .
0 p01 1 . . .
p00 (t) p10 (t) . . .
p01 (t) p11 (t) . . .
Como hemos mencionado antes, este sistema de ecuaciones se conoce como las ecuaciones hacia atrs de Kolmogorov. a Comunicacin. Se dice que el estado j es accesible desde el estado i si pij (t) > 0 o para algn t 0, y se escribe i j. Se dice que los estados i y j se comunican u si i j y j i, y en tal caso se escribe i j. Nuevamente puede demostrarse que la comunicacin es una relacin de equivalencia, y eso lleva a una particin del o o o espacio de estados en clases de comunicacin. Se dice que la cadena es irreducible o cuando todos los estados pertenecen a la misma clase de comunicacin. o Tiempos de primera visita. Para cualesquiera estados i y j, se dene Tij = nf {t > W1 : Xt = j}, cuando X0 = i.
El tiempo medio de primera visita es entonces ij = E(Tij ). Cuando los estados i y j coinciden se escribe Ti , y i = E(Ti ) respectivamente. A i se le llama tiempo medio de recurrencia.
133
Recurrencia y transitoriedad. Se dice que el estado i es transitorio si, partiendo de i, con probabilidad uno el conjunto de tiempos {t 0 : Xt = i} es acotado. En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el conjunto {t 0 : Xt = i} es no acotado. Cuando E(Ti ) = se dice que el estado i es recurrente nulo, y cuando E(Ti ) < se dice que es recurrente positivo. Distribuciones estacionarias. Una distribucin de probabilidad = {0 , 1 , . . .} o sobre el espacio de estados {0, 1, . . .} es estacionaria para la cadena con matriz de probabilidades de transicin Pt si para cualquier t 0, o i i pij (t) = j . En notacin matricial, Pt = . Si X0 tiene como distribucin inicial una distribucin o o o estacionaria , entonces P (Xt = j) = i i pij (t) = j , es decir, la variable Xt tiene la misma distribucin de probabilidad para cualquier valor de t. o
5.3.
Procesos de nacimiento y muerte
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas instantneas de nacimiento y muerte, respectivamente. De acuerdo a las ecuacioa nes (5.5), el tiempo de estancia en el estado i tiene distribucin exp(i +i ), en dono de se dene 0 = 0. Siguiendo la frmula general del generador innitesimal (5.4) o para un proceso de saltos, tenemos que la matriz de parmetros innitesimales de a este proceso es de la siguiente forma
0
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo con espacio de estados {0, 1, . . .} tal que en cada salto la cadena unicamente puede brincar una unidad hacia arriba o una unidad hacia abajo. Un salto hacia arriba se interpreta como un nacimiento, mientras que un salto hacia abajo representa una muerte. Estas probabilidades de saltos de un estado a otro son i + si j = i + 1, i i i pij = + si j = i 1, i i 0 otro caso,
1 G= 0
. . .
0 (1 + 1 ) 2 . . .
0 1 (2 + 2 ) . . .
0 0 2
134
5.3. Procesos de nacimiento y muerte
Una posible trayectoria de este proceso se muestra en la Figura 5.3 con X0 = 0, los saltos son unitarios, hacia arriba o hacia abajo. La variable Xt puede interpretarse como el nmero de individuos en una poblau cin al tiempo t, en donde pueden o presentarse nacimientos y muertes de individuos. Como 0 > 0 y 0 = 0, la poblacin puede crecer cuando se eno cuentre en el estado cero, pero nunca decrecer por abajo de ese nivel.
Xt ()
3 2 1
t
Figura 5.3:
Se pueden tomar las siguientes probabilidades innitesimales como postulados para denir a este proceso. Para cualquier t 0, y cuando h 0, a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). b) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). c) P (Xt+h Xt = 0 | Xt = k) = 1 (k + k ) h + o(h). Para cualquier t 0 y h > 0 pequeo consideremos el intervalo [0, t + h] visto n como [0, h] + (h, t + h]. Haciendo un anlisis sobre estos intervalos puede encona trarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones diferenciales hacia atrs de Kolmogorov: a p (t) 0j p (t) ij = = 0 p0j (t) + 0 p1j (t), i pi1,j (t) (i + i ) pij (t) + i pi+1,j (t).
De manera anloga, considerando [0, t + h] = [0, t] + (t, t + h], es posible comprobar a que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov: p (t) = i0 p (t) = ij 0 pi0 (t) + 1 pi1 (t), j1 pi,j1 (t) (j + j ) pij (t) + j+1 pi,j+1 (t).
Ejemplo. Un proceso de Poisson es una cadena de nacimiento y muerte en donde las tasas instantneas de muerte 0 , 1 , . . . son cero, y las tasas instantneas a a de nacimiento 0 , 1 , . . . son todas ellas iguales a una constante > 0. La matriz de parmetros innitesimales es entonces de la forma a
135
0 G= 0 . . .
0 . . .
0 . . .
0 0
Ejemplo. Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son p (t) = 0 p (t) n = p0 (t).
pn1 (t) pn (t),
para n 1,
en donde pn (t) = p0n (t). Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribucin Poisson(t). Usando la condicin inicial p0 (0) = 1, la o o primera ecuacin tiene solucin p0 (t) = et . Deniendo qn (t) = et pn (t), la seo o gunda ecuacin se transforma en qn (t) = qn1 (t), con condiciones qn (0) = 0n o y q0 (t) = 1. Esta nueva ecuacin se resuelve iterativamente, primero para q1 (t), o despus para q2 (t), y as sucesivamente. En general, qn (t) = (t)n /n! para n 0. e De aqu se obtiene pn (t) = et (t)n /n! Ejemplo. Esta es otra derivacin mas de la distribucin Poisson en el proceso o o de Poisson, ahora usando las ecuaciones hacia adelante de Kolmogorov y la funcin generadora de probabilidad. La variable aleatoria Xt puede tomar los valores o 0, 1, . . . de modo que su funcin generadora de probabilidad es o GXt (u) = E(uXt ) =
n=0
pn (t) un ,
para valores reales de u tales que |u| < 1, y en donde pn (t) = P (Xt = n). Consideraremos a esta funcin tambin como funcin del tiempo t y por comodidad o e o en los siguientes clculos la llamaremos G(t, u). Derivando respecto de t, para el a mismo radio de convergencia |u| < 1, y usando las ecuaciones hacia adelante de
136
5.3. Procesos de nacimiento y muerte
Kolmogorov para el proceso de Poisson se tiene que G (t, u) = = = =

n=0
p (t) un n (pn1 (t) pn (t))un
n=0
uG(t, u) G(t, u) (u 1)G(u),
de donde se obtiene la ecuacin diferencial G /G = (u 1). Integrando de 0 a t y o usando la condicin G(0, u) = 1 se llega a o G(t, u) = G(0, u) e(u1)t = et etu =
n=0
et
(t)n n u . n!
Esta es la funcin generadora de probabilidad de la distribucin Poisson(t). Por la o o propiedad de unicidad se obtiene que la variable Xt tiene distribucin Poisson(t). o
137
5.4.
Proceso de nacimiento puro

0 0 0 0 Cuando en un proceso de na 0 1 1 0 cimiento y muerte los parmea G= 0 0 2 2 tros 0 , 1 , . . . son todos ce. . . . . . ro, se obtiene un proceso de . . . nacimiento puro. La matriz de parmetros innitesimales a Xt () tiene la forma que se muestra en la Figura 5.4, en don3 de, como antes, los parmea 2 tros 0 , 1 , . . . se conocen como las tasas instantneas de a 1 nacimiento. En la Figura 5.4 se muestra una trayectoria de t este proceso cuando inicia en exp(0 ) exp(1 ) exp(2 ) exp(3 ) el estado cero. Por construccin, el tiempo de estancia en o Figura 5.4: el estado i tiene distribucin o exponencial con parmetro i . a Las probabilidades de saltos son evidentemente pij = 1 cuando j = i + 1, y cero en caso contrario. Puede demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios.
Un proceso de nacimiento puro puede tambin denirse mediante las siguientes e probabilidades innitesimales: Cuando h 0, a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h). b) P (Xt+h Xt = 0 | Xt = k) = 1 k h + o(h). En general no es fcil encontrar una frmula para las probabilidades de transicin a o o pij (t), sin embargo cuando el estado inicial es el cero se conoce la siguiente frmula o recursiva.
138
5.4. Proceso de nacimiento puro
Proposicin. Para cualquier t 0 y cualquier entero n 1, o

t
p0n (t) = n1 en t
0
en s p0,n1 (s) ds.
(5.7)
Demostracin. El sistema de ecuaciones diferenciales hacia adelante de Kolmogoo rov para este proceso es p (t) = j1 pi,j1 (t) j pij (t). ij En particular, partiendo de cero, p00 (t) = p0n (t) =

0 p00 (t),
n1 p0,n1 (t) n p0n (t),
n 1,
con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0, para n 1. La primera ecuacin tiene solucin p00 (t) = e0 t , mientras que para el caso n 1, multiplicano o do por el factor integrante en t y resolviendo se obtiene la frmula enunciada. o De manera anloga puede denirse un proceso de muerte como un proceso de a nacimiento y muerte en donde los parmetros de nacimiento 0 , 1 , . . . son todos a cero. El proceso puede iniciar con una poblacin de tamao k 1, y presentar o n fallecimientos sucesivos hasta una posible extincin completa de la poblacin. o o El proceso de Yule. Este es un tipo particular de proceso de nacimiento puro, y para el cual es posible encontrar expl citamente las probabilidades de transicin. o Este proceso puede denirse a travs de los siguientes postulados: e a. El estado inicial es X0 = k 1. b. Si Xt = n, entonces cada uno de estos elementos puede dar nacimiento a un nuevo elemento durante un periodo de longitud innitesimal h > 0 con probabilidad h + o(h), en donde > 0, es decir, P (Xt+h Xt = 1 | Xt = n) = = n [ h + o(h)] [1 h + o(h)]n1 1 nh + o(h).
139
Es decir, las tasas instantneas de nacimiento son n = n, que crecen de manera a lineal conforme la poblacin crece. El tiempo de estancia en el estado n tiene o distribucin exp(n), en consecuencia el tiempo medio de estancia en ese estado es o 1/(n), cada vez menor conforme n crece. El sistema de ecuaciones hacia adelante para pkn (t), con n k, se reduce a p (t) = kk p (t) kn = k pkk (t), (n 1) pk,n1 (t) n pkn (t),
t
n k + 1.
La frmula recursiva (5.7) es, para n k + 1, o pkn (t) = (n 1) ent ens pk,n1 (s) ds.
0
(5.8)
Demostraremos a continuacin que el incremento Xt X0 tiene distribucin binoo o mial negativa de parmetros (r, p), con r = k y p = et . a n 1 kt e (1 et )nk , para n k. nk
Proposicin. o
pkn (t) =
Demostracin. Usaremos induccin sobre n. Para n = k se tiene la ecuacin dio o o ferencial p (t) = k pkk (t), con condicin inicial pkk (0) = 1. Esto produce la o kk solucin pkk (t) = ekt , que es de la forma enunciada. Para valores de n k + 1 o
140
usaremos la frmula recursiva (5.8), o pkn (t) = = = = = = = (n 1) ent

t 0
ens
n2 (n 1) ent n1k (n 1) (n 1)
n2 eks (1 es )n1k ds n1k

t 0 t 0 t 0
(es )(nk) (1 es )n1k ds (1 es )1 (es 1)nk ds es (es 1)n1k ds
t d s n2 1 (e 1)nk ds (n 1) ent (n k) ds n1k 0 n1 n2 ent (et 1)nk nk n1k n 1 kt e (1 et )nk . k1
n2 ent n1k
n2 ent n1k
Notas y referencias. Una exposicin ms completa del tema de cadenas de Maro a kov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [19], o Stirzaker [36].
141
Ejercicios
Ecuaciones de Kolmogorov 103. Sea {Nt } un proceso de Poisson de parmetro y sean Y1 , Y2 , . . . v.a.i.i.d. a con distribucin comn Bernoulli(p). Encuentre las ecuaciones de Kolmogorov o u hacia atrs y hacia adelante del proceso a
Nt
Xt =
j=1
Yj .
Resuelva cualquiera de estos sistemas de ecuaciones y demuestre que para j i, (pt)ji pij (t) = ept . (j i)! Procesos de nacimiento y muerte 104. Para la cadena de Markov a tiempo continuo de dos estados en donde la estancia en el estado 0 tiene distribucin exp(), y la estancia en el estado 1 o es exp(), demuestre que a) p00 (t) = b) p01 (t) = c) p10 (t) = d) p11 (t) =
1 + 1 + 1 + 1 +
( + e(+)t ). ( e(+)t ). ( e(+)t ). ( + e(+)t ).
105. Considere una cadena de Markov a tiempo continuo de dos estados en donde el tiempo de estancia en cada uno de ellos tiene distribucin exp(). Dena o Nt como el nmero de veces que la cadena de Markov ha efectuado saltos u hasta un tiempo t 0 cualquiera. Demuestre que {Nt } es un proceso de Poisson de parmetro . a
142
Procesos de nacimiento puro 106. Sea {Xt } un proceso de Yule con estado inicial X0 = k 1. Demuestre que a) E(Xt ) = k et . b) Var(Xt ) = k e2t (1 et ).
Cap tulo 6
Procesos de renovacin o y conabilidad
En este cap tulo se presenta otra generalizacin del proceso de Poisson. Se consio dera ahora que los tiempos de interarribo no son necesariamente exponenciales. A tales procesos de saltos unitarios se les conoce como procesos de renovacin, y en o general dejan de cumplir la propiedad de Markov. Adems de estudiar algunas proa piedades generales de los procesos de renovacin, estudiaremos tambin el concepto o e de conabilidad para sistemas conformados por varios componentes los cuales son susceptibles de sufrir fallas en tiempos aleatorios.
6.1.
Procesos de renovacin o
Suponga que se pone en operacin o T1 T2 T3 T4 un cierto componente o art culo cuya duracin de vida util se modela meo diante una variable aleatoria T1 . Una 0 vez que el componente falla, se reemFigura 6.1: plaza o renueva con otro componente cuyo tiempo de vida es T2 , y as su cesivamente. La coleccin de variables aleatorias T1 , T2 , . . . representa la sucesin o o de tiempos de vida de componentes puestos en operacin uno tras otro. Esto se o ilustra en la Figura 6.1. 143
144
6.1. Procesos de renovacion
En este contexto es natural suponer que las variables que modelan los tiempos de vida son no negativas, independientes y con la misma distribucin de probabio lidad. Un proceso de estas caracter sticas se conoce con el nombre de proceso de renovacin. Observe que exactamente en los tiempos en los que se efect an las renoo u vaciones, el proceso reinicia probabil sticamente. Empezaremos por dar un primera denicin formal de un proceso de renovacin basada en lo recin mencionado. o o e Denicin. Un proceso de renovacin es una sucesin innita de variables o o o aleatorias T1 , T2 , . . . que son no negativas, independientes e idnticamente dise tribuidas. Otra forma equivalente de denir a este proceso es a travs del registro de los e tiempos reales en los que se observan las renovaciones, o bien a travs del cone teo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista alternativos se denen a continuacin. o Denicin. Dado un proceso de renovacin {T1 , T2 , . . .}, se denen los tiempos o o reales de renovacin como W0 = 0 y Wn = T1 + + Tn , para n 1. El proceso o de conteo de renovaciones es Nt = mx {n 0 : Wn t}, a para cada t 0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la n-sima e renovacin, mientras que Nt indica el nmero de renovaciones realizadas hasta el o u tiempo t. En la literatura se le denomina proceso de renovacin a cualquiera de o los procesos {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .}, o {Nt : t 0}, pues por construccin existe una correspondencia biun o voca entre cualesquiera dos de estos tres procesos. Denotaremos por F (t) a la funcin de distribucin de los tiempos de vida. Por lo o o tanto, la funcin de distribucin de Wn es la convolucin de F (t) consigo misma o o o n veces, es decir, FWn (t) = P (T1 + + Tn t) = F n (t) = (F F )(t). En particular, cuando n = 0 se dene F 0 (t) = 0 1 si t < 0, si t 0.
Cap tulo 6. Procesos de renovacion y confiabilidad
145
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de renovacin es la de conocer la distribucin de la variable Nt . La respuesta no es o o fcil de encontrar pues la distribucin de esta variable depende de la distribucin a o o de los tiempos de vida como indica la siguiente frmula. o Proposicin. Para cualquier n 0, o P (Nt = n) = F n (t) F (n+1) (t).
Demostracin. Tomando en consideracin que las variables Wn y Tn+1 son indeo o pendientes, tenemos que P (Nt = n) = = = = = = = P (Wn t, Wn+1 > t) P (Wn t, Wn + Tn+1 > t) P (t Tn+1 < Wn t) FWn (t) FWn (t Tn+1 ) F n (t) F n (t)
0
FWn | Tn+1 (t u | u) dF (u) F n (t u) dF (u) (t).
F n (t) F
0 (n+1)
Por ejemplo, un proceso de Poisson homogneo de tasa es un proceso de renovae cin en donde los tiempos de vida tienen distribucin exp(). En consecuencia, los o o tiempos reales de renovacin Wn tienen distribucin gama(n, ), cuya funcin de o o o distribucin es, para t > 0, o
t
FWn (t) =
0
(x)n1 ex dx = (n)
k=n
et
(t)k . k!
La segunda igualdad puede obtenerse despus de aplicar integracin por partes e o varias veces. A partir de esta expresin puede recuperarse la distribucin Poisson o o
146
6.2. Funcion y ecuacion de renovacion
pues por la proposicin anterior, o P (Nt = n) = F n (t) F (n+1) (t) = et (t)n . n!
Observe la igualdad de eventos (Nt n) = (Wn t), la cual es vlida para t 0 y a para cada valor entero de n 0. Esta identidad nos ser de utilidad ms adelante. a a
6.2.
Funcin y ecuacin de renovacin o o o
Otra de las funciones que es natural desear conocer en un proceso de renovacin o es el nmero promedio de renovaciones efectuadas hasta un tiempo t cualquiera. u A tal funcin se le llama funcin de renovacin, y se le denota por (t), es decir, o o o (t) = E(Nt ). En general no es fcil encontrar una forma expl a cita para esta funcin. Sin embargo, se cuenta con la siguiente ecuacin integral general. o o Proposicin. La funcin de renovacin (t) satisface la ecuacin o o o o
t
(t) = F (t) +
0
(t s) dF (s).
(6.1)
Demostracin. Condicionando sobre el valor del primer tiempo de vida T1 se obo tiene (t) = 0 E(Nt | T1 = s) dF (s), en donde E(Nt | T1 = s) = Por lo tanto
t t
0 1 + (t s)
si s > t, si s t.
(t) =
0
(1 + (t s)) dF (s) = F (t) +
(t s) dF (s).
Observe que la ecuacin (6.1) puede escribirse como (t) = F (t) + ( F )(t). o Debido a que se condiciona sobre el valor del primer tiempo de renovacin, a la o
147
tcnica de la demostracin de este resultado se le llama a veces anlisis del primer e o a paso. Ejemplo. Para el proceso de Poisson, el promedio de renovaciones o saltos al tiempo t es (t) = t. Puede comprobarse directamente que esta funcin satisfao ce (6.1) con F (t) = 1 et . A una ecuacin integral del tipo (6.1) se le llama ecuacin de renovacin, pues o o o algunas funciones de inters en la teor de la renovacin la cumplen. La denicin e a o o general aparece a continuacin. o Denicin. Sean F (t), g(t) y h(t) funciones denidas para t 0. Suponga que o F (t) y h(t) son conocidas, y g(t) es desconocida. Se dice que g(t) satisface una ecuacin de renovacin si cumple la ecuacin integral o o o
t
g(t) = h(t) +
0
g(t s) dF (s).
(6.2)
Puede demostrarse que si h(t) es una funcin acotada, entonces existe una unica o solucin g(t) a la ecuacin de renovacin (6.2) que cumple con la condicin de ser o o o o acotada sobre intervalos nitos y est dada expl a citamente por
t
g(t) = h(t) +
0
h(t s) d(s),
(6.3)
en donde (s) es la funcin de renovacin. La demostracin de este resultado general o o o puede ser encontrado en el texto de Karlin y Taylor [19]. Acerca de la funcin de o renovacin tenemos la siguiente expresin general. o o
n=1
Proposicin. (t) = o
F n (t), para cualquier t > 0.
148
Demostracin. o (t) =
n=0
6.3. Tiempos de vida
n P (Nt = n)
= [ F 1 (t) F 2 (t) ] + 2 [ F 2 (t) F 3 (t) ] + = F 1 (t) + F 2 (t) + =
= P (Nt = 1) + 2 P (Nt = 2) +
F n (t).
n=1
Por ejemplo, cuando los tiempos de interarribo tienen distribucin exp() se tiene o que t (x)n1 (t)k F n (t) = et ex dx = . (n) k! 0
k=n
Usando esta expresin y la frmula recin demostrada puede corroborarse que en o o e este caso (t) = t. Es posible demostrar que para un proceso de renovacin la variable Nt tiene moo mentos nitos de cualquier orden, y entonces en particular la suma anterior es siempre convergente. Se puede tambin demostrar que existe una correspondencia e biun voca entre las funciones (t) y F (t), y adems el proceso de renovacin {Nt } a o queda completamente especicado por la funcin promedio (t). La demostracin o o de estos resultados pueden consultarse en [1].
6.3.
Tiempos de vida
Junto a todo proceso de renovacin y para cada tiempo jo, pueden considerarse o tres variables aleatorias no negativas, t , t y t , cuyo signicado geomtrico se e muestra en la Figura 6.2, y que deniremos con mayor precisin a continuacin. o o Tiempo de vida restante. Este es el tiempo de vida util que le resta al elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = WNt +1 t.
149
Nt + 1 Nt Nt 1
WNt
WNt +1
Figura 6.2:
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de renovacin demostraremos que para cada x > 0 la funcin t g(t) = P (t > x) o o satisface una ecuacin de renovacin. o o Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin o o o o
t
g(t) = 1 F (t + x) +
g(t s) dF (s).
Demostracin. Se condiciona sobre el valor de T1 . Se tienen los tres posibles casos o que se muestran en la Figura 6.3.
T1 0 t T1 t+x T1
Figura 6.3: Puesto que un proceso de renovacin puede considerarse que inicia nuevamente a o
150
partir del momento en que se observa una renovacin, se tiene que o si s > t + x, 1 0 si t < s t + x, P (t > x | T1 = s) = P (ts > x) si 0 < s t. Por lo tanto g(t) =
0 t+x
P (t > x | T1 = s) dF (s)
t
dF (s) +
0
P (ts > x) dF (s)

t
= 1 F (t + x) +
g(t s) dF (s).
En particular, cuando los tiempos de vida son exponenciales de parmetro , la a unica solucin de esta ecuacin es la funcin constante g(t) = ex , que equivale a o o o decir que la variable t tiene distribucin exp(). Esta es nuevamente la propiedad o de prdida de memoria de la distribucin exponencial. e o Tiempo de vida transcurrido. Este es el tiempo que ha estado en uso el elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = t WNt . Vase nuevamente la Figura 6.2. Es claro que esta variable est acotada superiore a mente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese momento un tiempo de uso mayor a t. Sea nuevamente x > 0 y dena la funcin o t g(t) = P (t > x). Por las consideraciones anteriores, tenemos que g(t) = 0 para t (0, x]. Usando un argumento de renovacin demostraremos que la funcin o o g(t) satisface una ecuacin de renovacin. o o Proposicin. Para t (x, ), la funcin g(t) = P (t > x) satisface la ecuacin o o o de renovacin o
tx
g(t) = 1 F (t) +
g(t s) dF (s).
151
Demostracin. Nuevamente se condiciona sobre el valor de T1 . Los tres posibles o casos se muestran en la Figura 6.4.
T1 0 tx T1 t T1
Figura 6.4: Por lo tanto, 1 0 P (t > x | T1 = s) = P (ts > x) g(t) =

0
si s t, si 0 < t x s < t, si 0 < s < t x.
Entonces
P (t > x | T1 = s) dF (s)
tx
=
t
dF (s) +
0 tx 0
P (ts > x) dF (s) g(t s) dF (s). si 0 < t x,
= En resumen, g(t) = 0
1 F (t) +
tx 0
1 F (t) +
g(t s) dF (s)
si t > x.
Considerando otra vez el caso de tiempos de vida exponencial de parmetro , a puede demostrarse que el tiempo de vida transcurrido tiene funcin de distribucin o o P (t x) = 1 ex 1 si 0 < x < t, si x t.
Tiempo de vida total. Este es el tiempo completo de vida util que tiene el elemento que se encuentra en operacin al tiempo t, y est dado por la variable o a t = t + t = WNt +1 WNt = TNt +1 .
152
Nuevamente, para x > 0 se dene la funcin t g(t) = P (t > x). Demostrareo mos que esta funcin satisface una ecuacin de renovacin, en la cual aparecer el o o o a trmino x y, que signica mx{x, y}. e a Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin o o o o
t
g(t) = 1 F (t x) +
g(t s) dF (s),
Demostracin. Nuevamente condicionaremos sobre un posible valor de T1 . Los poo sibles casos se muestran en la Figura 6.5.
T1 0 t T1 t+x T1
Figura 6.5: El caso s (t, t + x) se debe subdividir en dos casos: s x s > x. De este modo o se obtienen los siguientes resultados 0 1 P (t > x | T1 = s) = 1 P (ts > x)
si si si si
t < s < t + x, y s x, t < s < t + x, y s > x, s t + x, 0 < s t.
El segundo y tercer rengln se conjuntan en las condiciones t x < s < t + x o s t + x, lo cual se reduce a la condicin t x < s < . Por lo tanto, o o g(t) =
0
P (t > x | T1 = s) dF (s)
t
tx
dF (s) +
0
P (ts > x) dF (s)

t
= 1 F (t x) +
g(t s) dF (s).
153
En el caso de tiempos de interarribo exponenciales de parmetro , puede demosa trarse que el tiempo de vida total tiene funcin de distribucin o o P (t x) = 1 (1 + (t x)) ex 0 si x > 0, otro caso.
6.4.
Teoremas de renovacin o
En esta seccin se estudian algunos resultados sobre el comportamiento l o mite de un proceso de renovacin. Primeramente se demuestra que todo proceso de renovacin o o de conteo crece a innito con probabilidad uno cuando el tiempo crece a innito. Proposicin. Para todo proceso de renovacin, l Nt = c.s. o o m
t
Demostracin. Recordemos la igualdad de eventos (Nt n) = (Wn t). Entonces o para cualquier n natural, 1 = = = =
t
l FWn (t) m
l P (Wn t) m l P (Nt n) m
t
P ( l Nt n). m
Para la ultima igualdad se ha utilizado el hecho de que la funcin t Nt es o montona no decreciente. Como el resultado demostrado vale para cualquier valor o de n natural, se tiene que P ( l Nt = ) = 1. m
t
Por lo tanto, cuando t tiende a innito el nmero de renovaciones Nt tambin crece u e a innito. Por otro lado, el tiempo que le toma al proceso llegar al valor Nt es e WNt y tambin crece a innito. El siguiente resultado establece que a largo plazo habr una renovacin cada = E(T ) unidades de tiempo. a o
154
6.4. Teoremas de renovacion
Proposicin. Para un proceso de renovacin Nt en donde E(T ) = , con o o 0 < < , se cumple WNt = , c.s. l m t Nt
Demostracin. Para valores enteros de n, por la ley fuerte de los grandes n meros, o u Wn /n casi seguramente cuando n . Ahora observe la contencin de o eventos Wn WNt ( ). ) (Nt ) ( n Nt Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la interseccin tambin, y ello implica que el lado derecho tambin tiene probabilidad o e e uno. El siguiente resultado establece la forma en la que Nt crece a innito. Observe que el cociente Nt /t es una variable aleatoria que cuenta el nmero de renovaciones por u unidad de tiempo efectuadas hasta el tiempo t. Demostraremos a continuacin que o cuando t la aleatoriedad desaparece y el cociente se vuelve constante. Teorema elemental de renovacin (J. L. Doob, 1948). Para un proceso o de renovacin en donde E(T ) = , con 0 < < , se cumple o
t
l m
1 Nt = , c.s. t
Demostracin. Para cualquier t > 0 se cumple WNt t < WNt +1 . Por lo tanto o WNt t WNt +1 Nt + 1 < . Nt Nt Nt + 1 Nt Cuando t tiende a innito ambos extremos de estas desigualdades convergen a c.s. Por lo tanto Nt /t 1/ c.s. Ahora veremos que la esperanza de Nt /t tiene el mismo comportamiento.
155
Teorema elemental de renovacin (W. Feller, 1941). Considere un proo ceso de renovacin en donde E(T ) = , con 0 < < . Entonces o
t
l m
1 (t) = . t
Demostracin. Por la identidad de Wald, o E(WNt +1 ) = E(Nt + 1) E(T ) = ((t) + 1). Despejando (t), dividiendo entre t y arreglando trminos adecuadamente se obe tiene 1 1 1 (t) = E(WNt +1 t) + . t t t Como WNt +1 > t, se tiene que E(WNt +1 t) 0. Por lo tanto l inf m
t
1 (t) . t
Ahora estimaremos el l mite superior del mismo cociente. Como WNt +1 t WNt +1 WNt = TNt +1 , se tiene que E(WNt +1 t) E(TNt +1 ) y por lo tanto (t) 1 1 + E(TNt +1 ). t t Consideremos primero el caso particular cuando las variables T son uniformemente acotadas, es decir, supongamos que existe un entero k > 0 tal que para cada n 1, P (Tn k) = 1. Entonces E(TNt +1 ) k y por lo tanto l sup m
t
(t) 1 . t
Esto concluye la demostracin en el caso particular mencionado. Ahora considereo mos que las variables T no son necesariamente acotadas de la forma anterior. En este caso se denen los tiempos recortados
k Tn =
Tn k
si Tn k, si Tn > k.
156
6.4. Teoremas de renovacion
k Observe que Tn Tn cuando k . A partir de estos tiempos se considera un nuevo proceso de renovacin Ntk con funcin de renovacin k . Se cumple que o o o t (t) k y por lo tanto t 1 (t) . l sup m t E(T k ) t
Ahora se hace k tender a innito. Por el teorema de convergencia montona, o E(T k ) E(T ), y ello prueba la desigualdad faltante. El cociente (t)/t es el nmero de renovaciones promedio por unidad de tiempo. u El resultado recin demostrado establece que a largo plazo habr en promedio e a 1/E(T ) renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson, E(T ) = 1/ y (t) = t. Por lo tanto (t)/t = . Los siguientes dos resultados se enuncian sin demostracin. o Teorema de renovacin. (D. Blackwell, 1948). Si F (t) es no aritmtica, o e entonces para cualquier h > 0,
t
l (t + h) (t) = m
h .
Si F (t) es aritmtica con base d, entonces para cualquier natural n, e l (t + nd) (t) = m nd .
Por ejemplo, para el proceso de Poisson se tiene que (t+h)(t) = (t+h)t = h = h/(1/) = h/E(T ).
157
Teorema clave de renovacin. (W. L. Smith, 1953). Sea A(t) la solucin o o a la ecuacin de renovacin o o
t
A(t) = H(t) +
0
A(t s) dF (s),
en donde H : [0, ) R es una funcin directamente Riemann integrable. Si o F (t) es no aritmtica, e l A(t) = m 1
0
H(t) dt.
Si F (t) es aritmtica con base d, entonces e l A(t + nd) = m d

k=0
H(t + kd).
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que cualquiera de ellos implica el teorema elemental de Feller.
6.5.
Conabilidad
Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla de un cierto componente que se encuentra en operacin al tiempo cero. Nuevamente o denotaremos por F (t) y f (t) a la funcin de distribucin y de densidad de esta o o variable aleatoria. En la teor de la conabilidad interesa conocer la probabilidad a de que el componente funcione correctamente por lo menos hasta un tiempo t cualquiera, o la probabilidad de que deje de funcionar en el siguiente instante de tiempo, dado que el componente ha funcionado bien hasta un cierto momento. Es por ello que se denen las siguientes dos funciones. Denicin. La funcin de conabilidad se dene como R(t) = P (T > t), o o mientras que la funcin de tasa de falla es r(t) = f (t)/(1 F (t)). o
158
6.5. Confiabilidad
A la funcin de conabilidad se le llama tambin funcin de supervivencia, y a la o e o funcin de tasa de falla se le conoce tambin como funcin hazard, y se le llama o e o as pues un componente que ha sobrevivido al tiempo t, fallar en el intervalo a (t, t + t] con probabilidad condicional r(t) t + o(t), en efecto, P (t < T t + t | T > t) P (t < T t + t) P (t > t) f (t) t + o(t) = 1 F (t) = r(t) t + o(t). =
Despus de algunos clculos sencillos es inmediato comprobar que estas dos fune a ciones estn relacionadas de la siguiente forma. a r(t) = f (t) d = ln R(t). R(t) dt
t
R(t) =
exp (
0
r(s) ds).
Adems, el tiempo promedio de falla E(T ) puede escribirse en trminos de la a e funcin R(t) como o E(T ) =
0
R(t) dt.
Ejemplo. Suponga que el tiempo de falla T de un componente tiene una distribucin exponencial de parmetro . La funcin de conabilidad es R(t) = et , o a o y la funcin de tasa de falla es constante r(t) = . El hecho de que la funcin de o o tasa de falla sea constante signica que la probabilidad de falla en un intervalo de tiempo pequeo t, dado que el componente se encuentra operando al tiempo t, es n aproximadamente t, independiente del valor de t. Esta es otra manifestacin de o la propiedad de prdida de memoria de la distribucin exponencial, y es la unica e o distribucin continua con tasa de falla constante. Por otro lado, el tiempo medio o de falla es E(T ) = 1/. Ejercicio. Demuestre que la funcin R(t) es decreciente, es decir, si t1 t2 , o entonces R(t1 ) R(t2 ). Puede decirse algo sobre la monoton de r(t)? a
Cap tulo 6. Procesos de renovacion y confiabilidad Conabilidad para sistemas en serie.
159
Considere un sistema de n componentes puestos en serie como se muestra C1 C2 Cn en la Figura 6.6. Supondremos que cada uno de estos componentes funciona de manera independiente uno del otro. Figura 6.6: Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los componentes se encuentra en buen estado. Nos interesa encontrar las funciones de conabilidad y de tasa de falla de este tipo de sistemas. Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla ms a pequeo de cada uno de los componentes, es decir, T = m n n{T1 , . . . , Tn }. Esquemas f sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la distribucin de probabilidad del m o nimo de n variables aleatorias independientes. Ejercicio. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del sistema en serie de la Figura 6.6 son idnticamente distribuidos con funcin de e o distribucin F (t), y funcin de densidad f (t). Demuestre que el tiempo de falla T o o del sistema tiene funcin de distribucin y densidad dada por las siguientes expreo o siones: a) FT (t) = 1 (1 F (t))n . b) fT (t) = n(1 F (t))n1 f (t). Calcularemos a continuacin las funciones de conabilidad y de tasa de falla pao ra sistemas en serie. Denotaremos por R1 (t), . . . , Rn (t) las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla sern a r1 (t), . . . , rn (t). Proposicin. Las funciones de conabilidad y de tasa de falla del sistema en o serie de la Figura 6.6 son 1. R(t) = R1 (t) Rn (t). 2. r(t) = r1 (t) + + rn (t).
160
Demostracin. o
d d 2. r(t) = dt ln R(t) = dt
6.5. Confiabilidad
1. R(t) = P (T1 > t, . . . , Tn > t) = P (T1 > t) P (Tn > t) = R1 (t) Rn (t).
n k=1
ln Rk (t) =
n k=1 rk (t).
Ejemplo. La funcin de conabilidad y la funcin de tasa de falla de un sistema o o de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro son, respectivamente, R(t) = ent , y r(t) = nt. a La distribucin del tiempo de falla T es exponencial de parmetro n. El tiempo o a medio de falla es E(T ) = 1/(n), naturalmente decreciente conforme mayor es el nmero de componentes en el sistema, es decir, mientras mas componentes haya u en el sistema en serie, menor es el tiempo de vida operacional del sistema en su conjunto pues una falla de cualesquiera de los componentes provoca que el sistema completo deje de funcionar. Ejercicio. En el contexto de sistemas de n componentes en serie, demuestre que la funcin de conabilidad R(t) = R1 (t) Rn (t) es una funcin decreciente de n, o o y en consecuencia el tiempo medio de falla tambin es una funcin decreciente de n. e o
Conabilidad para sistemas en paralelo. Considere ahora sistemas de n componentes puestos en paralelo como se muestra en la Figura 6.7, en donde cada uno de estos componentes funciona de manera independiente uno del otro. Tales tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes se encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea mantener un nivel alto de conabilidad de funcionamiento, como por ejemplo los sistemas de vuelo de los aviones, o los sistemas de manejo de reactores nucleares.
C1 C2
Cn
Figura 6.7:
El tiempo de falla T de un sistema de este tipo es el tiempo de falla ms grande a de los componentes, es decir, T = mx {T1 , . . . , Tn }, y que el evento (T t) es a equivalente a que todos los componentes fallen antes del tiempo t.
161
Proposicin. La funcin de conabilidad del sistema en paralelo de la Figuo o ra 6.7 es R(t) = 1 (1 R1 (t)) (1 Rn (t)). Demostracin. Primeramente se tiene que o F (t) = P (T t) = P (T1 t, . . . , Tn t) = F1 (t) Fn (t). Por lo tanto R(t) = 1 F (t) = 1 F1 (t) Fn (t) = 1 (1 R1 (t)) (1 Rn (t)).
Ejercicio. Demuestre que la funcin de conabilidad R(t) para sistemas en o paralelo recin encontrada es una funcin creciente de n. Es decir, mientras mas e o componentes haya en el sistema ms seguro es ste. En consecuencia, demuestre a e que el tiempo medio de falla es una funcin creciente de n. o Ejercicio. Demuestre que las funciones de distribucin y de densidad del tiempo o de falla T del sistema en paralelo de la Figura 6.7 son a) FT (t) = F n (t). b) fT (t) = n F n1 (t) f (t). Puede calcularse la funcin de tasa de falla del sistema r(t) en trminos de las o e funciones r1 (t), . . . , rn (t) pero la expresin no resulta ser simple. o Ejemplo. Para un sistema de n componentes puestos en paralelo en donde cada uno de ellos tiene un tiempo de falla exponencial de parmetro se tiene que a t n R(t) = 1 (1 e ) .
r(t) = n(1 et )n1 et /(1 (1 et )n ).
Conabilidad para sistemas mezcla serie/paralelo. Pueden tambin considee rarse sistemas que son una combinacin de sistemas en serie y en paralelo como el o que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden
162
6.5. Confiabilidad
ser representados de manera equivalente como se muestra en la parte derecha de la misma gura. Ejercicio. Demuestre que la funcin de conabilidad del sistema de la Figura 6.8 o es R(t) = R1 (t)(1 (1 R2 (t))(1 R3 (t)).
C2 C1 C3
C1
C2
C1
C3
Figura 6.8: Ejercicio. Encuentre la funcin de conabilidad para cada uno de los sistemas o de componentes que aparecen en la Figura 6.9.
C1
C2
C1
C3
C3
C2
C4
Figura 6.9:
Notas y referencias
En los textos de Karlin y Taylor [19], Basu [1], y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovacin. o
163
Ejercicios
Procesos de renovacin o 107. Diga falso o verdadero para cada una de las siguientes igualdades de eventos. Explique en cada caso. a) (Nt > n) = (Wn < t) c) (Nt = n) = (Wn t) b) (Nt n) = (Wn < t)
d ) (Nt n) = (Wn t) e) (Nt < n) = (Wn t) 108. Demuestre que F n (t) F m (t), para n m. 109. Respecto de la denicin de proceso de renovacin, demuestre que los procesos o o {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .} y {Nt : t 0} pueden escribirse cada uno en trminos de cualquier otro. e 110. Es la suma de dos procesos de renovacin independientes nuevamente un o proceso de renovacin? Los siguientes ejercicios dan respuesta a esta pregunta. o a) Demuestre que si la suma de dos procesos de renovacin independieno tes resulta ser un proceso de Poisson, entonces ambos sumandos son procesos de Poisson. b) Demuestre que si la suma de dos procesos de renovacin independientes o y con la misma funcin de distribucin de interarribo es un proceso de o o renovacin, entonces la suma y cada uno de los sumandos es un proceso o de Poisson. c) Mediante un contraejemplo demuestre que, en general, la suma de dos procesos de renovacin independientes y con la misma funcin de distrio o bucin de interarribo no es necesariamente un proceso de renovacin. o o 111. Sea {Nt } un proceso de renovacin. Demuestre que para cada k 1, o E(Ntk ) =
n=0
[(n + 1)k nk ] F (n+1) (t).
164
6.5. Confiabilidad
112. Sea {Nt } un proceso de renovacin con funcin de renovacin (t) = E(Nt ). o o o Demuestre que para cualquier t 0, 0 (t) 1 . 1 F (t)
113. Sea {Nt } un proceso de renovacin. Demuestre que la funcin A(t) = E(WNt +1 ) o o satisface la ecuacin de renovacin o o
t
A(t) = E(T ) +
0
A(t s) dF (s).
114. Demuestre que el tiempo de vida restante t y el tiempo de vida transcurrido t , para un proceso de renovacin, tienen distribucin conjunta dada por la o o siguiente expresin: Para 0 < y < t, o
t
P (t > x, t y) =
ty
(1 F (t + x u)) d(u).
115. Considere el proceso de Poisson visto como un proceso de renovacin, es o decir, los tiempos de vida tienen distribucin exponencial con parmetro . o a Demuestre que la funcin de renovacin (t) = t satisface la ecuacin de o o o renovacin o
t
(t) = 1 et +
(t s)es ds.
116. Sea {Nt } un proceso de Poisson de parmetro > 0. Demuestre que el tiempo a de vida total t tiene funcin de distribucin la que aparece abajo. Demuestre o o 1 adems que E(t ) = (2 et ). a P (t x) = 0 1 (1 + (t x)) ex si x > 0, otro caso.
117. Sea {Nt } el proceso de conteo de un proceso de renovacin. Dena (t) = o E(Nt ), y 2 (t) = E(Nt2 ). Demuestre que a) 2 (t) =
n=1
(2n 1)F n (t).

t 0
b) 2 (t) = (t) + 2
(t s) d(s).
Cap tulo 6. Procesos de renovacion y confiabilidad Encuentre adems 2 (t) cuando {Nt } es un proceso de Poisson. a
165
118. Encuentre la distribucin de probabilidad del tiempo de vida restante, del o tiempo de vida transcurrido y del tiempo de vida total para un proceso de Poisson. Encuentre adems la esperanza de estas variables aleatorias. a 119. Sea {Nt } un proceso de renovacin. Demuestre directamente que para cada o n jo, l P (Nt = n) = 0. m
t
Conabilidad 120. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en serie como en la Figura 6.6. Suponga que las correspondientes funciones de distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respectivao mente. Demuestre que las funciones de distribucin y de densidad del tiempo o de falla del sistema dado por T = m {T1 , . . . , Tn } son n a) F (t) = 1 (1 F1 (t)) (1 Fn (t)).
n
b) f (t) =
k=1
fk (t) (1 F1 (t) 1(k=1) ) (1 Fn (t) 1(k=n) ).
121. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones de distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respeco tivamente. Demuestre que las funciones de distribucin y de densidad del o tiempo de falla del sistema dado por T = mx {T1 , . . . , Tn } son a a) F (t) = F1 (t) Fn (t).
n
b) f (t) =
k=1
fk (t) (1 (1 F1 (t)) 1(k=1) ) (1 (1 Fn (t)) 1(k=n) ).
Cap tulo 7
Martingalas
Existen varias acepciones para el trmino martingala. Una de ellas hace referencia a e un tipo de proceso estocstico que bsicamente cumple la identidad E(Xn+1 | X0 = a a x0 , . . . , Xn = xn ) = xn . Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evolucin del capital de un jugador que realiza o una sucesin de apuestas justas. Parte de la motivacin para el estudio de este tipo o o de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en este juego de apuestas. El concepto de martingala fue incorporado a la teor de a la probabilidad por Paul L`vy, y buena parte de su desarrollo inicial fue realizado e por Joseph Doob. En este cap tulo se presenta una introduccin a la teor de martingalas a tiempo o a discreto, aunque tambin se mencionan algunas deniciones generales a tiempo e continuo.
7.1.
Filtraciones
Sea (, F , P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. La -lgebra F es la estructura que agrupa a los eventos del experimento a aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se consideran dos sub -lgebras F1 y F2 tales que F1 F2 . Entonces F2 contiene a ms informacin que F1 en el sentido de que, en general, un mayor n mero de a o u conjuntos son considerados como eventos. Ms generalmente, puede considerarse a
167
168
7.1. Filtraciones
una sucesin no decreciente de sub -lgebras F1 F2 Este tipo de estruco a turas surgen de manera natural, por ejemplo, para un proceso estocstico a tiempo a discreto {Xn }, pues puede construirse la sucesin {Fn } de la siguiente forma o Fn = {X1 , . . . , Xn }, en donde efectivamente se cumple que F1 F2 En este caso la -lgebra a Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no ocurrencia, slo con la informacin del proceso disponible hasta el tiempo n. o o Ejemplo. Si las variables {Xn } representan los resultados de lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros resultados es mayor a 3, entonces es claro que A F1 , sin embargo A F2 . Por / supuesto, si sucede por ejemplo que X1 = 4, entonces sabemos que el evento A ocurre, pero sin esta informacin adicional la ocurrencia o no ocurrencia del evento o A no puede determinarse sino hasta el segundo lanzamiento del dado. Estas consideraciones sobre sucesiones no decrecientes de -lgebras llevan a la a denicin de ltracin. o o Denicin. Una ltracin es una coleccin de -lgebras {Fn }n1 tal que o o o a Fn Fm , cuando n m. En particular, la ltracin natural o cannica o o de un proceso {Xn } es aquella sucesin de -lgebras denidas por Fn = o a {X1 , . . . , Xn }, n 1. A tiempo continuo las deniciones de estos conceptos son anlogas: Una ltracin a o es una coleccin no numerable de sub -lgebras {Ft }t0 tal que Fs Ft , cuando o a 0 s t. La ltracin natural o cannica de un proceso a tiempo continuo {Xt : o o t 0} es la coleccin de -lgebras {Ft }t0 dadas por Ft = {Xs : 0 s t}, o a esto es, Ft es la m nima -lgebra que hace que cada una de las variables Xs , para a valores de s en el intervalo [0, t], sean medibles. A la -lgebra Ft se le denomina a la historia del proceso al tiempo t. Regresemos al caso de tiempo discreto. Denicin. Se dice que un proceso {Xn } es adaptado a una ltracin {Fn } si o o la variable Xn es Fn -medible, para cada n 1. Sabemos que cada Xn es F -medible por ser variable aleatoria. La condicin de o adaptabilidad requiere que Xn sea tambin una variable aleatoria respecto de la e
Cap tulo 7. Martingalas
169
sub -lgebra Fn . Naturalmente todo proceso es adaptado a su ltracin natural, a o y puede demostrarse que la ltracin natural es la ltracin ms peque a respecto o o a n de la cual el proceso es adaptado. El siguiente caso particular es necesario de considerar. Denicin. Se dice que el proceso {Xn : n 1} es predecible respecto de la o ltracin {Fn }n0 si para cada n 1, la variable Xn es Fn1 -medible. o Evidentemente todo proceso predecible es adaptado. La denicin de adaptabilidad o es la misma en el caso de procesos a tiempo continuo, y se pueden denir adems a las siguientes dos -lgebras: a F Ft+ = =
s>t
(
t0
Ft ), Fs .
Se dice entonces que una ltracin es continua por la derecha si Ft+ = Ft . Si Ft o es una ltracin continua por la derecha y la -lgebra inicial F0 contiene a todos o a los subconjuntos insignicantes de F , entonces la ltracin se llama estndar, o o a bien que satisface las condiciones usuales. Algunos clculos requieren suponer estas a hiptesis. o
7.2.
Tiempos de paro
Sea {Xn } un proceso adaptado a una ltracin {Fn }. Un tiempo de paro es una o variable aleatoria con valores en el espacio parametral de este proceso, que registra el tiempo en el que ocurre un cierto evento del proceso de tal forma que puede determinarse si ha ocurrido o no ha ocurrido tal evento al tiempo n con la informacin de la -lgebra Fn . Esta variable aleatoria puede tomar el valor innito o a cuando el evento de inters nunca ocurre. e Denicin. Una variable aleatoria con valores en {1, 2, . . .} {} es un o tiempo de paro respecto de una ltracin {Fn } si para cada n 1 se cumple o que ( n) Fn .
170
7.2. Tiempos de paro
Bajo la interpretacin de que es un tiempo aleatorio en el cual ocurre un cierto o evento de inters, la condicin ( n) Fn puede interpretarse del siguiente e o modo: la pregunta de si el evento de inters ha ocurrido al tiempo n o antes, debe e poder ser respondida con la informacin dada por la ltracin al tiempo n. No es o o dif comprobar que la condicin que aparece en la denicin es equivalente a la cil o o condicin ( = n) Fn , para cada n 1. o Ejemplo: Tiempo de primer arribo. Sea X1 , X2 , . . . una sucesin de variables o aleatorias adaptada a la ltracin Fn . Sea A un conjunto de Borel de R, y dena o = m {n 1 : Xn A}, en donde conviene denir m = . Es decir, es n n el primer momento en el que la sucesin toma un valor dentro del conjunto A, si o acaso ello sucede. La variable aleatoria es un tiempo de paro pues para cualquier valor entero de n, ( = n) = (X1 A) (Xn1 A) (Xn A) Fn . / / En particular, y recordando el problema de la ruina del jugador, tomando A como el conjunto {0, N }, el primer momento en el que la variable Xn = 1 + + n toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque gana todo el capital. Ejemplo: Tiempo de segundo arribo. Sea nuevamente X1 , X2 , . . . una sucesin o de variables aleatorias adaptada a la ltracin Fn , y sea A un conjunto de Borel o de R. Dado un tiempo de paro cualquiera 1 , dena ahora un segundo tiempo de paro de la siguiente forma 2 = m {n > 1 : Xn A}. Es decir 2 es el primer n momento, despus de 1 , en el que el proceso toma un valor dentro del conjunto e A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambin ser un e tiempo de paro pues el siguiente conjunto es un elemento de Fn .
n1
(2 = n) =
k=1
(1 = k) (Xk+1 A) (Xn1 A) (Xn A). / /
Ejercicio. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Este es un tiempo de paro determinista. Compruebe adems que = es tambin un tiempo de paro. a e
171
Ejercicio. Sea un tiempo de paro con valores en {1, 2, . . .} {}, y sea n un entero positivo. Demuestre que las siguientes variables tambin son tiempos de e paro. a) n. b) n. c) + n. En el caso de tiempos continuos, la denicin de tiempo de paro es la siguiente. o Una variable aleatoria : [0, ) {} es un tiempo de paro respecto de una ltracin {Ft } si se cumple que ( t) Ft , para cada t 0. o
7.3.
Martingalas
Denicin. Se dice que un proceso {Xn } es una martingala respecto de una o ltracin {Fn } si cumple las siguiente tres condiciones: o a) Es integrable. b) Es adaptado a la ltracin. o c) Para cualesquiera n m, E(Xm | Fn ) = Xn , c.s. (7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E(Xm | Fn ) Xn , entonces el proceso es una submartingala, y si E(Xm | Fn ) Xn , entonces es una supermartingala. Las martingalas tienen una interpretacin sencilla en trminos de juegos justos que o e ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n, entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m, dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En este sentido, la desigualdad E(Xm | Fn ) Xn , correspondiente a la denicin de o submartingala, equivale a un juego favorable al jugador. La desigualdad contraria, el caso de submartingala, corresponde a un juego desfavorable al jugador.
172
7.4. Ejemplos
Puede comprobarse que la condicin (7.1) es equivalente a la igualdad aparenteo mente ms dbil E(Xn+1 | Fn ) = Xn . Esta ultima condicin es la que a menudo a e o usaremos para vericar la propiedad de martingala de un proceso a tiempo discreto. Adems, cuando la ltracin es la natural, es decir, cuando Fn = {X1 , . . . , Xn }, la a o condicin de martingala puede escribirse en la forma E(Xn+1 | X1 , . . . , Xn ) = Xn . o Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala, y que si {Xn } es una submartingala, entonces {Xn } es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita tambin para supermartingalas bajo este cambio de signo. Por otro lado, tomando e esperanza en (7.1) con n = 1 se obtiene la igualdad E(Xm ) = E(X1 ), para cada m 1, esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Anlogamente, tomando esperanza ahora en la a condicin de submartingala se obtiene que para cualesquiera tiempos 1 n m, o E(Xm ) E(Xn ), esto puede interpretarse en el sentido de que, en promedio, las submartingalas son procesos que tienden a crecer. Ms adelante demostraremos que a cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el anlogo estocstico al hecho de que toda sucesin de n meros a a o u reales creciente y acotada es convergente. Para procesos a tiempos continuos, la condicin de martingala se escribe E(Xt | Fs ) = o Xs , para cualesquiera tiempos s y t tales que 0 s t, sin olvidar la condiciones de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuacin algunos ejemplos de martingalas. o Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables o aleatorias independientes idnticamente distribuidas y con esperanza nita. Dena e Xn = 1 + + n , y considere la ltracin Fn = {1 , . . . , n }. La variable o aleatoria Xn puede interpretarse como la fortuna de un jugador despus de n e apuestas sucesivas en donde la ganancia o prdida en la k-sima apuesta es k . e e
Cap tulo 7. Martingalas Claramente el proceso Xn es integrable y es adaptado. Adems a E(Xn+1 | Fn ) = = = E(Xn + n+1 | Fn ) Xn + E(n+1 | Fn ) Xn + E(n+1 ).
173
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo. En particular, una caminata aleatoria simtrica es una martingala. Si el resultado e promedio de las apuestas es mayor o igual a cero, entonces E(Xn+1 |Fn ) Xn , y por lo tanto el proceso es una submartingala, un juego favorable al jugador. Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a cero, el proceso es una supermartingala pues E(Xn+1 |Fn ) Xn , correspondiente a un juego desfavorable al jugador. Ejercicio. Para la martingala del juego de apuestas justas Xn = 1 + + n , 2 demuestre que el proceso Xn n es una martingala si, y slo si, Var() = 1. o Martingala del proceso de Poisson centrado. Sea Xt un proceso de Poisson de parmetro . Entonces el proceso centrado Xt t es una martingala. En efecto, a este nuevo proceso es integrable y adaptado. Adems, para cada 0 s t, a E(Xt t | Fs ) = = = = = = E(Xt Xs + Xs | Fs ) t E(Xt Xs | Fs ) + Xs t E(Xt Xs ) + Xs t (t s) + Xs t Xs s. E(Xt | Fs ) t
Este ejemplo es un caso particular del siguiente resultado que el lector puede fcila mente vericar siguiendo el clculo anterior: Si un proceso integrable {Xt } tiene a incrementos independientes, entonces el proceso centrado {Xt E(Xt )} es una martingala. Martingala de la esperanza condicional. Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -lgebras tales que F1 F2 . No es dif coma cil probar la siguiente propiedad de la esperanza condicional: E( E(X | F2 ) | F1 ) =
174
7.4. Ejemplos
E(X | F1 ). Sea Fn una ltracin dada. Usando la identidad anterior demostrao remos que la sucesin de variables aleatorias dada por Xn = E(X | Fn ) es una o martingala. Es claro que cada una de estas variables es integrable y por denicin o de esperanza condicional el proceso es adaptado a la ltracin. Adems o a E(Xn+1 | Fn ) = E(E(X | Fn+1 ) | Fn ) = E(X | Fn ) = Xn . Martingala de la urna de Polya. Suponga que una urna contiene inicialmente una bola blanca y una bola negra. Un experimento consiste en escoger una bola al azar y regresarla a la urna junto con otra bola del mismo color. Este experimento se repite varias veces. Sea Xn el nmero de bolas blancas en la urna despus del n-simo u e e Figura 7.1: ensayo. Es claro que X0 = 1, y que despus del n-simo e e ensayo hay n+2 bolas en la urna. Adems 1 Xn n+1, a y por lo tanto E|Xn | < . Las probabilidades de transicin son las siguientes o P (Xn+1 = k + 1 | Xn = k) = P (Xn+1 k , n+2 n+2k = k | Xn = k) = . n+2
Observe que se puede escribir Xn+1 = Xn + Yn+1 , en donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una bola blanca en la extraccin o n + 1, y el valor 0 cuando la bola escogida es negra, por lo tanto E(Xn+1 | Xn ) = Xn + (0) Xn n+3 n + 2 Xn + (1) = Xn . n+2 n+2 n+2
Este clculo demuestra que el proceso {Xn } no es una martingala. Sin embargo, si a se dene Mn = Xn /(n + 2), lo cual representa la fraccin de bolas blancas en la o urna despus de la n-sima extraccin, entonces se tiene que e e o E(Mn+1 | Fn ) = E( Xn+1 Xn | Fn ) = = Mn . n+3 n+2
Es decir, hemos comprobado que el proceso {Mn } es una martingala. Se modica el resultado si la conguracin inicial de la urna es distinta a la considerada? Se o modica el resultado si en lugar de agregar una bola adicional se agregan r bolas del mismo color?
175
7.5.
Procesos detenidos
Sea Xn un proceso estocstico adaptado a una ltracin Fn , y sea un tiempo a o de paro respecto de la misma ltracin. En ocasiones es necesario considerar un o proceso de la forma X n , en donde n = m n{, n}. A este tipo de procesos se les llama procesos detenidos, por ejemplo, suponga que = k, entonces X n = Xn Xk si n k, si n > k.
Es decir, como funcin del parmetro n el proceso se vuelve constante a partir del o a tiempo aleatorio . Medibilidad y adaptabilidad de {X n}. Las variables del proceso detenido son efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltracin pues para cualquier nmero real x, y para cada nmero natural n, o u u
n
(X n x) = [
k=1
( = k) (Xk x)] [( > n) (Xn x)].
La expresin del lado derecho es claramente un elemento de Fn . Si el proceso o original es integrable, entonces el proceso detenido es tambin integrable pues e E|X n | = E( |X | 1( n) ) + E( |Xn | 1( >n) )
n
k=1 n
E( |Xk | 1( =k) ) + E( |Xn | 1( >n) ) E|Xk | + E|Xn | < .
k=1
Por ejemplo, considere que {Xn } es la martingala del juego de apuestas. Suponga que el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier tiempo n puede expresarse como X n . Ejercicio. Sea {Xn } un proceso adaptado a la ltracin {Fn }, y sea un tiempo o de paro a tiempo discreto que adems es nito, es decir, P ( < ) = 1. Demuestre a que X es una variable aleatoria.
176
7.6. Una aplicacion: Estrategias de juego
Demostraremos a continuacin que una martingala detenida sigue siendo martino gala. Proposicin. Si {Xn } es una martingala, submartingala o supermartingala, o y es un tiempo de paro respecto de la misma ltracin, entonces el proceso o detenido {X n} tambin lo es. e Demostracin. Hemos demostrado antes que el proceso detenido es adaptado e o integrable. Resta demostrar la propiedad de martingala. El caso submartingala y supermartingala se obtienen modicando adecuadamente la penltima igualdad en u el siguiente anlisis. a
n
E(X (n+1) | Fn ) = =
k=1 n k=1 n
E(Xk 1( =k) | Fn ) + E(Xn+1 1( >n) | Fn ) Xk 1( =k) + E(Xn+1 | Fn ) 1( >n) Xk 1( =k) + Xn 1( >n)
=
k=1
X n
7.6.
Una aplicacin: Estrategias de juego o
Considere nuevamente la sucesin de variables aleatorias independientes idnticao e mente distribuidas {n } tal que P ( = +1) = 1/2 y P ( = 1) = 1/2, y con ltracin natural {Fn }. Considere la suma Xn = 1 + + n , es decir, Xn es una o martingala que representa el total de ganancias en una serie de n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada apuesta no es uno, sino una cantidad an para la n-sima apuesta. Supondremos que an es una variable e aleatoria que el jugador determina a partir de la informacin de las n 1 apuestas o previas, y por lo tanto es una variable Fn1 -medible, es decir, se trata de un proceso predecible. A la coleccin de variables aleatorias {an } con esta caracter o stica se le llama una estrategia de juego. Bajo una de estas estrategias, el capital del
177
jugador despus de la n-sima apuesta es ahora An = a1 1 + + an n , que es e e Fn -medible. Bajo la hiptesis de que la estrategia de juego consta de variables o aleatorias acotadas, se cumple que el proceso {An } es integrable y cumple adems a la propiedad de martingala pues E(An+1 | Fn ) = = = = = E(An + an+1 n+1 | Fn ) An + an+1 E(n+1 | Fn )
An .
An + an+1 E(Xn+1 Xn | Fn ) An + an+1 (E(Xn+1 | Fn ) Xn )
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias {An } es una martingala siempre y cuando el proceso original {Xn } lo sea. Este resultado es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al jugador. El mismo anlisis demuestra que si el proceso original {Xn } a es una submartingala o supermartingala y la estrategia de juego consta de variables aleatorias no negativas y acotadas, entonces el proceso {An } sigue siendo una submartingala o supermartingala. Uno de los varios signicados del tmino martingala, y que parece ser el original, e establece que una martingala es una estrategia de juego en la cual un jugador apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Monto de la apuesta Resultado del lanzamiento Ganancia
1 x -1
2 x -3
4 x -7
8 1
1 2
1 x 1
2 3
1 x 2
Figura 7.2: Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las prdidas anteriores e incluso incrementa su fortuna en una unidad e monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta
178
7.6. Una aplicacion: Estrategias de juego
n + 1, entonces su capital al tiempo n + 1 es

n1
1 21 22 2n1 +
n apuestas perdidas
2n
apuesta n + 1 ganada
2k + 2n
k=0
= = =
1 2n + 2n 12 (1 2n ) + 2n 1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr una a unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia segura de ganar, sin embargo, veamos cunto, en promedio, podr ser su dcit a a e justo antes de recuperarse, es decir, calcularemos E(X 1 ), en donde es el tiempo de paro en el que el jugador acierta por primera vez. Puede comprobarse que este tiempo de paro es nito casi seguramente, es decir, P ( < ) = 1. De hecho, con probabilidad uno, el jugador tendr eventualmente un xito a n cuando sus proa e u babilidades de acertar fueran pequeas. Como hemos visto, despus de n apuestas n e consecutivas perdidas el capital empeado es 1 21 22 2n1 = 1 2n , y n la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 . Por lo tanto E(X 1 ) = = = =
n=1 n=1
E(X 1 | = n) P ( = n) E(Xn1 ) P ( = n) 1 2n
n=1
(1 2n1 )
Es decir, se requerir de un capital promedio innito y poder apostar una innidad a de veces para llevar a cabo con xito esta estrategia, algo no muy factible en e trminos de dinero y tiempo. e
179
7.7.
Teorema de paro opcional y aplicaciones
Hemos observado antes que para una martingala Xn se cumple que E(Xn ) = E(X1 ), para cualquier valor de n. Si adems se tiene un tiempo de paro nito , no a necesariamente es cierto que E(X ) = E(X1 ), e incluso el nmero E(X ) podr no u a ser nito como en la estrategia de juego llamada martingala analizada en la seccin o anterior. El siguiente resultado establece condiciones bajo las cuales la variable X tiene la misma esperanza que la martingala. Teorema de paro opcional. Sea {Xn } una martingala y sea un tiempo de paro nito, ambos respecto de una ltracin {Fn }, tales que o a) X es integrable. b) l E(Xn 1( >n) ) = 0. m
n
Entonces E(X ) = E(Xn ), para cualquier n 1. Demostracin. La observacin importante es que para cualquier n 1, o o X = X n + (X Xn ) 1( >n) . Tomando esperanza y usando el hecho de que X n es una martingala, E(X ) = = E(X n ) + E((X Xn ) 1( >n) ) E(X1 ) + E(X 1( >n) ) E(Xn 1( >n) ).
Como el proceso original es una martingala, el primer sumando es E(Xn ). Haciendo n , el tercer sumando se anula por hiptesis. Usando la hiptesis de o o integrabilidad de X y el teorema de convergencia dominada, el segundo sumando converge tambin a cero pues es la cola de la serie convergente e E(X ) = E(
Xk 1( =k) ) =
k=1
E(Xk 1( =k) ).
k=1
Como una aplicacin del teorema de paro opcional calcularemos algunos tiempos o medios de arribo en caminatas aleatorias.
180
7.7. Teorema de paro opcional y aplicaciones
Caso caminata simtrica, barrera simtrica e e Sea {Xn } una caminata aleatoria simtrie ca simple sobre Z que inicia en cero, y sea b 1 un entero cualquiera. Dena el tiempo de paro = m {n 1 : |Xn | = b}, n
Xn () b
es decir, es el primer momento en el que la caminata alcanza, en valor absoluto, el b nivel b, vase la Figura 7.3. Nos interesa e encontrar E( ), esto es, el nmero promeu dio de pasos que le toma a la caminata Figura 7.3: llegar al nivel b. Sabemos que tanto el 2 proceso {Xn } como {Xn n} son martingalas. Suponiendo de manera preliminar que las condiciones del teorema de paro 2 2 opcional se cumplen, se tiene que E(X ) = E(X1 1) = 0. Por lo tanto, 2 2 E( ) = E(X ) = b . La ultima igualdad se obtiene al observar que |X | = b. En palabras, este resultado dice que la caminata aleatoria simtrica simple que inicia e en cero necesita, en promedio, b2 pasos para alcanzar, en valor absoluto, el nivel b.
Caso caminata simtrica, barrera asimtrica e e Generalizaremos ahora el clculo anterior para el caso en el que se tiene una barrera a inferior a y una barrera superior b, con a, b N, no necesariamente idnticos. La e idea es aplicar nuevamente el teorema de paro opcional aunque los clculos no a son tan inmediatos. Supongamos entonces que {Xn } es una caminata aleatoria simtrica simple que inicia en cero y dena el tiempo de paro e = m {n 0 : Xn = b Xn = a}, n o
2 en donde a, b N. Nuevamente el proceso centrado {Xn n} es una martingala 2 2 2 y por lo tanto E(X ) = E(X1 1) = 0, de donde se obtiene E( ) = E(X ). 2 Ahora no es tan sencillo calcular esta esperanza pues X puede tomar dos valores, b2 o a2 . Entonces 2 E( ) = E(X ) = b2 P (X = b) + a2 P (X = a).
Dena uk = P (X = b | X0 = k). Usando anlisis del primer paso puede comproa barse que uk cumple la ecuacin en diferencias 2uk = uk+1 + uk1 , con condiciones o de frontera ub = 1 y ua = 0, y cuya solucin es uk = (a + k)/(a + b). o
181
Anlogamente, deniendo vk = P (X = a | X0 = k), se encuentra que vk cumple a la ecuacin en diferencias 2vk = vk+1 + vk1 , con condiciones de frontera vb = 0 y o va = 1, y cuya solucin es vk = (b k)/(a + b). o Por lo tanto, E( )
2 = E(X ) = b2 P (X = b) + a2 P (X = a)
= b2 u0 + a2 v0 b a + a2 = b2 a+b a+b = ab.
Caso caminata asimtrica, barrera asimtrica e e En este caso {Xn } no es una martingala pero debido a la propiedad de incrementos independientes, el proceso centrado {Xn n(p q)} lo es. Suponiendo nuevamente que las condiciones del teorema de paro opcional se cumplen, se tiene que E(X (p q)) = E(X1 (p q)) = 0. De donde se obtiene E( ) = E(X )/(p q). El problema es nuevamente encontrar E(X ). Tenemos que E(X ) = b P (X = b) a P (X = a). Dena nuevamente uk = P (X = b | X0 = k). Usando anlisis del primer paso a puede comprobarse que uk cumple la ecuacin en diferencias uk = p uk+1 + q uk1 , o con condiciones de frontera ub = 1 y ua = 0, y cuya solucin es o uk = (p/q)bk (p/q)a+b . 1 (p/q)a+b
Anlogamente, deniendo vk = P (X = a | X0 = k), se encuentra que vk cumple a la ecuacin en diferencias vk = p vk+1 + q vk1 , con condiciones de frontera vb = 0 o y va = 1, y cuya solucin es o vk = (q/p)a+k (q/p)a+b . 1 (q/p)a+b
182
Por lo tanto,
7.7. Teorema de paro opcional y aplicaciones
E(X )
= b u0 a v0 (q/p)a (q/p)a+b (p/q)b (p/q)a+b a = b a+b 1 (p/q) 1 (q/p)a+b = b (a + b) 1 (p/q)b . 1 (p/q)a+b
Entonces E( ) =
a + b 1 (p/q)b b . p q p q 1 (p/q)2b
Vericaremos a continuacin la validez de las tres condiciones del teorema de paro o opcional para esta aplicacin cuando la caminata y las barreras son simtricas. o e a) Demostraremos que < c.s. La estrategia consiste en considerar bloques sucesivos de 2b pasos en la caminata aleatoria. Observe que el evento ( = ) es el l mite de la sucesin decreciente de eventos ( > 2bk), para k = 1, 2, . . ., y que el o evento ( > 2bk) est contenido en el evento Ninguno de los primeros k bloques a contiene unicamente valores +1. La utilidad de este evento mayor radica en que es fcil calcular su probabilidad como veremos a continuacin. Tenemos que a o P ( = ) = = =
k k
l P ( > 2bk) m
l P (Ninguno de los primeros k bloques m contiene unicamente valores +1) l (1 (1/2)2b )k m
0.

2 2 b) Demostraremos ahora que E(|X |) < . Como X = b2 , se tiene que 2 E(|X |)
183
b2 + E( ) b2 +
2 k=0
k P ( = k)
2b
b + b2 +
(2bk + j) P ( = 2bk + j)
2b
k=0 j=1
<
(2b(k + 1)) P ( > 2bk) (k + 1) (1 (1/2)2b )k
b2 + (2b) .
k=0 j=1 2 k=0
2 c) Finalmente vericaremos que E((Xn n)1( >n) ) 0, cuando . 2 E(|Xn n|1( >n)) 2 E(Xn 1( >n) ) + E(n1( >n) )
N 2 P ( > n) + E( 1( >n) ).
La sucesin de eventos ( > n) es montona decreciente y por lo tanto convergente, o o su l mite es el evento ( = ) que tiene probabilidad cero. El primer sumando por lo tanto se hace pequeo cuando n crece. Como E( ) < , la sucesin de variables n o 1( >n) es tambin decreciente y consta de variables aleatorias integrables cuyo e l mite es cero c.s. El segundo sumando por tanto tambin converge a cero. e
7.8.
Algunas desigualdades
Proposicin. (Desigualdad maximal de Doob.) Sea Xn una submartino gala no negativa y dena Xn = mx{X1 , . . . , Xn }. Entonces para cualquier a > 0, P (Xn ) E(Xn 1(Xn ) ).
184
7.8. Algunas desigualdades
Demostracin. Para cada n natural dena el tiempo de paro o = n m n{1 k n : Xk }. Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa el valor . Si tal evento nunca ocurre, entonces = n. Como Xn es una submartingala y 1 n, se tiene que E(Xn ) E(X ). Observe que si ocurre el evento (Xn ), entonces X , y si ocurre (Xn < ), entonces = n. Por lo tanto E(Xn )
= E(X 1(Xn ) ) + E(X 1(Xn <) ) P (Xn ) + E(Xn 1(Xn <) ).
E(X )
Es decir,
P (Xn )
E(Xn ) E(Xn 1(Xn <) )
= E(Xn 1(Xn ) ).
Proposicin. (Desigualdad maximal de Doob en L2 .) Sea Xn una subo martingala no negativa y cuadrado integrable. Para Xn = mx{X1 , . . . , Xn } se a tiene que 2 E(|Xn |2 ) 4 E(Xn ).
Demostracin. El segundo momento de una variable aleatoria no negativa X puede o expresarse, cuando existe, de la siguiente forma E(X 2 ) = 2
0
x P (X > x) dx.
Usando esta expresin, la primera desigualdad maximal, el teorema de Fubini y o
Cap tulo 7. Martingalas despus la desigualdad de Cauchy-Schwarz se tiene que e

E(|Xn |2 )
185
= 2
0
x P (Xn > x) dx
E(Xn 1(Xn x) ) dx.
2 = 2
(
(Xn x) Xn
Xn dP ) dx dx dP
0
= 2
Xn
= 2
Xn Xn dP
= 2E(Xn Xn )
2 Por lo tanto,
E|Xn |2
E|Xn |2 .
Elevando al cuadrado se obtiene el resultado.
E(|Xn |2 ) 2 E|Xn |2
E|Xn |2 .
7.9.
Convergencia de martingalas
Proposicin. Sea {Xn } una submartingala y sean 1 y 2 dos tiempos de paro o acotados tales que 0 1 2 N , con N N jo. Entonces E(X1 ) E(X2 ).
Demostracin. Sea k jo tal que k n N . Entonces o E(Xn+1 1(1 =k) 1(2 >n) ) = = E(E(Xn+1 | Fn ) 1(1 =k) 1(2 >n) ) E(Xn 1(1 =k) 1(2 >n) ). E(E(Xn+1 1(1 =k) 1(2 >n) | Fn ))
186
Por lo tanto
7.9. Convergencia de martingalas
E(X2 n 1(1 =k) ) =
E(X2 1(1 =k) 1(2 n) ) + E(Xn 1(1 =k) 1(2 >n) ) E(X2 1(1 =k) 1(2 n) ) + E(Xn+1 1(1 =k) 1(2 >n) ) E(X2 (n+1) 1(1 =k) ).
Esto quiere decir que la funcin n E(X2 n 1(1 =k) ) es montona creciente. o o Evaluando esta funcin en n = k y despus en n = N se obtiene la desigualdad o e E(Xk 1(1 =k) ) E(X2 1(1 =k) ). Entonces
N
E(X1 ) =
k=0 N
E(X1 1(1 =k) ) E(Xk 1(1 =k) )

k=0 N
E(X2 1(1 =k) )

k=0
E(X2 ).
Sea {Xk } un proceso adaptado a una ltracin {Fk }, y sean a < b dos n meros o u reales. Consideraremos que n es un nmero natural cualquiera. Dena la sucesin u o creciente de tiempos de paro 1 2 3 4 = m {k 1 : Xk > b}, n
= m {k > 1 : Xk < a}, n = m {k > 2 : Xk > b}, n
= m {k > 3 : Xk < a}, n . . .

Xk ()
187
Si alguno de los conjuntos sealados es vac o n o b bien cuando k n, para alguna k, se dene k = a n. De esta forma se tiene la sucesin 1 2 o n. Una de tales suk cesiones se muestra en la 1 2 3 4 5 6 Figura 7.4, en donde se Figura 7.4: presenta una trayectoria del proceso con sus valores unidos por una l nea continua para una mejor visualizacin. Nos interesa contar o el nmero de cruces de arriba hacia abajo, que las trayectorias del proceso realizan u sobre el intervalo [a, b]. En la grca se muestran tres cruces de este tipo, los cuales a se encuentran remarcados en la trayectoria. Observe que antes del valor n y para valores impares en el sub ndice de , el proceso se encuentra arriba de b en ese momento, mientras que para valores pares del sub ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo. El nmero de cruces completos, de arriba hacia abajo, que el proceso realiza sobre u el intervalo [a, b] antes del tiempo n es el mximo entero k tal que 2k < n, y se a denota por Dn [a, b], es decir, Dn [a, b] = mx {k 1 : 2k < n}. a Si el conjunto de cruces es vac se dene Dn [a, b] = 0. La letra D usada para o, denotar este nmero proviene del trmino en ingls Downcrossing. Observe que u e e para cada n, la funcin Dn [a, b] : {0, 1, . . .} es una variable aleatoria pues para o cada entero k, el conjunto (Dn [a, b] k) = (2k < n) es medible. De esta manera se tiene la sucesin montona de variables aleatorias D1 [a, b] D2 [a, b] que o o es convergente al nmero total de cruces u D[a, b] = sup {k 1 : 2k < }. En la demostracin que se presenta a continuacin sobre la convergencia de subo o martingalas se hace uso de este nmero de cruces. Empezaremos estimando la u esperanza de Dn [a, b].
188
Proposicin. Sea {Xn } una submartingala. Entonces o E(Dn [a, b]) 1 1 E(Xn b)+ ( sup E|Xn | + |b| ). ba ba n
Demostracin. Dena la sucesin de eventos Ak = (k < n) para k = 1, 2, . . . Por o o la monoton de los tiempos de paro denidos antes se tiene que A1 A2 a Eventualmente los elementos de esta sucesin son el conjunto vac pues no pueden o o efectuarse demasiados cruces en un tiempo limitado n. Observe adems que cuando a ocurre el evento A2k1 el proceso al tiempo 2k1 se encuentra por arriba de b, mientras que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A continuacin usaremos la propiedad de submartingala aplicada a los tiempos o de paro acotados 2k1 2k n. Tenemos entonces que E(X2k1 ) E(X2k ), es decir,
X2k1 dP
X2k dP.
Separando ambas regiones de integracin como = A2k1 Ac o 2k1 , se tiene que X2k1 dP +
A2k1
Ac 2k1
X2k1 dP
X2k dP +
A2k1
Ac 2k1
X2k dP.
Ahora observe que sobre el conjunto Ac 2k1 , se cumple que 2k1 = 2k = n. Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de esta desigualdad. Aadiendo la constante b, se llega al siguiente resultado n
0 Entonces
A2k1
(X2k1 b) dP
A2k1
(X2k b) dP.
189
0 =
A2k1
(X2k b) dP
A2k1 \A2k
A2k
(X2k b) dP +
(X2k b) dP
Por lo tanto
(a b)P (A2k ) +
A2k1 \A2k
(Xn b) dP.
P (A2k )
1 ba 1 ba
A2k1 \A2k A2k1 \A2k
(Xn b) dP (Xn b)+ dP.
Como P (A2k ) = P (2k < n) = P (Dn [a, b] k),

n
E(Dn [a, b]) =

k=1 n
P (Dn [a, b] k) P (A2k )
=
k=1
1 ba
n A2k1 \A2k
k=1
(Xn b)+ dP
1 E(Xn b)+ . ba
Para la ultima desigualdad se hace uso del hecho de que las diferencias A2k1 \A2k son conjuntos ajenos. Esto concluye la demostracin de la primera estimacin. La o o segunda desigualdad del enunciado se sigue de las siguientes estimaciones (Xn b)+ |Xn b| |Xn | + |b|.
Ahora estamos en condiciones de probar que toda submartingala acotada en media es convergente.
190
Teorema de convergencia de submartingalas de Doob. Sea {Xn } una submartingala tal que supn E|Xn | < . Entonces existe una variable aleatoria integrable X tal que l Xn = X c.s. m
n
Demostracin. Vericaremos primero que la convergencia de tal sucesin de vao o riables aleatorias es equivalente a la condicin: D[a, b] < casi seguramente, o para cualesquiera nmeros a < b. Sea en y considere la sucesin numriu o e ca X1 (), X2 (), . . . cuyo nmero de cruces es D[a, b](). Demostraremos que la u sucesin {Xn ()} es convergente si, y slo si, D[a, b]() < , para cualesquiera o o a < b. () Suponga que la sucesin es convergente pero que D[a, b]() = para alg n o u par de nmeros a y b tales que a < b. Entonces u l inf Xn () a < b l sup Xn (). m m
n n
Esto contradice la hiptesis de que la sucesin es convergente. o o () Suponga ahora que D[a, b]() < para cualesquiera a < b. Suponga que la sucesin no es convergente. Entonces existen a1 < b1 tales que o l inf Xn () a1 < b1 l sup Xn (). m m
n n
Entonces, en particular, para este par de nmeros reales se tiene que D[a1 , b1 ]() = u , lo cual contradice la hiptesis inicial. o Por lo tanto es suciente demostrar que con probabilidad uno, D[a, b] < . Para llegar a esta conclusin demostraremos que E(D[a, b]) < , pero ello es consecueno cia del teorema de convergencia montona y la ultima proposicin pues o o E(D[a, b]) =
n
l E(Dn [a, b]) m
La integrabilidad del l mite X se sigue del lema de Fatou pues

n n n
1 (sup E|Xn | + |b|) < . ba n
E|X| = E(l inf |Xn |) l inf E|Xn | sup E|Xn | < . m m
191
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a travs de un cambio de signo, se tiene que el teorema e anterior es vlido en cualquiera de los tres casos. Es decir, toda martingala, suba martingala o supermartingala acotada en la forma en la que indica el enunciado del teorema, es convergente casi seguramente, y su l mite es una variable aleatoria integrable. La demostracin que se ha presentado aqui sobre la convergencia de submartino galas es la prueba original de Doob de 1940. En [14] pueden encontrarse algunos otros mtodos alternativos de demostracin. Como hemos mencionado antes, las e o submartingalas son procesos que en promedio tienden a crecer, de modo que en este caso hemos encontrado una cota superior para el nmero promedio de cruces hacia u abajo. En algunos textos, por ejemplo [4], se enuncia y prueba el mismo resultado para supermartingalas, procesos que, en promedio, tienden a decrecer.
7.10.
Representacin de martingalas o
En esta seccin demostraremos que toda martingala que cumple la condicin de o o ser uniformemente integrable puede escribirse en trminos de una esperanza condie cional. Antes de enunciar el resultado explicaremos la condicin de integrabilidad o uniforme para un proceso. Integrabilidad uniforme. Puede comprobarse que una variable aleatoria X es integrable si, y slo si, para cada > 0 puede encontrarse un n mero M > 0 tal o u que
(|X|>M)
|X| dP < .
Considere ahora una sucesin innita de variables aleatorias integrables X1 , X2 , . . . o Para cada > 0 puede encontrarse entonces una sucesin de nmeros reales Mn > 0 o u tales que
(|Xn |>Mn )
|Xn | dP < .
Cuando la sucesin Mn no depende de n, es decir, cuando sea una sucesin constano o te, se dice que la sucesin de variables aleatorias es uniformemente integrable. Es o
192
7.10. Representacion de martingalas
evidente que la integrabilidad uniforme es ms fuerte que la simple integrabilidad a de las variables de un proceso. Tenemos entonces la siguiente denicin, la cual o ilustraremos despus con un par de ejemplos. e Denicin. Se dice que una sucesin de variables aleatorias integrables o o X1 , X2 , . . . es uniformemente integrable si para cada > 0 existe un n meu ro M > 0 tal que para toda n 1,
(|Xn |>M)
|Xn | dP < .
Ejemplo. Considere el espacio muestral = (0, 1) con la -lgebra los subcona juntos de Borel de (0, 1), y como medida de probabilidad la medida de Lebesgue sobre dicho intervalo. La sucesin de variables aleatorias dada por Xn = n 1(0,1/n) o no es uniformemente integrable pues para cualquier M > 0, |Xn | dP = 1 0 si n > M, si n M. Ejemplo. Sea X una variable aleatoria integrable y sea Fn un ltracin. Demoso traremos que la martingala Xn = E(X | Fn ) es uniformemente integrable. Como |X| es integrable, tenemos que para cada > 0 existe > 0 tal que si P (A) < , a entonces A |X| dP < . Adems, como |Xn | E(|X| | Fn ), tomando esperanzas y para cualquier M > 0 se tiene que E|X| E|Xn |
(|Xn |>M)
(|Xn |>M)
|Xn | dP
M P (|Xn | > M ).
De modo que si se toma M > E(|X|)/, con > 0 arbitrario, entonces P (|Xn | >
Cap tulo 7. Martingalas M ) E(|X|)/M < . Por lo tanto

(|Xn |>M)
193
|Xn | dP
(|Xn |>M) (|Xn |>M)
E(|X| | Fn ) dP |X| dP
< .
La siguiente proposicin establece que la convergencia en media es una condicin o o suciente para que se cumpla la propiedad de integrabilidad uniforme en un proceso. Proposicin. Todo proceso que consta de variables aleatorias integrables y o que es convergente en media, es uniformemente integrable.
Demostracin. Suponga que X1 , X2 , . . . es una sucesin de variables aleatorias o o integrables convergente en media a la variable aleatoria integrable X, es decir, E|Xn X| 0. Esto es, para cada > 0 existe un natural N tal que para cualquier n > N , E|Xn X| < /2. Dado que el l mite X es integrable, para cada > 0 existe > 0 tal que si P (A) < , entonces A |X| dP < /2. Tomando un valor de > 0 ms pequeo si es necesario se tiene adems que A |Xn | dP < , para cada a n a n = 1, . . . , N , cuando P (A) < . Por otro lado, para cualquier n 1, E(|Xn |)
(|Xn |>M)
|Xn | dP M P (|Xn | > M ).
1 Es decir, P (|Xn | > M ) M E(|Xn |) si se toma M = 1 supn E((|Xn |). Tal valor de M es nito pues como la sucesin converge en media, es acotada en media. o En particular y con el valor de M mencionado, lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para el caso n > N se tiene que
(|Xn |>M)
|Xn | dP
(|Xn |>M) (|Xn |>M)
|X| dP +
(|Xn |>M)
|Xn X| dP
|X| dP + E(|Xn X|)
+ = . 2 2
194
El siguiente resultado es un rec proco de la proposicin anterior, slo que hay que o o aadir la condicin de que el proceso sea una submartingala, en particular, una n o martingala. Proposicin. Toda submartingala uniformemente integrable es convergente en o media.
Demostracin. Sea {Xn : n 1} una submartingala uniformemente integrable. Heo mos demostrado antes que en tales condiciones la submartingala es necesariamente acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que Xn X c.s. Demostraremos que Xn X en media, es decir, que E|Xn X| 0. Sea > 0 arbitrario. Debido a la hiptesis de integrabilidad uniforme, existe M > 0 o tal que para toda n 1,
(|Xn X|>M)
|Xn X| dP <
. 3
Por otro lado, como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn X| > /3) 0, cuando n , es decir, existe un entero N tal que para n > N , P (|Xn X| > /3) < , 3M en donde M > 0 es la constante de la estimacin anterior. Entonces o E(|Xn X|) =
(|Xn X|>M)
|Xn X| dP |Xn X| dP
+
(/3<|Xn X|M)
+
(|Xn X|/3)
|Xn X| dP
< <
+ M P (|Xn X| > /3) + P (|Xn X| /3) 3 3 .
195
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional. Teorema de representacin de martingalas. Sea Xn una martingala unio formemente integrable, con ltracin natural Fn , y teniendo a la variable X o como su l mite en media. Entonces Xn = E(X | Fn ).
Demostracin. Para cualquier m > n, E(Xm | Fn ) = Xn . Esto quiere decir que o para cualquier evento A en Fn , Xm dP =
A A
Xn dP.
Entonces | (Xn X) dP | = | (Xm X) dP |
|Xm X| dP |Xm X| dP.
Por lo demostrado antes, el ultimo trmino converge a cero cuando m . Es e decir, para cualquier A en Fn , A Xn dP = A X dP . Esto signica que Xn = E(X | Fn ) c.s. La variable Xn = E(X | Fn ) puede interpretarse como una aproximacin de la o variable desconocida X cuando se cuenta con la informacin dada por la -lgebra o a Fn . Conforme n crece, la informacin acerca de X aumenta a travs de la ltracin, o e o y en el l mite se obtiene o reconstruye X. Notas y referencias. El lector puede encontrar otras exposiciones introductorias al tema de martingalas a tiempo discreto en Karlin y Taylor [19], y Lawler [23]. Para lecturas ms avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38]. a
196
Joseph L. Doob (USA 19102004). Doob empez a tener inters por la ciencia desde peque o o e n cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento del radio e incluso construy l oe mismo su propio equipo. Este inters suyo por la electrnie o ca y las comunicaciones se increment durante la prepao ratoria obteniendo incluso una licencia para llevar a cabo transmisiones por radio. Dado este inters en la electrnie o ca, Doob pens que la f o sica era el rea que deb estudiar a a al ingresar a la universidad. Y as lo hizo al ingresar a la universidad de Harvard en 1926. Sin embargo, despus de e J. L. Doob un ao de estudios, se convenci que el curso que verdan o deramente disfrut fue el de clculo y sus aplicaciones. Para el segundo a o se o a n registr en cursos de matemticas. En 1930 obtuvo el grado de licenciatura de la o a universidad de Harvard, y en 1931 obtuvo el grado de maestr bajo la supervisin a o de J. L. Walsh en la misma universidad. En Junio de ese mismo a o se cas con n o Elsie Field con quien tuvo tres nios. Al ao siguiente, en 1932, obtuvo el grado n n de doctorado con un trabajo de tesis sobre las funciones anal ticas y sus valores de frontera. Tiempo despus obtuvo un beca para trabajar en la teor de la probabie a lidad con H. Hotelling en la universidad de Columbia de 1934 a 1935. Al nal de ese periodo fue contratado como profesor asociado en la universidad de Illinois en 1935, all fue donde desarroll su carrera como profesor hasta el a o de 1978 cuando o n se jubil. Dentro de sus estudiantes de doctorado guran, entre otros, Paul Halmos o (1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El trabajo de Doob se centra principalmente en la teor de la medida, la teor de la a a probabilidad y las relaciones de sta ultima con la teor del potencial. En partie a cular, y profundizando parte del trabajo de Paul L`vy, durante los a os cuarentas e n y cincuentas Doob desarroll la teor bsica de las martingalas y algunas de sus o a a aplicaciones. En 1953 public su libro clsico Stochastic Processes, el cual fue reo a editado en 1990. En 1984 public Classical Potential Theory and its Probabilistic o Counterparts, reimpreso en 2001. En 1994, a la edad de 84 aos, public su ultimo n o texto titulado Measure Theory. Doob fue miembro de las Academias de Ciencias de los Estados Unidos y de Francia, presidi el Instituto de Estad o stica Matemtica a (IMS) en 1950, y la Sociedad Matemtica Norteamericana (AMS) de 1963 a 1964. a Recibi varios premios prestigiosos de su pa por la trascendencia y profundidad o s de sus trabajos. Durante muchos aos de su vida Doob mantuvo la costumbre y el n gusto por organizar y realizar las famosas caminatas de los sbados por la tarde a junto a profesores universitarios, colegas y amigos, de la universidad de Illinois. A peticin propia, las cenizas de los restos mortales de Doob fueron esparcidas por o
197
sus compaeros en uno de sus sitios favoritos donde acostumbraba caminar junto n a sus amigos. Para una informacin ms amplia sobre la vida y el trabajo de Doob o a vanse los trabajos de Bingham [2], Burkholder y Protter [5], y Snell [32], [33]. e Fuente: Archivo MacTutor, Universidad de St. Andrews.
198
Ejercicios
Filtraciones 122. Sea {Xt } un proceso adaptado a la ltracin {Ft }, y sea {Gt } la ltracin o o natural del proceso. Demuestre que para cada t 0 se cumple Gt Ft . Esto signica que la ltracin natural es la ltracin ms peque a respecto de la o o a n cual un proceso es adaptado.
Tiempos de paro 123. Sea {Xn } la sucesin de resultados que se obtienen al lanzar sucesivamente o un dado equilibrado. Sea {Fn } la ltracin natural de este proceso y dena o la variable como el primer tiempo n tal que X1 + + Xn 10. Determine si es un tiempo de paro respecto de la ltracin dada. o 124. Demuestre que la condicin en la denicin de tiempo de paro a tiempo o o discreto ( n) Fn es equivalente a la condicin ( = n) Fn . o 125. Sea n un entero positivo. Demuestre que la variable aleatoria constante = n es un tiempo de paro. Compruebe adems que = es tambin un tiempo a e de paro. 126. Sea un tiempo de paro con valores en {1, 2, . . . , } y sea n un n mero u natural. Demuestre que tanto n como n son tambin tiempos de paro e respecto de la misma ltracin. o 127. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre o que las siguientes variables aleatorias tambin son tiempos de paro. e a) 1 2 b) 1 2 . 128. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre o que 1 + 2 es tambin un tiempo de paro. e 129. Sea Xn un proceso a tiempo discreto, y sea x un nmero real cualquiera u dentro del espacio de estados del proceso. Dena las variables aleatorias: 1 como el primer momento en el que el proceso toma el valor x, 2 como el segundo momento en el que el proceso toma el valor x, etc. Demuestre que 1 2 son tiempos de paro.
199
130. Sea un tiempo de paro con valores en [0, ) y sea c 1 una constante. Demuestre que c es tiempo de paro. 131. Sea 1 , 2 , . . . una sucesin innita de tiempos de paro. Demuestre que tanto o supn n como n n son tiempos de paro. nf Martingalas 132. Sea {Xn } una martingala a tiempo discreto. Demuestre que la propiedad de martingala E(Xm | Fn ) = Xn , para cualquier m n, es equivalente a la condicin E(Xn+1 | Fn ) = Xn , para cada n 1. Enuncie y demuestre la o equivalencia anloga al caso submartingala y supermartingala. a 133. Demuestre que a) toda martingala es una submartingala y una supermartingala. b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala. 134. Demuestre que para cualquier t > s 0, a) E(Xt ) = E(Xs ) cuando {Xt } es una martingala. b) E(Xt ) E(Xs ) cuando {Xt } es una submartingala.
c) E(Xt ) E(Xs ) cuando {Xt } es una supermartingala. 135. Sea X una variable aleatoria integrable, y sea {Ft }t0 una ltracin a tiempo o continuo. Demuestre que Xt = E(X | Ft ) es una martingala. 136. Sea {Xn : n 1} un proceso adaptado a la ltracin {Fn }n1 . Demueso tre que si A es un evento F1 -medible, entonces el proceso {Xn 1A } es una martingala, submartingala o supermartingala cuando {Xn } lo es. 137. Sea M una constante. Demuestre que a) si {Xn } es una submartingala, entonces {Xn M } es una submartingala. b) si {Xn } es una supermartingala, entonces {Xn M } es una supermartingala. 138. Sean {Xt } and {Yt } dos martingalas, submartingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso {aXt + bYt + c} es o tambin una martingala, submartingala o supermartingala, respectivamente, e
200
7.10. Representacion de martingalas en donde a, b y c son constantes. Para el caso submartingala y supermartingala se necesita suponer adems que a y b son no negativos. En particular a esto demuestra que la suma de dos martingalas es una martingala, y que el conjunto de martingalas respecto de la misma ltracin y denidas en un o mismo espacio de probabilidad es un espacio vectorial.
139. Sea {Xn } un proceso integrable. Demuestre que el proceso dado por Xn = mx{X1 , . . . , Xn } es una submartingala. a
140. Sean {Xt } y {Yt } dos martingalas o submartingalas respecto de la misma ltracin. Demuestre que el proceso {Xt Yt } es una submartingala. o 141. Sean {Xt } y {Yt } dos martingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso {Xt Yt } es una supermartingala. o 142. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesin de variables aleatorias o independientes cada una de ellas con la misma distribucin dada por P ( = o +1) = p y P ( = 1) = q = 1 p. Sea Xn = 1 + + n . Demuestre o que Yn = (q/p)Xn es una martingala respecto de la ltracin generada por el proceso Xn . 143. Sea {Xt } una martingala respecto de una ltracin {Ft }. Demuestre que o el proceso tambin es una martingala respecto de su ltracin natural. En e o general el rec proco es falso. 144. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes con esperano za cero. Dena X0 = 0 y Xn = 1 + +n , para n 1. Se ha demostrado que el proceso Xn es una martingala respecto de la ltracin Fn = {1 , . . . , n }. o Suponga ahora que las variables tienen segundo momento nito. Demues2 e tre que el proceso Xn n es tambin una martingala respecto de la misma ltracin si, y slo si, las variables tienen varianza uno. o o 145. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con esperanza unitaria. Demuestre que el proceso Xn = 1 n es una martingala respecto de su ltracin natural. o 146. Sea {Xn } una submartingala. Demuestre que los siguientes procesos tambin e son submartingalas.
+ a) Xn = mx {Xn , 0}. a b) Xn = m {Xn , 0}. n
c) |Xn |. Suponga, en este caso, que Xn es una martingala.
201
147. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables o aleatorias independientes e idnticamente distribuidas. Dena Xn = 1 + e + n . Demuestre que el proceso a) {Xn nE()} es una martingala, suponiendo E() < .
2 b) {Xn nE( 2 )} es una martingala, suponiendo E( 2 ) < .
2 148. Sea {Xt } una martingala cuadrado integrable. Demuestre que {Xt } es una submartingala respecto de la misma ltracin. Vea el siguiente ejercicio para o una generalizacin de este resultado. o
149. Sea {Xt } una martingala tal que E|Xt |p < para cada t 0, con p 1. Demuestre que {|Xt |p } es tambin una submartingala. Sugerencia: Use la e desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado. 150. Sea {Xt } un proceso integrable, y sea g una funcin convexa tal que g(Xt ) o es integrable. Demuestre que bajo cualquiera de las siguientes condiciones se cumple que el proceso g(Xt ) es una submartingala. a) cuando {Xt } es una martingala.
b) cuando {Xt } es una submartingala y g es una funcin no decreciente. o
151. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes tales que o 2 E() = k , Var() = k < , y con ltracin natural Fn . Demuestre que el o siguiente proceso es una martingala respecto de esta ltracin. o
n 2 Xn n
=(
k=1
(k k ) )
2 k . k=1
152. Sea {n : n 0} un proceso integrable y adaptado a la ltracin {Fn }. o Demuestre que el siguiente proceso es una martingala.
n
Xn =
k=1
( k E(k | Fk1 ) ).
153. Sea {Xt } un proceso de Poisson de parmetro > 0. Demuestre que los a siguientes procesos son martingalas. a) Yt = (Xt t)2 t. b) Yt = exp( Xt + t (1 e ) ), en donde R.
202
154. Sea {Xt } un proceso integrable con incrementos independientes. Demuestre que el proceso centrado {Xt E(Xt )} es una martingala. 155. Considere la martingala de la urna de Polya con una conguracin inicial de o una bola blanca y una negra. Suponga ahora que cuando se extrae una bola de un color se regresa a la urna junto con k bolas del mismo color. Dena Mn = Xn /(2 + nk). Es {Mn } una martingala? 156. Demuestre que el proceso {Xn } de la estrategia de juego llamada martingala, cuando las apuestas son justas, es una martingala. 157. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a Xn = b}. o Demuestre que E( ) = ab si p = q, si p = q. a + b 1 (p/q)b b pq p q 1 (p/q)a+b E((Xn3 Xn2 )Xn1 ) = 0. 159. Sea 1 , 2 , . . . una sucesin de variables aleatorias tal que el proceso Xn = o 1 + + n es una martingala. Demuestre que E(i j ) = 0 para i = j. 160. Sea {Xn } una cadena de Markov con espacio de estados {0, 1, . . .}. Suponga que las probabilidades de transicin son p00 = 1 y pij = ei ij /j! en los otros o casos. Demuestre que {Xn } es una martingala. Teorema de paro opcional 161. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b
158. Sea {Xn } una martingala. Demuestre que para n1 n2 < n3 ,
203
dos enteros positivos jos. Dena el tiempo de paro = m n{n 1 : Xn = a Xn = b}. Demuestre que o si p = q, ab a + b 1 (p/q)b b E( ) = si p = q. pq p q 1 (p/q)a+b Integrabilidad uniforme 162. Demuestre que una variable aleatoria X es integrable si, y slo si, para cada o > 0 existe M > 0 tal que |X| dP < .
(|X|>M)
Cap tulo 8
Movimiento Browniano
El fenmeno natural que ahora se conoce como moo vimiento Browniano tiene una interesante historia. El primer registro, aunque no as la primera obser vacin de l, data de 1828 cuando el botnico Robert o e a Brown report en una revista cient o ca que granos de polen suspendidos en una cierta substancia y vistos a travs de un microscopio, realizaban un movie miento irregular e inexplicable [3]. Este extrao mon vimiento fue objeto de mucha discusin y muy divero sas controversias se suscitaron a partir de su divulgacin en la comunidad cient o ca de aquella poca. e Con la intencin de dar una explicacin satisfactoria o o R. Brown del extrao fenmeno observado, se llevaron a cabo n o diversos experimentos y se formularon muy diversas hiptesis [10]. Hoy en d este movimiento es entendido y explicado a travs de o a e las mltiples colisiones aleatorias de las molculas del l u e quido con los granos de polen. Llegar a tal aseveracin tom muchos aos pues debi aceptarse la teor o o n o a cintico molecular de la materia, y el seminal trabajo de Einstein de 1905 sobre e este fenmeno contribuy decididamente a tal tarea [10]. o o En este cap tulo se presenta una introduccin al modelo matemtico para el movio a miento Browniano. Se trata del ejemplo ms importante de un proceso de Markov a a tiempo continuo y con espacio de estados continuo.
205
206
8.1. Definicion
8.1.
Denicin o
Las observaciones reales del movimiento de granos de polen a travs del microscopio sugieren que las e trayectorias son continuas y que los desplazamientos son independientes en intervalos de tiempo disjuntos. Adems, debido al gran nmero de colisiones a u del grano de polen con las molculas circundantes e en longitudes de tiempo no pequeos, y teniendo n en cuenta el teorema central del l mite, los incrementos pueden modelarse como variables aleatorias 8.1: Movimiento Gausianas. La estructura matemtica de un proceso Figura a estocstico a tiempo continuo, denotado en este caso Browniano a por {Bt : t 0}, ha resultado adecuada para modelar este tipo de fenmenos. La variable Bt puede o representar la posicin de la part o cula al tiempo t. La denicin matemtica, en el o a caso unidimensional, es la siguiente. Denicin. (I) Un movimiento Browniano unidimensional de parmetro 2 es o a un proceso estocstico {Bt : t 0} con valores en R que cumple las siguientes a propiedades. 1. B0 = 0 c.s. 2. Las trayectorias son continuas. 3. El proceso tiene incrementos independientes. 4. La variable Bt Bs tiene distribucin N (0, 2 (t s)), para cualesquiera o tiempos 0 s < t. Las condiciones que aparecen en esta denicin son consecuencia directa de las o observaciones del fenmeno f o sico, pero eso no garantiza que tal objeto matemtico a exista. En 1923 el matemtico norteamericano Norbert Wiener demostr la existena o cia y unicidad de un proceso con tales condiciones. Es por esta razn que a menudo o a este proceso tambin se le llama proceso de Wiener, y se le denota tambin por e e {Wt : t 0}. En sentido estricto, el movimiento Browniano es el fenmeno f o sico, mientras que su modelo matemtico es el proceso de Wiener, aunque es com n a u
Cap tulo 8. Movimiento Browniano
207
llamar a ambas cosas por el mismo nombre: movimiento Browniano. Demostraremos a continuacin que las condiciones (3) y (4) de la denicin anterior son o o equivalentes a solicitar que las distribuciones nito dimensionales del proceso sean las siguientes. Denicin. (II) Un movimiento Browniano unidimensional de parmetro 2 o a es un proceso estocstico {Bt : t 0} con valores en R que cumple las siguientes a propiedades. 1. B0 = 0 c.s. 2. Las trayectorias t Bt son continuas. 3. Para cualesquiera tiempos 0 < t1 < < tn , y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que P (Bt1 A1 , . . . , Btn An ) = p(t1 , 0, x1 )
A1
An
p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) dxn dx1 , en donde

2 2 1 p(t, x, y) = e(yx) /2 t . 2t 2
(8.1)
Observe que la tercera propiedad de la ultima denicin establece que la funcin o o de densidad del vector (Bt1 , . . . , Btn ) evaluada en el punto (x1 , . . . , xn ) es p(t1 , 0, x1 )p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ). En particular, la variable Bt tiene distribucin N(0, 2 t). Demostraremos a contio nuacin que las dos deniciones anteriores son equivalentes. o (I) (II). Se hace uso de la independencia de los incrementos y de la hiptesis o
208
8.1. Definicion
de que stos tienen distribucin normal. e o fBt1 ,Bt2 ,...,Btn (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 x1 , . . . , xn xn1 )
= fBt1 (x1 ) fBt2 Bt1 (x2 x1 ) fBtn Btn1 (xn xn1 ) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ).
= p(t1 , 0, x1 ) p(t2 t1 , 0, x2 x1 ) p(tn tn1 , 0, xn xn1 )
(II) (I). De acuerdo al tercer postulado, para 0 s < t, la funcin de densidad o o del vector (Bs , Bt ) es fBs ,Bt (x, y) = p(s, 0, x) p(t s, x, y). Aplicando la frmula general para la funcin de densidad de la diferencia de dos variables aleatorias, o fY X (u) = fX,Y (x, u + x) dx, se obtiene fBt Bs (u) = =

p(s, 0, x) p(t s, x, u + x) dx
2 2 2 1 1 eu /2 (ts) dx ex /2s 2 (t s) 2s 2 2 2 2 1 = eu /2 (ts) 2 2 (t s) = p(t s, 0, u),
es decir, Bt Bs tiene distribucin N(0, t s). Entonces o fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 , . . . , xn ) = fBt1 ,Bt2 ,...,Btn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 ) = p(t1 , 0, x1 )p(t2 t1 , x1 , x2 + x1 )
. . . p(tn tn1 , x1 + + xn1 , x1 + + xn ) = p(t1 , 0, x1 )p(t2 t1 , 0, x2 ) p(tn tn1 , 0, xn ) = fBt1 (x1 )fBt2 Bt1 (x2 ) fBtn Btn1 (xn ).
Esto demuestra que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes cada una de ellas con distribucin normal con los parmetros mencionados. o a Se dice que un movimiento Browniano es estndar cuando 2 = 1. A travs del a e cambio de variable = 2 t un movimiento Browniano no estndar puede convertira se en uno estndar. Entonces, a menos que se especique lo contrario y sin prdida a e
209
de generalidad, a partir de ahora supondremos que el movimiento Browniano es estndar, es decir, Bt Bs tiene distribucin N (0, t s). a o Ejercicio. Sea {Bt } un movimiento Browniano. Demuestre que los siguientes procesos tambin son movimientos Brownianos. e a) Wt = Bt . b) Wt = 1 Bc2 t , con c constante positiva. c
c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo.
8.2.
Funcin de probabilidad de transicin o o
A la funcin p(t, x, y) denida por (8.1) se le llama funcin de probabilidad de trano o sicin del movimiento Browniano de parmetro 2 . En particular, la probabilidad o a de que un movimiento Browniano que inicia en x se encuentre en un conjunto A R (apropiadamente medible) despus de t unidades de tiempo es e p(t, x, A) =
A
p(t, x, y) dy.
Hemos hecho nfasis en la propiedad que aparece en el inciso (3) de la denicin e o II del movimiento Browniano, pues sta tiene la ventaja de que proporciona una e expresin expl o cita para la probabilidad del conjunto de trayectorias Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo t1 , estar en el conjunto A2 al tiempo posterior t2 , etctera. e La condicin de que el movimiento Browniano inicie en el origen no es absolutao mente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un x punto x cualquiera a travs del proceso x + Bt , el cual se denota a veces por Bt e para recordar la posicin de origen. o Integrando directamente puede comprobarse que la probabilidad de transicin o p(t, x, y) cumple la ecuacin de Chapman-Kolmogorov, o p(t + s, x, y) =

p(t, x, u) p(s, u, y) du,
210
8.3. Propiedades basicas
y tambin cumple la ecuacin de difusin, o ecuacin de calor, e o o o p 1 2p . = t 2 x2
8.3.
Propiedades bsicas a
Tenemos entonces que para el movimiento Browniano estndar cada variable aleaa 2 toria Bt tiene distribucin N (0, t) y por lo tanto E(Bt ) = 0 y Var(Bt ) = E(Bt ) = t. o 2 En particular E(Bt Bs ) = t s, para 0 s < t. El movimiento Browniano f sico real se presenta en tres dimensiones y es completamente errtico. a En la Figura 8.2 puede apreciarse una posible trayectoria Browniana cuando sta se proyecta sobre una de sus coore denadas. Esta grca fue generada en a computadora y es slo una aproximao cin del modelo matemtico. En la o a grca pueden apreciarse algunas pea queas partes en donde aparentemenn te el comportamiento es lineal y suave, ello no sucede en el modelo terico. o
Bt ()
Figura 8.2: Usando esta probabilidad de transicin o demostraremos a continuacin que el o movimiento Browniano cumple la propiedad de Markov en el sentido dbil. e Proposicin. El movimiento Browniano es un proceso de Markov. o
Demostracin. Para cualesquiera tiempos 0 t1 < t2 < < tn < tn+1 , y para o
Cap tulo 8. Movimiento Browniano cualquier evento A en R,
211
P (Btn+1 A | Bt1 = x1 , . . . , Btn = xn ) p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) p(tn+1 tn , xn , A) = p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = p(tn+1 tn , xn , A) p(tn , 0, xn ) = P (Btn+1 A | Btn = xn ).
Puede demostrarse que cumple adems la propiedad fuerte de Markov: Si es un a tiempo de paro respecto de la ltracin del movimiento Browniano, entonces el o proceso Bt+ B es tambin un movimiento Browniano y es independiente de la e -lgebra F = {A F : A ( t) Ft para cada t 0}. En particular, a cuando es constante t0 , el proceso Bt+t0 Bt0 es un movimiento Browniano. Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuacin la propiedad de martingala. o Proposicin. El movimiento Browniano es una martingala continua. o
Demostracin. Claramente el proceso es adaptado a su ltracin natural y cada o o variable aleatoria del proceso es integrable. Por otro lado, para cualesquiera tiempos s y t tales que 0 s < t, E(Bt | Fs ) = = = = E(Bt Bs + Bs | Fs ) E(Bt Bs | Fs ) + E(Bs | Fs ) E(Bt Bs ) + Bs Bs .
El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones que e caracterizan de manera unica al movimiento Browniano en trminos de la propiedad e de martingala.
212
8.3. Propiedades basicas
Teorema de caracterizacin de Paul L`vy. Un proceso {Xt : t 0} es un o e movimiento Browniano si, y slo si, tiene trayectorias continuas, empieza en o 2 cero, y tanto {Xt } como {Xt t} son martingalas. El movimiento Browniano {Bt } cumple claramente cada una de las condiciones 2 mencionadas, aunque posiblemente no sea tan evidente que el proceso {Bt t} sea tambin una martingala, ello no es dif de vericar y se deja como ejercicio. La e cil parte fuerte de esta caracterizacin radica en que estas condiciones denen a un o movimiento Browniano. Ejercicio. Use la caracterizacin de Paul L`vy para demostrar nuevamente que o e los siguientes procesos son movimientos Brownianos. a) Wt = Bt . b) Wt = 1 Bc2 t , con c > 0 constante. c c) Wt = t B1/t , con W0 = 0. d) Wt = Bt+t0 Bt0 , con t0 0 jo.
El movimiento Browniano como l mite de una caminata aleatoria. Considere una caminata aleatoria simtrica simple sobre Z que inicia en el origen, es e decir, sea Xn = 1 + + n , en donde 1 , 2 , . . . son variables aleatorias independientes e idnticamente distribuidas tales que P ( = +1) = P ( = 1) = 1/2. e Es decir, E() = 0 y Var() = E( 2 ) = 1. Suponga que la unidad en la variable tiempo es ahora de longitud t = 1/N , con N entero. El objetivo es hacer t cada vez ms pequeo. Para lograr una versin discreta del movimiento Browniano es a n o necesario hacer tambin un cambio la escala en el tamao de los saltos, ahora e en n no sern unitarios sino de longitud t, ms adelante explicaremos las razones de a a esta eleccin. Para cada nmero natural n dena ahora la caminata aleatoria o u Wnt = t 1 + + t n , una de cuyas trayectorias aparece en la Figura 8.3.
Cap tulo 8. Movimiento Browniano Dada la simetr de la caminata, sia gue cumplindose que E(Wnt ) = 0. e La razn por la que se ha tomado esa o nueva escala en el tamao de los saltos n es que con ello se logra similitud con el movimiento Browniano estndar al a cumplirse tambin que para cualquier e valor de n, Var(Wnt ) = nt Var() = nt. Puede demostrarse que cuando t 0 esta caminata tiende a un proceso a tiempo continuo con trayectorias continuas. El proceso l mite resultante es el movimiento Browniano estndar. a
213
3 t 2 t t
t t
2t
3t
4t
5t
6t
7t
8t
2 t
Figura 8.3:
Esta aproximacin del movimiento Browniano como l o mite de una caminata aleatoria sugiere un mecanismo para simular trayectorias Brownianas por computadora: Se escoge t pequeo y N el nmero de puntos que se deseen gracar. Se genen u ran entonces N valores independientes de la variable con distribucin uniforme o en el conjunto {1, +1}, y se graca la sucesin de puntos (kt, Wkt ), para o k = 0, 1, . . . , N . En la prctica suelen generarse valores continuos para con distria bucin normal estndar. Este es el mecanismo seguido para generar la grca de o a a la Figura 8.2 y las otras trayectorias Brownianas que aparecen en este cap tulo. Difusin. Suponga que se coloca una part o cula al azar en la recta real de acuerdo a una densidad de probabilidad f (y). Suponga ahora que esta part cula se mueve siguiendo un movimiento Browniano estndar unidimensional. Entonces la densidad a de probabilidad de la posicin de la part o cula despus de t unidades de tiempo es e la funcin f (t, x) dada por o f (t, x) =

f (y) p(t, y, x) dx =
f (y) p(t, x, y) dx,
en donde para la segunda igualdad se ha hecho uso de la identidad p(t, y, x) = p(t, x, y), pero ahora esta ultima expresin adquiere una interpretacin interesante o o pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx niano que inicia en x, es decir, f (t, x) = E(f (Bt )). A esta funcin tambin se le o e x denota por E (f (Bt )), y puede demostrarse que satisface la ecuacin o 1 2 f (t, x). f (t, x) = t 2 x2
214
8.4. Propiedades de las trayectorias
8.4.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denicin de variacin o o de una funcin. Sea a = t0 < t1 < < tn = b una particin del intervalo [a, b], o o y dena t = mx {|ti+1 ti | : i = 0, . . . , n 1}. La variacin de una funcin a o o g : [a, b] R es el nmero u
n1
l sup m
t0 i=0
|g(ti+1 ) g(ti )|.
Cuando este nmero es nito se dice que la funcin tiene variacin nita en dicho u o o intervalo. Anlogamente, la variacin cuadrtica es a o a
n1
l sup m
t0 i=0
|g(ti+1 ) g(ti )|2 .
Demostraremos a continuacin que sobre un intervalo de tiempo acotado [a, b], casi o todas las trayectorias del movimiento Browniano tienen variacin no acotada, esto o es,
n1
l sup m
t0 i=1
|Bti+1 Bti | = ,
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir algn tipo de integral respecto del movimiento Browniano ser claro en el siguiente u a cap tulo cuando se estudian ecuaciones diferenciales estocsticas. Por otro lado dea mostraremos tambin que la variacin cuadrtica del movimiento Browniano sobre e o a [a, b] es nita, de hecho, es la longitud del intervalo en cuestin. o Proposicin. La variacin cuadrtica de una trayectoria del movimiento Browo o a niano sobre el intervalo [a, b] es la longitud del intervalo, es decir,
n1
l sup m
t0 i=1
|Bti+1 Bti |2 = b a,
en el sentido L2 (P ).
215
Demostracin. Sea {Pn } una sucesin de particiones nitas del intervalo [a, b]. o o Denote por ti el incremento ti+1 ti , y sea Bi la diferencia Bti+1 Bti . Entonces E|
i
(Bi )2 (b a)|2
i,j
=E =
i
(Bi )2 (Bj )2 2(b a)E
(Bi )2 + (b a)2 (ti ) + (b a)2
E(Bi )4 +
i=j
E(Bi )2 E(Bj )2 2(b a)

2
=
i
3(ti ) +
i=j
ti tj (b a) ti )2 (b a)2
=
i
2(ti )2 + (
i
=
i
2(ti )
2(b a) mx ti 0. a
0i<n
Recordemos ahora el resultado que establece que toda toda sucesin convergente o en el sentido L2 (P ) tiene una subsucesin convergente casi seguramente. Por lo o tanto existe una subsucesin de particiones {Pnk } del intervalo [a, b] tal que o
n1
l sup m
t0 i=1
|Bti+1 Bti |2 = b a,
c.s.
Proposicin. (Variacin del movimiento Browniano). La variacin de una trao o o yectoria del movimiento Browniano sobre el intervalo [a, b] es innita, casi seguramente, es decir,
n1
l sup m
t0 i=1
|Bti+1 Bti | = ,
c.s.
216
8.4. Propiedades de las trayectorias
Demostracin. Para cada n natural sea Pn la particin uniforme del intervalo [a, b] o o en n subintervalos, es decir cada incremento ti = ti+1 ti tiene longitud (ba)/n. Entonces se tiene la estimacin o
n1 i=0 n1
|Bi |2 ( mx |Bi | ) a
0i<n
i=0
|Bi |.
(8.2)
Sea {Pnk } subsucesin de particiones uniformes tal que o

k
l m
nk 1 i=0
|Bi |2 = b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi seguramente, se tiene que
k
l ( mx |Bi | ) = 0, m a
0i<nk
c.s.
Substituyendo los ultimos dos resultados en (8.2) se obtiene que, respecto de la subsucesin de particiones, o l m
nk 1 i=0
|Bi | = ,
c.s.
De donde se sigue que el l mite superior es innito casi seguramente. No diferenciabilidad. Demostraremos a continuacin que para cualquier tiempo o t0 0 jo, con probabilidad uno la trayectoria t Bt no es diferenciable en t0 . Ms adelante se enuncia sin demostracin un resultado ms fuerte acerca de esta a o a no diferenciabilidad. Proposicin. Sea t0 0 jo. Con probabilidad uno, el movimiento Browniano o {Bt } no es diferenciable en t0 . e Demostracin. Debido a que Bt+t0 Bt0 es tambin un movimiento Browniano, o es suciente demostrar la no diferenciabilidad de Bt en t = 0. Demostraremos que con probabilidad uno, para cada nmero natural n existe t en el intervalo [0, 1/n2] u
217
tal que | 1 Bt | > n. Esta propiedad implica que Bt no es diferenciable en t = 0. Para t cada nmero natural n dena el evento u 1 An = { | Bt | > n, t para algn t [0, 1/n2] }, u
y observe que A1 A2 Entonces P (An ) = = = 1 B1/n4 | > n ) 1/n4 1 P ( |B1/n4 | > 3 ) n 1 2 P ( |n B(1/n4 )(1) | > ) n 1 P ( |B1 | > ) 1 cuando n . n P( |
e Hemos usado el hecho de que 1 Bc2 t es tambin un movimiento Browniano para c cualquier c > 0 constante. Por lo tanto P (A1 ) P (A2 ) 1. Es decir, P (An ) = 1 para cualquier n 1. Es decir, para cada t0 0, el conjunto de trayectorias t Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente resultado, ms fuerte y que se enuncia sin demostracin, asegura que con probaa o bilidad uno no hay diferenciabilidad en ningn punto. Observe que el conjunto de u tiempos t0 0 no es numerable y por lo tanto la armacin no se sigue de manera o obvia del resultado anterior. Proposicin. Con probabilidad uno, el movimiento Browniano {Bt } no es o diferenciable en ningn t 0. u Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extraas, que son continuas pero no diferenciables en ning n punto. La grca n u a de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo incesante del movimiento de la part cula no permite la diferenciabilidad de su trayectoria en ning n u punto. Este tipo de resultados son los que dan la pauta para buscar desarrollar una teor de la diferenciabilidad de funciones un poco ms amplia que la proporcionada a a por el clculo diferencial tradicional. a
218
8.5. Movimiento Browniano multidimensional
8.5.
Movimiento Browniano multidimensional
El movimiento Browniano que hemos estudiado con valores en R puede extenderse a un proceso con valores en Rn de la siguiente forma. Denicin. Sean B1 (t), . . . , Bn (t) movimientos Brownianos independientes o unidimensionales. El movimiento Browniano en Rn es el proceso B(t) = (B1 (t), . . . , Bn (t)).
En la Figura 8.4 puede apreciarse una simulaB2 (t) cin de una trayectoria Browniana en R2 . En o completa analog con el caso unidimensional, a este proceso puede denirse de manera alternativa mediante los siguientes postulados. Primeramente se pide que B(0) = (0, . . . , 0) caB1 (t) si seguramente. Se presupone adems que las a trayectorias t B(t) son continuas, y que el proceso tiene incrementos independientes. FiFigura 8.4: nalmente, para cualesquiera tiempos 0 s < t, el vector B(t)B(s) tiene una distribucin noro mal multivariada con media el vector de ceros (0, . . . , 0), y matriz de covarianzas la matriz diagonal 2 (t s)1 0 .. Var(B(t) B(s)) = . . 0
2 (t s)n
Es decir, la funcin de densidad del vector B(t) B(s) es o f (x1 , . . . , xn ) = 1 2(t

2 s)1
ex1 /2(ts)1
2 2 1 exn /2(ts)n . 2 2(t s)n
Cuando los valores de los parmetros son todos uno, se dice nuevamente que a
219
el movimiento Browniano es estndar, y la funcin de densidad de B(t) B(s) a o adquiere la expresin compacta o f (x1 , . . . , xn ) =
2 1 e||x|| /2(ts) , n/2 (2(t s))
en donde ||x|| = x2 + + x2 . Como en el caso unidimensional, puede considen 1 rarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier t > 0 la probabilidad de transicin o densidad de B(t) es o p(t, x, y) =
2 1 e||yx|| /2t , n/2 (2t)
que nuevamente cumple al ecuacin de Chapman-Kolmogorov o p(t + s, x, y) =

Rn
p(t, x, u) p(s, u, y) du.
El proceso de Bessel. Sea B(t) un movimiento Browniano en Rn . El proce2 2 so de Bessel es el proceso dado por R(t) = ||B(t)|| = (B1 (t) + + Bn (t))1/2 . Es decir, R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t, y por eso se le llama a veces movimiento Browniano radial. Se trata pues de un proceso con valores en [0, ) que evidentemente tiene trayectorias continuas. Puede demostrarse (vase [1]) que este proceso e cumple la propiedad de Markov y que la funcin de probabilidades de transicin o o p(t, x, y) puede expresarse en trminos de las funciones de Bessel, y de all es de e donde adquiere este nombre alternativo. Ecuacin de calor en dominios acotados. Vamos a enunciar sin demostracin o o un resultado que nos llevar a una aplicacin del movimiento Browniano. Considere a o una regin abierta y acotada D de Rn con frontera D, y suponga que la funcin o o u(t, x) representa la temperatura en el punto x D al tiempo t 0. La evolucin o en el tiempo de esta funcin est dada por la ecuacin de calor o a o d u(t, x) = u(t, x), t 2 en donde es el operador Laplaciano, y d es una constante positiva. Suponga adems que se tiene una temperatura inicial u(0, x) = f (x) para x D, y la a condicin de frontera u(t, x) = g(x) para x D. Sea x un punto cualquiera o x x en D y dena el tiempo = {t > 0 : Bt D}, en donde {Bt } es un nf
220
8.5. Movimiento Browniano multidimensional
movimiento Browniano de parmetro 2 = d, y que inicia en x. La solucin a esta a o ecuacin de calor con las condiciones mencionadas se puede expresar en trminos o e del movimiento Browniano de la siguiente forma
x x u(t, x) = E( f (Bt )1( >t) + g(B )1( t) ).
(8.3)
Conforme t la estructura de la ecuacin de calor hace que la solucin u(t, x) o o se aproxime a una funcin u(x), la solucin estacionaria de la ecuacin de calor, o o o que satisface u(x) = 0, para x D, y conservando la condicin de frontera u(x) = g(x) para x D, es o decir, x E( g(B ) ) si x D, u(x) = l u(t, x) = m t g(x) si x D. Ejemplo: El problema de la ruina del jugador con trayectorias Brownianas. Suponga que un movimiento Browniano unidimensional inicia en el punto x dentro del intervalo (a, b), con 0 a < b < . Cul es la probabilidad de que el proceso a tome el valor a antes que b? Una trayectoria Browniana que cumple tal condicin se o muestra en la Figura 8.5(a). Este es el problema de la ruina del jugador estudiado antes slo que ahora el capital del jugador cambia continuamente siguiendo un o movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula. x Dena nuevamente el tiempo de paro = {t > 0 : Bt = a Bt = b}. Nos nf o x interesa encontrar x x u(x) = P (B = a) = E(1{a} (B )). Por lo anterior, esta funcin cumple la ecuacin u (x) = 0, para a < x < b, con o o condiciones de frontera u(a) = 1 y u(b) = 0. La solucin es u(x) = (b x)/(b a), o cuya grca se muestra en la Figura 8.5(b). a
221
Bt b x a t (a) 1
u(x)
a (b)
Figura 8.5:
8.6.
El principio de reexin o
Este resultado tiene una interXt () pretacin geomtrica fcil de o e a entender. Considere un movimiento Browniano que inicia en a, y sea b otro nmero tal u que b > a. El conjunto de trab yectorias que tocan la l nea hoa rizontal y = b en algn tiemu po s [0, t], se descompone en dos conjuntos ajenos que son simtricos uno del otro y e t tienen idntica probabilidad: e Figura 8.6: aquel conjunto de trayectorias que nalizan en algn punto u arriba de b, y el conjunto de trayectorias que terminan por abajo de b. En la Figura 8.6 se ilustra esta situacin. Una vez que una trayectoria toca el punto b, es o igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este resultado adquiere su nombre debido a esta propiedad de reexin y facilita el clculo de o a algunas probabilidades, en particular, lo usaremos para demostrar la propiedad de recurrencia puntual del movimiento Browniano unidimensional.
222
a Proposicin. (Principio de reexin). Sea Bt un movimiento Browniano que o o empieza en a, y sea b > a. Para cualquier t > 0, a a P ( Bs b para algn s [0, t] ) = 2 P (Bt b). u
(8.4)
Demostracin. Sea el primer momento en el que el movimiento Browniano es o a igual a b, es decir, sea = {t 0 : Bt = b}. Esta variable aleatoria puede nf tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a P ( Bs b para algn s [0, t] ) = u
= =
P ( t)
P ( < t) + P ( = t) P ( < t).
a a La ultima igualdad se debe a que P ( = t) P (Bt = b) = 0, por ser Bt una variable aleatoria continua. Por otro lado, a P (Bt b) = a P (Bt b | t) P ( t)
a P (Bt b 0 | < t) P ( < t),
(8.5)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del evento a a a ( < t), la variable Bt b = Bt B tiene distribucin N(0, (t ) 2 ). Por lo o a tanto P (Bt b 0 | < t) = 1/2. Substituyendo en (8.5) se obtiene
a P ( < t) = 2 P (Bt b).
8.7.
Recurrencia y transitoriedad
En esta seccin encontraremos la probabilidad de que el movimiento Browniano o eventualmente regrese a su posicin de origen. Veremos que la respuesta depende o de la dimensin del proceso. Empezaremos estudiando una propiedad general en el o caso unidimensional.
223
Proposicin. Sea {Bt } un movimiento Browniano unidimensional que inicia o en cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . Entonces 2 t1 P ( Bt = 0 para algn t [t1 , t2 ] ) = 1 arctan u . t2 t1
Demostracin. Para cualquier u > 0, mediante argumentos de traslacin y por el o o principio de reexin se tiene que o P ( Bt = 0 para algn t [t1 , t2 ] | Bt1 = u ) u = P ( Bt u para algn t [0, t2 t1 ] ) u = P ( Bt u para algn t [0, t2 t1 ] ) u = 2 P (Bt2 t1 u).
Por simetr se tiene la misma probabilidad para el caso u < 0. Entonces a P ( Bt = 0 para algn t [t1 , t2 ] ) u = = =4 =4
0
P ( Bt = 0 para algn t [t1 , t2 ] | Bt1 = u ) p(t1 , 0, u) du u 2 P ( Bt2 t1 u ) p(t1 , 0, u) du P ( Bt2 t1 u ) p(t1 , 0, u) du (

u u
p(t2 t1 , 0, v) dv) p(t1 , 0, u) du 1 2(t2 t1 ) ev

2
=4
0
/2(t2 t1 )
2 1 eu /2t1 dv du. 2t1
Haciendo el cambio de variable (x, y) = (u/ t1 , v/ t2 t1 ) se obtiene la expresin o equivalente 4

0 x t1 / t2 t1
1 (x2 +y2 )/2 e dy dx. 2
Ahora se resuelve esta integral usando coordenadas polares. La regin de inteo gracin {(x, y) : x 0 y y x t1 / t2 t1 } que se muestra en la Figura 8.7, o
224
corresponde a la regin polar {(r, ) : r > 0 y (arctan t2t1 1 , /2)}. Por lo o t tanto la probabilidad buscada es
/2
t arctan 1
1 r2 /2 e r dr d 2 0 t2 t1 t1 1 = 4 ( arctan ) 2 2 t2 t1 2 t1 = 1 arctan . t2 t1
er
/2
r dr
y=
t1 x t2 t1
= arctan
t1 t2 t1
Figura 8.7: Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional. Proposicin. (Recurrencia puntual del mov. Browniano unidimensional). Con o probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posicin de origen una innidad de veces casi seguo ramente.
Demostracin. Haciendo t2 tender a innito en la frmula recin demostrada e o o e intercambiando el l mite con la probabilidad, lo cual es vlido pues la sucesin de a o
Cap tulo 8. Movimiento Browniano eventos es creciente, se obtiene que para cualquier valor positivo de t1 , t1 2 ) = 1. P ( Bt = 0 para algn t [t1 , ) ) = l (1 arctan u m t2 t2 t1
225
Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese al cero para algn tiempo t dentro del intervalo [t1 , ) es uno, sin importar la u magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de Markov, inicia en ese momento otro movimiento Browniano que eventualmente regresar nuevamente a cero con probabilidad uno. De esta manera regresar a a a cero una innidad de veces con probabilidad uno. Esta propiedad de recurrencia signica que una trayectoria como la de la Figura 8.2 cruzar una innidad de veces el eje horizontal, casi seguramente. Puede uno tama bin considerar que el movimiento inicia en un punto cualquiera x obtenindose e e la misma propiedad de recurrencia al punto x. La siguiente conclusin es tambin o e muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t , con W0 = 0, es tambin un movimiento Browniano. Ahora, dado que Bt es cero para una ine nidad de valores de t en cualquier intervalo de la forma [t1 , ), se tiene entonces que Wt es cero una innidad de veces dentro del intervalo (0, 1/t1 ). Es decir, en cualquier vecindad de t = 0, las trayectorias del movimiento Browniano cruzan el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusin o puede obtenerse directamente de la frmula recin demostrada tomando t2 > 0 jo o e y haciendo t1 0, es decir, 2 t1 P ( Bt = 0 para algn t (0, t2 ] ) = l (1 arctan u m ) = 1. t1 0 t2 t1 En el caso de dimensiones mayores la situacin es distinta. o
226
Proposicin. Sea B(t) un movimiento Browniano n-dimensional que inicia en o el origen, y sea el disco D = {x Rn : ||x|| < r}, para algn r > 0. u 1. Cuando n = 2, con probabilidad uno el movimiento Browniano visita la vecindad D en una innidad de tiempos no acotados. Esto es, el proceso es recurrente por vecindades. Sin embargo no es recurrente puntual pues la probabilidad de que regrese exactamente al punto de partida es cero. 2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe una probabilidad positiva de que el proceso nunca regrese a la vecindad del punto de partida.
Demostracin. Sean r1 y r2 dos radios tales que 0 < r1 < r2 , y dena la regin o o A = {x Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8.8. La frontera de A es A = {x Rn : ||x|| = r1 o ||x|| = r2 }, y ||x|| = x2 + x2 . 1 2
r1
r2
Figura 8.8: Suponga que el movimiento Browniano inicia en el origen y que en alg n tiempo u posterior se encuentra en un punto x dentro de la regin A. Dena la funcin f (x) o o como la probabilidad de que el movimiento Browniano que parte de x llegue a la circunferencia exterior {x Rn : ||x|| = r2 } antes que a la circunferencia interior {x Rn : ||x|| = r1 }. Es decir, si se dene el tiempo de paro = {t > 0 : B(t) D}, nf
227
entonces f (x) = P ( ||B( )|| = r2 | B(0) = x ). Esta funcin puede tambin escribirse o e como f (x) = E( g(B( )) | B(0) = x ), en donde g(x) : A R es la funcin indicadora o g(y) = La funcin f (x) satisface o f (x) = 0, con condiciones de frontera f (y) = g(y) = 1 0 si ||y|| = r2 , si ||y|| = r1 . (8.6) 1 0 si ||x|| = r2 , si ||x|| = r1 .
Dada la simetr del movimiento Browniano, la funcin f (x) depende de x slo a a o o travs de la magnitud ||x||. Sea entonces f (x) = (||x||) para alguna funcin (r) e o con r = ||x||. En este caso particular, conviene escribir al operador de Laplace en coordenadas esfricas adquiriendo la expresin e o = = d n1 d (r ) dr dr n1 d d2 + . dr2 r dr 1 rn1
Por lo tanto, la ecuacin (8.6) se escribe o (r) + n1 (r) = 0, r para r (r1 , r2 ),
y las nuevas condiciones de frontera son (r2 ) = 1 y (r1 ) = 0. La solucin general o de esta ecuacin es o (r) = c1 ln r + c2 c1 r2n + c2 si n = 2, si n 3,
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene (||x||) (||x||) = = ln ||x|| ln r1 ln r2 ln r1 2n r1 ||x||2n 2n 2n r1 r2 si n = 2, si n 3. (8.7) (8.8)
228
Estos resultados nos permitirn encontrar las probabilidades buscadas tomando a algunos l mites sobre los radios r1 y r2 . Para el caso n = 2, la probabilidad de que el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor del cero es, por (8.7),
r2
l m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x ) = l m = 0.

r2
ln ||x|| ln r1 ln r2 ln r1
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de radio r1 alrededor del origen es uno. Y regresar a dicho disco en una innidad de a tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto de origen es cero. Esto es consecuencia nuevamente de (8.7) al tomar el l mite cuando r1 0. Es decir, la probabilidad de que el proceso tome el valor (0, 0) antes de que toque el c rculo de radio r2 es
r1 0
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x ) m = l ( 1 m = 0.

r1 0
ln ||x|| ln r1 ) ln r2 ln r1
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en x nunca visite el disco de radio r1 alrededor del cero es, por (8.8),
r2
l m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x ) = l m

2n r1 ||x||2n 2n 2n r2 r1 r2 r1 n2 ) =1( ||x|| > 0.
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca visite el disco de radio r1 alrededor del origen, cuando inicia en x. Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl citamente, la probabilidad de un retorno exacto al origen es cero pues por (8.8), esta
Cap tulo 8. Movimiento Browniano probabilidad es

r1 0
229
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x ) m = l (1 m

r1 0 2n r1 ||x||2n 2n 2n ) r1 r2
= 0.
Notas y referencias
El lector puede encontrar una muy interesante y motivadora exposicin histrica o o sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward Nelson [24]. Este libro se encuentra disponible en formato electrnico en la pgina o a web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [19], Lawler [23], Nelson [24], y Tudor [38].
230
Norbert Wiener (USA 18941964). Norbert Wiener fue ante todo un nio prodigio. En 1903 a n la edad de 9 aos ingres a la preparatoria Ayer en Massan o chusetts, la cual concluy en 1906 para ingresar despus al o e colegio Tufts en donde estudi matemticas con el apoyo y o a asesor de su padre. En 1909 se gradu del colegio Tufts a o a la edad 14 aos e ingres a la universidad de Harvard n o para realizar estudios de posgrado en Zoolog Con ayuda a. de una beca ingres despus a la universidad de Cornell en o e 1910 en donde tom cursos de posgrado en matemticas y o a losof pero su desempeo all no fue del todo satisfaca, n torio y su padre lo regres a Harvard para continuar sus o N. Wiener estudios de losof Se gradu en Harvard a la edad de a. o 18 aos con una tesis sobre lgica matemtica bajo la direccin de Karl Schmidt. n o a o Despus de Harvard viaj a Cambridge, Inglaterra, para estudiar junto a Bertrand e o Russell y en donde asisti a algunos cursos dictados por G. H. Hardy. En 1914 o viaj a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Reo gres a los Estados Unidos dos d antes del inicio de la primera guerra mundial. o as Muri en Estocolmo a la edad de 69 aos despus de sufrir un segundo ataque o n e al corazn. Una universidad en el Per lleva ahora su nombre. Fuente: Archivo o u MacTutor, Universidad de St. Andrews.
231
Paul Pierre L`vy (Francia 18861971). e Paul L`vy naci dentro de una familia con tradicin mae o o temtica. Su abuelo fue profesor de matemticas y su padre a a estudi geometr y trabaj en la Ecole Polytechnique. De o a o pequeo, L`vy asisti al Lyce Saint Louis en Paris, en n e o e donde mostr ser un excelente estudiante, sobresaliendo y o ganando premios no slo en matemticas sino tambin en o a e Griego, f sica y qu mica. Ingres despus a la Ecole Polyo e technique y siendo all an estudiante public su primer u o art culo en matemticas en 1905, el cual tocaba temas de a series convergentes. Despus de un ao de servicio militar, e n P. P. L`vy e ingres en 1907 a la Ecole des Mines, y asisti a cursos de o o matemticas en la Sorbonne. En 1910 concluy sus estudios en la Ecole des Mines, a o y realiz a partir de entonces trabajos de investigacin en anlisis funcional que o o a le llevaron a obtener el grado de Docteur s Sciences en 1912 bajo el escrutinio e de E. Picard, H. Poincar y J. Hadamard. Trabaj como profesor en la Ecole des e o Mines de Saint-Etienne en Paris de 1910 a 1913, y en la Ecole Nationale Suprieure e de Mines de 1914 a 1951. Tambin imparti clases en la Ecole Polytechnique de e o 1920 a 1959, ao en el que se jubil. En 1963 fue nombrado miembro honorario n o de la London Mathematical Society, y en 1964 fue elegido miembro de la Acadmie e des Sciences. Paul L`vy realiz contribuciones importantes en la teor de la proe o a babilidad, el anlisis funcional y las ecuaciones diferenciales parciales. Dentro de a sus textos publicados se encuentran Leons danalyse funtionelle (1922), Calcul des c probabilits (1925), Theorie de laddition des variables alatoires (1937), y Procese e sus stochastiques et mouvement Brownien (1948). Paul L`vy fue uno de los ms e a grandes matemticos de su tiempo. Como cient a co fue un ejemplo de individualismo absoluto, era un investigador solitario que slo se preocupaba por plantearse o problemas matemticos de su inters y buscaba su solucin a travs de la reexin a e o e o interior. No participaba mayormente en los congresos internacionales excepto posiblemente hacia el nal de su vida. A menudo encontraba por si mismo resultados ya conocidos, y otras veces descubr resultados importantes nuevos sin darles mucha a publicidad pues los cre ya conocidos. Paul L`vy fue un ejemplo de un hombre de a e pensamiento de originalidad profunda, indiferente a las escuelas y mtodos establee cidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues no tem de ninguna manera a la soledad intelectual. Fuente: Archivo MacTutor, a Universidad de St. Andrews.
232
Ejercicios
Movimiento Browniano unidimensional
163. Sea {Bt } un movimiento Browniano de parmetro 2 . Demuestre que Wt = a Bt/2 es un movimiento Browniano estndar. a 164. Sea = 0 una constante. Demuestre que si {Bt } es un movimiento Browniano estndar, entonces los siguientes procesos son movimientos Brownianos de a parmetro 2 . a a) Wt = Bt . b) Wt = B2 t . 165. Sea Bt un movimiento Browniano de parmetro 2 . A partir de la denia cin, demuestre que el proceso Wt = tB1/t , con W0 = 0, es un movimiento o Browniano de parmetro 2 . a 166. Demuestre que la funcin de covarianza del movimiento Browniano estndar o a es Cov(Bs , Bt ) = s t. 167. Sea t0 > 0 jo y sea Bt es un movimiento Browniano estndar. Demuestre a que el proceso {Bt0 Bt0 t : 0 t t0 } es un movimiento Browniano en el intervalo [0, t0 ]. Este es un movimiento Browniano con tiempo invertido. 168. Sea {Bt } un movimiento Browniano de parmetro 2 . Demuestre que para a cualesquiera tiempos t = s, P (Bt > Bs ) = 1/2. 169. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo niano unidimensional de parmetro 2 satisface la ecuacin de difusin (tama o o bin llamada ecuacin de calor): e o 2p p . = t 2 y 2 170. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo niano unidimensional de parmetro 2 cumple la ecuacin de Chapman- Kola o mogorov p(t + s, x, y) =
p(t, x, u) p(s, u, y) du.
Cap tulo 8. Movimiento Browniano 171. Sea {Bt } un movimiento Browniano estndar. Demuestre que a a) E|Bt Bs | = 2|t s| . b) E(Bt Bs )2 = |t s|. c) E(Bs Bt ) = m n{s, t}. s/t, para 0 s t.
233
d ) (Bt , Bs ) =
172. Demuestre que el movimiento Browniano es una martingala respecto de su ltracin natural. o
2 173. Sea {Bt } un movimiento Browniano. Demuestre que el proceso {Bt t} es tambin una martingala respecto de la misma ltracin. e o
174. Sea {Bt } un movimiento Browniano de parmetro 2 que inicia en cero. Sea a a una constante y dena el tiempo = {t 0 : Bt = a}. Encuentre la nf funcin de densidad de . o 175. Movimiento Browniano reejado en el origen. Sea Bt un movimiento Browniano estndar. El proceso Xt = |Bt | corresponde a un movimiento Browa niano que slo toma valores positivos pues las trayectorias son reejadas o respecto del origen hacia la parte positiva del eje. Demuestre que Xt es un proceso de Markov con trayectorias continuas y que tiene funcin de probao bilidad de transicin q(t, x, y) dada por o q(t, x, y) = p(t, x, y) + p(t, x, y), para cualesquiera valores x, y 0, en donde p(t, x, y) es la correspondiente funcin de probabilidad de transicin del movimiento Browniano. Compruebe o o adems que a a) E(Xt ) = 2t/. b) Var(Xt ) = (1 2/)t.
x 176. Movimiento Browniano con absorcin en el origen. Sea {Bt } un movimiento o Browniano estndar que inicia en x > 0. Dena el tiempo = a nf{t 0 : x Bt = 0} y el proceso
Xt =
x Bt 0
si 0 t , si t > ,
el cual representa un movimiento Browniano que inicia en x con la caracter stica de que una vez que llega al cero permanece en ese estado el resto del tiempo.
234
8.7. Recurrencia y transitoriedad a) Demuestre que {Xt } es un proceso de Markov con trayectorias continuas.
b) Observe que la variable Xt es mixta, es decir, no es discreta ni continua. Demuestre que la funcin de probabilidad de transicin del proceso {Xt } o o es, en su parte continua, q(t, x, y) = p(t, 0, y x) p(t, 0, y + x), para x, y > 0, en donde p(t, x, y) es la correspondiente funcin para Bt , un o movimiento Browniano que inicia en cero. Demuestre adems que, para a la parte discreta, q(t, x, 0) = 2(1 F (x)), en donde F (x) es la funcin o de distribucin de Bt . o
c) Calcule E(Xt ) y Var(Xt ). 177. La martingala exponencial. El proceso que se obtiene al tomar la exponencial de un movimiento Browniano no es, en general, una martingala, sin embargo, aadiendo un trmino extra este nuevo proceso puede convertirse en una n e martingala y se le llama martingala exponencial. Ms espec a camente, sea Bt un movimiento Browniano estndar y sea c una constante. Dena el proceso a Xt = exp ( cBt c2 t/2 ). Compruebe que Xt es efectivamente una martingala respecto de la ltracin natural del movimiento Browniano y verique adems o a 2 que E(Xt ) = 1 y Var(Xt ) = ec t 1. 178. El puente Browniano en [0, 1]. Sea {Bt } un movimiento Browniano unidimensional estndar. Demuestre que la distribucin condicional de la variable a o Bt , con t (0, 1), dado que B0 = 0 y B1 = 0, es f (x) = 1 2 t(1 t) ex
2
/2t(1t)
para < x < , es decir, Bt tiene distribucin condicional N(0, t(1 t)). o A este proceso condicionado se le conoce con el nombre de puente Browniano en el intervalo unitario (0, 1). El siguiente ejercicio generaliza este resultado. 179. El puente Browniano en [t1 , t2 ]. Sea {Bt } un movimiento Browniano unidimensional estndar, y sean t1 y t2 dos tiempos jos tales que 0 t1 < t2 . a Demuestre que la distribucin condicional de la variable Bt , con t (t1 , t2 ), o dado que Bt1 = a y Bt2 = b, es N(, 2 ) con 2 = = a+ t t1 (b a), t2 t1 (t2 t)(t t1 ) . t2 t1
235
Movimiento Browniano multidimensional

180. Sea B(t) = (B1 (t), . . . , Bn (t)) un movimiento Browniano estndar en Rn , y a sea r > 0. Sea ||x|| = (x2 + +x2 )1/2 la norma Euclideana en Rn . Demuestre 1 n que la funcin de densidad de ||B(t)|| es, para x > 0, o f (x) = 1 (n/2) 1 2
n/2
x2 t
n/21
2x x2 /2t e . t
En particular, demuestre que para n = 2, P ( ||B(t)|| x ) = 1 ex

2
/2t
181. Demuestre que el operator Laplaciano en R2 , f (x, y) = 2 f /x2 + 2 f /y 2 adquiere la siguiente expresin en coordenadas polares o f (r, ) = 1 1 2 2 f+ f + 2 2 f. 2 r r r r
Compruebe que cuando f depende de x y de y unicamente a travs de r = e o x2 + y 2 , el Laplaciano se reduce a la expresin f (r, ) = d2 1 d f+ f. 2 dr r dr
Este resultado fue usado en la demostracin de la propiedad de recurrencia o por vecindades del movimiento Browniano en R2 . 182. Demuestre que el operator Laplaciano en R3 , f (x, y, z) = 2 f /x2 + 2 f /y 2 + 2 f /z 2 adquiere la siguiente expresin en coordenadas esfricas o e f (r, , ) = 1 2 2 1 1 f. (r )f + 2 (sen )f + 2 r2 r r r sen r sen2 2
Compruebe que cuando f depende de x, y y z unicamente a travs de r = e o x2 + y 2 + z 2 , el Laplaciano se reduce a la expresin f (r, ) = d2 2 d f+ f. 2 dr r dr
Este resultado fue usado en la demostracin de la propiedad de transitoriedad o del movimiento Browniano en R3 .
Cap tulo 9
Clculo estocstico a a
En este ultimo cap tulo se presenta una breve introduccin al clculo estocstico o a a de It. Vamos a denir la integral de It de un proceso estocstico respecto del o o a movimiento Browniano. Mostraremos adems el uso y aplicacin de la frmula de a o o It, y resolveremos algunos modelos sencillos de ecuaciones estocsticas. o a
9.1.
Integracin estocstica o a
El objetivo de esta seccin es presentar la denicin de la integral de It de un o o o proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
T
Xt dBt .
0
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir, como si fuera una integral de Riemann-Stieltjes de una funcin respecto de otra o funcin, pues en este caso la funcin integradora es una trayectoria del movimiento o o Browniano que, como hemos visto antes, no tiene variacin nita. La justicacin o o para desear denir este tipo de integrales ser evidente ms adelante cuando estua a diemos ecuaciones estocsticas basadas en este tipo de integrales. Denir la integral a de It a un nivel elemental nos conducir necesariamente a dejar sin demostracin o a o algunos resultados tcnicos. Daremos la denicin de integral estocstica en varios e o a pasos, primero para procesos simples y despus, por aproximacin, para procesos e o ms generales. a 237
238
9.1. Integracin estocstica o a
Primeras hiptesis. Consideraremos como elementos iniciales un espacio de proo babilidad (, F , P ), y un movimiento Browniano estndar unidimensional {Bt }, a junto con su ltracin natural {Ft }. Supondremos dado un proceso {Xt } con eso pacio parametral el intervalo [0, T ], con T > 0 jo, y que visto como funcin o X : [0, T ] R, es FT B[0, T ]-medible, en donde el trmino FT B[0, T ] e corresponde a la m nima -lgebra generada por el espacio producto FT B[0, T ]. a Supondremos adems que el proceso es adaptado, es decir, para cada t en el intera valo [0, T ], la variable aleatoria Xt es medible respecto de Ft . El espacio L2 (P ). Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que cumplen la condicin o ||X||L2 (P ) = (E |X|2 )1/2 < . La funcin || ||L2 (P ) dene una norma en L2 (P ), es decir, es una funcin real o o denida sobre este espacio lineal que cumple las siguientes cuatro condiciones: a) ||X|| 0. b) ||X|| = 0 X = 0 c.s. c) ||X + Y || ||X|| + ||Y ||. d) ||X|| = || ||X||, constante. Se puede vericar que el espacio lineal L2 (P ) es completo respecto de esta norma, es decir, es un espacio de Banach. Esto quiere decir que toda sucesin de Cauchy o en este espacio tiene l mite en l. A la convergencia usando esta norma se le llama e convergencia en L2 (P ), o tambin convergencia en media cuadrtica. Por ejemplo, e a la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues ||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < . El espacio L2 (P dt). Denotaremos tambin por L2 (P dt) al espacio lineal de e todos los procesos X = {Xt : 0 t T }, que cumplen la condicin o
T
||X||L2 (P dt) = (E
|Xt |2 dt)1/2 < .
Puede demostrarse que la funcin || ||L2 (P dt) es efectivamente una norma y que o este espacio es completo respecto de esta norma, es decir, es un espacio de Banach.
Cap tulo 9. Calculo estocastico
239
Por ejemplo, el movimiento Browniano B = {Bt : 0 t T } pertenece a este espacio pues

T
||B||L2 (P dt)
= (E
0 T
|Bt |2 dt )1/2
= (
0 T
E |Bt |2 dt )1/2 t dt )1/2
= (
0
T < . 2
2 El espacio H0 de procesos simples. Deniremos primero la integral de It para o procesos que tienen la forma indicada a continuacin. o
Denicin. Sea 0 = t0 < t1 < < tn = T una particin nita del intervalo o o [0, T ]. Un proceso estocstico simple es un proceso de la forma a
n1
Xt =
k=0
X (k) 1[tk ,tk+1 ) (t),
(9.2)
en donde X (0) , . . . , X (n1) es una coleccin de variables aleatorias adaptadas o n1 a la ltracin {Ftk }k=0 , y que son cuadrado integrables. o La expresin 1[a,b) (t) denota a la funo Xt () cin indicadora del intervalo [a, b). Un o X (n1) proceso simple es entonces un proceso X (1) constante por pedazos con trayectorias c`dl`g (continuas por la derecha, con a a X (0) l mite por la izquierda), y las condiciones solicitadas garantizan que el proceso es adaptado y tiene trayectorias t cuadrado integrables. Una trayectoria tn1 t1 t2 tn de este tipo de procesos se muestra en 2 Figura 9.1: la Figura 9.1. Denotaremos por H0 al espacio de todos los procesos simples. Haciendo posiblemente algunos renamientos en las particiones, dos procesos sim-
240
ples pueden siempre expresarse en trminos de una misma particin com n. De e o u modo que la suma de dos procesos simples tiene sentido y resultar ser tambin un a e 2 proceso simple. El espacio H0 es efectivamente un espacio vectorial. Integral para procesos simples. Esta es la denicin intuitiva de integral y estao blece simplemente que si el integrando es constante en algn subintervalo, entonces u la integral debe ser esa constante multiplicada por el incremento del movimiento Browniano en dicho subintervalo. Denicin. La integral estocstica de It de un proceso simple X de la foro a o ma (9.2), respecto del movimiento Browniano, denotada por I(X), se dene como la variable aleatoria
T n1
I(X) =
0
Xs dBs =
k=0
X (k) (Btk+1 Btk ).
Veamos algunas propiedades de esta variable aleatoria. a) Es integrable pues siendo las variables X (k) y Btk+1 Btk independientes, cada sumando tiene esperanza cero, y por lo tanto la esperanza de la integral es cero. b) La integral es adems cuadrado integrable y de hecho se cumple la siguiente a igualdad fundamental llamada Isometra de It: o ||I(X)||L2 (P ) = ||X||L2 (P dt) . (9.3)
Para comprobar esta identidad vamos a denotar nuevamente por Bk a la diferencia Btk+1 Btk , y sea tk = tk+1 tk . Nuevamente por la independencia
Cap tulo 9. Calculo estocastico de X (k) y Bk se tiene que

n1
241
||I(X)||2 2 (P ) L
E( |
n1
k=0
X (k) (Btk+1 Btk )|2 )
=
j,k=0 n1
E( X (j) X (k) Bj Bk ) E( (X (k) )2 (Bk )2 )

k=0 n1
= =
k=0
E(X (k) )2 tk E( |Xt |2 dt) 0 ||X||2 2 (P dt) . L

T
= =
Esta identidad establece que tanto el proceso simple X como la variable aleatoria I(X) tienen la misma norma en sus respectivos espacios. Como se ver ms adea a lante, esta igualdad juega un papel primordial en la denicin general de integral o 2 estocstica. La integral estocstica asigna entonces a cada elemento del espacio H0 a a 2 una variable aleatoria en el espacio L (P ). De esta forma se tiene la transformacin o 2 lineal I : H0 L2 (P ), que resulta ser continua por la isometr de It. a o Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado, es decir, se puede tomar como proceso simple X (k) = Btk , y de esta forma tener la integral estocstica discreta del movimiento Browniano respecto a de s mismo,
n1
k=0
Btk (Btk+1 Btk ).
Extensin por aproximacin. Ahora extenderemos la integral estocstica a proo o a cesos un poco ms generales. Sea H2 el espacio de todos los procesos Xt medibles a y adaptados, tales que
T
E
0
|Xt |2 dt < .
El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P dt). Observe que la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide
242
adems que sean medibles y adaptados. En particular, todo proceso simple es un a 2 elemento de H2 . Tenemos entonces la contencin de espacios H0 H2 L2 (P dt), o 2 en donde puede probarse que H0 es denso en H2 respecto de la norma en L2 (P dt). Esto signica que para cualquier proceso X en H2 existe un sucesin de procesos o 2 X k en H0 tales que l ||X X k ||L2 (P dt) = 0. m (9.4)
k
Este procedimiento de aproximacin puede llevarse a cabo de la siguiente forma: o Mediante la tcnica de truncacin todo proceso en H2 puede ser aproximado por un e o proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar por procesos acotados y continuos. Y stos a su vez se aproximan por procesos e simples de la forma (9.2). Los detalles completos de esta sucesin de aproximaciones o pueden encontrarse en [26]. Usando la isometr de It es sencillo comprobar que a o la sucesin I(X k ) es una sucesin de Cauchy en el espacio L2 (P ), en efecto, o o ||I(X k ) I(X l )||L2 (P ) = ||X k X l ||L2 (P dt) = ||I(X k X l )||L2 (P )
||X X k ||L2 (P dt) + ||X X l ||L2 (P dt) . Debido a (9.4) la ultima expresin puede hacerse tan pequea como se desee, to o n mando ndices k y l sucientemente grandes. Denicin. Sea X un proceso en H2 , y sea X k una sucesin de procesos en o o 2 H0 aproximante a X. Se dene la integral estocstica de X como a I(X) = l I(X k ), m
k
en donde el l mite debe entenderse dentro del espacio L2 (P ), es decir, se trata de la convergencia en media cuadrtica de una sucesin de variables aleatorias. a o Esto signica que la variable aleatoria I(X) es un elemento de L2 (P ) y es tal que l n ||I(X) I(X k )||L2 (P ) = 0. No es dif vericar que tal denicin m cil o es correcta en el sentido de que el l mite no depende de la sucesin aproximante. o En este punto empieza a perderse nuestra concepcin tradicional de integral pues o ahora sta se encuentra denida a travs de una sucesin aproximante del proceso e e o a integrar. De manera grca esta extensin se ilustra en la Figura 9.2. a o La isometr de It se cumple tambin para procesos en H2 como se muestra a a o e continuacin. o
243
H2 0 H2 L2 (P dt)
L2 (P )
Figura 9.2: Proposicin. (Isometr de It). Para cualquier proceso X en H2 se cumple o a o ||I(X)||L2 (P ) = ||X||L2 (P dt) . (9.5)
2 Demostracin. Sea X en H2 y sea Xn en H0 tal que ||X Xn ||L2 (P dt) 0. Esta o convergencia y la desigualdad | ||a|| ||b|| | ||a b|| implican que ||Xn ||L2 (P dt) ||X||L2 (P dt) . Anlogamente, como ||I(X) I(Xn )||L2 (P ) 0 se a tiene que ||I(Xn )||L2 (P ) ||I(X)||L2 (P ) . El resultado buscado se obtiene al tomar el l mite en la isometr de It como se muestra en el siguiente diagrama: a o
||I(Xn )||L2 (P ) ||I(X)||L2 (P )
= ||Xn ||L2 (P dt) ||X||L2 (P dt) .
La propiedad de esperanza nula se cumple tambin para procesos en H2 , pues e usando probabilidad elemental, o por la desigualdad de Jensen, 0 E 2 ( I(X) I(X k ) ) E( I(X) I(X k ) )2 0. De donde se obtiene E( I(X) I(X k ) ) 0, es decir, E(I(X)) = l E(I(X k )) = 0. m
k
244
De esta forma se tiene ahora la transformacin lineal y continua I : H2 L2 (P ). o Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en el sentido de la norma del espacio L2 (P dt) por el proceso simple
n1
Xt =
k=0
Btk 1[tk ,tk+1 ) (t),
en donde 0 = t0 < t1 < < tn = T es una particin de [0, T ]. Se tiene entonces la o siguiente integral estocstica particular, y su aproximacin como l a o mite en media cuadrtica a
T n1 k=0
Bt dBt = l m
0
Btk (Btk+1 Btk ),
en donde el l mite debe entenderse en el sentido de que la distancia mxima entre a dos puntos sucesivos de la particin tiende a cero. Ms adelante calcularemos esta o a integral estocstica de dos maneras, primero usando esta representacin como l a o mite en el espacio L2 (P ), y despus usando la frmula de It. e o o La integral como un proceso. Haremos ahora una pequea extensin. Para cada n o t en [0, T ] y para cualquier X en H2 se dene el proceso
T t
It (X) =
0
Xs 1[0,t] (s) dBs =

0
Xs dBs .
Este pequeo articio permite ver a la integral estocstica no como una variable n a aleatoria sino como un proceso. Es claro que tal proceso no es necesariamente continuo, sin embargo puede demostrarse que existe una versin continua de l, y o e que esa versin es una martingala respecto de la ltracin natural del movimiento o o Browniano. Denotaremos por el mismo s mbolo a tal martingala continua. Extensin por localizacin. Mediante un procedimiento llamado de localizacin o o o es posible extender la denicin de integral de It a procesos medibles y adaptados o o que cumplen la condicin menos restrictiva o
T
P(
0
|Xt |2 dt < ) = 1.
(9.6)
Denotaremos por L2 el espacio de todos estos procesos. Este nuevo espacio conloc tiene a H2 y es tal que para cada proceso X en L2 existe una sucesin creciente o loc de tiempos de paro 0 1 2 tales que n T cuando n , y para
245
cada n 1 el proceso Xt 1(n t) pertenece al espacio H2 . Se dene entonces la integral estocstica como el siguiente l a mite en el espacio L2 (P ),
t T
Xs dBs = l m
0
Xs 1(n t) () 1[0,t] (s) dBs .
Nuevamente es posible demostrar que tal l mite existe, que existe una versin cono tinua de l, y que es independiente de la sucesin de tiempos de paro localizante. e o En este caso la integral ya no es una martingala sino una martingala local, esto quiere decir que el proceso detenido Itn (X) es una martingala para cada natural n. En general, la isometr de It ya no se cumple cuando la integral estocstica a o a tiene como dominio de denicin el espacio L2 . o loc Ejemplo. Para el movimiento Browniano unidimensional Bt y para cualquier funcin continua f , el proceso f (Bt ) tiene trayectorias continuas y acotadas, por o lo tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambin (9.6), por lo tanto este proceso es un elemento de L2 , y tiene sentido la e loc expresin o
t
f (Bs ) dBs .
0
Se puede demostrar que esta integral puede ser calculada mediante el siguiente l mite en el espacio L2 (P ), aunque tambin se verica la convergencia en probabie lidad:
t n1
f (Bs ) dBs = l m
0
k=0
f (Btk ) (Btk+1 Btk ),
(9.7)
en donde 0 = t0 < t1 < . . . < tn = t es una particin de [0, t], y nuevamente el o l mite debe entenderse en el sentido de que la distancia mxima entre dos puntos a sucesivos de la particin tiende a cero. o Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de It. Las demostraciones de algunos detalles tcnicos que hemos o e simplemente mencionado se pueden encontrar en [35]. El esquema simplicado del procedimiento seguido para denir la integral estocstica se ilustra la Figura 9.3. a Ejemplo. Con la ayuda de (9.7) calcularemos la integral estocstica a
t
Bs dBs .
0
246
H2 0
Denicin o
H2
Aproximacin o
L2 loc
Localizacin o
L2 (P )
Figura 9.3: Sea 0 = t0 < t1 < < tn = t una particin uniforme de [0, t], es decir ti+1 ti = o 1/n. Usando la identidad a(b a) = se obtiene
t n1
1 1 2 (b a2 ) (a b)2 2 2
Bs dBs
0
l m
j=0 n1
Btk (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Btk+1 Btk ) (Btk+1 Btk )2 ] 2 2 j=0
1 2 1 B t. 2 t 2
La primera suma es telescpica mientras que la segunda suma corresponde a la o variacin cuadrtica del movimiento Browniano. Los l o a mites indicados son vlidos a 1 2 en el sentido de media cuadrtica. Observe que aparece el trmino 2 Bt como si a e 1 se siguieran las reglas de integracin usual, pero aparece tambin el trmino 2 t, o e e conocido como la correccin de It. o o Ahora veamos el cambio en la solucin de la integral cuando se modica ligeramente o la forma de calcular la integral. El cambio consiste en evaluar el integrando en el extremo derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no es adaptado y por lo tanto queda fuera de la teor desarrollada antes. Usando a
Cap tulo 9. Calculo estocastico la identidad
247
1 1 2 (b a2 ) + (a b)2 2 2 se obtiene, nuevamente en el sentido de media cuadrtica, a b(b a) =

t n1
Bs dBs
0
l m
j=0 n1
Btk+1 (Btk+1 Btk )
= =
l m
1 2 1 2 [ (Btk+1 Btk ) + (Btk+1 Btk )2 ] 2 2 j=0
1 2 1 B + t. 2 t 2
El signo del segundo trmino cambi de negativo a positivo. Esto muestra que, a e o diferencia de la integral de Riemann, la integral estocstica es sensible al punto a donde se evala el integrando. Al considerar el promedio de las dos evaluaciones u en los extremos se obtiene la as llamada integral de Stratonovich, denotada de la forma siguiente t 1 2 Bs dBs = Bt . 2 0 Observe que el trmino adicional de la integral de It ha desaparecido. La intee o gral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas usuales del clculo integral, pero vista como proceso deja de ser una martingala. a Ejemplo. calcularemos ahora la esperanza y varianza del proceso
t
Bs dBs .
0
La esperanza es cero pues la integral estocstica en este caso es una martingala. a
248
Para la varianza se tiene que

t t
Var(
0
Bs dBs )
= E(
0 t
Bs dBs )2
2 Bs ds)
= E(
0 t
=
0 t
2 E(Bs ) ds
=
0
s ds 1 2 t . 2
=
t
2 Alternativamente, como 0 Bs dBs = 1 Bt 1 t, las cantidades anteriores pueden 2 2 1 2 1 calcularse usando el lado derecho de esta igualdad. Claramente E( 2 Bt 2 t) = 0. Adems a
1 2 1 Var( Bt t) 2 2
= = = =
1 2 Var(Bt ) 4 1 4 2 (E(Bt ) E 2 (Bt )) 4 1 2 (3t t2 ) 4 1 2 t . 2
Ejemplo. Sean Xt y Yt dos procesos en H2 . Entonces

t t t
E(
0
Xs dBs
0
Ys dBs ) =
0
E(Xs Ys ) ds.
Esta frmula es fcil de comprobar usando la isometr de It y la igualdad ab = o a a o

1 2 (a 1 + b)2 2 (a2 + b2 ). En efecto, t t
249
E(
0
Xs dBs
0
Ys dBs )
t t t 1 1 = E( | (Xs + Ys ) dBs |2 ) (E| Xs dBs |2 + E| Ys dBs |2 ) 2 0 2 0 0 t t 1 t 1 = E|Xs |2 ds + E|Ys |2 ds) E|Xs + Ys |2 ds ( 2 0 2 0 0 t
=
0
E(Xs Ys ) ds.
Propiedades de la integral. La integral estocstica de It cumple varias propiea o dades aunque slo mencionaremos algunas de ellas aqu a manera de resumen de o , las caracter sticas sealadas antes. n a) La integral It : L2 L2 (P ) es lineal, es decir, para c constante y para loc cualesquiera procesos Xs y Ys en L2 , se cumple que loc
t t t
(cXs + Ys ) dBs = c
0 0
Xs dBs +
0
Ys dBs ,
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 , loc

t
E(
0
Xs dBs ) = 0,
c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometra de It, o es decir,

t t
E|
Xs dBs |2 = E
|Xs |2 ds.
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir, es integrable, adaptada y para 0 s t, se cumple
t s
E(
0
Xu dBu | Fs ) =
Xu dBu .
0
En general, para procesos en L2 , la integral ya no es una martingala sino loc una martingala local.
250
9.2. Formula de Ito
e) Existe una versin continua de la integral estocstica. o a
9.2.
Frmula de It o o
Usualmente una integral de Riemann no se calcula a partir la denicin, en lugar de o ello existen frmulas bien conocidas para calcular integrales. La misma situacin se o o presenta para integrales estocsticas: en muy raros casos se calculan stas a travs a e e de su denicin. La famosa frmula de It es la herramienta fundamental para este o o o tipo de integrales. Se enuncia a continuacin este resultado en una versin simple o o y se ejemplica su uso. Ms adelante se presenta una versin un poco ms general. a o a En lo sucesivo haremos referencia a las siguientes espacios de funciones. Una funcin o real de variable real es de clase C 1 , cuando es diferenciable y su derivada es continua. Anlogamente, una funcin es de clase C 2 , si es dos veces diferenciable a o y su segunda derivada es una funcin continua. o Teorema. (Frmula de It I). Sea f (x) es un funcin de clase C 2 . Entonces o o o
t
f (Bt ) f (B0 ) =
f (Bs ) dBs +
1 2
t 0
f (Bs ) ds.
Explicaremos una forma de obtener este resultado usando el teorema de Taylor pero sin dar una justicacin rigurosa de la prueba. Para una funcin f (x) suo o cientemente suave, se tiene que f (x) = f (x0 ) + f (x0 )(x x0 ) + R(x), en donde el residuo R(x) puede escribirse como sigue
x
R(x) =
x0 1
f (t)(x t) dt
=
0
(1 )f (x0 + (x x0 ))(x x0 )2 d.
La segunda igualdad se obtiene despus de un evidente cambio de variable. Por lo e
Cap tulo 9. Calculo estocastico tanto, si 0 = t0 < t1 < < tn = t es una particin de [0, t], entonces o
n
251
f (Bt ) f (B0 )
=
k=1 n
[ f (Btk ) f (Btk1 ) ] f (Btk1 )Bk
=
k=1
+
0
(1 )
f (Btk1 + Bk )(Bk )2 d.
k=1
Puede comprobarse que al tomar el l mite cuando n las sumas convergen casi seguramente y entonces se obtiene la igualdad
t
f (Bt ) f (B0 ) = =
f (Bs ) dBs +
0
0 t 0
(1 )
t 0
f (Bs ) ds d
f (Bs ) dBs +
1 2
f (Bs ) ds.
Esta frmula es una versin estocstica de la regla de la cadena del clculo difeo o a a rencial usual, y es comn escribirla en su forma diferencial del siguiente modo u 1 df (Bt ) = f (Bt ) dBt + f (Bt ) dt. 2 Esta expresin debe entenderse en el sentido de su forma integral arriba enunciado. o Ilustraremos su uso mediante algunos ejemplos.
1 Ejemplo. Sea f (x) = 2 x2 . Entonces la frmula de It establece que o o
1 2 1 2 B B0 = 2 t 2 Es decir,
0 t
Bs dBs +
0
1 2
1 ds.
0
Bs dBs =
1 2 1 B t. 2 t 2
Este resultado hab sido encontrado antes, ahora lo hemos obtenido de manera a 1 inmediata de la frmula de It. De manera anloga, para la funcin f (x) = 3 x3 se o o a o obtiene t t 1 3 2 Bs dBs = Bt Bs ds. 3 0 0
252
9.3. Ecuaciones diferenciales estocsticas a

1 n+1 n+1 x
Ms generalmente, para f (x) = a

t 0 n Bs dBs =
se obtiene
t 0 n1 nBs ds.
1 1 B n+1 n+1 t 2
Ejemplo. Usaremos la frmula de It para encontrar una expresin de los o o o momentos pares de una distribucin normal centrada. Demostraremos que o
2n E(Bt ) =
(2n)! n t . 2n n!
Los momentos impares de dicha distribucin se anulan pues en tal caso el integrando o 1 resulta ser una funcin impar. Consideremos entonces la funcin f (x) = 2n x2n , o o para cualquier entero natural n. De la frmula de It se sigue que o o 1 2n 1 2n B B = 2n t 2n 0
t 0 2n1 Bs dBs +
1 2
t 0 2n2 (2n 1)Bs ds.
Tomando esperanza y resolviendo de manera iterada se obtiene

2n E(Bt ) =
= . . . =
2n(2n 1) t 2n2 E(Bs ) ds 2 0 2n(2n 1) (2n 2)(2n 3) 2 2 (2n)! 2n

t 0 0 t1 tn1
t 0 0
t1
2n4 E(Bs ) ds dt1
1 ds dtn1 dt1 .
No es dif vericar que los resultados sucesivos de estas integrales son: tn1 , cil t2 /2!, t3 /3!, . . ., tn /n! De esta forma se obtiene la frmula enunciada. o n2 n3
9.3.
Ecuaciones diferenciales estocsticas a
Sea (, F , P ) un espacio de probabilidad, y sea {Bt } un movimiento Browniano unidimensional adaptado a la ltracin {Ft }. o
253
Denicin. Sean b(t, x) y (t, x) dos funciones de [0, T ]R en R. Una ecuacin o o estocstica es una ecuacin de la forma a o dXt = b(t, Xt ) dt + (t, Xt ) dBt , (9.8)
denida para valores de t en el intervalo [0, T ], y con condicin inicial la variable o aleatoria X0 que se presupone F0 -medible e independiente del movimiento Browniano. La ecuacin (9.8) se interpreta como la ecuacin integral o o
t t
Xt = X0 +
0
b(s, Xs ) ds +
0
(s, Xs ) dBs ,
(9.9)
en donde la primera es una integral de Riemann, mientras que la segunda es una integral estocstica de It. Al proceso Xt se le llama proceso de It. a o o Los elementos conocidos de esta ecuacin son los coecientes b(t, x) y (t, x), y la o variable aleatoria inicial X0 . La incgnita es el proceso Xt . A la funcin b(t, x) se le o o conoce como coeciente de tendencia (drift en ingls o tambin deriva en espa ol). e e n A la funcin (t, x) se le llama coeciente de difusin. El proceso solucin puede o o o interpretarse como el estado de un sistema que evoluciona de manera determinista gobernado por la parte no aleatoria de la ecuacin (la tendencia), pero alterado o por un ruido aditivo dado por la integral estocstica (la difusin). a o Para que una ecuacin estocstica tenga solucin se deben pedir condiciones en los o a o coecientes. De manera anloga al caso de ecuaciones diferenciales deterministas, a existen teoremas bsicos de existencia y unicidad para ecuaciones estocsticas que a a establecen condiciones de regularidad para los coecientes b(t, x) y (t, x), bajo las cuales la ecuacin (9.8) tiene solucin unica. El siguiente es uno de tales resultados. o o
254
Teorema de existencia y unicidad. Si los coecientes b(t, x) y (t, x) de la ecuacin (9.8) satisfacen la condicin de Lipschitz en la variable x, o o |b(t, x) b(t, y)|2 + |(t, x) (t, y)|2 K|x y|2 , y la condicin de crecimiento en x, o |b(t, x)|2 + |(t, x)|2 K(1 + |x|2 ), para alguna constante K > 0, entonces existe un proceso estocstico {Xt } a solucin de (9.8) que es adaptado a la ltracin, tiene trayectorias continuas, o o 2 es uniformemente acotado en L2 (P ), es decir, sup0tT E(Xt ) < , y adems a es unico en el sentido de indistinguibilidad. En este caso a tal solucin se le llama solucin fuerte de la ecuacin estocstica. No o o o a presentaremos la demostracin de este resultado, simplemente comentaremos alguo nos aspectos de los que consta la prueba completa. La demostracin es semejante o al caso determinista, y hace uso del mtodo de iteraciones de Picard. Mediante este e mtodo se dene la sucesin de procesos e o Xt Xt
(0)
= =
X0 ,
t
(n+1)
X0 +
0
(n) b(s, Xs ) ds +
t 0
(n) (s, Xs ) dBs .
tal que con probabilidad uno, Xt converge a Xt de manera uniforme en el intervalo [0, T ]. Adicionalmente puede demostrarse que el proceso l mite es L2 -acotado (n) en [0, T ], y que la convergencia Xt Xt tambin es vlida en L2 (P ). Tambin e a e debe demostrarse que el proceso l mite es efectivamente solucin de la ecuacin o o estocstica. Para ello se toma el l a mite en la ecuacin que dene las iteraciones, o y se verica la convergencia uniforme en [0, T ] con probabilidad uno, trmino a e trmino. Los detalles de esta demostracin pueden encontrarse por ejemplo en [35]. e o Observe que el teorema anterior no establece la forma de encontrar la solucin a o
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la diferencial respectiva. Para comprobar que tal sucesin de procesos es convergente o se demuestra que, con probabilidad uno, esta sucesin constituye una sucesin de o o Cauchy en el espacio de funciones continuas C[0, T ], respecto de la norma uniforme ||X|| = sup0tT |Xt |. Dado lo anterior, existe entonces un proceso continuo X,
(n)
255
una ecuacin estocstica dada, sino que asegura unicamente la existencia de dicha o a solucin. La siguiente versin de la frmula de It es un resultado bastante util o o o o para resolver algunas ecuaciones estocsticas y generaliza la versin anteriormente a o enunciada. Teorema.(Frmula de It II). Si {Xt } es un proceso de It dado por (9.8) y o o o f (t, x) es un funcin de clase C 1 en t y de clase C 2 en x, entonces el proceso o Yt = f (t, Xt ) es tambin un proceso de It y satisface la ecuacin estocstica e o o a 1 dYt = ft (t, Xt )dt + fx (t, Xt )dXt + fxx (t, Xt )(dXt )2 . 2 (9.10)
Los sub ndices indican derivada y (9.8) se substituye dt dBt en (9.10) usando la siguiente tabla de multiplicacin o dt 0 0 de McKean que se muestra en la Figura 9.4. Observe dBt 0 dt que como las derivadas involucradas son funciones continuas, las integrales estocsticas resultantes estn bien a a Figura 9.4: denidas. La demostracin de este resultado sigue las o mismas l neas que la versin ms simple. Ilustraremos a continuacin el uso de esta o a o frmula con varios ejemplos. o
t t
Ejemplo. Demostraremos que

0
s dBs = tBt
Bs ds.
0
Para vericar esta frmula puede tomarse el proceso Xt = Bt y la funcin f (t, x) = o o tx. Entonces d(f (t, Bt )) d(tBt ) 1 = ft (t, Bt ) dt + fx (t, Bt ) dBt + fxx (t, Bt ) (dBt )2 2 = Bt dt + t dBt .
Esta es la forma diferencial de la frmula enunciada. o Ejemplo. Considere la funcin f (x) = ex . Por la frmula de It, o o o eBt eB0 =
t 0
eBs dBs +
1 2
t 0
eBs ds,
256
o es decir, el proceso Xt = eBt satisface la ecuacin diferencial 1 dXt = Xt dBt + Xt dt, 2 con condicin inicial X0 = 1. A este proceso se le llama movimiento Browniano o geomtrico. e Ejemplo. Demostraremos que el proceso Xt = Bt /(1 + t) es solucin de la o ecuacin estocstica o a Xt 1 dXt = dt + dBt , 1+t 1+t con condicin inicial X0 = 0. Sea f (t, x) = x/(1 + t). El proceso Xt = f (t, Bt ) o cumple la condicin inicial y por la frmula de It satisface la ecuacin o o o o dXt 1 = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt 2 Bt 1 = dt + dBt (1 + t)2 1+t 1 Xt dt + dBt . = 1+t 1+t Ejemplo. Usando el mtodo de igualacin de coecientes resolveremos la ecuae o cin o dXt = Xt dt + et dBt , con condicin inicial X0 = 0. Se busca un funcin f (t, x) tal que el proceso solucin o o o pueda escribirse como Xt = f (t, Bt ). Igualando los coecientes de esta ecuacin con o los de la frmula de It o o 1 dXt = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt, 2 se obtiene el sistema de ecuaciones fx (t, x) 1 ft (t, x) + fxx (t, x) 2 = = et f (t, x).
257
De la primera ecuacin se obtiene f (t, x) = et x+c(t). Substituyendo en la segunda o ecuacin y simplicando se obtiene c (t) = c(t), cuya solucin es c(t) = cet , en o o donde c es una constante. Por lo tanto f (t, x) = et (x + c). Para que el proceso Xt = f (t, Bt ) = et (Bt + c) cumpla la condicin inicial X0 = 0 forzosamente la o constante c debe ser cero. De esta forma la funcin buscada es f (t, x) = et x. En o tal caso la frmula de It asegura que efectivamente o o dXt = = et Bt dt + et dBt Xt dt + et dBt .
9.4.
Simulacin o
Una ecuacin estocstica ha resultado muy util para modelar sistemas que preseno a tan algn tipo de ruido o perturbacin aleatoria. Aplicaciones de tales modelos se u o estudian en ingenier nanzas y f a, sica entre muchas otras reas del conocimiento. a Debido a la imposibilidad de encontrar soluciones expl citas a ciertas ecuaciones de inters, los mtodos numricos del caso determinista se han extendido al caso e e e estocstico. En las siguientes secciones presentaremos algunos modelos particulares a de ecuaciones estocsticas, y explicaremos un mecanismo para simular las trayeca torias del proceso solucin. o Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuacin o estocstica de la forma a dXt X0 = b(t, Xt ) dt + (t, Xt ) dBt , = x0 ,
puede obtenerse mediante el mtodo de discretizacin de Euler-Maruyama. En este e o procedimiento se divide el intervalo [0, t] de manera uniforme en n subintervalos de idntica longitud t = t/n, y se dene tj = jt para j = 0, 1, 2, . . . , N . Suponiendo e que Yj es un valor al azar de la distribucin normal estndar, se denen los valores o a sucesivos de la trayectoria solucin de la ecuacin estocstica como sigue o o a X0 Xtj+1 = x0 , = Xtj + b(tj , Xtj )t + (tj , Xtj ) t Yj .
258
9.5. Algunos modelos particulares
Ms adelante se presentar una implementacin de este procedimiento en MATLAB a a o para simular trayectorias de soluciones de ecuaciones particulares.
9.5.
Algunos modelos particulares
Movimiento Browniano geomtrico. Este modelo es de amplio uso en nanzas e y sirve para representar el precio de algunos bienes que uct an siguiendo los u vaivenes de los mercados nancieros Denicin. Sean y > 0 dos constantes, y x0 > 0. El movimiento Browo niano geomtrico es el proceso solucin de la ecuacin estocstica e o o a dXt X0 = = Xt dt + Xt dBt , x0 . (9.11)
Esta ecuacin puede interpretarse de la siguiente forma. En ausencia del trmino o e estocstico, la ecuacin se reduce a dXt = Xt dt, cuya solucin es Xt = x0 et . Esta a o o funcin representa el comportamiento en el tiempo de un capital inicial positivo o x0 que crece de manera continua y determinista a una tasa efectiva del 100 %, suponiendo > 0. Por otro lado la parte estocstica corresponde a la volatilidad a de una inversin con riesgo sujeta a las uctuaciones de los mercados nancieros. o El modelo supone que dicha variabilidad es proporcional al valor de la inversin. o Observe que los coecientes de esta ecuacin satisfacen las condiciones para la o existencia y unicidad de la solucin. Resolveremos esta ecuacin usando el mtodo o o e de igualacin de coecientes. o Proposicin. La solucin a la ecuacin (9.11) es o o o 1 Xt = x0 exp [ ( 2 )t + Bt ]. 2 (9.12)
Demostracin. Encontraremos una funcin f (t, x) tal que al aplicar la frmula de o o o
259
It al proceso Xt = f (t, Bt ) se obtenga la ecuacin (9.11). Comparando entonces o o los coecientes de la frmula general o 1 dXt = ft (t, Xt ) dt + fx (t, Xt ) dBt + fxx (t, Xt ) dt 2 con los de (9.11), se obtienen las igualdades f (t, x) = f (t, x) = 1 ft (t, x) + fxx (t, x), 2 fx (t, x).
De la segunda ecuacin se obtiene que f (t, x) = exp [x+g(t)], para alguna funcin o o 1 g(t). Substituyendo en la primera ecuacin se obtiene g (t) = 2 2 , cuya solucin o o 1 o es g(t) = ( 2 2 )t. De donde Xt = f (t, Bt ) adquiere la expresin indicada. A este proceso se le llama tambin se e Xt () le conoce con el nombre de movimiento E(Xt ) Browniano exponencial. En la Figura 9.5 puede apreciarse una trayectoria de este proceso con una inversin inicial x0 de o una unidad monetaria, y con parmetros a = 1, y = 1/3. La curva creciente cox0 rresponde al crecimiento determinista de t la inversin cuando no hay aleatoriedad, o 1 2 es decir, cuando el coeciente de difusin o Figura 9.5: es cero. El valor de en la simulacin es o pequeo y por esa razn la trayectoria n o aleatoria mostrada se mantiene cerca de la trayectoria determinista. Cuando se incrementa el valor de las trayectorias pueden diferir considerablemente. En el programa de computadora de la Figura 9.6 se muestra una manera de simular trayectorias de este proceso. El cdigo es una traduccin a MATLAB de la o o discretizacin de la ecuacin estocstica, y es una adaptacin del cdigo que apao o a o o rece en [15]. Este programa puede ser encontrado en la pgina web de Desmond a J. Higham, junto con la implementacin de otros modelos y otras tcnicas de diso e cretizacin. La funcin randn produce un valor al azar de la distribucin normal o o o estndar. a Demostraremos ahora algunas caracter sticas numricas de este proceso. e
260
0
randn(state,100) T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3; -1 dW=zeros(1,N); MBG=zeros(1,N); dW(1)=sqrt(dt)*randn; MBG(1)=xcero+mu*dt+sigma*xcero*dW(1); -2 for j=2:N dW(j)=sqrt(dt)*randn MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j) -3 end 0 1 2 3 4 5 6 7 8 9 plot([0:dt:T],[xcero,MBG],r-)
10
Figura 9.6:
Proposicin. Para el movimiento Browniano geomtrico se cumple lo siguieno e te. 1. E(Xt ) = x0 et . 2. Var(Xt ) = x2 e2t (e t 1). 0 3. Cov(Xt , Xs ) = x2 e(s+t) (e 0
2 2
1), para 0 s t.
Demostracin. Usaremos el hecho de que la funcin generadora de momentos de o o 1 la distribucin N(, 2 ) es M (s) = exp(s + 2 2 s2 ). o 1. Para la esperanza se tiene que E(Xt ) 1 = E(x0 exp[( 2 )t + Bt ]) 2 1 2 = x0 exp[( )t] E(exp[Bt ]) 2 1 1 = x0 exp[( 2 )t] exp[ t 2 ] 2 2 = x0 et .
Cap tulo 9. Calculo estocastico 2. Ahora calcularemos la varianza. Var(Xt ) = = = = = 1 Var(x0 exp[( 2 )t + Bt ]) 2 1 2 x2 exp[2( )t] Var(exp[Bt ]) 0 2 1 x2 exp[2( 2 )t] (E(exp[2Bt ]) E 2 (exp[Bt ])) 0 2 1 1 1 x2 exp[2( 2 )t] (exp[ t(2)2 ] exp[2( t 2 )]) 0 2 2 2 2 2t 2 t x0 e (e 1).
261
3. Calcularemos primero E(Xt Xs ). Observe que Bt + Bs se puede escribir como 2Bs + (Bt Bs ), siendo estos sumandos independientes. Entonces E(Xt Xs ) 1 = E(x2 exp[( 2 )(t + s) + (Bt + Bs )]) 0 2 1 2 2 = x0 exp[( )(t + s) E(exp[(Bt + Bs )]) 2 1 2 = x0 exp[( 2 )(t + s) E(e2Bs ) E(e(Bt Bs ) ) 2 2 2 1 1 2 = x0 exp[( 2 )(t + s)e2s e 2 (ts) 2 = x2 exp[(t + s) + s 2 ]. 0
Por lo tanto, Cov(Xt , Xs ) = E(Xt Xs ) E(Xt )E(Xs )

2
= x2 e(t+s) (es 1) 0
= x2 e(t+s)+s x2 e(t+s) 0 0
2
Proceso de Ornstein-Uhlenbeck. Este modelo fue propuesto por Ornstein y Uhlenbeck para modelar la velocidad del movimiento difuso de una part cula en intervalos de tiempo pequeos. n
262
Denicin. Sean y dos constantes positivas. El proceso de Ornsteino Uhlenbeck es aquel proceso solucin de la ecuacin estocstica o o a dXt X0 = = Xt dt + dBt , (9.13)
x0 .
La variable Xt se interpreta como la velocidad de la part cula al tiempo t. La parte determinista Xt corresponde a la fuerza de friccin, y el sumando dBt es un o ruido aleatorio. Encontraremos la solucin de esta ecuacin. o o Proposicin. La solucin a la ecuacin (9.13) est dada por o o o a Xt = x0 et +
0 t
e(ts) dBs .
(9.14)
Demostracin. Considere una solucin de la forma o o

t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.15)
en donde a(t) y b(t) son funciones diferenciables. Derivando (9.15) y usando la frmula de It (9.10) se obtiene o o dXt = = a (t) [x0 +
0 t
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
Comparando con (9.13), las funciones a(t) y b(t) deben cumplir las ecuaciones a (t) = , a(t) a(t) b(t) = .
Suponiendo a(0) = 1 se obtiene a(t) = exp(t), y b(t) = exp(t). Substituyendo en (9.15) se obtiene (9.14).
Cap tulo 9. Calculo estocastico En la Figura 9.7 se muestra la simulacin de una trayectoria o de este proceso y se compara con E(Xt ). El proceso muestra un decaimiento conforme el tiempo avanza y ello es debido al factor de friccin del o modelo. Calcularemos a continuacin la esperanza y variano za de este proceso.
263
Xt ()
4 3 2 1
x0 = 3 =1 =1
E(Xt ) t
1 Figura 9.7:
Proposicin. Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente. o 1. E(Xt ) = x0 et . 2. Var(Xt ) = 2 (1 e2t ). 2 2 (ts) (e e(t+s) ). 2
3. Cov(Xt , Xs ) =
Demostracin. o 1. Este resultado se obtiene al tomar esperanza en (9.14), y observar que la integral estocstica es una martingala que inicia en cero. a
264
2. El clculo de la varianza de Xt es una aplicacin de la isometr de It, a o a o

t
Var(Xt ) = = = = =
2 Var(
0
e(ts) dBs )
t
2 E( 2 (
0 0 t
e(ts) dBs )2
e2(ts) ds) 1 2s e 2
t 0
2 e2t
2 (1 e2t ). 2
2. Nuevamente usaremos la isometr de It. Para 0 s t, a o Cov(Xt , Xs ) = = E(Xt Xs ) E(Xt )E(Xs ) E[(x0 et +
0 t
e(tu) dBu ) e(su) dBu )] x2 e(t+s) 0

s
(x0 e = E(
2
s t
+
0
e
0
(tu)
dBu
0
e(su) dBu ).
La primera integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr de It, a o Cov(Xt , Xs ) = = = 2 e(t+s) E( 2 e(t+s)
0 s 0 s
eu dBu )2
e2u du
2 (ts) (e e(t+s) ). 2
Cap tulo 9. Calculo estocastico Puente Browniano. El puente Browniano sobre el intervalo unitario [0, 1] es un movimiento Browniano con espacio parametral dicho intervalo y es tal que en los extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso se muestra en la Figura 9.8. Existen varias formas equivalentes de denir a este proceso.
Xt ()
265
Figura 9.8:
Denicin. El puente Browniano en el intervalo [0, 1] es aquel proceso {Xt } o solucin de la ecuacin estocstica o o a dXt X0 = = 0. Xt dt + dBt , 1t t [0, 1), (9.16)
Proposicin. La solucin a la ecuacin (9.16) es o o o

t
Xt = (1 t)
1 dBs . 1s
(9.17)
Demostracin. Puede resolverse (9.16) proponiendo nuevamente una solucin de o o la forma

t
Xt = a(t) [x0 +
0
b(s) dBs ],
(9.18)
en donde a(t) y b(t) son dos funciones diferenciables, y x0 = 0. Derivando se obtiene
266
nuevamente dXt
= =
a (t) [x0 +
0
b(s) dBs ] dt + a(t) b(t) dBt
a (t) Xt dt + a(t) b(t) dBt . a(t)
Igualando coecientes se obtienen las ecuaciones a (t)/a(t) = 1/(1t), y a(t)b(t) = 1. Suponiendo a(0) = 1 se obtiene a(t) = 1 t, y por lo tanto b(t) = 1/(1 t). Substituyendo en (9.18) se obtiene (9.17). Ejercicio. Sea Xt un puente Browniano en [0, 1]. Demuestre que efectivamente l Xt = 0. m
t1
Vamos a calcular a continuacin la esperanza, varianza y covarianza de este proceso. o Proposicin. Para el puente Browniano (9.17) se cumple o 1. E(Xt ) = 0. 2. Var(Xt ) = t(1 t). 3. Cov(Xt , Xs ) = s(1 t), para 0 s t.
Demostracin. o 1. La integral es una martingala continua que inicia en cero, por lo tanto E(Xt ) = 0.
Cap tulo 9. Calculo estocastico 2. Por la isometr de It, a o Var(Xt ) 1 dBs ) 1s 0 t 1 dBs )2 = (1 t)2 E( 1s 0 t 1 2 = (1 t)2 E ( ) ds 0 1s = (1 t)2 Var( = (1 t)2 = t(1 t). 3. Para 0 s t, Cov(Xs , Xt ) = = E(Xs Xt )
s t
267
1 1s
(1 s)(1 t)E(
1 dBu 1u
t 0
1 dBu ). 1u
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales, una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes del movimiento Browniano, el segundo sumando desaparece. De modo que, por la isometr de It, a o Cov(Xs , Xt ) = = = = 1 dBu )2 1u 0 s 1 2 (1 s)(1 t) ( ) du 0 1u s 1 (1 s)(1 t) 1u 0 s(1 t). (1 s)(1 t)E(
s
Como era de esperarse, la varianza se anula en los extremos del intervalo pues all el proceso es cero con probabilidad uno. Observe adems que la varianza se a hace mxima exactamente en la mitad de dicho intervalo. El puente Browniano en a [0, 1] puede representarse de varias formas como se muestra en el siguiente resultado.
268
Ejercicio. Demuestre que los siguientes procesos son puentes Brownianos. a) Xt = Bt tB1 , para t [0, 1]. para t [0, 1].
b) Xt = B1t (1 t)B1 ,
Notas y referencias
Para el desarrollo de la denicin de integral estocstica respecto del movimiento o a Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35]. All pueden encontrarse las demostraciones completas de varios de los resul tados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse exposiciones elementales sobre integracin estocstica son ksendal [26], Kuo [22], o a o Klebaner [20]. Para una exposicin ms completa y general puede consultarse o a por ejemplo Protter [27], o Revuz y Yor [29]. En los trabajos de D. J Higham como [15] pueden encontrarse algunas primeras lecturas sobre los mtodos para e simular ecuaciones estocsticas. En el texto de Kloeden y Platen [21] se expone a la teor general, varios mtodos numricos, y diversas aplicaciones de ecuaciones a e e estocsticas. a
269
Ejercicios
Integral de It o
183. A partir de la denicin de integral estocstica demuestre que o a
t t
a)
0 t
s dBs = tBt
2 Bs dBs =
Bs ds.
0 t
b)
0
1 3 B 3 t
Bs ds.
0
Para el segundo inciso use la identidad x2 (y x) + x(y x)2 = 1 3 (y x3 (y x)3 ). 3
Frmula de It o o
184. Use la frmula de It para demostrar que el proceso Xt es una solucin de la o o o ecuacin estocstica indicada. o a
2 a) Xt = Bt , dXt = dt + 2Bt dBt . 3 b) Xt = Bt , dXt = 3Xt dt + 3Xt Xt c) Xt = tBt , dXt = dt + t dBt . t 1/3 2/3
dBt .
185. Use la frmula de It para demostrar que o o

t 0 2 Bs ds =
1 3 B 3 t
Bs ds.
0
Apndice A e
Conceptos y resultados varios
Igualdad de procesos. Se dice que dos procesos {Xt : t 0} y {Yt : t 0} son equivalentes, o tambin se dice que uno es una versin o modicacin del otro, e o o si para cada valor de t 0 jo se cumple que P (Xt = Yt ) = 1, es decir, si las variables Xt y Yt son iguales c.s. Un tipo de igualdad ms fuerte establece a que los procesos son indistinguibles si P (Xt = Yt para cada t 0) = 1. Esto signica que con probabilidad uno las trayectorias de los dos procesos son idnticas. e Claramente la indistinguibilidad es ms fuerte que la equivalencia. Sin embargo, a puede demostrarse que cuando los procesos son continuos, es decir, cuando sus trayectorias son funciones continuas del parmetro, ambas nociones de igualdad a coinciden. Cuando el parmetro es discreto, nuevamente los dos tipos de igualdad a son equivalentes. Distribuciones nito dimensionales. Las distribuciones nito dimensionales de un proceso {Xt : t 0} es la coleccin de todas las funciones de distribucin o o conjuntas FXt1 ,...,Xtn (x1 , . . . , xn ), para cualesquiera tiempos 0 t1 < < tn , y cualquier n natural. Independencia de procesos. Se dice que una variable aleatoria X es independiente de un proceso {Xt : t 0} si para cualesquiera tiempos 0 t1 < t2 < < tn , n N, la distribucin conjunta de la variable X y el vector (Xt1 , . . . , Xtn ) es o el producto de las distribuciones marginales, es decir, FX,Xt1 ,...,Xtn (x, x1 , . . . , xn ) = FX (x) FXt1 ,...,Xtn (x1 , . . . , xn ),
271
272
o en trminos de conjuntos de Borel A, A1 , . . . , An , e P (X A, Xt1 A1 , . . . , Xtn An ) = P (X A) P (Xt1 A1 , . . . , Xtn An ).
Ms generalmente, dos procesos estocsticos {Xt : t 0} y {Yt : t 0} son a a independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0 t1 < t2 < < tn y 0 s1 < s2 < < sm , se cumple que FXt1 ,...,Xtn ,Ys1 ,...,Ysm (x1 , . . . , xn , y1 , . . . , ym ) = FXt1 ,...,Xtn (x1 , . . . , xn ) FYs1 ,...,Ysm (y1 , . . . , ym ). En palabras, esta condicin signica que las distribuciones nito dimensionales cono juntas son el producto de las distribuciones nito dimensionales marginales.
Lema de Abel a. Si la serie

k=0
ak es convergente, entonces l t1 m
k=0
k=0
a k tk =
k=0
k=0
ak .
k=0
b. Inversamente, si ak 0 y l t1 m
ak tk , entonces
ak = l t1 m
a k tk .
En Karlin y Taylor [19] puede encontrarse una demostracin de estos resultados. o
Lema de Fatou a. Sea {anm : n, m N} una coleccin de nmeros reales. Entonces o u

m
l inf anm l inf m m

n n m
anm .
m
b. Adems, si anm bm con a l sup m

n
bm < , entonces anm l sup anm . m

m n
Teorema de convergencia montona. Sea X1 , X2 , . . . una sucesin de variables o o aleatorias tales que 0 X1 X2 y l Xn = X casi seguramente. Entonces m
n n
l E(Xn ) = E( l Xn ). m m
n
Apndice A. Conceptos y resultados varios e Teorema de convergencia dominada
273
a. Sea X1 , X2 , . . . una sucesin de variables aleatorias tales que l Xn = X o m

n
casi seguramente, y para cada valor de n, |Xn | Y , para alguna variable Y con E|Y | < . Entonces l E(Xn ) = E( l Xn ). m m
n n
b. Sea {anm : n, m N} una coleccin de nmeros reales tales que l n anm o u m existe para cada m, |anm | bm , independiente de n, y bm < . Entonces m=0
n
l m
m=0
anm =
m=0
l anm . m
Ecuacin de Wald. Sea X1 , X2 , . . . una sucesin de variables aleatorias indepeno o dientes con la misma distribucin que X y con esperanza nita. Sea N una variable o aleatoria con valores en el conjunto {1, 2, . . .}, con esperanza nita e independiente de la sucesin. Entonces o
N
E(
k=1
Xk ) = E(X) E(N ).
Distribucin tipo reticular. Se dice que una variable aleatoria discreta X, o o su distribucin de probabilidad, es de tipo reticular o que es de tipo lattice si o P (X = c + nd) > 0, en donde c y d > 0 son constantes reales y n = 1, 2, . . . Notacin o peque a. Sean f (t) y g(t) dos funciones que se encuentran denidas o n y son positivas para valores de t sucientemente grandes. Se dice que f (t) es de orden ms pequeo que g(t) cuando t , y se escribe f (t) = o(g(t)) cuando a n t , si se cumple f (t) = 0. l m t g(t) En particular, se escribe f (t) = o(1) cuando f (t) converge a cero cuando t . Se usa la misma notacin cuando t tiende a algn valor nito particular y las funciones o u se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese valor. En este texto se usa la notacin o pequea para establecer el comportamiento o n de probabilidades dependientes del tiempo p(t), cuando t se aproxima a cero a travs e de valores positivos. Frmula de Stirling. n! 2 nn+1/2 en . o
274
Esperanza condicional. Sea (, F , P ) un espacio de probabilidad. Sea X una variable aleatoria con esperanza nita, y sea G una sub -lgebra de F . La espea ranza condicional de X dado G , es una variable aleatoria denotada por E(X | G ), que cumple las siguientes tres propiedades: a) Es G -medible. b) Tiene esperanza nita. c) Para cualquier evento G en G , E( X | G ) dP = X dP.
G
(A.1)
Es importante enfatizar que la esperanza condicional es una variable aleatoria. Usando el teorema de Radon-Nikodym (vase por ejemplo [9]), puede demostrarse e que esta variable aleatoria existe y es unica casi seguramente. Esto signica que si existe otra variable aleatoria con las tres propiedades anteriores, entonces con probabilidad uno coincide con E(X | G ). Cuando la -lgebra G es generada por una a variable aleatoria Y , es decir, cuando G = (Y ), la esperanza condicional se escribe simplemente como E(X | Y ). Mencionaremos a continuacin algunas propiedades o de esta variable aleatoria, en estas expresiones se postula de manera impl cita que la variable aleatoria a la que se le aplica la esperanza condicional es integrable. 1. Si c es constante, entonces E( c | G ) = c. 2. E(X | {, } ) = E(X). 3. Si A es un evento, entonces E(1A | {, } ) = P (A). 4. Si A y B son eventos con 0 < P (B) < 1, entonces E(1A | {, B, B c , } ) = P (A | B) 1B + P (A | B c ) 1B c . 5. Si A es un evento y B1 , . . . , Bn es una particin de tal que P (Bi ) > 0 para o i = 1, . . . , n, entonces
n
E(1A | {B1 , . . . , Bn }) =
i=1
P (A | Bi ) 1Bi .
Apndice A. Conceptos y resultados varios e 6. Si Y es una variable aleatoria discreta con valores 0, 1, . . ., entonces E(X | Y ) = 7. E(E(X | G )) = E(X).
n=0
275
E(X | Y = n) 1(Y =n) .
8. | E(X | G ) | E( |X| | G ). Este es un caso particular de la desigualdad de Jensen que se enunciar ms adelante. En particular, tomando esperanza se a a tiene el siguiente resultado. 9. E |E(X | G )| E(|X|). 10. Si c es constante, entonces E(c X + Y | G ) = c E(X | G ) + E(Y | G ). 11. Si X es G -medible, entonces E(X | G ) = X c.s. 12. Si X 0, entonces E(X | G ) 0. 13. Si X Y , entonces E(X | G ) E(Y | G ). 14. Si G1 G2 , entonces E(E(X | G1 ) | G2 ) = E(E(X | G2 ) | G1 ) = E(X | G1 ). 15. Si X es independiente de G , entonces E(X | G ) = E(X). 16. Si G1 y G2 son independientes, entonces E(X | (G1 G2 )) = E(X | G1 ) + E(X | G2 ) E(X). 17. Si X es independiente de G2 , entonces E(X | (G1 G2 )) = E(X | G1 ). 18. Si Xn X, entonces E(Xn | G ) E(X | G ). 19. Teorema de convergencia montona. Si Xn 0 y Xn X c.s., entonces o E(Xn | G ) E(X | G ) c.s. 20. Si XY es integrable y X es G -medible, entonces E(XY | G ) = X E(Y | G ). 21. X es independiente de G si, y slo si, E(f (X) | G ) = E(f (X)) para cualquier o funcin Lebesgue medible f tal que f (X) es integrable. o
m m
276
22. Desigualdad de Jensen. Si u es convexa y u(X) es integrable, entonces u(E(X | G )) E(u(X) | G ). Funciones directamente Riemann integrables. Sea H : [0, ) [0, ) una funcin Borel medible. Sea h > 0, y para cada n natural dena las funciones o n (h) = { H(t) : (n 1)h t < nh }, nf n (h) = sup { H(t) : (n 1)h t < nh }. Suponga que las siguientes funciones son absolutamente convergentes (h) (h) = h = h
n=1 n=1
n (h), n (h),
y que adems l h0 (h) = l h0 (h). Entonces se dice que la funcin H es dia m m o rectamente Riemann integrable. Esta condicin de integrabilidad es ms fuerte que o a la integrabilidad usual de Riemann, es decir, toda funcin directamente Riemann o integrable es Riemann integrable. por ejemplo, a) H(t) = 1[0,a] (t) es d. R. integrable. b) H : [0, ) [0, ) no creciente y tal que
0
H(t) dt < , es d. R. integrable.
Bibliograf a
[1] Basu A. K. Introduction to stochastic processes. Alpha Science International Ltd., 2003. [2] Bingham N. H. Doob: a half century on. Journal of Applied Probability, Vol. 42, 257266, 2005. [3] Brown R. A brief account of Microscopical Observations made in the Months of June, July, and August, 1827, on the Particles contained in the Pollen of Plants; and on the general Existence of active Molecules in Organic and Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828. [4] Brzeniak Z. y Zastawniak T. Basic stochastic processes. Springer, 1999. z [5] Burkholder D. y Protter P. Joseph Leo Doob, 1910-2004. Stochastic Processes and their Applications, Vol. 115, 1061-1072, 2005. [6] Caballero M. E. et al. Cadenas de Markov: un enfoque elemental. Aportaciones Matemticas, Serie Textos, 29. Sociedad Matemtica Mexicana, 2004. a a [7] Chung K. L. Markov chains with stationary transition probabilities (Die Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band 104). Springer, 1960. [8] Chung K. L. y Williams R. J. Introduction to stochastic integration. Birkhuser, 1983. a [9] Cohn D. L. Measure theory. Birkhuser, 1980. a [10] Einstein A. Investigations on the theory of the Brownian movement. Dover, 1956. 277
278
Bibliograf a
[11] Feller W. Introduccin a la teora de probabilidades y sus aplicaciones. Limusa, o 1973. [12] Gard T. C. Introduction to stochastic dierential equations. Marcel Dekker, 1988. [13] Grimmett G. R. y Stirzaker D. R. Probability and random processes. Clarendon Press, Oxford, 1982. [14] Gut A. Probability: a graduate course. Springer, 2005. [15] Higham D. J. An algorithmic introduction to numerical simulation of stochastic dierential equations. SIAM Review Vol. 43, No. 3, pp. 525-546, 2001. [16] Hoel P. G., Port S. C. y Stone C. J. Introduction to stochastic processes. Hougthon Miin Company, 1972. [17] Jones P. W. y Smith P. Stochastic processes: an introduction. Arnold, 2001. [18] Jordan D. W. y Smith P. Mathematical techniques. Oxford University Press, 1997. [19] Karlin S. y Taylor H. M. A rst course in stochastic processes. Academic Press, 1975. [20] Klebaner F. C. Introduction to stochastic calculus with applications. Imperial College Press, 1998. [21] Kloeden P. E. y Platen E. Numerical solution of stochastic dierential equations. SpringerVerlag, 1999. [22] Kuo H. Introduction to stochastic integration. Springer, 2006. [23] Lawler G. F. Introduction to stochastic processes. Chapman & Hall / CRC, 2006. [24] Nelson E. Dynamical theories of Brownian motion. Princeton University Press, 1967. [25] Norris J. Markov chains. Cambridge University Press, 1997. [26] ksendal B. Stochastic dierential equations: an introduction with applications. SpringerVerlag, 1992. [27] Protter P. H. Stochastic integration and dierential equations. Springer, 1990.
Bibliograf a [28] Resnick S. Adventures in stochastic processes. Birkhuser, 1992. a
279
[29] Revuz D. y Yor M. Continuous martingales and Brownian motion. SpringerVerlag, 1991. [30] Rincn L. Sobre el problema del mono que escribe caracteres al azar. Miso celnea Matemtica 42, Sociedad Matemtica Mexicana, 7990, 2006. a a a [31] Ross S. A rst course in probability - 4th ed. Macmillan Publishing Company, 1994. [32] Snell J. L. A Conversation with Joe Doob. Statistical Science, Vol. 12, No. 4, 301311, 1997. [33] Snell J. L. Obituary: Joseph Leonard Doob. Journal of Applied Probability, Vol. 42, 247256, 2005. [34] Spitzer F. Principles of random walk. 2nd. ed. Springer, 2001. [35] Steele J. M. Stochastic calculus and nancial applications. SpringerVerlag, 2001. [36] Stirzaker D. Stochastic processes and models. Oxford University Press, 2005. [37] Taylor H. M. y Karlin S. An introduction to stochastic modeling. Academic Press, 1994. [38] Tudor C. Procesos estocsticos. Aportaciones Matemticas, Serie Textos 2, a a Sociedad Matemtica Mexicana, 1994. a
Indice
Abel lema, 272 Cadena de Markov, 23 a tiempo continuo, 126 accesibilidad de edos., 38 comunicacin de edos., 38 o de dos estados, 27 de Ehrenfest, 31 de inventarios, 33 de la caminata aleatoria, 30 de la la de espera, 33 de rachas de xitos, 29 e de ramicacin, 32 o de v.a.s independientes, 28 del jugador, 31 distribucin inicial, 26 o ergdica, 40 o estacionaria, 24 existencia, 26 nita, 24 irreducible, 40 recurrente, 49 regular, 76 reversible, 79 transitoria, 49 Caminata aleatoria, 5 asimtrica, 7 e del jugador, 14 simtrica, 7 e
Chapman-Kolmogorov, 34, 209 Clase aperidica, 41 o cerrada, 52 de comunicacin, 38 o peridica, 41 o Coeciente de difusin, 253 o de tendencia, 253 Comunicacin, 37 o Conabilidad, 157 Correccin de It, 246 o o Coseno hiperblico, 117 o Cox proceso de, 111 Delta de Kronecker, 27 Deriva, 253 Desigualdad de Jensen, 276 Distribucin o estacionaria, 65 invariante, 65 reticulada, 273 tipo lattice, 273 Distribuciones nito dimensionales, 271 Doob, J. L., 196 Downcrossing, 187 Drift, 253 280
Indice Ecuacin o de balance detallado, 79 de calor, 210 de Chapman-Kolmogorov, 34, 209 de difusin, 210 o de renovacin, 146, 147 o de Wald, 273 estocstica, 253 a solucin fuerte, 254 o Ecuaciones de Kolmogorov, 132, 134 Ecuaciones de Kolmogorov hacia atrs, 130, 132 a Espacio C 1 , 250 C 2 , 250 L2 (P ), 238 L2 (P dt), 238 H2 , 241 2 H0 , 239 2 Lloc , 244 de estados, 1 parametral, 1 Esperanza condicional, 274 Estado absorbente, 39 aperidico, 40 o peridico, 40 o recurrente, 45 recurrente nulo, 60 recurrente positivo, 60 transitorio, 45 Estrategia de juego, 176 Euler-Maruyama, 257 Frmula o de Stirling, 273 Fatou
281
lema, 272 Filtracin, 168 o cannica, 168 o continua por la derecha, 169 estndar, 169 a natural, 168 Funcin o coseno hiperblico, 117 o de conabilidad, 157 de intensidad, 111 de renovacin, 146 o de supervivencia, 158 de tasa de falla, 157 de valor medio, 111 delta de Kronecker, 27 dir. Riemann integrable, 276 hazard, 158 seno hiperblico, 117 o variacin cuadrtica de una, 214 o a variacin de una, 214 o Igualdad de procesos, 271 Independencia de procesos, 271 Integrabilidad uniforme, 191 Integral estocstica, 237 a como un proceso, 244 de It, 240, 242, 244, 245 o de Stratonovich, 247 extensin por aproximacin, 241 o o extensin por localizacin, 244 o o para procesos simples, 240 propiedades, 249 It o correcin de, 246 o frmula de, 250, 255 o integral de, 240, 242, 244, 245 isometr de, 243 a proceso de, 253
282
Kronecker, 27 L`vy, P. P., 231 e Lema de Abel, 272 de Fatou, 272 Mtodo de discretizacin, 257 e o Markov, A. A., 83 Martingala, 4, 171 de de Moivre, 200 detenida, 176 estrategia de juego, 176, 177 exponencial, 234 producto, 200, 201 Martingalas teorema de convergencia, 190 teorema de representacin, 195 o Matriz de prob. de transicin, 24 o doblemente estocstica, 25 a estocstica, 25 a regular, 76 McKean Tabla de multiplicacin, 255 o Movimiento Browniano, 205 estndar, 206208 a exponencial, 259 geomtrico, 258 e martingala, 211 multidimensional, 218 probabilidad de transicin, 209 o radial, 219 recurrencia por vecindades, 228 puntual, 224 reejado en el origen, 233 unidimensional, 206, 207 variacin, 215 o variacin cuadrtica, 214 o a
Indice Nmero de cruces, 186 u Notacin o pequea, 273 o n Parmetros innitesimales, 130 a Periodo, 40 Probabilidades de transicin, 24, 27 o de transicin en n pasos, 27 o de transicin en un paso, 24 o innitesimales, 106, 131 Problema de la ruina del jugador, 14 Proceso, 1 a tiempo continuo, 1 a tiempo discreto, 1 adaptado, 168 con incrementos estacionarios, 3 con incrementos indep, 3 de Bessel, 219 de Cox, 111 de ensayos independientes, 3 de It, 253 o de L`vy, 4 e de Markov, 3 de muerte, 138 de nacimiento puro, 137 de nacimiento y muerte, 133 de Ornstein-Uhlenbeck, 261 de Poisson, 98, 106, 107 compuesto, 112 generalizado, 113 homogneo, 98 e no homogneo, 109 e simulaciones, 104 de renovacin, 144 o de saltos, 124 de Wiener, 206 de Yule, 138 detenido, 175
Indice distribuciones n. dim., 271 equivalencia de s, 271 espacio de estados, 1 espacio parametral, 1 estacionario, 3 ltracin de un, 168 o Gausiano, 4 historia de un , 168 igualdad de s, 271 independencia, 271 indistinguibilidad, 271 modicacin de un , 271 o predecible, 169 realizacin de un , 2 o simple, 239 trayectoria de un , 2 versin de un , 271 o Propiedad de Markov, 3 de prdida de memoria, 99, 150 e de semigrupo, 129 Puente Browniano, 234, 265 densidad, 234 Racha de xitos, 29 e Recurrencia, 45 nula, 60 positiva, 60 Renovacin o ecuacin de, 147 o funcin de, 146 o Seno hiperblico, 117 o Stirling, 273 Stratonovich, 247 Submartingala, 171 Supermartingala, 171 Tcnica de acople, 74 e Tabla de multiplicacin de McKean, 255 o
283
Teorema de conv. de mart. de Doob, 190 de conv. dominada, 273 de conv. montona, 272 o de convergencia montona, 275 o de paro opcional, 179 de representacin de martingalas, 195 o ergdico para cadenas, 58 o Tiempo s de estancia, 98, 124 s de interarribo, 98 s de paro, 169 de primera visita, 43, 51, 59 de vida restante, 148 medio de recurrencia, 51, 60 Tiempo de paro, 171 Transitoriedad, 45 Variacin, 214 o cuadrtica, 214 a Wald ecuacin de, 273 o Wiener, N., 230

Variables Aleatorias y Procesos Estocasticos

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Variables Aleatorias y Procesos Estocasticos

Enviado por

Direitos autorais:

Formatos disponíveis

Introduccin a los o PROCESOS ESTOCASTICOS

Cap tulo 1. Introduccion

2.1. Caminatas aleatorias

Demostracin. Para la esperanza tenemos que E(Xn ) = o

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

1 (n + x)) 2 p 2 (n+x) q 2 (nx) .

Cap tulo 2. Caminatas aleatorias

2.1. Caminatas aleatorias

Cap tulo 2. Caminatas aleatorias f0 , f1 , f2 , . . . , es decir, encontraremos G(t) =

Multiplicando (2.4) por tn , sumando y cambiando el orden de las sumas se obtiene

k=0 n=k f k tk k=0

2.1. Caminatas aleatorias

n=0 n=0 n=0

1/2 (4pqt2 )n n (2.9)

fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|. m

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

El problema del jugador

= (q/p)2 (u1 1) . . . = (q/p)k1 (u1 1).

2.2. El problema del jugador

si p = 1/2, si p = 1/2. (2.14)

uk 1 p = 0.01 p = 0.2 p = 0.35 p = 0.5

p = 0.65 p = 0.8 p = 0.99 10 20 30 40 50

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

Ahora se hace uso de la condicin mN = 0, y se obtiene o m1 = Substituyendo en (2.16), mk = Sk1 1 SN 1 p

Substituyendo en (2.17) y simplicando, despus de algunos clculos se llega a la e a respuesta enunciada.

2.2. El problema del jugador

Cap tulo 2. Caminatas aleatorias

2.2. El problema del jugador

Andrey Markov (Rusia 1856-1922)

3.1. Propiedad de Markov

Cap tulo 3. Cadenas de Markov

3.1. Propiedad de Markov

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov probabilidades de transicin es de la siguiente forma o

c) El proceso Xn = 1 + + n es una cadena de Markov con matriz

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov

3.3. Ecuacion de Chapman-Kolmogorov

pik (r) pkj (n r).

Cap tulo 3. Cadenas de Markov

P (Xn = j, Xr = k, X0 = i)/P (X0 = i) P (Xn = j | Xr = k) P (Xr = k | X0 = i) pkj (n r) pik (r).

3.3. Ecuacion de Chapman-Kolmogorov

la matriz resultante de multiplicar P consigo misma n veces. pij (n) =

pi,i1 (1) pi1 ,j (n 1) pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)

pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)

p01 (n) p11 (n) . . .

Cap tulo 3. Cadenas de Markov

Q Dn Q1 1 1 1 a+b a b b b a a 1 0 0 (1 a b)n + (1 a b)n a+b b 1 a 1 . 1 a+b

Particin de un espacio de estados o en clases de comunicacin o

Cap tulo 3. Cadenas de Markov

C(0) 1 1/2 P = 0 1/2 0 0 1/2 0 0 1/2 1/2 1/2 0 0 0 0 0 1

Cap tulo 3. Cadenas de Markov

Cap tulo 3. Cadenas de Markov

pik (1) pkj (1). pik (1) P (kj = n),

fij (k) pjj (n k).

Cap tulo 3. Cadenas de Markov

P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) P (Xn = j | Xk = j) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i) pjj (n k) fij (k).

3.7. Recurrencia y transitoriedad

pii (n) = . pii (n) < .

Cap tulo 3. Cadenas de Markov

cuando X0 = i. Entonces Ni tiene una distribucin geomtrica pues para k 1, o e P (Ni k | X0 = i) = =