Cadenas de Márkov

Investigación de Operaciones I

Profesor: Heiner Silva Cortés

Estefani Fionna , Donoban Meza, José Romero

Cadenas de Márkov 8 de diciembre de 2010

Tabla de contenido
Definición.............................................................................................¡Error! Marcador no definido.
Tipos de cadenas de Markov..............................................................................................................3
Cadenas irreducibles......................................................................................................................3
Cadenas positivo-recurrentes........................................................................................................4
Cadenas regulares..........................................................................................................................4
Cadenas absorbentes.....................................................................................................................4
Cadenas de Markov en tiempo continuo.......................................................................................5
Aplicaciones de las cadenas de Markov (¿para que sirven?)..............................................................5
Física...............................................................................................................................................5
Meteorología..................................................................................................................................5
Modelos epidemiológicos..............................................................................................................5
Internet..........................................................................................................................................5
Simulación......................................................................................................................................5
Juegos de azar................................................................................................................................5
Economía y Finanzas......................................................................................................................6
Música............................................................................................................................................6
Ejemplo..............................................................................................................................................6
Cadenas de Márkov 8 de diciembre de 2010

Definición
Una cadena de Márkov, que recibe su nombre del matemático ruso Andrei Andreevitch Markov
(1856-1922), es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende
del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el
último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del
evento anterior distingue a las cadenas de Márkov de las series de eventos independientes, como
tirar una moneda al aire o un dado.

Este tipo de proceso, introducido por Márkov en un artículo publicado en 1907, presenta una
forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias
que forman un proceso estocástico. En los negocios, las cadenas de Márkov se han utilizado para
analizar los patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.

En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de
Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente
resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas
variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la
distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí
sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de

Márkov.

Tipos de cadenas de Markov

Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones
(equivalentes entre sí):

1. Desde cualquier estado de E se puede acceder a cualquier otro.

2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
5. El único conjunto cerrado es el total.
Cadenas de Márkov 8 de diciembre de 2010

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas
de Markov irreducibles.

Cadenas positivo-recurrentes
Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si
la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad
invariante y está dado por:

Cadenas regulares
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe alguna potencia
positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene

que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que
resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste
vector invariante es único.

Cadenas absorbentes
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos
condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.

2. De cualquier estado no absorbente se accede a algún estado absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D,

tenemos los siguientes resultados:

• Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la

matriz nula y R alguna submatriz.
Cadenas de Márkov 8 de diciembre de 2010

, esto es, no importa en donde se encuentre la cadena, eventualmente

terminará en un estado absorbente.

Cadenas de Markov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el conjunto de
números naturales, se consideran las variables aleatorias Xt con t que varía en un intervalo
continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este
tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

Aplicaciones de las cadenas de Markov (¿para que sirven?).

Física
Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física
estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de
difusión de Laplace.

Meteorología
Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo
depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de
Markov para formular modelos climatológicos básicos.

Modelos epidemiológicos
Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson.
Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el
desarrollo de una epidemia (véase modelaje matemático de epidemias).

Internet
El pagerank de una página web (usado por google en sus motores de búsqueda) se define a través
de una cadena de Markov, donde la posición que tendrá una página en el buscador será
determinada por su peso en la distribución estacionaria de la cadena.

Simulación
Las cadenas de Markov son utilizadas para proveer una solución analitica a ciertos problemas de
simulación tales como el Modelo M/M/1.
Cadenas de Márkov 8 de diciembre de 2010

Juegos de azar
Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El
modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en
un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de
Markov en este rubro.

Economía y Finanzas
Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para
determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una
bolsa de valores o para determinar la volatilidad de precios.

Música
Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el software
Csound o Max

Ejemplo
Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 €, y cada vez que sale
5 ó 6 se gana 1 €. El juego acaba cuando se tienen 0 € ó 100 €.

Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM

S={0, 1, 2, …, 100}