Cadenas de Markov (CM)

Son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a

corto y a largo plazo de determinados sistemas. Es decir es Un proceso estocstico (una sucesin de
variables aleatorias) con un nmero finito de estados (M) y en probabilidades de transicin
estacionarias que tiene la propiedad markoviana. Ejemplo: Evolucin de una Enfermedad. Entre las
Aplicaciones de las Cadenas de Markov se encuentran las siguientes: Fsica, Meteorologa, Modelos
epidemiolgicos, Modelos epidemiolgicos, Simulacin, Juegos de azar, Msica, Economa y
Finanzas.
Propiedades de las cadenas de Markov
1) Las probabilidades de estados deben ser igual a 1 , es decir:
S1 (t)+S2 (t)+. . . . ,+Sn (t) = 1 para n estados.
2) Para cada fila de la matriz P se cumple: pi1 +pi2 +...... +p in = 1 para todo i = 1, 2,..., n.
3) Las transiciones de un perodo al siguiente se obtienen de la siguiente ecuacin:
S (t) = S (t-1).P, Por lo tanto: S (t) = S (0).Pt
4) Si S (t+1) = S (t) para t K, Entonces se dice que el sistema se estabiliza que los estados
son estacionarios estables. Esto implica que S = S. P, es decir. el vector de
estado estacionario sigue siendo igual despus de la transicin.

Tipos de Cadenas de Markov
Irreducibilidad: En una cadena de Markov un estado e
j
se dice que es accesible desde otro estado
e
i
si la probabilidad de ir desde el estado e
i
al e
j
en algn momento futuro es distinta de cero; un
estado e
i
est comunicado con otro e
j
si e
j
es accesible desde e
i
y e
i
lo es desde e
j
; una cadena de
Markov se dice que es irreducible si todos los estados estn comunicados entre s.
Absorbencia: Un estado e
j
se dice absorbente si es imposible abandonar dicho estado, es decir ;
P(X
k
= e
j
X
k-1
= e
j
) = 1, una cadena de Markov es absorbente si tiene algn estado absorbente, si una
cadena de Markov es irreducible y absorbente entonces la probabilidad de caer en alguno de los
estados absorbentes tiende a uno cuando el nmero de etapas tiende a infinito.
Regularidad :Una cadena de Markov se dice que es regular si alguna potencia de la matriz de
transicin tiene todos sus elementos positivos (no hay ceros), si una cadena es regular entonces es
irreducible y no absorbente.
Positivo-Recurrentes: Una cadena de Markov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es adems irreducible es posible demostrar que existe un nico
vector de probabilidad invariante y est dado por:
Cadenas de Markov en tiempo continuo: Si en lugar de considerar una secuencia discreta X
1
,
X
2
,..., X
i
,.. Con i indexado en el conjunto de nmeros naturales, se consideran las variables
aleatorias X
t
con t que vara en un intervalo continuo del conjunto de nmeros reales, tendremos una
cadena en tiempo continuo.
Zambrano Q. Aura Milagros C. I. 18564589 Secc: 02.