Cadenas de Markov

en Tiempo Discreto

Fabian Mancilla

U. de Santiago de Chile
fabian.mancillac@usach.cl

Fabian Mancilla (Usach) Modelos Estocasticos 1 / 32

Cadenas de Markov
En esta unidad consideraremos procesos estocasticos de tiempo y estados
discretos. Es decir, procesos del tipo {Xn ; n N} donde Xn corresponden a
variables aleatorias discretas.
Un ejemplo de este tipo de proceso es el lanzamiento de una moneda repetidas
veces; Xk representa el resultado de la moneda en el k-esimo lanzamiento, en
donde el espacio muestral es Xk = {cara, sello} = {0, 1}.

Propiedad markoviana
Se dice que el proceso {Xn ; n N} cumple con la propiedad markoviana de
primer orden si

P (Xn+1 = j/Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0 ) = pij

donde pij = P (Xn+1 = j/Xn = i) se denomina probabilidad de transicion en una

etapa.

Esta propiedad describe la falta de memoria de un proceso.

Fabian Mancilla (Usach) Modelos Estocasticos 2 / 32

Cadenas de Markov

Propiedad de estacionariedad
El proceso {Xn ; n N} cumple con la propiedad de estacionariedad si la
probabilidad de transicion en una etapa pij = P (Xn+1 = j/Xn = i) depende solo
de i y de j, pero no de n.

Esta propiedad indica que el tiempo n no influye en la probabilidad de transicion,

por tanto se puede tener que

P (Xn+1 = j/Xn = i) = P (X1 = j/X0 = i),

en donde X0 indica el estado inicial del proceso.

Un proceso estocastico {Xn ; n N} que cumple con la propiedad markoviana y
de estacionariedad se denomina Cadena de Markov homogenea.

Fabian Mancilla (Usach) Modelos Estocasticos 3 / 32

Matriz de transicion
Se acostumbra a presentar las probabilidades de transicion como las componentes
de una matriz P de n n, en donde n corresponde al numero de estados que
puede tomar la cadena.
Ejemplo: Consideremos nuevamente el lanzamiento de una moneda honesta que
se lanza varias veces al aire.
Sea Xk el resultado del lanzamiento de la moneda en el k-esimo lanzamiento.
Sabemos que Xk = {cara, sello}, ademas #Xk = 2, por lo tanto la matriz de
transicion (en una etapa) es:

cara sello

cara p11 p12
! 1/2 1/2

P = =
sello p21 p22 1/2 1/2

Este tipo de matrices se Pdenominan matrices estocasticas debido a que, para

cualquier fila i, se tiene j pij = 1.

Fabian Mancilla (Usach) Modelos Estocasticos 4 / 32

Diagrama de Transicion

Es posible representar graficamente una cadena de Markov mediante una grafo

dirigido, en el cual cada estado es representado por un nodo y cada probabilidad
de transicion pij > 0 es representada por un arco entre los nodos i y j.
En el ejemplo del lanzamiento de la moneda el diagrama de transicion es el
siguiente:

1
2
1 cara sello
1
2 2
1
2

Este proceso corresponde a una cadena de Markov?

Fabian Mancilla (Usach) Modelos Estocasticos 5 / 32

Probabilidad de Transicion de n-etapas
Probabilidad de Transicion de n-etapas
Se denota por pij (n) la probabilidad que la cadena pase del estado i al estado j
despues de n etapas. Es decir, si {Xn ; n N} es una cadena de Markov entonces:

pij (n) = P (Xm+n = j/Xm = i)

Ejemplo: Consideremos la probabilidad de transicion de dos etapas pij (2)

definida como pij (2) = P (Xm+2 = j/Xm = i). Si asumimos m = 0, entonces
X
pij (2) = P (X2 = j/X0 = i) = P (X2 = j, X1 = k/X0 = i)
k
X
= P (X2 = j/X1 = k, X0 = i)P (X1 = k/X0 = i)
k
X
= P (X2 = j/X1 = k)P (X1 = k/X0 = i)
k
X
= pik pkj
k

Fabian Mancilla (Usach) Modelos Estocasticos 6 / 32

Ecuaciones de Chapman-Kolmogorov

El siguiente resultado establece una clase de ecuaciones las cuales entregan una
generalizacion del resultado del ejemplo anterior.

Ecuaciones de Chapman-Kolmogorov
X
Para todo 0 < r < n se tiene pij (n) = pik (r)pkj (n r).
k

Esta proposicion establece que la probabilidad de ir desde el estado i hasta el

estado j al finalizar n transiciones es el producto entre la probabilidad de ir desde
el estado i hasta un estado intermedio k despues de r transiciones y la
probabilidad de ir desde el estado k al estado j despues de n r transiciones.
La demostracion de este resultado sigue el mismo esquema que el ejemplo
anterior para el caso n = 2.

Fabian Mancilla (Usach) Modelos Estocasticos 7 / 32

Matriz de transicion de n-etapas
Si denotamos por P (n) la matriz de las probabilidades de transicion de n-etapas
pij (n), entonces las ecuaciones de Chapman-Kolmogorov establecen que

P (n) = P (r) P (nr)

donde P (1) = P .
Observacion: Si un proceso consta solo de dos estados, entonces

p11 (n) p12 (n)
P (n) =
p21 (n) p22 (n)

Como calcularemos P (n) ?. Notemos que si n = 2 y r = 1, entonces

P (2) = P (1) P (21) = P P (1) = P P = P 2

Ahora observemos que si n = 3 y r = 1, entonces

P (3) = P (1) P (31) = P P (2) = P P 2 = P 3

Fabian Mancilla (Usach) Modelos Estocasticos 8 / 32

Matriz de transicion de n-etapas
Por lo tanto,
P (n) = P n
Ejemplo: Una partcula salta entre dos posiciones A y B segun una cadena de
Markov con las siguientes probabilidades:

0,4
0,6 A B 0,8
0,2

Si la partcula inicialmente se encuentra en la posicion A, determine la

probabilidad de que este en A y en B despues de
1 1 etapa
2 2 etapas
3 n etapas

Fabian Mancilla (Usach) Modelos Estocasticos 9 / 32

Matriz de transicion de n-etapas

Recordemos que si una matriz cuadrada P es diagonalizable, entonces

P = U D U 1

donde
D es matriz diagonal que contiene los valores propios de P .
U corresponde a la matriz cuyas columnas son los vectores propios de P .

Para calcular la potencia de una matriz diagonalizable simplemente se utiliza

P n = U Dn U 1

Fabian Mancilla (Usach) Modelos Estocasticos 10 / 32

Distribucion del proceso en la n-esima etapa
Si deseamos conocer la distribucion (incondicional) de la cadena para una etapa
cualquiera utilizaremos un vector columna, que denotaremos por f (n) , con tantas
posiciones como estados de la forma siguiente:

p1 (n) P (Xn = 1)


p2 (n) P (Xn = 2)


.. ..


(n)
. .
f =

=



pj (n) P (Xn = j)
..



..

.

.
pN (n) P (Xn = N )

donde N = #Xk

Fabian Mancilla (Usach) Modelos Estocasticos 11 / 32

Distribucion del proceso en la n-esima etapa
Si utilizamos el teorema de probabilidad total sobre pj (n) = P (Xn = j)
condicionando sobre el estado inicial del proceso, tendremos:

pj (n) = P (Xn = j)
X
= P (Xn = j/X0 = i)P (X0 = i)
i
X
= pij (n)pi (0)
i

Luego, es claro que f (n) = [P (n) ]T f (0) para cualquier n N.

Observacion: Recordar que
T
p11 (n) p12 (n) p13 (n) p11 (n) p21 (n) p31 (n)


p21 (n) p22 (n) p23 (n) =
p12 (n) p22 (n) p32 (n)



p31 (n) p32 (n) p33 (n) p13 (n) p23 (n) p33 (n)

Fabian Mancilla (Usach) Modelos Estocasticos 12 / 32

Tiempos de Primera Pasada
Ejemplo: En el problema anterior de la partcula, Cual es la distribucion de
probabilidad de la tercera etapa?

Tiempos de Primera Pasada

Supongamos ahora que, para una cadena de Markov cualquiera, nos interesa
saber el tiempo que demora el proceso en pasar del estado inicial i a un estado j.
Este tiempo es una variable aleatoria que la denotaremos en general por T (i, j) y
la llamaremos tiempo de primera pasada.

Para conocer la distribucion de probabilidades de T (i, j) definamos,

Fk (i, j) = P (T (i, j) = k)

= P (X1 6= j, X2 6= j, . . . , Xk1 6= j, Xk = j/X0 = i)

Para k = 1 se tiene que,

F1 (i, j) = P (X1 = j/X0 = i) = pij

Fabian Mancilla (Usach) Modelos Estocasticos 13 / 32

Tiempos de Primera Pasada

Para k = 2 tenemos,

F2 (i, j) = P (X1 6= j, X2 = j/X0 = i)

X
= P (X1 6= j, X2 = j/X0 = i, X1 = m)P (X1 = m/X0 = i)
m6=j

X
= P (X1 6= j, X2 = j/X1 = m)pim
m6=j

X X
= F1 (m, j)pim = F2 (i, j) = pim F1 (m, j)
m6=j m6=j

Fabian Mancilla (Usach) Modelos Estocasticos 14 / 32

Tiempos de Primera Pasada
Para k = 3 tenemos,

F3 (i, j) = P (X1 6= j, X2 6= j, X3 = j/X0 = i)

X
= P (X1 6= j, X2 6= j, X3 = j/X0 = i, X1 = m)P (X1 = m/X0 = i)
m6=j

X
= P (X1 6= j, X2 6= j, X3 = j/X1 = m)pim
m6=j

X X
= F2 (m, j)pim = F3 (i, j) = pim F2 (m, j)
m6=j m6=j

X
En general, Fk (i, j) = pim Fk1 (m, j).
m6=j

Fabian Mancilla (Usach) Modelos Estocasticos 15 / 32

Tiempos de Retorno
De esta forma se obtiene el siguiente sistema recursivo:

F1 (i, j) = pij

X
Fk (i, j) = pim Fk1 (m, j)

m6=j

Ejemplo: En el problema anterior de la partcula, Cual es la distribucion del

tiempo de primera pasada al estado B (es decir la distribucion de T (A, B))?

Tiempos de Retorno
Se denomina tiempo de retorno al estado i a la variable aleatoria T (i, i) = Ti . Por
lo tanto, la probabilidad de retorno en k etapas al estado i es Fk (i, i).

Ejemplo: En el problema anterior de la partcula, Cual es la distribucion del

tiempo de retorno al estado A (es decir la distribucion de T (A, A))?

Fabian Mancilla (Usach) Modelos Estocasticos 16 / 32

Tiempos de Retorno
Tiempos de Retornar Alguna Vez
Denotaremos como F (i, i) a la probabilidad de retornar alguna vez al estado i.
Esta probabilidad corresponde a sumar las probabilidades de retornar en una
etapa, dos etapas, tres etapas, etcetera. Es decir,

X
P (Ti < ) = F (i, i) = Fk (i, i)
k=1

Ejemplos:
1 En el problema anterior de la partcula, Cual son las probabilidades de
retornar alguna vez al estado A y al estado B?
2 Dada la siguiente matriz de transicion correspondiente a una cadena de
Markov dibuje el grafo asociado y calcule F3 (1, 2) y F4 (3, 1).

0,4 0,2 0,3 0,1
0,1 0,9 0 0
P = 0 0,5 0,5 0

0,1 0 0,4 0,5

Fabian Mancilla (Usach) Modelos Estocasticos 17 / 32

Clasificacion de estados
Clasificacion de estados
Dada una cadena de Markov es posible clasificar sus estados de acuerdo a las
siguientes definiciones:
Un estado i se dice que es transiente si, comenzando en ese estado, existe
una probabilidad no nula de que nunca regresemos a i. En este caso, si el
estado i es transiente, entonces F (i, i) < 1.
Un estado i se dice que es recurrente si, comenzando en ese estado, con
probabilidad 1 el proceso retornara alguna vez a i. Es este caso, si el estado
i es recurrente, entonces F (i, i) = 1.
Si E(T (i, i)) < se denominara recurrente positivo.

Si E(T (i, i)) = se denominara recurrente nulo (caso # = ).

Un estado i se dice que es absorbente si es imposible abandonarlo una vez
que la cadena entra a este. En este caso, si el estado i es absorbente,
entonces pii = 1 y pij = 0 para todo i 6= j.

Fabian Mancilla (Usach) Modelos Estocasticos 18 / 32

Clasificacion de estados
Ejemplo: Considere el siguiente diagrama de transicion asociado a una cadena de
Markov.

1
2 2
3

1 2
1 1
2 4
1
2

3
4
3
4
1
2
1
2

Determine si hay estados transientes, recurrentes o absorbentes.

Fabian Mancilla (Usach) Modelos Estocasticos 19 / 32

Clasificacion de estados

Comunicacion entre estados

Se dice que los estados i y j se comunica si existe un camino de i a j con un
numero finito de etapas, y viceversa (de j a i).

En el ejemplo anterior, los estados 2, 3 y 4 se comunican entre s, pero no as los

estados 1 y 2.
Esta propiedad de comunicacion establece una relacion entre los estados que
permite definir clases de estados, compuestas por todos los estados que se
comunican entre s. Estas clases de estados son disjuntas entre s y cubren todo el
conjunto de estados. En el ejemplo anterior el estado 1 constituye una clase y los
estados 2, 3 y 4 otra, es decir

C1 = {1}, C2 = {2, 3, 4}.

Si una cadena de Markov tiene una sola clase de estados, se dira que es
irreducible.

Fabian Mancilla (Usach) Modelos Estocasticos 20 / 32

Periodicidad

Estados periodicos
Un estado es periodico si, partiendo de ese estado, solo es posible volver a el en
un numero de etapas que sea multiplo de un cierto numero entero mayor a uno.
En otras palabras, el estado j es periodico si existe n 1 tal que Fk (j, j) > 0
solo para valores de k en el conjunto {n, 2n, 3n, 4n . . .}.
El perodo d del estado j corresponde al maximo comun divisor de los k para los
cuales Fk (j, j) > 0.
Si d > 0 diremos que el estado es periodico con perodo d
Si d = 1 diremos que el estado es aperiodico.

Los estados recurrentes positivos aperiodicos se denominan estados ergodicos.

Una cadena de Markov que continen solo estados ergodicos se denomina cadena
ergodica.

Fabian Mancilla (Usach) Modelos Estocasticos 21 / 32

Periodicidad
Ejemplo: En la siguiente cadena de Markov, los retornos al estado 2 se pueden
producir en las etapas 2, 3, 4, 5, 6, 7, 8, . . . Luego d = 1 y el estado 2 es
aperiodico. Que sucede con los perodos de los estados 3 y 4?

1
2

Fabian Mancilla (Usach) Modelos Estocasticos 22 / 32

Periodicidad
Ejemplo: Cuantas clases existen en la siguiente cadena de Markov? Cual es el
perodo del estado 1? Cual es el perodo de los otros estados?

1
2

4
3

Fabian Mancilla (Usach) Modelos Estocasticos 23 / 32

Periodicidad
Observacion: Es posible demostrar que todos los estados de una clase son del
mismo tipo: transientes, recurrentes nulos o recurrentes positivos, y aperiodicos o
periodicos con el mismo perodo.
Ejemplo: Consideremos la siguiente matriz de probabilidades de transicion:

1 0 0


P = 1/2 1/6 1/3


1/3 3/5 1/15

1 Dibuje el diagrama de transiciones.

2 Obtenga la distribucion de T1 .
3 Calcule la probabilidad de retornar alguna vez al estado 1, es decir F (1, 1).
4 Calcule P (T (1, 1) = ).

Fabian Mancilla (Usach) Modelos Estocasticos 24 / 32

Estado del proceso en el Largo Plazo

Sabemos que la distribucion de probabilidades del proceso en la etapa n esta dada

por,
f (n) = [P n ]T f (0)

Diremos que el proceso tiene distribucion lmite si existe el lmite lm f (n) .

n

En la medida que esto ocurra, podemos concluir que, pasado mucho tiempo, la
distribucion de probabilidades del proceso no cambia de una etapa a otra.
El valor del lmite puede o no depender del vector de probabilidades inicial f (0) .
En el caso que el lmite exista y su valor no dependa de f (0) , diremos que el
proceso tiene distribucion estacionaria. Bajo esta situacion, las condiciones
iniciales del sistema tienden a ser irrelevantes para efectos de su comportamiento
en el largo plazo.

Fabian Mancilla (Usach) Modelos Estocasticos 25 / 32

Estado del proceso en el Largo Plazo
Para obtener algunas probabilidades lmites, existen los siguientes resultados:

Probabilidades Lmites de una Cadena de Markov

1 Si j es un estado transiente o recurrente nulo entonces

lm pjj (n) = 0
n

2 Si j es un estado recurrente positivo aperiodico entonces

1
lm pjj (n) = >0
n E(Tj )

3 Si j es un estado recurrente positivo periodico, de perodo d, entonces

1
lm pjj (nd) = >0
n E(Tj )

Fabian Mancilla (Usach) Modelos Estocasticos 26 / 32

Estado del proceso en el Largo Plazo
Probabilidades Lmites de una Cadena de Markov
1 Si j es un estado recurrente positivo aperiodico entonces

F (i, j)
lm pij (n) = 0
n E(T (i, j))

2 Si j es un estado transiente o recurrente nulo entonces

lm pij (n) = 0
n

3 Si i y j son estado recurrentes positivos pertenecientes a una misma clase,

de perodo d, entonces
1
lm pij (n(i, j) + nd) = 0
n E(T (i, j))

4 Si i es transiente y j es recurrente, y asumiendo que F (i, j) > 0, los caminos

que conducen de un estado a otro no son necesariamente del mismo largo.

Fabian Mancilla (Usach) Modelos Estocasticos 27 / 32

Estado del proceso en el Largo Plazo
Las siguientes proposiciones establecen las condiciones para la existencia de una
distribucion estacionaria. En este caso denotaremos por al vector de distribucion
estacionaria, es decir,

j = lm pj (n) = lm pij (n), independiente de i

n n

Distribucion Estacionaria
1 Existe una distribucion estacionaria tal que j > 0 para todo j si y solo si
la cadena de Markov es irreducible, con estados recurrentes positivos
aperiodicos.
2 Consideremos una cadena de Markov con espacio de estados S tal que
S = C T , en que C es una clase de estados recurrentes positivos y T es
un conjunto de una o mas clases de estados transientes. Entonces existe una
distribucion estacionaria . Ademas, j > 0 para todo j C y j para todo
j T.

Fabian Mancilla (Usach) Modelos Estocasticos 28 / 32

Estado del proceso en el Largo Plazo
En general, si se puede garantizar la existencia de una distribucion estacionaria, su
obtencion puede lograrse por la va de resolver un sistemas de ecuaciones lineales,
tal como se plantea en el siguiente resultado.

Obtencion de la Distribucion Estacionaria

Si una cadena de Markov tiene una distribucion estacionaria en que j > 0 para
algun j, entonces corresponde a la unica solucion del sistema:

T = T P
X
i = 1
i 0

Ejemplo: Determinar si existe distribucion estacionaria en la siguiente cadena de

Markov,
1/2 1/2 0
P = 0 1/3 2/3
1/3 1/3 1/3

Fabian Mancilla (Usach) Modelos Estocasticos 29 / 32

Estado del proceso en el Largo Plazo

Tarea: En un Estado socialista hay un economista que esta muy interesado en

estudiar el siguiente mecanismo de redistribucion del capital entre los habitantes.
Cada habitante es visitado diariamente por un inspector del Ministerio. Si el
descubre que su capital neto es cero, entonces con probabilidad pi > 0 le entrega
i unidades monetarias (i = 1, 2, 3, . . .). Por el contrario, si el inspector lo
encuentra con un capital positivo j, se lo quita (para darlo, presumiblemente con
probabilidad pj a otro habitante que tiene capital cero).
Con este proceso, el economista asegura que, cualquiera sea la distribucion inicial
de capital, en el largo plazo, se obtendra una distribucion equitativa del capital
diario para cada habitante. Ud. que opina? (modelar como una cadena de
Markov y justificar).

Fabian Mancilla (Usach) Modelos Estocasticos 30 / 32

Estado del proceso en el Largo Plazo

Una matriz de transicion P se dice que es doblemente estocastica si la suma de

cada una de su filas y columnas es 1. Este tipo de matrices poseen la siguiente
propiedad:

Matriz Doblemente Estocastica

Si P es una matriz doblemente estocastica asociada a una cadena de Markov con
N estados, y asumiendo que existe distribucion estacionaria , entonces
1
i = , para todo i = 1, 2, . . . , N.
N
Ejemplo: Determinar la distribucion estacionaria en la siguiente cadena de
Markov,
0,4 0,5 0,1
P = 0,3 0,3 0,4
0,3 0,2 0,5

Fabian Mancilla (Usach) Modelos Estocasticos 31 / 32

Aplicaciones de las Cadenas de Markov
Una empresa tiene en un inventario un cierto producto para satisfacer la demanda
de sus clientes. Sea Xn el numero de temes en inventario al principio del da n.
Sea Y1 , Y2 , . . . , Yi , . . . las demandas sucesivas en los das 1, 2, . . . , etc. Asumamos
que estas corresponden a v.a. iid, en donde

P (Yi = k) = ak .

La poltica de inventario esta determinada por dos parametros, s y S, y opera de

la siguiente manera: al final de cada da se revisa el nivel de inventario y si este es
menor que s, se pone una orden de stock para elevar el nivel de inventario hasta
el valor S.
Los nuevos temes del producto estan disponibles al principio del da siguiente. La
demanda que no puede ser satisfecha se pierde. Luego, se puede deducir que

Xn Yn , si Xn Yn s
Xn+1 =
S, si Xn Yn < s

Es el proceso {Xn , n N} una cadena de Markov?

Fabian Mancilla (Usach) Modelos Estocasticos 32 / 32