Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP.

ISSN 0122-1701 73

CONVERGENCIA DE LAS CADENAS DE MARKOV

RESUMEN JUAN CARLOS BEDOYA

Este documento contiene la teora para demostrar la convergencia de las Cadenas Ingeniero Electricista, M.Sc (C)
de Markov, basado en conceptos bsicos y especializados del lgebra Lineal. Profesor Auxiliar
Tambin se introduce el concepto de la transformacin Z como herramienta para Universidad Tecnolgica de Pereira
resolver las ecuaciones de Chapman-Kolmogorov, y finalmente se muestra una bedoya@ohm.utp.edu.co
pequea aplicacin de esta teora.
Dado que gran parte de la literatura slo se enfoca en las aplicaciones de esta
MAURICIO BARRERA
teora, este artculo se hace importante pues permite inferir cuando estos procesos
Ingeniero Industrial, M.Sc (C).
estocsticos alcanzan o no convergencia la cual no es fcilmente entendible con
Departamento de Planeacin UTP.
las tcnicas suaves usadas en la mayora de la literatura.
Universidad Tecnolgica de Pereira
vonneumann@hotmail.com
PALABRAS CLAVES: Cadena de Markov, Transformada Z, Procesos
Estocsticos.

ABSTRACT This paper contains the theory necessary to demonstrate the

Markovs Chains convergence, based on basics and specialized concepts about
Linear Algebra. Also the Z transform concept is introduced as a tool to solve the
Chapman-Kolmogorovs equations, and finally is showed a little application of
this theory.
Since most of the books which deal with this theory are only focused on
applications, this paper becomes important because it allows to understand when
Markov Chains reaches or not the convergence which is not easily
understandable in most of the reference about stochastic process.

KEYWORDS: Markov Chain, Z Transform, Stochastic Process.

1. INTRODUCCIN conceptos fuertes de lgebra Lineal y las Ecuaciones en

Diferencias enfocados a esta temtica.
Un proceso estocstico es un proceso aleatorio que Las secciones de este artculo comprenden, las
evoluciona de acuerdo con un parmetro que por lo generalidades de las Cadenas de Markov y matrices
general es el tiempo [6]. estocsticas, las propiedades de las normas matriciales, la
Transformada Z, la convergencia de las Cadenas de
G Markov, y finalmente se muestra un ejemplo aplicado de
La variable aleatoria de estados Et que describe el
la teora expuesta.
proceso est indexada por el parmetro t ndice del
proceso. As, un proceso estocstico es una coleccin de
variables aleatorias y existe una variable aleatoria por 2. CADENAS DE MARKOV
cada valor del parmetro t del proceso.
E1 p11
Las Cadenas de Markov son un tipo de procesos que
p12
carecen de memoria, es decir la transicin a un estado p13
siguiente solo depende del estado presente en que se
encuentre el sistema y no importa el recorrido que ha p33 p31 p21
hecho para llegar al estado presente. En este tipo de
procesos la variable aleatoria de estados y el parmetro t E3 E2
pm1 p1m p22
(tiempo) se consideran variables discretas [6].
p3m
p2m
Las cadenas de Markov son una herramienta que permite,
para ciertos problemas, determinar la probabilidad con la pm3 pm2
cual el proceso puede entrar en algn estado; sin embargo
un fenmeno ms interesante, es que despus de
ocurridas varias transiciones, estas probabilidades
Em
convergen a valores particulares. pmm

Este artculo relaciona la teora necesaria asociada con la Figura 1.Representacin de la transicin entre estados para una
Convergencia de las Cadenas de Markov, basndose en cadena de Markov

Fecha de Recepcin: 31 de agosto de 2006

Fecha de Aceptacin: 12 Octubre de 2006
74 Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP

La figura 1 muestra el esquema bsico de un proceso n

estocstico (para un instante de tiempo especfico) donde cij = aik bkj y la suma
k =1
las variables de estado han sido discretizadas en m
posibles situaciones (Estados 1,, Estado m) y el tiempo
n n
n
n n
ha sido discretizado en etapas (horas, das, meses, etc). c = a b
ij ik kj = aik bkj =
k =1 j =1
j =1 j =1 k =1
En las cadenas de Markov se supone que el paso n
n
n
transicin de un estado a otro slo depende de ambos, es = aij bkj = aij {1} = 1
decir se puede asociar una probabilidad pij a la transicin j =1 k =1 j =1
del estado Ei en la fecha n hacia estado Ej en la fecha b) Si A es una matriz estocstica, =1 siempre es un
n+1. Si llamamos pj(n) la probabilidad de que el proceso valor propio de A. Para mostrar esta propiedad
se encuentre en el estado Ej en una fecha n, y si las observemos inicialmente el determinante I A
probabilidades de transicin pij se mantienen constantes,
tenemos una Cadena de Markov. La cadena de Markov
es regida por la ecuacin (1) que es conocida como las a11 " a1n
ecuaciones de Chapman-Kolmogorov [2] # % #
m
ank " ann
p j (n + 1) = pi ( n) pij (1)
i =1
observemos que en la igualdad I A = 0 (para
Esta ecuacin indica que la probabilidad de entrar al obtener los valores propios) el valor =1 convierte a la
estado j en la fecha n+1 es la suma de las probabilidades matriz I A en una matriz singular y por lo tanto su
de pasar de cualquier estado i al estado j dado que en la determinante es nulo. La singularidad de esta matriz pude
fecha n el proceso se encuentra en el estado i. La forma ser demostrada a travs del concepto de independencia
matricial (para todos los estados) de la ecuacin (1) es: lineal, una combinacin lineal no-nula entre los vectores
columna de dicha matriz da como resultado el vector
[ p(n + 1)] = [ p(n)][ M ] (2) nulo, entonces con =1 tenemos:

Donde M es la matriz cuadrada de mxm de las 1 a11 a1n 0

probabilidades de transicin pij, tales que pij 0, y la suma # c +" + # c = #
m
1 n
ank 1 ann 0
por filas de M debe ser unitaria, esto es la p
j =1
ij = 1 lo

cual representa que todas las posibles transiciones del
estado i a cualquier otro estado j viene regida por una
distribucin de probabilidad (en este caso discreta). Una
matriz M con las propiedades mencionadas anteriormente
recibe el nombre de Matriz Estocstica.
Se puede verificar fcilmente la siguiente relacin, para
una cadena de Markov, conociendo las probabilidades de
la fecha inicial
Las constantes c1 = " = cn = 1 satisfacen la ecuacin
anterior (recordar que la suma por filas de una matriz
estocstica es siempre la unidad).
As queda demostrado que con =1 existe dependencia
lineal entre las columnas de I A y por lo tanto su
determinante es nulo, garantizando pues que la unidad es
siempre un valor propio de una matriz estocstica.

3. NORMA MATRICIAL, EIGENVALORES Y

[ p(n)] = [ p(0)][ M ]
n
(3)
EIGENVECTORES.
Cuando todos los elementos de M son diferentes de cero, As como para un espacio vectorial V de vectores puede
y se verifica que Lim [ M ] = M , la matriz M se llama
r
definirse como Norma la aplicacin de un elemento de V
r
sobre los reales positivos, definamos para el espacio de
Ergdica.
matrices de orden m la Norma Matricial [5] como una
aplicacin, de un elemento del espacio de matrices, en los
Es importante resaltar, las siguientes propiedades de las
reales positivos que verifica que:
matrices estocsticas:

a) Si A y B son matrices estocsticas entonces C=A B a) A 0 y A = 0 A = donde es la matriz nula.

tambin lo es. Para la prueba de la propiedad b) A = A
verifiquemos que la suma de los elementos de cada fila
c) A + B A + B
de C suma uno, entonces:
d) AB A B
Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP 75

Ntese que las primeras tres propiedades son similares a Es conveniente analizar el rango de valores que puede
las propiedades de la norma de un vector con m2 asumir k de modo que la norma definida siga siendo
elementos, sin embargo la cuarta propiedad diferencia las norma matricial. La propiedad d) es quien restringe el
normas matriciales de las vectoriales. Ejemplo de normas valor mximo de k as: Si A y B son estocsticas,
matriciales son: entonces C=A B tambin lo es, luego A B = C = n k
n debe ser menor o igual que A B = n2 k2 , esto es
A 1 = aij (Norma 1). 2
i , j =1 n k n2 k , y ya que k>0, se tiene de la relacin anterior
que 0 < k n ; escojamos entonces k=n, que es valor
n
A2 = a ij
2
(Norma 2, o norma Euclidea).
i, j =1 para el cual la norma matricial definida toma el menor

n
(p-norma matricial) valor posible, para nuestra norma matricial, de modo que
A p = p aij
p

i , j =1 nuestra norma matricial para matrices estocsticas ser

La p-norma infinita, que converge al mximo del |aij| no
es norma matricial ya que no satisface la propiedad d) por
esta razn se puede ver en ciertos problemas que no todas
las p-normas para p>2 son matriciales.
Un complejo es eigenvalor o valor propio de una
matriz A si v V (v 0) que satisface Av = v (v)
y en tal caso v es el eigenvector o vector propio asociado
a .
El espectro de una matriz A (sp(A)) es el conjunto de
valores propios de dicha matriz; y se denomina radio
espectral ((A)) al mximo de las magnitudes del
espectro de A ( (A) = Max { |i(A)|} ).
Las dos siguientes son propiedades de las normas
matriciales:
A A con k N
k
1)
k
2) ( A) A para cualquier norma matricial.
siempre igual a la unidad.
Con esta norma matricial as definida y por la propiedad
2) se tiene entonces que la magnitud mxima de algn
valor propio de una matriz estocstica ser como mximo
la unidad.
4. LA TRANSFORMADA Z
Se define aqu la transformacin Z ya que es muy til
para mostrar las propiedades de las cadenas de Markov
[4].
Sea n una variable entera no negativa, y consideremos
una secuencia o funcin f ( n) unvoca y definida para
valores enteros no negativos de n, y que verifica que
a 0, f ( n ) a n , entonces definamos F ( z ) como la
transformacin Z de f ( n) as:
F ( z ) = Z { f (n)} = f (n) z n
(4)
n=0

La serie anterior es convergente por lo menos para un

Pruebas: 1) Es consecuencia de la propiedad d). Para 2) z < 1/ a . Observe que la transformacin es un operador
definamos H como la matriz cuadrada H=[v||| ] (v es lineal.
un vector propio de A, y es un vector columna de Para nuestro estudio, nos interesa mostrar los siguientes
ceros), entonces [A] [H] = [H], luego ||A H|| = ||H|| = resultados:
|| ||H|| y por la propiedad d) se tiene que ||A H||
||A|| ||H||, luego || ||H|| ||A|| ||H||, y ya que ||H|| 0 Si f (n) = n entonces
(pues v ) se tiene entonces que || ||A|| que se
1
satisface para cualquier valor propios del sp(A). Lo F ( z) = z si 1 (5)
anterior indica que para cualquier norma matricial de una 1 z
matriz A, ningn valor propio de dicha matriz ser de La transformacin de f(n+1) es
magnitud superior a la norma. F ( z ) f (0)
Z { f ( n + 1)} = (6)
z
Si A es una matriz estocstica, definamos a conveniencia, Prueba:
la norma matricial de A como:
F (z) =
n=0
n
zn = ( z )
n=0
n
= 1 (1 z ) siempre que
n aij
A = , con k>0, y como A es estocstica, esta z < 1/ Probado (5)
i , j =1 k

norma siempre ser igual a n / k . Es facil mostrar que la

Z { f ( n + 1)} =
n=0
f ( n + 1) z n =
k =1
f ( k ) z k 1 = ...
norma as definida cumple con las cuatro propiedades, ya
que esta norma es un caso especfico de la p-norma 1. ... = z 1 f (k ) z k f (0) = F ( z ) f (0) z Probado (6)
k =0
76 Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP

5. CONVERGENCIA DE LAS CADENAS DE Para analizar la convergencia de la cadena de Markov

MARKOV recordemos que en el conjunto de valores propios k de la
matriz estocstica M siempre existe por lo menos un
Retomando la ecuacin (2) y transformando ambos valor propio igual a la unidad y adems que los dems se
miembros mediante (4) tenemos: encuentran dentro del circulo unitario complejo; por lo
tanto a medida que n aumenta de valor (cuando han
( [ P ( z )] [ P (0)]) z = [ P ( z )] [ M ] , entonces ocurrido suficientes transiciones) la suma de la ecuacin
(8) se reduce slo a aquel trmino asociado al valor
1 propio unitario ya que los dems sumandos tienden a
[ P( z)] = [ P(0)][C( z)] (5)
desaparecer por ser de magnitud menor que la unidad.

donde [C(z)] = [ Im ] z[ M] 6. EJEMPLO DE APLICACIN

Existe una relacin inversa entre las races en z del Para un sistema con tres estados se tienen las
determinante de la matriz C y los elementos del sp(M), probabilidades de transicin entre estados
esto es:
p11 p12 p31 0.4 0.5 0.1
C ( z ) = 0 es [ I ] z[ M ] = z 1 z [ I ] [ M ] = ...
m M = p21 p22 p32 = 0.3 0 0.7

m p31 p32 p33 0.5 0.3 0.2

... = z [ I ] [ M ] = 0 y con z0 se tiene que las races
en z son los inversos de los valores propios de la matriz
estocstica M. p11
E1
Recordemos que la inversa de la matriz C(z) se calcula p12
p13
como el inverso de su determinante multiplicado por su
matriz Adjunta [1] as: p31 p21

p33 p22
1 E3 p32 E2
[ P( z)] = [ P(0)] Adj ( C( z) ) (6) p23
C( z)
Figura 2.Representacin de la transicin entre estados para una
La ecuacin (6) puede ser desarrollada en fracciones cadena de Markov
parciales simples, con denominadores que pueden ser de
la forma ( z rk ) (rk es cada una de las races del Bajo el supuesto de que el proceso se encuentra en el
Estado 1, calcule las probabilidad del que el proceso se
determinante de C(z) ) de la forma (1 k z ) (el encuentre en alguno de los estados despus de sucedidas
inverso de rk es k (k sp(M)). Se escoger esta ltima muchas transiciones. (Las probabilidades de transicin no
expresin ya que ella permite obtener la transformacin cambian con el tiempo).
Z inversa de forma inmediata.
Observe que M es una matriz estocstica, y sus valores
Se tiene entonces que para el caso de m valores propios 2 + 3 2 3
diferentes el desarrollo en fracciones simples es [3] propio son: 1 = 1 2 = 3 = ,
10 10
observe que uno de ellos es la unidad y los dems son de
m 1 magnitud menor a sta.
[ P( z)] = [ P(0)] 1 z [ A ] k (7)
k =1 k
En cuanto a la matriz [C( z)] = [ I m ] z [ M ] tenemos:
donde las matrices Ak tiene entradas constantes
(independientes de z). 1 0.4 z 0.5 z 0.1z
Al aplicar la transformacin Z inversa a (7) mediante (5) [C ( z )] = 0.3z 1 0.7 z
tenemos: 0.5 z 0.3z 1 0.2 z

m 0.21z 2 0.2 z + 1 0.07 z 2 + 0.5 z 0.35 z 2 + 0.1z

[ A ]
[p (n )] = [ p(0)] k
n
k (8)

k =1 [C ( z )]
1
= 0.29 z 2 + 0.3 z 0.03 z 2 0.6 z + 1 0.25 z 2 + 0.7 z
0.09 z 2 + 0.5 z 0.13 z 2 + 0.3 z 0.15 z 2 0.4 z + 1
Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP 77

C ( z ) = 1 0.6 z 0.33 z 2 0.07 z 3 el caso de que estos elementos tengan multiplicidad la

Cadena de Markov diverge.

Y al expandir [C ( z )]1 en fracciones parciales Para entender esta idea sera necesario profundizar
tendramos que: mucho ms en la teora de estabilidad y la transformada
1 1 1 Z; sin embargo recurriendo a los criterios de estabilidad
[C ( z )] =
1
[A ]+
1 [A ]+ [A ] dados por la Teora de Sistemas de Control Digital, se
1 2 z
2
1 3 z
3
1 z
conoce que cuando los valores propios del sistema estn
ubicados en la frontera del crculo unitario el sistema es
La ecuacin (7) aplicada a este problema resulta en oscilante, y adems si existe multiplicidad el sistema se
torna inestable.
[ p (n)] = [ p (0)] [ A1 ] + [ A2 ] 2 + [ A3 ] 3
n n

Para explicar el fenmeno anterior, tomemos como

Y de estos trminos slo interesa el primero de ellos, ejemplo un caso simple en el cual = 1 es un valor
([A1]) pues pasadas muchas transiciones los dos ltimos propio de M.
trminos tienden a cero. Por lo tanto slo necesitamos a
A1] y para ello simplemente multiplicamos a [C ( z )]
1 Considere que en el ejercicio anterior la matriz de
transiciones es
por (1 z ) y hacemos z = 1 , obteniendo
1 0.8 0.2
[ M ] = 1 0 0
0.4014 0.2925 0.3061
1 0 0
A1 = 0.4014 0.2925 0.3061
0.4014 0.2925 0.3061
Sus valores propios son 1 = 1 2 = 1 3 = 0 . El
1
As que las probabilidades despus de muchas lector podr comprobar que la matriz [C ( z )] puede
transiciones son: escribirse como
T
1 0.4014 0.2925 0.3061 1 1
0.4014 0.2925 0.3061 [C ( z )] =
1
[A ]+
1
[A ]+[A ]
2 3
[ p ( n)] = [ p (0)][ A1 ] = 0 1 z 1+ z

0 0.4014 0.2925 0.3061 donde

0.5 0.4 0.1 0.5 0.4 0.1 0 0 0

[ p ( n)] = [ 0.4014 0.2925
7. ANOTACIONES FINALES
Es importante aclarar que el espectro de la matriz
estocstica puede contener:
- Todos los elementos del espectro son diferentes:
Este fue el caso que se expuso anteriormente, y con el
cual se observa claramente la convergencia de la cadena
de Markov.
- Existen elementos con multiplicidad, pero su magnitud
es estrictamente meno que la unidad:
Para este caso, la nica diferencia que se presenta con el
proceso anteriormente mostrado tiene que ver con la
expansin en fracciones parciales que se muestra en la
ecuacin (7), y se puede mostrar, por medio de la
transformacin Z inversa, que cada una de las fracciones
simples asociadas con el valor propio con multiplicidad
producir una funcin de n la cual decrece a medida que
suceden las transiciones.
- Existen elementos con magnitud igual a la unidad:
Para este caso se puede decir que la Cadena de Markov
pudiera no Converger a un valor especfico, e incluso, en
0.3061]
[ A1 ] = 0.5 0.4 0.1 ;[ A2 ] = 0.5 0.4 0.1 ;[ A3 ] = 0 0.2 0.2
0.5 0.4 0.1 0.5 0.4 0.1 0 0.8 0.8
Por lo tanto
0.5 0.4 0.1 0.5 0.4 0.1
[ p ( n )] = [ p (0)]
0.5 0.4 0.1 + (1) n 0.5 0.4 0.1 Y
0.5 0.4 0.1 0.5 0.4 0.1
se concluye entonces que las probabilidades no
convergen a un valor especfico ya que para valores pares
de la transicin (valores pares de n) las probabilidades
toman un valor diferente al de las transiciones impares.
8. CONCLUSIONES
Se ha mostrado el panorama de las Cadenas de Markov,
como un proceso estocstico donde tanto las variables
tiempo como el estado son variables discretas. Se mostr
la convergencia de dicho proceso bajo un anlisis claro
que involucra conceptos del Algebra Lineal y mediante la
transformada Z como herramienta para resolver las
ecuaciones Chapman-Kolmogorov.
La transformada Z aqu definida difiere un poco de la
transformacin conocida comnmente, sin embargo las
78 Scientia et Technica Ao XII, No 32, Diciembre de 2006. UTP

propiedades derivadas de la definicin aqu dada han sido

demostradas y justificadas [4].
Por esta razn es que los valores propios de M son los
inversos de las races del determinante de la matriz C(z).
Si hubisemos empleado la definicin de transformacin
Z usada en la teora de Sistemas Control Digital (donde
el exponente de z en la ecuacin (4) no es n sino -n) los
valores propios de M coincidiran con las races del
determinante de la matriz C(z).

El enfoque que se le ha dado a este problema est

estrechamente relacionado con la teora de Sistemas de
Control Digital [3], pues las probabilidades finales de la
Cadena de Markov equivalen a la respuesta de Estado
Estable de un sistema digital, cuyas Variables de Estado
y sus Salidas equivalen a la probabilidad de que el
sistema se encuentre en un estado determinado y la
matriz asociada (al sistema digital) es la matriz
estocstica, ante una excitacin de condiciones iniciales
(equivalente a las probabilidades del estado inicial) .

9. BIBLIOGRAFA

[1] APOSTOL, T. Multi Variable Calculus and Linear

Algebra, with Applications to Differential Equations
and Probability. Volume II, Second edition. Toronto,
1969.

[2] CRAMER, H, Mtodos Matemticos de la

Estadstica. Segunda edicin 1960.

[3] GIRALDO, Didier. Sistemas de Control Digital.

Universidad Tecnolgica de Pereira. Primera edicin.
1999.

[4] KAUFMANN, A. Mtodos y Modelos de la

Investigacin de Operaciones. Tomo II, Primera
edicin, pginas 408 a 425.1256 pginas, Editorial
Continental, Mxico, 1982.

[5] www.alojamientos.us.Es/edan/asignaturas/CN2/
ApuntesCN-II.pdf.
Apuntes de Clculo Numrico. Volumen II, Curso
2004/2005, Octubre 2004.

[6] ZAPATA, C. Confiabilidad de Sistemas Elctricos.

Universidad Tecnolgica de Pereira. 2005