Cadenas de Markov 2.1 (M14)

Captulo 2.
2.- Cadenas de Markov.

2.1. Introduccin.

Hay procesos estocsticos, tales que, la informacin de algn estado futuro
X
n+1
, dado que se sabe la informacin de los estados pasados X
0
, X
1
, , X
n 1
y del
estado presente X
n
, es independiente de los estados pasados y nicamente depende del
estado presente X
n
, por su forma de comportarse, estos procesos se aplican en diversas
reas, aqu analizaremos aquellos que tienen un espacio parametral de tiempo discreto T
y un espacio de estados E, finito o contable infinito.

Definicin 2.1. Un proceso estocstico {X
n
, n T }, con espacio parametral de
tiempo discreto T y un espacio de estados E finito o contable infinito es una cadena de
Markov si

P { X
n+1
= j | X
0
= i
0
, X
1
= i
1
, , X
n
= i

} = P { X
n+1
= j | X
n
= i } = p
ij
.

p
ij
es la probabilidad de transicin o de paso, del estado i en el tiempo n, al estado j en
el tiempo n +1, es decir, p
ij
es la probabilidad de transicin o de paso del estado i al
estado j en un paso.

Sin prdida de generalidad tomaremos a T y E como subconjunto de los
nmeros enteros.

Definicin 2.2. Si las p
ij
no dependen de n, se dice que la cadena de Markov es
homognea.

La definicin 2.2 nos dice que

P { X
n+1
= j | X
n
= i } = P { X
m+1
= j | X
m
= i } = p
ij
con m n.

supondremos siempre que p
ij
no dependen de n. A p
ij
=P { X
1
= j | X
0
= i } tambin
lo podemos poner como

Captulo 2 2.1. Introduccin 25
________________________________________________________________________________

P { X
1
= j | X
0
= i } = P
i
{ X
1
= j }

Las probabilidades de transicin p
ij
satisfacen

p
ij
0, i, j 0 y . 1
ij
j E
p

Podemos escribir todas las probabilidades de transicin del estado i en el tiempo
n, al estado j en el tiempo n +1, de la siguiente forma matricial

estados de X
n+1

estados de X
n
= P
00 01 02
10 11 12
20 21 22
0 1 2
0
1
2
p p p
p p p
p p p
| |
|
|
|
|
|
\ .

P es la matriz de probabilidades de transicin.

Definicin 2.3. Una matriz P se llama estocstica si cada uno de sus elementos, p
ij
0,
i, j 0 y , es decir cada uno de los elementos de la matriz es mayor o igual
que cero y en cada rengln su suma es uno.
1
ij
j E
p

Definicin 2.4. Una matriz P se llama doblemente estocstica si cada uno de sus elementos
p
ij
0 , i, j 0 , y 1
ij
j E
p
1
ij
i E
p

La definicin 2.4 nos dice que una matriz es doblemente estocstica si tanto sus
columnas como sus renglones suman uno.

Ejemplo 2.1. Supngase que la posibilidad de que el da de maana llueva slo depende
de la situacin climatolgica de hoy y no de das previos, adems supongamos que si
llueve hoy, la probabilidad de que maana llueva es y si hoy no llueve, la
probabilidad de que llueva maana es , esto quiere decir que si hoy llueve, entonces
maana no llover con probabilidad 1 y si hoy no llueve, la probabilidad de que
maana tampoco sera 1 , si consideramos que el estado 0 es que llueva y al estado 1

26 Cadenas de Markov Captulo 2
________________________________________________________________________________

0
0
1
0
que no llueva, claramente bajo los supuestos que hemos hecho ste ejemplo es una
cadena de Markov con la siguiente matriz de transicin,

P =
|

1
1

| |
\ .

Ejemplo 2.2. Un apostador tiene $N , en cada juego que apuesta tiene la probabilidad p
de ganar $1 o perder $1 con probabilidad 1 p , el jugador se retirar cuando se quede
sin dinero o bien cuando haya duplicado su dinero original $N.

Si consideramos X
n
como el dinero que tienen el apostador despus de la n-sima
vez que apuesta, X
n
claramente es una cadena de Markov, ya que lo que va apostar
nicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, X
n
tienen espacio de estados E = {0, 1 , 2, , 2N}, sus probabilidades de
transicin son

p
ij
= p con j = i +1 , i = 1, 2, , 2N 1
p
ij
= 1 p con j = i 1, i = 1, 2, , 2N 1 y
p
00
= p
2N,2N
= 1

los estados 0 y 2N son estados absorbentes, este concepto lo definiremos ms adelante,
de aqu obtenemos la siguiente matriz de transicin

P =
|

1 0 0 0 0 0
1 0 0 0 0
0 1 0 0 0 0
0 0 0 0 1 0
0 0 0 0 0 0
p p
p p
p p
| |
|
|
|
|
|
|
|
\ .

Ejemplo 2.3. Sea {X
n
; n = 0, 1, } definido por

X
n
=
1 2
0 si
si 1, 2,
n
n
Y Y Y n
=
+ + + =

________________________________________________________________________________
con Y
1
, Y
2
, , Y
n
, variables aleatorias discretas, independientes e idnticamente
distribuidas, con distribucin de probabilidad { p
k
; k = 0, 1, 2, }. Dado que
X
n+1
=X
n
+ Y
n+1
, tenemos que,

P{X
n+1
= j | X
0
, X
1
, , X
n
} = P{Y
n+1
= j X
n
| X
0
, X
1
, , X
n
} =
n
j X
p

Claramente nicamente depende de X
n
. As tenemos que el proceso {X
n
, n T }
define una cadena de Markov con probabilidades de transicin

p
ij
= P{X
n+1
= j | X
n
= i} =p
ji

y matriz de transicin

P = |
0 1 2 3
0 1 2
0 1
0
0
0 0
0 0 0
p p p p
p p p
p p
p
| |
|
|
|
|
|
\ .

Teorema 2.1. Sea {X
n
; n T , n 0} una cadena de Markov, para todo m, n T , con
m, n 0 y i
0
, i
1
, , i
m
E

P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
} =
0 1 1 2 1 m m
i i i i i i
p p p

Demostracin.

P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
}
= P{ X
n+2
= i
2
, , X
n+m
= i
m
| X
n
= i
0
, X
n+1
= i
1
} P{ X
n+1
= i
1
| X
n
= i
0
}

por ser {X
n
; n T , n 0} una cadena de Markov y por definicin de probabilidad de
transicin
= P{ X
n+2
= i
2
, , X
n+m
= i
m
|X
n+1
= i
1
}
0 1
i i
p
repitiendo el primer paso
= P{ X
n+3
= i
3
, , X
n+m
= i
m
|X
n+1
= i
1
, X
n+2
= i
2
} P{ X
0 1
i i
p
n+2
= i
2
|X
n+1
= i
1
}
= P{ X
n+3
= i
3
, , X
n+m
= i
m
|X
n+2
= i
2
}
0 1
i i
p
1 2
i i
p

________________________________________________________________________________

.
} =
y as sucesivamente hasta llegar a
P{ X
n+1
= i
1
, , X
n+m
= i
m
| X
n
= i
0
} =
0 1 1 2 1 m m
i i i i i i
p p p

Sea ( i ) = P{ X
0
= i } la distribucin inicial de X
n
.

Corolario 2 1.1. Sea {X
n
; n T , n 0} una cadena de Markov, la ley de distribucin
de probabilidades del vector aleatorio ( X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
) depende de las
probabilidades de transicin p
ij
y de la distribucin inicial, es decir,

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
} = (i
0
)
0 1 1 2 1 n n
i i i i i i
p p p

Demostracin.

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
} = P{ X
1
= i
1
, , X
n
= i
n
| X
0
= i
0
} P{ X
0
= i
0
}

Del teorema 2.1 y de la definicin de distribucin inicial

P{ X
0
= i
0
, X
1
= i
1
, , X
n
= i
n
}= (i
0
)
0 1 1 2 1 n n
i i i i i i
p p p

Los para n, i, j 0, son los elementos de la matriz .
n
ij
p
n
P

Teorema 2.2. Sea {X
n
; n T , n 0} una cadena de Markov, para m T , con m 0

P{ X
n+m
= j | X
n
= i} =
m
ij
p

para todo i, j E .

Demostracin.

Demostremos por induccin.

Para m = 1, por definicin, esto es claro.
Por hiptesis de induccin se cumple para m = l, ahora verifiquemos si se
cumple para m = l + 1.

P{ X
n+l +1
= j | X
n
= i } =
1
{ , |
n l n l n
k E
P X j X k X i
+ + +
= =

________________________________________________________________________________
=
1
{ | , } { |
n l n l n n l n
k E
P X j X k X i P X k X i
+ + + +
= = = =
} =
} =

}
} =
=
1
{ | } { |
n l n l n l n
k E
P X j X k P X k X i
+ + + +
= = =
por hiptesis de induccin

= =
l
kj ik
k E
p p
l
ik kj
k E
p p
=
1 l
ij
p
+

As que para una cadena de Markov, la probabilidad de transicin en m pasos se
define como

P{ X
n+m
= j | X
n
= i} = .
m
ij
p

Teorema 2.3. Sea {X
n
; n T , n 0} una cadena de Markov

P{ X
n
= j } =
0
{ }
n
ij
i E
P X i p
para todo j E .

Demostracin.
P{ X
n
= j }=

0
{ ,
n
i E
P X j X i
= =
=
0 0
{ } { |
n
i E
P X i P X j X i
= =

por el teorema anterior

=
0
{ }
n
ij
i E
P X i p

Teorema 2.4. ( Ecuacin de Chapman Kolmogorov ) Sea {X
n
; n T , n 0} una
cadena de Markov, para todo m, n T , con m, n 0 e i, j E

n m
ij
p
+
=
n m
ik kj
k E
p p

________________________________________________________________________________

}
}
} =
Demostracin.

= P { X
n m
ij
p
+
n+m
= j | X
0
= i }
=
0
{ , |
n m m
k E
P X j X k X i
+
= = =
=
0 0
{ | , } { |
n m m m
k E
P X j X k X i P X k X i
+
= = = = =
= P X

0
{ | } { |
n m m m
k E
j X k P X k X i
+
= = =
=

m n
ik kj
k E
p p

Ejemplo 2.4. Del ejemplo 2.1, consideremos que = 0.7 (la probabilidad de que maana
llueva dado que hoy llueve) y = 0.4 (la probabilidad de que maana llueva dado que
hoy no llueva), entonces la matriz de transicin es:

P =
|

0.7 0.3
0.4 0.6
| |
\ .

Cul es la probabilidad de que llueva en 4 das dado que hoy est lloviendo?

Tenemos que calcular , para obtenerlo calculemos la matriz de transicin ,
luego entonces
4
00
p
4
P

2
P = P P = y
0.61 0.39
0.52 0.48
| |
|
\ .

= =
4
P
2
P
2
P
0.5749 0.4251
0.5668 0.4332
| |
|
\ .

por tanto la probabilidad de que llueva dentro de 4 das dado que est lloviendo hoy es
0.5749.

Captulo 2 2.2. Clasificacin de estados. 31
________________________________________________________________________________

2.2. Clasificacin de estados.

Definicin 2.5. Si la probabilidad es no cero para alguna n 1 se dice que el estado
i lleva al estado j o tambin que j es alcanzado o accesible desde el estado i se denota por
i j.
n
ij
p

Definicin 2.6. Se dice que los estados i, j se comunican si i j y j i , se denota
por i j .

Definicin 2.7. Una cadena de Markov es irreducible si todos los estados se comunican.

La definicin anterior nos dice que una cadena de Markov es irreducible si cada
estado es alcanzado desde cualquier otro, en algn nmero de pasos.

Teorema 2.5. La comunicacin es simtrica y transitiva es decir para estados i, j y k,

1) i j j i
2) si i j y j k i k

Demostracin.

1) se cumplen inmediatamente a partir de la definicin, probemos 2).

Si i j entonces existe n
1
> 0, > 0 y
1
n
ij
p
j k entonces existe n
2
> 0 , > 0
2
n
jk
p

usando Chapman Kolmogorov

1 2
n n
ik
p
+
= >0,
1 2
n n
ir rk
r E
p p
1
n
ij
p
2
n
jk
p

lo que significa que si existe un n
3
tal que

3
n
ik
p > 0 .

________________________________________________________________________________

Definicin 2.8. Un estado j que se comunica nuevamente con l, j j , se dice que es
un estado de retorno, es decir, j es un estado de retorno si >0, para alguna n 1.
n
jj
p

Definicin 2.9. Dado un estado j una clase de comunicacin E
j
es definida como el
conjunto de todos los estados k los cuales se comunican con j; es decir

k E
j
si, y slo si k j.

Podra pasar que E
j
sea un conjunto vaco, es decir, que puede existir un estado j
que no se comunica ni con el mismo, j es un estado de no retorno.
Teorema 2.6. Si E
1
y E
2
son dos clases de comunicacin, entonces E
1
y E
2
son
disjuntos.

Demostracin.

Si para un estado que est tanto en E
1
como en E
2
, significa que E
1
= E
2
,
habremos probado que son disjuntos.
Supongamos que E
1
y E
2
tienen un estado i en comn. Sean j y k dos estados
tales que E
1
= E
j
y E
2
= E
k
, probemos que E
j
= E
k
.

Verifiquemos primero que E
j
E
k
sea h E
j
, dado que h j y j i ,
entonces h i, como i k entonces h k, se cumple que E
j
E
k
,, anlogamente
podemos probar que E
k
E
j
, lo que significa que E
1
= E
2
cuando tienen un estado en
comn.

Con la definicin de clase de comunicacin, tenemos que una cadena de Markov
es irreducible si la cadena consiste de una sola clase de comunicacin.

Podemos entonces decir que todo estado j en una cadena de Markov o bien
pertenece a una clase de comunicacin o es un estado de no retorno. Podemos
enunciar el siguiente resultado.

Teorema 2.7. El conjunto de estados E de una cadena de Markov puede escribirse
como la unin de un finito o contable infinito, de conjuntos disjuntos E
r
,

E = E
1
E
2
E
r
y E
i
E
j
= para i j,

Donde cada conjunto E
r
es una clase de comunicacin o contiene exactamente un
estado de no retorno.

________________________________________________________________________________
Cuando un proceso entra a un conjunto C de estados y ya no puede salir nunca
de l, se dice que el conjunto C de estados es cerrado, un conjunto cerrado puede
contener uno o ms estados, definamos formalmente a un conjunto cerrado.

Definicin 2.10. Un conjunto C de estados se dice que es cerrado si = 0, para alguna
n 1 y para todo i C y j C.
n
ij
p

Definicin 2.11. j es un estado absorbente si, = 1 y = 0 para toda n 1 y para
todo j k.
n
jj
p
n
jk
p

La definicin anterior nos dice que, si un conjunto cerrado C contiene solamente
un estado, entonces se le llama absorbente.

A partir de las definiciones es claro que si un proceso no contiene conjuntos
cerrados ser irreducible.

Definicin 2.12. El periodo d( i ) de retorno al estado i es definido como

d( i ) := m.c.d. {m : > 0 }.
m
ii
p

Definicin 2.13. El estado i es aperidico si d( i ) = 1 y peridico si d( i ) >1.

Definicin 2.14. El tiempo de llegada a un estado j E, se define como

T
j
= inf {n 1 | X
n
= j }.

La probabilidad de empezar en el estado i y llegar al estado j en m pasos es,
=P
m
ij
f
i
{T
j
= m }.

Definamos a
f
ij
= P
i
{ T
j
< } = =
1
{ }
i j
m
P T m
=
=
1
m
ij
m
f

como la probabilidad de que el proceso est en i y alcance alguna vez j.

f
ij
la podemos calcular teniendo en cuenta las siguientes opciones:

1) que de i pase a j en el primer paso con probabilidad p
ij
o
2) que la primera transicin sea a k {E j } y despus eventualmente pasar a j.

________________________________________________________________________________

, 2,

De esto, podemos enunciar el siguiente resultado.

Teorema 2.8. Para cada i, j E,

f
ij
= p
ij
+ .
{ }
ik kj
k E j
p f

Del teorema anterior podemos tambin deducir

m
ij
f =

{ }
1
1
2
ij
m
ik kj
k E j
p m
p f m

Definicin 2.15. Sea {X
n
; n T , n 0} una cadena de Markov, definimos a

N
j
= { }
0
k
k
I X j
=
=

como el nmero de llegadas al estado j

De la definicin anterior P
i
{N
j
= m } es la probabilidad, de estando en el estado
i visitemos m veces el estado j.

Teorema 2.9. Sea {X
n
; n T , n 0} una cadena de Markov entonces

1) P
j
{N
j
= m } =
( )
( 1 f
1 m
jj
f

jj
) , m = 1, 2,
2) P
i
{N
j
= m }=
para i j.
( ) ( )
1
1 0
1 1
ij
m
ij jj jj
f m
f f f m

Hacemos notar que significa que f
( )
1 m
jj
f

jj
est elevado a la potencia m 1 , que es
muy diferente a como definimos .
m
jj
f

Demostracin.

Demostremos 1), el que suceda el evento N
j
= m es equivalente a que ocurra
< , < , , T < , T = , donde j
1
j
T
2
j
T
m
j
1 m
j
+
m
representa la m-sima llegada al
estado j.
________________________________________________________________________________

El tiempo entre las llegadas es independiente es decir,

{T < }, { T < },{T < }, , { T T = }
1
j
2
j
T
1
j
3
j
2
j
T
1 m
j
+ m
j

son independientes, esto se debe a que Markov implica independencia de llegadas de j a
j, sus respectivas probabilidades asociadas son:

1, f
jj
, f
jj
, , 1 f
jj

la primera es uno porque ya estamos en j, luego entonces tenemos que

P
j
{ N
j
= m } = f
jj
f
jj
( 1 f
jj
) =
( )
( 1 f
1 m
jj
f

jj
).

Ahora demostremos 2), para m = 0, significa que j nunca ser alcanzado desde i,
es decir

P
i
{N
j
= 0 }= P
i
{T
j
= } = 1 P
i
{T
j
< } = 1 f
ij
.

Para m 0, la diferencia con el inciso anterior es que ya estamos en el estado j ( con
probabilidad uno ) luego entonces slo hace falta considerar la probabilidad de pasar
de i a j por primera vez, esto suceder con probabilidad

P
i
{T
j
< } = f
ij

tenemos entonces que
P
i
{N
j
= m }= f
ij ( )
1 m
jj
f

( 1 f
jj
)

Definicin 2.16.
1) j es recurrente si P
j
{ T
j
< } = 1 , significa que si estamos en el estado j, la
probabilidad de que el proceso regrese alguna vez al estado j es uno.
2) Si no es recurrente se dice que es transitorio. Es decir P
j
{ T
j
= } > 0.
3) Si j es recurrente y E
j
( T
j
) = se dice que j es cero recurrente o recurrente nulo.
4) Si j es recurrente y E
j
( T
j
) < se dice que es recurrente positivo.

Si f
jj
= 1 entonces j es recurrente, que f
jj
= 1 significa que tendremos un nmero
infinito de llegadas a j, P{N
j
= } = 1 y que para todo m, P{ N
j
= m }= 0, tambin
podemos ver que E
j
( N
j
) = .

________________________________________________________________________________

Si f
jj
<1, tenemos que P
j
{ T
j
< } <1, lo que significa que P
j
{ T
j
= } > 0, esto
significa que existe la probabilidad de nunca regresar a j, es decir, que j es transitorio.
Tambin podemos ver que si f
jj
<1, del teorema 2.9 es claro que la distribucin de N
j

cuando empieza en j es una geomtrica con parmetro 1 f
jj
.

Teorema 2.10. Si f
jj
<1 entonces N
j
iniciando en j se distribuye como una geomtrica
con parmetro 1 f
jj
.

Definicin 2.17. Sea R, la matriz con elementos r
ij
= E
i
( N
j
) con i, j E, a la matriz
R se le llama matriz potencia.

r
ij
= E
i
( N
j
) = { }
0
i n
n
E I X j
=
| |
=
|
\ .
= { }
0
i n
n
P X j
=
=
=
n
ij
n o
p
en forma matricial nos quedara que

R = I + P + +
2
P

Teorema 2.11. 1) r
jj
=
1
1
jj
f

2) r
ij
= f
ij
r
jj
con i j.

Demostracin.

El inciso 1 sale de que la distribucin de N
j
iniciando en j es una distribucin
geomtrica, su valor esperado es

E
j
( N
j
) =
1
1
jj
f

Probemos ahora 2,

________________________________________________________________________________
r
ij
=
1
{ }
i j
m
mP N m
=
=
=
( )
1
1
(1 )
m
ij jj jj
m
mf f f
= f
ij ( )
1
1
(1 )
m
jj jj
m
m f f

= f
ij
E
j
( N
j
)
= f
ij
r
jj

Podemos decir que j es recurrente si, y slo si E
j
( N
j
) = y j es transitorio si, y
slo si E
j
( N
j
) <.

Teorema 2.12.
1) Si j es transitorio o recurrente nulo, entonces para todo i E

lim
n
ij
n
p
= 0.

2) Si j es recurrente positivo y aperidico, entonces

lim
n
jj
n
p
= ( j ) > 0
y tambin

= f lim
n
ij
n
p
ij
( j )
para todo i E.

Demostracin.

Aqu probaremos el caso cuando j es transitorio, para una demostracin de j
recurrente nulo y el inciso 2 puede encontrarse en inlar [ 1975, p. 301].

Si j es transitorio entonces r
jj
= E
j
( N
j
) < , entonces

r
ij
= f
ij
r
jj
< r
jj
<

________________________________________________________________________________

r
ij
=
<
0
n
ij
n
p
=
luego entonces r
ij
es finito solamente si = 0. lim
n
ij
n
p

Teorema 2.13. Si j es recurrente y j k entonces k j y f
kj
= P
k
{T
j
< } = 1 .

Demostracin.

j k significa que se puede pasar de j a k sin visitar a j, a la probabilidad de
este evento le asignamos > 0. Sean:

A = nunca visitar a j desde j y
B = Caminar de j a k y nunca regresar a j desde k

por ser B un caso especial de A tenemos que P{ A } P { B }, ahora bien

P{A} = 1 f
jj
y P {B} = ( 1 f
kj
)

Por ser j recurrente f
jj
= 1, entonces

0 = 1 f
jj
= P{A} P{B} = ( 1 f
kj
) 0

entonces, ( 1 f
kj
) = 0
como > 0, entonces 1 f
kj
= 0 , es decir, f
kj
= 1.

Significa tambin que k j .

Teorema 2.14. Si j es recurrente y j k entonces k es recurrente.

Demostracin.

Si j k significa que existe un s > 0 tal que > 0 , del teorema anterior
como j es recurrente y j k entonces k j, es decir, existe un m > 0 tal que >0 ,
es decir que > 0.
s
jk
p
m
kj
p
s
jk
p
m
kj
p

Usando Chapman Kolmogorov
________________________________________________________________________________

m n l
kk
p
+ +
= P
k
{ X
m+n+l
= k} =
m n l
ki ik
i E
p p
+

considerando un caso particular de
n l
ik
p
+

m n l
ki ik
i E
p p
+

m n l
ki ii ik
i E
p p p

ya que j E, tomamos el elemento j de la suma, nos queda que

m n l
ki ii ik
i E
p p p

m n l
kj jj jk
p p p

es decir, que
m n l
kk
p
+ +
(1)
m n l
kj jj jk
p p p

por otro lado
r
kk
= E
k
( N
k
) = { }
0
k n
n
P X k
=
=

0
n
kk
n
p
=

n
kk
n m l
p
= +

0
n m l
kk
n
p
+ +
=
por (1)

0
n m l
kk
n
p
+ +
= 0
m n l
kj jj jk
n
p p p
=
0
m l n
kj jk jj
n
p p p
= E
m l
kj jk
p p
j
( N
j
)

como j es recurrente E
j
( N
j
) = , luego entonces E
k
( N
k
) = , luego entonces k es
recurrente.

________________________________________________________________________________

Teorema 2.15. Si j es recurrente, entonces existe un conjunto C
j
cerrado e irreducible
que contiene a j.

Demostracin.

Sea C
j
:= { j E, j i } , como j es recurrente entonces si j i entonces por
el teorema 2.13 i j entonces C
j
:= { i E, j i }.

Con la demostracin de este teorema y el teorema 2.6. podemos enunciar el siguiente
resultado.

Teorema 2.16. Los estados recurrentes se dividen en una manera nica en conjuntos
cerrados e irreducibles.

Teorema 2.17. Si {X
n
; n T , n 0} es una cadena de Markov, con E irreducible
entonces.
1) Todos los estados son recurrentes.
2) Todos los estados son transitorios.

Demostracin.

1) Por el teorema anterior y el teorema 2.14 si j es recurrente y E es irreducible,
entonces todo elemento de E debe ser recurrente.

2) Por el teorema 2.14, sabemos que para j, k E, si j es recurrente y j k entonces k
es recurrente, negando ambas proposiciones, tenemos que, si k es transitorio entonces j
es transitorio, k j .

Teorema 2.18. Si {X
n
; n T , n 0} es una cadena de Markov, con E irreducible
entonces. Todos los estados tienen la misma periodicidad.

Demostracin.

Sea k un estado con periodicidad d( k ), como E es irreducible k j, entonces
existe s>0 y r > 0, tal que > 0 y > 0 , ahora bien,
r
jk
p
s
kj
p

s r
kk
p
+
> 0
s
kj
p
r
jk
p

________________________________________________________________________________
para el estado j, sea d( j ) su periodicidad, sea n un mltiplo de d( j ), supongamos que n
no es mltiplo de d( k ), luego entonces para

s r n
kk
p
+ +

s
kj
p
n
jj
p
r
jk
p

como n no es mltiplo de d( k ), entonces = 0, lo que significa que
=0, pero como > 0 entonces =0, es una contradiccin ya que n
es un mltiplo de d( j ), entonces, por tanto d( k ) = d( j ).
s r n
kk
p
+ +
n
jj
p
s
kj
p
n
jj
p
r
jk
p
s
kj
p
r
jk
p

Teorema 2.19. Si {X
n
; n T , n 0} es una cadena de Markov, y sea C < un
subcojunto de estados irreducible, entonces no tiene estados transitorios, ni recurrentes
nulos.

Demostracin.

Demostremos que C no puede tener estados transitorios, el caso de recurrente
nulo es totalmente anlogo.
Sea j un estado transitorio por el teorema anterior significa que todos los estados en C
son transitorios, ahora del teorema 2.12, si j es transitorio, entonces para algn i C

lim
n
ij
n
p
= 0

para cada i C tenemos que = 1, entonces
n
ij
j C
p

1= = =0 lim
n
n
ij
j C
p
lim
n
ij
n
j C
p

es una contradiccin por lo que j no puede ser transitorio.

Ejemplo 2.5. Sea P la siguiente matriz de transicin.

P =
|
|

0.8 0 0.2 0
0 0 1 0
1 0 0 0
0.3 0.4 0 0.3
| |
|
|
|
\ .

________________________________________________________________________________

Dado que p
13
>0 y p
31
>0 y p
12
= p
14
= p
32
= p
34
= 0, los estados {1, 3} son cerrados e
irreducibles, son recurrentes positivos por que son finitos, esto es por el teorema 2.19,
los estados 2 y 4 son transitorios.

2 4
3 1
0.8
0.3 0.4
1
1
0.2
0.3

Obtengamos los elementos de la matriz R, sea {X
n
} una cadena de Markov ,
con espacio de estados E y matriz de transicin P.

Si j es un estado recurrente significa que:

f
jj
= 1 r
jj
= ,

ahora bien, si i es cualquier estado, entonces

i j f
ij
> 0 r
ij
= f
ij
r
jj
=

y si
i j f
ij
= 0 r
ij
= 0.

Si j es transitorio e i es recurrente, tenemos que i j por que si i j e i es
recurrente entonces j es recurrente, caeramos en una contradiccin, as que

r
ij
= 0 porque f
ij
= 0.

Por ltimo analicemos el caso en el que i, j son transitorios, sea D el conjunto
de estados transitorios, sean Q y S las matrices que se obtienen a partir de P y R
respectivamente, al eliminar todos los renglones y columnas correspondientes a los
estados recurrentes, es decir, Q y S tienen elementos

q
ij
= p
ij
y s
ij
= r
ij
, con i, j D.

la matriz de probabilidades de transicin la podemos particionar de la siguiente manera.

________________________________________________________________________________
P =
|

| |
\ .
K 0
L Q

de manera similar tendramos, para m 0 en los enteros

m
P =
|
|
,
| |
\ .
m
m
m
K 0
L Q

aqu es la potencia m de K similar para Q pero L
m
K
m
es nicamente una matriz. Por
definicin

R = =
|
|
=
|
|

m
0 m
P
m
0
m
m
0 0
m
m m
=

= =
| |
|
|
|
\ .

K 0
L Q
| |
\ .
'
'
K 0
L S

con S = = I + Q + +
m
0 m
Q
2
Q

tenemos que,

SQ = Q + + + = QS
2
Q
3
Q
SQ = QS = S I
( I Q )S = I y S(I Q) = I

Si D es finita entonces S es la inversa de I Q . Si no es finita podemos tener muchas
soluciones.

Teorema 2.20. S es la solucin minimal de ( I Q )Y = I, Y 0.

Demostracin.

Hay que demostrar que si hay otra solucin Y de ( I Q )Y = I entonces Y S,
sea Y una solucin, Y 0

( I Q )Y = I Y = I + QY
________________________________________________________________________________

.
= I + Q( I + QY)
= I + Q + Q Y
2

y sustituyendo Y sucesivamente

Y = I + Q + Q + + Q + Q Y,
2 n n+1

tenemos que

Y I + Q + Q + + Q
2 n

S = Y.
m
0 m
Q

Si Y es una solucin y S es otra solucin, entonces , H = Y S 0, y

H = Y S = I + QY I QS
= Q (Y S )
= QH
cada columna h de H satisface

h = Qh 0

por otro lado, de S

s
ij
= f
ij
r
jj
r
jj
<

porque i, j son estados transitorios, la nica solucin de ( I Q )Y = I es S, si, y slo
si, la solucin de h = Qh es h = 0.

Corolario 2 20.1. S es la nica solucin a ( I Q )Y = I, Y 0 si, y slo si h = Qh,
0 h 1 implica que h = 0 .

Ejemplo 2.6. X es una cadena de Markov con espacio de estados E = { 1, 2 , 3, 4, 5, 6,
7, 8} y matriz de transicin

________________________________________________________________________________
P =
|
|

0.4 0.3 0.3 0 0 0 0 0
0 0.6 0.4 0 0 0 0 0
0.5 0.5 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 0.8 0.2 0 0 0
0 0 0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0 0.2
0.1 0 0.3 0 0 0.6 0 0
| |
|
|
|
|
|
|
|
|
|
\ .

o bien,
P =
0.4 0.3 0.3
0 0.6 0.4 0 0
0.5 0.5 0
0 1
0 0
0.8 0.2
0 0 0 0.4 0.6 0
0.4 0.4 0 0 0 0 0.2
0.1 0 0.3 0.6 0 0
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
|

Como podemos ver los estados 1, 2, 3 forman un conjunto irreducible, de
estados recurrentes positivos, los estados 4 y 5 forman otra clase de conjunto
irreducible de estados recurrentes positivos y los estados 6, 7, y 8 son estados
transitorios, los cuales nicamente pueden ir a los estados 1, 2 y 3, no tienen
comunicacin con los estados 4 y 5.

Calculemos R, para j recurrente e i cualquier estado tenemos que r
ij
= , en
caso de que i j , tenemos que r
ij
= 0, nicamente nos hace falta calcular el caso en
el que tanto i como j son estados transitorios (nos hace falta calcular la submatriz
inferior del lado derecho), obtengamos Q que se obtienen a partir de P, al eliminar
todos los renglones y columnas correspondientes a los estados recurrentes

Q =
0.4 0.6 0
0 0 0.2
0.6 0 0
| |
|
|
|
\ .

________________________________________________________________________________

tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R,
al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)
es la inversa de I Q

S = (I Q )
1
=
|
|
=
1
0.6 0.6 0
0 1 0.2
0.6 0 1
| |
\ .
125 75 15
1
15 75 15
66
75 45 75
| |
|
|
|
\ .
,

as tenemos que la matriz R para esta cadena de Markov es

R =
125 75 15
66 66 66
15 75 15
66 66 66
75 45 75
66 66 66
0 0
0 0
0
| |

|

|
|

|
|

|
|

|
|

|
|

\ .
|

Ahora calculemos los valores para la matriz F. Si i, j son recurrentes y
pertenecen al mismo conjunto cerrado e irreducible entonces f
ij
= 1.

Si i es recurrente y j es transitorio entonces f
ij
= 0.

Si i, j son recurrentes, i E
1
y j E
2
, E
1
E
2
= entonces f
ij
= 0.

Si i, j son transitorios, entonces r
ij
< , del teorema 2.11.1

r
jj
=
1
1
jj
f
r
jj
( 1 f
jj
) = 1
r
jj
1 = r
jj
f
jj

f
jj
= 1
1
jj
r

y del teorema 2.11.2
________________________________________________________________________________

r
ij
= f
ij
r
jj
f
ij
=
ij
jj
r
r

Teorema 2.21. Si i es transitorio y C es un conjunto cerrado e irreducible de estados
recurrentes

f
ij
= f
ih
para todo j, h C.

Demostracin.

Para j, h C , f
jh
= f
hj
= 1 , as si la cadena llega a un estado de C, ste tambin
visita todos los otros estados, entonces f
ij
= f
ih
.

Sea C
1
, C
2
, una clase de conjuntos cerrados e irreducibles y D es un
conjunto de estados transitorios, donde P
1
, P
2
, son las matrices de transicin
correspondientes a los conjuntos C
1
, C
2
, y Q es la que est formada por los
estados transitorios y Q
1
, Q
2
, son las matrices de transicin de los estados
transitorios a los estados de la clase de conjuntos cerrados e irreducibles C
1
, C
2
,
respectivamente, la matriz P nos queda de la siguiente forma

P = .
1
2
3
1 2 3
| |
|
|
|
|
|
|
\ .
P 0 0 0
0 P 0 0
0 0 P 0
Q Q Q Q

Como estamos interesados nicamente en saber cuando el conjunto C
j
ser alcanzado,
sin prdida de generalidad podemos considerarlos como estados absorbentes es decir
cambiemos a P
1
, P
2
, por 1, 1, , as nuestra matriz de transicin P la podemos
rescribir de la siguiente forma

P
= |
1 2 3
1
1
1
| |
|
|
|
|
|
\ .
0 0 0
0 0
0 0 0
b b b Q
0

________________________________________________________________________________

donde el i-simo elemento de b
j
( b
j
es un vector columna ) es, la probabilidad de
estando en el estado transitorio i, llegue al conjunto C
j
,

b
j
( i ) = , con i D
j
ik
k C
p
o ms simple

P
=
|

| |
\ .
I 0
B Q

con B = ( b
1
, b
2
, , b
m
), los elementos de B son b
ij
= , de aqu se sigue que
j
ik
k C
p

n
P
=
| |
|
\ .
n
n
I 0
B Q

donde B
n
=(I + Q +
2
Q

+ + )B, los elementos de la matriz B
n-1
Q n
ij
b
n
, nos
indican la probabilidad de que en n pasos vayamos desde el estado i a C
j
o bien es la
probabilidad que desde el estado i el proceso entre al C
j
en un tiempo n o antes es decir
( lo podemos ver como X
0
= i queremos llegar a X
n
= C
j
)

n
ij
b = P
i
{ T
j
< n +1}

entonces la probabilidad de que alcancemos a C
j
a partir del estado transitorio i en
algn momento sera

P
i
{ T
j
< } = P lim
n
i
{ T
j
n +1 }
= lim
n
1 n
ij
b +
B lim
n
n+1
= lim
n
k 0
n
=
| |
|
\ .
k
Q B
=
|

k 0
=
| |
\ .
k
Q B
=SB

luego entonces si i es transitorio, f
ik
= (sb)
ij
, para todo k C
j
, por el teorema anterior
podemos definir
________________________________________________________________________________

g
ij
= f
ik
= (sb)
ij

como la probabilidad de alcanzar el conjunto C
j
desde el estado transitorio i.

De todo lo anterior podemos concluir que para cada estado transitorio i y una clase
recurrente C
j
, la probabilidad de alcanzar el conjunto C
j
desde el estado transitorio i, es

g
ij
= f
ik
= (sb)
ij
para todo k en C
j
.

Lema 2.1. Sea i un estado transitorio desde el cul nicamente un nmero finito de
estados transitorios puede ser alcanzado. Adems, supngase que hay nicamente una
clase C de estados recurrentes, que puede ser alcanzado desde i. Entonces f
ij
= 1 para
todo j C.

Demostracin.

Al existir nicamente un conjunto de estados recurrentes que son alcanzados a
partir del conjunto de estados transitorios D, tenemos que la matriz B se convierte en
un vector columna, por definicin , es decir, si 1 es el vector columna
formado por puros unos, por la definicin
1
ij
j E
p

P 1 = 1

tenemos que, B + Q1 = 1 , o bien B = 1 Q1 , entonces,

B
n
=(I + Q +
2
Q

+ + )B
n-1
Q
=(I + Q + Q
2

+ + Q )( 1 Q1 )
n-1
=I 1+ Q1 + 1+ + Q 1 Q1 1 Q 1
2
Q
n-1 2
Q
n
= 1 1
n
Q

As si tomamos el lmite

lim
n
B
n
= ( 1 Q 1 ) lim
n
n

dado que < , entonces = 0, entonces el lmite anterior nos queda
como B
n
Q lim
n
n
Q
lim
n
n
= 1 , obtenemos
________________________________________________________________________________

g
ij
= f
ik
= 1, para todo k C.

Ejemplo 2.7. Ahora calculemos la matriz F de la cadena del ejemplo 2.6, si i, j son
recurrentes y pertenecen a la misma clase entonces f
ij
= 1, cuando pertenecen a
diferentes clases f
ij
= 0, si i es recurrente y j es transitorio f
ij
= 0. Si i, j son transitorios
usamos los resultados de R para calcular
f
jj
= 1
1
jj
r
, f
ij
=
ij
jj
r
r

por ejemplo sea i = 6, j = 7, del ejemplo 2.6 r
67
=
75
66
y r
77
=
75
66
luego entonces
f
67
= 1.
Y usando el lema 2.1 para el caso en que i es transitorio y j es recurrente f
ij
= 1, as

F =
0.472 1 0.20
0.12 0.12 0.20
0.60 0.60 0.12
1 1 1
1 1 1 0 0
1 1 1
1 1
0 0
1 1
1 1 1
1 1 1 0
1 1 1
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
|

2.3 Distribucin estacionaria.

Definicin 2.18. Sea {X
n
; n T , n 0} una cadena de Markov, con matriz de
transicin P, es una distribucin estacionaria con respecto a P o {X
n
; n T , n 0} si, y
slo si

1) es una distribucin.
Captulo 2 2.3. Distribucin estacionaria 51
________________________________________________________________________________
2) = P, es decir, ( j ) =
para toda j E. ( )
ij
i E
i p

Teorema 2.22. Si {X
n
; n T , n 0} es una cadena de Markov irreducible, aperidica
entonces todos los estados son recurrentes positivos si, y slo si el sistema de
ecuaciones lineales
( j ) = , para toda j E ( )
ij
i E
i p

( )
j E
j
= 1

tiene una solucin . Si existe una solucin esta es positiva, ( j ) > 0 para toda j,
es nica y

( j ) = para todo i, j E. lim
n
ij
n
p

Demostracin.

Si j es recurrente positivo y aperidico por el teorema 2.12

lim
n
ij
n
p
= ( j ) >0

ya que para todo i, j E, f
ij
= 1, y

( )
j E
j
= = = 1 lim
n
ij
n
j E
p
lim
n
ij
n
j E
p

es una distribucin.

Sea =
1 n
ij
p
+ n
ik kj
k E
p p
( j ) =
1
lim
n
ij
n
p
+
= lim
n
ik kj
n
k E
p p
= lim
n
ik kj
n
k E
p p
= ( )
kj
k E
k p

________________________________________________________________________________

p
= P

Todava nos hace falta revisar su unicidad, sea otra solucin

= P
= PP
= PPP
=
n
P

( j ) = para todo j E ( )
n
ij
i E
i p
= lim ( )
n
ij
n
i E
i p
( ) lim
n
ij
n
i E
i p

( ) ( )
i E
i j
= ( j ) ( )
i E
i
= ( j )

Ahora demostremos la otra parte del teorema, es decir, hay que probar que la
existencia de una solucin al sistema de arriba implica que todos los estados son
recurrentes positivos.
Sea una distribucin estacionaria
= P = P
n

( j ) = para todo j E. ( )
n
ij
i E
i p
Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

lim
n
ij
n
p
= 0
entonces
( j ) = = = 0 lim ( )
n
ij
n
i E
i p
( ) lim
n
ij
n
i E
i


________________________________________________________________________________

esto significa que = 0, esto es una contradiccin, por tanto los estados son
recurrentes positivos.
( )
j E
j

Ejemplo 2.8. Sea X una cadena de Markov, con matriz de transicin

P=
|
|

0.2 0.8 0 0 0 0 0
0.7 0.3 0 0 0 0 0
0 0 0.3 0.5 0.2 0 0
0 0 0.6 0 0.4 0 0
0 0 0 0.4 0.6 0 0
0 0.1 0.1 0.2 0.2 0.3 0.1
0.1 0.1 0.1 0 0.1 0.2 0.4
| |
|
|
|
|
|
|
|
\ .

podemos ver que los estados {0, 1} forman una clase de conjunto de recurrencia C
1
, los
estados {2,3,4} forman otra clase de conjunto de recurrencia C
2
, ambos conjuntos est
formado por estados aperidicos y los estados {5, 6} son transitorios. Calculemos la
matriz , para calcularla usamos el teorema 2.12.2 = f lim
n
n
P lim
n
ij
n
p
ij
( j ) y el resultado
del teorema 2.22.
Del primer conjunto calculemos su probabilidad cuando n , calculemos
, donde
1
lim
n
n
P
P
1
=
| |
|

0.2 0.8
0.7 0.3
\ .

para calcularla tenemos que resolver el siguiente sistema de ecuaciones

(0) = 0.2(0)+0.7(1)
(1) = 0.8(0)+0.3(1)
(0) + (1) = 1
de la primera ecuacin (0) =
0.7
0.8
(1), sustituyendo en la ltima ecuacin
0.7
0.8
(1)+(1) = 1
________________________________________________________________________________

de aqu
(1)=
7
15
y (0) =
8
15

para el otro conjunto de estados recurrentes tenemos la siguiente matriz de transicin

P
2
=
|
|

0.3 0.5 0.2
0.6 0 0.4
0 0.4 0.6
| |
|
\ .

tenemos que resolver el siguiente sistema de ecuaciones
(2) = 0.3(2) + 0.6(3)
(3) = 0.5(2) +0.4(4)
(4) = 0.2(2) + 0.4(3)+0.6(4)
y adems
(2) + (3) + (4) = 1
de la ecuacin uno y dos
(3) =
7
6
(2) y (4) =
5
2
(3)
5
4
(2)

ya que los estados son recurrentes y aperidicos, sabemos que el sistema tiene solucin
nica, hacemos (2)=1, obtenemos que (3)=
7
6
y (4)=
10
6
, sumamos las tres
cantidades (2) + (3) + (4) =
23
6
y luego las dividimos entre la suma para hacer que
se cumpla la ltima condicin, obtenemos que (2)=
6
23
, (3) =
7
23
y (4)=
10
23
, para
calcular por completo la matriz , nos hace falta calcular la matriz F, para esto
calculemos primero R,.
lim
n
n
P
Q =
|

0.3 0.1
0.2 0.4
| |
\ .

________________________________________________________________________________
tenemos estados transitorios finitos, luego entonces S ( S que se obtienen a partir de R,
al eliminar todos los renglones y columnas correspondientes a los estados recurrentes)
es la inversa de I Q
S = (I Q )
-1
=
| |
|
= ,
1
0.7 0.1
0.2 0.6
\ .
1.5 0.25
0.5 1.75
| |
|
\ .

as tenemos que la matriz R para esta cadena de Markov es

R =
0 0
0 0
1.5 0.25
0.5 1.75
| |

|

|
|

|
|

|

|
|

|
|
|

\ .

Ahora calculemos la matriz F,

G = SB =
|
=
|

1.5 0.25
0.5 1.75
| |
\ .
0.1 0.5
0.2 0.2
| |
|
\ .
0.2 0.8
0.4 0.6
| |
\ .
entonces,
F =
1 1
3 7
3 1
3 7
1 1
0 0
1 1
1 1 1
0 1 1 1
1 1 1
0.2 0.2 0.8 0.8 0.8
0.4 0.4 0.6 0.6 0.6
| |
|
|
|
|
|
|
|
|
|
|
|
\ .
0
ahora si, ya podemos obtener P
,
________________________________________________________________________________

lim
n
n
P =
7 8
15 15
7 8
15 15
6 7 10
23 23 23
6 7 10
23 23 23
6 7 10
23 23 23
1.4 1.6 4.8 5.6 8
15 15 23 23 23
2.8 3.2 3.6 4.2 6
15 15 23 23 23
0 0
0 0
0 0
0 0
| |
|
|
|
|
|
|
|
|
|
\ .
|
|

Veamos ahora que ocurre en caso de que los estados sean peridicos.

Teorema 2.23. Sea X una cadena de Markov, irreducible con estados peridicos y
recurrentes con periodo , entonces los estados pueden ser divididos en conjuntos
disjuntos B
1
, B
2
, ,B
tal que p
ij
=0 a no ser que i B
1
y j B
2
o i B
2
y j B
3
o
o i B
y j B
1
.

Demostracin

Sin prdida de generalidad tomemos los estados 0 y j, dado que la cadena es
irreducible 0 j y j 0, es decir, existen enteros r, s tal que

0
r
j
p >0 y = >0
0
s
j
p
00
m s
p
+
= =
0
m
j
p
0
s
j
p
0
m
j
p
como el estado 0 tiene periodo , >0 si m + s = k, si >0 entonces m =k s
se cumple que >0, si m = , +, + 2, .
00
m s
p
+
0
m
j
p
0
m
j
p
Definimos para todo j B

,como el conjunto de todos los estados que se
pueden alcanzar desde 0 slo en los pasos , +, + 2, y a B
+1
el conjunto
de todos los estados que se pueden alcanzados desde 0 en los pasos +1, + +1,
+2+1, . Entonces p
ij
= 0 excepto si, i B
y j B
+1
para = 1, 2, , .

Teorema 2.24. Sea P la matriz de transicin de una cadena de Markov irreducible con
estados peridicos, con periodo y B
1
, B
2
, , B

definidos como el teorema anterior.
________________________________________________________________________________
Entonces en la cadena de Markov con matriz de transicin P = P

, las clases B
1
, B
2
,
, B
son conjuntos cerrados e irreducibles de estados aperidicos.

Demostracin.

En pasos la cadena se mueve de B
1
a B
1
, de B
2
a B
2
, , de B
a B
, veamos esto
paso por paso, en un paso slo podemos llegar al conjunto inmediato a l, esto es, p
ij

=0 a no ser que i B
1
y j B
2
o i B
2
y j B
3
o o i B
y j B
1
, en dos paso
ocurrira lo siguiente, =0 a no ser que i B
2
ij
p
1
y j B
3
o i B
2
y j B
4
o o i B

y j B
2
, en 1 pasos, ocurrira lo siguiente, =0 a no ser que i B
1
ij
p

1
y j B
o
iB
2
y j B
1
o o i B
y j B
1
, entonces como podemos ver en pasos, =0
a no ser que i B
ij
p
1
y j B
1
o i B
2
y j B
2
o o i B
y j B
, como se asevero
al inicio, la matriz de transicin en pasos la podemos poner de la siguiente forma,

P

= P =
| |
|
|
|
|
|
\ .
1
2
P 0
P
0 P

analicemos que ocurre con los estados de esta matriz de transicin, podemos ver que
cada una de las clases de conjuntos forman un conjunto cerrado e irreducible, adems
son aperidicos, > 0 para i, j B
ij
p

, recordemos que ya no trabajamos con la matriz
P, ahora estamos trabajando sobre la matriz P.

A partir de la matriz P
j E
podemos calcular n , usando el teorema 2.22,

podemos ver tambin que = . Hay que ver que no tiene lmite cuando
n , excepto, cuando para todos los estados p
( ) j
n
P
ij
= 0 , sin embargo los lmites de
existen cuando n, pero dependen del estado inicial i. Con el siguiente
teorema terminaremos con el estudio de los estados peridicos, slo se demuestra la
primera parte del teorema, la otra parte de la demostracin se puede consultar en inlar
[ 1975, p. 163].
n +m
P

Teorema 2.25. Sea P y B
, definidos como en el teorema anterior y supngase que la

cadena es positiva. Entonces para m {0, 1, , 1} ,

________________________________________________________________________________

lim
n m
ij
n
p
+
=
( ) si B , B , (mod )
0 cualquier otro caso
j i j m

= +

( j ), j E, son la nica solucin de

( j ) = , = , j E. ( )
ij
i E
i p
( )
j E
j

Demostracin.

Del teorema 2.24 la cadena correspondiente a =
P P, tiene clases de
conjuntos, de estados recurrentes positivos y aperidicos. Sea
1
,
2
, ,
, la
distribucin lmite correspondiente de B
1
, B
2
, B
y ( j ) =
( j ) si j B
.

Sea m { 0, 1, , 1} un valor fijo, supngase que i B
, y sea = +m(mod ).
Tenemos,

n m
ij
p
+
=
m np
ik kj
k
p p
=
B
si B
0 cualquier otro c
m n
ik kj
k
p p j
aso
dado que =0 excepto si k B

m
ik
p

, y para k B

, = 0 a no ser que j B
n
kj
p

tambin. Para k, j B
, = ( j ), independiente de k, tomando el lmite en

ambos lados hemos demostrado que
lim
n
kj
n
p

lim
n m
ij
n
p
+
=
( ) si B , B , (mod )
0 cualquier otro caso
j i j m

= +

Con este ltimo teorema y junto con el teorema 2.22 podemos enunciar el
siguiente resultado.

Corolario 2.25.1. Sea X una cadena de Markov, y consideremos el sistema de
ecuaciones lineales
________________________________________________________________________________
( j ) = , j E ( )
ij
i E
i p
Entonces todos los estados son recurrentes no nulos o positivos, si, y slo si, existe una
solucin con
( )
j E
j
= 1
y ( j ) >0, para cada j E, y no hay otra solucin.

Hace falta completar nuestro estudio acerca de la relacin de los tipos de estados
y el lmite de P
n
cuando n . Si la cadena de Markov es finita, y sta contiene estados
transitorios, hay un momento en el que la cadena de Markov sale de los estados
transitorios, pero si no es finita puede ocurrir que nunca salga de ellos.

Sea X una cadena de Markov, con matriz de transicin P, A es el conjunto de
estados transitorios de la cadena, tal que A E, y sea Q la matriz que se obtienen a
partir de P, al eliminar todos los renglones y columnas correspondientes a los estados
recurrentes, es decir, Q tienen elementos

q
ij
= p
ij
con i, j A.

Q
2
la obtenemos de la siguiente forma,

2
ij
q =
1
1
ii ij
i A
q q

y en general Q sera,
n

n
ij
q =
1 1 2
1 2
n
n
ii i i i j
i A i A i A
q q q

= P
i
{ X
1
A, X
2
A, , X
n1
A, X
n
= j }

= P
n
ij
j A
q
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

Si n crece, decrece porque
n
ij
j A
q

{X
1
A, X
2
A, , X
n1
A } { X
1
A, X
2
A, , X
n1
A, X
n
A }

________________________________________________________________________________

Sea

f( i ) = = P lim
n
ij
n
j A
q
lim
n
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

la probabilidad de que la cadena de Markov nunca salga de A, dado que empez en i.

Teorema 2.26. f es la solucin mxima de

h = Qh 0 h 1,

adems f = 0 o f( i )=1. sup
i A

Demostracin.

Sea f
n
( i ) = = P
n
ij
j A
q
i
{X
1
A, X
2
A, , X
n1
A, X
n
A }

f
1
f
2
f
3

y

f = f lim
n
n

tenemos que

f
n+1
( i ) = f ( )
ik n
k A
q k
tomando el lmite

f( i ) = f( )
ik
k A
q k

luego entonces f es una solucin a h = Qh, ahora probemos que es una solucin
mxima. Sea h otra solucin, h 1

h = Qh entonces h = Q h Q 1 = f
n n
n

haciendo n , h f, por tanto f es una solucin mxima.

________________________________________________________________________________
Slo hace falta probar la ltima parte, para f = 0 es trivial, sea c = s f( i ) up
i A

f = Q f c Q 1 cf
n n
n
para toda n,

tomando lmite por ambos lados f cf entonces 1 c, por lo tanto su f( i ) = 1. p
i A

Teorema 2.27. Sea X una cadena de Markov irreducible con matriz de transicin P, y
Q es la matriz que obtenemos a partir de P al eliminar la fila y columna k, k E.
Todos los estados son recurrentes, si, y slo si, la nica solucin de h = Qh es h = 0.

Demostracin.

Sea A = E{ k }, como la cadena es irreducible de k podemos ir a A, y sea

f( i ) = P lim
n
i
{ X
1
A, X
2
A, , X
n1
A, X
n
A }

Si h = 0 es la nica solucin a h = Qh, f( i ) = 0 para todo i, esto significa que salimos
del conjunto A y regresamos a k, entonces k es recurrente y como la cadena es
irreducible todos los estados son recurrentes.
Ahora, si los estados son recurrentes significa que la probabilidad de quedarnos
en A es cero ya que tenemos que regresar a k, por lo tanto f( i ) = 0 para todo i, lo que
es lo mismo h = 0.

A continuacin veremos como clasificar los estados en base a calcular . lim
n
n
P

Ejemplo 2.9. Sea X una cadena de Markov con espacio de estados E = {0, 1, } y
matriz de transicin
P =
|

0 1 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
q p
q p
| |
|
|
|
|
|
|
|
\ .

donde 0 < p < 1, q = 1 p. Est cadena es llamada caminata aleatoria, si est en la
posicin i en el n-simo paso, el siguiente paso es a la posicin i1 o a i+1, con

________________________________________________________________________________

probabilidad q y p respectivamente, excepto cuando est en i =0 es seguro que va a 1.
Todos los estado pueden ser alcanzados uno del otro, lo que significa que la cadena es
irreducible, si empezamos en el estado cero podemos regresar a l, en al menos 2
pasos, es decir el estado 0 es peridico con periodo = 2, lo que significa que la cadena
es peridica con periodo = 2, lo que no podemos ver es si los estados son recurrentes
positivo o bien transitorios. Para saber como son los estados vamos a emplear la teora
vista en esta seccin.

Resolvamos primero el sistema de ecuaciones que se obtienen a partir de = P, el
sistema es el siguiente:

(0) = q(1)
(1) = (0) + q(2)
(2) = p(1) + q(3)
(3) = p(2) + q(4)

y as sucesivamente, poniendo a (1) en trminos de (0) y luego a (2) en trminos de
(0) y as sucesivamente tenemos que

(1) =
1
q
(0)
(2) =
1
q
1
(0) (0)
q

| |
|
\ .
=
2
p
q
(0)
(3) =
1
q
2
(0) (0)
p p
q q

| |
|
\ .
=
2
3
p
q
(0)

en general tendramos que
( j ) =
1
q
1 j
p
q
| |
|
\ .
(0) =
1 j
j
p
q
(0) para j = 1, 2, 3,
Si p < q, entonces
p
q
< 1 y
________________________________________________________________________________
0
( )
j
j
=
1
0
1
1 (
j
j
p
q q

=
| |
| |
+
|
\ .
\ .
0) |
|
=
1 1
1
1
p
q
q

| |
| |
+
|
|
\ .
\ .
(0) =
2q
q p
(0) |
|
haciendo =1, tenemos que
0
( )
j
j
(0) =
2
q p
q
=
1
1
2
p
q
| |
|
\ .
(2.1)
Luego entonces para p < q,
( j ) =
1
1
1 s
2
1
1 s
2
j
p
j
q
p p
j
q q q
| |
=
|
\ .
| || |

| |
\ .\ .
i 0
i 1
(2.2)

por el teorema 2.22. podemos decir que para p < q los estados son recurrentes no nulos
o positivos.

Si p q la serie converge nicamente si (0) = 0, sabemos que para p q los
estados no son recurrentes positivos, entonces los estados deben ser, recurrentes nulos
o transitorios, para distinguir entre estos dos casos usaremos el teorema 2.27,
excluyendo de P la fila y la columna del estado cero, obtenemos la siguiente matriz

Q =
0 0 0 0
0 0 0
0 0 0
0 0 . . .
0 0 0 . . .
0 0 0 0 . .
p
q p
q p
| |
|
|
|
|
|
|
|
|
\ .

el sistema de ecuaciones que se obtiene de h = hQ es:

h(1) = ph(2)
h(2) = qh(1) + ph(3)
h(3) = qh(2) + ph(4)

________________________________________________________________________________

en general tenemos h( i ) = qh( i 1) + ph( i + 1), de h( i ) = qh( i ) + ph( i ), sustituimos
en la anterior ecuacin

p(h( i +1) h( i )) = q (h( i ) h( i 1)), i = 2, 3,

y de la primera ecuacin
p(h(2)h(1)) = qh(1)
sustituimos para obtener i = 2,
h(3) h(2) =
q
p
(h(2) h(1)) =
2
q
p
| |
|
\ .
h(1)
ahora lo hacemos para i = 3
h(4) h(3) =
2
q
p
| |
|
\ .
(h(2) h(1)) =
3
q
p
| |
|
\ .
h(1)
y as sucesivamente iteramos sobre i, obtenemos que
h( i +1) h( i ) =
1 i
q
p
| |
|
\ .
(h(2) h(1)) =
i
q
p
| |
|
\ .
h(1) , i = 2, 3,
luego entonces,

h( i +1) = (h( i +1) h( i ))+(h( i ) h( i 1 )) ++(h(2) h(1))+h(1)
=
1
1
i i
q q q
p p p
| |
| | | |
| + + +
| |
|
\ . \ .
\ .
+ h(1)

la solucin a h=hQ es de la siguiente forma

h( i ) =
1
1
i
q q
p p
| |
| |
+ + +
|
|
\ .
\ .
| c , i = 1, 2, 3,
donde c es una constante.
________________________________________________________________________________
Si p = q, entonces tenemos que h( i ) = ic , para toda i 1 , la nica forma de
que para toda i se cumpla, 0 h( i ) 1 es que c =0. Por tanto si p = q, la nica
solucin de h = hQ es h = 0, por el teorema 2.27 significa que los estados son
recurrentes y como vimos ya anteriormente no son recurrentes no nulos, lo que
significa los estados son recurrentes nulos cuando p = q.

Si p > q, entonces 0 <
q
p
< 1, la suma de lo que est dentro de los parntesis
sera

S =
1
1
i
q q
p p
| |
+ + +
\ .

|
=
1
1
i
q
p
q
p
| |
|
\ .

tomando a c = 1
q
p
, se cumple que 0 h( i ) 1, para toda i = 1, 2, 3, . Tenemos
que
h( i ) = 1
i
q
p
| |
|
\ .
, para toda i = 1, 2, 3,

entonces en este caso por el teorema 2.27 los estados son transitorios.

En este ejemplo ya vimos como clasificar los estados, ahora calculemos la
distribucin lmite para la cadena. Para p < q, ya vimos que los estados son recurrentes
no nulos y peridicos con periodo = 2, tenemos dos clases de conjuntos B
1
={ 0, 2,
4,} y B
2
= {1, 3, 5, }, ya resolvimos el sistema = P, la nica variante que habra
que hacer, es que segn el teorema 2.25 = 2 y no =1 como lo
habamos considerado, as de lugar de tener (2.1) tendramos
0
( )
j
j
0
( )
j
j

(0) =
q p
q
= 1
p
q

y de lugar de tener (2.2) tendramos

________________________________________________________________________________

( j ) =
1
1 s
1
1 s
j
p
j
q
p p
j
q q q
| || |

| |
\ .\ .
i 0
i 1

luego entonces la distribucin invariante para B
1
y B
2
es:
( (0), (2), (4), ) =
3
2 4
1 1, , ,
p p p
q q q
| | | |
| |
\ .\ .

y
( (1), (3), (5), ) =
2 4
3 5
1
1 , , ,
p p p
q q q q
| | | |
|
\ .\ .
|

por tanto tendramos que
lim
n
2n
P = 1
p
q
| |
\ .
|
3
2 4
2 4
3 5
3
2 4
2 4
3 5
1
1
1 0 0 0
0 0 0
1 0 0 0
0 0 0
. . . . . .
. . . . . .
. . . . . .
p p
q q
p p
q
q q
p p
q q
p p
q
q q
| |
|
|
|
|
|
|
|
|
|
|
|
|
\ .

y usando el teorema 2.25, obtenemos tambin

lim
n
2n+1
P

= 1
p
q
| |
|
\ .
2 4
3 5
3
2 4
2 4
3 5
3
2 4
1
1
0 0 0
1 0 0 0
0 0 0
1 0 0 0
. . . . . .
. . . . . .
. . . . . .
p p
q
q q
p p
q q
p p
q
q q
p p
q q
| |
|
|
|
|
|
|
|
|
|
|
|
|
\ .

2.4 Ejercicios.

Ejemplo 2.10. Un artculo se almacena en una bodega de tal manera que se pueda
satisfacer la demanda del artculo, la bodega puede almacenar hasta S artculos, si hay s
m

artculos entonces se llena la bodega hasta S, si la cantidad de artculos est entre
[s
m
+1,S] no se hace nada, la demanda de artculos en la semana n es de D
n
, y
suponemos que {D
n
} son variables aleatorias independientes e idnticamente
distribuidas e independientes de la cantidad inicial X
0
de artculos, la demanda de k
unidades en la semana sucede con una probabilidad p
k
y consideremos a X
n
como el
nivel de la bodega al principio de la semana, cada semana se realiza la inspeccin en la
bodega y en caso de que se requiera llenar la bodega, esta se llenar inmediatamente
para iniciar la semana n con la bodega llena si es necesario. Tenemos el siguiente
conjunto de estados E = {S, S-1, , s
m
+1}, es decir, los valores que puede asumir el
proceso en la semana n + 1, es;

X
n+1
=
n n n n
n n
X D X D s
S X D

m
m
s
>

Es claro que X
n+1
nicamente depende de X
n
y D
n
es independiente de los niveles de la
bodega.

La probabilidad de pasar de tener X
n
= i artculos en la semana n en la bodega
a tener X
n+1
= j artculos la calculamos de la siguiente manera:

Para i S:
Si s
m
+ 1 j i entonces tenemos que D
n
= X
n
X
n+1
= i j, por tanto p
ij

= p
i

j
y para X
n+1
= j = S tenemos que, X
n
D
n

s
m
o bien X
n
s
m
D
n
, esta
ocurra con la siguiente probabilidad

P{ i

s
m
D
n
} =
m
k
k i s
p

Para i = S :
Si s
m
+ 1 j S 1 entonces tenemos que D
n
= X
n
X
n+1
= S j, por tanto
p
ij =
p
S

j
y para X
n+1
= j = S pueden pasar dos cosas si hay demanda, tenemos que, X
n
D
n
s
m
o bien X
n
s
m
D
n
, esto ocurre con la siguiente probabilidad

P{ S

s
m
D
n
} =
m
k
k S s
p

________________________________________________________________________________

j i
S
j S

y la otra es que no tengamos demanda en toda la semana y esto ocurre con probabilidad
p
0
ambos eventos son disjuntos, entonces la probabilidad de que X
n+1
= S dado que
X
n
= S es :

p
0
+
m
k
k S s
p

Las probabilidades de transicin del estado i al estado j lo podemos poner de la
siguiente forma:

Si i S:

p
ij
=

para
para
m
i j m
k
k i s
p s
p j

Si i = S:

p
ij
=

0
para 1
para
m
S j m
k
k S s
p s
p p j S
+ =

Por construccin todos los estados se intercomunican, todos son accesibles uno
del otro, tenemos que E < , cerrado e irreducible y los estados son por tanto
recurrentes positivos, esto es por el teorema 2.19.

Ejemplo 2.11. A Mark Goldman, vicepresidente de NBS TV, se le encarg determinar
una poltica de programacin para la cadena. La NBS compite para captar televidentes
con las cadena ABS y CBC. Al principio de cada temporada cada una de las cadenas
intenta captar una mayor cantidad de televidentes, incluyendo nuevos programas y
volviendo a programar otros.

Goldman se encontraba en problemas por que la NBS haba tenido un mal
desempeo en las ltimas dos temporadas con el formato de sus programas. Tambin
haban surgido crticas porque la cadena tenda a cancelar sus programas con mucha
rapidez si el nmero de televidentes era inicialmente bajo. Como resultado de las
crticas se haba decidido no cancelar ningn programa hasta que fuera evidente que
seguira teniendo un nmero reducido de televidentes.

Dado que los televidentes normales con bastante frecuencia tenderan a cambiar
de cadena al principio de cada temporada con el objeto de ver programas nuevos o de
Captulo 2 2.4. Ejercicios 69
________________________________________________________________________________
volver a ver programas antiguos, Goldman ha decidido esperar a que se estabilice la
proporcin de televidentes que ven un programa determinado, para esto decidi
estudiar el periodo en el que cada cadena estar ofreciendo un programa nuevo para
que determine cules sern las proporciones de televidentes finales. Si se pueden
predecir estos valores estar en posibilidades de tomar una decisin con respecto a un
nuevo programa X de la NBS, sin tener que esperar hasta que las preferencias de los
televidentes se vuelvan obvias a travs de los datos de los ratings o recuentos de tasa
de audiencia.

Goldman considera que la seleccin de un televidente se ve influenciada ms
que nada por el programa ms reciente que ha observado en ese periodo y que las
proporciones finales de la realidad son valores de estados estacionarios, con base en
esto, decide utilizar un enfoque de cadena de Markov para abordar el problema.
Considera que el problema de seleccin de los televidentes se ajusta a las
consideraciones de este modelo con suficiente cercana como para permitir aplicar el
modelo al problema.

El grupo de trabajo de Goldman ha elaborado la siguiente matriz de transicin
utilizando datos recopilados en aos anteriores y referentes a la forma en que los
televidentes tienden a cambiar de una cadena a otra, semana a semana, para el tipo de
programas que se considera:

NBS CBC ABS
NBS 0.2 0.4 0.4
CBC 0.3 0.3 0.4
ABS 0.2 0.2 0.6

En esta matriz, los valores que se muestran son la fraccin de televidentes que
vern el programa de cada cadena durante esta semana, dada la cadena que vieron la
semana pasada. Tambin se supone que todos los televidentes que vieron la televisin
la semana pasada la vern esta semana.

Calculemos = P, por definicin ( j ) = , obtenemos ( )
ij
i E
i p

(1) = 0.2 (1) + 0.3 (2) + 0.2 (3)
(2) = 0.4 (1) + 0.3 (2) + 0.2 (3)
(3) = 0.4 (1) + 0.4 (2) + 0.6 (3)

y adems
(1) + (2) + (3) = 1

________________________________________________________________________________

donde (1) es la proporcin de televidentes que se mantendrn viendo la cadena NBS,
(2) es la proporcin de televidentes que se mantendrn viendo la cadena CBC y (3)
es la proporcin de televidentes que se mantendrn viendo la cadena ABS.

Al resolver el anterior sistema de ecuaciones encontramos que

(1) = 0.227
(2) = 0.273
(3) = 0.5

lo que significa que una vez que los televidentes se han decidido con respecto a los
programas que les gusta ver, 22.7 % observar lo que la NBS le ofrece.

Ejemplo 2.12. Consideremos nuevamente el ejemplo 2.1 , en el cual se consideraba que
la posibilidad de que el da de maana llueva slo depende de la situacin climatolgica
de hoy y no de das previos, adems supusimos que si llueve hoy la probabilidad de que
maana llueva es y si hoy no llueve la probabilidad de que llueva maana es , esto
quiere decir que si hoy llueve entonces maana no llover con probabilidad 1 y si
hoy no llueve la probabilidad de que maana tampoco sera 1 , consideramos que el
estado 0 es que llueva y al estado 1 que no llueva, luego entonces por la definicin 2.18
(0) y (1) estn dadas por

(0) = (0) + (1)
(1) = (1 ) (0) +(1 ) (1)
con (0) + (1) = 1

(0)(1 ) = (1)

Haciendo (0) = 1, tenemos que (1) =
1
, ambas deben sumar uno, sumamos las

dos y nos da
1
+
, luego para que nos sumen uno las dividimos entre su suma,
nos queda,
(0) =
1

+

y
________________________________________________________________________________
(1) =
1
1

+

que es la solucin a las tres ecuaciones que tenemos arriba.

Si consideramos que = 0.7 y =0.4 (como en el ejemplo 2.4), tenemos que la
probabilidad estacionaria de que llueva, es (0) =
4
7
= 0.571 .

Ejemplo 2.13. Un apostador tiene $u , en cada juego que apuesta tiene la probabilidad p
de ganar $1 o perder $1 con probabilidad 1 p , el jugador se retirar cuando se quede
sin dinero bien cuando haya alcanzado a obtener en total $N.

Si consideramos X
n
como el dinero que tienen el apostador despus de la n-sima
vez que apuesta, X
n
claramente es una cadena de Markov, ya que lo que va apostar
nicamente depender del dinero que tenga actualmente y no de lo que haya jugado
antes, X
n
tienen espacio de estados E = { 0, 1 , 2, , N } , sus probabilidades de
transicin son

p
ij
= p con j = i +1 , i = 1, 2, , N 1
p
ij
= 1 p con j = i 1, i = 1, 2, , N 1 y
p
00
= p
NN
= 1

Esta cadena de Markov la podemos separar en tres clases {0}, { 1, 2, , N 1}, y
{N}, la primera y la ltima (el estado 0 y N ) son recurrentes y la otra es una clase de
estados transitorios, esto significa que en algn momento dado el apostador o bien se
queda arruinado o bien llega a ganar $N y se retira del juego.

Sea
i
la probabilidad de empezar en i y que se alcance en algn momento el
estado N, es decir,
i
= P
i
{T
N
< } = f
iN
, es claro que una vez que entremos al
estado 0 no podremos llegar nunca a N, por tanto
0
= 0, para obtener para el resto
de los estados usaremos el teorema 2.8 que nos dice que

f
i N
= p
iN
+
{ }
ik kN
k E N
p f

si estamos en el estado i, nicamente podemos ir al estado i + 1 al estado i 1 y la
nica forma de que p
iN
0 es que i = N 1 pero por ser N absorbente tenemos que
f
NN
= 1 , luego entonces tenemos que:

i
= f
iN
=p
i,i+1
f
i+1,N
+ p
i,i 1
f
i 1,N
para i = 1, 2, , N 1

________________________________________________________________________________

o bien
i
= p
i,i+1
i+1
+ p
i,i 1
i-1

i
= p
i+1
+ q

i-1

dado que p + q = 1 podemos ponerlo como sigue

p
i
+

q
i
= p
i+1
+ q

i-1

entonces
i+1

i
=
q
p
(
i

i-1
)

dado que
0
= 0, tenemos el siguiente sistema de ecuaciones

2

1
=
q
p
(
1

0
) =
q
p

1
3

2
=
q
p
(
2

1
) =
q
p
q
p

1
=
2
q
p
| |
|
\ .
1
i+1

i
=
q
p
(
i

i-1
) =
1 i
q
p
| |
|
\ .

1

N

N 1
=
q
p
(
N 1

N 2
) =
1 N
q
p
| |
\ .
|

1

Ahora sumando las primeras i 1 ecuaciones, nos da

i

1
=
1
2 1 i
q q q
p p p
(
| | | |
( + + +
| |
(
\ . \ .

nos da que
________________________________________________________________________________

i
=
( )
( )
1
1
1
1
si 1, o bien
2
1
1
si 1, o bien
2
i
q
p q
P p
q
p
p
q
iP p
p
= =

Ahora usando el hecho de que
N
=1, obtenemos

1
=
( )
( )
1
1
si 1, o bien
2
1
1 1
si 1, o bien
2
N
q
p q
p
p
q
p
q
p
N p
= =

sustituyendo
1
en
i
nos queda como,

i
=
( )
( )
1
1
si 1, o bien
2
1
1
si 1, o bien
2
i
N
q
p q
p
p
q
p
i q
p
N p
= =

si hacemos que N tendramos que
i
tendera a

i
=
( )
1
1 si
2
1
0 si
2
i
q
p
p
p
>

As si p > , existe la probabilidad de que el apostador llegue a incrementar su fortuna
infinitamente, pero si p , est quedar quebrado.

Francisco Parreo Torres. Problemas de Ampliacin de estadstica.
PROBLEMAS DE CADENAS DE MARKOV

M1. Obtener el espacio de estados, la distribucin inicial y la matriz de probabilidades de
transicin de las CMDT homogneas que se definen a continuacin:

a)Un grupo de cuatro nios juega a un juego que consiste en lanzarse una pelota de uno a otro. En
cada momento el nio que tiene la pelota tiene la misma predisposicin para lanzar la pelota a
cualquiera de los otros tres nios. Sea X0 la variable que describe el nio que tiene la pelota
inicialmente, y para n 1, Xn es el nio que tiene la pelota despus del ensimo lanzamiento.

b) Se colocan dos bolas blancas y dos bolas negras en dos urnas de forma que cada urna contenga
dos bolas. En cada extraccin se saca al azar una bola de cada urna. Las dos bolas extradas se
intercambian de urna. Sea X0 el nmero de bolas blancas que hay inicialmente en la primera urna.
Para n 1, se define Xn como el nmero de bolas blancas que hay en la primera urna despus de
haberse efectuado n extracciones, y por lo tanto n intercambios.

c) Considrese una partcula que realiza un recorrido aleatorio sobre una circunferencia en la que se
han marcado 4 puntos (representados por 0,1,2 y 3) en el sentido de las agujas del reloj. La partcula
tiene una probabilidad p de moverse al punto de su izquierda y 1-p de moverse al punto de su
derecha(sentido contrario a las agujas del reloj). Sea X0 la posicin inicial de la partcula y, para n
1, Xn describe la posicin de la partcula despus de n movimientos.

d)Una fbrica tiene dos mquinas, de las que slo utiliza una en cada uno de los periodos de
tiempos considerados. La probabilidad de que se avere una mquina en un da determinado es p.
Slo hay un operario encargado de la reparacin, que tarda dos das en repara una mquina, el
operario encargado de su reparacin no acude a repararla hasta el da siguiente. Sea (Xn, Yn) el par
de variables que describen, respectivamente, el nmero de mquinas en condiciones de trabajar al
acabar el da n e Yn la variable que describe si el trabajo de este da se ha utilizado en repara una
mquina averiada que no ha sido totalmente reparada o no.

M2. En referencia al problema 1.a, obtener la probabilidad de que despus del tercer
lanzamiento la pelota est en manos del nio

a) Que la tena al iniciarse el juego.
b) Que la tena despus del primer lanzamiento.

M3. En referencia al problema 1.b, obtener
a)P{Xn=1|X0=1},P{Xn=1}.
Problemas de Cadenas de Markov.
- 1 -
b)P{Xn=1,Xn-1=2, Xn-2=1|X0=1}, E{Xn}, E{Xn|Xn-1=1}
M4. Un petrolero realiza las travesas entre una Plataforma Petrolfera y una refinera y
viceversa de forma interrumpida tardando 12 horas en cada viaje. El barco es propulsado por dos
motores, cada uno de los cuales puede sufrir una avera durante el trayecto con una probabilidad de
0.1. El barco puede navegar con un motor averiado. En este caso, el mecnico de a bordo intenta
reparar el motor averiado, con una probabilidad de xito de 0.6 en cada travesa. Si se averan los
dos motores, el barco es remolcado a su destino y debe permanecer amarrado en el puerto durante
24 horas (el tiempo de realizar dos viajes) para ser reparado por completo. Inicialmente el barco
navega en perfectas condiciones.
a) Comprobar que el sistema se puede modelizar mediante una cadena de Markov.
Definir los estados de la cadena, hallar la matriz de probabilidades de transicin.
b) Clasificar los estados de la cadena y hallar las clases de equivalencia.

M5. Consideremos sucesivos lanzamientos independientes de una moneda con probabilidad p
de salir cara y probabilidad q=1-p de salir cruz. Consideremos el proceso estocstico {Xn, n3}
dnde Xn es una variable aleatoria que registra el nmero total de caras obtenidas en los
lanzamientos (n-2), (n-1) y ensimo de la moneda. Discutir si este proceso estocstico es no una
cadena de Markov.

M6. Se realiza una sucesin de experimentos que consiste cada uno de ellos en lanzar una bola
en una de tres cajas. La bola no puede caer fuera de alguna de estas cajas y la probabilidad de que la
bola caiga en cada una de ellas es 1/3. Sea Xn, n 1 la variable aleatoria que describe el nmero de
cajas no vacas despus del ensimo lanzamiento. Obtener la matriz de probabilidades de transicin
y la matriz de probabilidades de transicin de n pasos de la cadena.

M7. Estudiar los procesos estocsticos definidos por las matrices:

0.4

0.2

0.3
0.6

0.8

0.2
0

0

0.5
P
1
=

0

1/4

0
1

1/4

1/2
0

1/2

1/2
P
2
=

- 2 -

0.4

0

0.4

0.5
0.1

0.5

0.2

0.1
0.5

0.2

0

0.3
P
3
=
0

0.3

0.4

0.1

0.4

0.1

0.6

0.2
0.1

0.2

0

0.4
0.4

0.2

0.2

0.1
P
4
=
0.1

0.5

0.2

0.3

1/4

1/4

1/2
0

1/2

0
3/4

1/4

1/2
P
5
=

M8. Considerar un proceso markoviano con la siguiente matriz de probabilidades de
transicin:

1/8

1/2

3/4
1/8

1/4

0
3/4

1/4

1/4
P =

a) Cul es el tiempo medio de primer paso de 3 a 2?
b) Cuales deberan ser las probabilidades iniciales de estado

0 =
1
0 ,
2
0 ,
3
0

para que el proceso entrase en estado
estacionario despus de una transicin?
M9. Un taller de reparaciones puede efectuar el trabajo A o el trabajo B pero no los dos
simultneamente; la tarea A requiere 2 das y la B 1 da. Los posibles estados del taller son pues:
1 =ninguna tarea, 2 =primer da de la tarea A
3 =segundo DIA de la tarea A 4 =tarea B
La probabilidad de una nueva demanda de tarea A al principio de cada da es a; la de la
tarea B es b. No hay colas, si el taller est a mitad de ejecucin de una tarea A, la llegada de una
nueva demanda se pierde. La nica ambigedad se plantea cuando el taller termina un trabajo al
- 3 -
final de un da y tiene la posibilidad de empezar al da siguiente con una tarea A o una B. Las dos
polticas son posibles:
1) Empezar siempre con una tarea A con preferencia a una B
2) Empezar siempre con una tarea B con preferencia a una A
a) Demostrar que para la poltica 1 la matriz de probabilidades de transicin es:

a

0

a

a
0

1

0

0
P =
(1- a) (1- b)

0

(1- a) (1- b)

(1- a) (1- b)
b (1- a)

0

b (1- a)

b ( 1- a)

b) Encontrar las probabilidades lmite de estados para este proceso
c) Encontrar la matriz de probabilidades de transicin para la poltica 2
d) Cual es la relacin entre los porcentajes lmite de das de desocupacin de ambas polticas?
M10. El siguiente proceso de Markov empieza en el estado 1

0

0.4

0
0.5

0

0.2
0.5

0.6

0.8
P =

Encontrar las probabilidades de que:
a) El proceso est en el estado 3 despus de tres transiciones
b) Despus de la tercera transicin desde el estado 3 hasta el 2 las dos
transiciones siguientes sean
2 1 3
o
2 3 3

c) El proceso entre en el estado 2 exactamente una vez en las tres primeras transiciones
d) El proceso realice la transicin
1

exactamente una vez en las tres primeras
transiciones
2
e) El nmero esperado de veces que el proceso entrar en el estado 2 durante
las tres primeras transiciones.

M11. Supongamos que la probabilidad de que maana llueva si hoy est lloviendo es 0.6, y que
la probabilidad de que maana haga buen tiempo si hoy hace buen tiempo es 0.4.
a) Determinar la matriz de probabilidades de transicin de la cadena de
Markov correspondiente.
b) Hallar la distribucin de probabilidad del estado estacionario.

- 4 -
M12. Determinar las clases de las siguientes cadenas de Markov y decir si son o no recurrentes

0

1

0

0
0

0

1

1
1/3

0

0

0
a)
2/3

0

0

0
1

0

0

1/2
0

1/2

1/2

0
0

1/2

1/2

0
b)
0

0

0

1/2

M13. Consideremos el siguiente juego: un jugador apuesta una unidad en cada partida. Tiene
una probabilidad p de ganar y q=1-p de perder. seguir jugando hasta que se arruina o alcanza
una fortuna de T unidades.
Sea X
n
la fortuna del jugador en la ensima partida.

X
n+1
=

Xn +1 con probabilidad p

Xn - 1 con probabilidad q =1 - p
0 < X
n
< T

X
n+1
= X
n
X
n
= 0 T

X
n

es una cadena de Markov. Supongamos que las sucesivas partidas del juego son
independientes y que la fortuna inicial del jugador es X
0

a) Determinar la matriz de probabilidades de transicin de 1 paso de la
cadena de Markov
b) Hallar las clases de la cadena de Markov

M14. Supongamos que una red de comunicaciones transmite dgitos binarios 0 o 1. Al recorrer
la red, existe una probabilidad q de que el dgito binario se reciba de forma incorrecta en el siguiente
paso. Si X
0
denota un dgito binario que entra en el sistema, X
1
el dgito recibido despus de la
primera transicin, X
2
el dgito recibido despus de la segunda transicin, ... X
n
, entonces es una
cadena de Markov.
Hallar la matriz de probabilidades de transicin y la distribucin de probabilidad del
estado estacionario.

M15. Considerar la siguiente poltica (k,Q) de gestin de inventarios. Sean D
1
,D
2
,... las
demandas de un producto en los perodos 1,2,...., respectivamente. Si la demanda durante un
periodo excede el nmero de items disponibles, la demanda insatisfecha es retenida, de manera que
se satisface cuando llega el siguiente pedido de reposicin del inventario. Denotemos por Z
n

- 5 -
(n=0,1,2,...) la cantidad de inventario disponible menos el nmero de unidades retenidas antes de
efectuar un pedido de reposicin de inventario al final del periodo n (Z
0
=0). Si Z
n
es cero o
positivo, no se retienen rdenes. Si Z
n
es negativo, entonces -Z
n
representa el nmero de unidades
de demanda retrasada y no queda inventario disponible. Si al principio del periodo n, Z
n
<k=1, se
efectua un pedido de reposicin de 2m (Qm en el caso general) unidades, donde m es el menor
entero tal que Z
n
+2m>=1. (La cantidad pedida es el menor mltiplo entero de 2, que lleva el nivel
de inventario hasta al menos una unidad). Sean D
n
variables aleatorias independientes e
identicamente distribuidas que toman cada uno de los valores 0,1,2,3,4 con probabilidad 1/5.
Denotemos por X
n
el valor del stock disponible despus de efectuar el pedido al final del periodo n
(X
0
=2). Resulta entonces:

X
n
=X
n-1
- D
n
+2m, Si X
n-1
-D
n
<1
(n=1,2,3,....)
X
n
=X
n-1
- D
n
, Si X
n-1
-D
n
>=1

y Xn es una cadena de Markov con solo dos estados: 1,2.

a) Encontrar la Matriz de Transiciones
b) Encontrar las probabilidades del estado estacionario
c) Suponer que el coste de efectuar un pedido de reposicin es (3+3m).
El coste de mantenimiento del stock es Z
n
, si Z
n
>=0, y cero en caso contrario.
El coste de ruptura del stock es -4Z
n
, si Z
n
<0. Encontrar el coste medio
esperado por unidad de tiempo.
d) Comprobar que, en general, para una poltica (k,Q) los estados posibles son
k,k+1,k+2,......,k+Q-1.
M16. El Servicio Hidrolgico de la Comunidad Autnoma de X planea construir un embalse
para regular la cuenca de uno de sus ros con el objetivo de satisfacer los requerimientos de agua
para regado. La capacidad mxima del embalse previsto ser de 4.000.000 m
3
, o, de manera
abreviada 4 unidades de agua (1 unidad de agua =1.000.000 m
3
).
Antes de proceder a la construccin el Servicio deseara tener alguna idea sobre la
efectividad del mismo a largo plazo. Para ello se ha llevado a cabo un estudio sobre los volmenes
semanales de agua aportados por el ro, encontrndose con que pueden aproximarse por medio de la
siguiente distribucin de probabilidad discreta:

Aportacin semanal
en unidades de agua 2 3 4 5
-------------------------------------------------------------------
Probabilidad 0.3 0.4 0.2 0.1
- 6 -

El Servicio est considerando la posibilidad de contratos de regado que requerirn el
consumo de 2 unidades de agua por semana, pero adicionalmente, para mantener los estndares de
calidad del agua para otros usos, deber dejar salir al menos 1 unidad de agua por semana. Por lo
tanto el objetivo semanal ser dejar salir 3 unidades de agua. Si el estado del embalse (nivel del
embalse) ms la aportacin de agua del ro es menor que esta cantidad se tendr que dejar salir
menos agua, afectando la carencia a los regados. Si el embalse est lleno, cualquier exceso ser
vertido por los aliviaderos. El nivel mnimo admitido del embalse (estado mnimo) no podr ser
inferior a una unidad de agua.

a) Encontrar la matriz de probabilidades de transicin, y comprobar que se trata de un proceso
markoviano.
b) Cul ser el nmero medio de semanas transcurrido desde que el embalse se encuentra en
el estado con 2 unidades de agua hasta que est totalmente lleno?
c) Supuesto el embalse en el estado mnimo con 1 unidad de agua, Cuantas semanas tardar,
en promedio, en volver a estar en la misma situacin?
d) Suponiendo que la primera semana partimos de una situacin en la que se embalsaban 3
unidades de agua Cual es la probabilidad de que dos semanas despus se encuentre al
mnimo?.

M17. Una tienda de venta de ordenadores personales tiene un modelo particular cuyo stock
puede reponerse semanalmente.
Representemos por D
1
, D
2
,....., la demanda de este modelo durante la primera semana, la
segunda, etc.. Suponemos que las demandas D
i
son variables aleatorias independientes e
idnticamente distribuidas, que tienen una distribucin de Poisson de parmetro =2. Supongamos
que X
0
representa el nmero de unidades del modelo en el momento inicial, X
1
el nmero de
unidades disponibles al final de la primera semana, X
2
el nmero de unidades disponibles al final de
la segunda semana, y as sucesivamente. Supongamos que X
0
=3.
El sbado por la noche la tienda efecta un pedido al almacn central que le es servido el
lunes por la maana a primera hora. La tienda utiliza la siguiente poltica de gestin de stocks: si el
nmero de unidades disponibles al final de la semana es menor de 2 unidades, la tienda efecta un
pedido de reposicin de 3 unidades. En caso contrario no efecta ningn pedido. Se supone que las
ventas se pierden cuando la demanda es superior al inventario disponible. Los posibles estados del
proceso son los enteros X
t
que representan el nmero de unidades disponibles al final de cada
semana. Se pide:

a) Encontrar una expresin que permita evaluar iterativamente las variables aleatorias X
t
.
- 7 -
b) Comprobar que las X
t
, t=0,1,2,...., constituyen una cadena de Markov.
c) Calcular la matriz de probabilidades de transicin.
d) Partiendo de un estado con tres unidades disponibles, Cual es el tiempo medio hasta que el
stock es cero?
e) Suponiendo que cada unidad en stock comporta un coste semanal de 300 pts., Cual seria el
coste medio semanal esperado a largo plazo?.

M18. Una mquina tiene dos piezas colocadas en paralelo de manera que para funcionar utiliza
solo una de ellas, quedando la otra de repuesto para reemplazar a la que trabaja cuando esta se
estropea, si est en condiciones de trabajar. Las piezas trabajan de manera que se estropean durante
un periodo de tiempo dado con una probabilidad q.
Supongamos que la pieza que est trabajando, en caso de que se estropee, lo hace al final
de un periodo, de manera que la pieza de repuesto empieza a trabajar, si est en condiciones de
hacerlo, al principio del periodo siguiente. Hay un nico mecnico para reparar las piezas
estropeadas, que tarda dos periodos en reparar una pieza estropeada.
El proceso puede describirse mediante un vector X
t
de dos componentes U y V, donde U
representa el nmero de piezas hbiles, trabajando o en condiciones de trabajar, al final del periodo
t-simo, y V toma el valor 1 si el mecnico requiere nicamente un periodo adicional para completar
una reparacin, si ya est procediendo a ella, y 0 en caso contrario. Por lo tanto, el espacio de
estados consta de cuatro estados:
(2,0), (1,0), (0,1), y (1,1)
(Por ejemplo, el estado (1,1) implica que una componente opera y la otra necesita un periodo
adicional para acabar de ser reparada).
Denotemos los cuatro estados por 0,1,2 y 3 respectivamente (Es decir X
t
=0 quiere decir X
t
=
(2,0), por ejemplo).
a) Comprobar que
X
t
, t=0,1,2,......, es una cadena de Markov.
Hallar la matriz de probabilidades de transicin.
b) Hallar la distribucin de probabilidad del estado estacionario.

M19. Las familias de cierto pas se clasifican segn residan en reas rurales, urbanas o
suburbanas. Los estudios de movilidad demogrfica estiman que, en promedio, en el curso de un
ao, el 15% de las familias urbanas cambia de residencia y se traslada a un rea suburbana, y el 5%
a un rea rural; mientras que el 6% de las familias residentes en reas suburbanas se traslada a reas
urbanas, y el 4% a reas rurales, y finalmente el 4% de las familias rurales migra a las reas urbanas
y el 6% a las suburbanas.

- 8 -
a) Cul es la probabilidad de que una familia que vive ahora en un rea urbana siga
viviendo en un rea urbana dentro de dos aos?. Y en una suburbana?. Y en una
rural?.
b) Supongamos que en el presente el 40% de las familias del pas viven en reas urbanas,
el 35% en suburbanas y el 25% en rurales. Qu porcentaje de familias vivir en reas
urbanas dentro de dos aos?.
c) Qu distribucin de poblacin es de prever en el futuro si las tendencias no cambian?.

M20. Un bosque consta de dos tipos de rboles: jvenes (entre 0 y 3 mts de altura) y adultos
(ms de 3 mts). Cada ao, el 30% de los rboles jvenes muere, el 10% se vende por $20 cada uno,
el 20% se mantiene entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada ao, el 40% de los
rboles adultos se vende por $50, el 20% se vende por $20, el 30% permanece en el bosque y un
10% muere.

a) Cul es la probabilidad de que un rbol joven muera antes de ser vendido ?
b) Si plantar un rbol joven cuesta $5, cul es el beneficio esperado para cada rbol
joven plantado ?
Soluciones:
M1.
a) S={0,2,3},a=(0.25,0.25,0.25,0.25),
1 1 1
0
3 3 3
1 1
0
3 3
1 1 1
0
3 3 3
1 1 1
0
3 3 3
P
1
3

=

b) S={0,1,2}, a=(1/6,4/6,1/6),
0 1 0
0.25 0.5 0.25
0 1 0
P

=

c) S={0,1,2,3},a=(0.25,0.25,0.25,0.25),
0 1 0
0 1 0
0 0
1 0 0
1
p p
p p
P
p p
p p

d) S={(0,0),(1,0),(1,1),(2,0),(2,1)},a=(p
2
,2*p*(1-p),0,(1-p)
2
,0),
- 9 -
2 2
2 2
(0,0) (1,0) (1,1) (2,0) (2,1)
(0,0) 0 0 1 0 0
(1,0) 0 0 0 1
(1,1) 1 0 0 0
(2,0) 2 (1 ) 0 (1 ) 0
(2,1) 2 (1 ) 0 (1 ) 0
p p
P
p p
p p p p
p p p p

M2.
a) p
00
(3)
=0.2215562
b) p
00
(2)
=0.332667
M3.
a) Irreducible y aperidica. P{Xn=1|X0=1},P{Xn=1}.Los dos son 0.666 ya que no importa el
estado inicial.
b) P{Xn=1,Xn-1=2, Xn-2=1|X0=1} =p21*p12*p
01
(n)
.Aplicando Chapman-Kolgomorv.
E{Xn}=0.999999, E{Xn|Xn-1=1}=1.aplicando definicin de esperanza.
M4.
a) S={0,1,2,3}
0 Dos motores funcionando.
1 Un motor funcionando.
2 Amarrado en el puerto dia 1.
3 Amarrado en el puerto dia 2.

0.81 0.18 0.01 0
0.54 0.42 0.04 0
0 0 0
1 0 0
P

=

1
0
b) Irreducible y aperidica.

M5.
Si.
M6.

1 2
0
3 3
2 1
0
3 3
0 0 1
P

=

M7.
a) P1: Estados{1,2} : clase absorbente. Estado 3:Transitorio.
b) P2: Cadena irreducible y aperidica.
c) P3: Cadena irreducible y aperidica.
d) P4: Cadena irreducible y aperidica.
e) P5: Estado 2:Transitorio, Estados {1,3} clase absorbente.
M8.
a)
32
=52/3,b)
T
=(9/20,3/40,19/40)
- 10 -
M9.
a)
1
=(1-a)(1-b)/(1+a),
2
=
3
=a/(1+a),
4
=b(1-a)/(1+a)
b)
0
0 0 1 0
, (1 ), (1
0
0
AB aB b
P A a
AB aB b
AB aB b

= =

) B b =
0
0
1
p
p
c) Mejor la poltica 2.
M10.
a) p
13
(3)
=0.72
b) 0.68
c) 0.2
d) 0.4
e) 0.75
M11.
a)
0.6 0.4
0.6 0.4
P

=

b)
0
=0.6,
1
=0.4
M12.
a) Una nica clase de equivalencia peridica de periodo 3.
b) Estados {2,3} clase comunicante cerrada, la 1 es absorbente y la 4 es transitoria.
M13.
a)
0 1 0 0 0 0 0
1 1 0 0 0 0
2 0 1 0
2 1 0
1 1
0 0 0
p p
p p
P
T p
T p
T

=

M O O O
b) C(0)={0}, C(1)={1,2,3,...,T-1}, C(T)=T
M14.
a)
1
1
q q
P
q q

b)
0
=0.5,
1
=0.5.
M15.
a)
0.6 0.4
0.4 0.6
P

=

b)
0
=0.5,
1
=0.5.
c)0.91
M16.
- 11 -
a)
0.7 0.2 0.1 0
0.3 0.4 0.2 0.1
0 0.3 0.4 0.3
0 0 0.3 0.7
P

=

b)
24
=10 semanas
c)
11
=5 semanas
d)p
31
(2)
=0.09
M17.
a)
{ }
1
max 0, ( ).
( ) 3 si 2
( ) 0 si 0
i i i i i
i i i i i
i i i i i
i
X X D P X D
P X D X D
P X D X D
+
= +
= <
=

b)Nmero finito de estados, verifica hiptesis Markoviana y estacionaria.
c)
0.3233 0.2707 0.2707 0.1353 0 0
0.1428 0.1805 0.2707 0.2707 0.1353 1
0.5940 0.2707 0.1353 0 0 2
0.3233 0.2707 0.2707 0.1353 0 3
0.1428 0.1805 0.2707 0.2707 0.1353 4
P

=

d)
30
=2.97 semanas
e)389.9 ptas/semana.
M18.
a)
(2,0) 1 0 0
(1,0) 0 0 1
(0,1) 0 1 0 0
(1,1) 1 0 0
q q
q q
P
q q

b)
M19.
Nomenclatura de los estados: U=0,SU=1,R=2.
a)p
22
(2)
=0.8144
b)0.31456
c) U 38/183,SU 90/183,R 55/183
M20.
a)0.446
b)14.69 $
- 12 -
Cadenas de Markov. Ejercicios resueltos Pgina 1
EJERCICIOS RESUELTOS DE CADENAS DE MARKOV

1) En un pueblo, al 90% de los das soleados le siguen das soleados, y al 80% de
los das nublados le siguen das nublados. Con esta informacin modelar el
clima del pueblo como una cadena de Markov.

SOLUCIN:

Se trata de una cadena de Markov con dos estados {Soleado, Nublado} que para
abreviar representaremos por {S, N}, siendo la matrz de probabilidades de
transicin:
|
|
\
|
=
8 , 0 2 , 0
1 , 0 9 , 0
P

2) El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso.
El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena de Markov.
Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los
otros dos pisos, mientras que si un viaje comienza en el primer piso, slo el 25% de
las veces finaliza en el segundo. Por ltimo, si un trayecto comienza en el segundo
piso, siempre finaliza en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transicin de la cadena
b) Dibujar el grafo asociado
c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre
en cada uno de los tres pisos.

SOLUCIN:
a) Los estados de la cadena los denotaremos por { 0, 1 , 2} haciendo
corresponder el 0 al bajo y 1 y 2 al primer y segundo piso respectivamente.

Las probabilidades de transicin son:
p
00
= P(R
n
=0 / R
n-1
=0), esto es la probabilidad de que el ascensor se encuentre en
la planta baja si en la etapa anterior estaba en la planta baja. Obviamente es 0,
porque se supone que de etapa a etapa el ascensor se mueve.
p
01
= P(R
n
=1 / R
n-1
=0), esto es la probabilidad de que el ascensor se encuentre en
la planta primera si en la etapa anterior estaba en la planta baja. Obviamente es
. Basta leer el enunciado.
Y as sucesivamente vamos obteniendo las distintas probabilidades de transicin
cuya matriz es:
|
|
|
\
|
=
|
|
|
\
|
=
0 0 1
0
0
22 21 20
12 11 10
02 01 00
4
1
4
3
2
1
2
1
p p p
p p p
p p p
P

b)

0 1
2

c)

q P q
r r
= . , siendo q = (x,y,z) los valores de las probabilidades pedidas, aadiendo
la ecuacin x+y+z = 1

) , , (
0 0 1
0
0
). . , (
4
1
4
3
2
1
2
1
x y x z y x =
|
|
|
\
|
, aadiendo x+y+z = 1. produce el siguiente sistema:

1
0 4 2
0 2
0 4 3 4
= + +
= +
=
=
z y x
z y x
y x
z y x
cuyas soluciones son: x=8/17; y = 4/17; z= 5/17

3) Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar
desplazamientos innecesarios est todo el da en la misma ciudad y all pernocta,
desplazndose a otra ciudad al da siguiente, si no tiene suficiente trabajo. Despues de
estar trabajando un da en C, la probabilidad de tener que seguir trabajando en ella al da
siguiente es 0,4, la de tener que viajar a B es 0,4 y la de tener que ier a A es 0,2. Si el
viajante duerme un da en B, con probabilidad de un 20% tendr que seguir trabajando
en la misma ciudad al da siguiente, en el 60% de los casos viajar a C, mientras que ir
a A con probabilidad 0,2. Por ltimo si el agente comercial trabaja todo un da en A,
permanecer en esa misma ciudad, al da siguiente, con una probabilidad 0,1, ir a B
con una probabilidad de 0,3 y a C con una probabilidad de 0,6.
a) Si hoy el viajante est en C, cul es la probabilidad de que tambin tenga que
trabajar en C al cabo de cuatro das?
b) Cuales son los porcentajes de das en los que el agente comercial est en cada
una de las tres ciudades?

SOLUCIN:

La matriz de transicin P es la siguiente para el orden A,B,C
|
|
|
\
|
=
4 , 0 4 , 0 2 , 0
6 , 0 2 , 0 2 , 0
6 , 0 3 , 0 1 , 0
P ; El apartado a) consiste en averiguar el trmino p
4
33,
es decir el
trmino que ocupa la fila 3 y la columna 3 de la matriz P
4
. lo cual se obtiene con la fila
3 y la columna 3 de P
2
, cuyos valores son:

|
|
|
\
|

=
52 , 0 30 , 0 18 , 0
48 , 0
48 , 0
2
P , por tanto el trmino buscado es:
0,18.0,48+0,30.0,48+0,52.0,52= 0,5008

c) Nos piden las probabilidades estacionarias. Para ello hay que resolver el
siguiente sistema:

) , , (
4 , 0 4 , 0 2 , 0
6 , 0 2 , 0 2 , 0
6 , 0 3 , 0 1 , 0
). , , ( z y x z y x =
|
|
|
\
|
; 1 = + + z y x

Desarrollando resulta el sistema de ecuaciones lineales:

= + +
= +
= +
= + +
1
0 6 6 6
0 4 8 3
0 2 2 9
z y x
z y x
z y x
z y x
elimino y en las dos primeras: -33x+12z = 0, y elimino y en las
dos ltimas : 12z=6 ; de ambas se deduce que x =2/11=0,1818 y = 7/22=0.3181
z = 0,5. En porcentajes seran el 18,18% para la ciudad A, el 31,81 para B y el 50% para
la ciudad C.

4) Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi
Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que
siga comprndola la vez siguiente. Si una persona compr Pepsi, hay 80% de que repita
la vez siguiente. Se pide:
a) Si una persona actualmente es comprador de Pepsi. Cul es la probabilidad de
que compre Coca Cola pasadas dos compras a partir de hoy?
b) Si en la actualidad una persona es comprador de Coca Cola. Cul es la
probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?
c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A
tres compras a partir de ahora, Qu fraccin de los compradores estar tomando
Coca Cola.
d) Determinar el estado estable.

SOLUCIN: La situacin se puede modelar como una cadena de Markov con dos
estados {Coca-Cola, Pepsi-Cola}= {C,P}
La matriz de transicin para el orden C,P, es:

|
|
\
|
=
8 , 0 2 , 0
1 , 0 9 , 0
P

a) Se pide la probabilidad de transicin en dos pasos, es decir que se pide el valor
en fila 2, columna 1 para la matriz P
2
, obtenendose que este es : 0,2.0,9+0,8.0,2
= 0,34
b) Al igual que en el apartado anterior se pide el valor de probabilidad de transicin
en fila 1 y columna 1 para la matriz P
3
. La matriz es
|
|
\
|
=
562 438
219 781
1000
1
3
P ;
esto quiere decir que la solucin al problema es 0,781

c) El vector de probabilidad inicial es (06, 04), por tanto la probabilidad de
consumir ambos estados a partir de tres etapas es:

3
). 4 , 0 6 , 0 ( P . Calculamos primero P
2
, resultando que
|
|
\
|
=
66 34
17 83
100
1
2
P ,
Por tanto
|
|
\
|
=
562 438
219 781
1000
1
3
P , entonces el resultado solicitado es
) 3562 6438 (
10000
1
= (06438 , 03562) ; esto es que al cabo de tres compras el
6438% comprar Coca Cola y el 3562% comprar Pepsi Cola.

d) El estado estable se determina resolviendo el sistema de ecuaciones:

) , (
8 , 0 2 , 0
1 , 0 9 , 0
) , ( y x y x =
|
|
\
|
aadiendo la ecuacin x+y = 1, siendo x la probabilidad de
que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi
Cola.
El sistema resultante es:
= +
=
= +
1
0 2
0 2
y x
y x
y x
, obsrvese que las dos primeras ecuaciones son
la misma por tanto quedmonos con las dos ltimas, obteniendo como solucin:
x = 2/3 ; y = 1/3.

5) La cervecera ms importante del mundo (Guiness) ha contratado a un analista de
investigacin de operaciones para analizar su posicin en el mercado. Estn
preocupados en especial por su mayor competidor (Heineken). El analista piensa que el
cambio de marca se puede modelar como una cadena de Markov incluyendo tres
estados, los estados G y H representan a los clientes que beben cerveza producida por
las mencionadas cerveceras y el estado I representa todas las dems marcas. Los datos
se toman cada mes y el analista ha construido la siguiente matriz de transicin de los
datos histricos.

G H I
G 0,7 0,2 0,1
H 0,2 0,75 0,05
I 0,1 0,1 0,8

Cules son los porcentajes de mercado en el estado estable para las dos
cerveceras grandes.?

SOLUCIN:

Tres estados {G, H, I}
El problema consiste en resolver el sistema formado por las ecuaciones
siguientes:

1 ); , , ( ). , , ( = + + = z y x z y x P z y x , siendo x la probabilidad de que el consumidor
compre G, y de que el consumidor compre H y z la del que consumidor compre I.
De ambas expresiones se obtiene el siguiente sistema:

= + +
= +
= +
= + +
1
0 20 5 10
0 10 25 20
0 2 3
z y x
z y x
z y x
z y x
cuya solucin es x = 9/26; y=10/26 z = 7/26

6) En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un
cliente de uno a otro. El 1 de septiembre, de los clientes va al S1, 1/3 al S2 y 5/12
al S3 de un total de 10.000 personas. Cada mes esl S1 retiene el 90% de sus clientes
y pierde el 10% que se va al S2. Se averigu que el S2 solo retiene el 5% y pierde el
85% que va a S1 y el resto se va a S3, el S3 retiene solo el 40%, pierde el 50% que
va al S1 y el 10% va al S2.

a) Establecer la matriz de transicin
b) Cul es la proporcin de clientes para los supermercados el 1 de
noviembre?
c) Hallar el vector de probabilidad estable.

SOLUCIN:

a) La matriz de transicin para el orden S1, S2, S3 es:

|
|
|
\
|
=
4 , 0 1 , 0 5 , 0
10 , 0 05 , 0 85 , 0
0 1 , 0 9 , 0
P

b) Para el mes de noviembre (han transcurrido 2 meses desde 1 de septiembre), la
proporcin de clientes es
( ) 0883 , 0 0958 , 0 8158 , 0
17 , 0 095 , 0 735 , 0
045 , 0 0975 , 0 8575 , 0
01 , 0 095 , 0 895 , 0
12
5
3
1
4
1
12
5
3
1
4
1
2
=
|
|
|
\
|
|
\
|
= |
\
|
P
La proporcin es del 81,58% para S1, 9,58% para S2 y 8,83% para S3

c) El vector de probabilidad estable se obtiene resolviendo:

1 ); , , ( ). , , ( = + + = z y x z y x P z y x

El sistema resultante es:

= + +
=
= +
= + +
1
0 6
0 10 95 10
0 50 85 10
z y x
z y
z y x
z y x
de donde y = 2/31, z =1/93; x = 86/93

7) Los consumidores de caf en el rea de Pontevedra usan tres marcas A, B, C. En
marzo de 1995 se hizo una encuesta en lo que entrevist a las 8450 personas que
compran caf y los resultados fueron:

Compra en el siguiente mes TOTALES
Compra actual Marca A Marca B Marca C
Marca A = 1690 507 845 338 1690
Marca B = 3380 676 2028 676 3380
Marca C = 3380 845 845 1690 3380
TOTALES 2028 3718 2704 8450

a) Si las compras se hacen mensualmente, cul ser la distribucin del mercado de
caf en Pontevedra en el mes de junio?
b) A la larga, cmo se distribuirn los clientes de caf?
c) En junio, cual es la proporcin de clientes leales a sus marcas de caf?

SOLUCIN:

a) A la vista de las frecuencias anteriores, las probabilidades de transicin, conservando
el mismo orden que la tabla (A,B,C) es:
|
|
|
\
|
=
5 , 0 25 , 0 25 , 0
2 . 0 6 , 0 2 , 0
2 , 0 5 , 0 3 , 0
P ; De marzo a Junio hay 4 etapas por lo que nos piden las
probabilidades de transicin al cabo de 4 meses, las que vendrn dada por los
coeficientes de P
4

|
|
|
\
|
=
35 40 25
26 51 23
26 50 24
100
1
2
P
|
|
|
\
|
=
2915 4690 2395
2834 4791 2375
2834 4790 2376
10000
1
4
P =
|
|
|
\
|
2915 , 0 469 , 0 2395 , 0
2834 , 0 4791 , 0 2375 , 0
2834 , 0 4790 , 0 2376 , 0

b) A la larga se trata de la situacin estable:

( ) ( ) z y x z y x =
|
|
|
\
|
5 , 0 25 , 0 25 . 0
2 , 0 6 , 0 2 , 0
2 , 0 5 , 0 3 , 0
; x + y + z =1
= + +
= +
= +
= + +
1
0 5 2 2
0 5 , 2 4 5
0 5 , 2 2 7
z y x
z y x
z y x
z y x
, resolviendo se obtiene: x = 5/21; y = 10/21; z = 2/7

c) En Marzo la proporcin de clientes de A es: 2028/8450 = 0,24 ; para B es
3718/8450 = 0,44 y para C es 2704/8450 = 0,32.
En el mes de junio la proporcin es:
( ) ( ) 296 , 0 464 , 0 24 , 0
5 , 0 25 , 0 25 , 0
2 . 0 6 , 0 2 , 0
2 , 0 5 , 0 3 , 0
32 , 0 44 , 0 24 , 0 =
|
|
|
\
|
, es decir 24% para A,
46,4% para B y 29,6% para C.

Cadenas de Markov 2.1 (M14)

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cadenas de Markov 2.1 (M14)

Enviado por

Direitos autorais:

Formatos disponíveis

Captulo 2.

2.- Cadenas de Markov.

Captulo 2 2.1. Introduccin 29

por hiptesis de induccin

en forma matricial nos quedara que

Supongamos que la cadena no es recurrente positiva por el teorema 2.12,

Captulo 2 2.3. Distribucin estacionaria 53

son conjuntos cerrados e irreducibles de estados aperidicos.

podemos calcular n , usando el teorema 2.22,

, definidos como en el teorema anterior y supngase que la

dado que =0 excepto si k B

, = ( j ), independiente de k, tomando el lmite en

, ambas deben sumar uno, sumamos las

Você também pode gostar