Comportamiento Lmite de una

SEMANA 5 CMTD

[ PROGRAMACIN ESTOCSTICA ]


SEMANA CINCO
LECTURA UNO: COMPORTAMIENTO LMITE DE UNA CMTD

Para entender mejor el comportamiento lmite de las Cadenas de Markov en Tiempo Discreto,
primero veremos ciertas definiciones y propiedades importantes:
Definicin 0: un estado ! es accesible desde un estado ! si para algn ! 0, existe un !!" (!) > 0.
Si un estado ! es accesible desde ! , nosotros lo representamos de siguiente manera: ! !
!!! (!) = !
! ! !
Note que la definicin de accesibilidad no depende de la magnitud de !!" (!) . La accesibilidad
slo depende de que !!" (!) sea cero, o que sea diferente de cero.

Clasificacin de estados de una CMTD
Sea !! , ! 0 un proceso estocstico con espacio de estados ! = {1, 2, 3, 4, 5, 6, 7, 8}como se
muestra a continuacin:
Grfico 1: Representacin grfica de una CMTD


1
7

2 4 5 6


3
8

Fuente: Elaboracin Propia
Definicin 1: un camino de ! a ! es una secuencia de transiciones, todas con probabilidad mayor
que cero, que inician en ! y terminan en !.

Definicin Dos: sean ! y ! dos estados que pertenecen a ! ( !, ! ! ), se dice que ! y ! se
comunican si existe un camino desde ! hasta ! y existe un camino desde ! hasta ! .
Si un estado i se comunica con un estado j lo representamos de la siguiente manera: ! !
Ejemplo:
2 3
1 3

Definicin Tres: un subconjunto ! ! es una clase comunicantes i
Que ningn estado por fuera de ! se pueda alcanzar desde ! .
Ejemplo:
! = {1, 2, 3}
! = {6, 7, 8}

2 [ POLITCNICO GRANCOLOMBIANO ]


Definicin Cuatro: un estado ! ! es absorbente si {!} es una clase comunicante cerrada.

! Es absorbente si !!! = 1

Definicin Cinco: un estado ! es transitorio si existe algn estado ! (! !), tal que ! !, pero
que ! !.
Puedo estar dando vueltas en el estado transitorio, pero en algn momento voy a salir y no
regresar

Definicin Seis: un estado es recurrente si no es transitorio.

Definicin Siete: sea ! ! un estado recurrente,
! ! : Nmero de pasos ! , tales que iniciando en ! , la cadena puede devolverse en ! pasos a ! .

Definicin Ocho: sea ! ! recurrente, el periodo de ! , !(!), se define:
! ! = !. !. !. {! ! }, !. !. !: !!"#$ !"#! !"#$%&#'!$(
! Es aperidico si ! ! = 1
Ejemplo:
! 1 = 1
! 3 = 2
! 6 = 3.

Definicin Nueve: una CMTD es irreducible si es una clase comunicante cerrada.
Resultados: sea ! , ! ! y ! ! entonces,
1. Si ! es recurrente, entonces ! es recurrente.
2. ! ! = ! ! si ! es recurrente

Definicin 10: una cadena irreducible es aperidica si todos sus estados son recurrentes y
aperidicos.
Resultados: una cadena irreducible es aperidica si existe al menos un estado recurrente y
aperidico.

Definicin Once: una cadena es ergdica si
1. La cadena es irreducible
2. La cadena es aperidica.
Sea ! , ! 0 una CMTD con espacio de estados ! = {1, 2, , !}. Si la cadena es ergdica,
entonces existe el estado estable.

Nota: si la cadena no es ergdica, puede que se d el caso en que exista el estado estable.

COMPORTAMIENTO LMITE
Ya definidas las clases, estados, propiedades y dems elementos de la CMTD, podemos estudiar
el comportamiento lmite de esta. Formalmente vamos a definirlo de la siguiente manera:

[ PROGRAMACIN ESTOCSTICA ] 3


Sea ! = [!! , !! , , !! ] el vector rengln de probabilidad en estado estable. Si la cadena es

ergdica, entonces este vector existe, es nico y se le conoce como la distribucin lmite o
distribucin de estado estable. Para calcularla, se resuelve el siguiente sistema:
! = !
Ahora, como todas las probabilidades deben sumar 1, debemos agregar una ecuacin de
normalizacin:
!! = !
!!
Donde !! es la probabilidad de encontrarse en el estado ! cuando se est en estado estable.

Ejemplo Uno:
Calcule las probabilidades de estado estable para una CMTD ergdica con la siguiente matriz:
1/4 1/2 1/4
= 0 3/4 1/4
3/4 0 1/4
Resolviendo el sistema ! = !, nacen las siguientes ecuaciones de balance:
1/4 1/2 1/4
[!! , !! , !! ] = !! , !! , !! 0 3/4 1/4
3/4 0 1/4
1
1. !! = 4 !! + 0!! + 4 !! 3
2. !! = 1 2 !! + 3 4 !! + 0!!
3. !! = 1 4 !! + 1 4 !! + 1 4 !!
4. !! + !! + !! = 1
Note que = es equivalente a
!! = !!" !!
!!
Ahora podemos resolver el sistema de ecuaciones para encontrar la distribucin lmite. De la
ecuacin 1 tenemos que:
3 ! = 3 !
4 ! 4 !
!! = !!
De la ecuacin dos sacamos
1 ! = 1 !
2 ! 4 !
!! = 2!!
Reemplazando en la ecuacin cuatro:
!! + 2!! + !! = 1
4!! = 1
!! = ! !
Ahora, con !! , podemos decir que:
!! = 2 1 4
!! = ! !

4 [ POLITCNICO GRANCOLOMBIANO ]


Y finalmente,
!! = ! !
Es decir, que para esta CMTD, existe una distribucin lmite con las siguientes probabilidades de
estado:
! = ! ! , ! ! , ! !

Ejemplo Dos:
Suponga que !! , ! 0 es una CMTD con espacio de estados ! = {1, 2, 3} y con matriz de
probabilidades de transicin de un paso dada por:
0 2/3 1/3
= 1/2 0 1/2
0 3/4 1/4

Grfica 2: Grafo de tasas de transicin del ejemplo dos

1/3

2/3 1/2

1 2 3 1/4

1/2 3/4

Fuente: ElaboracinPropia

Todos los estados se comunican entre s. La cadena es una clase comunicante cerrada, por lo
tanto decimos que la cadena es irreducible. Adems, el estado tres es aperidico, luego la
cadena es aperidica.
Cumplidas las condiciones, podemos afirmar que esta CMTD es ergdica. Luego, su distribucin
lmite existe.
a. Halle la proporcin de tiempo, en estado estable, que la cadena gasta en el estado Dos.
Para hallar cualquier proporcin o probabilidad del sistema en estado estable, debemos calcular
las ecuaciones de balance:
! = !
0 2/3 1/3
[!! , !! , !! ] = !! , !! , !! 1/2 0 1/2
0 3/4 1/4
1
1. !! = 2 !!
2. !! = 2 3 !! + 3 4 !!
3. !! = 1 3 !! + 1 2 !! + 1 4 !!

[ PROGRAMACIN ESTOCSTICA ] 5


4. !! + !! + !! = 1
Reemplazando la ecuacin 1 en la ecuacin 2:
!! = 2 3 1 2 !! + 3 4 !!
!! = 8 9 !!
Reemplazando en la ecuacin 4, obtenemos la proporcin de tiempo, en estado estable, que la
cadena gasta en el estado 2:
1 ! + ! + 8 ! = 1
2 ! ! 9 !
!"
!! = !"
a. Halle la probabilidad, en estado estable, de que la cadena est en el estado tres.
Con el valor de !! , ya es posible calcular la probabilidad, en estado estable, de que la cadena
est en el estado tres:
!! = 8 9 !! = !! = 8 9 18 43
!! = !" !"
a. Halle la probabilidad, en estado estable, de que la cadena est en el estado tres, dado que
comenz en el estado uno.
Si la cadena es irreducible y aperidica, entonces se cumple que:
!"# !(!! = !|!! = !) = !"# ! !! = ! = !!
!! !!
!"# !(!! = !|!! = !) = !! = !" !"
!!

Ejemplo Tres:
A Laura le encanta el caf. Ella alterna entre las siguientes 3 marcas de caf. Nescaf, Oma y
Juan Valdez, de semana en semana, de acuerdo con una CMTD como se muestra a continuacin
en la matriz de probabilidades de transicin:
0.1 0.3 0.6
= 0.1 0.5 0.4
0.3 0.2 0.5
a. Qu fraccin del tiempo, en el largo plazo, Laura consume de la marca Nescaf?
Para cualquier clculo del largo plazo, calcularemos la distribucin lmite de la CMTD:
! = !
0.1 0.3 0.6
[!! , !! , !! ] = !! , !! , !! 0.1 0.5 0.4
0.3 0.2 0.5
1. !! = 0.1!! + 0.1!! + 0.3!!
2. !! = 0.3!! + 0.5!! + 0.2!!
3. !! = 0.6!! + 0.4!! + 0.5!!
4. !! + !! + !! = 1
Resolviendo el sistema de ecuaciones obtenemos la siguiente distribucin:
! = 0.198, 0.314, 0.489
Luego, en el largo plazo, Laura consumir, el 19.8% del tiempo, caf de la marca Nescaf.

6 [ POLITCNICO GRANCOLOMBIANO ]


a. Suponga que el costo por libra de caf es de $6000, $8000 y 15000 segn la marca,
respectivamente. Suponga que ella consume una libra de caf por semana en el largo plazo.
Cul es el valor esperado del costo por caf por semana?
Como ya tenemos la distribucin lmite, podemos decir que fraccin del tiempo, de una semana,
ella consumir de cada marca de caf. Por lo tanto, a partir de ese tiempo y los costos por marca,
podemos calcular un costo esperado para Laura, en el largo plazo:
!! !"#$"! = 0.198 $6000 + 0.314 $8000 + 0.489 $15000
= $!!"" + $!"#! + $!"#$ = $!!"#".

[ PROGRAMACIN ESTOCSTICA ] 7