Aplicacion de Cadenas de Markov y Teoria PDF

Notación Kendall-Lee
Procesos de Nacimiento y Muerte

Ejemplo de Cadena de Markov para dos Estados
Cadenas de Markov
Aplicación de Cadenas de Markov
Carlos Ernesto Martínez Rodríguez
Universidad Autónoma de la Ciudad de México, Casa Libertad
carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 1 / 66

Cadenas de Markov
Índice
1 Notación Kendall-Lee
2 Procesos de Nacimiento y Muerte

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
3 Ejemplo de Cadena de Markov para dos Estados
4 Cadenas de Markov
Estacionareidad
Teoría Ergódica
Criterios de Ergodicidad

Cadenas de Markov
Notación de Kendall
A partir de este momento se harán las siguientes consideraciones: Si tn

es el tiempo aleatorio en el que llega al sistema el n-ésimo cliente, para
n = 1, 2, . . ., t0 = 0 y t0 < t1 < · · · se definen los tiempos entre arribos
τn = tn − tn−1 para n = 1, 2, . . ., variables aleatorias independientes e
idénticamente distribuidas. Los tiempos entre arribos tienen un valor
medio E (τ) finito y positivo 1β , es decir, β se puede ver como la tasa o
intensidad promedio de arribos al sistema por unidad de tiempo. Además
se supondrá que los servidores son identicos y si s denota la variable
aleatoria que describe el tiempo de servicio, entonces E (s) = 1δ , δ es la
tasa promedio de servicio por servidor.

Cadenas de Markov
La notación de Kendall-Lee es una forma abreviada de describir un

sisema de espera con las siguientes componentes:
i) Fuente: Población de clientes potenciales del sistema, esta puede
ser finita o infinita.
ii) Proceso de Arribos: Proceso determinado por la función de
distribución A (t) = P {τ ≤ t } de los tiempos entre arribos.

Cadenas de Markov
Además tenemos las siguientes igualdades
N (t) = Nq (t) + Ns (s) (1)
donde
N (t) es el número de clientes en el sistema al tiempo t.
Nq (t) es el número de clientes en la cola al tiempo t
Ns (t) es el número de clientes recibiendo servicio en el tiempo t.
Bajo la hipótesis de estacionareidad, es decir, las características de
funcionamiento del sistema se han estabilizado en valores
independientes del tiempo, entonces
N = Nq + Ns . (2)
Los valores medios
de
las cantidades anteriores se escriben como
L = E (N), Lq = E Nq y Ls = E (Ns ), entonces de la ecuación 1 se
obtiene
L = L +Aplicación
carlos.martinez@expresauacm.org L de Cadenas de Markov (3) 5 / 66
Cadenas de Markov
Si q es el tiempo que pasa un cliente en la cola antes de recibir servicio,
y W es el tiempo total que un cliente pasa en el sistema, entonces
w =q+s
por lo tanto
W = Wq + Ws ,
donde W = E (w), Wq = E (q) y Ws = E (s) = 1δ .
La intensidad de tráfico se define como
E (s) β
ρ= = . (4)
E (τ) δ
La utilización por servidor es
ρ β
= . u= (5)
c cδ
donde c es el número de servidores.
Cadenas de Markov
Más sobre la notación Kendall-Lee

Esta notación es una forma abreviada de describir un sistema de espera
con componentes dados a continuación, la notación es
A /S /c /K /F /d (6)
Cada una de las letras describe:

A es la distribución de los tiempos entre arribos.
S es la distribución del tiempo de servicio.
c es el número de servidores.
K es la capacidad del sistema.
F es el número de individuos en la fuente.
d es la disciplina del servicio
Usualmente se acostumbra suponer que K = ∞, F = ∞ y d = FIFO, es
decir, First In First Out.
Cadenas de Markov
Más sobre la notación Kendall-Lee
Las distribuciones usuales para A y B son:

GI para la distribución general de los tiempos entre arribos.
G distribución general del tiempo de servicio.
M Distribución exponencial para A o S.
EK Distribución Erlang-K , para A o S.
D tiempos entre arribos o de servicio constantes, es decir,
deterministicos.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos

Por un proceso de nacimiento y muerte se entiende un proceso de saltos
de markov {Xt }t ≥0 con espacio de estados a lo más numerable, con la
propiedad de que sólo puede ir al estado n + 1 o al estado n − 1, es decir,
su matriz de intensidad es de la forma
 −β0 β0 0 0 0 ···

 

 δ −β1 − δ1 β1 0 0 ··· 
 1
Λ =  0

δ2 −β2 − δ2 β2 0 ··· 
 .

..

.. .

donde βn son las intensidades de nacimiento y δn las intensidades de

muerte, o también se puede ver como a Xt el número de usuarios en una
cola al tiempo t, un salto hacia arriba corresponde a la llegada de un
nuevo usuario y un salto hacia abajo como al abandono de un usuario
después de haber recibido su servicio.
Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
La cadena de saltos {Yn } tiene matriz de transición dada por
0 1 0 0 0 ···
 
 

 q1 0 p1 0 0 ··· 

Q =  0 q2 0 p2 0 ··· 
..

..

.

.

β
donde pn = βn +nδn y qn = 1 − pn = βnδ+nδn , donde además se asumne por el
momento que pn no puede tomar el valor 0 ó 1 para cualquier valor de n.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos

Proposición
La recurrencia de {Xt }, o equivalentemente de {Yn } es equivalente a

∞ ∞
X δ1 · · · δn X q1 · · · qn
= =∞ (7)
β · · · βn n=1 p1 · · · pn
n=1 1
Lema
Independientemente de la recurrencia o transitorieadad, existe una y

sólo una, salvo múltiplos, solución a vΛ = 0, dada por
β0 · · · βn−1
vn = v0 (8)
δ1 · · · δn
para n = 1, 2, . . ..
Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Corolario
En el caso recurrente, la medida estacionaria µ para {Yn } está dada por

p1 · · · pn−1
µn = µ0 (9)
q1 · · · qn
para n = 1, 2, . . ..

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
P∞ β0 β1 ···βn−1
Se define a S = 1 + n=1 δ1 δ2 ···δn
Corolario
{Xt } es ergódica si y sólo si la ecuación (36) se cumple y además S < ∞,

en cuyo caso la distribución ergódica, π, está dada por
1 1 β0 · · · βn−1
π0 = , πn = (10)
S S δ1 · · · δn
para n = 1, 2, . . ..

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
Este modelo corresponde a un proceso de nacimiento y muerte con

βn = β y δn = δ independiente del valor de n. La intensidad de tráfico
ρ = βδ , implica que el criterio de recurrencia (ecuación 36) quede de la
forma:
∞
X
1+ ρ−n = ∞.
n=1
Equivalentemente el proceso es recurrente si y sólo si

X β n β
<∞⇔ <1
n ≥1
δ δ
δ
Entonces S = δ−β , luego por la ecuación 39 se tiene que

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
δ−β β
π0 = =1−
δ δ
β n β β n
πn = π0 = 1− = (1 − ρ) ρn
δ δ δ
Lo cual nos lleva a la siguiente
Proposición
La cola M /M /1 con intendisad de tráfico ρ, es recurrente si y sólo si
ρ ≤ 1.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
Entonces por el corolario 3.1
Proposición
La cola M /M /1 con intensidad de tráfico ρ es ergódica si y sólo si ρ < 1.
En cuyo caso, la distribución de equilibrio π de la longitud de la cola es
geométrica, πn = (1 − ρ) ρn , para n = 1, 2, . . ..
De la proposición anterior se desprenden varios hechos importantes.

1 P [Xt = 0] = π0 = 1 − ρ, es decir, la probabilidad de que el sistema se
encuentre ocupado.
2 De las propiedades de la distribución Geométrica se desprende que
ρ
1 E [Xt ] = 1−ρ
,
ρ
2 Var [Xt ] = (1−ρ)2
.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
Si L es el número esperado de clientes en el sistema, incluyendo los que

están siendo atendidos, entonces
ρ
L=
1−ρ
Si además W es el tiempo total del cliente en la cola: W = Wq + Ws

ρ = EE[s]
[τ]
= βWs , puesto que Ws = E [s] y E [τ] = 1δ . Por la fórmula de Little
L = λW
ρ
L ρ 1
1−ρ Ws
W = = =
=
β βδ1−ρ 1−ρ
1 1
= =
δ (1 − ρ) δ − β

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
luego entonces
1 1 β
Wq = W − Ws = − =
δ − β δ δ(δ − β)
ρ 1 ρ
= = E [s]
1−ρδ 1−ρ
Entonces
ρ2
Lq = βWq = .
1−ρ
Finalmente

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /1
Proposición
t
1 W (t) = 1 − e − W .
t
2 Wq (t) = 1 − ρ exp− W .
donde W = E(w).

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /∞
Este tipo de modelos se utilizan para estimar el número de líneas en uso

en una gran red comunicación o para estimar valores en los sistemas
M /M /c o M /M /c /c, en el se puede pensar que siempre hay un servidor
disponible para cada cliente que llega.
Se puede considerar como un proceso de nacimiento y muerte con
parámetros βn = β y µn = nµ para n = 0, 1, 2, . . ., entonces por la
ecuación 39 se tiene que
π0 = e ρ
ρn
πn = e −ρ
n!

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /∞
Entonces, el número promedio de servidores ocupados es equivalente a

considerar el número de clientes en el sistema, es decir,
L = E [N] = ρ
Var [N] = ρ

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /∞
Además se tiene que Wq = 0 y Lq = 0.

El tiempo promedio en el sistema es el tiempo promedio de servicio, es
decir, W = E [s] = 1δ . Resumiendo, tenemos la siguiente proposición:
Proposición
La cola M /M /∞ es ergódica para todos los valores de η. La distribución
e −n ηn
de equilibrio π es Poisson con media η, πn = n! .

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
Este sistema considera m servidores idénticos, con tiempos entre arribos

y de servicio exponenciales con medias E [τ] = 1β y E [s] = 1δ . definimos
ρ
ahora la utilización por servidor como u = m que también se puede
interpretar como la fracción de tiempo promedio que cada servidor está
ocupado.
La cola M /M /m se puede considerar como un proceso de nacimiento y
( con parámetros: βn = β para n = 0, 1, 2, . . . y
muerte
n δ n = 0 , 1, . . . , m − 1
δn =
cδ n = m, . . .
entonces la condición de recurrencia se va a cumplir sí y sólo si
β0 ···βn−1
n≥1 δ1 ···δn < ∞, equivalentemente se debe de cumplir que
P

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
X β0 · · · βn−1 m −1 ∞
X β0 · · · βn−1 X β0 · · · βn−1
S = 1+ = +
n≥1
δ1 · · · δn n=0
δ1 · · · δn n=0
δ1 · · · δn
m −1 ∞
X βn X ρm n
= + u
n=0
n!δn n=0
m!
converja, lo cual ocurre si u < 1, en este caso

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
m −1
X ρn ρm
S= + (1 − u)
n=0
n! m!
luego, para este caso se tiene que
1
π0 =
S
ρn
 π0 n! n = 0, 1, . . . , m − 1

πn

=  π ρn n = m, . . .

0 m!mn−m

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
Al igual que se hizo antes, determinaremos los valores de Lq , Wq , W y L :
h i X ∞ ∞
X
Lq = E Nq = (n − m) πn = nπn+m
n=0 n=0
∞ ∞ ∞
X ρ n+m
ρ X n uρm X d n
m
= nπ0 = π0 nu = π0 u
n=0
m!mn+m m! n=0 m! n=0 du
∞
uρm d X n uρm d uρm
!
1 1
= π0 u = π0 = π0
m! du n=0 m! du 1 − u m! (1 − u)2

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
es decir
uπ0 ρm
Lq = (11)
m! (1 − u)2
luego
Lq
Wq = (12)
β
1
W = Wq + (13)
δ
π ρm
πm
Si definimos C (m, ρ) = m!(1
0
−u) = 1−u , que es la probabilidad de que un
cliente que llegue al sistema tenga que esperar en la cola. Entonces
podemos reescribir las ecuaciones recién enunciadas:

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
C (m, ρ) u
Lq =
1−u
C (m, ρ) E [s]
Wq =
m (1 − u)
Proposición
La cola M /M /m con intensidad de tráfico ρ es ergódica si y sólo si ρ < 1.
En este caso la distribución ergódica π está dada por
1 η
 n
0≤n≤m
πn = 

 S n!
1 η
m
ρn−m m≤n<∞

S m!

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M /M /m
Proposición
Para t ≥ 0
a) Wq (t) = 1 − C (m, ρ) e −c δt(1−u)
b)
ρ−m+W (0) ,ρ)
 1 + e −δt m−1−ρq + e −mδt(1−u) mC(m ρ,m−1


W (t) =  −1−ρ
 1 − (1 + C (m, ρ) δt) e −δt ρ=m−1

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/G/1
Consideremos un sistema de espera con un servidor, en el que los

tiempos entre arribos son exponenciales, y los tiempos de servicio tienen
una distribución general G. Sea N (t)t ≥0 el número de clientes en el
sistema al tiempo t, y sean t1 < t2 < . . . los tiempos sucesivos en los que
los clientes completan su servicio y salen del sistema.
La sucesión {Xn } definida por Xn = N (t) es una cadena de Markov, en
específico es la Cadena encajada del proceso de llegadas de usuarios.
Sea Un el número de clientes que llegan al sistema durante el tiempo de
servicio del n-ésimo cliente, entonces se tiene que
si Xn ≥ 1,
(
Xn − 1 + Un+1
Xn+1 =
Un+1 si Xn = 0

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/G/1
Dado que los procesos de arribos de los usuarios es Poisson con

parámetro λ, la probabilidad condicional de que lleguen j clientes al
sistema dado que el tiempo de servicio es s = t, resulta:
(λt)j
P {U = j |s = t } = e −λt , j = 0, 1, . . .
j!
por el teorema de la probabilidad total se tiene que

∞ ∞
(λt)j
Z Z
aj = P {U = j } = P {U = j |s = t } dG (t) = e −λt dG (t) (14)
0 0 j!
donde G es la distribución de los tiempos de servicio.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/G/1
Las probabilidades de transición de la cadena están dadas por
p0j = P {Un+1 = j } = aj , para j = 0, 1, . . . (15)
y para i ≥ 1
(
P {Un+1 = j − i + 1} = aj −i+1 , para j ≥ i − 1
pij = (16)
0 j <i−1

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/G/1
Sea ρ =
P
n=0 nan , entonces se tiene el siguiente teorema:
Teorema
La cadena encajada {Xn } es
a) Recurrente positiva si ρ < 1,
b) Transitoria si ρ > 1,
c) Recurrente nula si ρ = 1.
β
Además, se tiene que ρ = βE [s] = δ y la distribución estacionaria está
dada por
j+1
X
πj = π0 aj + πi aj −i+1 , para j = 0, 1, . . . (17)
i=1
π0 = 1−ρ (18)

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/G/1
Además se tiene que
00
0 A (1)
L = π (1) = ρ + (19)
2 (1 − ρ)
00
h i
n (n − 1) an = E U 2 − E [U], E [U] = ρ y
P
pero A (1) = n=1
h i h i β2 E[s 2 ]
E U 2 = λ2 E s 2 + ρ. Por lo tanto L = ρ + 2(1−ρ) .
L
De las fórmulas de Little, se tiene que W = E (w) = β, también el tiempo
de espera en la cola
L 1
Wq = E (q) = E (w) − E (s) = − , (20)
β δ
además el número promedio de clientes en la cola es

Lq = E Nq = βWq = L − ρ (21)

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/M/m/m
Consideremos un sistema con m servidores idénticos, pero ahora cada

uno es de capacidad finita m. Si todos los servidores se encuentran
ocupados, el siguiente usuario en llegar se pierde pues no se le deja
esperar a que reciba servicio. Este tipo de sistemas pueden verse como
un proceso de nacimiento y muerte con
β n = 0, 1, 2, . . . , m − 1
(
βn =
0 n≥m
nδ n = 0, 1, 2, . . . , m − 1
(
δn =
0 n≥m

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/M/m/m
El proceso tiene epacio de estados finitos, S = {0, 1, . . . , m}, entonces de
las ecuaciones que determinan la distribución estacionaria se tiene que
π0 ρn!
n
n = 0, 1, 2, . . . , m
(
πn = (22)
0 n≥m
y ademas
m −1
X ρn 
π0 =   (23)
n=0
n! 
A la ecuación 22 se le llama distribución truncada.

ρm
Si definimos πm = B (m, ρ) = π0 m! , πm representa la probabilidad de que
todos los servidores se encuentren ocupados, y también se le conoce
como fórmula de pérdida de Erlang.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/M/m/m
Necesariamente en este caso el tiempo de espera en la cola Wq y el

número promedio de clientes en la cola Lq deben de ser cero puesto que
no se permite esperar para recibir servicio, más aún el tiempode espera
en el sistema y el tiempo de serivcio tienen la misma distribución, es
decir,
W (t) = P {w ≤ t } = 1 − e −µt
, en particular
1
W = E [w] = E [s] =
δ

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Cola M/M/m/m
Por otra parte, el número esperado de clientes en el sistema es
m m
X X ρn−1
L = E [N] = n πn = π0 ρ
n=0 n=0
(n − 1)!
m −1
X ρn
= π0 ρ
n=0
n!
entonces, se tiene que
L = ρ (1 − B (m, ρ)) = E [s] (1 − B (m, ρ)) . (24)
Además
δq = δ (1 − B (m, ρ)) (25)
representa la tasa promedio efectiva de arribos al sistema.
Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Sistemas Abiertos
Considerese un sistema con dos servidores, en los cuales los usuarios
llegan de acuerdo a un proceso poisson con intensidad λ1 al primer
servidor, después de ser atendido se pasa a la siguiente cola en el
segundo servidor. Cada servidor atiende a un usuario a la vez con
tiempo exponencial con razón µi , para i = 1, 2. A este tipo de sistemas se
les conoce como siemas secuenciales.
Defínase el par (n, m) como el número de usuarios en el servidor 1 y 2
respectivamente. Las ecuaciones de balance son
λP0,0 = µ2 P0,1 (26)

(λ + µ1 ) Pn,0 = µ2 Pn,1 + λPn−1,0 (27)
(λ + µ2 ) P0,m = µ2 P0,m+1 + µ1 P1,m−1 (28)
(λ + µ1 + µ2 ) Pn,m = µ2 Pn,m+1 + µ1 Pn+1,m−1 + λPn−1,m (29)

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Sistemas Abiertos
Cada servidor puede ser visto como un modelo de tipo M /M /1, de igual
manera el proceso de salida de una cola M /M /1 con razón λ, nos
permite asumir que el servidor 2 también es una cola M /M /1. Además la
probabilidad de que haya n usuarios en el servidor 1 es
!n
λ λ
!
P {n en el servidor 1} = 1− = ρn1 (1 − ρ1 )
µ1 µ1
!n
λ λ
!
P {m en el servidor 2} = 1− = ρm2 (1 − ρ2 )
µ2 µ2
Si el número de usuarios en los servidores 1 y 2 son variables aleatorias

independientes, se sigue que:
Pn,m = ρn1 (1 − ρ1 ) ρm
2 (1 − ρ2 ) (30)

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Sistemas Abiertos
Verifiquemos que Pn,m satisface las ecuaciones de balance (26) Antes de

eso, enunciemos unas igualdades que nos serán de utilidad:
µi ρi = λ para i = 1, 2.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Sistemas Abiertos
λP0,0 = λ (1 − ρ1 ) (1 − ρ2 )
y µ2 P0,1 = µ2 (1 − ρ1 ) ρ2 (1 − ρ2 )
⇒ λP0,0 = µ2 P0,1
(λ + µ2 ) P0,m = (λ + µ2 ) (1 − ρ1 ) ρm
2 (1 − ρ2 )
µ2 P0,m+1 = λ (1 − ρ1 ) ρm
2 (1 − ρ2 )
= µ2 (1 − ρ1 ) ρm2 (1 − ρ2 )
λ
µ1 P1,m−1 = (1 − ρ1 ) ρm2 (1 − ρ2 )
ρ2
⇒ (λ + µ2 ) P0,m = µ2 P0,m+1 + µ1 P1,m−1
(λ + µ1 + µ2 ) Pn,m = (λ + µ1 + µ2 ) ρn (1 − ρ1 ) ρm
2 (1 − ρ2 )
µ2 Pn,m+1 = µ2 ρ2 ρn1 (1 − ρ1 ) ρm
2 (1 − ρ2 )

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Procesos de Salto
Consideremos un estado que comienza en el estado x0 al tiempo 0,
supongamos que el sistema permanece en x0 hasta algún tiempo
positivo τ1 , tiempo en el que el sistema salta a un nuevo estado x1 , x0 .
Puede ocurrir que el sistema permanezca en x0 de manera indefinida, en
este caso hacemos τ1 = ∞. Si τ1 es finito, el sistema permanecerá en x1
hasta τ2 , y así sucesivamente. Sea
0 ≤ t < τ1


 x0
τ1 ≤ t < τ2

x1




X (t) =  τ2 ≤ t < τ3 (31)

 x2
..



.



A este proceso se le llama proceso de salto. Si

<∞
(
Xt explota
limn→∞ τn = (32)
=∞ Xt no explota

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Procesos de Salto
Un proceso puro de saltos es un proceso de saltos que satisface la

propiedad de Markov.
Proposición
Un proceso de saltos es Markoviano si y sólo si todos los estados no
absorbentes x son tales que
Px (τ1 > t + s |τ1 > s) = Px (τ1 > t)
para s , t ≥ 0, equivalentemente
1 − Fx (t + s)
= 1 − Fx (t) . (33)
1 − Fx (s)

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Procesos de Salto
Observaciones
Una distribución Fx satisface la ecuación (33) si y sólo si es una función
de distribución exponencial para todos los estados no absorbentes x.
Por un proceso de nacimiento y muerte se entiende un proceso de

Markov de Saltos, {Xt }t ≥0 en E = N tal que del estado n sólo se puede
mover a n − 1 o n + 1, es decir, la matriz intensidad es de la forma:
 −β0 β0 0 0 ...

 

 δ −β1 − δ1 β1 0 ... 
 1
Λ =  0

δ2 −β2 − δ2 β2 ...  (34)
 .

..

.. .

donde βn son las probabilidades de nacimiento y δn las probabilidades

de muerte.
Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Procesos de Salto
La matriz de transición es
0 1 0 0 ...
 
 

 q1 0 p1 0 ... 

Q =  0 q2 0 p2 ...  (35)
..

..

.

.

βn δn
con pn = βn +δn y qn = βn +δn

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Proposición
La recurrencia de un Proceso Markoviano de Saltos {Xt }t ≥0 con espacio
de estados numerable, o equivalentemente de la cadena encajada {Yn }
es equivalente a
∞ ∞
X δ1 · · · δn X q1 · · · qn
= =∞ (36)
β · · · βn n=1 p1 · · · pn
n=1 1
Lema
Independientemente de la recurrencia o transitoriedad de la cadena, hay
una y sólo una, salvo múltiplos, solución ν a νΛ = 0, dada por
β0 · · · βn−1
νn = ν0 (37)
δ1 · · · δn

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Corolario
En el caso recurrente, la medida estacionaria µ para {Yn } está dada por

p1 · · · pn−1
µn = µ0 (38)
q1 · · · qn
para n = 1, 2, . . .
Definición
Una medida ν es estacionaria si 0 ≤ νj < ∞ y para toda t se cumple que
νP t = nu.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Procesos de Salto
Definición
Un proceso irreducible recurrente con medida estacionaria con masa
finita es llamado ergódico.
Teorema
Un Proceso de Saltos de Markov irreducible no explosivo es ergódico si y

sólo si uno puede encontrar una solución π de probabilidad, |π| = 1,
0 ≤ πj ≤ 1 para νΛ = 0. En este caso π es la distribución estacionaria.

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Corolario
{Xt }t ≥0 es ergódica si y sólo si (36) se cumple y S < ∞, en cuyo caso la

distribución estacionaria π está dada por
1 1 β0 · · · βn−1
π0 = , πn = , n = 1, 2, . . . (39)
S S δ1 · · · δn
Proposición
La cola M/M/1 con intensidad de tráfico ρ es recurrente si y sólo si ρ ≤ 1
Proposición
La cola M/M/1 con intensidad de tráfica ρ es ergodica si y sólo si ρ < 1.
En este caso, la distribución de equilibrio π de la longitud de la cola es
geométrica, πn = (1 − ρ) ρn , para n = 0, 1, 2, . . ..

Cola M/M/1
Cola M /M /∞
Cola M/M/m
Cola M/G/1
Cola M/M/m/m
Cadenas de Markov
Sistemas Abiertos
Sistemas Abiertos
Este caso corresponde a βn = β y δn = nδ. El parámetro de interés es

η = βδ , de donde se obtiene:
X δ1 · · · δn X ∞
= n!ηn = ∞,
n ≥0
β1 · · · βn n=1
∞
X ηn
S =1+ = en .
n=1
n!
Proposición
La cola M /M /∞ es ergodica para todos los valores de η. La distribución
e −n η
de equilibrio π es Poisson con media η, πn = n!
En este caso βn = β y δn = m (n) δ, donde m (n) = n, 1 ≤ n ≤ m. La

β
intensidad de tráfico es ρ = mδ , se tiene entonces que βn /δn = ρ para
n ≥ m. Así, para el caso m = 1,
Cadenas de Markov
Cadena de Markov con dos estados

Supongamos que se tiene la siguiente cadena:
!
1−q q
(40)
p 1−p
Si P [X0 = 0] = π0 (0) = a y P [X0 = 1] = π0 (1) = b = 1 − π0 (0), con
a + b = 1, entonces después de un procedimiento más o menos corto se
tiene que:
!
p p
P [Xn = 0] = + (1 − p − q)n a −
p+q p+q
!
q q
P [Xn = 1] = + (1 − p − q)n b −
p+q p+q
donde, como 0 < p , q < 1, se tiene que |1 − p − q| < 1, entonces

(1 − p − q)n → 0 cuando n → ∞. Por lo tanto
carlos.martinez@expresauacm.org Aplicaciónpde Cadenas de Markov 52 / 66
Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Sea v = (vi )i ∈E medida no negativa en E, podemos definir una nueva

P
medida v P que asigna masa i ∈E vi pij a cada estado j.
Definición
La medida v es estacionaria si vi < ∞ para toda i y además v P = v.
En el caso de que v sea distribución, independientemente de que sea

estacionaria o no, se cumple con
X X
Pv [X1 = j] = Pv [X0 = i] pij = vi pij = (vP)j
i ∈E i ∈E

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Teorema
Supongamos que v es una distribución estacionaria. Entonces
i) La cadena es estrictamente estacionaria con respecto a Pv , es
decir, Pv -distribución de {Xn , Xn+1 , . . .} no depende de n;
ii) Existe un aversión estrictamente estacionaria {Xn }n∈Z de la cadena
con doble tiempo infinito y P (Xn = i) = vi para toda n ∈ Z.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Teorema
Sea i estado fijo, recurrente. Entonces una medida estacionaria v puede
definirse haciendo que vj sea el número esperado de visitas a j entre dos
visitas consecutivas i,
τX
(i)−1 ∞
X
vj = Ei 11 (Xn = i) = Pi [Xn = j , τ(i) > n] (41)
n=0 n=0

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Teorema
Si la cadena es irreducible y recurrente, entonces una medida

estacionaria v existe, satisface 0 < vj < ∞ para toda j y es única salvo
factores multiplicativos, es decir, si v , v ∗ son estacionarias, entonces
c = cv ∗ para alguna c ∈ (0, ∞).

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Corolario
Si la cadena es irreducible y positiva recurrente, existe una única

distribución estacionaria π dada por
τX
(i)−1
1 1
πj = Ei 11 (Xn = j) = . (42)
Ei τi n=0
Ej τ (j)
Corolario
Cualquier cadena de Markov irreducible con un espacio de estados finito

es positiva recurrente.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad y Teoría Ergódica
Lema
Sea {Xn } cadena irreducible y se F subconjunto finito del espacio de
estados. Entonces la cadena es positiva recurrente si Ei τ (F) < ∞ para
todo i ∈ F.
Proposición
Sea {Xn } cadena irreducible y transiente o cero recurrente, entonces
pijn → 0 conforme n → ∞ para cualquier i , j ∈ E, E espacio de estados.
Utilizando el teorema (2.2) y el corolario refCor.3.5, se demuestra el

siguiente resultado importante.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Teorema
Sean{Xon } cadena irreducible y aperiódica positiva recurrente, y sea
π = πj la distribución estacionaria. Entonces pijn → πj para todo i , j.
j ∈E
Definición
Una cadena irreducible aperiodica, positiva recurrente con medida

estacionaria v, es llamada ergódica.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Estacionareidad
Proposición
Sea {Xn } cadena irreducible y recurrente con medida estacionaria v,

entocnes para todo i , j , k , l ∈ E
Pm
n=0 pijn vj
Pm n
→ ,m→∞ (43)
n=0 plk vk
Lema
vji pji
La matriz P pij =
e con elementos e
vi
es una matriz de transición.
m em está dada
Además, el i-ésimo elementos pij de la matriz potencia P
e
vji pjim
pijm =
por e vi
.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Lema
Defínase Nim = m
P
1 (Xn = i) como el número de visitas a i antes del
n=0 1
tiempo m. Entonces si la cadena es reducible y recurrente,
Ej N m
limm→∞ Ek Nim = 1 para todo j , k ∈ E.
i

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Definición
Un proceso irreducible recurrente con medida estacionaria de masa
finita es llamado ergódico.
Teorema
Un proceso de Markov de saltos irreducible no explosivo es ergódico si y

sólo si se puede encontrar una solución, de probabilidad, π, con |π| = 1 y
0 ≤ πj ≤ 1, a πΛ = 0. En este caso π es la distribución estacionaria.
Corolario
Una condición suficiente para la ergodicidad de un proceso irreducible es

la existencia de una probabilidad π que resuelva el sistema πΛ = 0 y que
además tenga la propiedad de que πj λ (j) < ∞.
P

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Proposición
Si el proceso es ergódico, entonces existe una versión estrictamente
estacionaria {Xt }−∞<t <∞ con doble tiempo infinito.
Teorema
Si {Xt } es ergódico y π es la distribución estacionaria, entonces para todo
i , j, pijt → πj cuando t → ∞.
Corolario
Si {Xt } es irreducible recurente pero no ergódica, es decir |v | = ∞,
entonces pijt → 0 para todo i , j ∈ E.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Corolario
Para cualquier proceso Markoviano de Saltos minimal, irreducible o no,
los límites lit →∞ pijt existe.

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Carlos Ernesto Martínez Rodríguez

Academia de Matemáticas
Plantel Casa Libertad
Universidad Autónoma de la Ciudad de México
http://carlosmartinez.expresauacm.org/
carlos.martinez@expresauacm.org

Estacionareidad
Teoría Ergódica
Cadenas de Markov
Vishnevskii V.M. and Semenova O.V., Mathematical Methods to Study the Polling Systems,
Automation and Remote Control, vol. 67, no. 2, 2006, pp. 173-220.

Aplicacion de Cadenas de Markov y Teoria PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aplicacion de Cadenas de Markov y Teoria PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Notación Kendall-Lee

Procesos de Nacimiento y Muerte

Aplicación de Cadenas de Markov

Carlos Ernesto Martínez Rodríguez

Universidad Autónoma de la Ciudad de México, Casa Libertad

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 1 / 66

2 Procesos de Nacimiento y Muerte

3 Ejemplo de Cadena de Markov para dos Estados

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 2 / 66

A partir de este momento se harán las siguientes consideraciones: Si tn

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 3 / 66

La notación de Kendall-Lee es una forma abreviada de describir un

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 4 / 66

Más sobre la notación Kendall-Lee

Cada una de las letras describe:

Más sobre la notación Kendall-Lee

Las distribuciones usuales para A y B son:

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 8 / 66

Procesos de Nacimiento y Muerte

 −β0 β0 0 0 0 ···

donde βn son las intensidades de nacimiento y δn las intensidades de

Procesos de Nacimiento y Muerte

La cadena de saltos {Yn } tiene matriz de transición dada por

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 10 / 66

Procesos de Nacimiento y Muerte

La recurrencia de {Xt }, o equivalentemente de {Yn } es equivalente a

Independientemente de la recurrencia o transitorieadad, existe una y

Procesos de Nacimiento y Muerte

En el caso recurrente, la medida estacionaria µ para {Yn } está dada por

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 12 / 66

Procesos de Nacimiento y Muerte

{Xt } es ergódica si y sólo si la ecuación (36) se cumple y además S < ∞,

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 13 / 66

Este modelo corresponde a un proceso de nacimiento y muerte con

Equivalentemente el proceso es recurrente si y sólo si

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 14 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 15 / 66

Entonces por el corolario 3.1

De la proposición anterior se desprenden varios hechos importantes.

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 16 / 66

Si L es el número esperado de clientes en el sistema, incluyendo los que

Si además W es el tiempo total del cliente en la cola: W = Wq + Ws

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 17 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 18 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 19 / 66

Este tipo de modelos se utilizan para estimar el número de líneas en uso

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 20 / 66

Entonces, el número promedio de servidores ocupados es equivalente a

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 21 / 66

Además se tiene que Wq = 0 y Lq = 0.

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 22 / 66

Este sistema considera m servidores idénticos, con tiempos entre arribos

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 23 / 66

converja, lo cual ocurre si u < 1, en este caso

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 24 / 66

luego, para este caso se tiene que

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 25 / 66

Al igual que se hizo antes, determinaremos los valores de Lq , Wq , W y L :

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 26 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 27 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 28 / 66

carlos.martinez@expresauacm.org Aplicación de Cadenas de Markov 29 / 66

Consideremos un sistema de espera con un servidor, en el que los