Markov Presentacion PDF

Cadenas de Markov y
Teora de Colas
Carlos F. Belaustegui Goitia
Procesos y Cadenas de Markov
Variables binomial, geomtrica y de Poisson.
Procesos puntuales.
Procesos de Markov.
Cadenas de Markov. Clasificacin de estados, clases de cadenas, estado
estacionario. Teorema de Perron-Frobenius.
Cadenas de Markov en tiempo continuo. Ecuaciones de balance global.
Aplicaciones.
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 2

Variables Binomial y Geomtrica
Variable Binomial: La probabilidad de que el evento Separacin entre eventos: sea X= nmero de pruebas
A, cuya probabilidad es P(A) = p, ocurra k veces en n hasta el primer xito
pruebas es
P( X = 1) = p Distribucin geomtrica.
n n n! P( X = 2) = (1 p) p
X es el nmero de pruebas
pn (k ) = p k (1 p) nk , = hasta el primer xito en una
k k k!(n k )! L secuencia de pruebas de
Bernoulli.
n=22, k=7 P( X = n) = (1 p) n1 p = q n1 p
1 3 4 8 13 15 21
1 3 4 8 13 15 21
1 3 4 8 13 15 21 n0
1 2 4 5 11 19 20 X=n
22 X=n
3 5 6 7 12 17 20 combinaciones
............... 7 Propiedad sin memoria de la distribucin geomtrica
4 6 8 9 16 21 22 P ( X = n, X > n0 ) P ( X = n) q n 1 p
P ( X = n / X > n0 ) = = =
=
P ( X > n0 ) P ( X > n0 )
Aplicacin: Proceso de Bernoulli como modelo q
k = n0 +1
k 1
p
de flujo ATM
q n 1 q n 1
=
= n0
= q n n0 1 p = P ( X = n n0 )
1 1 q
q i

1 q 1 q
5 48 i = n0
48
53 bytes
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas
1 CC = 2.83 uSec @ 149.76 Mbps
3
Variables Binomial y de Poisson
Variable Binomial: La probabilidad de que el evento Variable de Poisson: Si p<<1, np=a, y k del orden de np
A, cuya probabilidad es P(A) = p, ocurra k veces en n
pn (k + 1) p nk a 1 k / n a
pruebas es = = n

pn (k ) 1 p k +1 1 a / n k +1 k +1
n n n!
pn (k ) = p k (1 p) nk , = a
k k k!(n k )! pn (k + 1) = pn ( k )
k +1
p(0) = lim pn (0) = lim (1 p) n = lim (1 a / n) n = e a
n n n
n=22, k=7 p(1) = ae a
a a2
1 3 4 8 13 15 21
p ( 2) = p(1) = e a
2 2
1 3 4 8 13 15 21 L
1 2 4 5 11 19 20 22
3 5 6 7 12 17 20 combinaciones a k a
7 p(k ) = e
............... k!
4 6 8 9 16 21 22

Puntos de Poisson
Puntos de Poisson: Se colocan al azar n puntos en el 6 1 5 3 2 94 8 7

intervalo real [0, T) t1 t2
t
t 2 t1 t T
P(1 punto en [t1 , t 2 ]) = p = =
T T
n
pn (k puntos en [t1 , t 2 ]) = p k (1 p) nk
k Densidad de puntos
= n /T
p(1) = t e t t (1 t ) t
t 0
n , T , = cte., p = t / T 0
a = np = n t / T = t (t ) k t (t ) k (t ) k
p(k ) = e (1 t )
t 0

k! k! k!
(t ) k t
pn (k puntos en [t1 , t 2 ]) n e = p(k ) P (1 punto en [t, t + t ])
,T
k! = lim
t 0 t

Distribucin Exponencial
X x0
t t+x X
t
Separacin entre puntos: sea X = distancia desde Propiedad sin memoria de la distribucin
t al primer punto a la derecha de t. exponencial
FX ( x) = P( X x) = 1 P( X > x) =
P( X x, X x0 )
x FX ( x / X x0 ) = P( X x / X x0 ) = =
= 1 P (0 puntos en [t , t + x]) = 1 e x0 P( X x0 )
f X ( x) = e x u ( x) P( x 0 X x) FX ( x) FX ( x0 )
= = = 1 e ( x x0 )

1 1 P( X x0 ) 1 FX ( x0 )
E ( X ) = x e x dx = , var( X ) = 2
0
f X ( x / X x0 ) = e ( x x0 ) u ( x x0 ) = f X ( x x0 )
Los tiempos entre arribos son independientes y Lo que ocurre despus de t0 es independiente de lo
distribudos exponencialmente con parmetro que ocurri antes de t0..

Relacin entre procesos de
Bernoulli y Poisson
Tiempo discreto Tiempo continuo
Proceso de Bernoulli Proceso de Poisson
Distribucin entre arribos: Distribucin entre arribos:

Geomtrica Exponencial

Ejemplo: Arribos Aleatorios
servidor
El proceso de arribos es Poisson.

Los tiempos entre arribos son
A B C D independientes y distribuidos
arribos exponencialmente con parmetro
.
tiempo
Ejemplo: Modelo de Trfico Telefnico
fTh(t) Th: duracin de la comunicacin
X (holding time)
t t+x
fTh (t ) = e t u (t )
f X ( x) = e x u ( x)
Fdp experimental
x 1 1
E ( X ) = x e dx = , var( X ) = 2
0

Arribos de Poisson Separacin entre arribos exponencial 1/ t

tk
1
L 2
: tasa de arribos (llamadas/seg) i
1/: duracin media de la llamada (seg) T
a = (1/ ) Trfico (Erlang) N i 1 Ni 1 Ni
ai = i E (Thi ) = tki = tki Tiempo medio de ocupacin
T N i k =1 T k =1 de una lnea
1 L
a = ai = jtj
Promedio de lneas ocupadas
simultneamente
i T j =0
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas Tiempo total en el que 9
Nmero de ocupaciones simultneas exactamente j lneas estn ocupadas
Procesos de Markov
Cadena de Markov: Proceso de Markov en tiempo
Proceso de Markov: Es un proceso estocstico cuyo discreto con un conjunto numerable de estados ai.
pasado no tiene influencia sobre el futuro si el presente Especificado en trminos de:
est especificado. pi (n) = P( X n = ai ) Prob. estado
Tiempo continuo: ij (n1, n2 ) = P( X n2 = a j / X n1 = ai ) Prob. transicin
t n 1 < t n Propiedades:
P[X (t n ) xn / X (t ) t t n 1 ] = P[X (t n ) xn / X (t n 1 )]
i2
ij ( n, m ) = 1 i1
Tiempo discreto: j
ai
t1 < t 2 < L < t n (n, m)1 = 1 Matriz estocstica ik
P[X (t n ) xn / X (t n 1 ),L, X (t1 )] = P[X (t n ) xn / X (t n 1 )]
p1
p j (n) = pi (k ) ij (k , n) 1j
p2
continuo
Sistemas
i
aj 2j
estado
dinmicos p T ( n ) = p T ( k ) ( k , n)
ij p
i
discreto
Cadenas de Procesos
Markov puntuales-
Colas
ij (k , n) = il (k , m) lj (m, n)
discreto continuo l
tiempo Ecuacin de
(k , n) = (k , m) (m, n) Chapman-Kolmogorov
Propiedades de las Cadenas de Markov
Propiedades generales de los procesos de Markov Propiedades de las cadenas de Markov
P[ X (t n ) xn / X (t n 1 ),L, X (t1 )] = P[ X (t n ) xn / X (t n 1 )] j
ij (n, m) = P( X m = a j / X n = ai ) =
j
f ( xn / xn 1 , L, x1 ) = f ( xn / xn 1 ) P( X m = a j , X n = ai ) P( X n = ai )
= = =1
j P( X n = ai ) P( X n = ai )
E ( X n / X n 1 ,L , X 1 ) = x f (x / x n 1 ,L , x1 ) dx =

p (k )
i
i ij (k , n) = P( X k = ai ) P( X n = a j / X k = ai ) =
i
= x f ( x / xn1 ) dx =E ( X n / X n1 )

= P( X k = ai , X n = a j ) =P( X n = a j ) = p j (n)
i
k < m < n:
f ( xn / xn +1 ,L , xn + k ) = f ( xn / xn +1 ) Un proceso de Markov tambin
es de Markov si el tiempo se invierte. ij ( k , n) = P ( X n = a j / X k = ai ) = P ( X n = a j , X m = al / X k = ai ) =
l
P ( X n = a j , X m = a l , X k = ai )
k < m < n: = =
Si el presente est especificado, l P ( X k = ai )
f ( xn , x m , xk )
f ( xn , xk / x m ) = = el pasado es independiente del P ( X n = a j / X m = a l , X k = ai ) P ( X m = al , X k = a i )
f ( xm ) futuro. = =
l P ( X k = ai )
f ( xn / xm ) f ( xm / xk ) f ( xk )
= = f ( xn / xm ) f ( xk / xm ) = P ( X n = a j / X m = a l , X k = a i ) P ( X m = a l / X k = ai ) =
f ( xm )
l
= P ( X n = a j / X m = a l ) P ( X m = al / X k = a i ) =
l
= il ( k , m) lj ( m, n)
09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora
l de Colas 11
Evolucin de una Cadena de Markov
Cadenas homogneas: Las probabilidades de Evolucin del sistema
transicin ij(m,n) slo dependen de la diferencia p(n) = [ p1 (n) L p N ( n)]T
k=n-m.
(2) = (1) (1) = 2
L p T ( n) = p T ( k ) ( k , n) =
(n + 1) = (n) = pT (k ) (n k ) =
Ecuacin de Chapman-Kolmogorov:
( n) = n = pT (k ) n k =
ij (k , n) = il (k , m) lj (m, n) = pT (0) n
l Estado estacionario
(k , n) = (k , m) (m, n) p ( n) = p Matriz de probabilidades de transicin a n pasos.
El elemento i,j de n es la probabilidad de llegar
pT = pT de i a j en exactamente n pasos.
Si existe el estado estacionario, el vector de probabilidad de estados

ij (n k ) = il (m k ) lj (n m) p de una cadena de Markov, es un autovector izquierdo de su
l
matriz de transicin con autovalor 1.
( n k ) = ( m k ) ( n m) Existe
Existeununestado
estado
Si p(1) p, el proceso no es estacionario. estacionario?
( p + q ) = ( p ) ( q ) = ( q ) ( p ) estacionario?
Si n tiende a un lmite para n , el proceso es asintticamente

estacionario.
Ejemplo: Cadena de 2 estados
Aplicacin: Es un modelo para voz en paquetes.
a
1-a Estado 0: inactivo (silencio). La probabilidad de que la prxima TS sea
activa es a, y la probabilidad de que permanezca en el estado
00 11 1-b inactivo es 1-a.
Estado 1: activo (habla). La probabilidad de que la prxima TS sea
b inactiva es b, y la probabilidad de que permanezca en el estado
activo es 1-b. En el estado activo, una TS contiene una celda
con probabilidad p, y se tiene un proceso de Bernoulli.
Matriz de transicin Solucin en estado estacionario
01 1 a a p = p
= 00 =
10 11 b 1 b 1 a a p0 = b
[ p0 p1 ] = [ p0 p1 ] a+b
n 1 b a (1 a b) n a a b 1 b a
( n) = = +
a + b b a a + b b b p0 + p1 = 1 p1 =
a+b

Ejemplo: Proceso de cuenta binomial
Ejemplo: Proceso de cuenta binomial.
1-p 1-p 1-p 1-p 1-p
Es una secuencia de variables aleatorias de Bernoulli independientes.
Sn es el proceso de suma o cuenta que da el nmero de xitos en las 00 11 22 n-1
n-1 nn
p p p p
primeras n pruebas.
En cada paso, Sn puede incrementarse en 1 con probabilidad p o quedar
igual con probabilidad 1-p.
Matriz de transicin
1 Con probabilidad p
Ik =
0 Con probabilidad 1-p
1 p p 0 0 L
0 1 p p 0 L
n =
Sn = I1 + L + I n P( Sn = j ) = p j (1 p) n j 0 jn 0 0 1 p p L
j
L L L L L

Propiedades Generales de la Matriz de Transicin
Matriz no negativa Radio espectral

0 ij 0 i, j ( ) = max
( )
1 ( ) 1 ( )
n
0
( ) = 1
Matriz Estocstica () ( ) = 1
1 = 1 (1,1) es un par propio de El radio espectral es menor o igual El radio espectral es unitario
que cualquier norma
1 = 1 max x = max ij = 1
x =1 i
i
Norma infinito: mxima suma de valores absolutos de

cada fila = 1

Clasificacin de Estados
Accesible: j es accesible desde i si hay alguna secuencia de

transiciones de i a j con probabilidad no nula: n>0/ ij(n)>0.
Comunicantes: los estados i y j comunican si son accesibles entre
s. Se escribe ij. La comunicacin es una relacin de equivalencia:
ij, jk ik.
Recurrente
Absorbente: Si es imposible abandonarlo: ii=1.
f i = ii (n) = 1
Recurrente: El estado i es recurrente si la probabilidad de regresar n =1
alguna vez a l es 1.
Peridico: Un estado es peridico con perodo d si slo se puede
regresar a l despus de d, 2d, ..., nd pasos.
Transitorio
Aperidico o Ergdico: Peridico con perodo d=1. Se puede
regresar a l en cualquier momento. f i = ii (n) < 1
n =1
Transitorio: La probabilidad de regresar al estado alguna vez es
menor que 1.

Clases de Estados
Cerrada: Si desde un estado interior no se puede

alcanzar ningn estado exterior a la clase. Un Clase reducible
estado absorbente es una clase cerrada con un Clase cerrada
nico estado.
Irreducible: Clase cerrada tal que ningn
subclase propia es cerrada. En otros trminos, la
nica clase cerrada es la de todos los estados. Estados absorbentes
Dos estados pertenecen a un mismo conjunto si se
comunican.
Dos clases distintas deben ser disjuntas, pues si
Clase irreducible
existe algn elemento comn, los estados de una
clase se pueden comunicar con los de la otra, y as
resultan ser de la misma clase.

Clases de Cadenas
Irreducible. Definiciones equivalentes:
La que consiste en una nica clase de equivalencia.
El nico conjunto cerrado es el de todos los estados.
En una cadena irreducible, todos los estados son recurrentes o son todos transitorios.
En una cadena irreducible finita, no pueden ser todos los estados transitorios; luego, son todos recurrentes.
Reducible. Opciones:
1. Tiene uno o ms estados absorbentes.
2. Tiene un subconjunto de estados S1 desde el cual no es posible alcanzar estados fuera de S1.
Absorbente: la que tiene al menos un estado absorbente, accesible desde cualquier otro estado.
Aperidica: Todos sus estados son peridicos con perodo 1.
Regular: Es posible ir de un estado a cualquier otro en exactamente n pasos: n>0/ (n)= n > 0.
Regular Todos los estados comunican Irreducible
Ergdica: Irreducible, aperidica, recurrente positiva.

Cadenas Absorbentes
Una cadena es absorbente si es posible renombrar sus
estados para escribir la matriz de probabilidades de
transicin como
Q R
=
0 I
=n (
Q n Q n 1 + Q n 2 + L + I R

)
0 (I Q )1 R
n
1 1 1 0 I 0 I
11 22 33 tt t+1
t+1 t+2
t+2 t+r
t+r
[
p ( n) = p Q ( n) p I ( n ) ]
Q R
[ ] [
p Q (n + 1) p I ( n + 1) = p Q ( n) p I (n) ]
0 I
t estados transitorios r estados absorbentes p Q ( n + 1) = p Q ( n)Q, p I ( n + 1) = p Q ( n)R + p I (n)
p Q ( n) 0, p I ( n) p Q (0)(I Q ) R + p I (0)
1
n n
Q R t
0 I r
t r

Cadenas Reducibles e Irreducibles
Matrices de Permutacin Matriz Reducible
P es una matriz de permutacin si exactamente 1 elemento en cada A es una matriz reducible (irreducible) si (si no) existe alguna matriz de
fila y 1 elemento en cada columna es 1 y los restantes son nulos. permutacin P tal que:
Identidad de NN
B C
A' = P T AP =
Matriz de valores absolutos
0 1 0 1 2 0 D Matriz positiva
P = 1 0 0, P 2 = 1 Test: A NN es irreducible sii: (I + A)

N 1
>0
N
0 0 1 3 3
PA permuta las filas de A Permutacin de estados en una cadena de Markov
AP permuta las columnas de A Permutar filas y columnas de equivale a renombrar los
' = PT P estados de la cadena
A' = P T AP Permuta las filas y columnas de A
det P = 1
Cadena Reducible
P T = P 1
Una cadena de Markov es reducible si es posible renombrar sus estados para
P1 , P2 MP P1 P2 MP
llevar la matriz de probabilidades de transicin a la forma
Q R
' = PT P =
0 A
En caso contrario, la cadena de Markov es irreducible.

Cadenas de Markov y Grafos
Grafo de una cadena
El grafo G() de es el grfico orientado sobre n nodos {N1, N2,..., Nn} Clase irreducible
en el cual hay un arco orientado de Ni a Nj si y slo si ij0
Cambio de nombre de los nodos

Si P es una matriz de permutacin,
G (PT P ) = G ( )
Grafo fuertemente conexo

Para
Paracada
cadapar
parde
denodos
nodos(N
(Ni,i,NNj )j )existe
existeuna
unasecuencia
secuenciade
dearcos
arcos esesirreducible
irreducible
orientados que conduce de N a
orientados que conduce de N a N .
i N j .
i j
Todos
Todoslos
losestados
estadoscomunican.
comunican.La
Lacadena
cadenaconsiste
consisteenenuna
unanica
nicaclase
clase
dedeequivalencia.
equivalencia.

Descomposicin Espectral de una Matriz
A nn es diagonalizable cuando tiene un conjunto completo
de autovectores linealmente independientes.
Autovector derecho
Avi = i v i
AT u i = i u i uTi A = i uTi Autovector izquierdo
(
det(A I ) = det AT I ) A y AT tienen iguales
autovalores
Avi = i v i uTj Avi = i uTj v i
j v i = 0 si i j
T
u
u j A = j u j u j Avi = j u j v i Autovectores derecho e
T T T T
izquierdo son biortogonales

T
u vi 0
V = [v1 L v n ], U = [u1 Lu n ] Conjunto completo de autovectores
i
T
u v i = ij l.i. A es diagonalizable
= diag (1 , K, n )
j Normalizacin
AV = V V 1AV = T 1 T
U =V U V=I
U A = U U A(U ) =
T T T T 1
n
A = VV = VU = i v i uTi
1 T
Descomposicin espectral
i =1

Teorema de Perron-Frobenius
Teorema de Perron-Frobenius
Si A0 es irreducible, entonces
(A ) (A ) El radio espectral es un autovalor de A
(A ) > 0 El radio espectral es positivo
alg mult ( A) = 1 El radio espectral es un autovalor simple A

El autovector asociado al radio espectral es positivo.
x > 0 : Ax = (A )x
A :1 geo mult (A ) alg mult (A ) = 1 geo mult (A ) = 1
El autovector asociado al radio espectral es nico.
No existen otros autovectores no negativos aparte de x: Vector de Perron
y T A = (A)y T El vector izquierdo de Perron tiene la misma propiedad.
Matriz primitiva
A0, irreducible es primitiva si tiene un nico autovalor r = (A) de mdulo
mximo (es decir, un nico autovalor sobre el crculo espectral).
A0, irreducible es imprimitiva de ndice h si tiene h autovalores de mdulo
mximo.
Test de Frobenius: A0 es primitiva sii Am>0 para algn m1.
2
n 2 n+ 2
Test de Wielandt: A0 nxn es primitiva sii A >0

Matrices primitivas e imprimitivas
Si A0 es irreducible y primitiva, entonces tiene un Si A0 es irreducible e imprimitiva de ndice h, entonces
nico autovalor r = (A) sobre el crculo espectral. tiene h autovalores sobre el crculo espectral.
S = {1 = ( A), 2 ,K , h }
r = ( A)
B = A / r (B) = 1, (B) = {1 = (B) = 1, 2 ,K , n } alg mult i = 1 i = 1, 2, K, h
i < 1 = 1 i = 2,K , n Teorema: Los h autovalores de A sobre el crculo

Bx i = i x i espectral, son las races de orden h de (A)
y Tj B = j y Tj 2ik
S = ( A) exp : k = 0,1, K , h 1
n n h
B = i x i y Ti = x1y1T + i x i y Ti
i =1 i=2 En este caso, A/r no es convergente, pero es sumable Cesro:
lim B = lim (A / r ) = x y
k k T
A/r es convergente
1 1 I + ( A / r ) + L + ( A / r ) k 1
k k
lim = x1y1T
k k

Cadenas irreducibles y aperidicas
Propiedades generales de la matriz de Matriz irreducible y primitiva
probabilidades de transicin
n 0 n 1
= 1p T + i v i u Ti
i >1
( ) = 1
n = 1p T + ni v i u Ti
Radio espectral unitario
1 = 1 (1, 1) es un par propio de
i >1
i < 1 i > 1 Por ser primitiva, 1 es el nico autovalor sobre el

crculo espectral
Matriz irreducible
lim k = 1pT Todas las filas son iguales. Todas las columnas
tienen iguales elementos
k
Por el teorema de Perron-Frobenius, 1 es el vector
de Perron asociado al autovalor 1. No existe otro lim pT (k ) = lim pT (0) k = pT (0)1pT = pT
autovector derecho no negativo. Para el mismo k k
autovalor, existe un nico autovector izquierdo p no La distribucin de probabilidades estacionaria es el vector izquierdo
negativo tal que de Perron.
pT = p Normalizacin La cadena es aperidica.
pT 1 = 1

Cadenas irreducibles y peridicas
Matriz irreducible e imprimitiva Forma cannica de Frobenius para matrices
I + + L k 1
imprimitivas
lim = 1pT Si es imprimitiva de orden h>1, entonces existe una
k k
permutacin tal que
pT (0) + pT (1) + L + pT (k 1)
lim = pT (0)1pT = pT
k k 0 12 0 L 0
0 0 23 L 0
Interpretacin
PT P = M M O O M
1 si el estado inicial es j 1 si el estado en tiempo n es j
Z0 = , Zn = 0 0 L 0 h 1,h
0 si no 0 si no h1 0 L 0 0
k 1
Z
n =0
n : nmero de visitas al estado j antes del tiempo k .
La cadena es peridica de perodo h.
k 1
Z
n =0
n / k : fraccin de veces que el estado j es visitado antes del tiempo k .
E ( Z n ) = 1 P( Z n = 1) + 0 P( Z n = 0) = P( Z n = 1) = p j (n)
k 1 k 1 k 1
( )
E Z n / k = p j ( n) / k = p T ( n ) / k = p T j
n=0 n =0 n =0 j
La fraccin de tiempo a largo plazo que la cadena pasa en j es pj :
componente j del vector de Perron pT. La interpretacin vale tambin
cuando la matriz es primitiva y existe un estado estacionario.

Cadenas reducibles (1)
Cadena Reducible
Una cadena de Markov es reducible si es posible renombrar sus estados
Cada ii es irreducible o [0]1x1
para llevar la matriz de probabilidades de transicin a la forma i-sima clase transitoria: cuando se la abandona,
X Y no se regresa a ella
' = PT P =
0 Z
11 12 L rr 1,r +1 1, r + 2 L 1m
0 22 L 2r 2,r +1 2,r + 2 L 2 m

X11 X12 L X1k M M L M M M L M
R S T 0 Forma cannica para
X Y X 22 L X 2 k 0 0 L rr r ,r +1 r ,r + 2 L rm

0 U V L M matrices reducibles
0 Z M O M 0 0 L 0 r +1, r +1 0 L 0
0 0 W
0 0 L X kk 0 0 L 0 0 r + 2,r + 2 L 0
M M L M M M O M
Si X o Z es reducible
0 0 L 0 0 0 L mm
Si R, U o W es reducible, etc.
Cada Xii es irreducible o [0]1x1. Cada r+j,r+j es irreducible.
j-sima clase ergdica. Cada clase
ergdica es una cadena irreducible en s
misma

n n 1

Cada ii es irreducible o [0]1x1
= 11
n i
12 n221i
11
i-sima clase transitoria: cuando se la abandona, no se regresa a ella i=0

0 n22
( ii ) = 1 ii 1 = 1, pero
( ii ) < 1 1 k 1 n 1 i 1 k 1 k i
ii 1 1 porque hay bloques ij , j i, no nulos
(11 ) < 1 lim
I + 11 + L + k 1
11 k
= lim 11 =0

k n =1 i =0
1112 n221i = 11
k i = 0 n =i +1
12 n221i =
k k k
I + 22 + 222 + L + 22k 1i
k 1
= 12 i
11 12 L rr 1,r +1 1,r + 2 L 1m i=0
11
k
0 22 L 2 r 2,r +1 2,r + 2 L 2 m 1 k 1 n 1 i
lim n 1 i
1112 22 =(I 11 )12 L
k k
M M L M M M L M n =1 i = 0
I + + L + k 1 0 (I 11 ) 12 L
1
0 0 L rr r ,r +1 r ,r + 2 L rm 11 12
lim = Siempre
0 0 0 22 k 0 L
k
0 L 0 r +1,r +1 0 L
0 (I 11 ) 12 L
1
0 0 L 0 0 r + 2,r + 2 L 0 lim k = Sii todas las

k
0 L submatrices de 22
M M L M M M O M
son primitivas

0 0 L 0 0 0 L mm
pTj jj = pTj , j = r + 1,K , m
1pTr+1
Cada r+j,r+j es irreducible. k 1
I + 22
+L+
j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma lim = 22
O M =L
Los autovalores unitarios de cada r+j,r+j son simples y son races de la unidad. k k
1pTm
Los autovalores unitarios de son el conjunto de los autovalores unitarios de las submatrices r+j,r+j .
Pueden estar repetidos por aparecer en ms e una submatriz r+j,r+j . k
lim 22 = L si todas las submatrices de 22 son primitivas
k

11 12 L rr 1,r +1 1,r + 2 L 1m
0 22 L 2 r 2,r +1 2,r + 2 L 2 m

I + + L + k 1 0 (I 11 ) 12 L
1
M M L M M M L M
lim = Siempre
0 0 L rr r ,r +1 r ,r + 2 L rm 11 12 k k 0 L

0 0 L 0 r +1,r +1 0 L 0 0 22 0 (I 11 )1 12L Sii todas las
k
lim = submatrices de 22
0 0 L 0 0 r + 2,r + 2 L 0 k
0 L son primitivas
M M L M M M O M

0 0 L 0 0 0 L mm
Cada r+j,r+j es irreducible.

j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma.
Toda cadena reducible eventualmente queda absorbida en una clase ergdica.
Si r+j,r+j es primitiva, la cadena llega a un estado estacionario determinado por el
vector izquierdo de Perron de r+j,r+j .
Si r+j,r+j es imprimitiva, la cadena oscila en la clase ergdica para siempre.

Valor medio y autocorrelacin en la cadena de Markov (t. discreto)
p T ( n + k ) = p T ( n) k R(n, n + k ) = E ( X n X n + k ) = xi x j P ( X n+ k = j, X n = i ) =
i j
lim p(n) = p
n
= xi x j P( X n + k = j / X n = i) P ( X n = i )
n T
lim = 1p i j
n
= xi x j ij (k ) pi (n) =
x = [x1 x2 L x N ]
T
i j
y (n) = [x1 p1 (n) x2 p2 (n) L x N p N (n)]

T
= y T ( n ) k x y T k x = R ( k )
n
lim y (n) = y
n R (n, n) = y T (n)x = pi (n) xi2 = E ( X n2 ) = m X2 (n)
m X ( n) = E ( X n ) = xi pi (n) =pT ( n)x = pT (0) n x i
i R( k ) = y T k x y T 1pT x = m X2
k
m X = lim m X (n) = pT x = y T 1
n C ( k ) = R (k ) m X2 = y T ( k 1pT )x
C (0) = y T (I 1pT )x = y T x y T 1pT x = E ( X 2 ) m X2 = X2

Cadenas de Markov en Tiempo Continuo
ij(t1, t2) Cadenas homogneas
Matriz de velocidad
ai t2 t1 = , t3 t2 = de cambio de la
( + ) = ( ) ( ) probabilidad de transicin
aj
Ecuaciones de Kolmogorov
t1 t2 & ( ) =
= lim & (0 + )
(t + ) = (t ) ( )
0 +
d (t + ) d ( ) & (t ) = (t )

Puntos de Poisson = (t )
d d
& (t + ) = (t )
& ( ) pT (t ) = pT (0) (t )
& (t ) = (t )
& (0) p& T (t ) = pT (0)
& (t ) = pT (0) (t ) = pT (t )
Cadena de Markov en tiempo continuo: Los cambios de
estado ocurren en los puntos aleatorios Tn.
Solucin
(t1 , t 2 )1 = 1 1 0 L 0
(t ) = e t 0 1 L 0
pT (t 2 ) = pT (t 2 ) (t1 , t 2 ) Propiedades bsicas
p T (t ) = pT (0) (t ) = pT (0) e t (0) = I =
(t1 , t3 ) = (t1 , t 2 ) (t 2 , t3 ) L L L L

0 0 L 1
Condicin inicial
Ecuaciones de Balance Global
Solucin en estado estacionario kk
p(t ) = p = cte. p& (t ) = 0
T
ij
p =0 Sistema de ecuaciones homogneas
p ii
pT 1 = 1 Condicin adicional jj
ji
Ecuaciones de balance global
piij = 0 pi ij = p j jj
i i j p j ji = piij ll
ji = 1 ji = 0 jj = ji i j i j
i i i j
Flujo
Flujo de
de velocidad
velocidad de
de probabilidad
probabilidad Flujo
Flujo de
de velocidad
velocidad de
de probabilidad
probabilidad
saliente de j
saliente de j entrante a
entrante a jj

Evolucin de la cadena en tiempo continuo
vi = i vi
t
(t ) = e
uTi = iuTi
p(t ) = p(0) (t ) = p(0) e t uTi v j = ij
(t )1 = 1 U = [u1 LuN ], V = [v1 LvN ]
& (t )1 = 0
UT V = I
1 = 0
k = ki viuTi
pT = 0 i
f () = f (i )viuTi
i
1 = 0 > 2 > L> N

et = eit viuTi = 1pT + eit viuTi = 1pT
t
i i>1

Valor medio y autocorrelacin en la cadena de Markov (t. continuo)
R (t1 , t 2 ) = E ( X (t1 ) X (t 2 )) = xi x j P ( X (t 2 ) = j , X (t1 ) = i ) =

(t ) = exp(t ) i j
pT (t + ) = pT (t ) ( ) = pT (t ) exp( ) = xi x j P ( X (t 2 ) = j / X (t1 ) = i ) P ( X (t1 ) = i )

lim p(t ) = p i j
= xi x j ij (t1 , t 2 ) pi (t1 ) =
t
lim (t ) = 1pT i j
t
x = [x1 x2 L x N ]
T R(t , ) = xi x j ij ( ) pi (t ) =
i j
y (t ) = [x1 p1 (t ) x2 p2 (t ) L xN p N (t )]
T
= y T (t ) ( )x y T ( )x = y T e x = R ( )
n
lim y (t ) = y
t R (t , t ) = y (t )x = pi (t ) xi2 = E ( X 2 (t )) = m X2 (t )
T
m X (t ) = E ( X (t )) = xi pi (t ) =pT (t )x = pT (0) (t )x i
i R( ) = y T ( ) x y T 1pT x = m X2
k
m X = lim m X (t ) = pT x = y T 1
t 2
X (
C ( ) = R ( ) m = y T ( ) 1pT x )
( )
C (0) = y T I 1pT x = y T x y T 1pT x = E ( X 2 ) m X2 = X2

Ejemplo : Proceso de Poisson
ij (t ) = P[ X (t ) = j / X (0) = i ] = Otra forma de obtener la matriz :

(t ) j i t ii ( ) = P[ X ( ) = i / X (0) = i ] = ii = &ii (0) =
= P[ j i puntos en [0, t ]] = e
( j i)! = P[T1 > ] = 1 P[T1 ] = i ,i +1 = &i ,i +1 (0) =
et t e t (t ) 2 e t / 2! L L = 1 FT1 ( ) = e

0 e t t e t (t )2 e t / 2! L i ,i +1 ( ) = P[ X ( ) = i + 1 / X (0) = i] =
=
0 0 e t t e t L
= P[T1 ] = FT1 ( ) = 1 e
L L L L L
Solucin de p& (t ) = p(t ) p (0) = [1 0 0 L] Condicin
0 L inicial
0 L
& (0 + ) =
= p& 0 (t ) = p0 (t ) p0 (t ) = e t
0 0 L
p&1 (t ) = p0 (t ) p1 (t ) = e t p1 (t ) p1 (t ) = t e t
L L L L
L
(t ) n t
p& n (t ) = pn1 (t ) pn (t ) pn (t ) = e
n!

Ejemplo : Seal binaria aleatoria
a
-a 0 1 -b
b
x = [0 1]
T
Puntos de Poisson
T
01 ( ) = P[X ( ) = 1 / X (0) = 0] = P[1 punto en `[0, ]] = 1 e a b a
p=
10 ( ) = P[X ( ) = 0 / X (0) = 1] = P[1 punto en `[0, ]] = 1 e b a + b a + b
e a 1 e a
( ) = a
1 e
b
e b y = 0
a a
a + b
= & (0) =
b b a
E ( X (t )) = pT x =
b + a e ( a+b)ta
1 e ( a+b)t

[ ] a+b
a+b a+b 2
e t = a ab
a + b e ( a +b )t
b
[ ]
1 e ( a + b )t R( ) = y e x =
T t
+ e ( a +b )
a + b (a + b )
a + b 2
a+b
b
p T = 0 ap0 = bp1 p0 = a + b = m X2 + X2 e ( a +b )

pT 1 = 1 p0 + p1 = 1 p1 = a
a+b
Ejemplo: Cola M/M/1 (1)
Clientes atendidos de a uno por vez en orden de llegada
Tiempo entre arribos distribuido exponencialmente con parmetro .
Tiempo de servicio de un cliente distribuido exponencialmente con 0 L
( + ) L
parmetro .
= (0) =
&
0 ( + ) L
j , j +1 ( ) = P( X ( ) = j + 1/ X (0) = j ) =
L L L L
= P(1 arribo en [0, ]) = ( ) e + o( ) =0
p
j , j + 2 ( ) = P( X ( ) = j + 2 / X (0) = j ) = p0 + p1 = 0 j=0
2
= P(2 arribo en [0, ]) = ( ) e / 2! o( ) p j 1 ( + ) p j + p j +1 = 0 j = 1,2,...
j , j 1 ( ) = P( X ( ) = j 1/ X (0) = j ) =
= P(1 partida en[0, ]) = ( ) e + o( )
p1 = p0 j=0
jj ( ) = P( X ( ) = j / X (0) = j ) =
p j 1 + p j +1 = ( + ) p j j = 1,2,...
= P(0 arribo y 0 partida en [0, ]) + P (1 arribo y 1 partida en [0, ]) + L =
= e e + e e 1 ( + ) + o( )
Flujo entrante Flujo saliente

Ejemplo: Cola M/M/1 (2)

00 11 22 jj j+1
j+1

p1 = p0 j=0 p0 p1 = 0
p j 1 + p j +1 = ( + ) p j j = 1,2,... cte. = 0 p j p j +1
p j 1 p j = p j p j +1 = cte. j 1
p j = ( / ) p j 1 = p j 1
p j = n p0
j La tasa de arribos debe ser menor

p0 p j = (1 ) = / <1 <
1 = p j = p0 =j que la velocidad de servicio; de
j =0 j =0 1 otro modo, la cola crece sin lmite.

Ejemplo: Proceso de Nacimiento y Muerte General
Transiciones limitadas a estados adyacentes. Ecuaciones de balance global
Los arribos ocurren como un proceso de Poisson de tasa
. Los tiempos entre arribos son vv.aa. exponenciales iid
1 p1 = 0 p0 j=0
con media 1/ .
El tiempo entre desapariciones est distribuido j 1 p j 1 + j +1 p j +1 = ( j + j ) p j j = 1,2,..., N - 1
exponencialmente con media 1/ . N 1 p N 1 = N p N j=N
Solucin de las ecuaciones de balance global

0 1 2 j-1 j N-1
1 p1 0 p0 = 0 j=0
00 11 22 jj j+1
j+1 N
N j 1 p j 1 + j +1 p j +1 ( j + j ) p j = cte. = 0 j = 1,2,..., N - 1
1 2 3 j j+1 N
N 1 p N 1 N p N = 0 j=N
i 1
i
pi = i 1 pi 1 = i =0
i
p0
i

i =1
i

Ejemplo: Proceso de Poisson Modulado por Markov (MMPP)
Modelo para voz en paquetes. Modelo para N fuentes

Duracin del intervalo de silencio: fdp
exponencial, 1/ = 600 mseg.
Duracin del intervalo de habla: fdp exponencial, (1) (j)
1/ = 400 mseg.
00 11 22 jj j+1
j+1 N
N
2 (j+1) N
Modelo para una fuente nica
Probabilidad que i fuentes

entre N estn activas
silencio 00 11 habla i 1
i 1 i
i
N
pi = 1 +
N
N
=
i

N i
V paquetes/seg pi = pi 1 = i=0
p0
i i
i i + +
i

i =1
E (i ) = N Nmero medio de
i = ( N i ) , i = i +
fuentes activas

p0 = = 0.6 N
var(i ) = N
p1 = p0 p1 =

p0 + p
i=0
i =1
( + )2

p0 + p1 = 1 p1 = = 0.4
+

Ejemplo : Modelo MMPP del multiplexado estadstico de voz (1)
Aplicacin: Multiplexado Estadstico de Voz N

i

N i
N Probabilidad que i fuentes
Describe el comportamiento de multiplicadores de pi = = p1i p0N i
i + + i entre N estn activas
tramas (DCME).
Prxima generacin de DCME soportada por AAL2. p0 = = 0.6, p1 = = 0.4
+ +
Duracin del intervalo de silencio: fdp exponencial,
E (i ) = Np1
1/ = 600 mseg.
var(i ) = Np0 p1
Duracin del intervalo de habla: fdp exponencial,
1/ = 400 mseg. Promedio de trfico recortado
F ( N , C , p1 ) =
Promedio de trfico total
N
n
Promedio de trfico recortado = r (k ) p k (1 p ) N k
k =0 k
Capacidad del canal: k C k >C
N fuentes MUX r (k ) =
de voz Estadstico C canales de voz 0 k C
equivalentes
1 N n
F ( N , C , p1 ) = (k C ) p k (1 p ) N k
Np1 k = 0 k

Ejemplo : Modelo MMPP del multiplexado estadstico de voz (2)
Freeze Out Fraction
30
MUX Capacidad del canal:
N fuentes
Estadstico C canales de voz
de voz 25
equivalentes
Capacidad del Canal (C)

20
15
0.1 %
0.5 %
Freeze Out Fraction 10 1.0 %
5.0 %
1 N
n
F ( N , C , p1 ) = (k C ) p k (1 p ) N k 5
10.0 %
Np1 k =0 k
0
0 10 20 30 40 50 60
Nmero de Fuentes de Voz (N)

Ejemplo : Modelo MMPP del multiplexado estadstico de datos (1)
Aplicacin: Multiplexado Estadstico de Datos

Caracterizacin de una fuente
Duracin del intervalo OFF: fdp exponencial, 1/ = tOFF. N fuentes MUX Capacidad del canal:
Duracin del intervalo ON: fdp exponencial, 1/ = tON. Estadstico C canales
Burstiness: vel. pico/vel. promedio. Velocidad del canal: rC
T
1 1 Rfaga perdida o retrasada
rm = r (t )dt = rp tONi = rp P (ON )
T 0 T i rp rc
P(ON ) = p1 = rm / rp Probabilidad de actividad
de la fuente rm
b = rp / rm = 1 / p1 Burstiness
G = N / C
G = Nrp / rc = N > 1 Ganancia de
C = rc / rp multiplexado estadstico
Se debe cumplir la condicin de estabilidad:

Entradas
Narribos L Nrm Nrp pON Nrp
S= = = = <1
rc rc rc brc

pi
i N i
N N Np1 (1 p1 )
pi = = p1i p0N i Probabilidad que i fuentes entre N
i
+ + i estn activas

p0 = , p1 = i
+ + Np1 C
Aproximacin gaussiana a la distribucin binomial
E (i) = Np1
var(i) = Np1 (1 p1 )
PL = Q ( ) Probabilidad de prdida
C Np1 + Np1 (1 p1 )
C = 1/
Nmero de canales para la
prob. de prdida PL

G = N =
4 p1
[
2 (1 p1 ) + 4 / 1 p1 ]
2
0 = Np1 + 1 p1 Np1 1 / Nr (Grc / rp )rm Grm

Throughput S= m = = = Gp1
1 p1 1 normalizado rc rc rp
Np1 = 2 (1 p1 ) + 4 /
2 2

Ganancia de Multiplexado Estadstico Throughput Normalizado
16.00 b=2 0.90 b=2

b=4 b=4
14.00 b=6 0.80
Prob. prdida = 10-6 b=8 b=8
12.00 0.70
b=10 b=12
Throughput
b=12 0.60
Ganancia
10.00 b=16
b=14 0.50
8.00 b=16 b=20
b=18 0.40
6.00 b=20
0.30
4.00 0.20
2.00 0.10
0.00 0.00
0 0.05 0.1 0.15 0.2 0.25 0.3 0 0.05 0.1 0.15 0.2 0.25 0.3
Relacin vel. pico/vel. enlace Relacin vel. pico/vel. enlace
G = N =

4 p1
[ (1 p ) + 4 /
2
1 1 p1 ]
2
S=
Nrm (Grc / rp )rm Grm
rc
=
rc
=
rp
= Gp1

Ganancia de Multiplexado Estadstico
30.00 Solucin simultnea de las

N=30 ecuaciones
Prob. prdida 10-2
25.00
b=32 25 G=

4 p1
[ (1 p ) + 4 /
2
1 1 p1 ]
2
20.00
Ganancia
20 G = N
24
15.00 15
16
10.00 10
12
5.00 6
2
0.00
0 0.2 0.4 0.6 0.8 1
Relacin vel. pico/vel. enlace

Utilidad de los modelos de Markov
El modelo de Poisson es apropiado si La distribucin exponencial no tiene

hay un gran nmero de usuarios memoria.
similares e independientes. Lo que ocurre despus del tiempo t es
Si se combinan n procesos de arribos independiente de lo que ocurri antes
de t.
iid, no necesariamente Poisson de tasa
/n, El conocimiento del pasado no sirve
para predecir el futuro.
La tasa de arribos del agregado es .
El proceso agregado se aproxima a un
Para los tiempos de servicio:
proceso de Poisson de tasa cuando P(s>r+t / s>t) = P(s>r)
n en condiciones bastante amplias. El tiempo adicional necesario para
PASTA: Poisson Arrivals See Time completar el servicio del cliente que
Averages est siendo atendido, es independiente
de cundo comenz el servicio.

Teora de Colas
Teorema de Little
Cola M/M/1
Cola M/M/1/K
Cola M/M/c. Frmula Erlang-C
Cola M/M/c/c. Frmula Erlang-B
Cola M/M/N/N/N

Introduccin
Teora de Colas: Tipos de problemas y soluciones.

Introduccin a las colas de espera.
Fundamentos: Probabilidad, estadstica, procesos
aleatorios.

Tipos de problemas y soluciones (1)
Usuario
Usuario11
Recursos
Recursoscompartidos
compartidos
Usuario
UsuarioNN
El modelo de una cola de espera generalmente se

usa para representar un sistema de recursos
compartidos.

Tipos de problemas y soluciones (2)
Flujo entrante Cola Servidor Flujo saliente
Clientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos
Bloqueo,
prdida o desborde
Concepto bsico:
Los clientes llegan para ser atendidos. Si todos los servidores estn ocupados, el cliente
espera en la cola y es atendido despus.
Parmetros: tasa de arribos, velocidad de atencin, nmero de servidores, capacidad de la
cola...
Medidas: tiempo de espera, utilizacin de los servidores, tamao de la cola, probabilidad de
rechazo...

Ejemplos
Sistema Clientes Servidor
Procesador Programas o procesos CPU, disco, dispositivos

I/O, bus...
MUX estadstico Paquetes o celdas Enlace de comunicaciones
Conmutador de circuitos Llamadas Canales
Red de acceso mltiple Paquetes o tramas Medio (FO, UTP, RF)

(LAN, LAN inalmbrica)
Servicios Web Requerimientos de cliente Web server

Objetivos y mtodos
Objetivos Mtodo
Predecir la performance del Anlisis de un modelo matemtico.
sistema.
Simulacin.
Determinar cmo
9 Dimensionar el sistema (ancho de Medicin de sistemas reales.
banda)
9 Controlar la entrada
para obtener la performance
requerida, en trminos de:
9 Grado de servicio (GoS)
9 Retardo

Factores
Bsicos
Tasa de arribos.
Tiempo de servicio.
Nmero de servidores.
Longitud mxima de la cola (tamao del buffer).
Otros
Tamao de la poblacin.
Disciplina de servicio (FCFS, LCFS, prioridades, vacaciones).
Modelo de carga de trabajo (trfico).
Comportamiento del cliente: Desistir, abandonar, ...

Modelos de trfico
Voz
Video CBR Dependencia Poisson

de corto alcance Modelos de regresin
Datos en paquetes
Modelos F-ARIMA (Fractional
Imgenes de trfico AutoRegressive Integrated
Moving Average)
Dependencia
FBM (Fractional Brownian
de largo alcance
Motion)
Video VBR ...
Dificultad del modelo

Modelo de switch o de router
Link
Port Port
Router / Switch Router / Switch
Tasa de arribos Tasa de servicio Velocidad de Transmisin

Tamao del Buffer R bits/seg

Paquetes/seg
B paquetes = R/8L
L bytes/paquete Paquetes/seg

Componentes del Retardo
Procesamiento: Cola: Transmisin: Propagacin:

Tiempo desde que el Tiempo desde que al paquete Tiempo entre la Tiempo desde que el ltimo
paquete es recibido hasta se le asigna un enlace de salida transmisin del bit es transmitido por la
que se le asigna un enlace hasta que comienza la primer bit y el fuente hasta que el ltimo bit
de salida. transmisin (tiempo de espera). ltimo bit del es recibido por el receptor.
paquete.
Dependen de la carga de trfico

y el tamao de los paquetes

Tipos de Colas
Notacin de Kendall
A/S/M/K/N/Q
Distribucin del tiempo entre arribos: Disciplina de servicio:
M: exponencial (Markov) FIFO, LIFO, prioridad,...
D: determinstica (constante)
G: General
Distribucin del tiempo de servicio: Puede ser finito o infinito.
M: exponencial (Markov)
G: General Tamao mximo de la cola,
longitud del buffer o
Nmero de servidores capacidad de almacenamiento.

Teora de Colas
Teorema de Little
Cola M/M/1
Cola M/M/1/K
Cola M/M/c. Frmula Erlang-C
Cola M/M/c/c. Frmula Erlang-B
Cola M/M/N/N/N

Teorema de Little
T A (T )
A(t): arribos N (t )dt = Tk
0 k =1
Tk
1T 1 A (T )
A(T ) 1 A(T ) A(T )
T2
D(t): partidas N (t ) T
= N (t )dt =
T0 T
Tk = T A(T ) Tk = T Tk T
k =1 k =1
T1
A(T )
= T
N(t)=A(t)-D(t): nmero de clientes en el sistema t T
N (t ) T
= T Tk T
t
T E ( N ) = E (T )
Tiempo medio de
Nmero medio de clientes Tasa de permanencia en el
en el sistema arribos sistema

Teorema de Little: Aplicacin
Flujo entrante Cola Servidor Flujo saliente
Clientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos
T =W + S
E (T ) = E (W ) + 1/
E( N ) = E( Nq ) + / = E ( N q ) = E (W )
clientes/seg Tiempo medio de servicio:
= E( Nq ) + E(S) = 1/ seg/cliente E ( N ) = E (T )
Little means a lot!
E (W ) = E ( N )(1 / ) = E (T ) / = E (T ) Nq
clientes en la cola
E (T ) = E (W ) + 1 / = E (T ) + 1 /
W S
1/ 1 Tiempo de espera Tiempo de
E (T ) = = en la cola servicio
1
N
clientes en el sistema
1/ ++ E(T)
T
E(W) Tiempo en el sistema
o retardo

Tipos de Colas
Notacin de Kendall
A/S/M/K/N/Q
Distribucin del tiempo entre arribos: Disciplina de servicio:
M: exponencial (Markov) FIFO, LIFO, prioridad,...
G: General
Distribucin del tiempo de servicio: Puede ser finito o infinito.
M: exponencial (Markov)
G: General Tamao mximo de la cola,
longitud del buffer o
Nmero de servidores capacidad de almacenamiento.

Cola M/M/1 (1)
Sistema de un nico servidor. Solucin de las ecuaciones de balance global
Clientes atendidos de a uno por vez en orden de llegada.
= / <1
Los clientes arriban como un proceso de Poisson de tasa
. Los tiempos entre arribos son vv.aa. exponenciales iid p j = (1 ) j = P[ N (t ) = j ]
con media 1/ .
Tiempo de servicio de un cliente distribuido E(N ) = N = , var( N ) = N2 =
1 (1 ) 2
exponencialmente con media 1/ .
El sistema puede acomodar un nmero ilimitado de E( N ) 1 1/ E ( S ) 1
E (T ) = T = = = = =
clientes. 1 1 1
S
E (W ) = W = T S = S = S
1 1

2
00 11 22 jj j+1 E ( N q ) = N q = W = S=
j+1 1 1
E ( N s ) = N s = S = (1/ ) =
P(servidor ocupado) = 1 p0
= 1 p0
P(servidor ocupado) = N s
p1 = p0 j=0 Ecuaciones de
p j 1 + p j +1 = ( + ) p j j = 1,2,... balance global

Cola M/M/1 (2)
20 20
15 15
10 10
E(N) E(T)
5 5
0 0
0 0,2 0,4 0,6 0,8 1 0 0,2 0,4 0,6 0,8 1
E (S ) 1/
E (N ) = E (T ) = =
1 1 1

Aplicacin: Multiplexado de trfico
Capacidad de transmisin del canal: C bit/seg. 1 L
= Retardo de transmisin del canal
M flujos de trfico de Poisson de tasa /M comparten el canal. C
Longitud de paquetes distribuida exponencialmente con media L.
FDM, TDM Estadstico

Se crean M canales separados, cada uno de capacidad C/M. Los paquetes de cada flujo se combinan en una sola cola y se
En FDM, el retardo de transmisin es ML/C. transmiten con un ordenamiento FCFS.
En TDM, el retardo de transmisin es ML/C si el paquete es mucho
ms largo que 1 TS. Si L = 1 TS, el retardo de transmisin es L/C,
pero debe esperar (M-1) tiempos de TS entre transmisiones.
/M C/M /M
/M
/M C/M C
/M C/M /M
C/M Un C
i = = Unpaquete
paquetetarda
tardaMMveces
vecesms
msenenlalacola
colayyenenser
serservido
servidoenenTDM
TDMooFDM,
FDM,que queenen =
L M multiplexado estadstico. L
multiplexado estadstico.
Sin
1 M Sinembargo,
embargo,lavarianza
lavarianzadeldelretardo
retardoesesmenor
menorenenTDM
TDMooFDM.FDM. 1
T = = TDM T =
TDM y FDM malgastan capacidad del canal cuando un flujononotiene
y FDM malgastan capacidad del canal cuando un flujo
/M /M tienetrfico,
trfico,pero
pero
eliminan la necesidad de identificar a qu flujo pertenece cada paquete.
eliminan la necesidad de identificar a qu flujo pertenece cada paquete.
Cola M/M/1/K (1)
Cola M/M/1 con capacidad finita. El sistema puede
contener hasta K clientes. Los que llegan cuando el
sistema est lleno, son devueltos. =1
<1 >1
pj pj pj
0 K 0 K 0 K
00 11 22 K-1
K-1 K
K ( K + 1) K +1
E(N ) =
1 1 K +1
1
PB = P( N = K ) = pK = K +1
K Probabilidad de bloqueo
1
p0 = p1 j =0 B = PB Tasa de rechazos
p j 1 + p j +1 = ( + ) p j j = 1,2,L.K 1 A = B = (1 PB ) Tasa efectiva de arribos
pK 1 = pK j=K E ( N ) = E ( S ) = Carga ofrecida
p j = p j 1 = p0
j 1 1 K
E ( N A ) = A E ( S ) = (1 pK ) = Carga satisfecha
1 1 K +1
K
1 K +1 p j = j j = 0,L, K
1 = p j = p0 1 K +1
j =0 1 E (T ) =
E(N )
=
E(N ) 1 1
=
( K + 1) K 1 K +1

A (1 PB ) 1 1 K +1 1 K

Cola M/M/1/K (2)
1 10
K=10 K=10
0,8 8
K=2
0,6
A/
6
E(T)
0,4 4
0,2 2
K=2
0 0
0 0,5 1 1,5 2 0 0,5 1 1,5 2

K K
1 1
A = K +1
= 1 1 ( K + 1) K 1 K +1
1 1 K +1 E (T ) =
1 1 K +1 1 K
E ( N A ) = A /

Ejemplo: Dimensionamiento de un buffer
Probabilidad de "overflow" Capacidad del buffer requerida
1,00E+00 200
1,00E-01 180
1,00E-02 160
1,00E-03 140
1,00E-04 120
Capacidad
P(overflow)
= 0.9 0.5
1,00E-05 100
0.7
1,00E-06 0.8 80
0.8
0.9
1,00E-07 60
1,00E-08
0.7
40
1,00E-09 0.5 20
1,00E-10 0
0 20 40 60 80 100 120 140 160 180 200 0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
Tamao del buffer Carga ofrecida
1
PB = P( N = K ) = pK = K +1
K
1
B = PB
A = B = (1 PB )
Cola M/M/c (1)
El nmero de servidores es c. La tasa de partidas es k cuando p0 = p1 j=0
k servidores estn ocupados, pues: p j 1 + ( j + 1) p j +1 = ( + j ) p j j = 1,L, c
p j 1 + cp j +1 = ( + c ) p j j c +1
k servidores ocupados tiempo hasta la prxima partida T = min(T1,LTk )
P(T > t ) = P[min(T1,L, Tk ) > t ] =
= P(T1 > t )L P(Tk > t ) = aj
pj = p0 j = 0,L , c
=e t
Le t
=e k t j!
c
j c a
k k <c pj = p0 j c +1
k servidores ocupados tasa de partidas = c!
c k c 1
c 1 a j a c 1
p0 = +

j =0 j! c ! 1
a=/ Nmero medio de servidores ocupados
00 11 22 c-1
c-1 cc c+1
c+1 = / c = a / c < 1 Ocupacin de 1 servidor
2 3 (c-1) c c c

Cola M/M/c (2)

pc
P(W > 0) = P( N c) = j c pc = = C (c, a )
j =c 1 Probabilidad de encontrar todos los c servidores ocupados y tener que
esperar en la cola: frmula Erlang C.
1
1 a c c 1 a j a c 1
C (c, a ) = +
1 c! j =0 j! c! 1

E ( N q ) = ( j c) p j = ( j c) j c pc = C ( c, a ) Nmero medio de clientes en la cola.
j =c j =c 1
E( Nq ) C ( c, a ) C ( c , a )
E (W ) = = = Tiempo medio de espera en la cola.
c (c a)
C (c, a ) 1
E (T ) = E (W ) + E ( S ) = + Tiempo medio total en el sistema (retardo).
(c a )
Nmero medio de clientes en el sistema.
E ( N ) = E (T ) = E (W ) + = E ( N q ) + a


Frmula Erlang-C
1
1 a c c 1 a j a c 1 Probabilidad de encontrar todos los c servidores ocupados y tener que
C ( c, a ) = +
1 c! j =0 j! c! 1 esperar en la cola: frmula Erlang C.

Frmula Erlang-C: Tiempo de espera
E(Nq ) C ( c , a ) C ( c, a )
E (W ) = = =
c (c a)

Ejemplo: Call Center
Ejemplo
Un call center recibe 600 llamadas por hora, con una duracin media
de 3. El operador trabaja durante 20 despus de cada llamada. Se
quiere que el tiempo medio de espera sea 20. Obtener el nmero
de operadores necesario.
a = (600/3600) (360+20) = 33.33 Erlang

E(W) = 20/(360) = 0.111 (Tiempo de espera normalizado)
E(W) =C(c,a)/(c-a)
0.111 = C(c,33.33)/(c-33.33)
c = 36 operadores.

Ejemplo: Retardo en acceso DVB-RCS
Internet access (browsing) Trfico elstico NRT - transferencia de archivos.
Assumptions:
Users: 1000 Proceso de arribo de archivos: Poisson con tasa .(archivos/seg)
Internet usage/month/user 20 h Tamao medio de archivo: L (bits)
Day-to month ratio 1/20
BH-to-day ratio 1/10 Max. Bitrate de una terminal: rb (bit/seg)
Pages/session 36
Ancho de banda (capacidad total) disponible: C (bit/seg).
Page size 50 Kbyte Objetivo: Garantizar un tiempo medio de transferencia E(T), o bien un determinado throughput promedio L/E(T) para
Page delivery time 2 sec
Page view time 60 sec
todas las transacciones.
Mean upstream packet length 80 Byte
Mean downstream packet length 560 Byte
C (c , a ) 1 1 C (c , a )
Simultaneous session in BH 100 i.e. 10 % users E (T ) = E (W ) + E ( S ) = + = 1 +
Protocol: TCP/IP with 560 bytes/OB packet and 80 bytes/IB packet. (c a ) ca Downstream Upstream
L Byte 560.0 80.0
Qty. Unit = rb / L, c = C / rb , a = L / rb
bits 4,480.0 640.0
Peak dnstream thput in BH/user 200.0 Kbit/s
Downstream : rb Kbit/s 256.0 32.0
Peak upstream thput in BH/user 28.6 Kbit/s
Session duration 37.2 sec Pag/session *(2+60)/60 1 C (c,2.6) C (c,2.6) paq/s 57.1 50.0
Mean thput/user 6.5 Kbit/s PageSize*8/(2+60) E (T ) = 1 + < 0.3 < 16.1 c = 4 paq/s 147.5 147.5
Mean upstream thput in BH 92.2 Kbit/s Mean dnstream thput*80/560 57.1 c 2.6 c 2.6 a Erlang 2.6 2.9
Mean dnstream thput in BH 645.2 Kbit/s MeanThput/user*10 users
Upstream packets in BH 147.5
Upstream :
Dnstream packets in BH 147.5 (50*1024/560)*10/(4+60) 1 C (c,2.9) C (c,2.9)
E (T ) = 1 + < 0.3 < 15.0 c = 4
50.0 c 2.9 c 2.9
DVB-S BASIC ACCESS PROFILE BA1 BA2 BA3 BA4 BA5 BA6 BA7 BA8 Para mantener acotado el retardo, se necesitan
Forward max (Kbps) 256 256 256 512 1024 2048 4096 4096 4256 = 1024 Kbit/s downstream
Forward min (Kbps) 8 16 32 64 128 256 512 1024 432 = 128 Kbit/s upstream.
Return max (Kbps) 16 32 64 128 256 512 1028 1028 Comparar con los valores de throughput medio:
Return min (Kbps) 2 4 8 16 32 64 128 256 645.2 Kbit/s downstream
Unav/month (%) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 92.2 Kbit/s upstream
Activity MBH (%) 20 20 20 25 25 25 30 30 .

Cola M/M/c/c
La capacidad de la cola es igual al nmero total de servidores.
Los clientes que arriban cuando todos los servidores estn
ocupados, son devueltos. 00 11 22 c-1 cc
c-1
a =/ Carga ofrecida
2 3 (c-1) c
j
a
pj = p0 j = 0,L, c
j!
1
c c aj
1 = p j p0 =
j =0 j =0 j!
ac a c / c! Probabilidad de que los c servidores estn ocupados =
P ( N = c ) = pc = p0 = = B(c, a) = PB probabilidad de bloqueo: Frmula Erlang B
c! 1 + a + a 2 / 2!+ L + a c / c!
A = pc = [1 B(c, a)] Tasa efectiva de arribos
A
= a[1 B (c, a )]

A a[1 B(c, a)]
= = [1 B (c, a)] = [1 B (c, a)] Carga soportada por cada servidor = utilizacin
c c c

E ( N ) = A E ( S ) = [1 B (c, a)]

Frmula Erlang-B
Frmula Erlang-B Frmula Erlang-B
20 50
18 0.1% 45
0.5%
16 40
1.0%
14 5.0% 35
Nmero de circuitos
Nmero de circuitos
10.0%
12 30 0.1%
20.0%
0.5%
10 25
1.0%
8 20 5.0%
10.0%
6 15
20.0%
4 10
2 5
0 0
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0 0,0 5,0 10,0 15,0 20,0 25,0 30,0 35,0 40,0 45,0 50,0
Trfico total ofrecido (Erlang) Trfico total ofrecido (Erlang)
a c / c! a c / c!
P ( N = c) = B (c, a) = PB = =
1 + a + a 2 / 2!+ L + a c / c! c k
a / k! k =0
aB(c, a)
B (c + 1, a) =
c + 1 + aB(c, a )
Cola M/M/N/N/N
El nmero de servidores es N. La tasa de partidas es k
cuando k servidores estn ocupados.
(1) (j)
La cantidad de fuentes (o tamao de la poblacin) es
N. La tasa de arribos es (N-i) cuando hay i fuentes 00 11 22 jj j+1
j+1 N
N
activas.
2 (j+1) N
Es un modelo idntico al MMPP.
Probabilidad que i fuentes

entre N estn activas
i 1
i 1 i
i
N
N
N
i

N i
pi = pi 1 = i=0
p0 pi = 1 + =
i i
i i + +
i

i =1
E (i ) = N Nmero medio de
i = ( N i ) , i = i +
fuentes activas
N
var(i ) = N
p
i=0
i =1
( + )2

Markov Presentacion PDF

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Markov Presentacion PDF

Enviado por

Direitos autorais:

Formatos disponíveis

Cadenas de Markov y

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 2

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 4

Puntos de Poisson: Se colocan al azar n puntos en el 6 1 5 3 2 94 8 7

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 5

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 6

Tiempo discreto Tiempo continuo

Proceso de Bernoulli Proceso de Poisson

Distribucin entre arribos: Distribucin entre arribos:

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 7

El proceso de arribos es Poisson.

Arribos de Poisson Separacin entre arribos exponencial 1/ t

Tiempo continuo: ij (n1, n2 ) = P( X n2 = a j / X n1 = ai ) Prob. transicin

Si existe el estado estacionario, el vector de probabilidad de estados

Si n tiende a un lmite para n , el proceso es asintticamente

Matriz de transicin Solucin en estado estacionario

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 13

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 14

Matriz no negativa Radio espectral

Norma infinito: mxima suma de valores absolutos de

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 15

Accesible: j es accesible desde i si hay alguna secuencia de

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 16

Cerrada: Si desde un estado interior no se puede

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 17

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 18

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 19

P = 1 0 0, P 2 = 1 Test: A NN es irreducible sii: (I + A)

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 20

Cambio de nombre de los nodos

Grafo fuertemente conexo

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 21

izquierdo son biortogonales

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 22

(A ) > 0 El radio espectral es positivo

alg mult ( A) = 1 El radio espectral es un autovalor simple A

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 23

i < 1 = 1 i = 2,K , n Teorema: Los h autovalores de A sobre el crculo

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 24

i < 1 i > 1 Por ser primitiva, 1 es el nico autovalor sobre el

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 25

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 26

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 27

0 0 L 0 0 r + 2,r + 2 L 0 lim k = Sii todas las

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 28

Cada r+j,r+j es irreducible.

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 29

y (n) = [x1 p1 (n) x2 p2 (n) L x N p N (n)]

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 30

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 32

1 = 0 > 2 > L> N

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 33

R (t1 , t 2 ) = E ( X (t1 ) X (t 2 )) = xi x j P ( X (t 2 ) = j , X (t1 ) = i ) =

pT (t + ) = pT (t ) ( ) = pT (t ) exp( ) = xi x j P ( X (t 2 ) = j / X (t1 ) = i ) P ( X (t1 ) = i )

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 34

ij (t ) = P[ X (t ) = j / X (0) = i ] = Otra forma de obtener la matriz :

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 35

Flujo entrante Flujo saliente

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 37

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 38

Solucin de las ecuaciones de balance global

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 39

Modelo para voz en paquetes. Modelo para N fuentes