Você está na página 1de 23

1

Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.


Ll. Cerd.
Conceptes fonamentals de xarxes de computadors.
Un enfocament analtic.
J.M. Barcel, Ll. Cerd, J. Garca.
Temario:
Cadenas de Markov y teora de colas.
Ll. Cerd, 9 horas.
Traffic models.
J.M. Barcel , 6 horas.
Complex Networks.
J.M. Barcel, 3 horas.
No Markovian models.
J. Garca , 3 horas.
IP lookup and packet classification.
J. Garca , 3 horas.
Output scheduling.
J. Garca , 3 horas.
2
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Tema 1: Cadenas de Markov y teora de colas
Cadenas de Markov en tiempo discreto.
Cadenas de Markov en tiempo continuo.
Teora de colas.
M/M/1.
M/G/1.
Reversibilidad en el tiempo (Burke).
Redes de Jackson y redes cerradas.
3
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Espacio de probabilidad
Espacio muestral () = conjunto de todos los posibles sucesos ()
Evento aleatorio: conjunto de sucesos que cumplen una cierta
condicin (es un subconjunto de ).
A = { : cumple una cierta condicin}
Espacio de probabilidad: es una tripleta (, F, P) donde:
F es una familia de eventos aleatorios.
P asigna una probabilidad a cada evento aleatorio de F.
4
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Familia de eventos y definicin de probabilidad
La familia de eventos aleatorios F ha de cumplir:
Tiene el evento ,
Si los eventos A y B son de F, tamb lo son A+B, AB, A
c
,B
c
.
Si los eventos A
i
, i=1,2,son de F, tambin lo son A
i
i A
i
Las probabilidades asignadas a los eventos de F han de cumplir
(definicin axiomtica de probabilidad):
P[A] 0
P[] = 1
Si A
i
A
j
= , i j, P[A
i
] = P[A
i
]
Si A
i
es una particin de A, P[A] = P[A
i
]
5
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Ejemplo
Experimento: lanzar una moneda tres veces.
Espacio muestral: = {CCC, CCX, CXC, CXX, XCC, XCX,
XXC, XXX}
Ejemplos de posibles eventos:
A = {sale una cara} = {CXX, XCX, XXC}
B = {salen al menos dos caras} = {CCC, CCX, CXC, XCC}
Ejemplo de una familia de eventos:
F = { , , A, B, A+B, A
c
,B
c
, (A
c
+B)
c
}
A menudo F no se da explcitamente porque se deduce del
modelo.
6
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Variable aleatoria (VA)
Es una funcin definida sobre el espacio muestral de un
espacio de probabilidad (, F, P).
Asigna un nmero real X() a cada posible suceso .
Para cada nmero x, { | X() x} es un evento de F.
Normalmente se suprime la dependencia funcional con y se
escribe X en lugar de X() y {X x} en lugar de { | X() x}.
Una VA puede ser discreta o continua.
7
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Ejemplo
Experimento: lanzar una moneda tres veces.
Espacio muestral: = {CCC, CCX, CXC, CXX, XCC,
XCX, XXC, XXX}
Definimos la VA X = nombre de caras en el primer y ltimo
lanzamiento:
{X = 0} = {XCX, XXX}
{X = 1} = {CXX, CCX, XXC, XCC}
{X = 2} = {CXC, CCC}
8
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Proceso estocastico
Es un conjunto de VAs: {X(t) : t } definidas en un mismo
espacio de probabilidad.
Normalmente el ndice t representa un tiempo y X(t) el estado
del proceso estocstico en el instante t.
El proceso puede ser de tiempo discreto o continuo si s
discreto o continuo.
Si el proceso es de tiempo discreto, usamos enteros para
representar el ndice: {X
1
, X
2
, ...}
9
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Ejemplo: cola con un nico servidor
Podemos definir los procesos estocsticos:
A(t): nmero de llegadas hasta el instante t.
D(t): nmero de salidas hasta el instante t.
N(t): nmero de usuarios en el instante t.
V(t): tiempo necesario para servir los N(t) usuarios
que hay en el sistema (tiempo de espera virtual o
trabajo remanente unfinished work).
...
llegadas salidas
10
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Diferencia entre proceso i VA
Podemos imaginar un proceso como una secuencia de sucesos
(epochs) que ocurren cada cierto intervalo (inter-epoch times).
Por ejemplo, se dice que un proceso X(t) es de poisson de
parmetro , cuando la VA igual al nombre de sucesos que han
ocurrido en un tiempo t, tiene una distribucin de poisson de
parmetro t:
t
i
e
i
t
i t X



!
) (
] ) ( [ P
11
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov
En muchas ocasiones se puede representar el
comportamiento de un sistema describiendo todos los
distintos estados que el sistema puede ocupar e indicando
las transiciones del sistema de un estado a otro.
Si las transiciones de un estado a otro cumplen ciertos
requisitos de independencia (ausencia de memoria) el
sistemas puede describirse mediante una Cadena de
Markov (MC).
Podemos distinguir entre MC de tiempo continuo y de
tiempo discreto.
12
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Qu propiedades debe cumplir un proceso estocstico
para ser una MC de tiempo discreto?
Los estados deben formar un conjunto numerable (En caso
contrario se habla de un proceso de Markov).
Si X(t) es el evento {En el instante t el sistema se encuentra en
estado i} se debe cumplir:
P{X(t) = i | X(t-1) = j, X(t-2) = k, } = P{X(t) = i | X(t-1) = j}
Si P{X(t) = i | X(t-1) = j} = P{ X(1) = i | X(0) = j} para todo t
tenemos una MC de tiempo discreto homognea. Nosotros
consideraremos solamente MC homogneas.
NOTA: Algunos autores usan el termino cadena / proceso segn si el tiempo
(y no el estado) es discreto / continuo, y asumen que el estado es discreto.
13
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Posible evolucin de una MC de tiempo discreto:
X(t)
0 1 2 3 4 5 6 7 ...
t
j
i
k
14
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Tiempo de permanencia en un estado k (Sojourn or holding
time): Es la V.A. H
k
igual al nmero de saltos que la cadena
permanece en el estado k:
X(t)
0 1 2 3 4 5 6 7 ...
t
j
k
...
H
k
= 4 H
j
= 3
La propiedad de Markov implica:
H
i
(n) = P{H
i
= n} = p
ii
n-1
(1-p
ii
), n1
Distribucin geomtrica de media E{H
i
} = 1 / (1- p
ii
)
NOTA: permitimos que p
ii
=0, H
i
(n) =(n-1), y p
ii
=1, H
i
= .
15
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Representacin grfica de una MC de tiempo discreto:
p
ij
= P{X(t) = i | X(t-1) = j}
= P{X(1) = j | X(0) = i}
X(t) = i : En el instante t, el sistema est en estado i .
p
ij
se llaman probabilidades de transicin en un paso.
i
j
p
ii
= P{X(t) = i | X(t-1) = i}
= P{X(1) = i | X(0) = i}
16
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Matriz de probabilidades de transicin en un paso:
El conjunto de probabilidades p
ij
, i=1, j=1 definen
la evolucin del sistema. Se pueden representar como
una matriz, que se conoce como matriz de
probabilidades de transicin en 1 paso:
,
_

... ... ...


...
...
22 21
12 11
p p
p p
P
17
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo:
Un terminal puede estar en 3 estados:
Estado 1: Inactivo
Estado 2: Activo sin enviar datos
Estado 3: Activo enviando datos
,
_

2 . 0 3 . 0 5 . 0
1 . 0 2 . 0 7 . 0
05 . 0 15 . 0 8 . 0
P
0.8 0.15
0.2
0.7
0.1
0.3
0.2
0.05
0.5
1
2
3
18
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Probabilidades de transicin en n pasos:
La probabilidad de transicin en 1 paso:
p
ij
= P{X(1) = j | X(0) = i}
se generaliza en n pasos a:
p
ij
(n)
= P{X(n) = j | X(0) = i}
NOTA: en los pasos intermedios 1..n-1 puede que X(t) tambin est en el estado j.
Matriz de probabilidades de transicin en n pasos:
,
_

... ... ...


...
...
) (
22
) (
21
) (
12
) (
11
) (
n n
n n
n
p p
p p
P
19
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ecuaciones de Chapman-Kolmogorov:
p
ij
(n)
=
k
p
ik
(m)
p
kj
(n-m)
Demostracin:
p
ij
(n)
= P{X(n) = j | X(0) = i} =
k
P{X(n) = j, X(m) = k | X(0) = i} =

k
P{X(n) = j | X(m) = k, X(0) = i} P{X(m) = k | X(0) = i} =

k
P{X(n) = j | X(m) = k} P{X(m) = k | X(0) = i} =
k
p
ik
(m)
p
kj
(n-m)
Interpretacin:
0 n m
i
j
t
20
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ecuaciones de Chapman-Kolmogorov en forma matricial:
p
ij
(n)
=
k
p
ik
(m)
p
kj
(n-m)

P
(n)
= P
(m)
P
(n-m)
En particular:
P
(n)
= P
(1)
P
(n-1)
= P P
(n-1)
= P
(n -1)
P
Iterando obtenemos:
P
(n)
= P
n
21
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo:
,
_

095 . 0 195 . 0 710 . 0


075 . 0 175 . 0 750 . 0
065 . 0 165 . 0 770 . 0
2
P
,
_

,
_

3 2 1
3 2 1
3 2 1
06875 . 0 16875 . 0 76250 . 0
06875 . 0 16875 . 0 76250 . 0
06875 . 0 16875 . 0 76250 . 0
p p p
p p p
p p p
P
,
_

2 . 0 3 . 0 5 . 0
1 . 0 2 . 0 7 . 0
05 . 0 15 . 0 8 . 0
P
0.8 0.15
0.2
0.7
0.1
0.3
0.2
0.05
0.5
1
2
3
22
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Clasificacin de los estados:
Estados recurrentes: estados que tienen una probabilidad > 0 de
volver al estado (se visitan un nmero infinito de veces).
Estados transitorios: estados que tienen una probabilidad > 0 de
no volver nunca al estado (se visitan un nmero finito de veces).
Para tener criterios que nos permitan clasificar los estados,
empezamos estudiando las distribuciones del nmero de
pasos que tardamos de ir de un estado i a un estado j...
23
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Definicin:
f
jj
(n)
= P{volver por primera vez al estado j en n pasos
partiendo de j}
Ejemplo: vuelta por primera vez al estado j en 5 pasos:
1
2 3
4
5
Estado j
No confundir con la prob. de volver a j en n pasos habien-
do salido de j, aunque entre medio visitemos j: p
ij
(n)
24
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
f
jj
(n)
i p
jj
(n)
cumplen:
La probabilidad de volver por primera vez en cualquier
nmero de pasos a j habiendo partido de j es:


n
l
l n
jj
l
jj
n
jj
n p f p
1
) ( ) ( ) (
1

1
) (
n
n
jj jj
f f
25
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Si f
jj
= 1 decimos que j es un estado recurrente
Si f
jj
< 1 decimos que j es un estado transitorio
Cuando f
jj
= 1, definimos el tiempo medio de recurrencia
M
jj
como:

1
) (
n
n
jj jj
nf M
Clasificacin de los estados recurrentes:
Si M
jj
= es estado es recurrente nulo.
Si M
jj
< es estado de recurrente positivo.
Es decir, M
jj
es el nmero medio de pasos que hay que dar
para volver al estado j por primera vez despus de dejarlo.
26
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Propiedad: En las MC con un nmero finito de estados, los
estados son recurrentes positivos o transitorios. Al menos
un estado debe ser positivo recurrente. No puede haber
estados recurrentes nulos.
1 2 . 0
) 1 (
22 22
< f f
0.2
1.0
0.2
0.8
0.8
0.8
0.2
1
2
3
4
Ejemplo:
0
11
f
recurrentes
positivos
transitorios
27
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Anlogamente podemos definir los tiempos de primer
paso del estado i a estado j ( f
ij
). Evidentemente:

n
l
l n
jj
l
ij
n
ij
p f p
1
) ( ) ( ) (
El tiempo medio del primer paso del estado i a estado j M
ij
vale:

1
) (
n
n
ij ij
nf M
28
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Estados peridicos y aperidicos:
Se dice que un estado j es peridico de periodo k (k > 1)
si despus de dejar el estado j slo es posible volver a l
en un nmero de saltos que es un mltiplo entero de k.
Si k = 1 el estado es aperidico.
29
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo:

,
_

0 1 0
1 0 0
1 , 0 2 , 0 7 , 0
P
El estado 1 es transitorio. Los
estados 2 y 3 son recurrentes
positivos y son peridicos.
( )

,
_


2 1
1 2
3 / 12 3 / 11
ij
M M
0,1
1
0,7
0,2
1
2
3
1
1 ,
1 ,
1 , 0 7 , 0 2 , 0 7 , 0
2 , 0
1 ,
1 ,
2 , 0 7 , 0 1 , 0 7 , 0
1 , 0
) 1 (
) 2 (
) 1 ( / 7 , 0
2 1
) (
32
2 1
) (
13
) (
32
) (
23
) (
33
) (
22
) (
11
>

'

>

'






n
n
f
n
n
f
n f f
n f f
n f
n n
n
n n
n
n n
n n
n

30
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Una cadena es irreducible si cada estado puede ser
alcanzado desde cualquier otro estado, es decir, si existe un
entero m para el cual p
ij
(m)
> 0 para cada par de estados i y j.
Un subconjunto de estados C es cerrado si no es posible
alcanzar desde un estado de C ningn otro estado fuera de
ese conjunto, sino slo estados de C.
Si un conjunto cerrado tiene un slo estado, este se llama
absorbente.
Consecuencia: Si el conjunto de todos los estados de la
cadena es cerrado y no contiene ningn otro subconjunto
cerrado, la cadena es irreducible.
31
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo:
0,1
1
0,7
0,2
1
2
3
1 4
1
El estado 4 es absorbente.
Los estados 2 y 3 son un conjunto cerrado.
La cadena no es irreducible.
32
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Definiciones:
Si un estado es positivo recurrente y aperidico se dice que es
un estado ergdico.
Si todos los estados de una cadena son ergdicos, decimos que
la cadena es ergdica.
Teoremas:
Las cadenas finitas, aperidicas e irreducibles son ergdicas.
Si una cadena es irreducible se cumple una de las tres
propiedades siguientes:
Todos los estados son positivos recurrentes.
Todos los estados son recurrentes nulos.
Todos los estados son transitorios.
Adems todos los estados son o aperidicos o peridicos
con el mismo periodo.
33
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Probabilidad de estar en un estado: en general usaremos la
notacin
i
(t) = P{X(t) = i}. En forma vectorial (vector
fila) (t) = (
1
(t) ,
2
(t), ).
La evolucin de la cadena depende de las probabilidades
iniciales (0) (condiciones iniciales).
Cuando estudiemos el rgimen transitorio del sistema
estaremos interesados en (t).
Cuando estudiemos el rgimen permanente del sistema
estaremos interesados la distribucin lmite:
() = (
1
() ,
2
(), ) = = (
1
,
2
, )
(si el lmite existe).
34
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Clculo de la distribucin lmite:

P
P
P
) 0 ( ) (
) 0 ( ) 2 (
) 0 ( ) 1 (
2

,
_

i
(t) =
k
p
ki

k
(t-1)

en forma
matricial
Si existe la
distribucin
lmite
P

se llama matriz lmite y


es la distribucin lmite.
35
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo
,
_

2 . 0 3 . 0 5 . 0
1 . 0 2 . 0 7 . 0
05 . 0 15 . 0 8 . 0
P

,
_

0.074 0.174 0.752


0.070 0.170 0.760
0.068 0.168 0.764
2
P

,
_

0.0698 0.1698 0.7604


0.0690 0.1690 0.7620
0.0686 0.1686 0.7628
4
P

,
_

0.068752 0.168752 0.762497


0.068750 0.168750 0.762499
0.068750 0.168750 0.762500
8
P
...
= (0.76250, 0.16875, 0.06875)
36
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Distribucin en estado estacionario:

i
(t) = P{X(t) = i} =
k
P{X(t) = i | X(t-1) = k} P{X(t-1) = k},

i
(t) =
k
p
ki

k
(t-1)
En forma matricial: (t) = (t-1) P
Suponiendo que existe el lmite: lim
t

i
(t) =
i
Llamamos
i
la probabilidad en rgimen estacionario de
estar en el estado i, y = (
1
,
2
, ), el vector de
probabilidades en rgimen estacionario.
En forma matricial (Global balance equations):
P
e = 1, e = (1, 1, )
T
37
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Ejemplo
,
_

2 . 0 3 . 0 5 . 0
1 . 0 2 . 0 7 . 0
05 . 0 15 . 0 8 . 0
P
P
e = 1, e = (1, 1, )
T
Solucin usando octave:
Resolucin de la ecuacin (P) = 0 cambiando la ltima
ecuacin por e = 1:
octave:1> P=[0.8,0.15,0.05;0.7,0.2,0.1;0.5,0.3,0.2];
octave:2> s=size(P,1); # number of rows.
octave:3> [zeros(1,s-1),1] / ...
> [eye(s,s-1)-P(1:s,1:s-1), ones(s,1)]
ans =
0.762500 0.168750 0.068750
NOTA: he puesto octave en: abiell# /users/scratch/llorenc/bin
38
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
No confundir la distribucin lmite () y la distribucin
estacionaria , solucin de la ecuacin: P, e = 1
En general y () NO tienen por que ser iguales:
En esta caso () NO existe
(P

no converge) y
= (1/3, 1/3, 1/3).
1
1
1
39
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Teoremas para cadenas ergdicas (irreducibles y aperidicas):
= ()
El tiempo medio que estamos en un estado j durante un
tiempo t se puede calcular como t
j
(
j
es la porcin de
tiempo que la cadena est en el estado j).
Definimos v
ij
, la tasa de visitas, como el nmero medio
de visitas al estado i entre dos visitas sucesivas al estado
j. Tenemos que v
ij
=
i
/
j
.
M
ii
=1/
i
(tiempo medio entre visitas sucesivas al estado
j). Esta propiedad se cumple para cadenas irreducibles y
recurrentes positivas, aunque sean peridicas (y por lo
tanto no ergdicas).
40
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Cadenas absorbentes.
Sea la matriz P
{r, r}
de una cadena con r estados: s estados
transitorios y r-s estados absorbentes. En forma cannica:

,
_

} s - r s, - r { } s s, r {
} s - r s, { } s s, {
} r r, {
I 0
R Q
P
Ejemplo:
0,1 0,2 0,9
0,3
b
d
c
0,8
a 1
0,7
e
1

,
_

1 0 0 0 0
0 1 0 0 0
0 0 7 . 0 0 3 . 0
2 . 0 0 8 . 0 0 0
0 9 . 0 0 1 . 0 0
e a d c b
e
a
d
c
b
P

41
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Cadenas absorbentes.

,
_

} s - r s, - r { } s s, r {
} s - r s, { } s s, {
} r r, {
I 0
R Q
P
Resultados.
Definimos la V.A. n
ij
= {nmero de visitas al estado j antes de la
absorcin, partiendo del estado i}.
{E[ n
ij
]}= N = (I-Q)
-1
.
{Var[n
ij
]} = N (2 N
diag
- I) - N
sqr
. Donde N
sqr
= {E[ n
ij
]
2
}.
Definimos la V.A. t
i
= {nmero de visitas a un estado transitorio
antes de la absorcin, partiendo del estado i}:
{E[t
i
]} = = N e. {Var[t
i
]} = (2 N - I)
sqr
.
Definimos b
ij
como la probabilidad de ser absorbido por el estado
j ( j{absorbentes}) partiendo del estado i (i{transitorios}):
{b
ij
}= B = N R.
42
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Demostracin (I).
N = (I-Q)
-1
.
E[n
ij
] =
ij
+
kT
p
ik
E[n
kj
] {E[ n
ij
]}=N= I+QN N = (I-Q)
-1
.
(T es el conjunto de estados transitorios)
{Var[n
ij
]} = N (2 N
diag
- I) - N
sqr
.
Var[n
ij
] = E[n
ij
2
] - E[n
ij
]
2
{Var[n
ij
]} = {E[n
ij
2
]} - N
sqr
E[n
ij
2
] =
kA
p
ik

ij
+
kT
p
ik
E[(n
kj
+
ij
)
2
] =

kA
p
ik

ij
+
kT
p
ik
(E[n
kj
2
]+2 E[n
kj
]
ij
+
ij
) =

ij
+
kT
( p
ik
E[n
kj
2
]+2 p
ik
E[n
kj
]
ij
)
{E[n
ij
2
]}=I+Q {E[n
ij
2
]}+2 (Q N)
diag
= (I-Q)
-1
(I+2 (Q N)
diag
) =
N(I+2 (N-I)
diag
) = N(2 N
diag
- I)
(A es el conjunto de estados absorbentes)
43
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Demostracin (II).
{E[t
i
]} = = N e.
E[t
i
] =
kT
E[n
ik
] {E[t
i
]} = = N e.
{Var[t
i
]} = (2 N - I)
sqr
.
Var[t
i
] = E[t
i
2
] - E[t
i
]
2
{Var[t
i
]} = {E[t
i
2
]} -
sqr
E[t
i
2
] =
kA
p
ik
+
kT
p
ik
E[(t
k
+1)
2
] =

kA
p
ik
+
kT
p
ik
(E[t
k
2
]+2 E[t
k
] +1) =
1 +
kT
( p
ik
E[t
k
2
]+2 p
ik
E[t
k
])
{E[t
i
2
]}=e + Q {E[t
i
2
]}+2 Q = (I-Q)
-1
(e+2 Q ) =
N(e + 2 Q ) = + 2 NQ = + 2 (N- I) = (2 N- I)
{b
ij
}= B = N R.
b
ij
= p
ij
+
kT
p
ik
b
kj
, jA {b
ij
}= B = R + Q B = (I-Q)
-1
R = N R.
44
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Observacin.
Si en vez de partir del estado i partimos con una distribucin
inicial
0
, siendo
0
(T)
las componentes de los estados
transitorios y
0
(A)
las componentes de los estados absorbentes:
n
j
(
0
) = {nmero de visitas al estado j antes de la absorcin}:
E[ n
j
(
0
)]}=
0
(T)
N.
{Var[n
j
(
0
)]} =
0
(T)
N (2 N
diag
- I) - (
0
(T)
N)
sqr
.
t(
0
) = {nmero de visitas a un estado transitorio antes de la
absorcin}:
{E[t(
0
)]} =
0
(T)
. {Var

[t
i
]} =
0
(T)
(2 N - I) (
0
(T)
)
sqr
.
b
j
(
0
) = {probabilidad de ser absorbido por el estado j}:
{b
j
(
0
)}=
0
(T)
B +
0
(A)
=
0
(T)
(N R) +
0
(A)
.
45
Conceptes fonamentals de xarxes de computadors. Un enfocament analtic.
Ll. Cerd.
Cadenas de Markov de tiempo discreto
Extensin de los resultados.
Un conjunto S se llama abierto si desde cualquier estado se puede
alcanzar un estado de S
c
. Sea Q la submatriz de P correspondiente a
un conjunto cerrado. Sea R la submatriz R = {p
ij
, i S, j S
c
}.
Supongamos que el proceso parte de i S:
Definimos la V.A. n
ij
= {nmero de visitas al estado j antes de salir
de S}: {E[ n
ij
]}= N = (I-Q)
-1
y {Var[n
ij
]} = N (2 N
diag
- I) - N
sqr
.
Definimos la V.A. t
i
= {nmero de visitas a un estado S antes de
salir de S}: {E[t
i
]} = = N e. {Var[t
i
]} = (2 N - I)
sqr
.
Definimos b
ij
como la probabilidad de ir a jS
c
: {b
ij
}= B = N R.

Você também pode gostar