Você está na página 1de 13

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 1
Noes de Processos Estocsticos e
Cadeias de Markov


1 Processo Estocstico

Definio: Processo Estocstico uma coleo de variveis aleatrias indexadas por
um parmetro t R (entendido como tempo).

X={ X(t
0
), X(t
1
), X(t
2
),...,X(t
n
)}

A varivel aleatria X(t) definida em um espao denominado de espao de estados.

Classificao dos Processos Estocsticos:

a) Em relao ao estado:
Estado discreto (cadeia) se X(t) definido sobre um conjunto enumervel ou
finito.
Estado contnuo (seqncia) - X(t) caso contrrio

b) Em relao ao tempo:
Tempo discreto se t finito ou enumervel.
Tempo contnuo caso contrrio.

Exemplos 1:

1. Nmero de usurios em uma fila de banco em um determinado instante: Espao
discreto e tempo contnuo.
2. ndice pluviomtrico em cada dia do ms estado contnuo e tempo discreto.
3. Nmero de dias que choveram em cada ms do ano estado discreto e tempo
discreto.

Processos Estocsticos Estacionrios mantm seu comportamento dinmico
invariante no tempo.

Processos Estocsticos Independentes se os valores de X(t) so
independentes, isto , o valor assumido por X(t
j
) no depende do valor assumido por X(t
i
)
se ij.

Processo de Markov, chamado de memoryless, um processo estocstico em que o
prximo estado depende apenas do estado atual. A definio formal :

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 2
2 Processos de Markov

Processo de Markov: {X(t)} um processo Markoviano se
P[X(t
k+1
)x
k+1
| X(t
k
)=x
k
, X(t
k-1
)=x
k-1
, ... X(t
1
)=x
1
, X(t
0
)=x
0
] = P[X(t
k+1
)x
k+1
| X(t
k
)=x
k
]
Para todo t
0
t
1
t
k
t
k+1


Cadeia de Markov: quando as variveis aleatrias {X(t)} esto definidas em um
espao de estados discreto e
P[X(t
k+1
)=x
k+1
| X(t
k
)=x
k
, X(t
k-1
)=x
k-1
, ... X(t
1
)=x
1
, X(t
0
)=x
0
] = P[X(t
k+1
)=x
k+1
| X(t
k
)=x
k
]
Para todo t
0
t
1
t
k
t
k+1


Cadeia de Markov em Tempo Discreto: quando as transies ocorrem em
instantes 0, 1, 2, ..., k. Neste caso,
P[X
k+1
=x
k+1
| X
k
=x
k
, X
k-1
=x
k-1
, ... X
1
=x
1
, X
0
=x
0
] = P[X
k+1
=x
k+1
| X
k
=x
k
]

Propriedade Memoryless:
M1) As informaes de estados passados so irrelevantes;
M2) O tempo que o processo est no estado atual irrelevante.














Distribuio Exponencial













Processo de Poisson {N(t)}, define a contagem de um evento no intervalo (0, t].
A distribuio dos tempos entre eventos de uma cadeia de Markov
tem distribuio exponencial.
Processo
de Poisson
com
parmetro

Intervalo de
chegada
Exponencial
G(t)=1-e
-t

Propriedade
Memoryless

g(t)

t
g(t)= e
-t
G(t)
1
t
G(t)= 1-e
-t

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 3
3 Cadeias de Markov em Tempo Discreto

Para especificar uma Cadeia de Markov em tempo discreto, define-se:

1. Espao de estados S finito ou enumervel.
2. Probabilidade do estado inicial p
0
(x) = P[X
0
= x ] para xS.
3. Probabilidades de transies nos instantes 1, 2, ..., k.
P(x,x) = P[X
k+1
=x | X
k
=x] onde x o estado atual e x o prximo estado.

Sendo S o conjunto de estados finito ou enumervel, iremos substituir S por nmeros
inteiros, isto , S={0, 1, 2, ...}.

3.1 Probabilidades de Transio

Matriz P = (p
ij
) definida como
p
ij
(k) P[ X
k+1
= j | X
k
= i ] sendo que p
ij
(k) = 1 para todo i,j S, nos instantes 1, 2, ...,
k.

Exemplo 2: Anlise de chamadas telefnicas nos slots de tempo indexados por k=0, 1,
2, ...
a) Somente uma chamada pode ocorrer em um slot sendo a probabilidade de
ocorrncia de uma chamada no slot.
b) Se a linha est ocupada a chamada perdida.
c) A probabilidade de uma chamada ser completada em um slot p.
d) Se uma chamada chegar no mesmo slot em que uma chamada se completa, a nova
chamada processada.

Diagrama de estados:







P
00
= 1- O telefone se mantm desocupado
P
01
= Telefone ocupado com probabilidade
P
10
= (1-) O telefone se torna livre se termina a chamada e no chega outra
P
11
= (1-)+ O telefone continua ocupado com probabilidade (1-) ou se fica
livre chega outra chamada no mesmo slot

Matriz P de probabilidade de transio:


1-
P =

(1-) (1-)+

0
1
1-

(1-)
(1-)+
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 4

Exemplo 3: O tempo em uma rea classificado como Sol, Nublado ou Chuva
em um determinado dia. X
k
o estado do tempo no dia k, k=1, 2, ....


















Matriz P de probabilidade de transio:


0,4 0,4 0,2
P =
0,5 0,3 0,2

0,1 0,5 0,4


3.2 Probabilidade de Estados

Considerando-se os instantes k=0, 1, 2, ... , as probabilidades dos estados j = 0, 1, 2,...
so definidas como

j
(k) = P[X
k
= j]

(k) = [
0
(k),
1
(k),
2
(k)...] o vetor de probabilidades nos estados 0, 1, 2, ...
nos instantes k=0, 1, 2, ...

Uma cadeia de Markov em tempo discreto definida por:
a) P que a matriz de probabilidades de transio e
b) (k) = [
0
,
1
,
2
...] que o vetor de probabilidades dos estados 0, 1, 2, ..., no
instante k.

Os vetores de probabilidades de estado (1), (2), ..., (k) so calculados como:



Sol
Nubl
ado
0,5
Chu
va
0,4
0,4
0,4
0,1
0,5
0,2
0,3
0,2
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 5

(1) = (0 ) P
(2) = (0 ) P
2
(3) = (0 ) P
3
...
(k) = (0 ) P
k
para k = 1, 2,

Notar que os estados podem ser infinitos.

3.3 Classificao dos Estados

1. Um estado j alcanvel de um estado i se p
ij
n
> 0 para algum n= 1,2,...

2. Um subconjunto S de estados de S fechado se p
ij
=
0 para i S e j S.

3. Um estado i absorvente se S= { i } fechado.

4. Um conjunto fechado S irredutvel se j alcanvel a partir de i para todo
i,jS.

Exemplo 4:












Os estados 2 e 3 formam um conjunto fechado e irredutvel; o estado 4
absorvente e a cadeia redutvel.

5. Um estado i recorrente se
i
=1 dadas as definies a seguir:

T
ij
min { k > 0 | X
0
= i e X
k
= j }

i
k
= P[T
ii
= k]

=
=
1 k
k
i
i probabilidade de voltar ao estado i
0
1
0,5
2 3
4
0,5
0,5
0,5
0,3
0,3
1
0,4
1
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 6

i
= P[T
ii
= ]

6. Um estado transiente se
i
< 1.

7. Um estado peridico se, sendo d o mximo divisor comum do conjunto
{ n > 0: p
ii
n
> 0 } ento d 2. Se d = 1 ento o estado no peridico.

Exemplos 5:
















(a) Cadeia de Markov peridica (b) Cadeia de Markov no peridica

3.4 Anlise de Estado Estvel (Steady State)

Se existir
) k ( lim
j
k
j
=

onde
j
= P[X
k
=j], para um dado estado j, ento j
estado estvel (ou de equilbrio estacionrio).

Se
j
existe para todos os j, ento = [
0
,

1
,

... ] o vetor de probabilidade de estados
estacionrios.

Quando a cadeia de Markov for irredutvel e no peridica ento o valor de obtido
resolvendo-se o sistema de equaes lineares:


= P
onde = [
0
,
1
,
2
...] satisfaz a equao

=
=
0 j
j
1
, e
j
0.
Neste caso diz que o sistema ergdigo.




0
1
1
2
1
1
0
1
0,5
2
0,5
0,5
0,5
0,5
0,5
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 7


4 Cadeia de Markov em Tempo Contnuo

4.1 Funo de Probabilidade de Transio

p
ij
(s,t)P[X(t)=j | X(s)=i] st so instantes

Considerando-se t=s+ tem-se:

p
ij
(s,s+)P[X(s+)=j | X(s)=i]

Uma cadeia de Markov homognea aquela em que as probabilidades p
ij
(s,s+)
dependem apenas de e no do instante em que ocorreu s. Neste caso, podemos indicar:

p
ij
()P[X(s+)=j | X(s)=i] para qualquer s

A matriz P definida como P() [p
ij
()]

Define-se
t
) t t (t, p
lim ) t ( Q
ij
0 t

+
=

como a matriz de taxa de transio.

Sendo a cadeia de Markov Homognea, ento Q(t) independe de t, sendo constante, isto
,
Q(t) = 0

Define-se a equao de Chapman-Kolmogorov como:
Q ) ( P
) ( P
=




Sendo e
ij
o evento que causa a transio do estado i para o estado j e sendo que os eventos
ocorrem com distribuio de Poisson com taxa
ij
, ento define-se a matriz Q=[q
ij
] de taxa
de transio como:

q
ij
=
ij


Q =



q
ii
= -
) i (

onde

=
i j todo para
ij
) i (


Dada Q ento,
1.
ii
ij
ij
q
q
p

=
para todo i j
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 8
2.

=
i j
ij ii
q p


Exemplo 6:









a e d so eventos que ocorrem com taxas e respectivamente.
A matriz Q da cadeia de Markov em tempo continuo da dada por:

- 0
Q = 0 -
0 -

q
00
= -(0) = -
q
11
= -(1) = -
q
22
= -(2) = -

Neste caso p
01
= p
12
= p
20
= 1

-1 1 0
P = 0 -1 1
1 0 -1


4.2 Probabilidades de Estados

Seja
j
(t)= P[X
k
(t)=j]

(t)= [
0
(t),
1
(t),...]

(0)= [
0
(0),
1
(0),...]

Q ) t (
t
) t (
=





0 1
2
a
d
a
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 9


4.3 Anlise de Estado Estvel (Steady State)

Se existir o limite
) t ( lim
j
t
j
=


ento = [
0
,
1
,...] o vetor de probabilidade de estados estacionrios.

Q ) t (
t
) t (
=


se reduz a Q = 0

Teorema: Em uma cadeia de Markov irredutvel e contnua no tempo, com estados
recorrentes positivos, existe um nico vetor de probabilidades = [
0
,
1
,...] (tal que

j
> 0) de estados estacionrios e
) t ( lim
j
t
j
=

.
Alm disso,


Q = 0
e

=
=
0 j
j
1



4.4 Cadeia de Nascimento e Morte

Cadeia de Nascimento e Morte uma cadeia de Markov em tempo contnuo na qual as
transies so possveis apenas para estados vizinhos como ilustra a figura a seguir:






Neste caso q
ij
= 0 para todos j > i+1 e j < i 1 e

Q
j,j+1
=
j
> 0 para j = 0, 1, ...

Q
j,j-1
=
j
> 0 para j = 1, 2, ...

No caso da diagonal de Q tem-se:

Q
j,j
= - (
j
+
j
) para j = 1, 2, ...
e

1

0
1
2

0

j-1
j j+1

2

j-1

j+1

2

j

j+1

j+2

j-2

j-1

3

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 10
Q
00
= -
0


A matriz Q resultante :

0

0

0 0 0 ...

1
(
1+

1
)
1

0 0 ...
Q = 0

2
(
2+

2
)
2

0 ...
0 0

3
(
3+

3
)
3

...

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Na situao de estados estacionrios tem-se que


Q = 0
e

=
=
0 j
j
1


Que resulta no sistema de equaes:

0
1 1 0 0
= +

0 ) (
2 2 1 1 0 0 0
= + +
0 ) (
3 3 2 1 1 1 1
= + +

...
0 ) (
1 j 1 j j 1 j 1 j 1 j 1 i
= + +
+ +

.
.
e

=
=
0 j
j
1


A resoluo deste sistema resulta em:

= +

+
=
1 n
1 n
0 k 1 k
k
0
1
1

e

=
+

=
1 n
0 k
1 k
k
0 j
*
onde j=1, 2, ...

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 11
5 Bibliografia

[1] Cassandras, C. G., Discrete Event Systems: Modeling and Performance Analysis,
Aksen Associates Incorporated Publishers, 1993 , ISBN: 0-256-11212-6, 790p.
[2] Marsan, M. A., Balbo, G., Conte, G., Donatelli, S., Franceschinis, G., Modeling
with Generalized Stochastic Petri Nets, John Wiley & Sons, ISBN: 0-471-93059-8,
1995, 301p.
6 Exerccios

1) Um sistema de computao consiste de dois processadores idnticos trabalhando em
paralelo. O tempo consiste de intervalos indexados por k=1, 2, 3, ... . A operao
deste sistema definida pelas seguintes regras:
a) Ao menos um programa pode ser submetido ao sistema em cada intervalo de
tempo e este evento ocorre com probabilidade .
b) Quando um programa submetido ao sistema ele atendido pelo processador
disponvel.
c) Se ambos processadores so disponveis, o programa atendido pelo primeiro
processador.
d) Se ambos processadores esto ocupados, o programa perdido.
e) Quando um processador est ocupado, a probabilidade de terminar a execuo do
programa em cada intervalo .
f) Se um programa submetido ao processador em um intervalo em que os dois
processadores esto ocupados e um dos processadores completa a execuo neste
intervalo, ento o programa que chegou processado.

Considerando estas regras e que o sistema est vazio no instante inicial:
i. Determine a matriz P de probabilidades de transio de estado
ii. Calcule o vetor de probabilidade de estado.
iii. Qual a probabilidade do sistema estar vazio no terceiro intervalo?
iv. Qual a probabilidade de um programa completar no terceiro intervalo?
v. Qual a probabilidade do sistema permanecer vazio no primeiro e segundo
intervalo?

2) Considera a cadeia de Markov em tempo contnuo e espao de estado S={0,1,2,3,4} e
a seguinte matriz de taxa de transio:



0 0 0

0 (
+

1
)
1

0
Q = 0
0 -
1
0
1

2
0 0 (
+

2
)

0
2
0 0 -
2


a) Desenhe o diagrama de transio de estados.
b) Determine as probabiidades de estados estacionrios, se existirem, para
=1,
1
=3/2 e
2
=7/4.

Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 12
3) O tempo em uma rea classificado como Sol, Nublado ou Chuva em um
determinado dia, conforme o exemplo 3. X
k
o estado do tempo no dia k, k=1, 2, ....

















Matriz P de probabilidade de transio :

1
0,4 0,4 0,2
P =
0,5 0,3 0,2

0,1 0,5 0,4

a) Assummindo que hoje o tempo est nublado, preveja o tempo nos prximos dois
dias.
b) Determine as probabilidades de estados estacionrios desta cadeia (se existirem).
Se no existirem, explique porque.
c) Se hoje est ensolarado, determine o nmero mdio de dias que temos que esperar
at o prximo dia ensolarado, quando o sistema est com os estado estveis.

4) Uma empresa que possui sistema de processamentos de transaes on-line consiste da
matriz e uma filial e ambas possuem um computador para processamento de
transaes. Um tero de todas transaes que chegam ao computador da filial tambm
exigem processamento pelo computador da matriz enquanto que as demais transaes
submetidas ao computador da filial so processadas apenas por este computador. As
transaes da filial so geradas segundo o processo de Poisson com taxa . O
computador central realiza o processamento de outras transaes que chegam a este
comutador de acordo com processo de Poisson, independente do primeiro, e com taxa
. Os computadores da matriz e da filial so independentes e possuem infinitos
buffers para transaes, e processam uma transao de cada vez com tempos de
processamento de transaes com distribuio exponencial com taxas
1
e
2
respectivamente. Considerando =10 transaes por minuto, = 30 transaes por
minuto,
1
= 50 transaes por minuto,
2
=15 transaes por minuto, e sendo
X
1
(t) e X
2
(t) o nmero de transaes residindo no computador central e no
computador da filial, respectivamente, responda:

Sol
Nubl
ado
0,5
Chu
va
0,4
0,4
0,4
0,1
0,5
0,2
0,3
0,2
Modelagem e Simulao de Sistemas de Computacionais

LARC-PCS/EPUSP 2004 13

a) Desenhe o diagrama de transio de estados deste processo.
b) Existem probabilidades estacionrias para este processo? Justifique. Se existirem
responda s questes seguintes:
c) Calcule a probabilidade do computador da filial estar ocioso.
d) Calcule a probabilidade de existirem mais de trs transaes esperando para serem
processadas pelo computador central.
e) Calcule a probabilidade de ambos computadores possurem uma nica transao
em execuo em cada um.