Modelagem e Simulao de Sistemas de Computacionais

Noes de Processos Estocsticos e Cadeias de Markov

1 Processo Estocstico
Definio: Processo Estocstico uma coleo de variveis aleatrias indexadas por um parmetro t R (entendido como tempo). X={ X(t0), X(t1), X(t2),...,X(tn)} A varivel aleatria X(t) definida em um espao denominado de espao de estados. Classificao dos Processos Estocsticos: a) Em relao ao estado: Estado discreto (cadeia) se X(t) definido sobre um conjunto enumervel ou finito. Estado contnuo (seqncia) - X(t) caso contrrio b) Em relao ao tempo: Tempo discreto se t finito ou enumervel. Tempo contnuo caso contrrio. Exemplos 1: 1. Nmero de usurios em uma fila de banco em um determinado instante: Espao discreto e tempo contnuo. 2. ndice pluviomtrico em cada dia do ms estado contnuo e tempo discreto. 3. Nmero de dias que choveram em cada ms do ano estado discreto e tempo discreto. Processos Estocsticos Estacionrios mantm seu comportamento dinmico invariante no tempo. Processos Estocsticos Independentes se os valores de X(t) so independentes, isto , o valor assumido por X(tj) no depende do valor assumido por X(ti) se ij. Processo de Markov, chamado de memoryless, um processo estocstico em que o prximo estado depende apenas do estado atual. A definio formal :

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

2 Processos de Markov
Processo de Markov: {X(t)} um processo Markoviano se P[X(tk+1)xk+1 | X(tk)=xk, X(tk-1)=xk-1, ... X(t1)=x1, X(t0)=x0] = P[X(tk+1)xk+1 | X(tk)=xk] Para todo t0 t1 tk tk+1 Cadeia de Markov: quando as variveis aleatrias {X(t)} esto definidas em um espao de estados discreto e P[X(tk+1)=xk+1 | X(tk)=xk, X(tk-1)=xk-1, ... X(t1)=x1, X(t0)=x0] = P[X(tk+1)=xk+1 | X(tk)=xk] Para todo t0 t1 tk tk+1 Cadeia de Markov em Tempo Discreto: quando as transies ocorrem em instantes 0, 1, 2, ..., k. Neste caso, P[Xk+1=xk+1 | Xk=xk, Xk-1=xk-1, ... X1=x1, X0=x0] = P[Xk+1=xk+1 | Xk=xk] Propriedade Memoryless: M1) As informaes de estados passados so irrelevantes; M2) O tempo que o processo est no estado atual irrelevante. A distribuio dos tempos entre eventos de uma cadeia de Markov tem distribuio exponencial.

Processo de Poisson com parmetro Distribuio Exponencial g(t) g(t)= e-t

Intervalo de chegada Exponencial G(t)=1-e-t

Propriedade Memoryless

G(t) 1 G(t)= 1-e-t

t Processo de Poisson {N(t)}, define a contagem de um evento no intervalo (0, t].

LARC-PCS/EPUSP 2004 2

Modelagem e Simulao de Sistemas de Computacionais

3 Cadeias de Markov em Tempo Discreto

Para especificar uma Cadeia de Markov em tempo discreto, define-se: 1. Espao de estados S finito ou enumervel. 2. Probabilidade do estado inicial p0(x) = P[X0 = x ] para xS. 3. Probabilidades de transies nos instantes 1, 2, ..., k. P(x,x) = P[Xk+1=x | Xk=x] onde x o estado atual e x o prximo estado. Sendo S o conjunto de estados finito ou enumervel, iremos substituir S por nmeros inteiros, isto , S={0, 1, 2, ...}. 3.1 Probabilidades de Transio pij(k) P[ Xk+1 = j | Xk = i ] sendo que pij(k) = 1 para todo i,j S, nos instantes 1, 2, ..., k. Exemplo 2: Anlise de chamadas telefnicas nos slots de tempo indexados por k=0, 1, 2, ... a) Somente uma chamada pode ocorrer em um slot sendo a probabilidade de ocorrncia de uma chamada no slot. b) Se a linha est ocupada a chamada perdida. c) A probabilidade de uma chamada ser completada em um slot p. d) Se uma chamada chegar no mesmo slot em que uma chamada se completa, a nova chamada processada. Diagrama de estados: 1- 0 (1-) P00 = 1- P01 = P10 = (1-) P11 = (1-)+ O telefone se mantm desocupado Telefone ocupado com probabilidade O telefone se torna livre se termina a chamada e no chega outra O telefone continua ocupado com probabilidade (1-) ou se fica livre chega outra chamada no mesmo slot 1 (1-)+ Matriz P = (pij) definida como

Matriz P de probabilidade de transio: 1- P= (1-) (1-)+

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

Exemplo 3: O tempo em uma rea classificado como Sol, Nublado ou Chuva em um determinado dia. Xk o estado do tempo no dia k, k=1, 2, .... 0,4 0,4 Sol Nubl ado 0,3

0,5 0,1 0,5 Chu va

0,2

0,2

0,4 Matriz P de probabilidade de transio: P= 0,4 0,5 0,1 0,4 0,3 0,5 0,2 0,2 0,4

3.2 Probabilidade de Estados Considerando-se os instantes k=0, 1, 2, ... , as probabilidades dos estados j = 0, 1, 2,... so definidas como

j(k) = P[Xk = j]
nos instantes k=0, 1, 2, ...

(k) = [0(k),1(k),2(k)...]

o vetor de probabilidades nos estados 0, 1, 2, ...

Uma cadeia de Markov em tempo discreto definida por: a) P que a matriz de probabilidades de transio e instante k.

b) (k) = [0,1,2...] que o vetor de probabilidades dos estados 0, 1, 2, ..., no (2), ..., (k) so calculados como:

Os vetores de probabilidades de estado (1),

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

(1) = (0 ) P (2) = (0 ) P2 (3) = (0 ) P3 ... (k) = (0 ) Pk para k = 1, 2,

Notar que os estados podem ser infinitos. 3.3 Classificao dos Estados 1. Um estado j alcanvel de um estado i se pijn > 0 para algum n= 1,2,... 2. Um subconjunto S de estados de S fechado se pij = 0 para i S e j S. 3. Um estado i absorvente se S= { i } fechado. 4. Um conjunto fechado S irredutvel se j alcanvel a partir de i para todo i,jS. Exemplo 4: 0,5 0,5 0 0,3 4 1 0,4 1 0,3 2 0,5 1 3 0,5

Os estados 2 e 3 formam um conjunto fechado e irredutvel; o estado 4 absorvente e a cadeia redutvel. 5. Um estado i recorrente se i =1 dadas as definies a seguir: Tij min { k > 0 | X0 = i e Xk = j }

ik = P[Tii = k]
i = k i
k =1

probabilidade de voltar ao estado i

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

i = P[Tii = ]
6. Um estado transiente se i < 1. 7. Um estado peridico se, sendo d o mximo divisor comum do conjunto { n > 0: piin > 0 } ento d 2. Se d = 1 ento o estado no peridico. Exemplos 5: 0,5 1 0 1 0,5 2 0,5 0 0,5 1 0,5

1 2

0,5 (a) Cadeia de Markov peridica (b) Cadeia de Markov no peridica

3.4 Anlise de Estado Estvel (Steady State) Se existir

j = lim j (k ) onde j = P[Xk=j], para um dado estado j, ento j k

estado estvel (ou de equilbrio estacionrio). Se j existe para todos os j, ento = [0, 1, ... ] o vetor de probabilidade de estados estacionrios. Quando a cadeia de Markov for irredutvel e no peridica ento o valor de resolvendo-se o sistema de equaes lineares:

obtido

= P
onde

= [0,1,2...] satisfaz a equao

j=0

= 1, e j 0.

Neste caso diz que o sistema ergdigo.

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

4 Cadeia de Markov em Tempo Contnuo

4.1 Funo de Probabilidade de Transio pij(s,t)P[X(t)=j | X(s)=i] Considerando-se t=s+ tem-se: pij(s,s+)P[X(s+)=j | X(s)=i] Uma cadeia de Markov homognea aquela em que as probabilidades pij(s,s+) dependem apenas de e no do instante em que ocorreu s. Neste caso, podemos indicar: pij()P[X(s+)=j | X(s)=i] para qualquer s st so instantes

A matriz P definida como P() [pij()]

Define-se

Q( t ) = lim

pij (t, t + t ) t

t 0

como a matriz de taxa de transio.

Sendo a cadeia de Markov Homognea, ento Q(t) independe de t, sendo constante, isto ,

Q(t) = 0
Define-se a equao de Chapman-Kolmogorov como:

P( ) = P( )Q

Sendo eij o evento que causa a transio do estado i para o estado j e sendo que os eventos ocorrem com distribuio de Poisson com taxa ij, ento define-se a matriz Q=[qij] de taxa de transio como: qij = ij Q= qii = - (i)

onde

(i) =

ij para todo j i

Dada Q ento, 1.

pij =

qij qii

para todo i j

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

2.

pii = qij
ji

Exemplo 6: a 0 1

a 2

d a e d so eventos que ocorrem com taxas e respectivamente. A matriz Q da cadeia de Markov em tempo continuo da dada por: Q= - 0 - 0 0 -

q00 = -(0) = - q11 = -(1) = - q22 = -(2) = -

Neste caso p01= p12= p20= 1 P= -1 0 1 1 -1 0 0 1 -1

4.2 Probabilidades de Estados Seja j (t)=

P[Xk(t)=j]

(t)= [0(t), 1(t),...] (0)= [0(0), 1(0),...]

( t ) = ( t )Q t

LARC-PCS/EPUSP 2004

Modelagem e Simulao de Sistemas de Computacionais

4.3 Anlise de Estado Estvel (Steady State) Se existir o limite

j = lim j ( t )
t

ento

= [0, 1,...]

o vetor de probabilidade de estados estacionrios.

( t ) = ( t )Q t

se reduz a

Q=0 = [0, 1,...] (tal que

Teorema: Em uma cadeia de Markov irredutvel e contnua no tempo, com estados recorrentes positivos, existe um nico vetor de probabilidades j > 0) de estados estacionrios e Alm disso,

j = lim j ( t ) .
t

Q=0
e

j=0

=1

4.4 Cadeia de Nascimento e Morte Cadeia de Nascimento e Morte uma cadeia de Markov em tempo contnuo na qual as transies so possveis apenas para estados vizinhos como ilustra a figura a seguir:

0 0 1
1

1 2 2

2 3

j-2 j-1 j-1

j-1 j j

j j+1 j+1

j+1

j+2

Neste caso qij = 0 para todos j > i+1 e j < i 1 e Qj,j+1 = j > 0 Qj,j-1 = j > 0 para j = 0, 1, ... para j = 1, 2, ...

No caso da diagonal de Q tem-se: Qj,j = - (j + j ) e

LARC-PCS/EPUSP 2004

para j = 1, 2, ...

Modelagem e Simulao de Sistemas de Computacionais

Q00 = - 0 A matriz Q resultante :

0 1
Q= 0 0 . . .

0 (1+1) 2
0 . . .

1 (2+2) 3
. . .

0 0

0 0 0

... ... ... ... . . .

2 (3+3)
. . .

3
. . .

Na situao de estados estacionrios tem-se que

Q=0
e

j=0

=1

Que resulta no sistema de equaes:

0 0 + 11 = 0
0 0 ( 0 + 1 )1 + 2 2 = 0

11 ( 1 + 1 ) 2 + 3 3 = 0
...

i1 j1 ( j1 + j1 ) j + j+1 j+1 = 0
e . .

j=0

=1

A resoluo deste sistema resulta em:

0 = 1 1 +
n=1 k =0 n1

k k +1

j = 0 *
k =0

n 1

k k +1

onde j=1, 2, ...

LARC-PCS/EPUSP 2004

10

Modelagem e Simulao de Sistemas de Computacionais

5 Bibliografia
[1] Cassandras, C. G., Discrete Event Systems: Modeling and Performance Analysis, Aksen Associates Incorporated Publishers, 1993 , ISBN: 0-256-11212-6, 790p. [2] Marsan, M. A., Balbo, G., Conte, G., Donatelli, S., Franceschinis, G., Modeling with Generalized Stochastic Petri Nets, John Wiley & Sons, ISBN: 0-471-93059-8, 1995, 301p.

6 Exerccios
1) Um sistema de computao consiste de dois processadores idnticos trabalhando em paralelo. O tempo consiste de intervalos indexados por k=1, 2, 3, ... . A operao deste sistema definida pelas seguintes regras: a) Ao menos um programa pode ser submetido ao sistema em cada intervalo de tempo e este evento ocorre com probabilidade . b) Quando um programa submetido ao sistema ele atendido pelo processador disponvel. c) Se ambos processadores so disponveis, o programa atendido pelo primeiro processador. d) Se ambos processadores esto ocupados, o programa perdido. e) Quando um processador est ocupado, a probabilidade de terminar a execuo do programa em cada intervalo . f) Se um programa submetido ao processador em um intervalo em que os dois processadores esto ocupados e um dos processadores completa a execuo neste intervalo, ento o programa que chegou processado. Considerando estas regras e que o sistema est vazio no instante inicial: i. Determine a matriz P de probabilidades de transio de estado ii. Calcule o vetor de probabilidade de estado. iii. Qual a probabilidade do sistema estar vazio no terceiro intervalo? iv. Qual a probabilidade de um programa completar no terceiro intervalo? v. Qual a probabilidade do sistema permanecer vazio no primeiro e segundo intervalo? 2) Considera a cadeia de Markov em tempo contnuo e espao de estado S={0,1,2,3,4} e a seguinte matriz de taxa de transio:

0
Q= 0

2 0

(+1) 0 0 2

-1 0 0

1 0 (+2) 0

0 0

1 -2

a) Desenhe o diagrama de transio de estados. b) Determine as probabiidades de estados estacionrios, se existirem, para =1, 1=3/2 e 2=7/4.

LARC-PCS/EPUSP 2004

11

Modelagem e Simulao de Sistemas de Computacionais

3) O tempo em uma rea classificado como Sol, Nublado ou Chuva em um determinado dia, conforme o exemplo 3. Xk o estado do tempo no dia k, k=1, 2, .... 0,4 0,4 Sol Nubl ado 0,3

0,5 0,1 0,5 Chu va

0,2

0,2

0,4 Matriz P de probabilidade de transio : 1 P= 0,4 0,5 0,1 0,4 0,3 0,5 0,2 0,2 0,4

a) Assummindo que hoje o tempo est nublado, preveja o tempo nos prximos dois dias. b) Determine as probabilidades de estados estacionrios desta cadeia (se existirem). Se no existirem, explique porque. c) Se hoje est ensolarado, determine o nmero mdio de dias que temos que esperar at o prximo dia ensolarado, quando o sistema est com os estado estveis. 4) Uma empresa que possui sistema de processamentos de transaes on-line consiste da matriz e uma filial e ambas possuem um computador para processamento de transaes. Um tero de todas transaes que chegam ao computador da filial tambm exigem processamento pelo computador da matriz enquanto que as demais transaes submetidas ao computador da filial so processadas apenas por este computador. As transaes da filial so geradas segundo o processo de Poisson com taxa . O computador central realiza o processamento de outras transaes que chegam a este comutador de acordo com processo de Poisson, independente do primeiro, e com taxa . Os computadores da matriz e da filial so independentes e possuem infinitos buffers para transaes, e processam uma transao de cada vez com tempos de processamento de transaes com distribuio exponencial com taxas 1 e 2 respectivamente. Considerando =10 transaes por minuto, = 30 transaes por minuto, 1= 50 transaes por minuto, 2=15 transaes por minuto, e sendo X1(t) e X2(t) o nmero de transaes residindo no computador central e no computador da filial, respectivamente, responda:
LARC-PCS/EPUSP 2004 12

Modelagem e Simulao de Sistemas de Computacionais

a) Desenhe o diagrama de transio de estados deste processo. b) Existem probabilidades estacionrias para este processo? Justifique. Se existirem responda s questes seguintes: c) Calcule a probabilidade do computador da filial estar ocioso. d) Calcule a probabilidade de existirem mais de trs transaes esperando para serem processadas pelo computador central. e) Calcule a probabilidade de ambos computadores possurem uma nica transao em execuo em cada um.

LARC-PCS/EPUSP 2004

13