36341 - Introduo aos Processos Estocsticos

Curso de Ps-Graduao em Engenharia Eltrica

Departamento de Engenharia Eltrica
Universidade de Braslia

Cadeias de Markov

Geovany A. Borges
gaborges@ene.unb.br

Cadeias de Markov

Definio: um processo X estocstico dito cadeia de Markov em tempo

pode assumir K valores discretos s0, , sK1 e
Pr{Xk = xk |X0 = x0, , Xk1 = xk1} = Pr{Xk = xk |Xk1 = xk1}
com k sendo o tempo discreto correspondente ao instante tk = kT . Em
muitos casos, X pode ser um conjunto de smbolos indexados por si.

De acordo com a forma de representao dos estados e do tempo,

segue-se a seguinte tabela para denominao de processos Markovianos:
Estados
contnuo
contnuo
discreto
discreto

Tempo
contnuo
discreto
contnuo
discreto

Classificao
Processo Markoviano em tempo contnuo
Processo Markoviano em tempo discreto
Cadeia de Markov em tempo contnuo
Cadeia de Markov em tempo discreto
1

Nesta fase do curso trataremos de cadeias de Markov em tempo discreto.

Representao grfica: diagrama de transio de estados. Usando a

notao
Pr{Xk = sj |Xk1 = si} = pij (k)
(1)
o diagrama de transio abaixo aplica-se para K = 3 estados possveis e
para um dado instante k.

Matriz de transio de probabilidades: P(k) = {pij (k)}, i, j = 0, , K 1.

No caso de K = 3

p00(k) p01(k) p02(k)

(2)
P(k) = p10(k) p11(k) p12(k)
p20(k) p21(k) p22(k)
Observa-se que
K1
X

pij (k) = 1

(3)

j=0

implicando que a soma de todos os elementos de uma mesma linha de

P deve ser 1. Ou seja,

1
P(k) .. =
1

1
.. .
1

(4)

Para o diagrama de transio de estados, isto implica que a soma de

3

todos os pesos dos arcos saindo de um estado deve ser 1.

Em alguns casos, o nmero de estados no-contvel:

p00(k) p01(k) p02(k)

p10(k) p11(k) p12(k)

P(k) =

p20(k) p21(k) p22(k)

..
...

(5)

Dependncia do tempo k:
Sendo pij dependente do tempo: cadeia de Markov no-homognea
Sendo pij independente do tempo: cadeia de Markov homognea.

Cadeias de Markov Homogneas

Exemplo 1:
Considere o caso de uma mquina que pode assumir dois estados: F (em
funcionamento) e P (com problema) [1]. Os estados podem ser indexados
por s0 = 0 e s1 = 1, correspondentes a P e F , respectivamente. A cada hora
k, um sistema supervisrio de verificao do funcionamento da mquina faz
um check-up completo da mesma, indicando um dos estados. Considere que
I. A probabilidade de a mquina estar funcionando normalmente na hora k e
apresentar problema na hora k + 1 ;
II. A probabilidade de a mquina ser reparada na hora k + 1 estando com
problema na hora k .

Cadeias de Markov Homogneas

Soluo:
Este problema pode ser modelado pelas probabilidades
Pr{Xk

= s1|Xk1 = s0} = ,

(6)

Pr{Xk

= s0|Xk1 = s1} = ,

(7)

Pr{Xk

= s0|Xk1 = s1} + Pr{Xk = s1|Xk1 = s1} = 1,

(8)

Pr{Xk

= s0|Xk1 = s0} + Pr{Xk = s1|Xk1 = s0} = 1,

(9)

das quais, a partir das relaes

pode-se obter
Pr{Xk

= s1|Xk1 = s1} = 1 ,

(10)

Pr{Xk

= s0|Xk1 = s0} = 1 .

(11)
6

Portanto, a matriz de transio de estados dada por

P=

(12)

O diagrama de transio de estados dado por

Cadeias de Markov Homogneas

Exemplo 2:
Seja uma fila de uma porta de comunicao serial, cujo nmero de elementos
na fila aps ocorrncia do k-simo evento representado por Xk , e
considerando que
I. A fila pode armazenar at no mximo K 1 elementos:
Xk {0, 1, , K 1}
II. Os eventos so: chegada de um elemento e partida de um elemento, que
no podem ocorrer simultneamente.
III. pa : probabilidade do k-simo evento ser a chegada de um elemento;
IV. pd : probabilidade do k-simo evento ser a partida de um elemento.
Este um exemplo tpico de Sistema a Evento Discreto, podendo ser
modelado por uma cadeia de Markov.
8

Cadeias de Markov Homogneas

Soluo:
Sendo somente chegada de um elemento e sada de um elemento os
eventos do modelo, e que o indce k incrementado quando da ocorrncia de
um evento, ento
pa + pd = 1
(13)
de forma que para 0 < n < K 1
Pr{Xk

= n + 1|Xk1 = n} = pa

(14)

Pr{Xk

= n 1|Xk1 = n} = pd

(15)

Considerando que o nmero de elementos na fila nunca pode ser negativo,

Pr{Xk = 1|Xk1 = 0} = 0,

(16)
9

implicando em

Pr{Xk = 1|Xk1 = 0} = 1,

(17)

pois com a fila vazia o nico evento possvel a chegada de um elemento.

De forma similar, quando a pilha est cheia (Xk1 = K 1), eventos de
chegada de novos elementos so inibidos:

Pr{Xk = K|Xk1 = K 1} = 0,
e assim

Pr{Xk = K 2|Xk1 = K 1} = 1.

10

A matriz de transio de estados para este sistema fica

P=

0 1 0
pd 0 p a 0
0 pd 0 pa
..
0 pd 0
..
0

0
pa
...
pd
0

0
pd
0

pa
0
1

pa
0

(18)

O diagrama de transio de estados dado por

11

Cadeias de Markov Homogneas

Exemplo 3:
Considere o problema do Passeio Aleatrio em uma nica dimenso:
Xk =

Xk1 + 1 com probabilidade

Xk1 1 com probabilidade = 1

(19)

tal que X0 = 0 e p + q = 1. Xk uma cadeia de Markov em tempo discreto.

No entanto, Xk pode assumir um nmero infinito de valores no espao
discreto
{ , 3, 2, 1, 0, 1, 2, 3, }

12

Cadeias de Markov Homogneas

Soluo:
Este modelo pode ser escrito na forma
Xk = ak1Xk1 + bk1uk1 + wk

(20)

com ak1 = 1, bk1 = 0 e

wk =

+1 com probabilidade
1 com probabilidade = 1

(21)

Observa-se que

Pr{Xk = sj |Xk1

se sj = si + 1

= 1 se sj = si 1
= si} =

0
qualquer outra caso.

(22)

13

de modo que, considerando sn = n, a partir das seguintes relaes:

pii = Pr{Xk = i|Xk1 = i} = 0

(23)

pi(i+1) = Pr{Xk = i + 1|Xk1 = i} =

(24)

p(i+1)i = Pr{Xk = i|Xk1 = i + 1} =

(25)

a matriz de transio de estados dada por

.
..

P=

...
0

...

0
0
0

...

0
...

...

(26)

14

O diagrama de transio de estados dado por

15

Dinmica de cadeias de Markov homogneas

Considere
j (k) = Pr{Xk = sj }

(27)

K1
X

Pr{Xk = sj , Xk1 = si}

(28)

K1
X

Pr{Xk = sj |Xk1 = si} Pr{Xk1 = si}

(29)

K1
X

Pr{Xk = sj |Xk1 = si} i(k 1)

(30)

K1
X

pij i(k 1)

(31)

que pode ser escrito como

j (k) =

i=0

i=0

i=0

i=0

16

A partir desta relao, se definirmos o vetor (linha) de probabilidades

(k) =

0(k)

K1(k)

(32)

ento pode-se verificar que

(k) = (k 1)P

(33)

que uma forma recursiva para atualizao das probabilidades (k). De fato,
(k) representa a FDP da cadeia no k-simo instante de tempo.
Assim, dado um vetor de probabilidades iniciais (0), verifica-se que
(k) = (0)P
P} = (0)Pk
| P{z

(34)

k vezes

para k = 1, 2, .

O alto poder do modelo (34) poder ser verificado se tentarmos construir um

modelo equivalente em espao de estados para a cadeia de Markov. Assim,
17

considere o espao seja Xk particionado em K = 2 estados

s0 =

1 0

s1 =

0 1

Ento, um modelo equivalente em espao de estados seria

Xk = Ak1Xk1

(35)

em que Ak1 seria uma matriz estocstica tal que

Se Xk1 = s0 Ak1 =

Se Xk1 = s0 Ak1 =

Se Xk1 = s1 Ak1 =

1
0

com probabilidade Pr{Xk = s0|Xk1 = s0}

0
1

com probabilidade Pr{Xk = s1|Xk1 = s0}

0
1

com probabilidade Pr{Xk = s1|Xk1 = s1}

18

Se Xk1 = s1 Ak1 =

1
0

com probabilidade Pr{Xk = s0|Xk1 = s1}

com R.

19

Simulao de cadeias de Markov homogneas

No algoritmo abaixo, o vetor de probabilidades usado para gerar o ndice
i do estado si com probabilidade i(k). Portanto, usa-se a notao i (k).
Algoritmo 1: Simulador de cadeias de Markov homogneas
I. Amostre i (0) e selecione X0 = si;
II. Para k = 1, 2,
I. Calcule (k) = (k 1)P
II. Amostre Xk de Pr (Xk = sj |Xk1 = si):
i. j [P]i, em que [P]i significa a i-sima linha da matriz P.
ii. Xk = sj
iii. i := j
Neste algoritmo a etapa 2.a pode ser descartada se no for de interesse
conhecer a evoluo da distribuio da cadeia.
20

Simulao de cadeias de Markov homogneas

Exemplo 4: Simulao da uma fila de uma USART com capacidade para 16
bytes
Para esta simulao, podemos usar o modelo do Exemplo 2 com K = 17
estados 0, 1, , 16. Considerando X0 = 0 e pa = 0, 6 = 1 pd, obtem-se o
seguinte resultado:
16

Nmero de bytes na fila

14
12
10
8
6
4
2
0

20

40

60

80

100
k

120

140

160

180

200

21

Se quisermos simular uma fila com inicialmente n bytes, basta fazer

i(0) =

1 i=n
.
0 i=
6 n

No caso de n = 6, obtem-se a seguinte execuo:

Nmero de bytes na fila

16

14

12

10

20

40

60

80

100
k

120

140

160

180

200

22

Distribuio de regime permanente

Sob certas condies [1], dado (0), a seqncia gerada por
(k) = (k 1)P

(36)

estabiliza em um valor (k) =

, denominada de distribuio de regime da
cadeia de Markov. Quando existe, a distribuio de regime satisfaz ao
sistema de equaes

=
P
(37)
Quando alcanado o regime permanente, sendo
={
i},
i pode ser
interpretado como a frao esperada do tempo que a cadeia dedica ao
estado si.

23

Distribuio de regime permanente

Exemplo 5:
Considere o Exemplo 1, que modela uma mquina que pode assumir dois
estados: F (em funcionamento) e P (com problema). Para aquele exemplo,
P=

(38)

com e sendo probabilidades relacionadas falha da mquina e ao seu

reparo da mquina em um determinado lapso de tempo.
Neste problema, deseja-se que a mquina passe satisfaa a um limite
superior do tempo de falha:

0 < 0, 4

(39)

Considerando = 0, 5, pede-se determinar que objetivo deve ser alcanado

com relao ao parmetro de forma a se garantir o objetivo acima.
24

Distribuio de regime permanente

Soluo:
Para resolver este poroblema, deve-se antes determinar as distribuies de
regime
0 e
1:

0
1

=
=

0
1

0
1

1
0, 5

0, 5

da qual obtem-se

0 =
0(1 ) + 0, 5
1

(40)

1 =
0 + 0, 5
1

(41)
25

Sendo
0 +
1 = 1, obtem-se

0 =

0, 5
+ 0, 5

1 =

+ 0, 5

Assim, para satisfazer (39) e 0 1, deve-se ter

0, 75 < 1.

26

Tpicos futuros
Quando possvel, os seguintes tpicos sero acrescentados a este material:

Propriedades de cadeias de Markov

Identificao da matriz P de cadeias de Markov

Modelos de Markov Ocultos (HMM, do ingls)

Simulao de cadeias de Markov por Monte Carlo (Markov Chain Monte

Carlo)

27

Referncias
[1] CASSANDRAS, C. G.; LAFORTUNE, S. Introduction to Discrete Event
Systems. [S.l.]: Kuwer Academic Pulishers, 1999.

28