Cadei A Markov

Modelagem e Simulao - Cadeias de Markov
Notas de Aula - Fernando Nogueira 1

Cadeias de Markov

1. Introduo

Nestas notas de aula sero tratados modelos de probabilidade para processos que
evoluem no tempo de maneira probabilstica. Tais processos so denominados Processos
Estocsticos.

1.2. Processos Estocsticos

Um Processo Estocstico definido como uma coleo de variveis randmicas
(X(t)) indexadas por um parmetro t pertencente a um conjunto T. Freqentemente T
tomado para ser o conjunto dos inteiros no-negativos (porm, outros conjuntos so
perfeitamente possveis) e X(t) representa uma caracterstica mensurvel de interesse no
tempo t. Exemplificando, X(t) pode representar o nvel de estoque de um produto no fim da
semana t.
Processos Estocsticos so de interesse para descrever o procedimento de um
sistema operando sobre algum perodo de tempo, com isso, em termos formais, a varivel
randmica X(t) representa o estado do sistema no parmetro (geralmente tempo) t.
Portanto, pode-se afirmar que X(t) definido em um espao denominado Espao de
Estados.
Os Processos Estocsticos podem ser classificados como:

a) Em relao ao Estado
Estado Discreto (cadeia): X(t) definido sobre um conjunto enumervel ou finito.
Estado Contnuo (seqncia): X(t) caso contrrio.

b) Em relao ao Tempo (Parmetro)
Tempo Discreto: t finito ou enumervel.
Tempo Contnuo: t caso contrrio.

Exemplos:
1. Nmero de usurios em uma fila de banco em um determinado instante: Estado
Discreto e Tempo Contnuo.
2. ndice pluviomtrico dirio: Estado Contnuo e Tempo Discreto.
3. Nmero de dias chuvosos: Estado Discreto e Tempo Discreto.

Existem vrios "tipos" de Processos Estocsticos, porm, nestas notas de aula ser
apenas abordado um tipo de Processo Estocstico denominado Processo Markoviano.


Andrei Andreyevich Markov (*1856, Ryazan, Russia; 1922, So Petersburgo, Russia).

2. Processos Markovianos

Um Processo Estocstico dito ser um Processo Markoviano se:

{ } { }
k k 1 k 1 k 0 0 1 1 1 k 1 k k k 1 k 1 k
x ) t ( X x ) t ( X P x ) t ( X , x ) t ( X ,..., x ) t ( X , x ) t ( X x ) t ( X P = = = = = =
+ + + +

1 t t 1 t 1 0 1 k k 1 0
k , k , k ,..., k , k seqncia toda e ,... 1 , 0 t t ... t t para
+ +
=
(1)

A expresso (1) pode ser "traduzida" por: a probabilidade condicional de qualquer
evento futuro, dado qualquer evento passado e o estado presente X(t
k
) = x
k
, independente
do evento passado e depende somente do estado presente.
Em termos mais resumidos: um Processo Estocstico dito ser um Processo
Markoviano se o estado futuro depende apenas do estado presente e no dos estados
passados.
Este tipo de Processo Estocstico tambm denominado de memoryless process
(processo sem memria), uma vez que o passado "esquecido" (desprezado).
As probabilidades condicionais { }
k k 1 k 1 k
x ) t ( X x ) t ( X P = =
+ +
so denominadas
Probabilidades de Transio e representam, portanto, a probabilidade do estado ) t ( X
1 k+

ser
1 k
x
+
no instante t
k+1
dado que o estado ) t ( X
k

k
x no instante t
k
.
Sem demais formalismo, segue-se o exemplo seguinte:

Exemplo A
O estado no ano de 1993 do uso da terra em uma cidade de 50 quilmetros
quadrados de rea :


Tabela 1 - Estado do uso da terra em 1993.
I uso residencial 30%
II uso comercial 20%
III uso industrial 50%

Os valores da tabela 1 podem ser dispostos em um vetor x, denominado Vetor de
Estados:

[ ] III II I x = (2)

As probabilidades de cada Estado (probabilidade no-condicional) podem tambm
ser dispostos em um vetor , denominado Vetor de Probabilidade de Estado (para
distingui-las das probabilidades de transio):

[ ] 50 . 0 20 . 0 30 . 0 =
(3)

Assumindo que as probabilidades de transio para intervalos de 5 anos so dadas
pela seguinte tabela:
Tabela 2 - Probabilidades de Transio
para I para II para III
de I 0.8 0.1 0.1
de II 0.1 0.7 0.2
de III 0 0.1 0.9

As probabilidades condicionais na tabela 2, em termos informais, podem ser
entendidas como:

de I para I a probabilidade do estado ser I aps 5 anos, dado que o
estado atual (presente) I 0.8, ou { } 8 . 0 I ) t ( X I ) 5 t ( X P = = = + . Para t =1993,
fica { } 8 . 0 I ) 1993 ( X I ) 1998 ( X P = = = .
de I para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) I 0.1, ou { } 1 . 0 I X II X P
t 5 t
= = =
+
. Para t =1993, fica
{ } 1 . 0 I ) 1993 ( X II ) 1998 ( X P = = = .
de I para III a probabilidade do estado ser III aps 5 anos, dado que o
estado atual (presente) I 0.1, ou { } 1 . 0 I ) t ( X III ) 5 t ( X P = = = + . Para t =1993,
fica { } 1 . 0 I ) 1993 ( X III ) 1998 ( X P = = = .
de II para I a probabilidade do estado ser I aps 5 anos, dado que o
estado atual (presente) II 0.1, ou { } 1 . 0 II ) t ( X I ) 5 t ( X P = = = + . Para t =1993,
fica { } 1 . 0 II ) 1993 ( X I ) 1998 ( X P = = = .
de II para II a probabilidade do estado ser II aps 5 anos, dado que o
estado atual (presente) II 0.7, ou { } 7 . 0 II ) t ( X II ) 5 t ( X P = = = + . Para t =1993,
fica { } 7 . 0 II ) 1993 ( X II ) 1998 ( X P = = = .
o raciocnio anlogo para as demais.
Os valores da tabela 2 podem ser ento dispostos em uma matriz P, denominada
Matriz de Transio:

=
9 . 0 1 . 0 0 . 0
2 . 0 7 . 0 1 . 0
1 . 0 1 . 0 8 . 0
P
(4)

Assim, a partir de P e o vetor de probabilidade de estado para 1993, denominado
(0)
, pode-se calcular o vetor de probabilidade de estado para 1998, denominado
(1)
:

( ) ( )
[ ] [ ] 52 22 26
9 . 0 1 . 0 0 . 0
2 . 0 7 . 0 1 . 0
1 . 0 1 . 0 8 . 0
50 20 30 P
0 1
=
= =
(5)

2.1 Cadeias de Markov

Um Processo Markoviano dito ser uma Cadeia de Markov quando as variveis
randmicas X(t) esto definidas em um espao de estados discreto E. O exemplo dado
acima ento uma Cadeia de Markov porque o espao de estados discreto.
Quando o tempo discreto, a Cadeia de Markov dita ser uma Cadeia de Markov
em Tempo Discreto. Neste caso, tem-se:

{ } { }
k 1 k 0 1 1 k k 1 k
x ) k ( X x ) 1 k ( X P x ) 0 ( X , x ) 1 ( X ,..., x ) 1 k ( X , x ) k ( X x ) 1 k ( X P = = + = = = = = = +
+ +

1 k , k , 1 k ,..., 1 , 0 seqncia +
(6)

As Probabilidades de Transio { }
k 1 k
x ) k ( X x ) 1 k ( X P = = +
+
representam, portanto, a
probabilidade do estado ) 1 k ( X + ser
1 k
x
+
no tempo k + 1 dado que o estado ) k ( X
k
x no
tempo k.
Se para cada x
k+1
e x
k
, tem-se:

{ } { }
0 1 k 1 k
x ) 0 ( X x ) 1 ( X P x ) k ( X x ) 1 k ( X P = = = = = +
+

1 k , k , 1 k ,..., 2 , 1 seqncia +
(7)

ento, as Probabilidades de Transio so ditas Estacionrias. Assim, tendo-se
Probabilidades de Transio Estacionrias implica que as Probabilidades de Transio no
mudam em relao ao tempo. Ainda, de acordo com a expresso (7), as Probabilidades de
Transio so denominadas Probabilidades de Transio de Passo 1.
A existncia de Probabilidades de Transio Estacionrias de Passo 1 implica que
para cada x
k+n
e x
k
e n (n = 0, 1, 2,...), tem-se:

{ } { }
0 n k n k
x ) 0 ( X x ) n ( X P x ) k ( X x ) n k ( X P = = = = = +
+

1 k , k , 1 k ,..., 2 , 1 seqncia +
(8)

Estas probabilidades condicionais so chamadas Probabilidades de Transio de
Passo n.
Para simplificao da notao, adotando x
k+1
ou x
k+n
de j e x
k
de i, pode-se definir:

{ } i ) k ( X j ) 1 k ( X P p
ij
= = + = (9)

e

{ } i ) k ( X j ) n k ( X P p
) n (
ij
= = + =
(10)

Porque
) n (
ij
p so probabilidades condicionais, estas precisam ser no negativas e
desde que o processo precisa realizar uma transio em algum estado, estas precisam
satisfazer as seguintes propriedades:

( ) ,... 2 , 1 , 0 n ; j , i 0 p
) n (
ij
=
(11)

e

,... 2 , 1 , 0 n ; i 1 p
M
0 j
) n (
ij
= =
=

(12)

Uma maneira conveniente de mostrar todas as Probabilidades de Transio de Passo
n :

Estado 0 1 . . . M
0
) n (
00
p
) n (
01
p
. . .
) n (
M 0
p
1
) n (
10
p
) n (
11
p
. . .
) n (
M 1
p
. . . . . . .
M
) n (
0 M
p
) n (
1 M
p
. . .
) n (
MM
p

ou, equivalentemente, por uma matriz P
(n)
:

( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )

=
n
MM
n
1 M
n
0 M
n
M 1
n
11
n
10
n
M 0
n
01
n
00
n
p ... p p
... ... ... ...
p ... p p
p ... p p
P
(13)

A matriz P
(n)
denominada Matriz de Transio de Passo n. Quando n = 1, a
matriz denominada apenas Matriz de Transio, como exemplificado na expresso (4).
As Cadeias de Markov, consideradas nestas notas de aula possuem as seguintes
propriedades:

1. Um nmero finito de estados.
2. Probabilidades de Transio Estacionrias.

Ainda ser assumido como conhecido o vetor de probabilidade de estado inicial
(0)

(vetor composto por P{X0 = i} para todo i).

Exemplo B

Uma loja de cmeras fotogrficas armazena um modelo de cmera que pode ser
comprada semanalmente do fornecedor. D
1
,

D
2
, . . ., representa a demanda para esta cmera
(o nmero de unidades que deveriam ser vendidas se o estoque no esgotado) durante a
semana 1, semana 2, . . ., respectivamente. assumido que D
i
so variveis randmicas
independentes e identicamente distribudas (i.i.d
) tendo uma distribuio de Poisson com

mdia igual a 1. Dado X
0
representar o nmero de cmeras inicialmente, X
1
o nmero de
cmeras no fim da semana 1, X
2
o nmero de cmeras no fim da semana 2 e assim por
diante. Assume-se que X
0
= 3. No sbado a noite a loja faz o pedido de cmeras para o
fornecedor, o qual realizar a entrega apenas na prxima segunda-feira. A loja utiliza a
seguinte poltica de compra: se no h cmeras no estoque, a loja compra 3 cmeras.
Entretanto, se h alguma cmera no estoque, nenhuma cmera comprada. Vendas so
perdidas quando a demanda excede o estoque. Assim, { }
t
X para t = 0, 1, 2, . . . um
Processo Estocstico. Os Estados possveis do processo so os inteiros 0, 1, 2, 3,
representando o nmero de cmeras no fim da semana t, ou seja, o espao de estados, para
este exemplo { } 3 2 1 0 E = . As variveis randmicas X
t
so dependentes e podem ser
avaliadas iterativamente pela expresso:

{ }
{ }

=
=
+
+
+
1 X se 0 , D X max
0 X se 0 , D 3 max
X
t 1 t t
t 1 t
1 t
para t = 0, 1, 2, . . .
(14)

A expresso (14) o processo estocstico (o qual foi modelado a partir do
enunciado). Ainda faz-se necessrio definir a matriz de transio P, porm, primeiramente,
a ttulo de reviso segue:

Duas variveis aleatrias so independentes se ( ) ( ) ( ) ( ) ( ) B P . A P B P . B A P B A P = = .

Duas variveis aleatrias so identicamente distribudas se possuem a mesma distribuio de probabilidade.
Distribuio de Poisson

Simon Denis Poisson (*1781 Pithiviers, Frana; 1840, Sceaux, Frana).

A distribuio de Poisson uma distribuio discreta empregada em situaes
probabilsticas onde a rea de oportunidade de ocorrncia de um evento grande, mas a
oportunidade de ocorrncia em um intervalo particular (ou em um ponto) muito pequena.
Exemplo:
Nmero de defeitos ao longo de um fio de uma linha de transmisso de energia.
Erros de datilografia em um livro.
Acidentes industriais.
Chegadas em modelos de fila de espera.

Matematicamente:
A probabilidade de exatamente r ocorrncias de um evento :

( )
( )
! r
e
r P
r
=
(15)

onde:
a mdia da distribuio
A varincia de P(r) tambm.

Exemplo:
O nmero mdio de defeitos em laminas de vidro 5. A probabilidade que a lamina
tenha 6 defeitos :

( )
( )
146 . 0
! 6
e 5
6 P
5 6
= =

(16)

Retomando o exemplo do estoque da loja de cmeras, dado que o estado corrente
X
t
= i, o processo s depende de D
t+1
(veja expresso (14)). Uma vez que X
t+1

independente do passado, este processo um processo Markoviano. Considerando ainda
que o espao de estado discreto, este processo Markoviano uma Cadeia de Markov.
Uma vez que D
t+1
tem distribuio de Poisson com mdia = 1 pode-se calcular:

{ }
! n
e 1
n D P
1 n
1 t
+
= = , para n = 0, 1,...
(17)

Atribuindo valores para n, onde n representa o nmero de cmeras necessrias para
repor o estoque na prxima semana, fica:

{ } 368 . 0 e 0 D P
1
1 t
= = =

+
(18)

{ } 368 . 0 e 1 D P
1
1 t
= = =

+
(19)

{ } 184 . 0
2
e
2 D P
1
1 t
= = =

+

(20)

{ } { } 08 . 0 184 . 0 368 . 0 368 . 0 1 2 D P 1 3 D P
1 t 1 t
= = =
+ +
(21)

De posse das probabilidades de D
t+1
para os valores de n e do processo estocstico
(expresso 14), as probabilidades de transio p
ij
(elementos da matriz de transio) podem
ser definidas:

p
00

0 X
t
= e 0 X
1 t
=
+
) 0 , D 3 max( 0
1 t +
=
( ) 080 . 0 3 D P
1 t
=
+

(22)

p
01

0 X
t
= e 1 X
1 t
=
+
) 0 , D 3 max( 1
1 t +
=
( ) 184 . 0 2 D P
1 t
= =
+
(23)

p
10

1 X
t
= e 0 X
1 t
=
+
) 0 , D 1 max( 0
1 t +
=
( ) ( ) 632 . 0 0 D P 1 1 D P
1 t 1 t
= = =
+ +
(24)

p
12

1 X
t
= e 2 X
1 t
=
+
) 0 , D 1 max( 2
1 t +
=
( ) 0 1 D P
1 t
= =
+

(25)

Para as demais p
ij,
o raciocnio anlogo.

A matriz de transio P ento fica:

=
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P
(26)

Uma maneira alternativa para representar as probabilidades de transio utilizar
uma representao denominada Diagrama de Transio de Estado. Neste os sentidos das
flechas indicam a probabilidade de transio de um estado i para um estado j. Para a matriz
de transio P dada pela expresso (26) o diagrama fica:

Fig. 1 - Diagrama de Transio de Estado.

2.2 Equaes de Chapman - Kolmogorov

Sidney Chapman (*1888, Eccles, Inglaterra; 1970,
Boulder, Estados Unidos).
Andrey Nikolaevich Kolmogorov (*1903, Tambov,
Russia; 1987, Moscow, Russia).

A matriz de transio P a matriz de transio de probabilidades de estado para um
passo no tempo, ou seja, de t para t+1. Pode se dizer, de maneira simplista, que as equaes
de Chapman-Kolmogorov fornecem um mtodo para computar a matriz de transio para n
passos no tempo, ou seja, de t para t+1, de t para t+2, ..., de t para t+n.
Seja
) n (
ij
p a probabilidade de transio do estado i para o estado j de passo n, pode-se
escrever que:

( )
=
M
0 k
m n
kj
m
ik
n
ij
p p p
(27)

M ,..., 1 , 0 i =
M ,..., 1 , 0 j =
e qualquer m = 1, 2, ..., n-1
e qualquer n = m+1, m+2, ....

Em notao matricial, a expresso (27) fica:

m n m ) n (
P . P P

=
(28)

onde:
P
(n)
a matriz de transio de passo n.
A partir de (28) pode-se concluir, portanto, que:

n ) n (
P P = (29)

A expresso (29) afirma que a matriz de transio de passo n igual matriz de
transio de passo 1 elevada a n-sima potncia.
Cabe ressaltar neste momento que a expresso (29) s vlida para Cadeias de
Markov cujas probabilidades de transio de estados so constantes em relao ao
tempo (Probabilidades de Transio Estacionrias). A este tipo de Cadeia de Markov,
denomina-se Cadeia de Markov Homognea e a matriz de transio P ento uma matriz
homognea.
Retomando o exemplo do estoque da loja de cmeras, a matriz de transio de passo
2 (n = 2), :

( )
= =
165 . 0 300 . 0 286 . 0 249 . 0
097 . 0 233 . 0 319 . 0 351 . 0
233 . 0 233 . 0 252 . 0 283 . 0
165 . 0 300 . 0 286 . 0 249 . 0
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
.
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P P
2 2
(30)

O vetor probabilidade de estado para o exemplo da cmera no tempo 0 :

[ ] 1 0 0 0
) 0 (
= (31)

uma vez que X
0
= 3.

Para o tempo 1,
(1)
pode ser calculado como:

[ ] [ ] 368 . 0 368 . 0 184 . 0 080 . 0
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
. 1 0 0 0 P .
) 0 ( ) 1 (
=
= =
(32)

Para o tempo 2,
(2)
pode ser calculado como:

[ ] [ ] 165 . 0 300 . 0 286 . 0 249 . 0
165 . 0 300 . 0 286 . 0 249 . 0
097 . 0 233 . 0 319 . 0 351 . 0
233 . 0 233 . 0 252 . 0 283 . 0
165 . 0 300 . 0 286 . 0 249 . 0
. 1 0 0 0 P .
2 ) 0 ( ) 2 (
=
= =
(33)

2.3 Classificao de Estados em Cadeias de Markov

2.3.1 Estados Alcanveis e Comunicantes

Um estado j dito ser alcanvel (accessible) a partir de um estado i se
( )
0 p
n
ij
> para
algum 0 n . Isto implica que possvel o sistema entrar no estado j eventualmente quando
este comea no estado i.

Exemplo 1: os estados da matriz de transio P
(2)
na expresso (30).

Exemplo 2: Um jogador tem um $1,00 e a cada vez que joga ganha $1,00 com
probabilidade p>0 ou perde $1,00 com probabilidade 1-p. O jogo termina quando o jogador
acumula $3,00 ou $0,00. Este jogo uma Cadeia de Markov cujos estados representam a
quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espao de estados
{ } 3 2 1 0 E = e a matriz de transio P dada por:

Estado 0 1 2 3
=
1 0 0 0
p 0 p 1 0
0 p 0 p 1
0 0 0 1
3
2
1
0
P
(34)

Nesta Cadeia de Markov, o estado 2, por exemplo, no alcanvel a partir do
estado 3. Isto pode ser observado a partir do contexto, uma vez que se o jogador alcanar o
estado 3, este nunca deixar este estado, o que implica que
( )
0 p
n
32
= para todo 0 n .
Entretanto, o estado 3 alcanvel a partir do estado 2, uma vez que
( )
0 p
1
23
> .

Um estado j dito comunicante com o estado i se o estado j alcanvel a partir do
estado i e o estado i alcanvel a partir do estado j.

Exemplo 3: os estados da matriz de transio P
(2)
na expresso (30).
Exemplo 4: estados 2 e 3 do exemplo 2 no so comunicantes.

A seguinte regra pode ser definida a partir das Equaes de Chapman-Kolmogorov:
"Se um estado i comunicante com um estado k e o estado k comunicante com um estado
j, ento o estado i comunicante com o estado j".

Se dois estados se comunicam entre si, diz-se que eles pertencem mesma classe.
Se todos os estados so comunicantes, portanto todos os estados pertencem a uma
nica classe, a Cadeia de Markov dita ser Irredutvel.

Exemplo 5: A Cadeia de Markov do exemplo do estoque da loja de cmeras.

2.3.2 Estados Recorrentes e Transientes

Um estado dito ser Transiente (Temporrio, Efmero, Transitrio) se, entrando
neste estado, o processo pode nunca retornar novamente para este estado. Portanto, o estado
i transiente se e somente se existe um estado j ( ) i j que alcanvel a partir do estado i
mas no vice-versa, isto , o estado i no alcanvel a partir do estado j. Assim, se o
estado i transiente e o processo visita este estado, h uma probabilidade positiva que o
processo ir mover-se para o estado j e assim nunca ir retornar para o estado i.
Conseqentemente, um estado transiente ser visitado somente um nmero finito de vezes.
Um estado dito ser Recorrente se entrando neste estado, o processo
definitivamente ir retornar para este estado. Portanto, um estado recorrente, se e somente
se, no transiente. Uma vez que o estado recorrente ser "revisitado" aps cada visita (no
necessariamente no prximo passo do processo), este ser visitado infinitamente para o
processo em tempo infinito.
Um estado dito ser Absorvente se entrando neste estado, o processo nunca ir
deixar este estado. Portanto, um estado i absorvente se e somente se p
ii
= 1. Com isso,
pode-se afirmar que um estado absorvente um caso especial de um estado recorrente.
Em uma Cadeia de Markov, um conjunto C de estados dito ser um Conjunto
Fechado se o processo ao entrar em um desses estados de C, este ir permanecer nos
estados de C indefinidamente, ou seja, C um conjunto tal que nenhum estado fora de C
alcanvel a partir de qualquer estado de C. Com isso, pode-se afirmar que C um conjunto
formado por estados recorrentes.
Em uma Cadeia de Markov, um conjunto C
m
de estados dito ser um Conjunto
Fechado Mnimo se este conjunto no possui sub-conjuntos fechados.

Exemplo 6: Suponha que a Cadeia de Markov possui a seguinte matriz de transio P:

Estado 0 1 2 3 4
=
0 0 0 0 1
0
3
2
3
1
0 0
0 0 1 0 0
0 0 0
2
1
2
1
0 0 0
4
3
4
1
4
3
2
1
0
P
(35)

O estado 3 transiente porque se o processo est no estado 3, h uma probabilidade
positiva que ele nunca ir retornar para este estado. O estado 4 tambm um estado
transiente porque se o processo comea neste estado, imediatamente o processo o deixa e
nunca mais ir retornar para este estado.
Os estados 0 e 1 so recorrentes. Atravs de P percebe que se o processo comear a
partir de um desses dois estados, este nunca deixar estes dois estados. Alm disto, sempre
quando o processo move-se a partir de um destes estados para o outro, este ir retornar para
o estado original eventualmente.
O estado 2 um estado absorvente, pois, uma vez que o processo entra no estado 2,
este nunca mais o deixar.
Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que se o processo
entrar em um destes estados, nunca os deixar.
Os estados 0 e 1 formam um conjunto fechado mnimo, bem como o estado 2.

2.3.3 Propriedades de Periodicidade

Um estado i peridico com perodo t se um retorno a este estado possvel
somente em t, 2t, 3t,... passos para t>1 e t o maior inteiro com esta propriedade (mximo
divisor comum). Isto implica que
( )
0 p
n
ii
= sempre quando n no divisvel por t.
Exemplo 7: o estado 1 do exemplo 2. Comeando no estado 1, possvel para o processo
entrar no estado 1 somente nos tempos 2, 4, 6,..., de tal forma que o estado 1 possui perodo
t = 2. Isto pode ser verificado calculando
( ) n
11
p para todo n e observar que
( )
0 p
n
11
= para n
impar.
Exemplo 8: os estados da seguinte Matriz de Transio:

Estado 0 1 2 3
=
0 0
2
1
2
1
0 0
2
1
2
1
2
1
2
1
0 0
2
1
2
1
0 0
3
2
1
0
P
(36)

0 10 20 30 40 50 60 70 80 90 100
0
0.5
1
1.5
2
2.5
3
tempo (passo)
e
s
t
a
d
o
Exemplo de Cadeia de Markov com estados periodicos

Figura 2 - Cadeia de Markov com estados peridicos.

Se h dois nmeros consecutivos s e s + 1 tal que o processo pode estar no estado i
nos tempos s e s + 1, o estado dito ter perodo 1 e chamado estado Aperidico.
Como a recorrncia uma classe de propriedade, a periodicidade tambm uma
classe de propriedade. Assim, se um estado i em uma classe tem perodo t, todos os estados
nesta classe tm perodo t.

Exemplo 9: o estado 2 do exemplo 2 possui perodo t = 2 porque est na mesma classe que
o estado 1, o qual, por sua vez, tem perodo t = 2.

Em uma Cadeia de Markov de estado finito, estados recorrentes que so aperidicos
so chamados de estados Ergdicos. Uma Cadeia de Markov dita ser Ergdica se todos
os estados so estados ergdicos.

Resumo

Tabela 3 - Resumo de classificaes de Estados e Cadeias.
Conjunto
Fechado
Nenhum estado, a no ser algum pertencente ao conjunto, pode ser
alcanado de qualquer estado pertencente ao conjunto.
Estado
Absorvente
Uma vez que se entra neste estado, nunca mais o deixa.
Estado
Recorrente
Uma vez que se entra neste estado, um eventual retorno assegurado.
Estado
Peridico
O estado que pode somente ser alcanado nos passos m, 2m, 3m, . . ., onde
m um inteiro > 1.
Estado
Transiente
Um eventual retorno ao estado no est assegurado.
Estado
Ergdico
Uma vez que se entrou neste estado, um retorno ao estado assegurado
dentro de um nmero finito de passos, porm o estado no peridico e
pode voltar antes de qualquer passo n.
Cadeia
Irredutvel
Cada estado pode ser alcanado a partir de qualquer outro estado (todos os
estados so comunicantes).
Cadeia
Absorvente
A Cadeia contm um ou mais conjuntos fechados e o processo poder
eventualmente ser absorvido em um dos conjuntos fechados.
Cadeia
Ergdica
Todos os estados so recorrentes e aperidicos.

2.4 Propriedades de Longo Perodo em Cadeias de Markov

2.4.1 Probabilidades de Estados Estavis (Steady-State)

A matriz de transio P
(n)
do exemplo do estoque da loja de cmeras para:

n = 1
( )
=
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P
1

(37)

n = 2
( )
=
165 . 0 300 . 0 286 . 0 249 . 0
097 . 0 233 . 0 319 . 0 351 . 0
233 . 0 233 . 0 252 . 0 283 . 0
165 . 0 300 . 0 286 . 0 249 . 0
P
2

(38)

n = 4
( )
=
164 . 0 261 . 0 286 . 0 289 . 0
171 . 0 263 . 0 283 . 0 284 . 0
166 . 0 268 . 0 285 . 0 282 . 0
164 . 0 261 . 0 286 . 0 289 . 0
P
4

(39)

n = 8
( )
=
166 . 0 264 . 0 285 . 0 286 . 0
166 . 0 264 . 0 285 . 0 286 . 0
166 . 0 264 . 0 285 . 0 286 . 0
166 . 0 264 . 0 285 . 0 286 . 0
P
8

(40)

Como se pode perceber, todas as linhas da matriz P
(8)
so aproximadamente iguais
(no caso, so iguais apenas devido ao truncamento na 3
0
casa decimal), e sero
absolutamente iguais para n . Se todas as linhas da matriz de transio so iguais, o
processo torna-se independente da distribuio de probabilidade inicial, a qual
representada pelo vetor de probabilidade de estado
0
.
No caso do estoque da loja de cmeras, isto implica que a longo perodo, o estado
do estoque independente do estado inicial X
0
= 3.
A figura abaixo mostra o vetor de probabilidade de estado em funo do tempo para
(0)
= [1 0 0 0] (X
0
= 0),
(0)
= [0 1 0 0] (X
0
= 1),
(0)
= [0 0 1 0] (X
0
= 2),
(0)
= [0 0 0 1]
(X
0
= 3). Nota-se que independente do estado inicial do estoque da loja de cmeras, a
distribuio de probabilidade dos estados
(7)
praticamente a mesma nos grficos abaixo.

0 1 2 3 4 5 6 7
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
tempo (passo)
p
r
o
b
a
b
i
l
i
d
a
d
e

d
o

e
s
t
a
d
o
Probabilidades de Estados para V0 = 1 0 0 0
estado 0
estado 1
estado 2
estado 3
0 1 2 3 4 5 6 7
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
tempo (passo)
p
r
o
b
a
b
i
l
i
d
a
d
e

d
o

e
s
t
a
d
o
estado 0
estado 1
estado 2
estado 3
0 1 2 3 4 5 6 7
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
tempo (passo)
p
r
o
b
a
b
i
l
i
d
a
d
e

d
o

e
s
t
a
d
o
estado 0
estado 1
estado 2
estado 3
0 1 2 3 4 5 6 7
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
tempo (passo)
p
r
o
b
a
b
i
l
i
d
a
d
e

d
o

e
s
t
a
d
o
estado 0
estado 1
estado 2
estado 3

Fig. 3 - Vetor de Probabilidade
(n)
para o passo n dado
(0)
.

A matriz de transio ir estabilizar os valores de seus elementos a longo perodo se
a Cadeia de Markov Ergdica e Irredutvel
, que por sua vez, implica na existncia de

( )
n
n
ij
p lim independente de i. Alm disto:

( )
0 p lim
j
n
n
ij
> =

(41)

onde os
j
satisfazem unicamente as seguintes equaes de estados estveis:

=
= =
M
0 i
ij i j
M ,..., 2 , 1 , 0 j para p
(42)

e

O
( )
n
n
ij
p lim pode tambm existir mesmo para Cadeias No Irredutveis e/ou No Ergdicas (ver Tabela 4).
M ,..., 2 , 1 , 0 j para 1
M
0 j
j
= =
=

(43)

Os
j
so chamados de Probabilidades de Estados-Estveis da Cadeia de Markov
e podem ser denominados tambm como Probabilidades de Estados Estacionrios (no
confundir com probabilidades de transio estacionrias), Probabilidades de Estados em
Fase de Regime, Distribuio Estacionria, Probabilidades de Equilbrio, Valores
Limites ou Probabilidades de Estado Fixo.
Nota-se que as expresses (42) e (43) formam um sistema com M + 2 equaes em
M + 1 incgnitas. Com isso, no mnimo uma equao precisa ser redundante e pode,
portanto, ser excluda do sistema. No entanto, a equao da expresso (43) a nica que
no pode ser excluda devido ao seu carter de normalizao no sistema.
Retomando o exemplo do estoque da loja de cmeras, o sistema fica:

+ + + =
+ + + =
+ + + =
+ + + =
+ + + =
3 2 1 0
33 3 23 2 13 1 03 0 3
32 3 22 2 12 1 02 0 2
31 3 21 2 11 1 01 0 1
30 3 20 2 10 1 00 0 0
1
p p p p
p p p p
p p p p
p p p p

(44)

Igualando a zero as quatro primeiras equaes do sistema da expresso (44), fica:

( )
( )
( )
( )
+ + + =
+ + + =
+ + + =
+ + + =
+ + + =
3 2 1 0
33 3 23 2 13 1 03 0
32 3 22 2 12 1 02 0
31 3 21 2 11 1 01 0
30 3 20 2 10 1 00 0
1
1 p p p p 0
p 1 p p p 0
p p 1 p p 0
p p p 1 p 0

(45)

Substituindo valores, fica:

( )
( )
( )
( )
+ + + =
+ =
+ + =
+ + + =
+ + + =
3 2 1 0
3 0
3 2 0
3 2 1 0
3 2 1 0
1
1 368 . 0 368 . 0 0
368 . 0 1 368 . 0 368 . 0 0
184 . 0 368 . 0 1 368 . 0 184 . 0 0
080 . 0 264 . 0 632 . 0 1 080 . 0 0

(46)

Excluindo uma equao qualquer (sem ser a ltima) e resolvendo o sistema, a
soluo :

[ ] [ ] 166 . 0 263 . 0 285 . 0 286 . 0
3 2 1 0
= = (47)

A partir de (47), pode-se afirmar que a matriz de transio
( )
P para o passo = n
:

( )
( )
( )
( )

166 . 0 263 . 0 285 . 0 286 . 0

166 . 0 263 . 0 285 . 0 286 . 0
166 . 0 263 . 0 285 . 0 286 . 0
166 . 0 263 . 0 285 . 0 286 . 0
P
3 2 1 0
3 2 1 0
3 2 1 0
3 2 1 0
) (

(48)

Em particular, se i e j so estados recorrentes pertencentes a diferentes classes,
ento:

( )
n , 0 p
n
ij
=
(49)

Similarmente, se j um estado transiente, ento:

( )
i , 0 p lim
n
n
ij
=

(50)

Observao Importante1: como j citado, cabe neste momento ressaltar que P
(n)
s pode ser
obtida como na expresso (48) somente se a Cadeia de Markov Ergdica Irredutvel, o
que garante que todas as linhas de P
(n)
so idnticas.
No entanto, o mtodo de se elevar a matriz de transio P a n-sima potncia para se
determinar P
(n)
sempre vlido, apesar de no haver necessidade que todas as linhas de P
(n)

sejam idnticas mesmo para n . O seguinte exemplo deixa claro esta ressalva.

Exemplo: Uma Cadeia de Markov possui a seguinte matriz de transio P
(1)
:

=
5 . 0 2 . 0 3 . 0
0 1 0
0 0 1
P
) 1 (

(51)

Qual o valor de
n
) n (
P lim ? Elevando P a potncias mais altas, tem-se:
=
25 . 0 30 . 0 45 . 0
0 1 0
0 0 1
P
) 2 (

(52)

=
125 . 0 350 . 0 525 . 0
0 1 0
0 0 1
P
) 3 (

(53)

=
0625 . 0 3750 . 0 5625 . 0
0 1 0
0 0 1
P
) 4 (

(54)
:
:
0 4 . 0 6 . 0
0 1 0
0 0 1
P
) (

(55)

Escrevendo o seguinte sistema:

+ + =
=
+ =
+ =
2 1 0
2 2
2 1 1
2 0 0
1
5 . 0
2 . 0
3 . 0

(56)

A soluo de (56) resulta em:

0
+
1
= 1 e
2
= 0 (57)

e conseqentemente no existe uma soluo determinada para
0
e
1
. Como se pode notar,
as linhas de
( )
P no so iguais e, por isso, os valores de
0
e
1
no so determinados
unicamente. Este fato ocorreu devido a esta Cadeia de Markov no ser Irredutvel.

Observao Importante2: Se P uma matriz de transio em que:

M ,..., 2 , 1 i 1 p
M
1 j
ij
= =
=

(58)
e

M ,..., 2 , 1 j 1 p
M
1 i
ij
= =
=

(59)

esta matriz dita ser uma matriz Duplamente Estocstica e neste caso, para P irredutvel
,
tem-se:

( )
M ,..., 2 , 1 j , i
M
1
p lim
n
ij
n
= =

(60)

Consideraes matemticas:

A equao vetorial em (42), pode ser dada em notao reduzida por:

=
1 0 0
0 5 . 0 5 . 0
0 5 . 0 5 . 0
P duplamente estocstica, mas
( )
3 , 2 , 1 j , i
3
1
p lim
n
ij
n
=

porque P no
Irredutvel.
P = (61)

sendo:
um vetor linha; e
P uma matriz quadrada.

Equivalentemente, a expresso (61) pode ser escrita por:

t t t
P =
(62)

sendo:
t o operador transposto.

A expresso (62) pode ser entendida como um problema de auto-valor
, que implica
em P
t
ter um auto-valor igual a 1.
O problema de auto-valor fica ento:

( ) ; 0 I P
t t
=
(63)

A resoluo de (63) ir fornecer um auto-vetor
t
associado a um auto-valor igual a
1 que corresponde para o vetor de Probabilidades de Estados Estveis. Uma vez que P
uma matriz homognea, o auto-vetor
t
poder ter infinitas solues, porm tais solues
diferem entre si apenas por um fator de escala. Faz-se necessrio ento normalizar os
valores do vetor
t
para sua soma ser igual a 1.
O exemplo abaixo resolve o problema de auto-valor para a matriz de transio P do
exemplo do estoque da loja de cmeras:

0
0
0
0
.
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
.
368 . 0 0 0 368 . 0
368 . 0 368 . 0 0 368 . 0
184 . 0 368 . 0 368 . 0 184 . 0
080 . 0 264 . 0 632 . 0 080 . 0
3
2
1
0

(64)

A soluo :

( ) 0 x I A x Ax = =
sendo:
um auto-valor;
x um auto-vetor associado ao auto-valor ; e
I a matriz identidade.

+
=
0 0 0 0
0 i 2434 . 0 092 . 0 0 0
0 0 i 2434 . 0 092 . 0 0
0 0 0 1
AutoValor
(65)

+

+
=
7071 . 0 6030 . 0 6030 . 0 3264 . 0
0 i 3989 . 0 1508 . 0 i 3989 . 0 1508 . 0 5165 . 0
0 3015 . 0 3015 . 0 5590 . 0
7071 . 0 i 3989 . 0 4523 . 0 i 3989 . 0 4523 . 0 5606 . 0
AutoVetor
(66)
O auto-vetor associado ao auto-valor = 1 :

=
3264 . 0
5165 . 0
5590 . 0
5606 . 0
t

(67)

Que por sua vez, normalizado para a soma dos seus elementos ser igual a 1 :

=
1663 . 0
2631 . 0
2848 . 0
2856 . 0
3264 . 0
5165 . 0
5590 . 0
5606 . 0
9625 . 1
1
t

(68)

Os valores em (68) correspondem para os mesmos valores encontrados em (40) e
(47).
Considerando a Matriz de Transio da Cadeia de Markov No Irredutvel e No
Ergdica dada em (51), o problema de auto-valor fica:

0
0
0
.
1 0 0
1 1 0
0 0 1
.
5 . 0 0 0
2 . 0 1 0
3 . 0 0 1
2
1
0

(69)

A soluo :

=
5 . 0 0 0
0 1 0
0 0 1
AutoValor
(70)

=
8111 . 0 0 0
3244 . 0 1 0
4867 . 0 0 1
AutoVetor
(71)

Neste caso, existe 2 auto-valores iguais a 1, devido a existncia de dois conjuntos
fechados mnimos (2 estados absorventes), e no apenas um auto-valor igual a 1. Neste
caso, o vetor
t
no pode ser unicamente determinado (como em (55) e (57)).

2.5 Custo Mdio Esperado por Unidade de Tempo

Na seo anterior, abordou-se o caso em que os estados so ergdicos (recorrentes e
aperidicos). Se a condio de aperiodicidade relaxada, ento o limite
( ) n
ij
n
p lim

pode no
existir.

Exemplo: a seguinte matriz de transio P

Estado 0 1
=
0 1
1 0
1
0
P
(72)

Se o processo comea no estado 0 no tempo 0, o processo retornar ao estado 0 nos
tempos 2, 4, 6,... e entrar no estado 1 nos tempos 1, 3, 5,... Portanto,
( ) n
ii
n
p lim

no existe.
No entanto, o seguinte limite sempre ir existir para uma Cadeia de Markov Irredutvel
(estado finito):

( )
i , p
n
1
lim
j
n
1 k
k
ij
n
=
=

(73)

A expresso 73 (no confundir a expresso 73 com
( ) n
ii
n
p lim

) de suma importncia
para calcular o Custo Mdio a Longo Perodo por Unidade de Tempo associado
Cadeia de Markov.
Supondo que um custo seja determinado apenas em funo do estado da Cadeia de
Markov, ou seja, C(X
t
) a funo de custo. Nota-se que esta funo uma varivel
randmica que assume os valores C(0), C(1),..., C(M), onde E = [0, 1,..., M] o espao de
estados do processo e que C() , portanto, independente de t. O custo mdio esperado para
os n primeiros perodos dado por:

( )
=
=
n
1 t
t
X C
n
1
E C
(74)

Atravs de (73), pode-se demonstrar que o Custo Mdio por Unidade de Tempo
associado Cadeia de Markov dado por:

( ) ( ) =

= =

M
0 j
j
n
1 t
t
n
j C X C
n
1
E lim
(75)

Exemplo: a funo de custo para o exemplo do estoque da loja de cmeras dada por:

( )
=
=
=
=
=
3 X se 18
2 X se 8
1 X se 2
0 X se 0
X C
t
t
t
t
t

(76)

Aplicando os valores de (76) em (75), fica:

( ) ( ) ( ) ( ) ( ) 662 . 5 18 166 . 0 8 263 . 0 2 285 . 0 0 286 . 0 X C
n
1
E lim
n
1 t
t
n
= + + + =

=

(77)

O valor da expresso (77) o custo mdio esperado do estoque por semana. Outro
resultado interessante obtido para a seguinte funo de custo:

( )
=
=
j X se 0
j X se 1
X C
t
t
t

(78)
Aplicando os valores de (78) em (75), o resultado so os prprios
j
. Com isso, os
valores de
j
podem ser interpretados com a frao do tempo em que o processo est no
estado j.
A tabela 4 mostra um resumo das condies para obter
em funo da
classificao da cadeia.

Tabela 4 - Condies para
em funo da classificao da cadeia.

Ergdica No ergdica

todos os estados so recorrentes e
aperidicos
existe ao menos um estado
transiente
existe ao menos um estado
peridico
Irredutvel
todos os estados so
comunicantes
( )
i , p lim
de independe
j
n
ij
n
0
=

Exemplo:
=
368 . 0 368 . 0 184 . 0 080 . 0
0 368 . 0 368 . 0 264 . 0
0 0 368 . 0 632 . 0
368 . 0 368 . 0 184 . 0 080 . 0
P

[ ] 166 . 0 263 . 0 285 . 0 286 . 0 =

a existncia de ao menos um
estado transiente implica em
haver estados que no so
comunicantes. Portanto, no
existe cadeia irredutvel
com um ou mais estados
transientes.
( ) n
ij
n
0
p lim
de independe

obtido atravs de:

( )
i , p
n
1
lim
j
n
1 k
k
ij
n
=
=

Exemplo:
=
0 1
1 0
P

[ ] 5 . 0 5 . 0 =
, mas
( ) n
ij
n
p lim

No
Irredutvel
ao menos um estado
no comunicante com
ao menos algum outro
estado
( )
i , mas p lim
de depende
j
n
ij
n
0

Exemplo:
=
5 . 0 5 . 0 0 0
5 . 0 5 . 0 0 0
0 0 5 . 0 5 . 0
0 0 5 . 0 5 . 0
P

Cadeia ergdica, mas
estados 0 e 1 no so
comunicantes com estados
2 e 3.
Caso 1:
( )
i , mas p lim
de depende
j
n
ij
n
0

Exemplo:
=
5 . 0 5 . 0 0 0 0
5 . 0 5 . 0 0 0 0
2 . 0 2 . 0 2 . 0 2 . 0 2 . 0
0 0 0 5 . 0 5 . 0
0 0 0 5 . 0 5 . 0
P

Estado 2 transiente e no
comunicante com estados
0,1, 3 e 4.

Caso2:
( )
i , p lim
de independe
j
n
ij
n
0
=

Exemplo:
=
0 5 . 0 0 5 . 0
5 . 0 0 5 . 0 0
0 5 . 0 0 5 . 0
0 0 0 1
P

Estado 0 no comunicante
com demais e estados 1, 2 e
3 so transientes.
( ) n
ij
n
0
p lim
de depende

Exemplo:
=
0 1 0 0 0
1 0 0 0 0
0 0 0 0 1
0 0 1 0 0
0 0 0 1 0
P

Estados 0, 1 e 2 possuem
perodo T=3 e estados 3 e 4
possuem perodo T=2.
Estados 0, 1 e 2 no so
comunicantes com estados 3
e 4.

2.6 Custo Mdio Esperado por Unidade de Tempo para Funes de Custo Complexas

Na seo anterior, tratou-se apenas com funes de custo dependentes do estado em
que o sistema se encontra no tempo t. Para funes de custo que dependem no s do
estado do sistema, mas tambm de outra varivel randmica, faz necessrio fazer algumas
ressalvas. Considerando que:

1) { }
t
X uma Cadeia de Markov Irredutvel (estado-finito).
2) Existe uma seqncia de variveis randmicas { }
t
D , independentes e identicamente
distribudas (i.i.d) associada { }
t
X .
3) Para cada ,... 2 , 1 , 0 m = fixo ocorrido um custo C(X
t
,D
t+m
) no tempo t, para t = 0,1,
2, . . .
4) A seqncia X
0
, X
1
,. . ., X
t
precisa ser independente de D
t+m
.

Se as quatro condies dadas acima so satisfeitas, ento:

( ) ( ) =

= =
+

M
0 j
j
n
1 t
m t t
n
. j K D , X C
n
1
E lim
(79)

onde:

( ) ( ) [ ]
m t
D , j C E j K
+
=
(80)

K(j) o valor esperado condicional calculado de acordo com a distribuio de
probabilidade das variveis randmicas D
t
, dado o estado j. Alm disto:

( ) ( ) =

= =
+

M
0 j
j
n
1 t
m t t
n
. j K D , X C
n
1
lim
(81)

para essencialmente todos os caminhos do processo.

2.7 Tempos de Primeira Passagem

O Tempo de Primeira Passagem pode ser entendido como o tempo demandado para
o processo atingir o estado j a partir do estado i. Quando j = i, o Tempo de Primeira
Passagem simplesmente o nmero de passos (transies) para o processo retornar ao
estado inicial i. Neste caso, denomina-se Tempo de Recorrncia para o estado i.
Retomando o exemplo do estoque da loja de cmeras, o estado do estoque para as
seis primeiras semanas :

X
0
= 3 X
1
= 2 X
2
= 1 X
3
= 0 X
4
= 3 X
5
= 1

Neste caso, o Tempo de Primeira Passagem a partir do estado 3 para o estado 1 2
semanas, o Tempo de Primeira Passagem a partir do estado 3 para o estado 0 3 semanas e
o Tempo de Recorrncia para o estado 3 4 semanas.
Em geral, o Tempo de Primeira Passagem uma varivel randmica cuja
distribuio de probabilidade associada depende das probabilidades de transio do
processo.
Denominando
( ) n
ij
f a probabilidade do Tempo de Primeira Passagem a partir do
estado i para o estado j ser n, pode-se escrever que:

( ) ( )
ij
1
ij
1
ij
p p f = =
(82)

( ) ( )
=
j k
1
kj ik
2
ij
f p f
(83)
:
:
( ) ( )
=
j k
1 n
kj ik
n
ij
f p f
(84)

Assim, o Tempo de Primeira Passagem a partir do estado i para o estado j em n
passos pode ser computado recursivamente.

Exemplo: Probabilidade do Tempo de Primeira Passagem para o estoque da loja de cmeras
a partir do estado 3 (estoque cheio) para o estado 0 (estoque vazio) ser n:

( )
080 . 0 p f
30
1
30
= =
(85)

( ) ( ) ( ) ( )
( ) ( ) ( ) 243 . 0 080 . 0 368 . 0 264 . 0 368 . 0 632 . 0 184 . 0 f p f p f p f
1
30 33
1
20 32
1
10 31
2
30
= + + = + + =
(86)
:
:

Para dado i e j, tem-se que:

( )
1 f
1 n
n
ij

=

(87)

Se
( )
1 f
1 n
n
ij
<
=
implica que processo inicialmente no estado i, pode nunca alcanar o
estado j. Quando
( )
1 f
1 n
n
ij
=
=
,
( ) n
ij
f pode ser considerado como a distribuio de
probabilidade para a varivel randmica Tempo de Primeira Passagem.
O Tempo de Primeira Passagem Esperado
ij
pode ser definido por:

( )
( ) ( )
=
<
=

=
=
1 n
n
ij
1 n
n
ij
1 n
n
ij
ij
1 f se nf
1 f se

(88)

Sempre quando
( )
1 f
1 n
n
ij
=
=
,
ij
unicamente satisfaz a equao:

+ =
j k
kj ik ij
p 1
(89)

Exemplo: Tempo de Primeira Passagem Esperado para o estoque da loja de cmeras a partir
do estado 3 (estoque cheio) para o estado 0 (estoque vazio):

30 13 20 12 10 11 10
30 23 20 22 10 21 20
30 33 20 32 10 31 30
p p p 1
p p p 1
p p p 1
+ + + =
+ + + =
+ + + =

(90)

Substituindo valores, fica:

10 10
20 10 20
30 20 10 30
368 . 0 1
368 . 0 368 . 0 1
368 . 0 368 . 0 184 . 0 1
+ =
+ + =
+ + + =

(91)

Resolvendo (91), fica:

semanas 50 . 3
semanas 51 . 2
semanas 58 . 1
30
20
10
=
=
=

(92)

Assim, o tempo esperado para o estoque ficar vazio, a partir de estar cheio de 3.50
semanas.
Quando i = j,
jj
o Tempo de Recorrncia Esperado para o estado j. De posse
das probabilidades de estado estveis
j
, o Tempo Esperado de Recorrncia pode ser
calculado como:

M ,..., 1 , 0 j para
1
j
jj
=
=
(93)

Exemplo: Tempo de Recorrncia Esperado para o estoque da loja de cmeras.

semanas 50 . 3
1
0
00
=
=
(94)
semanas 51 . 3
1
1
11
=
=
(95)
semanas 80 . 3
1
2
22
=
=
(96)
semanas 02 . 6
1
3
33
=
=
(97)

Os estados em uma Cadeia de Markov podem ser classificados, de maneira anloga a
classificao na seo 2.3, em funo do Tempo de Primeira Passagem, como:

Um estado Transiente se
( )
1 f
0 n
n
jj
<
=
, que implica que =
jj
.
Um estado Recorrente se
( )
1 f
0 n
n
jj
=
=
.
Um estado recorrente Nulo se =
jj
e No-Nulo ou Positivo se <
jj
.
Um estado Ergdico se no-nulo e aperidico.

Consideraes matemticas:

Uma analogia interessante que pode ser feita com a expresso (93) :

f
1
T =
(98)

onde:
T perodo;
f freqncia.

A interpretao da expresso (93) como a expresso (98) possvel porque
jj
o
perodo (tempo) esperado de recorrncia. Com isso pode-se concluir que as probabilidades
de estados estveis
j
podem ser entendidas tambm como freqncias dadas em
ciclos/unidade de tempo.
A unidade de tempo no caso de Cadeia de Markov em tempo discreto passo,
assim a freqncia esperada de recorrncia dos estados dada em ciclos/passo.
Uma vez que o menor perodo de recorrncia para um estado 1 (devido a
considerao de tempo discreto), a maior freqncia possvel 1 ciclo/passo.

Exemplo: uma Cadeia de Markov originou o seguinte vetor de distribuio de
probabilidades a longo perodo:

[ ] [ ] 0 . 0 2 . 0 3 . 0 5 . 0
3 2 1 0
= = (99)

0
possui uma freqncia esperada de recorrncia igual a 0.5 ciclo/passo e
conseqentemente, um perodo esperado de recorrncia 2
00
= passos.

1
conseqentemente, um perodo esperado de recorrncia ... 3333 . 3
11
= passos.

2
conseqentemente, um perodo esperado de recorrncia 5
22
= passos.

3
conseqentemente, um perodo esperado de recorrncia =
33
passos.

Observao: a unidade Hertz (Hz) corresponde a ciclos/segundo, sendo adequado seu uso
apenas quando um passo na Cadeia de Markov corresponde a um segundo.

2.8 Estados Absorventes

Como j visto na seo 2.3.2, um estado k dito ser absorvente se a probabilidade
de transio p
kk
= 1. Desta maneira, uma vez que o processo visita o estado k, este ir
permanecer neste estado indefinidamente. Se k um estado absorvente e o processo inicia
no estado i, a probabilidade de sempre ir para o estado k denominada de probabilidade
de absoro para o estado k dado que o sistema iniciou no estado i, denotada por f
ik
.
Quando h dois ou mais estados absorventes em uma Cadeia de Markov, bvio
que o processo ser absorvido para um destes estados e, portanto, desejvel encontrar
estas probabilidades de absoro.
Seja k um estado absorvente, ento o conjunto de probabilidades de absoro f
ik

satisfaz o seguinte sistema de equaes:

M ,..., 1 , 0 i para f p f
M
0 j
jk ij ik
= =
=

(100)

sujeito as condies:

1 f
kk
=
0 f
ik
= se i um estado recorrente e k i
(101)

Exemplo: Considere a seguinte matriz de transio P:

Estado 0 1 2 3 4
=
1 0 0 0 0
3
1
0
3
2
0 0
0
3
1
0
3
2
0
0 0
3
1
0
3
2
0 0 0 0 1
4
3
2
1
0
P
(102)

A matriz de transio acima P um exemplo de matriz de transio de uma Cadeia
de Markov especfica denominada Random Walk (caminhada randmica). Este processo
estocstico possui a propriedade que o processo estando no estado i, na prxima transio o
processo estar em um dos dois estados imediatamente adjacentes ao estado i (com exceo
dos estados 0 e 4, obviamente).
Dada a matriz P acima, verifica-se facilmente que existem dois estados absorventes:
0 e 4. Os demais estados so todos transientes. Pode-se determinar, por exemplo, qual a
probabilidade de absoro para o estado 0 a partir do estado 2, denominada f
20
? Para isto,
atravs da expresso (100), pode-se escrever que:

40 24 30 23 20 22 10 21 00 20 20
f p f p f p f p f p f + + + + = (103)

Atravs da expresso (101) verifica-se que f
00
= 1 e f
40
= 0, uma vez que o estado 4
um estado absorvente, que por sua vez um caso especfico de estado recorrente. Devido
a estas verificaes a expresso (103) degenera-se em:

30 23 20 22 10 21 20 20
f p f p f p p f + + + = (104)

Nota-se em (104) que se tem uma equao e trs incgnitas (f
10
, f
20
, f
30
). Porm,
pode-se escrever o seguinte sistema:

+ + + + =
+ + + + =
+ + + + =
40 34 30 33 20 32 10 31 00 30 30
40 24 30 23 20 22 10 21 00 20 20
40 14 30 13 20 12 10 11 00 10 10
f p f p f p f p f p f

(105)

Atribuindo valores para f
00
= 1 e f
40
= 0, como em (104), o sistema fica:

+ + + =
+ + + =
+ + + =
30 33 20 32 10 31 30 30
30 23 20 22 10 21 20 20
30 13 20 12 10 11 10 10
f p f p f p p f
f p f p f p p f
f p f p f p p f

(106)

Tem-se ento um sistema com trs equaes e trs incgnitas. Resolvendo este
sistema, obtm-se o valor de
5
4
f
20
= , ou seja, a probabilidade do processo estagnar no
estado 0 a partir do estado 2. Conseqentemente, a probabilidade do processo estagnar no
estado 4 a partir do estado 2
5
1
f
24
= . Tais probabilidades tambm podem ser verificadas
elevando a matriz P a valores de potncia grandes (com um alto custo computacional).
Para este exemplo, calculou-se P
10000
e verificou-se, por induo que
( )
P :

Estado 0 1 2 3 4
( )
1 0 0 0 0
15
7
0 0 0
15
8
5
1
0 0 0
5
4
15
1
0 0 0
15
14
0 0 0 0 1
4
3
2
1
0
P
(107)

Os valores nesta matriz indicam as probabilidades de absoro para os estados 0 e 4.

2.9 Cadeias de Markov em Tempo Contnuo

Este item no ser abordado nestas notas de aula.

FONTE: Hiller & Lieberman, CAP. 16


Exerccios - Cadeias de Markov
qualquer erro, favor enviar e-mail para fernando.nogueira@ufjf.edu.br

1) A Distribuio de Poisson dada abaixo representa um processo estocstico?

( )
( )
! r
e t
r P
t r
t

=

2) Explique as equaes de Chapman-Kolmogorov. Qual a sua importncia?

3) Explique porque
( )
=0 n
n
ij
f pode ser <1 ? Qual a classificao do estado i se
( )
<
=0 n
n
ii
1 f ?

4) Seja P uma matriz de transio dada por:

=
4 . 0 0 6 . 0
1 . 0 8 . 0 1 . 0
5 . 0 2 . 0 3 . 0
P

Qual
( )
P ?

5) A matriz de transio abaixo pertence a uma Cadeia de Markov que representa o
processo de um cliente que comprou uma das 4 marcas possveis de cerveja (0, 1, 2, 3) no
instante n e ir comprar cada uma das marcas no instante n + 1 sob a condio que
realmente em cada etapa de transio ele ir comprar o produto.

=
6688 . 0 0 1232 . 0 2080 . 0
0068 . 0 7397 . 0 2535 . 0 0
1041 . 0 0 7547 . 0 1412 . 0
0123 . 0 1844 . 0 0 8033 . 0
P

a) O que significa
( ) 16
31
P ? Qual o seu valor?
b) Quais as Probabilidades de Estado-Estvel da Cadeia de Markov dada? Quais
interpretaes so possveis sobre tais probabilidades?

6) Seja P uma matriz de transio dada por:

=
0 25 . 0 75 . 0
5 . 0 5 . 0 0
0 5 . 0 5 . 0
P

Calcule
( ) 5
20
f ,
02
e
12

7) Classifique os estados das Cadeias de Markov abaixo, de acordo com as suas respectivas
Matrizes de Transio.
a)
Estado 0 1 2
=
0
2
1
2
1
2
1
0
2
1
2
1
2
1
0
2
1
0
P

b)
Estado 0 1 2 3 4 5
=
0 0 0 0 0 1
0 0 0 0 0 1
0 0 0 0 0 1
3
1
3
1
3
1
0 0 0
3
1
3
1
3
1
0 0 0
0 0 0
2
1
2
1
0
5
4
3
2
1
0
P

c)
Estado 0 1 2
=
0 0 1
1 0 0
0 1 0
2
1
0
P

8) O setor de vendas de Whisky de uma loja vendeu 600.000 caixas no trimestre passado.
Existem no mercado as firmas X, Y, Z e Outras que venderam respectivamente 240.000,
180.000, 120.000 e 60.000 caixas. A empresa Z resolve lanar uma nova marca de Whisky
com um preo aproximadamente igual ao dos concorrentes acompanhada de uma forte
divulgao que ir custar L milhes de $ e que ir produzir a seguinte matriz de transio
para um perodo de 3 meses.

Estado X Y Z Outras
=
4 . 0 2 . 0 2 . 0 2 . 0
05 . 0 9 . 0 03 . 0 02 . 0
05 . 0 05 . 0 8 . 0 1 . 0
1 . 0 1 . 0 1 . 0 7 . 0
Outras
Z
Y
X
P

Se o aumento de 1% na participao no mercado representa um lucro lquido de k
milhes de $ por perodo, qual deve ser o valor de k em funo de L para justificar esse
lanamento e divulgao se essa matriz de transio vale para um ano? Faa a anlise
apenas para esses 4 perodos trimestrais.

9) Uma mquina de uma linha de produo pode assumir os seguintes estados:


Atravs de dados histricos, a matriz de transio (ms a ms) para esta maquina :

Estado 0 1 2 3
=
1 0 0 0
2
1
2
1
0 0
8
1
8
1
4
3
0
16
1
16
1
8
7
0
3
2
1
0
P

De acordo com o estado da mquina, algumas decises podem ser tomadas com
respectivos custos: Substituir a mquina por uma outra nova demanda 1 semana para ser
realizada esta operao e a produo perdida neste perodo a um custo de $2.000,00 e o
custo da mquina nova $4.000,00. Quando a mquina opera no estado 1, h um custo de
$1.000,00 e quando a mquina opera no estado 2, h um custo de $3.000,00, ambos devido
produo de itens defeituosos. Realizar manuteno na mquina no vivel quando esta
se encontra no estado 3. A manuteno no melhora em nada a capacidade de operao da
mquina quando esta se encontra nos estados 0 e 1. A manuteno da mquina faz com que
esta retorne ao estado 1, quando esta est operando no estado 2 a um custo de $2.000,00 e a
produo perdida por 1 semana. No permitido manter a mquina no estado 3.
Qual a poltica tima de manuteno desta mquina ? Utilize o mtodo de
enumerao exaustiva.
Obs: a resoluo deste exerccio exige os conceitos tratados em Processos Markovianos de
Deciso (no consta nestas notas de aula).

10) Formule o exerccio 9 como um problema de Programao Linear

Respostas

1) Sim, porque P
t
(r) representa uma coleo de variveis randmicas indexadas por um
parmetro t, dentre outros.

Estado Condio
0 operao normal (mxima produo)
1 operao com baixa perda de produo
2 operao com alta perda de produo
3 inoperante

2) De acordo com o texto.

3) Se existe a probabilidade do estado i nunca alcanar o estado j, ento
( )
<
=0 n
n
ij
1 f . Neste
caso,
( ) n
ij
f no pode ser tido como a distribuio de probabilidade para a varivel randmica
Tempo de Primeira Passagem. Se
( )
<
=0 n
n
ii
1 f o estado i transiente.

4) Uma vez que P uma matriz duplamente estocstica, ento:

( )
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
P

5.a)
( )
3057 . 0 P
16
31
= a probabilidade de um consumidor sendo comprador da marca 3 ser
comprador da marca 1 aps 16 passos.
5.b) [ ] 1137 . 0 2407 . 0 3058 . 0 3398 . 0 =
j
a probabilidade de encontrar o processo no estado j a longo perodo.
Pode tambm ser interpretada como a frao do tempo em que o processo permanece no
estado j.

6)
( )
0.03515625 f
5
20
=

=
=
+ =
+ + =
+ + =
+ + =
2
4
5 . 0 1
5 . 0 5 . 0 1
p p 1
p p 1
12
02
12 12
12 02 02
12 11 02 10 12
12 01 02 00 02

7.a) Todos estados Ergdicos
7.b) Todos os estados so recorrentes, peridicos (perodo m = 3) e no-nulos.
7.c) Todos os estados so comunicantes e a cadeia irredutvel. Processo peridico com
perodo m = 3.

8)
( )
[ ] 1 . 0 2 . 0 3 . 0 4 . 0
600000
60000
600000
120000
600000
180000
600000
240000
0
=
=

( ) ( )
[ ] 105 . 0 255 . 0 306 . 0 334 . 0 P
0 1
= =
( ) ( )
[ ] 1034 . 0 2992 . 0 3069 . 0 2905 . 0 P
1 2
= =
( ) ( )
[ ] 1007 . 0 3344 . 0 3042 . 0 2607 . 0 P
2 3
= =
( ) ( )
[ ] 0983 . 0 3624 . 0 2996 . 0 2397 . 0 P
3 4
= =

O aumento de vendas de Whisky da marca Z para estes 4 trimestres :

( )
% 5 . 5 055 . 0 2 . 0 255 . 0
1
Z
= =
( )
% 92 . 9 0992 . 0 2 . 0 2992 . 0
2
Z
= =
( )
% 44 . 13 1344 . 0 2 . 0 3344 . 0
3
Z
= =
( )
% 24 . 16 1624 . 0 2 . 0 3624 . 0
4
Z
= =

4510 . 0 1624 . 0 1344 . 0 0992 . 0 055 . 0 = + + +

Se 1% resulta em lucro por trimestre de k milhes de $, ento tem-se para o ano
todo um acrscimo no lucro de 45.1k milhes de $.

Concluso

Se 45.1k - L > 0 o lanamento deve ser feito.
Se 45.1k - L < 0 o lanamento no deve ser feito.
Se 45.1k = L indiferena

9)

Deciso Ao Estado
s
Custo Esperado
devido Produo
de itens com
defeito
Custo
manuteno
Custo de
perda da
produo
Custo
total por
semana
0 0,00 0,00 0,00 0,00
1 1.000,00 0,00 0,00 1.000,00
1 No fazer
nada
2 3.000,00 0,00 0,00 3.000,00
2 Manuteno 2 0,00 2.000,00 2.000,00 4.000,00
1 0,00 4.000,00 2.000,00 6.000,00
2 0,00 4.000,00 2.000,00 6.000,00
3 Substituir
3 0,00 4.000,00 2.000,00 6.000,00

Poltica Descrio Verbal d
0
(R) d
1
(R) d
2
(R) d
3
(R)
R
a
substituir no estado 3 1 1 1 3
R
b
substituir no estado 3, manuteno no estado 2 1 1 2 3
R
c
substituir no estado 2 e 3 1 1 3 3
R
d
substituir no estado 1, 2 e 3 1 3 3 3

R
a

Estado 0 1 2 3
=
0 0 0 1
2
1
2
1
0 0
8
1
8
1
4
3
0
16
1
16
1
8
7
0
3
2
1
0
P

R
b

Estado 0 1 2 3
=
0 0 0 1
0 0 1 0
8
1
8
1
4
3
0
16
1
16
1
8
7
0
3
2
1
0
P

R
c

Estado 0 1 2 3
=
0 0 0 1
0 0 0 1
8
1
8
1
4
3
0
16
1
16
1
8
7
0
3
2
1
0
P

R
d

Estado 0 1 2 3
=
0 0 0 1
0 0 0 1
0 0 0 1
16
1
16
1
8
7
0
3
2
1
0
P

C
jk
(em milhares de $) Deciso
Estado 1 2 3
0 0 - -
1 1 - 6
2 3 4 6
3 - - 6

Poltica Probabilidades de Estado-Estvel
( )
3 2 1 0
, , ,
E[C] (em milhares de $)
R
a
13
2
,
13
2
,
13
7
,
13
2
( ) ( ) ( ) ( ) [ ] 00 , 923 . 1 $
13
25
6 2 3 2 1 7 0 2
3
1
= = + + +
R
b

21
2
,
21
2
,
7
5
,
21
2
( ) ( ) ( ) ( ) [ ] 00 , 667 . 1 $
21
35
6 2 4 2 1 15 0 2
21
1
= = + + +
R
c

11
1
,
11
1
,
11
7
,
11
2
( ) ( ) ( ) ( ) [ ] 00 , 727 . 1 $
11
19
6 1 6 1 1 7 0 2
11
1
= = + + +
R
d

32
1
,
32
1
,
16
7
,
2
1
( ) ( ) ( ) ( ) [ ] 00 , 000 . 3 $
32
96
6 1 6 1 6 14 0 16
32
1
= = + + +

Com isso, a poltica tima R
b
que : substituir no estado 3, manuteno no estado 2.

10)

( )
+ +
=
+ + + +
=
+ + +
= + +
= + + + + + +
+ + + + + =
0 y
0 y
2
1
y
8
1
y
16
1
y
0 y
2
1
y
8
1
y
16
1
y y y
0 y y
4
3
y
8
7
y y
0 y y y y
1 y y y y y y y
: a Sujeito
y 000 . 6 y 000 . 6 y 000 . 4 y 000 . 3 y 000 . 6 y 000 . 1 Z Minimize
ik
21 11 01 33
21 11 01 23 22 21
22 11 01 13 11
33 23 13 01
33 23 22 21 13 11 01
33 23 22 21 13 11

Cadei A Markov

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Cadei A Markov

Enviado por

Direitos autorais:

Formatos disponíveis

Modelagem e Simulao - Cadeias de Markov

Notas de Aula - Fernando Nogueira 1

) tendo uma distribuio de Poisson com

Duas variveis aleatrias so independentes se ( ) ( ) ( ) ( ) ( ) B P . A P B P . B A P B A P = = .

, que por sua vez, implica na existncia de

166 . 0 263 . 0 285 . 0 286 . 0

em funo da classificao da cadeia.

obtido atravs de:

Você também pode gostar