UFPA - ENGCOMP

Avaliação de Desempenho

Cadeias de Markov
(Continuação)

Prof. Renato Francês

Mestrando Marcelino Silva
 Classificação de estados

Seja

{X(n), n=0,1,2,...} uma cadeia de Markov

Se existe um inteiro n ≥1 tal que pnij>0 , então o
estado j pode ser alcançado a partir do estado i,
ou j é acessível a partir de i, ou i pode atingir j.

Notação: i → j
 Classificação de estados

Se i →j e j → i, então existe os inteiros m ≥0 e n

≥0 tal que pmij>0 e pnji>0 .

Diz-se então que i e j se comunicam (i↔j).

Se i↔j e j↔k, então i↔k

Prova: Se pmij>0 e pnjk>0, então a partir da
equação de Chapman-Kolmogorov

∞
pm+ n
ik =∑p p ≥ p p >0
m
il
n
lk
m
ij
n
jk
l =0
 Classificação de estados

Um conjunto de estados é chamado fechado se

nenhum estado fora dele pode ser alcançado por
qualquer estado dentro dele.

Um estado que forma sozinho um conjunto
fechado é chamado absorvente.

Se o estado i é absorvente então pii=1
 Classificação de estados

Um conjunto de estados é chamado irredutível

se nenhum subconjunto próprio dele é fechado.

Um conjunto fechado onde todos os estados se
comunicam é chamado de classe de comunicação
fechada.

Uma cadeia de Markov é irredutível se seu único
conjunto fechado é o conjunto I de todos os seus
estados
 Classificação de estados

Seja:
n
f = P{ X (n) = j , X (r ) ≠ j ,
ij

r = 1,2,..., n − 1 / X (0) = i} ∀i, j

Probabilidade da primeira passagem

Define-se ∞
f ij = ∑ f n
ij
n =1

Probabilidade de transição eventual do estado

i para o j
 Classificação de estados

Se

f ii = 1
O estado é chamada de recorrente (o sistema
volta para o estado i com probabilidade 1)

Caso contrário

f ii < 1
O estado é chamada de transiente
 Classificação de estados

Condição necessária para identificar estados

recorrentes e transientes.

Seja o estado i;

i é recorrente se e somente se
∞

∑p
n =1
n
ii =∞
∞

Caso contrário, ele é transiente ∑p
n =1
n
ii <∞
 Classificação de estados
Exemplo: 1
 1 0  0 1
P= 
1 / 2 1 / 2  1/2
∞ 1/2
∑ 00
p n

n =1
= 1 + 12
+ 13
+ .... = ∞
∞
O estado 0 é recorrente
f 00 = ∑ f 00n = f 001 = 1
O estado 1 é transiente
n =1
2
∞
1 1 1/ 2
∑
n =1
n
p = +   + .... =
11
2 2 1 −1/ 2
=1< ∞
∞
f11 = ∑ f11n = f111 = 1 / 2
n =1
 Classificação de estados

O estado i tem período d(i) se d(i) é o maior
divisor comum de n≥1 tal que pnii>0.

Se d(i)=1, o estado i é aperiódico.

Se d(i)≥2, o estado i e periódico.

Se i↔j;então d(i) = d(j).
 Classificação de estados
Exemplo: 1
1
0 1 2 0
0 0 1 0
P=  1
1 0 0 1
2
2 1 0 0 1

A cadeia é irredutível, pois,0 → 1, 1 → 2 e 2→ 0.

p300= p600= p900 =1.

O período d(0)=3. Além disso, d(0)= d(1)= d(2)=3
 Classificação de estados

Os estados recorrentes
podem ser classificados
∞
em:
Recorrente positivo (não nulo) µ j = ∑ nf jjn < ∞
n =1

Recorrente nulo ∞
µ j = ∑ nf jjn = ∞
n =1

Tempo médio de recorrência (µj)

 Classificação de estados

Se o estado i é recorrente e i ↔ j, então j é

recorrente.

Uma cadeia de Markov irredutível é
recorrente ou transiente.

Se uma CMTD é irredutível, aperiódica e com
todos os estados i sendo recorrentes não nulos, a
cadeia é chamada de Ergódica.
 Classificação de estados

Se a CMTD é ergódica então existe um vetor
de probabilidades limites independente do
vetor de probabilidades inicial que é solução
única para:

~ ~
π = π (0) P
Resumo: Classificação de estados
 Cadeia de Markov a tempo
contínuo
Definição

O processo estocástico {X(t), t≥0} é uma cadeia de
Markov a tempo contínuo se

P{ X (t ) = x / X (t1 ) = x1 , X (t2 ) = x2 ,..., X (tn ) = xn } =

P{ X (t ) = x / X (tn ) = xn },

para todo 0≤t1 <t2<...< tn<t

 Definição
Para todo t,u ≥0

pij (t ) = pij (0, t ) = P{ X (u + t ) = j / X (u ) = i} =

P{ X (t ) = j / X (0) = i}, ∀u ∈ T

Probabilidade de transição da CMTC

A cadeia não depende do tempo inicial, mas somente
dos tempos transcorridos e dos estados inicial e final
i e j;
 Gerador infinitesimal

A matriz cujas entradas são as taxas de
transição entre os estados da cadeia

 q00 q01 .

Q = [qij ] =  q10 
q11 .
 . . .
 Gerador infinitesimal

qii + ∑ qij = 0
j ≠i

qii = −∑ qij
j ≠i

qii é a taxa total de saída do estado i

qij é a taxa no qual a cadeia se move de i para j
 Distribuição Limite

No estado de equilíbrio o limite é independente

de t;

Independente do vetor π(0), isto é, das
condições iniciais;

Estritamente positivo

É dado como

π i = lim π i (t ) = lim p ji (t )
t →∞ t →∞
 Distribuição Limite
Se a CMTC for ergódica, o vetor de
probabilidades limite pode ser calculado como:

~
0 = πQ
Condição de normalização

∑ i
~ =1
π
 Cadeia de Markov a tempo
contínuo

Exemplo

n
λi −1
πn = π0∏
i =1 µ i