Classes de comunicação

• O espaço de estados S pode ser decomposto numa união de

conjuntos disjuntos,
S = ∪Ci ,
sendo estes conjuntos disjuntos, classes de estados
comunicantes; em casos raros, poderão existir conjuntos de
pontos isolados que não são classes de comunicação (estados
de não retorno); são situações raras e completamente
artificiais e sem interesse.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 1 / 19
Classes fechadas

Uma classe diz-se fechada se não houver possibilidade de sair dela,

ou seja, se a cadeia alguma vez entrar nela ficará dentro dela
eternamente; neste caso, a entrada na classe faz com que os outros
estados percam todo o interesse. Poderemos assim considerar uma
nova Cadeia de Markov cuja matriz é a submatriz dos estados
dessa classe.
Uma classe diz-se aberta se estando a cadeia nela, existir uma
possibilidade de fuga para outra classe.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 2 / 19
Tempo de Primeira passagem

• Seja j ∈ S e consideremos a v.a. que representa o primeiro

instante de passagem pelo estado j,
Tj = min{n ∈ N : Tn = j}; Tj ∈ N ∪ {+∞}
P(Tj = +∞)=P(o estado j nunca mais ser visitado)
• Seja
(n)
fi,j = P(Tj = n|X0 = i) =
=P(Xn = j ∧ Xv ̸= j, 1 ≤ v ≤ (n − 1)|X0 = i).
(1) (n) (n)
Óbvio que, fi,j = pi,j e que fi,j ≤ pi,j pois que no cálculo de
(n)
fi,j somamos as probabilidades de todas as trajetórias que
partindo do estado i atingem o estado j pela primeira vez ao
(n)
fim de n passos enquanto que no cálculo de pi,j
contabilizamos todas as trajetórias que partindo de i atingem
j ao fim de n passos. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 3 / 19
Tempo de primeira passagem

∑
• Denotamos por fi,j = +∞ (n)
n=1 fi,j = P(Tj ≤ +∞|X0 = i) e
representa a probabilidade de partindo do estado i alguma vez
atingirmos o estado j.
• 1 − fi,j = fi,j (+∞) = P(Xn ̸= j, ∀n|X0 = i).
• Nota: i pode ser igual a j, ou seja, pode-se falar em fi,i(n) , ou
seja, na probabilidade de partindo de i retornar a i pela
primeira vez ao fim de n passos.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 4 / 19
Tempo de primeira passagem

(n)
∑
n
(v ) (n−v )
pi,j = fi,j × pj,j
v =1

Demonstração:
(n)
pi,j = P(Xn = j|X0 = i) = P(Xn = j ∩ (∪+∞ v =1 Tj = v )|X0 = i) =
∑nn = j ∩ (∪v =1 Tj = v )|X0 = i) =
=P(X n

∑ = v =1 P(Xn = j ∩ Tj = v |X0 = i) =
= nv =1 P(Tj = v |X0 = i) × P(Xn = j|X0 = i ∩ Tj = v ) =
∑ (v )
= nv =1 fi,j ×P(Xn = j|X0 = i ∩X1 ̸= j ∩. . .∩Xv −1 ̸= j ∩Xv = j) =
∑ (v ) ∑ (v ) (n−v )
= nv =1 fi,j × P(Xn = j|Xv = j) = nv =1 fi,j × pj,j .

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 5 / 19
Tempo de primeira passagem

(n)
Seja hi,j = P(Xn = j ∩ Xv ̸= i, 1 ≤ v ≤ (n − 1)|X0 = i).
Por razões análogas às já aludidas,
(1) (n) (n)
hi,j = pi,j ∧ hi,j ≤ pi,j , ∀n ∈ N.
(n) ∑ (v ) (n−v )
Deduz-se que pi,j = nv =1 pi,i × hi,j .
∑ (v )
Poderemos então considerar hi,j = +∞ v =1 hi,j .

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 6 / 19
Tempo de primeira passagem

Teorema - Se i → j, então fi,j > 0 e vice-versa. (ou hi,j > 0).

Dem: Repare que se
fi,j = 0 ⇒ ∀n ∈ N, fi,j (n) = 0 ⇒ ∀n ∈ N, pi,j (n) = 0 ⇒ i ↛ j.
Por outro lado, se
fi,j > 0 ⇒ ∃n ∈ N, fi,j (n) > 0 ⇒ ∃n ∈ N, pi,j (n) > 0 ⇒ i → j.
No cômputo geral da vida de uma Cadeia de Markov existem
questões de fundo que superam a transiência de um tempo finito:
que estados a cadeia visita infinitas vezes?
Depois de um período inicial de comportamento algo irregular será
que a cadeia passa a ter um comportamento probabilístico regular,
será que a cadeia deixa de visitar determinados estados?
Se assim for, esses estados a partir de uma certa idade deixam de
ter importância.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 7 / 19
Tempo de primeira passagem

Se considerarmos Nk (n) o número de vezes que a cadeia visitou o

estado k nos primeiros n instantes, que valor terá limn→+∞ Nkn(n) ?
Para que estados este valor será nulo?
É condição necessária mas não suficiente que

gj,k = P(Nk (+∞) = +∞|X0 = j) =

=P(Nk (+∞) − Nk (m) = +∞|Xm = j) > 0, m ∈ N, j, k ∈ S,

para que a percentagem de tempo que a cadeia passa no estado j

não seja nula no "long run".
É simples verificar que gk,k = limn→+∞ (fk,k )n e que
gj,k = fj,k × gk,k . Assim, gk,k = 1 ou gk,k = 0, consoante fk,k = 1
ou fk,k < 1, e isto impõe uma dicotomia aos estados fundamental,
em estados de retorno certo e estados de retorno incerto.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 8 / 19
Estados recorrentes e transientes

• Uma forma eficiente de deduzirmos os nossos teoremas é

considerarmos as séries de potências associadas às sucessões
(n) (n) (n)
fi,j , pi,j e hi,j e o Teorema de Abel:
∑ (n) ∑+∞ (n)
Pi,j (z) = +∞ n=0 pi,j × z , Fi,j (z) =
n
n=1 fi,j × z e
n
∑+∞ (n)
Hi,j (z) = n=1 hi,j × z n ,
com a habitual convenção de pi,j (0) = δi,j .
• Estas séries são absolutamente convergentes para |z| < 1 já
que são dominadas por séries geométricas convergentes.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 9 / 19
Estados recorrentes e transientes

Recordemos então o Teorema de Abel:

Se
∑+∞
cn ≥ 0, ∀n ∈ N0 ∧ c(z) = n=0 cn × zn

é absolutamente convergente para |z| < 1, então

∑
limz→1 C (z) = +∞n=0 cn .

No intervalo de convergência das séries de potências:

∑ ∑n (v ) (n−v ) v n−v
Pi,j (z) = δi,j + +∞n=1 [ v =1 fi,j × pj,j ]z z =
∑+∞ (v ) v ∑+∞ (n−v ) n−v
δi,j + v =1 fi,j z [ n=v pj,j z ]=
= δi,j + Fi,j (z) × Pj,j (z).

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 10 / 19
Estados recorrentes e transientes

• Se i ̸= j, Pi,j (z) = Fi,j (z) × Pj,j (z). Analogamente se prova

que para i ̸= j, Pi,j (z) = Pi,i (z) × Hi,j (z).
• Se i = j, a igualdade anterior diz que:
Pi,i (z) = 1 + Fi,i (z) × Pi,i (z) ⇐⇒ Pi,i (z) = 1
1−Fi,i (z) .
• Aplicando limites quando z → 1 a ambos os lados da
igualdade e tendo em atenção o Teorema de Abel, vê-se que:
∑+∞ (n)
fi,i = 1 ⇐⇒ n=0 pi,i = +∞;
∑+∞ (n)
fi,i < 1 ⇐⇒ n=0 pi,i < +∞
.
• Dizemos que um estado é recorrente se fi,i = 1, ou seja, um
estado que estando nele existe a certeza que retornaremos a
ele, e chamamos transiente a um estado em que essa certeza
não existe. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 11 / 19
Estados recorrentes e transientes

Existem duas maneiras de analisar a natureza de um estado i. Ou

(n)
determinando o termo geral pi,i e apenas temos de saber a
natureza desta série de termos não negativos (relembrar os
critérios para séries de termos não negativos) ou então achar a
(n)
soma da série cujo termo geral é fi,i . É óbvio que nos estados
recorrentes o número de retornos ao estado se partirmos dele é
infinito com probabilidade 1 enquanto nos estados transientes este
acontecimento é impossível, ou seja, partindo dele o número de
retornos pode ser enorme mas necessariamente finito.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 12 / 19
Estados transientes e recorrentes

Teorema- Imaginemos um estado j transiente;

∑ (n) (n)
∀i ∈ S, +∞ n=0 pi,j < +∞ e consequentemente limn→+∞ pi,j = 0.
∑+∞ (n) (n)
Dem: Vimos atrás que n=0 pj,j < +∞; logo limn→+∞ pj,j = 0
pelo critério geral de convergência. Portanto, o Teorema está
provado para i = j.
Seja

i ∈ S : i ̸= j. Pi,j (z) = Fi,j (z) × Pj,j (z) ⇒

∑+∞ (n)
⇒ Pi,j (1) = n=0 pi,j = Fi,j (1) × Pj,j (1) =
∑+∞ (n) ∑+∞ (n) ∑+∞ (n)
[ n=1 fi,j ] ×[ n=0 pj,j ] ≤ n=0 pj,j < +∞.
(n)
Logo, para j transiente limn→+∞ pi,j = 0.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 13 / 19
Classes recorrentes e transientes

Imaginemos dois estados comunicantes i e j. Sabemos que:

(m´)
∃m´ ∈ N : pi,j > 0;
(m)
∃m ∈ N : pj,i > 0.
(m+n+m′ ) (m) (n) (m´)
∀n ∈ N, pj,j ≥ pj,i × pi,i × pi,j .

Logo,
∑+∞ (n) ∑+∞ (m+n+m′ ) (m´) ∑ (n) (m)
n=0 pj,j ≥ n=0 pj,j ≥ (pj,i ) × [ +∞
n=0 pi,i ] × (pi,j ).
∑ (n) ∑+∞ (n)
Se i é recorrente, então +∞n=0 pi,i = +∞; logo, n=0 pj,j = +∞
e j é um estado recorrente também.
Logo concluímos que 2 estados comunicantes têm que ter
obrigatoriamente a mesma natureza.
Assim falamos não em estados recorrentes ou transientes mas sim
em classes recorrentes ou transientes. . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 14 / 19
Classes recorrentes e transientes

• Vejamos de seguida que uma classe recorrente é

necessariamente fechada.
• Imaginemos que o estado i é recorrente e i → j. Se j = i é
óbvio que j é recorrente. Se j ̸= i
,
Pi,j (z) = Fi,j (z) × Pj,j (z) = Pi,i (z) × Hi,j (z).
Assim,
Pi,i (z) Fi,j (z)
Pj,j (z) = Hi,j (z) .
• Fazendo z → 1,
∑ (n) ∑+∞ (n)
Fi,j (1) = +∞
n=1 fi,j > 0 ∧ Hi,j (1) = n=1 hi,j > 0 ∧ Pi,i (1) =
∑+∞ (n)
= n=0 pi,i = +∞ ⇒ j é recorrente.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 15 / 19
Classes recorrentes e transientes
• Seja j um estado recorrente e seja i um estado não
pertencente a C (j) e tal que j → i.
Pelo que foi dito no slide anterior i é recorrente.
P(A) = P(A ∩ B) + P(A ∩ B̄) ≤ P(A ∩ B) + P(B̄).
Seja
A- passar por j infinitas vezes.
B- entrar em i pelo menos uma vez.
• Se X0 = j,
P(A) = gj,j , P(A ∩ B) = fj,i × gi,j e P(B̄) = 1 − fj,i .
• Assim,
P(A) = gj,j = 1 ≤ fj,i × gi,j + 1 − fj,i ⇔ gi,j ≥ 1 ⇔ gi,j = 1.
Como fi,j ≥ gi,j ⇔ fi,j = 1, o que implica que é possível ir de i
para j o que é um absurdo, pois supusemos que i e j não
comunicavam. Logo, i ∈ C (j) e concluímos que uma classe
recorrente é sempre fechada. .
.
.
.
.
. . . . .
. . . .
. . . .
. . . .
. . . .
. . . . .
.
.
.
.
.
.
.
.
.

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 16 / 19
Classes recorrentes e transientes

• Teorema- Se S é finito e forma uma única classe (cadeia

irredutível) é necessariamente recorrente.
Dem: Suponha o contrário. Seja i ∈ S, i transiente. Então,
qi,i = 0. Por outras palavras, o tempo que a cadeia passará
neste estado é necessariamente finito. Mas como o número de
estados é finito, a soma finita de parcelas finitas é um número
finito. Mas o tempo é infinito! Para onde vou então?
• Corolário 1- Se S é finito tem que haver pelo menos uma
classe recorrente.
• Corolário 2- Se S é finito e C é uma classe fechada tem que
ser necessariamente recorrente.
Dem: Se a cadeia entra nela fica lá eternamente por ser
fechada. Como é finita tem que ser recorrente.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 17 / 19
Classes recorrentes e transientes

Conclusão:
• Classes abertas são sempre transientes.
• Classes fechadas com um número finito de estados são sempre
recorrentes.
• Classes fechadas com um número infinito de estados nunca se
sabe; tem que se escolher um estado qualquer, calcular fi,i e
verificar a sua natureza.
• Um estado recorrente i diz-se nulo se
∑ (n)
mi,i = +∞
n=1 n × fi,i = +∞.
Se a série anterior (denominada tempo médio de retorno) fôr
convergente o estado recorrente diz-se de positivo.
OK, o retorno é certo nos estados recorrentes, mas daqui a
quanto tempo se dá em termos médios.
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 18 / 19
Classes recorrentes e transientes

Existem estados em que o tempo médio de retorno é enorme

(imaginem o tempo que uma estrela demora a explodir ou a
tornar-se inerte) e nos recorrentes nulos é maior que qualquer
quantidade finita que possamos imaginar. Apesar de o retorno ser
certo.
Com certeza que nos estados transientes havendo massa de
probabilidade em +∞ no tempo de retorno o seu valor médio será
também +∞, ou seja, mi,i = +∞.

. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .

Fernando Sequeira FCUL-DEIO

Cadeia de Markov em Tempo Discreto 19 / 19