Decomposição Do Espaço de Estados - Cadeias de Markov

29/08/2023, 10:57 Decomposição do espaço de estados
III. Decomposição do espaço de

estados
Última atualização: 09 de novembro de 2021.
Seja {Ct } Cadeia de Markov estacionária com espaço de estados S e sejam x, y ∈ S ,
estados da cadeia.
Definição III.1. (Estado acessível).
Dizemos que o estado y é acessível do estado x se ρx,y > 0. Escrevemos x → y.
Por exemplo, na Figura III.1, há uma caminhada do nó 1 ao nó 3, passando pelo nó 2,

então o estado 3 é acessível a partir de 1. Não há nenhuma caminhada do nó 5 ao 3,
então o estado 3 não é acessível a partir de 5. O estado 2 é acessível a partir de si
mesmo, mas o estado 6 não é acessível a partir de si mesmo. Para ver o significado
probabilístico de acessibilidade, suponha que um passeio i0 , i1 , ⋯ , in exista do nó i0
para in . Então, condicionado em C0 = i0 , há uma probabilidade positiva, pi ,i , de 0 1
que C1 = i1 e, conseqüentemente uma vez que pi0 ,i1 > 0 , há uma probabilidade
positiva de C2 = i2 . Continuando esse argumento, há uma probabilidade positiva de
que Cn = in , de modo que P (Cn = in |C0 = i0 ) > 0. Da mesma forma, se
P (Cn = in |C0 = i0 ) > 0 , então deve existir uma caminhada de n passos de i0 a in .
(2) (n)
Para concluir o exemplo da Figura III.1, p
1,3
= p1,2 p2,3 > 0 . Por outro lado, p
5,3
= 0
para todo n ≥ 1.
Figura III.1: Representação gráfica de uma Cadeia de Markov de 6

estados; um arco direcionado de i para j é incluído no gráfico se, e somente
se, pi,j > 0.
(n)
Pode-se demonstrar que y é acessível desde x se, e somente se, px,y > 0, para algum
n ≥ 1. Também é possível mostrar que se y for acessível de x e se z for acessível de
y, então z é acessível desde x. Isto implica que esta propriedade dos estados é
transitiva e, assim, se
(n) (m) (n+m)

px,y > 0 e py,z > 0 então px,z > 0⋅
Definição III.2. (Comunicação estre estados).
leg.ufpr.br/~lucambio/CM/CMIII.html 1/24
Dizemos que o estado x se comunica com o estado y se x é acessível do estado y e

se y for acessível do estado x, ou seja, se x → y e y → x. Escrevemos x ⇌ y .
Esta definição introduz uma relação de equivalência no conjunto de estados. Isso

significa, que esta relação satisfaz as seguintes propriedades:
A relação de comunicação é reflexiva, ou seja, x ⇌ x, para todo x ∈ S .

A relação de comunicação é simétrica, ou seja, x ⇌ y se, e somente se, y ⇌ x.
A relação de comunicação é transitiva, ou seja, se x ⇌ y e y ⇌ z então x ⇌ z.
Exemplo III.1.
No Exemplo I.7 temos que a potência 1000 da matriz de probabilidades de

transição é da forma:
> Google^1000
A 5 - dimensional discrete Markov Chain with following states
2 3 4 5
The transition matrix (by rows) is defined as follows
1 2 3 4 5
1 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
2 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
3 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
4 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
5 0.1052632 0.1578947 0.2210526 0.2421053 0.2736842
Assim percebemos que nesta cadeia todos os estados se comunicam.
A relação de equivalência no conjunto S o decompõe em classes de equivalência. Se S

for enumerável, isso significa que S pode ser particionado em subconjuntos
de S de modo que; dois elementos x, y ∈ S tais que
S1 , S2 , S3 , ⋯ x ⇌ y se, e
somente se, eles pertencerem ao mesmo subconjunto da partição.
Se um estado x pertence a Su para algum u, dizemos que x é um representante da

classe de equivalência Su . Para a relação de equivalência específica que estamos
considerando aqui, chamamos cada conjunto Su de uma classe comunicante de P .
Observe, em particular, que quaisquer duas classes comunicantes são iguais ou
disjuntas, e sua união é o conjunto completo de estados.
Uma classe de comunicação é considerada fechada se nenhum estado fora da classe

puder ser alcançado a partir de qualquer estado dentro dela. Portanto, uma vez que a
cadeia de Markov atinge uma classe de comunicação fechada, ela não pode mais
escapar dela. Se o conjunto de pontos únicos {i} compreende uma classe de
comunicação fechada, dizemos que i é um estado absorvente. A cadeia de Markov, ou
matriz estocástica, é chamada de irredutível se S consiste em uma única classe
comunicante.
Teorema III.1
Seja x um estado recorrente e suponha que x se comunica com y. Então, y é

recorrente e ρx,y = ρy,x = 1 .
Demonstração.
Consideremos y ≠ x, caso contrário não teríamos nada a provar. Dado que
Px (Ty < ∞) = ρx,y > 0,
vemos que Px (Ty = n) > 0 para algum inteiro positivo n. Seja n0 o menor de tais
inteiros positivos, isto é, seja
n0 = min {n ≥ 1 : Px (Ty = n) > 0}⋅
(n 0 )
Segue das expressões acima que px,y > 0 e
(m)
px,y = 0, 1 ≤ m < n0 ⋅
(m)
Dado que px,y > 0, podemos encontrar estados y1 , ⋯ , yn 0 −1 tais que
Px (C1 = y1 , ⋯ , Cn 0 −1 = yn 0 −1 , Cn 0 = y) = px,y ⋯ py ,y > 0⋅

1 n −1
0
Nenhum dos estados y1 , ⋯ , yn −1 iguais a x ou y. Se algum deles fosse igual x ou y,

0
seria possível ir de x para y com probabilidade positiva em menos de n0 passos, em

(m)
contradição com px,y = 0, 1 ≤ m < n0 . Vamos agora mostrar que ρy,x = 1.
Suponha que, ao contrário disso, ρy,x < 1. Então, se a cadeia partir de y tem
probabilidade positiva 1 − ρy,x de nunca atingir x. Mais ao ponto, uma Cadeia de
Markov partindo do estado x tem a probabilidade positiva px,y
1
⋯ py
n −1
,y (1 − ρy,x ) de
0
visitar os estados y1 , ⋯ , yn 0 −1 , y sucessivamente nos primeiros n0 tempos e nunca

retornar a x depois do tempo n0 . Mas, se isso acontecer, a Cadeia de Markov nunca
retornará a x a qualquer tempo n ≥ 1, portanto temos uma contradição com a
suposição de que x é um estado recorrente.
(n 1 )
Dado que ρy,x = 1, existe um inteiro positivo n1 tal que γy,x > 0. Agora
(n 1 +n+n 0 )
py,y = Py (Cn 1 +n+n 0 = y)
≥ Py (Cn 1 = x, Cn 1 +n = x, Cn 1 +n+n 0 = y)
(n 1 ) (n) (n 0 )
= py,x px,x px,y ⋅
Portanto,
∞ ∞
(n) (n 1 +n+n 0 )
E y (N (y)) ≥ ∑ py,y = ∑ py,y
n=n 1 +1+n 0 n=1
∞
(n 1 ) (n 0 ) (n) (n 1 ) (n 0 )
≥ py,x px,y ∑ px,x = py,x px,y E x (N (x)) = ∞,
n=1
do qual segue que y é também um estado recorrente.
Desde que y é recorrente e y se comunica com x, vemos da primeira parte da

demonstração do teorema que ρx,y = 1. Isto completa a prova do teorema.
Definição III.3 (Conjunto de estados fechado).
Um conjunto F ⊂ S de estados é dito ser um conjunto fechado se não existirem

estados dentro de F que se comuniquem com qualquer estado fora de F .
Esta definição significa que se F é um conjunto fechado, então
ρx,y = 0, x ∈ F e y ∉ F⋅
De maneira equivalente, F é um conjunto de estados fechado se, e somente se,
(n)
px,y = 0, x ∈ F, y ∉ F e n ≥ 1⋅
Mais ainda, da condição fraca que
px,y = 0, x ∈ F e y ∉ F,
podemos demonstrar que F seja um conjunto de estados fechado. Se a expressão

acima se cumpre, então para ∈ F e y ∉ F temos que
(2)
px,y = ∑ px,z pz,y = ∑ px,z pz,y = 0,
z∈S z∈F
(n)
e a condição px,y = 0, x ∈ F , y ∉ F , n ≥ 1 se cumpre por indução. Significa que, se
F for um conjunto de estados fechados, então a Cadeia de Markov começando em F ,
estará em F o tempo todo com probabilidade um. Se a é um estado absorvente então
o conjunto {a} é fechado.
Definição III.4 (Conjunto de estados irredutível).
Um conjunto F ⊆ S de estados é dito ser um conjunto irredutível se cada estado

x ∈ F se comunica com qualquer outro estado y ∈ F.
Deduzimos, pelo Teorema III.1, que se F for um conjunto de estados irredutível

fechado; então um ou outro: ou todo estado em F é recorrente ou todo estado em F
é transiente.
Teorema III.2
Seja F um conjunto irredutível fechado de estados recorrentes. Então:
(a) ρx,y = 1,
(b) Px (N (y) = ∞) = 1,
(c) E x (N (y)) = ∞,
para todo x, y ∈ F .
Demonstração.
Consequência imediata do Teorema III.1.

Uma Cadeia de Markov irredutível é uma cadeia cujo espaço de estados é irredutível,
ou seja, uma cadeia em que cada estado se comunica de volta consigo e também com
todos os outros estados. Tal Cadeia de Markov é necessariamente quer uma cadeia
transiente ou uma cadeia recorrente. O Teorema III.2 implica, em particular, que uma
Cadeia de Markov irredutível recorrente visita todos seus estados infinitas vezes com
probabilidade um.
Teorema III.3
Seja F um conjunto finito e fechado de estados irredutíveis. Então cada estado em

F é recorrente.
Demonstração.
Sabemos, pelo Teorema II.10 que se S é finito contém pelo menos um estado
recorrente. O mesmo argumento mostra que qualquer conjunto finito de estados
contém, ao menos, um estado recorrente. Seja agora F finito irredutível fechado.
Sabemos que todo estado em F é transiente ou todo estado em F é recorrente e que
F tem, ao menos, um estado recorrente. Segue então que todo estado em F é
recorrente.
Faremos um resumo dos resultados até agora para Cadeias de Markov com espaço de
estados finito. O Teorema III.3 nos disse que se a cadeia for irredutível ela deve ser
recorrente. Se a cadeia não for irredutível, podemos utilizar os Teoremas III.1 e III.3
para identificar quais estados são recorrentes e quais são transientes. Com o exemplo
a seguir mostramos o procedimento de identificação de estados recorrentes e
transientes de duas formas: de maneira teórica e também de maneira numérica.
Exemplo III.2.
Considere uma Cadeia de Markov com espeço de estados S = {0, 1, 2, 3, 4, 5} e

matriz de transição:
1 0 0 0 0 0
⎛ ⎞
1 1 1
⎜ 0 0 0 ⎟
⎜ 4 2 4 ⎟
⎜ 1 2 1 1
⎟
⎜ 0 0 ⎟
⎜ 5 5 5 5 ⎟
P = ⎜ ⎟⋅
1 1 1
⎜ 0 0 0 ⎟
⎜ 6 3 2 ⎟
⎜ ⎟
⎜ 0 1 1 ⎟
0 0 0
⎜ 2 2 ⎟
⎝ 1 3 ⎠
0 0 0 0
4 4
Queremos determinar quais estados são recorrentes e quais estados são

transientes.
Como primeiro passo no estudo, vamos determinar por inspeção quais estados se
comunicam com quais outros. Isto pode ser realizado indicando a matriz da
seguinte forma:
+ 0 0 0 0 0
⎛ ⎞
⎜+ + + + + +⎟
⎜ ⎟
⎜+ + + + + +⎟
P = ⎜ ⎟⋅
⎜ ⎟
⎜ 0 0 0 + + +⎟
⎜ ⎟
⎜ 0 0 0 + + +⎟
⎝ ⎠
0 0 0 + + +
O elemento (x, y) desta matriz é +∞ ou 0 de acordo com ρx,y , se for positivo

ou zero. Isto é, de acordo se x se comunica ou não com y. Claro que, se
p > 0
x,y então ρ > 0. O contrário não é verdade em geral. Por exemplo,
x,y
p = 0 mas
2,0
(2) 1 1 1
p = p2,1 p1,0 = × == > 0,
2,0
5 4 20
portanto, ρ2,0 > 0 .
O estado 0 é absorvente, logo recorrente. Vemos da matriz de + e zeros que

é um conjunto de estados fechado irredutível. Pelo Teorema III.3 este
{3, 4, 5}
resultado implica que os estados 3, 4 e 5 são recorrentes. Os estados 1 e 2

se comunicam com o 0, mas nenhum deles pode ser alcançado desde o 0. Do
Teorema III.1, por negação, temos que os estados 1 e 2 devem ser transientes.
Resumindo, os estados 1 e 2 são transientes e os estados 0, 3, 4 e 5 são
recorrentes.
Neste exemplo, o primeiro tabalho foi identificar quais estados se comunicam. Isto
pode ser realizado utilizando as linhas de comando a seguir:
> library(markovchain)
> Estados = c("0", "1", "2", "3", "4", "5")
> Prob.T=matrix(c(1,0,0,0,0,0,
+ 1/4,1/2,1/4,0,0,0,
+ 0,1/5,2/5,1/5,0,1/5,
+ 0,0,0,1/6,1/3,1/2,
+ 0,0,0,1/2,0,1/2,
+ 0,0,0,1/4,0,3/4), nrow = 6, ncol = 6,byrow=T, dimnames=list(Estados,Estados))
> ProbT = new("markovchain", states=Estados, transitionMatrix=Prob.T, name="Exemplo III.2")
> ProbT
Exemplo III.2
A 6 - dimensional discrete Markov Chain defined by the following states:
0, 1, 2, 3, 4, 5
The transition matrix (by rows) is defined as follows:
0 1 2 3 4 5
0 1.00 0.0 0.00 0.0000000 0.0000000 0.00
1 0.25 0.5 0.25 0.0000000 0.0000000 0.00
2 0.00 0.2 0.40 0.2000000 0.0000000 0.20
3 0.00 0.0 0.00 0.1666667 0.3333333 0.50
4 0.00 0.0 0.00 0.5000000 0.0000000 0.50
5 0.00 0.0 0.00 0.2500000 0.0000000 0.75
> is.accessible(ProbT)
0 1 2 3 4 5
0 TRUE FALSE FALSE FALSE FALSE FALSE
1 TRUE TRUE TRUE TRUE TRUE TRUE
2 TRUE TRUE TRUE TRUE TRUE TRUE
3 FALSE FALSE FALSE TRUE TRUE TRUE
No código acima apresentado utilizamos o comando is.accesible para identificar quais

estados se comunicam e por reposta temos TRUE, caso a resposta seja afirmativa e
FALSE, caso contrário.
Uma outra forma de identificar quais estados são transientes e quais recorrentes é
calculando uma potência elevada da matriz de transição, por exemplo
1 0 0 0 0 0
⎛ ⎞
⎜ 0.6 0 0 0.1 0.03 0.27 ⎟

⎜ ⎟
⎜ 0.2 0 0 0.2 0.07 0.53 ⎟
2000
P = ⎜ ⎟
⎜ ⎟
⎜ 0 0 0 0.25 0.08 0.67 ⎟
⎜ ⎟
⎜ 0 0 0 0.25 0.08 0.67 ⎟
⎝ ⎠
0 0 0 0.25 0.08 0.67
Identificamos que os estados 0, 3, 4 e 5 são recorrentes e, por negação do Teorema

III.1, vemos que se x for recorrente e y transiente, então x não se comunica com y.
Justamente é isso que observamos na matriz anterior dos estados 1 e 2, por isso
concluímos que estes estados são transientes.
Mais ainda, podemos auxiliarmos do pacote de funções markovchain. Neste pacote, a

função transientStates, identifica quais estados são transientes, basta somente
digitar:
> estados = c("0","1","2","3","4","5")
> Prob.T=matrix(c(1,0,0,0,0,0,1/4,1/2,1/4,0,0,0,0,1/5,2/5,1/5,0,1/5,
0,0,0,1/6,1/3,1/2,0,0,0,1/2,0,1/2,0,0,0,1/4,0,3/4),
nrow=6,ncol=6,byrow=T, dimnames=list(estados,estados))
> ProbT = new("markovchain", states=estados, transitionMatrix=Prob.T, name="Exemplo 24")
Para construirmos o objeto markovchain. Nosso objetivo é identificar os estados

transientes, então digitamos:
> transientStates(ProbT)
[1] "1" "2"
obtendo como resposta que os estados 1 e 2, nesta situação, são transientes.

Também, utilizando a função steadyStates, no mesmo pacote, podemos identificar os
estados recorrestes digitando:
> steadyStates(ProbT)
0 1 2 3 4 5
[1,] 0.2303939 4.092618e-16 2.756485e-16 0.1924015 0.06413384 0.5130707
[2,] 1.0000000 0.000000e+00 0.000000e+00 0.0000000 0.00000000 0.0000000
Na primeira linha, onde aparecer um valor zero ou próximo de zero significa que o
estado correspondente não é recorrente. Ou seja, identificamos que os estados 0, 3, 4
e 5 são recorrentes.
Seja S o espaço de estados de uma Cadeia de Markov. Denotaremos por ST o

conjuntos dos estados transientes em S e por SR o conjunto dos estados recorrentes
em S . No Exemplo III.2,
ST = {1, 2} e SR = {0, 3, 4, 5}⋅
Ainda o conjunto SR pode ser decomposto nos conjuntos fechados disjuntos e

irredutíveis de estados F1 = {0} e F2 = {3, 4, 5} . O teorema a seguir mostra que
esta decomposição sempre é possível qualquer seja SR não vazio.
Teorema III.4
Suponha que o conjunto SR de estados recorrentes em S, seja não vazio. Então,

SR é a união finita ou enumerável de conjuntos fechados disjuntos e irredutíveis
F1 , F2 , ⋯.
Demonstração.
Escolhemos x ∈ SR e seja F o conjunto de todos os estados y ∈ SR tais que x

comunica y. Devido a x ser recorrente ρx,x = 1 e, portanto, x ∈ F . Verifiquemos
agora se F é um conjunto fechado e irredutível. Suponhamos que y pertence a F que
y se comunica com z. Devido a y ser recorrente, segue pelo Teorema III.1 que z é
recorrente. Logo, z ∈ F . Isto mostra que F é fechado. Suponhamos agora que y e z

estejam ambos em F . Foi nossa escolha que x fosse recorrente e que se comunica
com y, segue do Teorema 15 que y se comunica com x. Dado que y se comunica com
x e x se comunica com z, concluímos que y se comunica com z. Isto mostra que F é
irredutível.
Para concluir a demonstração devemos provar que se F e D forem dois subconjuntos

fechados irredutíveis de SR então ou são disjuntos ou são idênticos. Suponhamos que
não sejam disjuntos e que exista um estado x que pertença a ambos, x ∈ F e x ∈ D.
Escolhemos um y ∈ F . Sabemos que x se comunica com y, devido a x pertencer a F
e F ser um conjunto irredutível. Dado que D é fechado, x que está em D e se
comunica com y, implica que y está também em D . Logo, todo estado em F está
tamb&eeacuém;m em D . Similarmente, todo estado em D está também em F logo,
F e D são idênticos.
Podemos usar nossa decomposição do espaço de estados de uma Cadeia de Markov

para entender o comportamento de um sistema deste tipo. Se a Cadeia de Markov
começa em um dos conjuntos de estados recorrentes fechados irredutíveis Fi , ela
permanece em Fi para sempre e, com probabilidade um, visita todos os estados Fi
infinitas vezes. Se a Cadeia de Markov começa no conjunto de estados transientes ST ,
ou ela permanece em ST para sempre ou, em algum momento, entra num dos
conjuntos Fi e permanece lá a partir desse momento, mais uma vez visitando todos
os estados em Fi infinitas vezes.
III.1 Probabilidade de absorção
Queremos saber qual a probabilidade de uma cadeia, começando em qualquer estado

x , chegar a um destes conjuntos fechados irredutíveis de estados recorrentes?
Sabemos, pela Definição II.3, que se F for um conjunto fechado de estados

irredutíveis recorrentes então
ρx,F = Px (TF < ∞),
é a probabilidade de que uma Cadeia de Markov a partir de x, eventualmente, visite o

conjunto F .
Desde que a cadeia continue permanentemente em F, uma vez que atinge este
conjunto, chamamos de ρx,F a probabilidade que uma cadeia a partir de x seja
absorvida pelo conjunto F. Logico que ρx,F = 1 , x ∈ F e ρx,F = 0 se x for um estado
recorrente que não esteja em F. Ele não é tão claro como calcular ρx,F para x ∈ ST ,o
conjunto de estados transientes.
Se houver apenas um número finito de estados transientes e, em particular, se S em

si for finito é sempre possível calcular ρx,F , x ∈ ST resolvendo um sistema de
equações lineares em que há tantas equações como incógnitas, ou seja, os elementos
de ST .
Para entender por que este é o caso, observemos que, se a cadeia partir de x, pode
entrar em F apenas entrando em C no tempo 1 ou por estar em ST no tempo 1 e
entrando em F em algum momento futuro. O primeiro evento tem probabilidade
∑
y∈F
px,y e o último evento tem probabilidade ∑
y∈S T
px,y ρy,F . Assim
ρx,F = ∑ px,y + ∑ px,y ρy,F , x ∈ ST ⋅
y∈F y∈S T
A equação acima se cumpre sempre que ST seja finito ou infinito, mas está longe de
ser claro como a resolver para as incógnitas ρ , x ∈ ST quando ST é infinito. Uma
x,F
dificuldade adicional ao fato de ST ser infinto acontece quando a equação acima não
necessariamente tem solução única. Afortunadamente esta dificuldade não acontece
quando ST é finito.
Teorema III.5
Suponhamos que o conjunto dos estados transientes ST seja finito e que F seja o
conjunto fechado irredutível dos estados recorrentes da cadeia. Então, o sistema de
equações
f (x) = ∑ px,y + ∑ px,y f (y), x ∈ ST ,
y∈F y∈S T
tem por solução única
f (x) = ρx,F , x ∈ ST ⋅
Demonstração.
Se a primeira expressão no teorema for válida, então
f (y) = ∑ py,z + ∑ py,z f (z), y ∈ ST ⋅
z∈F z∈S T
Substituindo-a, temos que
f (x) = ∑ px,y + ∑ ∑ px,y py,z + ∑ ∑ px,y py,z f (z)⋅
y∈F y∈S T z∈F y∈S T z∈S T
A soma dos primeiros dois termos é justamente Px (TF ≤ 2) e o terceiro termo se

(2) (2)
reduz a ∑
z∈S T
px,z f (z) , o qual é o mesmo do que ∑
y∈S T
px,y f (y) . Então
(2)
f (y) = Px (TF ≤ 2) + ∑ px,y f (y)⋅
y∈S T
Repetindo este argumento infinitas vezes ou utilizando a indução matemática,

concluímos que para todos os inteiros positivos n se satisfaz que
(n)
f (y) = Px (TF ≤ n) + ∑ px,y f (y), x ∈ ST ⋅
y∈S T
Dado que cada y ∈ ST é transiente, segue que
(n)
lim px,y = 0, x ∈ S e y ∈ ST ⋅
n→∞
De acordo com as suposições do teorema, ST é um conjunto finito. Resulta, portanto,

que do resultado acima a soma naterior se aproxima de zero quando n → ∞. Por
consequência, para x ∈ ST
f (x) = lim Px (TF ≤ n) = Px (TC < ∞) = ρ ,

x,F
n→∞
como desejado.
Exemplo III.3 (Continuação do Exemplo III.2).
No Exemplo III.2 foi obtido que o conjunto F = {0, 2, 4, 5} é de estados

recorrentes. Queremos encontrar as probabilidades da cadeia visitar o
conjunto F partindo dos estados transientes 1 e 2. Encontremos
ρ1,0 = ρ1,{0} e ρ2,0 = ρ2,{0} ⋅
Da matriz de transição no Exemplo III.2, temos que ρ1,0 e ρ2,0 são determinados
pelas equações
1 1 1 1 2
ρ1,0 = + ρ1,0 + ρ2,0 e ρ2,0 = ρ1,0 + ρ2,0 ⋅
4 2 4 5 5
Resolvendo este sistema encontramos que e . De maneira

3 1
ρ1,0 = ρ2,0 =
5 5
similar encontramos que ρ1,{3,4,5} =

2
5
e ρ2,{3,4,5} =
4
5
.
Alternativamente, podemos encontrar as probabilidades no exemplo pela subtração de

ρ{0} (1) e ρ{0} (2) de 1, devido a que existe somente um número finito de estados
transientes. Isto é possível segundo o teorema a seguir.
Teorema III.6
Seja ST finito, isto é, o número de estados transientes na Cadeia de Markov é

finito. Então,
∑ ρx, = 1, x ∈ ST ,
F
i
i=1
onde F1 , F2 , ⋯ é a coleção, finita ou infinita enumerável, de conjuntos disjuntos

fechados e irredutíveis de estados recorrentes da cadeia.
Demonstração.
Para verificar a afirmação notemos que para x ∈ ST
∞ ∞
∑ρ = ∑ Px (TFi < ∞) = Px (TS R < ∞)⋅

x,F
i
i=1 i=1
Dado que existe somente um número finito de estados transientes e cada estado
transiente é visitado somente um número finito de vezes, a probabilidade
P x (T S < ∞) de que um estado recorrente acabará por ser atingido é 1, portanto a
R
afirmação se verifica.
Uma vez que a Cadeia de Markov, começando no estado transiente x entra em um

conjunto fechado irredutível F de estados recorrentes, ela visita então todos os
estados em F . Assim
ρx,y = ρx,F , x ∈ ST e y ∈ F⋅
Da demonstração do Teorema III.6, temos que em nosso prévio exemplo
2 4
ρ1,3 = ρ1,4 = ρ1,5 = ρ1,{3,4,5} = e ρ2,3 = ρ2,4 = ρ2,5 = ρ2,{3,4,5} = ,
5 5
são as probabilidades de atingirmos o estado de conjuntos recorrentes

F = {3, 4, 5} a partir dos estados transientes.
O tema das Cadeias de Markov é melhor estudado considerando-se tipos especiais: o

primeiro tipo que vamos estudar são as chamadas Cadeias de Markov absorventes,
depois estudaremos as Cadeias de Markov regulares e as ergódicas.
III.2 Cadeias de Markov absorventes
Ao fazer a decomposição do espaço de estado podemos identificar tipos especiais de

Cadeias de Markov. O primeiro tipo especial que vamos estudar é a chamada Cadeia
de Markov absorvente.
Definição III.5 (Cadeias absorventes).
Uma Cadeia de Markov é absorvente se tiver pelo menos um estado absorvente e

se, a partir de cada estado, é possível ir para um estado absorvente.
Em uma Cadeia de Markov absorvente, um estado que não éé absorvente é transiente.

Devemos esclarecer que nestas cadeias é possível atingir um estado absorvente não
necessariamente em uma única etapa.
Figura 5: Grafo das probabilidades de transição na caminhada do bêbado.
Exemplo III.5 (A caminhada do bêbado).
Um homem caminha ao longo de um trecho de quatro quarteirões segundo o grafo

na Figura 5. Se ele está no nodo 1, 2 ou 3, então ele caminha para a esquerda
ou para a direita com a mesma probabilidade. Ele continua até que ele chegar
ao nodo 4, que é um bar, ou ao nodo 0, que é a sua casa. Se ele atinge ou sua
casa ou o bar, ele permanece lá. Podemos então construir uma Cadeia de Markov
com estados em S = {0, 1, 2, 3, 4}. Observamos que os estados 0 e 4 são
absorventes. A matriz de transição é então
0 1 2 3 4
0 1 0 0 0 0
⎛ ⎞
1 ⎜ 1/2 0 1/2 0 0 ⎟
⎜ ⎟
P = 2 ⎜ 0 1/2 0 1/2 0 ⎟⋅
⎜ ⎟
⎜ ⎟
3 ⎜ 0 0 1/2 0 1/2 ⎟
⎝ ⎠
4 0 0 0 0 1
Os estados 1, 2, e 3 são transientes e a partir destes é possível alcançar os

estados absorventes 0 e 4. Assim, a cadeia é uma Cadeia de Markov absorvente.
Quando um processo chega a um estado absorvente, diremos que ele é absorvido.
A pergunta mais óbvia que pode ser feita sobre a cadeia é: Qual é a probabilidade de
que o processo vai eventualmente atingir um estado absorvente? Outras questões
interessantes incluem: (a) Qual é a probabilidade de que o processo vai acabar em um
determinado estado absorvente? (b) Em média, quanto tempo será necessário para
que o processo seja absorvido? (c) Em média, quantas vezes o processo estará, em
cada estado transiente? As respostas a todas estas questões dependem, em geral, no
estado a partir do qual o processo é iniciado, bem como as probabilidades de
transição.
O seguinte exemplo têm como base o artigo de Sox, H., Blatt, M., Higgins, M. e
Marton, K. de 1988 publicado na Medical Decision Making, Butterworth Publishing,
Boston nas páginas 191 a 193.
Exemplo III.6 (Gestão de cálculos biliares).
Os médicos que diagnosticam cálculos biliares assintomáticos são confrontados

com a decisão: remover imediatamente a vesícula biliar para evitar possíveis
complicações com risco de vida ou adiar a cirurgia até que as complicações
ocorram. Qual é a tendência de longo prazo de cada estratégia?
Na ausência de um estudo clínico, a análise da Cadeia de Markov que descreve

o comportamento desta situação é muitas vezes a única forma eficaz de avaliar
os riscos e benefícios das várias estratégias de tratamento médico. Cadeias
de Markov podem ser usadas para modelar este cenário.
Suponha que, na muito simplificada a estratégia de adiar a cirurgia, o

paciente vai continuar a ter cálculos biliares assintomáticos (estado A ) num
período de 4 meses para o próximo com probabilidade 0.95. Uma das duas
principais complicações (estado C ), colecistite ou complicações biliares,
podem surgir necessitando de cirurgia, com probabilidade de 0.04. Por causa
da idade específica do paciente, ele terá probabilidade 0.01 de morte natural
(estado D).
Se a doença evoluir e se tornar sintomática, em seguida será realizada a

cirurgia, com um risco de morte de 0.005 devido a complicações devido a esta.
Uma vez bem sucedida a cirurgia realizada, o paciente entra em estado de
recuperação (estado R ). Noventa por cento dos pacientes passam para o estado
bom (W ), enquanto 9% permanecem no estado de recuperação de cada ano e 1%
morrem de causas naturais. Uma vez que um paciente entra no estado bom, ele
continua lá até a morte, com probabilidade de 0.99.
A matriz a seguir é a matriz de transição de probabilidades para a estratégia

de adiar a cirurgia até que ocorram complicações.
A C R W D
A 0.95 0.04 0 0 0.01

⎛ ⎞
C ⎜ 0 0 0.995 0 0.005 ⎟
⎜ ⎟
P = ⎜ ⎟
R ⎜ 0 0 0.09 0.90 0.01 ⎟ ⋅
⎜ ⎟
W ⎜ 0 0 0 0.99 0.01 ⎟
⎝ ⎠
D 0 0 0 0 1
Observemos que o estado D é absorvente. Uma vez que o paciente chega a este
estado é impossível sair. Para entendermos as consequências da estratégia a
longo prazo vamos encontrar várias potências da matriz de transição. Assim
A C R W D
A 0.66 0.03 0.03 0.20 0.08

⎛ ⎞
C ⎜ 0 0 0 0.93 0.07 ⎟
⎜ ⎟
8 ⎜ ⎟
P = R 0 0 0 0.92 0.08 ⎟ ⋅
⎜
⎜ ⎟
W ⎜ 0 0 0 0.92 0.08 ⎟
⎝ ⎠
D 0 0 0 0 1
A C R W D
A 0.19 0.01 0.01 0.51 0.27

⎛ ⎞
C ⎜ 0 0 0 0.73 0.27 ⎟
⎜ ⎟
32
= ⎜ ⎟
P R ⎜ 0 0 0 0.72 0.28 ⎟ ⋅
⎜ ⎟
W ⎜ 0 0 0 0.72 0.28 ⎟
⎝ ⎠
D 0 0 0 0 1
Como este resultado sugere, quando P é elevada a potências mais e mais

elevadas, o sistema tenderá para o estado absorvente de modo que com
probabilidade 1 os pacientes acabarão por morrer.
Este exemplo sugere as seguintes propriedades de Cadeias de Markov absorventes:
(a) Independentemente do estado original de uma Cadeia de Markov

absorvente, em um número finito de etapas a cadeia vai entrar em um estado
absorvente e, em seguida, ficar nesse estado,
(b) As potências da matriz de transição chegam mais e cada vez mais perto de
alguma matriz especial.
(c) A tendência de longo prazo depende do estado inicial, a alteração do estado
inicial pode modificar o resultado final.
A terceira propriedade distingue as cadeias absorventes das cadeias regulares (ver

Definição 25), onde o resultado final é independente do estado inicial. Esta
propriedade não é ilustrada no Exemplo 28 uma vez que existe apenas um estado
absorvente. Em situações onde existam mais do que um estado absorventes esta
propriedade é aparente.
Forma canônica
Considere uma Cadeia de Markov arbitrária absorvente. Vamos numerar os estados de

modo que os estados transientes venham em primeiro lugar. Se houverem r estados
absorventes e t estados transientes, a matriz de probabilidades de transição terá a
seguinte forma canônica
T ransiente Absorvente
T ransiente Q R
P = ( )⋅
Absorvente 0 I
sendo I uma matriz identidade de ordem r × r, 0 é uma matriz r × t de zeros, R é

uma matriz t × r diferente de zero e Q é uma matriz t × t. Escrita a cadeia desta
forma temos que os primeiros t estados são transientes e os últimos r estados serão
absorventes.
(n)
Sabemos que px,y é a probabilidade do processo estar no estado y após n passos,
quando iniciou-se no estado x. Um procedimento de álgebra matricial mostra que P
n
é da forma
T ransiente Absorvente
n ∗
n
T ransiente Q R
P = ( )⋅
Absorvente 0 I
onde R∗ representa a matriz t × r, no canto superior do lado direito de P n . Esta

submatriz pode ser escrita em termos de Q e R, mas a expressão é complicada e não
é necessária neste momento. A forma de P n mostra que as componentes de Qn
fornecem as probabilidades de passar de um estado transiente inicial a um outro
estado transiente após n passos.
Teorema III.7 (Probabilidade de Absorção).
Numa Cadeia de Markov absorvente, a probabilidade de que o processo vai ser

absorvido é 1, isto é,
n
lim Q = 0⋅
n→∞
Demonstração.
Dado que a cadeia é absorvente, de cada estado x transiente é possível chegar a um

estado absorvente. Seja mx o número mínimo de passos necessários para atingir um
estado absorvente, a partir de x. Seja px a probabilidade de que, a partir de x, o
processo não atingirá um estado absorvente em mx passos. Então px < 1.
Seja m o maior dos mx e seja p o maior dos px . A probabilidade de não serem

absorvidos em m passos é inferior ou igual a p, em 2n passos é menor ou igual a p2 ,
etc. Uma vez que p < 1 estas probabilidades tendem a 0. Dado que a probabilidade
de não serem absorvidos em n passos é monótona decrescente, estas probabilidades
também tendem a 0 e, então, lim Qn = 0.
n→∞
Utilizando os comandos R a seguir podemos identificar a forma canônica numa

cadeia absorvente.
> estados = c("A","C","R","W","D")
> Prob.T=matrix(c(0.95,0.04,0,0,0.01,0,0,0.995,0,0.005,
0,0,0.09,0.90,0.01,0,0,0,0.99,0.01,0,0,0,0,1),
nrow=5,ncol=5,byrow=T, dimnames=list(estados,estados))
> ProbT = new("markovchain", states=estados, transitionMatrix=Prob.T,
name="Gestão de cálculos biliares")
> ProbT
Gestão de cálculos biliares

A, C, R, W, D
A C R W D
A 0.95 0.04 0.000 0.00 0.010
C 0.00 0.00 0.995 0.00 0.005
R 0.00 0.00 0.090 0.90 0.010
W 0.00 0.00 0.000 0.99 0.010
D 0.00 0.00 0.000 0.00 1.000
> canonicForm(ProbT)
Gestão de cálculos biliares
D, A, C, R, W
D A C R W
D 1.000 0.00 0.00 0.000 0.00
A 0.010 0.95 0.04 0.000 0.00
C 0.005 0.00 0.00 0.995 0.00
R 0.010 0.00 0.00 0.090 0.90
W 0.010 0.00 0.00 0.000 0.99
Identificamos então que a matriz de transição entre estados transientes é
A C R W
A 0.95 0.04 0.000 0.00

⎛ ⎞
C ⎜ 0.00 0.00 0.995 0.00 ⎟

Q = ⎜ ⎟⋅
⎜ ⎟
R 0.00 0.00 0.090 0.90
⎝ ⎠
W 0.00 0.00 0.000 0.99
Elevando a uma potência elevada a forma canônica, podemos verificar a

afirmação do Teorema III.7.
> canonicForm(ProbT)^800
Gestão de cálculos biliares^800
A 5 - dimensional discrete Markov Chain with following states
D A C R W
The transition matrix (by rows) is defined as follows
D A C R W
D 1.0000000 0.000000e+00 0.000000e+00 0.000000e+00 0.0000000000
A 0.9996762 1.509678e-18 6.356538e-20 7.354366e-20 0.0003238497
C 0.9996762 0.000000e+00 0.000000e+00 0.000000e+00 0.0003238497
R 0.9996778 0.000000e+00 0.000000e+00 0.000000e+00 0.0003222224
W 0.9996778 0.000000e+00 0.000000e+00 0.000000e+00 0.0003222224
Matriz fundamental
Anteriormente foi obtido que a probabilidade de permanecer em estados transientes

numa cadeia absorvente converge a zero, mas a pergunta agora é: Qual seria a
probabilidade de permanecer em estados transientes, em tais cadeias, em n passos

finitos? o seguinte teorema fornece essa resposta.
Teorema III.8 (Probabilidade de Absorção).
Para uma Cadeia de Markov absorvente a matriz I − Q tem como inversa
−1 2
(I − Q) = I + Q + Q + ⋯⋅
O elemento (x, y) da matriz (I − Q)−1 fornece o número esperado de vezes que a

cadeia visita o estado y, uma vez que começa no estado x. O estado inicial é
contado se x = y.
Demonstração.
Seja (I − Q)x = 0, isto é, x = Qx . Então, repetindo n vezes, vemos que x = Q

n
x.
Desde = 0, temos x = 0, então x = 0. Assim, a matriz

n n −1
lim Q lim Q (I − Q)
n→∞ n→∞
existe. Observemos que
2 n n+1
(I − Q)(I + Q + Q + ⋯ + Q ) = I − Q ⋅
Então, multiplicando ambos os lados por (I − Q)

−1
temos
2 n −1 n+1
I + Q + Q + ⋯ + Q = (I − Q) (I − Q )⋅
Fazendo n tender ao infinito temos
−1 2
(I − Q) = I + Q + Q + ⋯⋅
Sejam x e y dois estados transientes fixos. Definamos 1

1y (k) uma variável aleatória
indicadora igual a 1 se a cadeia está no estado y após k passos e 0 caso contrário.
Para cada k, esta variável aleatória depende tanto de x quanto de y. Temos então que
k
P (1
1y (k) = 1) = qx,y
k
P (1
1y (k) = 0) = 1 − qx,y ,
onde qx,y
k
é o (x, y)-ésimo elemento da matriz Q
k
. Estas equações valem tambéém
para k = 0, desde que Q
0
= I. Portanto, dado que 1
1y (k) assume somente os valores
0 ou 1, 1y (k)) = qx,y .
E(1
k
O número esperado de vezes que a cadeia está no estado y, nos primeiros n passos,
uma vez que se inicia no estado x, é claramente
0 1 n
E(1
1y (0) + 1
1y (1) + ⋯ + 1
1y (n)) = qx,y + qx,y + ⋯ + qx,y ⋅
Fazendo então n tender ao infinito obtemos
0 1 −1
E(1
1y (0) + 1
1y (1) + ⋯ ) = qx,y + qx,y + ⋯ = (I − Q)x,y ⋅
Definição III.6 (Matriz fundamental).

Para uma Cadeia de Markov absorvente, a matriz I − Q é chamada de matriz

fundamental. Os elementos de fornecem o número esperado de vezes
−1
(I − Q)x,y
que o processo está no estado transiente y se for iniciado o processo no estado

transiente x.
No exemplo do andar do bêbado, a matriz de transição na forma canônica é
1 2 3 0 4
1 0 1/2 0 1/2 0
⎛ ⎞
2 ⎜ 1/2 0 1/2 0 0 ⎟
⎜ ⎟
P = 3 ⎜ 0 1/2 0 0 1/2
⎟⋅
⎜ ⎟
⎜ ⎟
0 ⎜ 0 0 0 1 0 ⎟
⎝ ⎠
4 0 0 0 0 1
da qual vemos que a matriz Q é
0 1/2 0
⎛ ⎞
Q = ⎜ 1/2 0 1/2 ⎟ ,
⎝ ⎠
0 1/2 0
e que
1 −1/2 0
⎛ ⎞
I − Q = ⎜ −1/2 1 −1/2 ⎟ ⋅
⎝ ⎠
0 −1/2 1
Calculando (I − Q)
−1
, obtemos
1 2 3
1 3/2 1 1/2
⎛ ⎞
−1
(I − Q) = 2 ⎜ 1 2 1 ⎟⋅
⎝ ⎠
3 1/2 1 3/2
A partir da linha do meio de (I − Q) vemos que, se a cadeia inicia-se no

−1
estado 2, o número esperado de visitas aos estados 1, 2 e 3 antes de ser

absorvido é 1, 2 e 1, respectivamente.
III.3 Cadeias de Markov regulares
Esta é mais uma situação de cadeias na qual não exitem estados transientes.
Definição III.7 (Cadeia de Markov regular).
Uma Cadeia de Markov é chamada uma cadeia regular, se alguma potencia da

matriz de transição tem apenas elementos positivos.
Em outras palavras, numa cadeia regular, para algum n é possível ir de qualquer

estado para qualquer estado em exatamente n passos. É claro a partir desta definição
que cada cadeia regular é ergódica. Por outro lado, uma cadeia ergódica não é
necessariamente regular, como mostram os seguintes exemplos.
Exemplo III.9.
Considere uma Cadeia de Markov com matriz de transição definida por
0 1
0 0 1
P = ( )⋅
1 1 0
Então, é claro que é possível mover-se a partir de qualquer estado para

qualquer estado, de modo que a cadeia é ergódica. No entanto, se n for ímpar,
não é possível passar do estado 0 ao estado 0 em n passos e, se n for par,
não é possível passar do estado 0 ao estado 1 em n passos, pelo que a cadeia
não é regular. Por exemplo
1 0 0 1
100 101
P = ( ) e P = ( )⋅
0 1 1 0
Um exemplo mais interessante do que este de Cadeia de Markov não regular ergódica
é fornecido pelo modelo Ehrenfest.
Exemplo III.10.
Lembre-se que no modelo de urna Ehrenfest (Exemplo I.8), a matriz de

transição para este exemplo é
0 1 2 3 4
0 1 0 0 0
0 ⎛ ⎞
1 3
⎜ 0 0 0 ⎟
1
⎜ 4 4
⎟
⎜ 1 1 ⎟
P = 2 ⎜ 0 0 0 ⎟⋅
2 2
⎜ ⎟
⎜ 3 1 ⎟
3
⎜ 0 0 0 ⎟
4 4
4 ⎝ ⎠
0 0 0 1 0
Nesta situaçã, se iniciarmos no estado 0 iremos, depois de qualquer número

par de passos, estarmos nos estados 0, 2 ou 4 e depois de qualquer número
ímpar de etapas estaremos nos estados 1 ou 3. Assim, esta cadeia é ergódica,
mas não regular. Isto pode ser observado nas potências 100 e 101 da matriz de
transição, as quais assumem os valores
0 1 2 3 4 0 1 2 3 4
1 6 1 1 1
0 0 0 0 0
⎛ 8 8 8 ⎞ ⎛ 2 2 ⎞
0 0
1 1 1 6 1
⎜ 0 0 0 ⎟ ⎜ 0 0 ⎟
1 ⎜ 2 2 ⎟ 1 ⎜ 8 8 8⎟
⎜ ⎟ ⎜ ⎟
100 6 101
P = ⎜ 1 0 0
1 ⎟
P = ⎜ 0 1
0
1
0 ⎟⋅
2 2
⎜ 8 8 8 ⎟ ⎜ 2 2 ⎟
⎜ ⎟ ⎜ ⎟
1 1 6
3 ⎜ 0 0 0 ⎟ 3 ⎜ 1 0 0
1 ⎟
⎜ 2 2 ⎟ ⎜ 8 8 8 ⎟
4 1 6 1 4 ⎝ 1 1 ⎠
⎝ 0 0 ⎠ 0 0 0
8 8 8 2 2
Qualquer matriz de transição que não tem zeros determina uma cadeia de Markov
regular. No entanto, é possível que uma Cadeia de Markov regular tenha zeros na
matriz de transição. Vejamos o seguinte exemplo.
Exemplo III.11 (Terra de Oz).
De acordo com Kemeny, J.G., Snell, J.L and Thompson, G.L. (1974).
Introduction to Finite Mathematics, 3rd ed. Englewood Cliffs, NJ: Prentice-
Hall., a Terra de Oz é um excelente lugar para morar por muitas coisas, mas
não por um bom tempo por causa do tempo.
Eles nunca tem dois dias agradáveis seguidos. Se eles têm um bom dia B , eles
são tão propensos a ter neve N quanto chuva C no dia seguinte. Se tiverem
neve ou chuva, tem possibilidade meio de ter o mesmo no dia seguinte. Se não
houver mudança de neve ou chuva, tem apenas metade de probabilidade de uma
mudança para um bom dia. Com esta informação, formamos a matriz de transição
da Cadeia de Markov como segue:
C B N
1 1 1
C 2 4 4
⎛ ⎞
1 1
P = B ⎜ 0 ⎟⋅
2 2
⎝ ⎠
1 1 1
N
4 4 2
Podemos observar que esta matriz de transição tem pB,B = 0 , mas P

2
não tem
zeros, então esta é uma Cadeia de Markov regular.
Exemplos de Cadeia de Markov não regulares são as cadeias absorventes. Por

exemplo, seja
1 0
P = ( )
1 1
2 2
a matriz de transição de uma Cadeia de Markov. Todas as potências P terão um 0 no

canto superior direito. Vamos agora discutir dois teoremas importantes relacionados às
cadeias regulares.
Primeiro demonstremos um teorema auxiliar.
Teorema III.9.
Seja P uma matriz de transição de ordem r com elementos positivos. Seja ϵ o

menor valor de P . Seja x
x qualquer vetor coluna de dimensão r , sendo M 0 o
máximo e m0 o mínimo de suas componentes. Sejam agora M 1 e m1 os valores

máximo e mínimo respectivos das componentes do vetor P x
x . Então M 1 ≤ M 0 ,
m1 ≥ m0 e
M 1 − m 1 ≤ (1 − 2ϵ)(M 0 − m 0 )⋅
Demonstração.
Seja x
x
′
o vetor obtido de x substituindo uma das componentes m0 por M0 . Então
x
x ≤ x
x
′
. Cada componente de Γx x é da forma
′
a ⋅ m 0 + (1 − a) ⋅ M 0 = M 0 − a(M 0 − m 0 ),
onde a ≥ ϵ. Assim, cada componente de Px

x
′
é menor ou igual do que
M 0 − ϵ(M 0 − m 0 )⋅
Dado que x
x ≤ x
x
′
, temos que
M 1 ≤ M 0 − ϵ(M 0 − m 0 )⋅
Aplicando este resultado ao vetor −x

x obtemos que
−m 1 ≤ −m 0 − ϵ(−m 0 + M 0 )⋅
Somando os resultados anteriores, temos que
M 1 − m1 ≤ M 0 − m 0 − 2ϵ(M 0 − m 0 )
= (1 − 2ϵ)(M 0 − m 0 )⋅
Devemos observar que ϵ, o menor valor de P , é sempre menor ou igual a 1/2. Este
teorema nos fornece uma forma mais simples da demonstração do seguinte teorema
fundamental para Cadeias de Markov regulares.
Teorema III.10 (Teorema fundamental).
Seja P a matriz de transição de uma Cadeia de Markov regular. Então,
n
lim P = W,
n→∞
onde W é uma matriz com todas as linhas iguais ao mesmo vetor w. O vector w é
um vector de probabilidades estritamente positivo, isto é, as componentes são
todas positivas e somam um.
Demonstração.
Primeiro vamos assumir que a matriz Γ não tem zeros. Seja ϵ o menor valor em P .
Seja agora ρj um vetor coluna com 1 na j-ésima componente e zeros nas outras.
Sejam Mn e mn os valores máximos e mínimos dos vetores P
n
ρj . Dado que
ρj , temos do Teorema 24 que M 1 ≥ M 2 ≥ M 3 ≥ ⋯,
n n−1
Γ ρj = Γ ⋅ Γ
m1 ≤ m2 ≤ m3 ≤ ⋯ e
M n − m n ≤ (1 − 2ϵ)(M n−1 − m n−1 ),
para n ≥ 1. Fazendo dn = M n − m n este resultado nos disse que
n
dn ≤ (1 − 2ϵ) d0 ⋅
Logo limn→∞ dn = 0 e então, Mn e mn tem limite comum. Portanto, P

n
ρj tende a
um vetor com todas as componentes iguais. Seja αj este valor comum. Logicamente,
para todo n, m n ≤ αj ≤ M n . Em particular, dado que 0 < m1 e M 1 < 1, temos que
0 < αj < 1 . Agora é a j-ésima coluna de . Então, a j-ésima coluna de
n n n
P ρj Γ Γ
tende a um vetor com todas as componentes iguais a wj . Isto é, P

n
tende a uma
matriz W com todas as linhas iguais ao vetor w
w = (w1 , w2 , ⋯ , wr ) . Dado que as
somas das linhas de P n são sempre 1, o mesmo vale para o limite.Isto completa a
demonstração no caso da matriz assumir somente valores positivos. Considerar agora
o caso seguinte em que somente é assumida ser regular. Seja N, tal que tenha
N
P P
somente valores positivos e aplicamos a primeira parte da demonstração à matriz .

N
P
Queremos mostrar que a potência P

n
de uma matriz de transição regular, isto é, que
a matriz de probabilidades de transição de uma cadeia regular tende a uma matriz
com todas as linhas da mesma forma. Significa o mesmo de mostrar que P n converge
a uma matriz com colunas constantes. Agora, a j-ésima coluna P
n
é P
n
ρj onde ρj é
um vetor coluna com 1 na j-ésima linha e 0 nas outras. Assim, precisamos apenas
mostrar que para qualquer vetor coluna ρ, P
ρ
n
ρ
ρ se aproxima de um vetor constante,
quando n tende ao infinito.
Uma vez que cada linha de P é um vector de probabilidades, Pρ

ρ substitui ρ
ρ pelas
médias dos seus componentes. Aqui está um exemplo:
1/2 1/4 1/4 1/2 ⋅ 1 + 1/4 ⋅ 2 + 1/4 ⋅ 3 7/4

⎛ ⎞⎛1⎞ ⎛ ⎞ ⎛ ⎞
⎜ 1/3 1/3 1/3 ⎟ ⎜ 2 ⎟ = ⎜ 1/3 ⋅ 1 + 1/3 ⋅ 2 + 1/3 ⋅ 3 ⎟ = ⎜ 2 ⎟
⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎝ ⎠
1/3 1/2 1/6 3 1/3 ⋅ 1 + 1/2 ⋅ 2 + 1/6 ⋅ 3 11/6
O resultado do processo de cálculo da média faz as componentes de Pρ

ρ mais
semelhantes do que as de ρ
ρ. Em particular, os máximos decrescem de 3 para 2 e os
mínimos aumentos de 1 a 11/6. Na prova mostramos que, como nós fazemos mais e
mais desta média para obter P
n
ρ,
ρ a diferença entre o máximo e mínimo tende a 0
quando n → ∞. Isto significa que P
n
ρ
ρ tende a um vector constante. O elemento
(n)
de , é a probabilidade de que o processo esteja no estado após
n
(i, j) P p j n
i,j
passos se inicia-se no estado i. Se denotamos a linha comum de W por w, então o

Teorema III.10 afirma que, a probabilidade da cadeia estar no estado j a longo prazo
é de aproximadamente wj , a j-ésima componente de w e é independente do estado
inicial.
Exemplo III.12.
Lembre-se do exemplo da Terra de Oz (Exemplo III.10), a potência sexta da

matriz de transição P é, com três casas decimais,
C B N
C 0.4 0.2 0.4

⎛ ⎞
6
P = B ⎜ 0.4 0.2 0.4 ⎟ ⋅
⎝ ⎠
N 0.4 0.2 0.4
Assim, para este grau de precisão, a probabilidade de chuva seis dias depois
de um dia de chuva é a mesma que a probabilidade de chuva seis dias depois de
um dia agradável ou seis dias depois de um dia de neve. O Teorema III.10
prevê que, para grandes valores de n , as linhas de P vão se aproximar de um n
vetor comum. É interessante que isso ocorra tão cedo neste exemplo.
Teorema III.11.
Seja P a matriz de transição de uma Cadeia de Markov regular, seja
n
W = lim P ,
n→∞
com componentes comuns w

w e seja x
x um vetor coluna com todas as componentes
iguais a 1. Então
(a) w
wP = w
w e qualquer vetor linha ν
ν tal que ν ν,
νP = ν é múltiplo de w.
w
(b) Pc = c e qualquer vetor coluna x

x tal que Px x,
x = x é múltiplo de c .
Demonstração.
Note-se que uma consequência imediata deste teorema é o fato de que existe apenas
um único vetor de probabilidades ν , tal que a ν P = ν .
III.4 Exercícios
1. Mostrar que se o estado x é recorrente e não se comunica com o estado y,
então px,y = 0.
2. Mostre que se o estado x se comunica com y e y se comunica com z, então x
se comunica com z.
3. Considere uma Caceia de Markov com espaço de estados {1, 2, ⋯ , 9} e matriz

de probabilidades de transição
0.0 0.5 0.0 0.0 0.5 0.0 0.0 0.0 0.0

⎛ ⎞
⎜ 0.0 0.0 1.0 0.0 0.0 0.0 0.0 0.0 0.0 ⎟

⎜ ⎟
⎜ 0.0 0.0 0.0 1.0 0.0 0.0 0.0 0.0 0.0 ⎟
⎜ ⎟
⎜ ⎟
⎜ 1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ⎟
⎜ ⎟
P = ⎜ 0.0 0.0 0.0 0.0 0.0 1.0 0.0 0.0 0.0 ⎟ ⋅
⎜ ⎟
⎜ ⎟
⎜ 0.0 0.0 0.0 0.0 0.0 0.0 1.0 0.0 0.0 ⎟
⎜ ⎟
⎜ ⎟
⎜ 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0 0.0 ⎟
⎜ ⎟
⎜ 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0 ⎟
⎝ ⎠
1.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
Esta cadeia é irredutível? ou seja, prove que o conjunto de estados irredutíveis

F satisfaz F = S, sendo S = {1, ⋯ , 9} . Prove também que esta cadeia é
recorrente, ou seja, prove que cada estado em S é recorrente.
4. Considere uma cadeia de Markov nos números inteiros não negativos de modo
que, começando no estado x, a cadeia passe ao estado x + 1 com
probabilidade p, 0 < p < 1 e vá para o estado 0 com probabilidade 1 − p.
a) Mostre que essa cadeia é irredutível.

b) Encontre P0 (T0 = n) , n ≥ 1.
c) Mostre que esta cadeia é recorrente
5. A Fiscalía de Mídia identificou seis estados associados à televisão: 0 (nunca

assiste TV), 1 (assiste apenas notícias), 2 (assiste TV com bastante
frequência), 3 (viciado), 4 (em modificação de comportamento), 5 (morte

encefálica). As transições de estado para estado podem ser modeladas como
uma cadeia de Markov com a seguinte matriz de transição:
1.0 0.0 0.0 0.0 0.0 0.0

⎛ ⎞
⎜ 0.5 0.0 0.5 0.0 0.0 0.0 ⎟

⎜ ⎟
⎜ 0.1 0.0 0.5 0.3 0.0 0.1 ⎟
P = ⎜ ⎟⋅
⎜ ⎟
⎜ 0.0 0.0 0.0 0.7 0.1 0.2 ⎟
⎜ ⎟
⎜ 1/3 0.0 0.0 1/3 1/3 0.0 ⎟
⎝ ⎠
0.0 0.0 0.0 0.0 0.0 1.0
a) Quais estados são recorrentes e quais transientes.

b) Começando do estado 1, qual é a probabilidade de o estado 5 ser
atingido antes do estado 0, ou seja, qual é a probabilidade de um
visualizador de notícias acabar com morte cerebral?
6. Uma certa Cadeia de Markov que surge na genética tem estados 0, 1, ⋯ , 2d e

função de transição
y 2d−y
2d x x
px,y = ( )( ) (1 − ) ⋅
y 2d 2d
Encontre ρ0,{x} = P0 (T{x} < ∞) , 0 < x < 2d .

Decomposição Do Espaço de Estados - Cadeias de Markov

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Decomposição Do Espaço de Estados - Cadeias de Markov

Enviado por

Direitos autorais:

Formatos disponíveis

29/08/2023, 10:57 Decomposição do espaço de estados

III. Decomposição do espaço de

Seja {Ct } Cadeia de Markov estacionária com espaço de estados S e sejam x, y ∈ S ,

Definição III.1. (Estado acessível).

Dizemos que o estado y é acessível do estado x se ρx,y > 0. Escrevemos x → y.

Por exemplo, na Figura III.1, há uma caminhada do nó 1 ao nó 3, passando pelo nó 2,

Figura III.1: Representação gráfica de uma Cadeia de Markov de 6

(n) (m) (n+m)

Definição III.2. (Comunicação estre estados).

Dizemos que o estado x se comunica com o estado y se x é acessível do estado y e

Esta definição introduz uma relação de equivalência no conjunto de estados. Isso

A relação de comunicação é reflexiva, ou seja, x ⇌ x, para todo x ∈ S .

A relação de comunicação é transitiva, ou seja, se x ⇌ y e y ⇌ z então x ⇌ z.

No Exemplo I.7 temos que a potência 1000 da matriz de probabilidades de

Assim percebemos que nesta cadeia todos os estados se comunicam.

A relação de equivalência no conjunto S o decompõe em classes de equivalência. Se S

Se um estado x pertence a Su para algum u, dizemos que x é um representante da

Uma classe de comunicação é considerada fechada se nenhum estado fora da classe

Seja x um estado recorrente e suponha que x se comunica com y. Então, y é

Consideremos y ≠ x, caso contrário não teríamos nada a provar. Dado que

Px (Ty < ∞) = ρx,y > 0,

n0 = min {n ≥ 1 : Px (Ty = n) > 0}⋅

Px (C1 = y1 , ⋯ , Cn 0 −1 = yn 0 −1 , Cn 0 = y) = px,y ⋯ py ,y > 0⋅

Nenhum dos estados y1 , ⋯ , yn −1 iguais a x ou y. Se algum deles fosse igual x ou y,

seria possível ir de x para y com probabilidade positiva em menos de n0 passos, em

visitar os estados y1 , ⋯ , yn 0 −1 , y sucessivamente nos primeiros n0 tempos e nunca

n=n 1 +1+n 0 n=1

do qual segue que y é também um estado recorrente.

Desde que y é recorrente e y se comunica com x, vemos da primeira parte da

Definição III.3 (Conjunto de estados fechado).

Um conjunto F ⊂ S de estados é dito ser um conjunto fechado se não existirem

Esta definição significa que se F é um conjunto fechado, então

De maneira equivalente, F é um conjunto de estados fechado se, e somente se,

Mais ainda, da condição fraca que

podemos demonstrar que F seja um conjunto de estados fechado. Se a expressão

Definição III.4 (Conjunto de estados irredutível).

Um conjunto F ⊆ S de estados é dito ser um conjunto irredutível se cada estado

Deduzimos, pelo Teorema III.1, que se F for um conjunto de estados irredutível

Seja F um conjunto irredutível fechado de estados recorrentes. Então:

Consequência imediata do Teorema III.1.

Seja F um conjunto finito e fechado de estados irredutíveis. Então cada estado em

Considere uma Cadeia de Markov com espeço de estados S = {0, 1, 2, 3, 4, 5} e

Queremos determinar quais estados são recorrentes e quais estados são

O elemento (x, y) desta matriz é +∞ ou 0 de acordo com ρx,y , se for positivo

portanto, ρ2,0 > 0 .

O estado 0 é absorvente, logo recorrente. Vemos da matriz de + e zeros que

resultado implica que os estados 3, 4 e 5 são recorrentes. Os estados 1 e 2

5 0.00 0.0 0.00 0.2500000 0.0000000 0.75

No código acima apresentado utilizamos o comando is.accesible para identificar quais

⎜ 0.6 0 0 0.1 0.03 0.27 ⎟

Identificamos que os estados 0, 3, 4 e 5 são recorrentes e, por negação do Teorema

Mais ainda, podemos auxiliarmos do pacote de funções markovchain. Neste pacote, a

Para construirmos o objeto markovchain. Nosso objetivo é identificar os estados

obtendo como resposta que os estados 1 e 2, nesta situação, são transientes.

estados recorrestes digitando:

Seja S o espaço de estados de uma Cadeia de Markov. Denotaremos por ST o

ST = {1, 2} e SR = {0, 3, 4, 5}⋅

Ainda o conjunto SR pode ser decomposto nos conjuntos fechados disjuntos e

Suponha que o conjunto SR de estados recorrentes em S, seja não vazio. Então,

Escolhemos x ∈ SR e seja F o conjunto de todos os estados y ∈ SR tais que x

recorrente. Logo, z ∈ F . Isto mostra que F é fechado. Suponhamos agora que y e z

Para concluir a demonstração devemos provar que se F e D forem dois subconjuntos

Podemos usar nossa decomposição do espaço de estados de uma Cadeia de Markov