Processos Estocásticos-Profa. Cira, 2023.

1 Cadeias de Markov a tempo discreto

Seja {Xn }n≥0 um processo estocástico definido sob (Ω, A , P )
Xn : Ω −→ S com S = {0, 1, 2, ....} espaço de estados
ω −→ Xn (w) = i
Xn (w) = i: o processo está no estado i, no tempo n (passo n).

Definição (Cadeia de Markov)

Um processo estocástico {Xn , n ≥ 0} com espaço de estados S = {0, 1, 2, ...},
é uma cadeia de Markov, se

∀i0 , i1 , ...., in−1 , i, j

P (Xn+1 = j | X0 = i0 , X1 = 01 , ..., Xn−1 = in−1 Xn = in )

| {z } | {z } | {z }
futuro passado presente

= P (Xn+1 = j|Xn = i), (1)

é a probabilidade de transição de um passo.

Observação. Quando probabilidades de transição independem do tempo

n, isto é
P (Xn+1 = j|Xn = i) = P (X1 = j|X0 = i), (2)
diz-se que a cadeia de Markov é homogênea.

Notação:
Uma C.M. {Xn , n ≥ 0} com espaço de estados S = {0, 1, 2, ...} é caracteri-
zada pela Matriz de transição de um passo

1
 P = [Pij ]ij≥0 , (3)
sendo Pij = P (X1 = j|X0 = i) = P (Xn+1 = j|Xn = i). P
Tem-se que a matriz P é estocástica, pois Pij ≥ 0 e ∞
j=0 Pij = 1.

Exemplo 1
Supona que em qualquer tempo n ≥ 0 passamos a associar uma v.a. aos
estados chuva e seco, da seguinte forma:
(
0, se chove no tempo n
Xn =
1, se não chove no tempo n
Se hoje chove, amanha chovera com probabilidade 0.4 e se hoje não chove,
amanha chovera com probabilidade 0.3. É {Xn }n≥0 uma Cadeia de Markov?
Determine P.
Solução:
Temos Xn : Ω −→ {0, 1} = S,
{Xn }n≥0 é um processo estocástico com S = {0, 1}
P (X1 = 0|X0 = 0) = 0.4 = P00
P (X1 = 0|X0 = 1) = 0.3 = P10
P (X1 = 1|X0 = 0) = 1 − P (X1 = 0|X0 = 0) = P01 = 0.6
P (X1 = 1|X0 = 1) = 1 − P (X1 = 0|X0 = 1) = P11 = 0.7
 
0.4 0.6
P =
0.3 0.7

2
 Exemplo 2.
Seja {Xn }n≥0 um processo
P∞em que as v.a.’s Xi s são i.i.d., S={0,1,....}, e
′

P (Xn = j) = Pj ≥ 0 t.q. j=0 Pi = 1.

Mostre que {Xn}n≥0 é Cadeia de Makov e determine P .

Solução:
Temos que:
indep.
(4)
z}|{
P (Xn+1 = j|X0 = i0 , ..., Xn−1 = in−1 , Xn = i) = P (Xn+1 = j)
e
P (Xn+1 = j|Xn = i) = P (Xn+1 = j), (5)
então, de (4) e (5) a propriedade de Markov é satisfeita.
Além disso,
Pij = P (Xn+1 = j), ∀i.

3
 Exemplo 3. Defina uma cadeia de Markov associada ao seguinte expe-
riemnto:
(
Ganha $1, Com prob p
Jogador em cada jogada =
Perde $1, Com prob 1-p

Solução:
Defina, (
1, Ganha $1 na i-ésima jogada
Xi =
−1, Perde $1 na i-ésima jogada
Xi′ s sao independentes com P (Xi = 1) = p
P (Xi = −1) = 1 − p. Além disso, seja
n
Xi : Fortuna do jogar após a n-ésima jogada. Então {Sn , n ≥ 0} é
P
Sn =
i=0
um processo estocástico com S={0,1,...,N}
Como,

P (Sn+1 = j|Sn = i) = P (Sn + Xn+1 = j|Sn = i)

indep.
= P (Xn+1 = j − i|Sn = i) = P (Xn+1 = j − i)(6)
z}|{

P (Sn+1 = j|S0 = i0 , ..., Sn−1 = in−1 , Sn = i) = P (Xn+1 = j − i) (7)

4
 De (6) e (7)tem-se que

p, j − i = 1

Pij = P (Xn+1 = j − i) = q, j − i = −1

0, c.c



p, j = i + 1

⇒ Pij = q, j = i − 1

0, c.c


e P00 = 1, PN N = 1

5
 Objetivo de estudar Cadeias de Markov

Seja {Xn , n ≥ 0} uma C.M. com matriz de transição P = [Pij ]i,j∈S , S é

o espaço de estados da cadeia,isto é:

Pij : probabilidade da cadeia pssar de i para j em um passo.

P: Matriz de transição de um passo da cadeia.

Objetivo:

Determinar a distribuição da cadeia no tempo n, (P (Xn = 0), P (Xn = 1), ...) .

Por exemplo, ao considerar o Exemplo 1, qual é a probab. de chover e

seca no tempo n?
0 1
P = 0 0.4 0.6 , 0 = chuva
1 0.3 0.7 , 1 = seco

6
 Utlizar as Equações de Chapman-Kolmogorov

Defina:

Pijn = P (Xn = j|X0 = i), n ≥ 1 (8)

a probabilidade de transição de n passos da cadeia. Então

P (n) = [Pijn ]i,j∈S

é a matriz de transição de n passos.

Note que P (1) = P

Para calcular Pijn , primeiro lembre o seguinte:
Se X1 , X2 , Y v.a.‘s definidas no espaço de probabilidade (Ω, A , P ) e A1 =
σ(X1 ), A2 = σ(X1 , X2 ), então da propriedade

P 6. E(Y |A1 ) = E[E(Y |A2 )|A1 ],

tem-se que

E(Y |X1 = x1 ) = E[E(Y |X1 = x1 , X2 ) |X1 = x1 ]

| {z }
g(X2 )
X
= E(Y |X1 = x1 , X2 = x2 ) · P (X2 = x2 |X1 = x1 ) (9)
x2

Se considerarmos Y = IA , a eq. (9) se transforma em

X
P (A|X1 = x1 ) = P (A|X1 = x1 , X2 = x2 )P (X2 = x2 |X1 = x1 ). (10)
x2

7
 Agora, para n, m ≥ 1, as probab. de transição de m + n passos podem
ser escritas como:

Pijn+m = P (Xn+m = j|x0 = i).

Agora, de (10), obtem-se

∞
X
P (Xn+m = j|x0 = i) = P (Xn+m = j|x0 = i, xn = k) · P (xn = k|x0 = i)
k∈S
∞
X
= P (Xn+m = j|xn = k) · P (xn = k|x0 = i). (11)
k∈S

Isto é, X
Pijn+m = Pikn · Pkj
m
(12)
k∈S

são as equações de Chapman-Kolmogorov com Pijn+m a entrada da matriz

P (n) · P (m) = P (n+m) , ou seja:
P (2) = P (1) · P (1) = P · P = P 2
P (3) = P (2) · P (1) = P 2 · P = P 3
P (n) = P |{z}
·....· P = P n
n−vezes
Assim, Pijn é a i,j-ésima entrada de P n

8
 Exemplo 4.
Considere uma Cadeia de markov com os estados {0,1,2}=S; 0=triste, 1=cha-
teado, 2=alegre, com matriz de transição

0 1 2
0 0.5 0.5 0
P= 1 1 0 0
2 0 1 0

Calcule P 2
Sol:
    
0.5 0.5 0 0.5 0.5 0 0.75 0.25 0
2
P =  1 0 0   1 0 0 =  0.5 0.5 0 
0 1 0 0 1 0 1 0 0
Em 2 dias a pessoa não tem chance de ficar feliz pois Pi22 = P (X2 = 2|X0 =
i) = 0, ∀ i = 0, 1, 2

Distribuição da Cadeia dada a disstribuição inicial

Dada uma cadeia de Markov {Xn , n ≥ 0}, é possível obter sua distribuição
(P (Xn = 0), P (Xn = 1), P (Xn = 2), . . . ) (13)
ao multiplicar sua distribuição inicial (quando conhecida)
α = (P (X0 = 1), P (X0 = 2), . . . ) = (α1 , α2 , . . . )
pela matriz de transição de n passos.

Prova.
X
P (Xn = j) = P (Xn = j|X0 = i) P (X0 = i)
| {z }
i∈S αi
X
P (Xn = j) = αi Pijn
i∈S
Corresponde à  n 
n n
P00 P01 ... P0j ...
P n P n . . . n
P1j . . .
 10 11
α · P n = (α0 , α1 , ..., αn , ..)·  .. ..

 . .


Pi0n Pi1n . . . n
Pij . . .

9
 Para o Exemplo 4 Suponha que os estados inicias da cadeia ocor-
rem com probabilidades α = (P (X0 = 0), P (X0 = 1), (P (X0 = 2)) =
(0.5,0.3,0.2).

Então

 
0.75 0.25 0
P 2 =  0.5 0.5 0 
1 0 0
Então

(P (X2 = 0), P (X2 = 1), P (X2 = 2)) = αP 2

= (0.725, 0.275, 0).

10
 Note que, somente foi possivel determinar a distribuição da cadeia no
tempo n se conhecermos a distribuição inicial;

α
|{z} ·P (n) = Πn = (P (Xn = 0), P (Xn = 1), ...., ).
dist.inicial

Na prática, isso pode ser difícil de ter. Então, como podemos calcular
a distribuição da cadeia se não conhecermos α ?

Para um tempo suficientemente longo, como calcular?

  
lim Pijn . . .

Π Π1 . . .
n→∞ n   0
(n) lim
−→ Π = n→∞ ij
P |{z} P Π Π1 . . .
 =  .0
  

n→∞ .. ..
.

11
 Classificação dos estados de uma CM

Seja {Xn , n ≥ 0} uma Cadeia de Markov com espaço de estados S e matriz

de transição de n passos
P (n) = (Pijn )i,j∈S .
Conceitos

1. i, j ∈ S, i ↔ j (i e j se comunicam) se

i → j(i acessa j) se ∃ n : Pijn > 0 e j → i(j acessa i) se ∃ m : Pijm > 0.

2. Seja C ⊂ S,

C é uma classe não fechada se ∀ i ∈ C, j ∈

/ C, i → j.

C é uma classe fechada se ∀ i ∈ C, j ∈

/ C, ∄Pijn > 0 t.q. i → j.
| {z }
n =0
Pij

3. i,j ∈ C ⊂ S e i ↔ j ⇒ i, j são da mesma classe.

4. S = C com C fechada ⇒ S é irredutível.

5. C = {i} classe fechada, i ∈ S ⇒ i é absorvente.

6. Classe C ⊂ S períodica e aperiódica:

Período de i ∈ C é definido por d(i) = mdc{n : Piin > 0} ≥ 1.

Logo
d(i) = 1 ⇒ C é aperiódica
d(i) ≥ 2 ⇒ C é períodica com período d(i).

12
 Exemplo 5.
Seja
0 1 2 3
0 0 1 0 0
1 0 0 1 0
P= 2 0 0 0 1
3 1 0 0 0

A matriz de transição de uma Cadeia de Markov com S={0,1,2,3} S = C

classe fechada única (irredutível)
d(0) = mdc{4, 8, ...}
d(0) = 4 ≥ 2
⇒ S = C irredutível e periódica com período 4.

13
 Exemplo 6.
0 1 2 3
0 0 1 0 0
1 0.5 0 0.5 0
Seja P = 2 0 0 0 1
3 0 0 1 0

A matriz de transição de uma Cadeia de Markov com S={0,1,2,3}

Temos:
C1={0,1}: não fechada, periódica com período 2
C1={2,3}: fechada, periódica com período 2

14
 Exemplo 7. Para uma Cadeia de Markov com S={0,1,2,...,N}, consi-
dere: 
1 0 0 0 ...
q 0 p 0 . . .
P=  .. ...
 
. q

p
0 1
Temos:
C1 = {0}, classe absorvente e aperiódica
C1 = {N }, classe absorvente e aperiódica
C1 = {1, 2, .., N − 1}, classe não fechada e periódica com período 2.

15
 Definição (Ergodicidade)

Uma Cadeia de Markov {Xn , n ≥ 0} com e.e. S e P (n) = [Pijn )]i,j∈S é

ergodica se :

X
lim Pijn = Πj (independente de i) e Πj = 1. (14)
n→∞
j∈S

Neste caso, a distribuição Π = (Π0 , Π1 , ...) é chamada de distribuição limite

da cadeia e corresponde a:
 
Π
 Π 
 
 . 
(n)
P →  .  , n → ∞.
 (15)
 
 . 
Π

16
 Estados recorrentes, transitórios e absorventes

As propriedades de resorrencia e transitório são propriedades de classe.

Isto é, para verificar essas propriedades para uma classe C basta verificar para
um dos seus elementos.

Veja algumas caracterizações dessas propriedades.

• j é absorvente ⇔ pnj,j = 1, para anlgum n > 0.

• j é recorrente ⇔ E( tempo que C.M. está no estado j|X0 = j) = ∞.

• j é transitório ⇔ E( tempo que C.M. está no estado j|X0 = j) < ∞;

Seja Nj = { período de tempo que C.M. está no estado j} e seja

(
1, Xn = j
Inj =
0, Xn ̸= j,
P∞
n=0 In , então
j
Nj =

X∞
E(Nj |X0 = j) = E( Inj |X0 = j)
n=0
∞
X
= E(Inj |X0 = j)
n=0
∞
X
= P (Xn = j|X0 = j)
n=0
X∞
= Pjjn
n=0

Algumas consequências das caracterizações acima, são:

17
 C1. Se o e.e. S de uma cadeia de Markov {Xn , n ≥ 0} é finito então pelo
menos um estado é recorrente.

Note que se S é irredutível (S é a única classe), então S é recorrente.

C2. Seja {Xn , n ≥ 0} é uma cadeia de Markov com e.e. S e seja R é uma
classe recorrente de S, então R é fechada.

A contrapositiva de C2 permite concluir que se uma classe é não-fechada,

então essa classe não é recorrente, isto é, a classe é transitória ou absorvente.

Mais sobre estados recorrentes e transitórios

Seja i ∈ S :

fi = P (o processo eventualmente retorne ao estado j|X0 = j),

• fj = 1 ⇒ é recorrente ⇔ E(Nj |X0 = j) = ∞.

Em cada entrada da cadeia para j ela se reinicia .

• fj < 1 ⇒ é transitório ⇔ E(Nj |X0 = j) < ∞.

Cada vez que o processo entra no estado j, com probabilidade (1−fj ) >
0 o processo não retornará ao estado j

Se um estado j é transitório então, a partir do estado j, o número de vezes

períodos que o processo estará no estado j tem  uma distribuição geométrica
com probabiliade 1/(1 − fi ); Nj|X0 =j ∼ Geo 1−f 1
i
.

18
1.1 Ergodicidade para S finito e irredutível
Proposição 1. Se {Xn , n ≥ 0} é Cadeia de Markov com e.e. S,
irredutível, aperiódica e recorrente, então a cadeia é ergódica e Π satisfaz:

Π = Π · P : Π é estacionária (16)
X
Πj = 1 : Π é estocástica. (17)
j∈S

Prova. Para a prova, ver Livro de Sheldon M Ross, "Stochastic Process".

19
 Exemplo 8 (Enunciado do exemplo 1 acima)

Considere a Cadeia de Markov com espaço de estados S={0,1} e matriz

de transição de um passo
0 1
P = 0 0.4 0.6 , 0 = chuva
1 0.3 0.7 , 1 = seco

Estude a ergodicidade da cadeia de Markov acima.

Temos que :
S = C : classe fechada ⇒ irredutível, aperiódica, e recorrente (Classe S=C
irredutível finita é recorrente).

Então, pela Proposição 1, a cadeia é ergódica e tem distribuição estacio-

nária Π = (Π0 , Π1 ), em que :

Π = Π · P
 (
(Π0 , Π1 ) = (Π0 , Π1 ) · P
P1 ⇒
 Πj = 1.
 Π0 + Π 1 = 1
j=0


Π0 = 0.4Π0 + 0.3Π1 (1)

⇐⇒ Π1 = 0.6Π0 + 0.7Π1 (2)

Π0 + Π1 = 1 (3)


20
 Re-escrevendo (1) e (2)

0.6Π0 − 0.3Π1 = 0

⇐⇒ 0.6Π0 − 0.3Π1 = 0 (4)

Π0 + Π1 = 1 (5)


0.3(5) + (4)
0.9Π0 = 0.3 ⇐⇒ Π0 = 1/3 (6)
Substituindo (6) em (5),

Π1 = 2/3
 
1 2
⇒Π= ,
3 3
Interpretação: Ao longo do tempo, o clima estará chuvoso com probabili-
dade de 1/3 e seco com probabiliade de 2/3. Isto é, a chance de clima estar
seco é o doubro de estar chuvoso.

21
 Seja {Xn , n ≥ 0} uma Cadeia de Markov ergódica com e.e. S e distri-
buição estacionária Π. Para o estado j ∈ S seja mjj o número esperado
de transições até a cadeia, começando no estado j, retornar a esse estado.
Como, em média, a cadeia gasta 1 unidade de tempo no estado j para cada
mjj unidades de tempo, então

1
Πj = .
mjj

Prova é a partir da teoria da renovação. Πj será igual à proporção de tempo

de longo prazo que a cadeia de Markov está no estado j.

• j é recorrente positivo ⇒ mjj < ∞.

• j é recorrente nulo ⇒ mjj = ∞ ⇒ Πj = 0.

22
 n
Exemplo 9. (Ruína do Jogador) Para a Cadeia de Markov {Sn =
P
Xi }
i=0
(Fortuna do jogar após a n-ésima jogada) com e.e. S={0,1,2,...}, em que as
v.a’s i.i.d. Xi′ s são definidas por

(
1, Ganha $1 na i-ésima jogada, P (Xi = 1) = p
Xi =
−1, Perde $1 na i-ésima jogada, P (Xi = −1) = 1 − p = q.

A matriz de transição da cadeia é dada por:

 
q p 0 0 0 ...
q 0 p 0 0 . . .
P = 0 q 0
 
p 0 . . .
.. ...
 
.

Estude a ergodicidade da cadeia.

Sol:

S: irredutível, aperiódica

d(0) = mdc{1, 2, 3, 4, ...} = 1.

Recorrente?
Suponha que sim, então a Proposição 1 é valida e existe Π = (Π0 , Π1 , ....) tal
que  
q p 0 0 0 ...
 q 0 p 0 0 . . .
(Π0 , Π1 , Π2 , ....) = (Π0 , Π1 , Π2 , ....)· 0 q 0 p 0 . . .
 
.. ...
 
.
∞
e
P
Πj = 1.
j=0

23
 
Π0 = qΠ0 + qΠ1 
Π1 = pq Π0


 
Π1 = pΠ0 + qΠ2

 

   2
  p

.




 Π
 2 = q
Π0 .
∞
e
P
⇐⇒ . ⇐⇒ . Πj = 1
  j=0
.
 
.





 ∞
  j
Πj = p Π0 .

 P 

 Πj = 1.

 q
j=0
Usando as equações anteriores,
∞  i
X p
Π0 = 1
i=0
q
∞  i
X p
⇐⇒ Π0 =1
i=0
q
∞  i
X p 1
⇐⇒ = é uma série geométrica ⇐⇒ p < q
i=0
q Π0
1 1 p
⇐⇒ p = ⇐⇒ Π0 = 1 −
1− q
Π0 q
logo,  
2
Π = 1 − pq , pq (1 − pq ), pq2 (1 − pq ), .... ⇐⇒ p < q

1
Π = (0, 0, 0, ....) ⇐⇒ p = q = 2

24
1.2 Ergodicidade para S finito e não irredutível

Proposição 2. Seja {Xn }n≥0 uma cadeia de Markov e.e. S e P (n) =

[Pijn ]i,j∈ S. Se a cadeia é finita (não necessariamente irredutível) tal que
S = CR ∪ CT ,
CR = Classe de estados recorrentes positivos
e
CT = Classe de estados transitórios.
Então a cadeia é ergódica com distribuição estacionária
Π
Isto é,
∞
X
Π = Π.P e Πj = 1.
j=0

Prova. Ver no Livro de Sheldon Roos "Stochastic Process".

Observação.
A distribuição Π é determinada usando o seguite procedimento:

(1.) Redefinir a matriz de probabiliade de transição P considerando as

classes CR e CT :
 CR C T 
P → P ∗ = C R P1 0 .
CT R T

Isto é
∀j ∈ CR , lim Pijn = πj
n→∞
∀j ∈ CT , lim n
Pij = 0 , π ∗ = π ∗ · P1
n→∞

(2) Sendo Π = (Π∗ , 0) estacionária

 
P1 0
∗ ∗
(Π , 0) = (Π , 0) . (18)
CT R
A equação (18) equivale a

Π∗ = Π∗ · P1 com Π∗ estocástica. (19)

25
 Exemplo (Exercício da Lista 1).

Considere um C.M. com matriz de transição

0 1 2 3 4
0 1/4
 3/4 0 0 0
1 1/2 1/2 0 0 0
P = 2 0 0 1 0 0

3 0 0 1/3 2/3 0
 
4 1 0 0 0 0

Faça o estudo da ergodicidade da cadeia e determine distribuição estacioná-

ria, caso exista.

Solução.
Temos que C1 = {0, 1}: fechada, aperiódica
{2}: absorvente
{3}: transitório, aperiódico
{4}: transitório, aperiódica.
Isto é, pode-se considerar
CR = {0, 1}
CT = {2, 3, 4}
0 1 2 34
0 1/4
 3/4 0 0 0
1 1/2 1/2 0 0 0
P∗ = 2 0 0 1 0 0

3 0 0 1/3 2/3 0
 
4 1 0 0 0 0

e
 0 1 
P1 = 0 1/4 3/4 .
1 1/2 1/2

Logo (
π ∗ = π ∗ P1
P
j∈CR πj = 1
ou
3/4π0 − 1/2π1 = 0 (20)
π0 + π1 = 1. (21)

26
Ao somar
2(20) + (21),
obtem-se
5π0 = 1 ⇒ π0 = 2/5 , π1 = 3/5.
Por tanto
π = (2/5, 3/5, 0, 0, 0)

27