P2 – ENG1465 - Processos Estocásticos - 2012/2 – Prof.

Álvaro – 11/10/2012

Questão 1a 1b 1c 1d 2a 2b 2c 3a 3b 3c
Valor 1 1 1 1 1 1 1 1 1 1

1) Considere uma cadeia de Markov com número finito N de estados {0, 1, ..., N-1} para o
qual o limite Lim Pi,( nj ) = π J > 0 exista para todo i e j ∈ {0,...,N −1} ,
n →∞

a) Mostre que, então, π = P T π sendo π = [π 0 ,..., π N−1 ]T .

b) Mostre que a matriz de probabilidades de transição de estado deste processo é regular.
€
Dica: defina matriz regular e depois€use a definição de limite.
c) Mostre que os estados desta cadeia de Markov são recorrentes.
d) Considere que a cada estado está associado um custo, c(i). Mostre que o valor
 n  N −1
esperado do custo médio por período é dado por: Lim 1 E ∑ c ( X k ) = ∑ π ic(i)
n →∞ n  k=1  i= 0

2) Considere o capital total de um apostador num jogo em que a cada jogada há uma
probabilidade p de ganhar R$ 1,00 e (1-p) de€perder R$ 1,00. Quando o capital acaba, ele
pode jogar de graça até ganhar outra vez R$ 1,00, quando volta a jogar normalmente. A
evolução do capital do apostador pode ser modelada como uma cadeia de Markov com
matriz de probabilidades de transição de estado dada por:
0 1 2 3 ...
 (1− p) p 0 0 .... 
0  
P= 1  (1− p) 0 p 0 .... 
2  0 (1− p) 0 p ... 

3   0 (1− p) 0  
 
     



a) Suponha p < 1 / 2 e determine a distribuição estacionária desta cadeia de Markov.

b) No longo prazo, qual o valor esperado da proporção das apostas em que o jogador
acaba com R$2?
c) No longo prazo, qual o número médio de apostas entre duas bancarrotas (capital=0) ?

3) Considere uma cadeia de Markov com a matriz de transição abaixo

0 1 2 3 4

0  0 1/ 2 1/ 2 0 0 
 
P= 1  1/ 2 0 1/ 2 0 0 
2  1/ 2 1/ 2 0 0 0 
3  0 0 0 1 0 
 
4  1 / 5 1 / 5 1 / 5 1 / 5 1 /5 

a) Identifique as classes de equivalência classificando-as como recorrentes/transientes e

periódicas/aperiódicas.
b) Calcule, quando existir, o Lim Pi,(n)j para todo par (i, j
n→∞
N
c) Calcule, quando existir, o Lim 1 ∑ P (n) para todo par (i, j).
i, j
N→∞ N n−1
1)

2)

3) Considere uma cadeia de Markov com a matriz de transição abaixo

0 1 2 3 4

0  0 1/ 2 1/ 2 0 0 
 
P= 1  1 / 2 0 1 / 2 0 0 
2  1/ 2 1/ 2 0 0 0 
3  0 0 0 1 0 
 
4  1 / 5 1 / 5 1 / 5 1 / 5 1 / 5 

a) Identifique as classes de equivalência classificando-as como recorrentes/transientes e

periódicas/aperiódicas.

Classes de equivalência: C1= {0, 1, 2}, C2={3}, C3={3,4}

- C1 é aperiódica e recorrente.
o O estado 0 é aperiódico pois é possível retornar a 0 em 2 passos (0,1,0) ou 3
passos (0,1,2,0). Logo o mdc é 1, isto é, a classe é aperiódica.
o A classe é recorrente, pois a probabilidade de nunca mais voltar a 0 é ... 0.
Para ver isso, note que, partindo do estado 0, o processo só pode transitar
dentro da própria classe. Esta funciona então como uma cadeia de Markov
por si só. Por ser aperiódica, admite um limite. Se esse limite for positivo
($)
então ∑&$'! 𝑃!,! = ∞. o que, pelo teorema 4.3 indica que o estado é
recorrente. Ocste limite é a distribuição estacionária que, por ser esta uma
cadeia duplamente estocástica, vale 1/3.
Outra forma de mostrar que é recorrente é constatar que quando há um
número finito de estados, todos não podem transientes, pois nesse caso,
lim 𝑃$,& (!) = 𝜋& = 0 ao mesmo tempo em que os 𝜋& s tem que somar 1.
!→#

- C2 contém apenas um estado absorvente e é, portanto, é aperiódica e recorrente pois a

probabilidade de voltar a 0 é 1.

- C3 contém apenas um estado transiente pois a probabilidade de não voltar (sendo

absorvido por C2 ou C3) é positiva.

b) Calcule, quando existir, o Lim Pi,(n)j para todo par (i, j)

n→∞

Classe C1 é recorrente aperiódica. Portanto, admite limite e este é igual à distribuição

estacionária. Como a matriz referentes a esta classe é duplamente estocástica, 𝜋) =
𝜋* = 𝜋+ = 1/3
A classe C2 é composta de apenas um estado absorvente. Logo, 𝑃,,, (!) = 1
para qualquer n, inclusive infinito.
A classe C3 é transiente. Logo, lim 𝑃-,- (!) = 0.
!→#

Para calcular lim 𝑃-,& (!) 𝑗 = 0,1,2,3 , defina

!→#
 𝑇 = min{𝑛, 𝑋! ∈ 𝐶1 𝑜𝑢 𝐶2}

Então,

𝑋 =0 .{0! 1),0" 1)}

lim 𝑃-,) (!) = lim 𝑃 9 ! :𝑋 = 0; = lim .{0 =
!→# !→# ) !→# " 1)}

𝑃{𝑋! = 0, 𝑋3 ∈ 𝐶1, 𝑋) = 0} 𝑃{𝑋! = 0, 𝑋3 ∉ 𝐶1, 𝑋) = 4}

= lim + lim =
!→# 𝑃{𝑋) = 4} 𝑃{𝑋) = 4}
!→# ?@@@@@@@@A@@@@@@@@B
1) 56$7 $85677í:;<

5?6B>B$<$C>C; C; >B76?çã6
=<$8$!>? 56? 7;? @>?A6: F><FG<>? :$> >!á<$7; *6 5>776

𝑃 C𝑋! = 0/ 𝑋3 ∈ 𝐶1, DE
𝑋 FEG DEEEEEFEEEEEG
{𝑋3 ∈ 𝐶1/𝑋) = 0} 𝑃{𝑋) = 4}
) =4 H 𝑃
= lim
!→# 𝑃{𝑋) = 4}

= 𝜇 lim 𝑃{𝑋! = 0/ 𝑋3 ∈ 𝐶1} com 𝜇 = 𝑃 {𝑋3 ∈ 𝐶1/𝑋) = 4}

!→#

A probabilidade 𝜇 de absorção neste caso é muito simples pois basta verificar que
probabilidade de ser absorvido por C1 é 3 vezes maior do que ser a probabilidade de
ser absorvido por C2. Logo, 𝜇 = 3/4.

lim 𝑃 {𝑋! = 0/ 𝑋3 ∈ 𝐶1} é o mesmo para qualquer 𝑋3 ∈ 𝐶1 e é dado pela

!→#
distribuição limite que, como vimos acima, é 1/3.

Logo,
3 1 1
lim 𝑃-,& (!) = = 𝑝𝑎𝑟𝑎 𝑗 = 0,1,2
!→# 4 3 4
Analogamente
1 1
lim 𝑃-,, (!) = (1 − 𝜇) lim 𝑃{𝑋! = 0 /𝑋3 ∈ 𝐶1} = × 1 =
!→# !→# 4 4
Finalmente,
0 1 2 3 4

(!) 0 ! 1/ 3 1/ 3 1/ 3 0 0 $
lim 𝑃 # &
!→# = 1 # 1/ 3 1/ 3 1/ 3 0 0 &
2 # 1/ 3 1/ 3 1/ 3 0 0 &
3 # 0 0 0 1 0 &
# &
4 #" 1/ 4 1/ 4 1/ 4 1/ 4 0 &%

N
c) Calcule, quando existir, o Lim 1 ∑ Pi,(n)j para todo par (i, j).
N→∞ N n−1

O mesmo que o item b.