ENUNCIADO

P1 - ENG1465 - Processo Estocásticos - 2016/2 – Prof. Álvaro – 22/09/2015

Questão 1a 1b 1c 2a 2b 2c 3a 3b 3c 3d
valor 1 1 1 1 1 1 1 1 1 1

1) Um jogador entra num cassino para usar uma máquina em que, a cada jogada, ele pode
ganhar ou perder R$1 com igual probabilidade. O número de vezes que ele vai jogar é uma
variável aleatória com média 10 e desvio padrão 2. Seja W o total ganho pelo jogador.

a) Mostre formalmente que EW [W ] = ∑ EW /N=n [W / N = n]]P { N = n} quando W e N são

n
variáveis aleatórias discretas.
b) Desenvolva formalmente o cálculo do valor esperado de W.
c) Desenvolva formalmente o cálculo da variância de W.

2) Um processo estocástico de Markov {X n , n = 0,1,2....} tem uma matriz de transição P

0 1 2 3

0 ! 1/ 3 1/ 3 0 1/ 3 $
P= # &
1 # 1/ 3 1/ 3 1/ 3 0 &
2 # 0 1/ 3 1/ 3 1/ 3 &
3 # 1 / 3 0 1 / 3 1 / 3 &%
"

Com distribuição inicial dada por Pr{X 0 = 0} = Pr{X 0 = 1} = Pr{X 0 = 2} = Pr{X 0 = 2} = .25

a) Qual a probabilidade de X1 ≠ 1 ?
b) Qual a probabilidade de X1 = 1 dado que X2 ≥ 2 ?
c) Qual a probabilidade de X3 = 1 e X 4 = 0 sem que o processo tenha passado pelo estado 0
antes, dado X 0 = 2 ? Indique as contas antes de avaliar seu valor numérico.

3) Um jogador entra num cassino com R$ 3 no bolso. A cada jogada ele tem igual probabilidade
de ganhar ou de perder. Se o jogador perder tudo ou se chegar a acumular R$5, ele tem que
se retirar do cassino.

a) Formule um modelo de cadeia de Markov onde o estado Xn é o capital acumulado após

a nésima jogada explicitando a matriz de probabilidades de transição de estado.
b) Qual a probabilidade do jogador sair do cassino tendo perdido tudo?
c) Cada vez que o capital acumulado chega a 1 real, o jogador fica nervoso e pede um
uísque. Qual o valor esperado do número de uísques que ele vai beber antes de ter que se
retirar do cassino?
d) Suponha agora que o cassino permite que o jogador acumule até R$1000. Qual a
probabilidade do jogador sair do cassino tendo perdido tudo?
 GABARITO

P1 - ENG1465 - Processo Estocásticos - 2016/2 – Prof. Álvaro – 22/09/2015

1) Um jogador entra num cassino para usar uma máquina em que, a cada jogada, ele pode
ganhar ou perder R$1 com igual probabilidade. O número de vezes que ele vai jogar é uma
variável aleatória com média 10 e desvio padrão 2. Seja W o total ganho pelo jogador.

a) Mostre formalmente que EW [W ] = ∑ EW /N=n [W / N = n]]P { N = n} quando W e N são

n
variáveis aleatórias discretas.

𝐸! [𝑊 ] = & 𝑤" 𝑃[𝑊 = 𝑤" ] = & 𝑤" & 𝑃 [𝑊 = 𝑤" , 𝑁 = 𝑛]

" " #

𝑊 = 𝑤"
𝐸! [𝑊 ] = & 𝑤" & 𝑃 , -𝑁 = 𝑛 . 𝑃 [𝑁 = 𝑛]
$
" #

𝑊 = 𝑤"1
𝐸! [𝑊 ] = & /& 𝑤" 𝑃 0 𝑁 = 𝑛23 𝑃[𝑁 = 𝑛]
# 4555555556555555557
"
%!% [!]
"#$
CQD.

b) Desenvolva formalmente o cálculo do valor esperado de W.

Defina 𝜉# como o ganho após a nésima jogada. Se N é o número de jogadas, temos que :

𝑊 = 𝜉( + ⋯ + 𝜉)

Como
1 1
𝐸[𝜉# ] = (−1) + (1) = 0
2 2

Então,

𝐸! [𝑊 ] = 𝐸),+& ,…,+" [𝜉( + ⋯ + 𝜉) ] = 0

Pois o valor esperado de cada parcela da soma é zero independentemente e a soma dos
valores esperados será sempre zero, independentemente do número N de jogadas. Isso
pode ser visto algebricamente pois se 𝐸!. [𝑊 ] = 0 ∀ 𝑛 então, usando a expressão do
)-#
item (a), soma dá realmente zero.
 c) Desenvolva formalmente o cálculo da variância de W.

Primeiramente verifica-se que como 𝐸! [𝑊 ] = 0,

𝑉! [𝑊 ] = 𝐸! [(𝑊 − 𝐸! [𝑊 ])/ ] = 𝐸! [𝑊 / ]

Usando a expressão do item (a), temos que

𝐸! [𝑊 / ] = & 𝐸!. [𝑊 / ]𝑃[𝑁 = 𝑛]

)-#
#
Trabalhando a expressão central,
# #

[𝑊 /] [(𝜉( + ⋯ + 𝜉# )/ ]
𝐸!. = 𝐸!. = && 𝐸D𝜉
4 𝜉7
56"5$E =𝑛
)-# )-#
"-( $-( ↓
-%[+' ]%1+( 2-3 56 "7$
)
%1+' 2-( 56 "-$
Logo,

𝐸! [𝑊 / ] = & 𝑛𝑃[𝑁 = 𝑛] = 𝐸) [𝑁] = 10

#

2) Um processo estocástico de Markov {X n , n = 0,1,2....} tem uma matriz de transição P

0 1 2 3

0 ! 1/ 3 1/ 3 0 1/ 3 $
P= # &
1 # 1/ 3 1/ 3 1/ 3 0 &
2 # 0 1/ 3 1/ 3 1/ 3 &
3 # 1 / 3 0 1 / 3 1 / 3 &%
"

Com distribuição inicial dada por Pr{X 0 = 0} = Pr{X 0 = 1} = Pr{X 0 = 2} = Pr{X 0 = 2} = .25

a) Qual a probabilidade de X1 ≠ 1 ?

Primeiramente, observe que

𝑃[𝑋( ≠ 1] = 1 − 𝑃[𝑋( = 1]
?
𝑋 =1
𝑃[𝑋( = 1] = & 𝑃 0 ( 1 = 𝑖 2 𝑃[𝑋3 = 𝑖]
45555565𝑋535557
"-3 /8 9:;<#8 =6 >
Substituindo os valores,
 1 1 1 1 1
𝑃[𝑋( = 1] = J + + + 0L =
4 45
3 553565
35557 4
/8 9:;<#8 =6 >
Logo,
1 3
𝑃 [𝑋( ≠ 1] = 1 − =
4 4

b) Qual a probabilidade de X1 = 1 dado que X2 ≥ 2 ?

𝑋 =1 𝑃[𝑋( = 1, 𝑋/ ≥ 2] 𝑃[𝑋( = 1, 𝑋/ = 2] + 𝑃[𝑋( = 1, 𝑋/ = 3]

𝑃0 ( 1𝑋 ≥ 22 = =
/ 𝑃 [𝑋 / ≥ 2]
45657 𝑃 [𝑋 / = 2] + 𝑃[𝑋/ = 3]
455555565555557
@) -/ ∪ @) -? >[@) -/ ∪@) -?]

𝑋 =2 𝑋 =3
𝑃0 / 1𝑋 = 12 𝑃[𝑋( = 1] + 𝑃 0 / 1𝑋 = 12 𝑃[𝑋( = 1]
𝑋 =1 ( (
𝑃0 ( 1𝑋 ≥ 22 =
/ 𝑃[𝑋/ = 2] + 𝑃[𝑋/ = 3]

Para calcular 𝑃[𝑋/ = 2] e 𝑃 [𝑋/ = 3] é conveniente calcular a matriz de probabilidades

de transição para 2 passos,

! 3/9 2/9 2/9 2/9 $

(/) / # &
𝑃 =𝑃 =# 2/9 3/9 2/9 2/9 &
# 2/9 2/9 3/9 2/9 &
# 2/9 2/9 2/9 3/9 &
" %

?
𝑋 =2 1 2 2 3 2 1
𝑃[𝑋/ = 2] = & 𝑃 0 / 1𝑋 = 𝑖 2 𝑃[𝑋3 = 𝑖] = N + + + P =
3 4 9455565
9 9557
9 4
"-3
?8 9:;<#8 =6 > ())

Analogamente,

1 2 2 2 3 1
𝑃 [𝑋/ = 3] = J + + + L =
4 9 9 9 9 4

Finalmente, substituindo os valores na expressão correspondente (note que 𝑃[𝑋( = 1] foi

calculado no item (a)),

1 1 1
𝑋( = 1 + 0 4=1
𝑃0 1𝑋 ≥ 22 = 3 4
/ 1 1 6
4+4
c) Qual a probabilidade de X3 = 1 e X 4 = 0 sem que o processo tenha passado pelo estado 0 antes,
dado X 0 = 2 ? Indique as contas antes de avaliar seu valor numérico.

Esse problema pode ser resolvido na força bruta, simplesmente enumerando todas as
sequências de interesse {2,1,1,1,0}, {2,1,2,1,0},.... etc. É trabalho mas é possível.

Vamos resolver de forma mais estruturada. Formalmente,

𝑋 = 1, 𝑋D = 0
𝑃0 ? 1𝑋 = 2, 𝑋 ≠ 0, 𝑋 ≠ 02 =
3 ( /

𝑃[𝑋? = 1, 𝑋D = 0, 𝑋3 = 2, 𝑋( ≠ 0, 𝑋/ ≠ 0]
=
𝑃[𝑋3 = 2, 𝑋( ≠ 0, 𝑋/ ≠ 0]

𝑋D = 0 𝑋 =1
𝑃0 1𝑋 = 12 𝑃 0 ? 1𝑋 = 2, 𝑋 ≠ 0, 𝑋 ≠ 02 𝑃[𝑋3 = 2, 𝑋( ≠ 0, 𝑋/ ≠ 0]
? 3 ( /
= =
𝑃[𝑋3 = 2, 𝑋( ≠ 0, 𝑋/ ≠ 0]

𝑋? = 1
= 𝑃(,3 𝑃 0 1𝑋 = 2, 𝑋 ≠ 0, 𝑋 ≠ 02 =
3 ( /

𝑋? = 1
Para calcular o termo 𝑃 0 1𝑋 = 2, 𝑋 ≠ 0, 𝑋 ≠ 02 vamos definir um outro processo
3 ( /
P* em que o estado 0 será absorvente.

0 1 2 3
0 1 0 0 0
𝑃∗ = 1 1/3 1/3 1/3 0
R T
2 0 1/3 1/3 1/3
3 1/3 0 1/3 1/3

Desta forma temos certeza que ao chegar em 𝑋? = 1 , o processo não passou pelo estado 0
antes (pois nessa nova matriz, o 0 é absorvente). Nesse novo processo, a probabilidade que
queremos calcular será simplesmente a probabilidade de sair de 2 e chegar em 1 em 3
passos.

É fácil ver que

0 1 2 3

𝑃∗ - = 0 ! 1 0 0 0 $
# &
1 # 4 / 9 2 / 9 2 / 9 1/ 9 &
2 # 2 /9 2 /9 3/9 2 /9 &
3 # 4 / 9 1/ 9 2 / 9 2 / 9 &
" %
∗(?)
Poderíamos agora calcular a 3a potência de P mas só precisamos do termo 𝑃/,( .
 Este é dado pelo produto interno da 3ª linha de 𝑃∗ - pela 2ª coluna de P , correspondentes
aos estados 2 e 1, respectivamente.

Temos finalmente que,

∗(1) 1 2 12 13 2 1 2 3
𝑃.,0 𝑃-,. = %0 + + + 0 + = % + + = 5/81
3 9 39 39 9 3 27 27

4) Um jogador entra num cassino com R$ 3 no bolso. A cada jogada ele tem igual probabilidade
de ganhar ou de perder. Se o jogador perder tudo ou se chegar a acumular R$5, ele tem que
se retirar do cassino.

a) Formule um modelo de cadeia de Markov onde o estado Xn é o capital acumulado após

a nésima jogada explicitando a matriz de probabilidades de transição de estado.

Os estados são 𝑋# ∈ {0,1,2,3,4}, 𝑋3 = 3 . Este processo é um processo de Markov pois o capital

acumulado em n+1 só depende do capital em n e do resultados da jogada, que é independente
dos resultados de jogadas passadas. A matriz de probabilidade de transição de estados é,

0 1 0 0 0 0 0
⎡1/2 0 1/2 0 0 0⎤
1⎢ ⎥
𝑃 = 2 ⎢0 1/2 0 1/2 0 0⎥
3 ⎢0 0 1/2 0 1/2 0⎥
4 ⎢0 0 0 1/2 0 1/2⎥
5⎢ 0 0 0 0 0 1 ⎥

b) Qual a probabilidade do jogador sair do cassino tendo perdido tudo?

𝑋F = 0
Defina, 𝑇 = min{𝑛, 𝑋# = 0 𝑜𝑢 𝑋# = 5} e 𝜇" = 𝑃 0 1𝑋 = 𝑖2 com 𝜇3 = 1 e 𝜇G = 0
# 3

Então, usando a regra da probabilidade total

G
𝑋 =0
𝜇" = & 𝑃 0 F 1𝑋 = 𝑖, 𝑋 = 𝑘 2 𝑃",I
45555555655555557
3 (
I-3
-H2

Calculando a expressão acima para i=1,2,3,4

( (
𝜇( = 𝑃(,3 + 𝑃(,( 𝜇( + 𝑃(,/ 𝜇/ + 𝑃(,? 𝜇? + 𝑃(,D 𝜇D à𝜇( = / + / 𝜇/

( (
𝜇/ = 𝑃/,3 + 𝑃/,( 𝜇( + 𝑃/,/ 𝜇/ + 𝑃/,? 𝜇? +𝑃/,D 𝜇D à𝜇/ = / 𝜇( + / 𝜇?

Continuando
 1 1
𝜇? = 𝜇/ + 𝜇D
2 2
1
𝜇D = 𝜇?
2

Mesmo para um problema pequeno, vale a pena usar o truque visto em sala e notar que
1 1
𝜇" = 𝜇" + 𝜇"
2 2

Podemos então reescrever,

( ( ( (
𝜇( = / 𝜇3 + / 𝜇/ = / 𝜇( + / 𝜇( à (𝜇/ − 𝜇( ) = (𝜇( − 𝜇3 )

No conjunto temos que

(𝜇( − 𝜇3 ) = 𝜇( − 1

(𝜇/ − 𝜇( ) = (𝜇( − 𝜇3 ) = 𝜇( − 1
.
.
.
(𝜇D − 𝜇? ) = (𝜇? − 𝜇/ ) = ⋯ = 𝜇( − 1

(𝜇G − 𝜇D ) = (𝜇D − 𝜇? ) = ⋯ = 𝜇( − 1

Somando todas essas parcelas temos que,

e𝜇
fG − 𝜇3 g = −1 = 5(𝜇( − 1) à 𝜇( =4/5
-3

(
Mais ainda como sabemos que a diferença entre os 𝜇′𝑠 é constante e igual a 𝜇( − 1 = − G ,

𝜇/ = 3/5 , 𝜇? = 2/5 e 𝜇D = 1/5

c) Cada vez que o capital acumulado chega a 1 real, o jogador fica nervoso e pede um
uísque. Qual o valor esperado do número de uísques que ele vai beber antes de ter que se
retirar do cassino?

Seja 𝑔" o número de uísques que ele toma no estado i. Então 𝑔( = 1 e 𝑔" = 0 para i=1,2,3,4
∑FJ( 𝑔
Defina 𝑤" = 𝐸 k I-3 @2-𝑋 = 𝑖m, com 𝑤3 = 𝑤G = 0
3

Então, usando o valor esperado iterado,

 G
∑FJ( 𝑔
𝑤" = 𝐸 k I-3 @2-𝑋 = 𝑖 m = & 𝑤I 𝑃",I + 𝑔"
3
I-3

Logo,
(
𝑤( = 𝑃(,/ 𝑤/ + 1 à 𝑤( = / 𝑤/ + 1
( (
𝑤/ = 𝑃/,( 𝑤( + 𝑃/,? 𝑤? à 𝑤/ = / 𝑤( + / 𝑤?
Continuando,
1 1
𝑤? = 𝑤/ + 𝑤D
2 2
1
𝑤D = 𝑤?
2
Resolvendo o sistema, 𝑤? = 4/5

d) Suponha agora que o cassino permite que o jogador acumule até R$1000. Qual a
probabilidade do jogador sair do cassino tendo perdido tudo?

O mesmo esquema utilizado no item b pode ser utilizado aqui. Seria imediato também apenas
observar a lei de formação dos 𝜇" ′𝑠. Eles diminuem de 1/N. Sendo assim, 𝜇? = 997/1000.