1.5) Dois dados não viciados de seis lados são lançados.

Sejam 𝑋1, 𝑋2 respectivamente os resultados do primeiro e do

segundo dados.
a) Encontre a distribuição condicional de 𝑋2 dado que 𝑋1 + 𝑋2 = 7:
Podemos obter 7 como soma para qualquer valor de 𝑋2. Como os dados não são viciados, a probabilidade é a mesma em
todos os casos, ou seja, a distribuição é uniforme em {1, 2, 3, 4, 5, 6}.
b) Encontre a distribuição condicional de 𝑋2 dado que 𝑋1 + 𝑋2 = 8.
Podemos obter 8 como soma apenas para alguns valores de 𝑋2. Como os dados não são viciados, a probabilidade é a
mesma em todos os casos, ou seja, a distribuição é uniforme em {2, 3, 4, 5, 6}.

1.6) Bob tem n moedas no bolso. Uma tem duas caras e as restantes são normais. Uma moeda é escolhida aleatoriamente e
ao ser lançada, mostra cara. Encontre a probabilidade de a moeda ter duas caras:
Sendo 𝐷 o evento em que a moeda tem duas caras e 𝐶 o evento onde ao ser lançada uma moeda mostra cara, queremos
descobrir o valor de 𝑃(𝐷|𝐶), ou seja, a probabilidade de a moeda ter duas caras dado que o lançamento de uma moeda
aleatória deu cara.
Usando a regra de Bayes, temos que:
𝑃(𝐶|𝐷)𝑃(𝐷)
𝑃(𝐷|𝐶) = 𝑐 𝑐
𝑃(𝐶|𝐷)𝑃(𝐷)+𝑃 𝐶|𝐷 𝑃 𝐷 ( )( )
Sendo:
Termo Significado Valor
𝑃(𝐶|𝐷) Probabilidade de dar cara dado que a moeda escolhida tem duas caras 1
𝑃(𝐷) Probabilidade de a moeda escolhida ter duas caras 1
𝑛
𝑐 1
(
𝑃 𝐶|𝐷 ) Probabilidade de dar cara dado que a moeda escolhida não tem duas caras
2

𝑃 𝐷 ( 𝑐) Probabilidade de a moeda escolhida não ter duas caras (𝑛−1)

𝑛

𝑃(𝐷|𝐶) =
𝑃(𝐶|𝐷)𝑃(𝐷)
=
( )
(1)
1
𝑛
=
1
𝑛
=
1
𝑛
=
1 2𝑛
=
2
(1)( )+( )( )
𝑐
( ) ( 𝑐)
𝑃(𝐶|𝐷)𝑃(𝐷)+𝑃 𝐶|𝐷 𝑃 𝐷
1
𝑛
1
2
(𝑛−1)
𝑛
1
𝑛
+
1
2
1
− 2𝑛
2+𝑛−1
2𝑛
𝑛 (𝑛+1) 𝑛+1

1.10) Um dado é lançado até que ocorra um 3. Ao condicionar o resultado do primeiro teste, encontre a probabilidade de
que um número par de testes seja necessário.
Seja A o evento em que um número par de jogadas seja necessário para que o lançamento de um dado dê 3, queremos
descobrir o valor de 𝑃(𝐴).
Seja B o evento em que ocorre um 3 no primeiro lançamento e usando a lei da probabilidade total (similar ao exemplo 1.9),
temos que:
𝑘 𝑘
𝑃(𝐴) = ∑ 𝑃(𝐴∩𝐵𝑖) = ∑ 𝑃 𝐵𝑖 𝑃 𝐵𝑖 ,
𝑖=1 𝑖=1
( )( ) sendo 𝐵1, …, 𝐵𝑘 disjuntos

Logo, temos que:

𝑃(𝐴) = 𝑃(𝐵)𝑃(𝐵) + 𝑃 𝐵 𝑃 𝐵 ( 𝑐) ( 𝑐)
Sendo:
Termo Significado Valor
𝑃(𝐵) Probabilidade de ocorrer um 3 em um número par de lançamentos dado que deu 3 no 0
primeiro lançamento
𝑃(𝐵) Probabilidade de ocorrer um 3 no primeiro lançamento 1
6
𝑐 1 − 𝑃(𝐴)
( )
𝑃 𝐵 Probabilidade de ocorrer um 3 em um número par de lançamentos dado que o
primeiro lançamento não deu 3
( 𝑐)
𝑃 𝐵 Probabilidade de não ocorrer um 3 no primeiro lançamento 5
6

𝑐
𝑃 𝐵 = ( 𝑐 )
𝑐
( ) 𝑃 𝐴∩𝐵
( )
𝑃 𝐵
 ( 𝑐) ( 𝑐)
𝑃(𝐴) = 𝑃(𝐵)𝑃(𝐵) + 𝑃 𝐵 𝑃 𝐵 = (0) ( ) + (1 − 𝑃(𝐴))( )
1
6
5
6

𝑃(𝐴) = (1 − 𝑃(𝐴)) ( )=
5
6
5
6
−
5
6
𝑃(𝐴)

5 5
𝑃(𝐴) = 6
− 6
𝑃(𝐴)

5 5
𝑃(𝐴) + 6
𝑃(𝐴) = 6

11 5
6
𝑃(𝐴) = 6

11𝑃(𝐴) = 5

5
𝑃(𝐴) = 11

2.14) Existem 𝑘 músicas no player de música de Mary. O reprodutor está configurado para o modo aleatório, que reproduz
as músicas de maneira uniforme de forma aleatória, amostragem com substituição. Assim, as repetições são possíveis.
Deixe 𝑋𝑛 denotar o número de músicas inéditas que foram ouvidas após a enésima reprodução.
(a) Mostre que 𝑋0, 𝑋1, ... é uma cadeia de Markov e forneça a matriz de transição.
É uma cadeia de Markov, pois a cada passo o número de músicas que Mary ouviu só depende do número de músicas que
ela ouviu no passo anterior, bastando averiguar se ela já ouviu ou não aquela música e daí somar ou não mais uma música
na contagem total, se ela já ouviu a música A 2 ou 50 vezes, isso não faz diferença, assim como a ordem que ela escutou as
músicas anteriores.
O termo genérico 𝑃𝑖𝑗 da matriz, onde 𝑗 é o número de músicas inéditas em um passo 𝑛 + 1 e 𝑖 é o número de músicas
inéditas em um passo 𝑛 é:
( )
(𝑘−𝑖)
𝑃𝑖𝑗 = 𝑃 𝑋𝑛+1 = 𝑗| 𝑋𝑛 = 𝑖 = { 𝑘 , 𝑠𝑒 𝑗 = 𝑖 + 1
𝑖
𝑘
, 𝑠𝑒 𝑗 = 𝑖 0, 𝑝𝑎𝑟𝑎 𝑞𝑢𝑎𝑙𝑞𝑢𝑒𝑟 𝑜𝑢𝑡𝑟𝑜 𝑐𝑎𝑠𝑜

𝑖 (𝑘−𝑖)
Sendo 𝑘
a chance de a música já ter sido ouvida e 𝑘
a chance de a música ser inédita.

(b) Se Maria tem quatro canções em seu reprodutor de música, encontre a probabilidade de que todas as canções sejam
ouvidas após seis reproduções.
Utilizando 𝑃𝑖𝑗, podemos chegar a seguinte matriz de transição 𝑃 para no máximo 4 músicas:

01234
1 3 2 2 3 1
𝑃 = 0 1 2 3 4 ⎡0 1 0 0 0 0 0000 0000 00001⎤
⎣ 4 4 4 4 4 4 ⎦

Como são efetuadas 6 reproduções, inicialmente 0 músicas inéditas foram escutadas e se espera escutar 4 músicas,
6 6
necessitamos do valor de 𝑃0,4, ou seja, o valor presente na primeira linha e quinta coluna da matriz 𝑃 . Para calcular este
valor, foi utilizado o seguinte código em Python:

import numpy as np
P = np.array ([[0,1,0,0,0], [0,1/4,3/4,0,0], [0,0,2/4,2/4,0], [0,0,0,3/4,1/4], [0,0,0,0,1]]) #Declara a matriz
P6 = np.matmul(P, np.matmul(P, np.matmul(P, np.matmul(P, np.matmul(P, P))))) #Calcula P^6
V=[1,0,0,0,0] #Cria um vetor que multiplicado pela matriz resulta na primeira linha da matriz
primeiraLinhaDeP6=np.matmul(V,P6) #Faz o produto do vetor pela matriz
print ("Linha da matriz P^6: \n", primeiraLinhaDeP6) #Imprime a primeira linha de P^6

6
Obs.: No código acima a matriz linha [1 0 0 0 0 ] foi multiplicada por 𝑃 apenas para pegar a primeira linha da matriz e
simplificar a visualização.
O código retornou a seguinte matriz:
[0 0. 00097656 0. 09082031 0. 52734375 0. 38085938 ]
Podemos interpretar seus dados da seguinte forma:

Número de músicas inéditas:

0 1 2 3 4
Probabilidade: [0 0. 00097656 0. 09082031 0. 52734375 0. 38085938 ]

Ou seja, os valores da matriz correspondem às probabilidades de após 6 reproduções se escute respectivamente 0, 1, 2, 3

ou 4 músicas inéditas. É importante ressaltar que os valores desta linha valem apenas caso se inicie com 0 músicas inéditas,
caso já se iniciasse com 1 musica por exemplo, deveríamos ter pego a segunda linha da matriz.
Pegando o quinto valor da matriz, temos que:
6
𝑃0,4 = 0. 38085938

3.2) Uma matriz estocástica é chamada de duplamente estocástica se a soma de suas linhas e colunas resulta em 1. Mostre
que uma cadeia de Markov cuja matriz de transição é duplamente estocástica tem uma distribuição estacionária, que é
uniforme no espaço de estados.
Temos que uma distribuição uniforme é dada por:
1 1
π = 𝑘 , 𝑘 , …, 𝑘
1
( )
Ou seja, ao fazermos o produto obteremos para cada j:
𝑘
∑ π𝑖𝑃𝑖𝑗
𝑖=1

1
Como π𝑖 = 𝑘
para todo i:
𝑘 𝑘
1
∑ π𝑖𝑃𝑖𝑗 = 𝑘
∑ 𝑃𝑖𝑗
𝑖=1 𝑖=1

𝑘
Como a soma dos elementos das colunas é 1, temos que ∑ 𝑃𝑖𝑗 = 1:
𝑖=1
𝑘 𝑘
1 1
∑ π𝑖𝑃𝑖𝑗 = 𝑘
∑ 𝑃𝑖𝑗 = 𝑘
𝑖=1 𝑖=1

Ou seja:

( )( )
𝑘 𝑘 𝑘 𝑘 𝑘 𝑘
π = ∑ π𝑖𝑃𝑖0, ∑ π𝑖𝑃𝑖1, …, ∑ π𝑖𝑃𝑖𝑘 =
𝑖=1 𝑖=1 𝑖=1
1
𝑘
∑
𝑖=1
1
𝑃𝑖0, 𝑘 ∑ 𝑃𝑖1, …,
𝑖=1
1
𝑘
∑ 𝑃𝑖𝑘 =
𝑖=1
( 1
𝑘
,
1
𝑘
, …,
1
𝑘 )

3.10) Uma cadeia de Markov tem matriz de transição P e distribuição limitante π. Além disso, assuma que π é a distribuição
inicial da cadeia. Ou seja, a cadeia está em estacionariedade. Encontre o seguinte:
( ) ( )
a) 𝑃 𝑋𝑛 = 𝑗|𝑋𝑛−1 = 𝑖 = 𝑃 𝑋1 = 𝑗|𝑋0 = 𝑖 = 𝑃𝑖𝑗
b) 𝑃(𝑋𝑛 = 𝑗|𝑋0 = 𝑖) = π𝑗
c) 𝑃(𝑋𝑛+1 = 𝑘, 𝑋𝑛 = 𝑗|𝑋0 = 𝑖) = 𝑃(𝑋𝑛+1 = 𝑘| 𝑋𝑛 = 𝑗) 𝑃( 𝑋𝑛 = 𝑗|𝑋0 = 𝑖) = 𝑃𝑗𝑘π𝑗
𝑃(𝑋 =𝑗) ππ
d) 𝑃(𝑋0 = 𝑗|𝑋𝑛 = 𝑖) = 𝑃(𝑋𝑛 = 𝑖|𝑋0 = 𝑗) 𝑃 𝑋 =𝑖 = π = π𝑗
0 𝑖 𝑗

( ) 𝑛 𝑖

3.16) Encontre o tempo de retorno esperado para uma casa de canto de um tabuleiro de xadrez para as seguintes peças: (i)
Rainha, (ii) Torre, (iii) Rei, (iv) Bispo. Ordene as peças pelas quais as peças retornam mais rápido.
Podemos interpretar o tabuleiro como um grafo com 64 nós correspondentes a cada uma das casas do tabuleiro, nesse
grafo, a presença de uma aresta unindo dois vértices, indica que a movimentação da peça entre as casas é permitida. Nesse
caso, por estarmos no 2D, temos que os estados são recorrentes, ou seja, saindo de um estado ele será revisitado inúmeras
vezes no comportamento de longo prazo (“homem bêbado” vs “pássaro bêbado”).
Podemos fazer a distribuição de graus:

Para o bispo temos os seguintes tipos de casas:

 Cor Tipo Quantidade Graus de liberdade Produto
Lateral 28 7 196
Meio 1 20 9 180
Meio 2 12 11 132
Meio 3 4 13 52
Total: 560

=𝑆𝑈𝑀(𝐴𝐵𝑂𝑉𝐸) 560
Para o bispo temos: 7
= 80

Para a torre temos os seguintes tipos de casas:

Cor Tipo Quantidade Graus de liberdade Produto

Todos 64 14 896
Total: 896

896
Para a torre temos: 14
= 64

Para a rainha temos os seguintes tipos de casas:

 Cor Tipo Quantidade Graus de liberdade Produto
Lateral 28 21 588
Meio 1 20 23 460
Meio 2 12 25 300
Meio 3 4 27 108
Total: 1456

1456
Para a rainha temos: 21
= 69, 33

Para o rei temos os seguintes tipos de casas:

Cor Tipo Quantidade Graus de liberdade Produto

Canto 4 3 12
Meio 36 8 288
Lateral 24 5 120
Total: 420

420
Para o rei temos: 3
= 140

3.25) Leia sobre o modelo de difusão de Bernoulli-Laplace no Exercício 2.12.

2.12: “Duas urnas contêm 𝑘 bolas cada. Inicialmente as bolas na urna esquerda são todas vermelhas e as bolas na urna
direita são todas azuis. Em cada etapa, escolha uma bola aleatoriamente de cada urna para trocá-las. Seja 𝑋𝑛 o número de
bolas azuis na urna esquerda. (Observe que necessariamente 𝑋0 = 0 e 𝑋1 = 1.) Argumente que o processo é uma cadeia
de Markov. Encontre a matriz de transição. Este modelo é chamado de modelo de difusão de Bernoulli-Laplace e foi
introduzido por Daniel Bernoulli em 1769 como um modelo para o fluxo de dois líquidos incompressíveis entre dois
recipientes.”

a) Encontre a distribuição estacionária para os casos 𝑘 = 2 e 𝑘 = 3:

012
(
𝑃2 = 0 1 2 0 1 0
1
4
1
2
1
4
010 )
Para a distribuição estacionária, temos que:
π𝑃2 = π

Que equivale a:
[π0 π1 π2 ]𝑃2 = [π0 π1 π2 ]
Sendo possível chegar ao seguinte sistema de equações:
1 1 1
{ 4 π1 = π0 (1) π0 + 2 π1 + π2 = π1 (2) 4
π1 = π2 (3)

Observando as equações (1) e (3), temos que:

π0 = π2

Definindo π0 = 1 temos que:

π0 = 1

π2 = 1

Substituindo os valores acima na equação (2):

1
1+ 2
π1 + 1 = π1

π1 = 4

Chegando ao seguinte vetor: π̈ = (1, 4, 1)

Normalizando o vetor chegamos que a distribuição estacionária é π = ( 1

6
,
4
6
,
1
6 )
0123
(
𝑃3 = 0 1 2 3 0 1 0 0
1
9
4
9
4
9
00
4
9
4
9
1
9
0010 )
Para a distribuição estacionária, temos que:
π𝑃3 = π

Que equivale a:
[π0 π1 π2 π3 ]𝑃2 = [π0 π1 π2 π3 ]
Sendo possível chegar ao seguinte sistema de equações:
1 4 4 4 4 1
{ 9 π1 = π0 (1) π0 + 9 π1 + 9 π = π1 (2) 9
π1 + 9
π + π3 = π2 (3) 9
π2 = π3 (4)
2 2

Definindo π0 = 1 temos que (1) é:

 1
9
π1 = π0

1
9
π1 = 1

π1 = 9

Unindo as equações (3) e (4) temos que:

4 4 1
9
π1 + 9
π + 9
π2 = π2
2

4 9 5
9
π1 = 9
π2 − 9
π
2

4 4
9
π1 = 9
π2

π1 = π2

π2 = 9

Usando a equação (4):

1
9
π2 = π3

9
9
= π3

π3 = 1

Chegando ao seguinte vetor: π̈ = (1, 9, 9, 1)

Normalizando o vetor chegamos que a distribuição estacionária é π = ( 1

20
,
9
20
,
9
20
,
1
20 )
𝑘 2

b) Para um 𝑘 geral, mostre que π𝑗 =

( ) , para 𝑗
𝑗
= 0, 1,..., 𝑘 satisfaz a equação para a distribuição estacionária e, portanto,
( )
2𝑘
𝑘

a distribuição limitante única da cadeia:

2
π𝑗−1(𝑘−𝑗+1) 2𝑗(𝑘−𝑗) (𝑗+1)
2
π𝑗 = π𝑗−1𝑃𝑗−1,𝑗 + π𝑗𝑃𝑗,𝑗 + π𝑗+1𝑃𝑗1,𝑗 = 2 + π𝑗 2 + π𝑗+1 2
𝑘 𝑘 𝑘

𝑘 2

A equação é satisfeita por π𝑗 =

( )
𝑗

( )
2𝑘
𝑘

3.37) Mostre que todas as cadeias de Markov de dois estados, exceto a cadeia trivial cuja matriz de transição é a matriz
identidade, são reversíveis no tempo.
Dada uma matriz P da seguinte forma:
𝑃 = (1 − 𝑝 𝑝 𝑞 1 − 𝑞 )

Esta matriz possui a seguinte distribuição estacionária:

π= ( 𝑞
𝑝+𝑞
,
𝑝
𝑝+𝑞 )
Ou seja, temos que:
π𝑃 = π

Usando a seguinte equação:

Temos que:
π1𝑃12 = ( )(𝑝) =
𝑞
𝑝+𝑞
𝑝𝑞
𝑝+𝑞
= ( )(𝑞)π 𝑃
𝑝
𝑝+𝑞 2 21

π1𝑃11 = ( )(1 − 𝑝) =
𝑞
𝑝+𝑞
𝑞(1−𝑝)
𝑝+𝑞
= ( )(1 − 𝑞)π 𝑃
𝑝
𝑝+𝑞 2 22

3.58) Uma sequência de 0s e 1s é gerada por uma cadeia de Markov com matriz de transição

01
1 3 3 1
𝑃 = 01 ⎡4 ⎤
⎣ 4 4 4 ⎦

O primeiro elemento da sequência é decidido por um lançamento de uma moeda justa. Em média, quantos passos são
necessários para o padrão 0-0-1-1 aparecer pela primeira vez?
Temos a seguinte matriz de transição:
∅↔1 0 00 001 0011
1 3 3 1 1 3 3 1
𝑃 = ∅↔1 0 00 001 0011 ⎡ 000 0 0000 00 00 00001⎤
⎣ 4 4 4 4 4 4 4 4 ⎦

Para encontrar a matriz fundamental, podemos iniciar pegando parte da matriz de transição, formando a seguinte matriz:

1 0 00 001
1 3 3 1 1 3 3
𝑄 = 1 0 00 001 ⎡ 4 00 0 000 0 00⎤
⎣ 4 4 4 4 4 4 ⎦

Sendo a matriz fundamental dada por:

−1
𝐹 = (𝐼 − 𝑄)

Resolvi esta conta através da calculadora, a conta está no seguinte link:

http://wes.casio.com/math/index.php?q=I-273A%20U-0006001619F5%20M-060400A000%20S-000410100000100E1210B0
00F3F7%20E-609134D0A7FB20D0D4%20R-MT4401733333333333330101016000000000000001010533333333333332010
004000000000000000100016000000000000001010160000000000000010105333333333333320100040000000000000001
000120000000000000010101200000000000000101053333333333333301000400000000000000010001200000000000000
101012000000000000001010400000000000000010004000000000000000100%20C-MA4402500000000000000099075000
000000000000990000000000000000000000000000000000000000075000000000000000990000000000000000000002500
000000000000099000000000000000000000000000000000000000000000000000000000000025000000000000000990750
000000000000009900000000000000000000075000000000000000990000000000000000000000000000000000000000MB
420000000000000000000000000000000000000000000000000000000000000000000000000000000007500000000000000
099000000000000000000000000000000000000000002500000000000000099
Temos que:
1 0 00 001
−1
𝐹 = (𝐼 − 𝑄) = 1 0 00 001 [17. 33333333 16 5. 333333333 4 16 16 5. 333333333 4 12 12 5. 333333333 4 12 12 4 4 ]

onde 𝐹𝑖𝑗 é o número esperado de visitas a 𝑗 dado que a cadeia começa em 𝑖.

Somando a primeira linha chegamos a 42,66, que é o número médio de etapas até que a cadeia se inicie logo após um “1”.
Somando a segunda linha chegamos a 41,33, que é o número médio de etapas até que a cadeia se inicie logo após um “0”.
Tirando a média entre os dois valores, temos que 41,99 etapas seriam necessárias, arredondando temos que em média 42
etapas seriam necessárias.