EXERCÍCIOS DE CADEIAS DE MARKOV EM R

1) Seja P uma matriz de transição para os estados 0, 1, 2 dada por:

[ ]
0.6 0.0 0.4
P= 0.1 0.8 0.1
0.3 0.2 0.5
2 8 10 20
a) Obtenha P , P , P e P
b) Considerando que o estado inicial é X = (0,1,0). Determine a probabilidade do sistema estar no estado
1 após 3 transições.
c) Considerando que o estado inicial é X = (1/2,0,1/2). Determine a probabilidade do sistema estar no
estado 1 após 4 transições.
d) Qual é P(∞) ?

Iniciando:

- Escrever a matriz de transição em R:

> P = matrix(c(0.6,0,0.4,

+ 0.1,0.8,0.1,

+ 0.3,0.2,0.5),nrow = 3, byrow = TRUE)

>P

[,1] [,2] [,3]

[1,] 0.6 0.0 0.4

[2,] 0.1 0.8 0.1

[3,] 0.3 0.2 0.5

- Renomeando linhas e colunas:

> colnames(P) = (0:2)

> rownames(P) = (0:2)

>P

0 1 2

0 0.6 0.0 0.4

1 0.1 0.8 0.1

2 0.3 0.2 0.5

- Chamando um valor da matriz:

>

> P["1","2"]
 [1] 0.1

- Calculando potências das matrizes de transição:

> P2 = P%*%P

> P2

0 1 2

0 0.48 0.08 0.44

1 0.17 0.66 0.17

2 0.35 0.26 0.39

> P3=P2%*%P

> P3

0 1 2

0 0.428 0.152 0.420

1 0.219 0.562 0.219

2 0.353 0.286 0.361

- Fazendo transições:

> X=c(1/2,0,1/2)

> X1=X%*%P

> X1

0 1 2

[1,] 0.45 0.1 0.45

>

>

> X3 = X%*%P3

> X3

0 1 2

[1,] 0.3905 0.219 0.3905

2) Suponha que cada vez que uma refeição do menu kids é solicitada em um restaurante para uma
criança, a criança recebe de brinde uma das cinco miniaturas colecionáveis da série
“tranformers”, sorteada ao acaso.
a) Supondo que uma criança que deseja completar a coleção de miniaturas coma regularmente no
restaurante até completar a coleção, modele o processo de visitas sucessivas ao restaurante,
por uma Cadeia de Markov, especificando: o espaço de estados; a matriz e o diagrama de
transição; e o estado inicial.
b) Obtenha P2, P5, P10 e P20. O que ocorre com as potências de P n quando n cresce? Interprete
esse resultado.
c) Calcule a probabilidade: P(𝑋5 = 2, 𝑋10 = 3, 𝑋15 = 4, 𝑋20 = 5| 𝑋0 = 0)

3) Suponha que uma cadeia de Markov modela o movimento de uma partícula no conjunto C = (1,
2, 3, 4, 5, 6, 7). Suponha ainda que a matriz de transição dessa cadeia é:

a) Classifique os estados da cadeia;

b) Determine as classes fechadas e irredutíveis de estados recorrentes;
c) Determine as probabilidades de absorção em cada uma dessas classes, a partir de cada
estado transitório.