Instituto Federal de Educacao, Ciencia e Tecnologia

Professor: Allan de Sousa Soares

Disciplina: Processos Estocasticos
Aluno(a): Data: / /

Avaliacao da Segunda Unidade 2017.1

Valor 10, 0
1) Considere a matriz de transicao P

0, 3 0, 2 0, 5

P =
0, 1 0, 8 0, 1

0, 6 0 0, 4
determine limn P n . (V alor : 2, 0)

2) Seja P a matriz de transicao

1/3 2/3

0 1

a) Mostre que P nao e regular. (V alor : 1, 0)

 
b) Mostre que, quando n cresce, p(0)P n converge para 0 1 para qualquer vetor inicial p(0). (V alor : 1, 0)

3) Um camundongo e colocado numa caixa com nove compartimentos, como mostra a figura dada. Suponha que
e igualmente provavel que o camundongo passe por qualquer uma das portas do compartimento ou que permaneca
num mesmo compartimento.

(1)

Construa a matriz de transicao para estes problema. (V alor : 1, 5)

4) Um jogador tem um R$ 1, 00 e a cada vez que joga ganha R$ 1, 00 com probabilidade p > 0 ou perde R$ 1, 00
com probabilidade 1 p. O jogo termina quando o jogador acumula R$ 3, 00 ou R$ 0, 00. Este jogo e uma Cadeia de
Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga.
a) Elabore adequadamente uma cadeia de Markov ilustrando a situacao. (V alor : 1, 0)
b) Determine a probabilidade de um jogador ganhar exatamente na quarta jogada. (V alor : 1, 0)

1
5) Considerando a cadeia de Markov

0, 4 0, 6 0 0 0

0, 5 0, 5 0 0 0


P =
0 0 0, 3 0, 7 0

0 0 0, 5 0, 4 0, 1

0 0 0 0, 8 0, 2

Determine:
a) Determine, se existirem, os estados alcancaveis e os estados comunicantes. (V alor : 0, 5)
b) Determine, se existirem, os conjuntos fechados ou fechados mnimos. (V alor : 0, 5)
c) Determine, se existirem, os estados transientes. (V alor : 0, 5)
d) Determine, se existirem, os estados recorrentes. (V alor : 0, 5)
e) Determine, se existirem, os estados absorventes. (V alor : 0, 5)