Escolar Documentos
Profissional Documentos
Cultura Documentos
Profª Lidia
Infinito
3
Processo Estocásticos
Em geral:
Estados denotados: 0,1,...,M
Sistema observados em determinados pontos do
tempo, t
Exemplo 1 é um processo estocástico finito
Ex.2 (Taha): serviços chegam a uma oficina
mecânica à taxa de 5 por hora. O processo de
chegada segue uma distribuição de Poisson, que
permite que qualquer número de serviços entre
zero e infinito chegam à oficina durante o
intervalo de tempo (0,t)
Xt = 0,1,2,..., t>0
Exemplo 2 é um processo estocástico infinito
4
Processo Estocásticos
Exemplo 3 (Hillier & Lieberman).
Seja Dt o nº de câmeras que são vendidas na semana t
(caso o estoque não esteja esgotado). Suponha
também que os Dt sejam variáveis aleatórias
independentes e identicamente distribuídas com uma
distribuição de Poisson com média igual a 1. Defina Xt o
número de câmeras disponíveis no final de semana t.
O dono da loja deseja saber como evolui o estoque de
câmeras ao longo das semanas.
Considere a seguinte política de encomendas:
Se Xt = 0, encomendar três câmeras; se Xt >0, não
encomendar nenhuma câmera.
Quais os possíveis estados das Xt?
6
Cadeia de Markov
Probabilidades de transição (uma etapa) de passar do
estado i em t ao estado j em t+1:
pij P Xt 1 j | Xt i
Por definição:
p
j
ij 1, i=0,1,2,...,n
Notação matricial:
p11 p12 ... p1n
p21 p22 ... p2n
P
... ... ... ...
pn1 pn2 ... pnn
Se pij igual para t = 0,1,2,... então probabilidades de
transição são estacionárias, não mudam ao longo do
tempo e são independentes 7
Cadeias de Markov
Exemplo 4: O tempo de uma cidade A pode mudar
de maneira bastante rápida de um dia para o outro.
Entretanto, as chances de termos tempo seco
amanhã são ligeiramente maiores, caso esteja seco
hoje do que se chover hoje. Particularmente, a
probabilidade de termos tempo seco amanhã é de
0,8, caso hoje esteja seco, porém é de apenas 0,6
caso hoje chova. Essas probabilidades não mudam,
caso as informações sobre o tempo antes de hoje
também forem levadas em consideração.
8
Cadeias de Markov
Considerando 0: seco, 1: chuvoso
9
Cadeias de Markov
Exemplo 5. Todo ano, no início da estação de plantio
de mudas (março a setembro), um jardineiro usa um
teste químico para verificar a condição do solo.
Dependendo do resultado do teste, a produtividade
para a nova estação pode ser boa, razoável e ruim.
Se a condição neste ano for boa, há 50% de chance
de se tornar razoável e 30% de se deteriorar. Se a
condição do solo neste ano for razoável, a
produtividade pode se manter ou se tornar ruim com
as mesmas chances, no entanto existe 30% de
chance da produtividade se tornar boa. Finalmente,
para uma condição ruim neste ano existe um 30% de
chances de se tornar razoável, mas não existe
possibilidade dela ser tornar boa. 10
Cadeias de Markov
Exemplo 6 (H & L). Suponha que um jogador tenha
1 u.m. e a cada rodada do jogo ganhe 1 u.m. com
probabilidade de p>0 ou perca 1 u.m. com
probabilidade de 1-p>0. O jogo termina quando o
jogador acumular 3 u.m. ou então quando ele
“quebrar”. Expresse como uma cadeia de Markov.
Exemplo 7. Expresse o exemplo 3 como uma cadeia
de Markov.
11
Cadeias de Markov
Se precisarmos determinar probabilidades ao longo
de um período, ou seja, o que acontece após várias
transições?
Probabilidades de transição em n etapas:
pnij P Xt n j | Xt i
Probabilidade condicional de que o sistema estará
no estado j após exatamente n etapas (unidades de
tempo), dado que ele inicia no estado i a qualquer
instante t é:
M
p (n)
ij 0 e ij 1, i=0,1,2,...,n
p(n)
j=1
12
Equações de Chapman-Kolmogorov
Método para calcular probabilidades de transição
em n etapas: M M
p(n)
ij ik kj
p
k 0
p(n 1)
ou p (n)
ij ik pkj
p (m) (n m)
k 0
13
Equações de Chapman-Kolmogorov
Exemplo 8: no exemplo do clima
Encontre P(2) e responda:
se tempo estiver seco em um dado dia, qual a
probabilidade de após dos dias se encontrar no mesmo
estado?
se o tempo estiver no estado chuva em um dado dia,
qual a probabilidade de após dos dias se encontrar no
estado seco?
Se o tempo estiver seco em um dado dia, qual a
probabilidade de após quatro dias se encontrar no
mesmo estado?
14
Probabilidades absolutas
Dadas as probabilidades iniciais a(0) a(0)
j
15
Exemplo 10
Uma locadora de automóveis tem filiais em Phoenix, Denver,
Chicago e Atlanta. A locadora permite aluguel de carros com
devolução na mesma cidade ou em outra cidade, de modo
que um carro alugado em uma localidade pode acabar em
outra. As estatísticas mostram que, ao final de cada semana,
70% de todos os carros são alugados e devolvidos na
mesma cidade. No caso de aluguel com devolução em outras
cidades, o quadro é: de Phoenix, 20% são devolvidos em
Denver, 20% são devolvidos em Atlanta e 60% em Chicago;
de Denver, 60% em Chicago e 40% em Atlanta; de Chicago,
50% são devolvidos em Atlanta e o restante em Denver; e,
de Atlanta, 80% são devolvidos em Chicago, 10% em
Denver e 10% em Phoenix.
a. Expresse a situação como uma cadeia de Markov.
b. Se a locadora começar a semana com 100 carros em cada
localidade, como será a distribuição em duas semanas? 16
Classificação dos Estados
Absorvente: se o estado j retornar para ele mesmo
com certeza pjj=1
Transiente: se o estado j puder alcançar outro
estado mas não pude voltar ao mesmo estado em
que estava ( lim p(n)
ij 0
para todo i)
n
Recorrente: se a probabilidade de voltar ao estado
em que estava com base em outros estados for 1
(só acontece se o estado não for transiente)
Periódico: se um retorno só for possível em t, 2t,
3t, .... etapas (com t>1), i.e. p(n)
jj 0 sempre que n
não for divisível por t.
17
Classificação dos Estados
Exemplo 11: suponha que uma determinada cadeia de
Markov tem a seguinte matriz de transição:
0 1 2 3 4
0 1/ 4 3 / 4 0 0 0
1 1/ 2 1/ 2 0 0 0
P 2 0 0 1 0 0
3 0 0 1/ 3 2 / 3 0
4 1 0 0 0 0
Classifique os estados
18
Periodicidade
Propriedades: se um retorno só for possível em t,
2t, 3t, .... etapas (com t>1)
Forma de testar periodicidade de um estado é
calculando Pn e observando os valores de p(n)
jj
para n=1,2,....
Exemplo 12:
19
Periodicidade
Em uma cadeia de Markov de estados finitos, os
estados recorrentes que foram aperiódicos são
denominados estados ergódicos
Cadeia de Markov ergódica: se todos os estados
forem ergódicos
Probabilidade de estado estável (probabilidades
estacionárias): probabilidade de encontrar o
processo em certo estado (j), após um grande
número de transições, j, independente do
estado estável.
20
Probabilidades Estacionárias
Em uma cadeia de Markov ergódica, as
probabilidades de estado estável são definidas
por
j lim pij(n) 0
n
j0
j 1
21
Probabilidades Estacionárias
Exemplo 13: no exemplo do clima.
Dois estados: seco e com chuva
Quais são as equações de estado estável?
Encontre as probabilidades a longo prazo.
Outro resultado
Número esperado de transições antes de os
sistemas retornarem a um estado j pela
primeira vez: tempo médio do primeiro retorno
ou tempo médio de recorrência jj=1/ j
22
Exemplo 14
Em um domingo ensolarado de primavera, o
MiniGolf pode obter 2.000 u.m. de receita bruta. Se
o dia estiver nublado, a receita cai 20%. Um dia
chuvoso reduz a receita em 80%. Se o dia de hoje
estiver ensolarado, há 80% de chance que amanhã
o tempo também vai estar ensolarado, sem
nenhuma chance de chuva. Se o dia estiver
nublado, há 20% de chance de chover amanhã e
30% de chance de fazer sol. A chuva continuará no
dia seguinte com uma probabilidade de 0,8, mas há
10% de chance de fazer sol.
Determine a receita diária esperada para o MiniGolf.
Determine a número médio de dias em que o tempo não
estará ensolarado. 23
Exemplo 15
No exemplo da locadora, considerando a matriz de
transições no exemplo 7.
a. Se cada localidade estiver prevista para manusear um
máximo de 110 carros, no longo prazo haverá algum
problema de espaço em qualquer uma das localidades?
b. Determine o número médio de semanas transcorridas
antes de um carro ser devolvido a sua localidade de
origem.
24
Exemplo 16
Jim tem um vasto histórico de multas de trânsito. Infelizmente
para ele, a moderna tecnologia permite o acesso às suas multas
anteriores. Logo que ele acumular 4 multas, sua carteira de
motorista será cassada até ele concluir um curso educativo para
novos motoristas, quando recomeçará com uma ficha limpa. Jim
fica mais afoito imediatamente após concluir o curso para novos
motoristas e é invariavelmente detido pela polícia com 50% de
chance de ser multado. Após cada nova multa, ele tenta ser mais
cuidadoso, o que reduz em 0,1 a probabilidade de uma multa.
Expresse a situação como uma cadeia de Markov.
Qual o número médio de vezes que Jim será detido pela policiai
Se cada multa custa 100 u.m., quanto Jim paga em média entre
26
Exemplo 18
Uma livraria acompanha diariamente o nível de estoque
de um livro popular para repor o estoque de 100
exemplares no início de cada dia. Os dados para os
últimos 30 dias fornecem a seguinte posição de estoque
ao final do dia: 1, 2, 0, 3, 2, 1, 0, 0, 3, 0, 1, 1, 3, 2, 3,
3, 2, 1, 0, 2, 0, 1, 3, 0, 0, 3, 2, 1, 2, 2.
Represente como o estoque diário como uma cadeia de
Markov
Determine a probabilidade de estado em equilíbrio de a
livraria ficar com falta de estoque de livros em qualquer
dia.
Determine o estoque diário esperado.
27
Vamos pensar!!!!
Quais as probabilidades a longo prazo dos estados
absorventes?
28
Questão de prova
Pacientes que sofrem da falência renal podem fazer um
transplante ou diálise periódica. Durante qualquer ano,
30% conseguem transplantes de pessoas que morreram
e 10% recebem rins de um doador vivo. No ano
seguinte a um transplante, 30% dos transplantados
com rins de pessoas mortas e 15% dos que receberam
os rins de doadores vivos voltam à diálise. As
porcentagens de óbitos entre os dois grupos são 20% e
10%, respectivamente. Entre os que continuam com
diálise, 10% morrem, e, entre os que sobrevivem mais
de um ano após o transplante, 5% morrem e 5%
voltam à diálise.
Represente como uma cadeia de Markov.
Para um paciente que está atualmente em diálise, qual é
a probabilidade de receber um transplante em dois anos. 29