28/05/2014

Tratamento de Incertezas
TIC-00.176

Aula 15

Contedo
Cadeias de Markov

Professor Leandro Augusto Frata Fernandes

laffernandes@ic.uff.br

Material disponvel em
http://www.ic.uff.br/~laffernandes/teaching/2014.1/tic-00.176

Tpicos da Aula

Introduo a cadeias de Markov

Cadeias de Markov em espao de estados discretos

Probabilidades de transio em passos

Classificao de estados

Leituras
Bertsekas and Tsitsiklis, 2nd ed., 2008, Sees 7.1 e 7.2

TIC-00.176 Tratamento de Incertezas 2

Cadeias de Markov

Cadeias de Markov em
Espao de Estados Discretos

TIC-00.176 Tratamento de Incertezas 3

1
 28/05/2014

Motivao

Raciocnio sobre cenrios temporais complexos

A sequencia de preos dirios de aes
A sequencia de websites visitados por algum
O nmero de pacotes no buffer da rede sobre o tempo
A sequencia de palavras em um documento

estado atual estado anterior, rudo

TIC-00.176 Tratamento de Incertezas 4

Motivao
Exemplo: Fila em um caixa de supermercado

Quantos clientes esto na fila de um caixa em determinado

instante de tempo? Assuma um limite de 10 lugares.
Tempo discreto: 0, 1, 2,
Novos clientes chegam com probabilidade
Atendimentos so concludos com probabilidade
Estado :

1 1 1 1
1

0 1 2 3
9 10

TIC-00.176 Tratamento de Incertezas 5

Cadeias de Markov em
Espao de Estados Discretos
Uma cadeia de Markov especificada por:
Um conjunto de estados possveis 1, 2, , , de
modo que a cada instante o estado atual
Um conjunto de transio possveis entre estados ,
Um conjunto de probabilidades de transio ,

,
, , ,,
(propriedade Markoviana)

TIC-00.176 Tratamento de Incertezas 6

2
 28/05/2014

Cadeias de Markov
Exemplo

Considere um roteador que pode estar tanto online

quanto off-line. Se ele est online um dia, ele estar
online no dia seguinte com probabilidade 0,5. Se ele
est off-line um dia, ele permanecer off-line dia
seguinte com probabilidade 0,8.
Quais os estados?
Quais as probabilidade de transio?

TIC-00.176 Tratamento de Incertezas 7

Probabilidades de Transio em Passos

A probabilidades de ocupao de um estado

aps passos, dado um estado inicial ,

, , 1 ,

1 1
, ,

, 1 ,

, 1 ,
E para estado
Tempo 0 Tempo 1 Tempo inicial randmico?

TIC-00.176 Tratamento de Incertezas 8

Probabilidades de Transio em Passos

Exemplo

Considere um roteador que pode estar tanto online

quanto off-line. Se ele est online um dia, ele estar
online no dia seguinte com probabilidade 0,5. Se ele
est off-line um dia, ele permanecer off-line dia
seguinte com probabilidade 0,8.
Quais as probabilidade de ocupao
aps passos?

TIC-00.176 Tratamento de Incertezas 9

3
 28/05/2014

Probabilidades de Transio em Passos

Exemplo

0 1 2 100 101

TIC-00.176 Tratamento de Incertezas 10

Questes Relacionadas Convergncia

, sempre converge para algo?

1 0,5
mpar: ,
1 2 3
par: ,

0,5 1
O limite depende do estado inicial?
0,4

,
0,3 0,3
1 2 3 4 ,

TIC-00.176 Tratamento de Incertezas 11

Classificao de Estados

O estado recorrente se iniciando de , e indo

para qualquer lugar, sempre possvel retornar a
O conjunto de todos os estados acessveis a partir de
um estado recorrente forma uma classe recorrente
O estado dito transiente se no for recorrente
Para transiente: 0
visitado um nmero finito de vezes
O estado dito acessvel a partir de se
, 0 para algum 0

TIC-00.176 Tratamento de Incertezas 12

4
 28/05/2014

Classificao de Estados
Exemplo

O que acontece quando:

A cadeia inicia em um estado recorrente?
A cadeia inicia em um estado transiente?
Mltiplas classes afetam convergncia?

TIC-00.176 Tratamento de Incertezas 13