PROCESSOS ESTOCÁSTICOS E

CADEIAS DE MARKOV

1
PROCESSOS ESTOCÁSTICOS

Problemas de tomada de decisão → tomada de decisão

baseada em fenômenos que possuem incerteza associada a
eles.
Causas da incerteza: inconsistência do fenômeno natural
ou fontes de variação que estão fora de controle.

Objetivo: tratar a variabilidade quantitativamente,

incorporando-a a um modelo matemático.

Modelos probabilísticos para processos que evoluem com

o tempo de uma maneira probabilística: foco em cadeias
de Markov.

2
PROCESSOS ESTOCÁSTICOS

Um processo estocástico é definido como uma coleção

indexada de variáveis aleatórias, Xt, no qual o índice t
varia em um dado conjunto T {Xt, t  T}.
Em geral, T corresponde ao conjunto dos inteiros não
negativos e Xt representa uma característica de interesse
que pode ser medida no instante t.

Exemplos:  níveis de estoques mensais de um produto.

X1, X2, X3, ...  demanda mensal para um produto.
 número de programas na fila para serem processados por hora.

3
PROCESSOS ESTOCÁSTICOS

Observar o comportamento de um sistema operando por algum

período de tempo frequentemente leva à análise de um processo
estocástico
Instantes de tempo: 0, 1, 2, sistema: categoria ou estado

número finito de estados

igualmente espaçados ou não mutuamente excludentes

caracterização dos M + 1
0, 1, ..., M
estados do processo

Representação matemática do sistema físico

Processo estocástico {Xt}, no qual as variáveis aleatórias são

observadas em t = 0, 1, ... e no qual cada variável aleatória pode
assumir um dos M+1 inteiros 0, 1, ..., M

4
PROCESSOS ESTOCÁSTICOS

Classificação
Discreto  Xt: enumerável ou finito
Estado
Contínuo  Xt: caso contrário

Discreto  T: finito ou enumerável

Tempo
Contínuo  T: caso contrário

Exemplos:
Estado discreto e tempo contínuo: número de pessoas em um
supermercado em um determinado instante.
Estado contínuo e tempo discreto: perda associada ao corte de padrões
de corte diária.
Estado discreto e tempo discreto: número de peças vendidas por dia.

5
CADEIAS DE MARKOV

Diz-se que um processo estocástico Xt tem a propriedade Markoviana

se:
P(Xt+1 = j | X0 = k0, X1 = k1, .., Xt-1 = kt-1, Xt = i)
= P(Xt+1 = j | Xt = i)
para todo t = 0, 1, ... e toda seqüência i, j, k0, k1, ..., kt-1

a probabilidade condicional de qualquer evento futuro dado qualquer

evento passado e o estado presente Xt = i é independente do evento
passado e depende somente do estado presente

P(Xt+1 = j | Xt = i) Probabilidades de Transição

probabilidade do estado do sistema

ser j no instante t+1 dado que o
estado é i, no instante t

6
CADEIAS DE MARKOV

Se para cada i e j, P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i)

para todo t = 0, 1, 2...

probabilidades de transição (em um passo) são chamadas

estacionárias, geralmente denotadas por pij

Probabilidade de transição probabilidade de transição não

estacionárias mudam com o tempo
Probabilidades de transição estacionárias (em um passo)
implica que para cada i, j e n (n = 0, 1, 2, ...)

P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i), t = 0, 1, 2, ...

probabilidades de transição em n passos, pij(n )

probabilidade condicional que a variável aleatória X

iniciando no estado i, estará no estado j após n
passos (unidades de tempo)

7
CADEIAS DE MARKOV

pij(n ) probabilidades condicionais: devem ser não negativas e

o processo deve fazer uma transição para algum estado

pij( n )  0 para todo i e j; n = 0, 1, 2, ...

M
(n)
p ij 1
para todo i; n = 0, 1, 2, ...
j 0

(0)
para n = 0, pij é exatamente P{X0 = j / X0 = i} que é 1 se i = j
e 0 se i  j
(1)
para n = 1, pij é a probabilidade de transição (em um passo)

8
CADEIAS DE MARKOV

Notação  Probabilidades de transição

Estados 0 1  M
(n)
0 (n)  p00  p0( nM) 
p00  p0( nM)  
1 P(n) =  
  p (n)  p ( n) 
M (n)
pM
(n )
p MM  M0 MM 
0 
Matriz de Transição
n = 1  Matriz de Transição em n passos

Um processo estocástico {Xt} (t=0,1,2,...) é uma Cadeia de Markov

se tiver a propriedade Markoviana
Considere
 número finito de estados
Cadeia de Markov
 probabilidades de transição estacionárias
Assumido: um conjunto de probabilidades iniciais P(X0= i) para todo i

9
CADEIAS DE MARKOV

Matriz de Transição ou Estocástica

- É quadrada
- Os elementos da matriz são probabilidades, isto é, 0 ≤ pij ≤1
- A soma dos elementos de uma linha deve ser igual a 1

10
PROCESSOS ESTOCÁSTICOS

Exemplo 1: estoque de uma loja de câmeras

Uma loja de câmeras estoca um modelo particular de câmera que pode
ser pedida semanalmente

D1, D2, ... : demanda para a filmadora durante a primeira semana,

segunda semana, ..., respectivamente

Di: v.a.i.i.d., distribuição de probabilidade conhecida

X0 = número de câmeras disponíveis no início

X1 = número de câmeras disponíveis no final da primeira semana
X2 = número de câmeras disponíveis no final da segunda semana

Assuma que X0 = 3. Sábado à noite a loja faz um pedido que será

entregue em tempo na segunda-feira, quando a loja é aberta.

11
PROCESSOS ESTOCÁSTICOS

A loja utiliza a política de encomenda (s, S)

 Se o número de câmeras no final da semana for menor que s = 1
(nenhuma câmera em estoque), a loja pede S = 3
 Caso contrário a loja não faz pedido
 Se demanda > estoque: vendas são perdidas

{Xt} para t = 0,1,2,... é um Processo Estocástico

Possíveis estados do processo:

0, 1, 2, 3 que representam o número de câmeras
disponíveis no final da semana
Xt+1 = max {3 – Dt+1,0} se Xt < 1
t = 0, 1, 2, ...
max {Xt – Dt+1,0} se Xt  1

12
CADEIAS DE MARKOV

Exemplo 1 da loja de câmeras

{Xt}, Xt: número de câmeras em estoque no final da semana t (antes
que um pedido seja recebido), é uma Cadeia de Markov

 p00 p01 p02 p03 

p
10 p11 p12 p13 
P = 
p20 p21 p22 p23 
 
 p30 p31 p32 p33 

Dt  demanda durante a semana t

Distribuição de Poisson com parâmetro  = 1

13
CADEIAS DE MARKOV

Xt+1 = max {3 – Dt+1,0} se Xt < 1

max {Xt – Dt+1,0} se Xt  1

Para obter p00 é necessário avaliar P(Xt = 0 | Xt-1 = 0)

Se Xt-1 = 0, então Xt = max {3 – Dt, 0}

Se Xt = 0, então a demanda durante a semana é 3 ou mais
Desta forma:
 e 1 10 e 1 11 e 1 12 
p00 = P(Dt  3) = 1 – P(Dt  2) = 1     = 1 – 0,9197=
 0! 1! 2! 
0,0803 probabilidade que uma variável aleatória do tipo Poisson com
parâmetro =1 assuma o valor de 3 ou mais

14
CADEIAS DE MARKOV

p10 = P(Xt = 0 | Xt-1 = 1)

Se Xt-1 = 1, então Xt = max {1 – Dt,0}

Para que Xt = 0, a demanda durante a semana tem que ser 1 ou mais
Desta forma:
e 1 10
p10 = P(Dt  1) = 1 – P(Dt = 0) = 1  = 0,6321
0!
p21 = P(Xt = 1 | Xt-1 = 2)

Se Xt-1 = 2, então Xt = max {2 – Dt,0}.

Para que Xt = 1, a demanda durante a semana tem que ser exatamente
igual a , logo:
1 1
p21 = P(Dt=1) = e 1 = 0,3678
1!

15
CADEIAS DE MARKOV

Continuando...

0 ,080 0 ,184 0 ,368 0 ,368 

0 ,632 0 ,368 0 0 
P= 
0 ,264 0 ,368 0 ,368 0 
 
0 ,080 0 ,184 0 ,368 0 ,368 

16
CADEIAS DE MARKOV

Exemplo 2: jogador
Um jogador tem $1,00 e cada vez que joga ganha $1,00 com
probabilidade p > 0 ou perde $1,00 com probabilidade 1 – p. O
jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo
é uma Cadeia de Markov cujos estados representam a quantia
esperada de dinheiro que o jogador possui a cada vez que joga. O
espaço de estados é E = {0 1 2 3} e a matriz de transição P é
dada por:

 1 0 0 0
 
1 p 0 p 0
P= 
 0 1 p 0 p
 
 0 0 0 1

17
EQUAÇÕES DE CHAPMAN-KOLMOGOROV
(n )
Probabilidades de transição em n passos, pij
úteis quando o processo está no estado i é
desejada a probabilidade de que o processo estará
no estado j depois de n passos
Equações de Chapman-Kolmogorov
método para calcular probabilidades de transição em n passos
M
pij( n )  p (v ) ( n v )
ik p kj , para todo i, j , n e 0  v  n
k 0

quando se vai do estado i para o estado j em n passos,

o processo estará em algum estado k depois de
exatamente v (menor que n) passos
pik(v ) pkj( nv )
probabilidade condicional de que, começando no estado i, o
processo vá para o estado k depois de v passos e, então para o estado
j em n-v passos
(n )
Soma das probabilidades condicionais para todo k  pij

18
EQUAÇÕES DE CHAPMAN-KOLMOGOROV

Casos especiais
M
v=1 pij( n)   pik pkj(n1)
k 0
para todo i, j, n
M
v=n–1 pij( n)   pikn1 pkj
k 0

Probabilidades de Probabilidades de
transição em n transição em um
passos passo

19
EQUAÇÕES DE CHAPMAN-KOLMOGOROV

M
n=2 pij( 2)  p ik pkj , para todo i, j
k 0
probabilidades de transição em
um passo
P(2) P(2) = PP = P2

Generalizando
P(n) = P  P    P = Pn = PPn-1 = Pn-1P

P(n) = Pn

A matriz probabilidade de transição em n passos pode ser obtida

calculando-se a n-ésima potência da matriz de transição em um passo

20
EQUAÇÕES DE CHAPMAN-KOLMOGOROV

Exemplo 1 da loja de câmeras

P(2) = P2 = 0 ,080 0 ,184 0 ,368 0 ,368  0 ,080 0 ,184 0 ,368 0 ,368 

0 ,632 0 ,368 0 0  0 ,632 0 ,368 0 0 
 
0 ,264 0 ,368 0 ,368 0  0 ,264 0 ,368 0 ,368 0 
   
0 ,080 0 ,184 0 ,368 0 ,368  0 ,080 0 ,184 0 ,368 0 ,368 

= 0,249 0,286 0,300 0,165 

 0,283 0,252 0,233 0,233

 0,351 0,319 0,233 0,097 
 
0,249 0,286 0,300 0,165 

( 2)
p10 = 0,283  dado que existe uma câmera em estoque no final da
semana, a probabilidade de que não haverá câmera em estoque duas
semanas depois, é de 0,283

21
EQUAÇÕES DE CHAPMAN-KOLMOGOROV

pij(n ) probabilidades condicionais

Probabilidades não condicionais? P{Xn = j}  (n)

distribuição de probabilidade do estado inicial: (0)
(0) = P{X0 = i} para i = 0, 1, 2, 
(0) = [0 0 0 1] X0 = 3

(1) = (0) P = [0 0 0 1] 0 ,080 0 ,184 0 ,368 0 ,368 

0 ,632 0 ,368 0 0 

0 ,264 0 ,368 0 ,368 0 
 
0 ,080 0 ,184 0 ,368 0 ,368 

(1) = [0,080 0,184 0,368 0,368]

22
PROCESSO MARKOVIANO – Exemplo 3 – uso da terra
O estado no ano de 1997 da ocupação da terra em uma cidade de 70 quilômetros
quadrados de área é:
Estado da ocupação da terra
I Uso residencial 30%
II Uso comercial 20%
III Uso industrial 50%

Vetor de probabilidade de estado  = [0,30 0,20 0,50]

Probabilidades de transição para Probabilidades de Transição

intervalos de 3 anos
I II III
 0,8 0,1 0,1 
P   0,1 0,7 0,2 I 0,8 0,1 0,1
0,0 0,1 0,9  II 0,1 0,7 0,2
III 0 0,1 0,9

(1) = (0) P = [0,30 0,20 0,50] 0,8 0,1 0,1 = [0,26 0,22 0,52]
 0,1 0,7 0,2
  Prob. estado  para 2000
0,0 0,1 0,9 

23
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Probabilidades de transição  papel importante no estudo das Cadeias de

Markov
Propriedades das Cadeias de Markov  conceitos e definições sobre os estados

Acessível Estado j é dito ser acessível a partir do estado i, se

pij(n ) > 0, para algum n > 0

é possível para o sistema entrar no estado j

(eventualmente) quando ele começa no estado i

Exemplo 4: pij( 2)= 0,249 0,286 0,300 0,165 

0,283 0,252 0,233 0,233
 0,351 0,319 0,233 0,097 
 
0,249 0,286 0,300 0,165 

pij( 2)  0, para todo i e j , todo estado é acessível a partir de todo estado

24
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Comunicante Estado j é acessível do estado i, e o estado i

é acessível do estado j  estados i e j são
comunicantes

 qualquer estado se comunica com ele mesmo

 se o estado i se comunica com o estado j, então o estado j se
comunica com o estado i
 se um estado i se comunica com um estado k e o estado k se
comunica com um estado j, então o estado i se comunica com o
estado j
Equações de Chapman-Kolmogorov

25
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Considerando as três propriedades de comunicação

espaço de estados pode ser particionado em
classes disjuntas

Dois estados que se comunicam mesma classe

Todos estados comunicantes única classe

Cadeia de Markov Irredutível

cadeia de Markov do exemplo da loja de câmeras

Exemplo 2 do jogador: 3 classes  1 0 0 0

 
estado 0: uma classe 1  p 0 p 0
 0 1 p 0 p
estado 3: uma classe  
 0 0 0 1
estados 1 e 2: uma classe

26
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

fii  probabilidade que o processo irá retornar ao estado i,

dado que ele iniciou no estado i

Transiente Entrando neste estado, o processo pode nunca retornar

novamente para este estado

Estado i é transiente se e somente se existe um estado j (j i)

que é alcançável a partir do estado i, mas não vice-versa

Recorrente Entrando neste estado, o processo definitivamente irá

retornar para este estado

É recorrente se não é transiente

Exemplo: P(2)

27
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Absorvente Entrando neste estado, o processo nunca irá deixar

este estado

pii = 1; caso especial de estado recorrente

Recorrente
Todos os estados em uma classe  ou
Transiente

Cadeia de Markov de estados finitos irredutível

todos os estados são recorrentes

Todos os estados do processo se comunicam

Cadeia de Markov Irredutível

28
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Propriedades de periodicidade
Período do estado i
(n )
inteiro t (t >1) tal que pii = 0 para todos os valores de n com exceção
de t, 2t, 3t, ... e t é o maior inteiro com esta propriedade
Estado i  retorno a este estado é possível somente em t, 2t, ...

Exemplo 2 do jogador: iniciando no estado 1 é possível retornar a este

estado somente nos tempos 2, 4,   período 2

Aperiódico existem dois números consecutivos s e s+1 tal que o

processo pode estar no estado i nos tempos s e s+1
período 1 aperiódico

Se o estado i em uma classe tem período t, então todos os estados nesta classe
têm período t
período do estado 2 = 2 (estado 2 está na mesma classe que o estado 1)

29
CLASSIFICAÇÃO DOS ESTADOS DE UMA
CADEIA DE MARKOV

Cadeia de Markov Ergódica

Cadeia de Markov de estado finito, estados recorrentes que são

aperiódicos  estados ergódicos

Cadeia de Markov ergódica  todos os

estados são recorrentes e aperiódicos

30
CLASSIFICAÇÃO DOS ESTADOS

Estado Transiente Um eventual retorno a este estado não é garantido

Estado Recorrente Entrando neste estado, um eventual retorno é garantido

Estado Absorvente Entrando neste estado, nunca mais o deixará

Estado Periódico Pode ser alcançado nos tempos t, 2t, 3t, (t > 1)

Estado Ergódico Estado recorrente e aperiódico

Cadeia Ergódica Todos os estados são recorrentes e aperiódicos

Cadeia Irredutível Todos os estados são comunicantes

31
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV

Estado Acessível
Exemplo 2 do jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00
com probabilidade p>0 ou perde $1,00 com probabilidade 1 – p. O jogo termina
quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov
cujos estados representam a quantia esperada de dinheiro que o jogador possui a
cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:
 1 0 0 0
1  p 0 p 0  p: ganha $1,00
P
 0 1 p 0 p
  1 – p: perde $1,00
 0 0 0 1

(n)
Estado 2 não é acessível a partir do estado 3  p32  0

(1)
Estado 3 é acessível a partir do estado 2  p 23  0

Estados Comunicantes
Estados 2 e 3 do exemplo acima não são comunicantes

32
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV

Cadeia de Markov Irredutível

Todos os estados são comunicantes  exemplo 1 do estoque da loja de

câmeras

0,249 0,286 0,300 0,165 

P(2) = 0,283 0,252 0,233 0,233

 0,351 0,319 0,233 0,097
 
0,249 0,286 0,300 0,165 

33
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV

Estados Recorrentes e Transientes – Exemplo 4

1 / 4 3 / 4 0 0 0
1 / 2 1 / 2 0 0 0

P 0 0 1 0 0
 
 0 0 1/ 3 2 / 3 0
 1 0 0 0 0
Estado 3 é transiente  se o processo está no estado 3 existe uma probabilidade
positiva que ele nunca irá retornar para este estado.

Estado 4 é transiente  se o processo começa neste estado imediatamente o

processo o deixa e nunca mais vai retornar para ele.

Estados 0 e 1 são recorrentes  se o processo começar no estado 0 ou 1,

nunca mais deixará esses estados. Sai do estado 0 e eventualmente vai
para o estado 1 e vice-versa.
Estados 2 é absorvente  uma vez que o processo entra no estado 2, nunca
mais o deixará.

34
CLASSIFICAÇÃO DE ESTADOS – CADEIAS DE MARKOV

Estado Periódico
Exemplo 2 – jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00
com probabilidade p>0 ou perde $1,00 com probabilidade 1 – p. O jogo termina
quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov
cujos estados representam a quantia esperada de dinheiro que o jogador possui a
cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição
P é dada por:
 1 0 0 0
1  p 0 p 0  p: ganha $1,00
P
 0 1 p 0 p
  1 – p: perde $1,00
 0 0 0 1

O estado 1 possui período t = 2  começando no estado 1, é possível para o

processo entrar no estado 1 somente nos tempo 2, 4, 6, ...
( n)
p11 0 para n ímpar

35
TEMPO DE PRIMEIRA PASSAGEM

pij(n ): probabilidades de transição em n passos  dado que o processo está

no estado i determinar a probabilidade (condicional) que o processo estará
no estado j após n passos

Frequentemente se quer saber sobre o número de transições feitas pelo

processo para ir do estado i para o estado j pela primeira vez

comprimento de tempo  Tempo de Primeira Passagem

para ir do estado i para o estado j

Se j = i Tempo de Primeira Passagem

número de transições para o processo retornar
ao estado inicial i

Tempo de Recorrência para o estado i

36
TEMPO DE PRIMEIRA PASSAGEM

Exemplo 1 do estoque de câmeras

Suponha o seguinte estado do estoque para as seis primeiras semanas

X0 = 3 X1 = 2 X2 = 1 X3 = 0 X4 = 3 X5 = 1

Tempo de primeira passagem a partir do estado 3 para o estado 1: 2 semanas

Tempo de primeira passagem a partir do estado 3 para o estado 0: 3 semanas

Tempo de recorrência para o estado 3 : 4 semanas

37
TEMPO DE PRIMEIRA PASSAGEM

Em geral os tempos de primeira passagem

variáveis aleatórias
distribuição de probabilidade
depende das probabilidades de transição do processo

f ij(n ) probabilidade que o tempo de primeira passagem do estado i

para j seja n

probabilidade do tempo de primeira passagem do

f ij(1)  pij(1)  pij estado i para o estado j em n passos

recursivamente
f ij( 2)  pij( 2)  f ij(1) p jj
probabilidades de transição
em um passo

f ij( n )  pij( n )  f ij(1) p ( n 1)  f ij(2) p ( n  2)   f ij( n-1) p jj
jj jj

38
TEMPO DE PRIMEIRA PASSAGEM

Exemplo 1 do estoque da loja de câmeras

distribuição de probabilidade do tempo de primeira passagem
de ir do estado 3 para o estado 0
0 ,080 0 ,184 0 ,368 0 ,368 
f 30(1)  p30  0 ,080 0 ,632 0 ,368 0 0 
P= 
f 30( 2)  p30
( 2)
 f 30(1) p00 0 ,264 0 ,368 0 ,368 0 
 
0 ,080 0 ,184 0 ,368 0 ,368 
f 30( 2)  0 ,249  (0 ,080)(0 ,080)  0,243
0,249 0,286 0,300 0,165 
 0,283 0,252 0,233 0,233
 (2)
P =

(n)
 0,351 0,319 0,233 0,097 
Dados i e j 1
f
n 1
ij

0,249

0,286 0,300 0,165 

( n)
Se f ij 1 processo inicialmente no estado i pode nunca alcançar
n 1 o estado j

( n)
Se f ij 1 distribuição de probabilidade para a variável aleatória
n 1 tempo de primeira passagem

39
TEMPO DE PRIMEIRA PASSAGEM

(n )
Embora calcular f ij para todo n possa ser difícil, é relativamente simples
obter o tempo de primeira passagem esperado do estado i para o estado j

Tempo de Primeira Passagem Esperado do estado i para o estado j, ij

 
 se  f ij( n )  1
 n 1
 ij  
 
 (n)

 nf ij se  f ij( n )  1
 n 1 n 1


(n)
Sempre que f ij 1 ij unicamente satisfaz a equação
n 1
 ij  1   pik  kj
k j

Se i = j ii, Tempo de Recorrência Esperado para o estado i

40
TEMPO DE PRIMEIRA PASSAGEM

Exemplo 1 da loja de câmeras: as equações podem ser utilizadas para

calcular o tempo esperado até que o estoque esteja vazio, assumindo que o
processo inicia com 3 câmeras, 30

30  1  p3110  p32  20  p33 30 0 ,080 0 ,184 0 ,368 0 ,368 

0 ,632 0 ,368 0 0 
 20  1  p2110  p22  20  p23 30 P= 
0 ,264 0 ,368 0 ,368 0 
 
10  1  p1110  p12  20  p13  30 0 ,080 0 ,184 0 ,368 0 ,368 

 30  1  0 ,18410  0 ,368 20  0 ,368 30 10 = 1,58 semanas

 20  1  0 ,36810  0 ,368 20 20 = 2,51 semanas
10  1  0 ,36810 30 = 3,50 semanas

O tempo esperado até que a loja esteja com estoque vazio é

3,5 semanas

41
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

Probabilidades de Equilíbrio

n = 1  P(1) = 0 ,080 0 ,184 0,368 0,368 n = 2  P(2) = 0,249 0,286 0,300 0,165 
0 ,632 0 ,368 0,283 0,252 0,233 0,233
 0 0   
0 ,264 0 ,368 0,368 0   0,351 0,319 0,233 0,097
   
0 ,080 0 ,184 0,368 0,368 0,249 0,286 0,300 0,165 

n = 4  P(4) = 0 ,289 0,286 0,261 0 ,164 n = 8  P(8) = 0,286 0,285 0,264 0,166
0 ,282 0,285 0 ,268 0 ,166 0,286 0,285 0,264 0,166
   
0 ,284 0,283 0 ,263 0 ,171 0,286 0,285 0,264 0,166
   
0 ,289 0,286 0,261 0 ,164 0,286 0,285 0,264 0,166

42
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

0,286 0,285 0,264 0,166

0,286 0,285 0,264 0,166
P (8) 8 4 4
 P  P P  
0,286 0,285 0,264 0,166
 
0,286 0,285 0,264 0,166

Cada uma das quatro linhas têm as mesmas entradas

probabilidade de estar no estado j após 8 semanas é
independente do estado inicial do estoque

Parece existir uma probabilidade limite que o sistema estará no estado j

após um grande número de transições, e esta probabilidade é
independente do estado inicial

43
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

Para qualquer Cadeia de Markov ergódica e irredutível

lim pij( n ) existe e é independente de i
n

Além disso, lim pij( n )   j  0

n

j unicamente satisfaz as equações de estado de equilíbrio abaixo

M M+2 equações
j    i pij para j  0,1, , M
M+1 variáveis
i 0
M

 1
j uma equação
j 0
redundante

j  probabilidades de estado de equilíbrio ou estacionária da Cadeia de

1 Markov
j  para j  0,1,, M
 jj

Tempo de Recorrência Esperado

44
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

Probabilidades de equilíbrio:

 Probabilidade de encontrar o processo em algum estado (j) após um grande

número de transições, tende ao valor j, independente da distribuição de
probabilidade inicial definida sobre os estados

 Não implica que o processo fica parado em um estado. Pelo contrário, o

processo continua a fazer transições de estado para estado, e em algum passo n a
probabilidade de transição do estado i para o estado j é ainda pij

45
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

Exemplo 1 da loja de câmeras

 0   0 p00   1 p10   2 p 20   3 p30  0  0 ,080 0  0 ,632 1  0 ,264   2  0 ,080 3

 
 1   0 p01   1 p11   2 p 21   3 p31  1  0 ,184 0  0 ,368 1  0 ,368 2  0 ,184 3
 
 2   0 p02   1 p12   2 p 22   3 p32  2  0 ,368 0  0 1  0 ,368 2  0 ,368 3
   p   p   p   p   0 ,368  0  0  0 ,368
 3 0 03 1 13 2 23 3 33  3 0 1 2 3
1   0   1   2   3 1   0   1   2   3

 = [0 1 2 3] = [0,286 0,285 0,264 0,166]

Após várias semanas a probabilidade de encontrar 0, 1 ,2 e 3 câmeras em

estoque tende a 0,286, 0,285, 0,264 e 0,166, respectivamente

Tempo de recorrência esperado para a loja de câmeras

1 1
 00   3,50 semanas  22   3,80 semanas
0 2
1 1
11   3,51 semanas 33   6,02 semanas
1 3

46
PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

()
P() =    0  1  2  3  0 ,286 0 ,285 0 ,264 0 ,166
 () 
    0 1  2  3  0 ,286 0 ,285 0 ,264 0 ,166
 
 (  )   0 1  2 3 0 ,286 0 ,285 0 ,264 0 ,166
 ()    
   0 1  2 3 0 ,286 0 ,285 0 ,264 0 ,166

i e j  estados recorrentes pertencentes a classes diferentes

pij( n )  0 , para todo n

j  estado transiente
lim pij( n )  0 , para todo i
n 

probabilidade de encontrar o processo em um estado

transiente após um grande número de transições tende a zero

47
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO

Cadeia de Markov ergódica

recorrentes aperiódicos lim pij( n ) pode não existir

n

Exemplo 5: considere P

0 1 
P=   se o processo começa no estado 0 no tempo 0
1 0 
estará no estado 0 nos tempos 2, 4, 6, 
estará no estado 1 nos tempos 1, 3, 5, 

(n)
p00 1 se n é par (n)
lim p00 não existe
(n) n
p00 0 se n é ímpar

48
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO
1 n 
mas lim   pij( k )    j sempre existe
n   n 
 k 1  Cadeia de Markov irredutível

importante para calcular custo médio a longo período por unidade de tempo

Custo, C(Xt)  função do estado da Cadeia de Markov

processo está no estado Xt no instante t, para t = 0,1,2,

C(Xt)  variável aleatória: C(0), C(1),  , C(M)

C()  independente de t
M
Custo médio esperado para os 
n primeiros períodos
  C ( j)
j 0
j

custo médio esperado por

unidade de tempo

49
CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO

Exemplo 1 do estoque da loja de câmeras: função de custo

0 se Xt = 0
1 n  M
2 se Xt = 1
 lim E   C ( X t )   j C( j)
C( X t )   n  n
8 se Xt = 2  t 1  j 0

18 se Xt = 3 = 0,286(0) + 0,285(2) + 0,263(8) + 0,166(18) = 5,67

custo médio esperado do estoque
por semana

50
REFERÊNCIA

HILLIER, F. S.; LIEBERMAN, G. J. Introdução à pesquisa

operacional. 8 ed. São Paulo: McGraw-Hill, 2006.

51