4/10/12

Processo Estocstico
Consideremos o seguinte problema de
estoque.
Uma loja estoca mquinas fotogrficas
que pode ser encomendado
semanalmente.
Faamos:
D1,D2, representem a demanda de
mquinas durante a primeira semana,
segunda semana,
Seja Di, as demandas semanais, variveis
aleatrias independentes.
X0= o nmero de mquinas disponveis na
loja.
X1=estoque no final da semana 1 e assim
por diante.
4/10/12
Processo Estocstico
Poltica de encomendas (s,S), onde s=1 e S=3, ou
seja, a loja far uma nova encomenda se s<1 at
S=3.
Ou seja,
se o nmero de mquina fotogrficas disponveis ao final
da semana for menor que s=1 (nenhuma mquina em
estoque), a loja encomendar (at) S=3.
Do contrrio, a loja no far encomenda (se ainda
houver mquina fotogrfica em estoque, no haver
encomenda).
A poltica (s,S) uma poltica de reviso peridica que
requer encomenda de S unidades, sempre que o nvel de
estoque caia abaixo de s (S>s). Se o nvel de estoque for
s ou maior, ento nenhum encomenda ser feita.
Os estados possveis no processo so 0,1,2,3,
representado o nmero possvel de mquinas
disponveis ao final da semana.
4/10/12
Processo Estocstico
De fato, as variveis aleatrias Xt so
dependentes e podem ser avaliadas
iterativamente pela expresso
para t = 0, 1 , 2,.

'

<

+
+
+
1 ), max{(
1 ), 3 max{(
1
1
1
t t t
t t
t
seX D X
seX D
X
4/10/12
Cadeias de Markov
Para se obterem resultados
analticos, so necessrias
suposies relativas distribuio
conjunta de X0, X1,... .
Uma suposio que leva a um
tratamento analtico que o
processo estocstico uma cadeia
de Markov, a qual possui a
seguinte propriedade-chave:
4/10/12
Cadeias de Markov
Um processo estocstico {Xt} dito ter a
propriedade markoviana se:
P{Xt+1= j|X0 = k0, X1 = k1, ..., Xt-1 = kt-1, Xt = i}=
P{Xt+1= j| Xt = i}
Para t=0, 1, ... e qualquer seqncia de i, j, k0,k1,...,kt-
1.
Esta propriedade equivale a afirmar que a probabilidade
condicional de qualquer evento futuro, dado qualquer
evento passado e o estado presente Xt=i,
independente do evento passado e depende somente
do estado presente do processo.
4/10/12
Cadeias de Markov
As probabilidades condicionais P{Xt+1=
j| Xt = i} so chamadas de
probabilidades de transio.
Se, para cada i e j,
P{Xt+1= j| Xt = i} = P{X1= j| X0 =
i} ento, as probabilidades de transio
(de uma etapa) so ditas serem
estacionrias e so normalmente
denotadas do Pij.
Portanto, ter probabilidades de
transio estacionrias implica que as
probabilidades de transio no mudem
com o tempo.
4/10/12
Cadeias de Markov
A existncia de probabilidades de
transio estacionrias (de uma etapa)
tambm implica que, para cada i, j e n
(n=1,2,...):
P{Xt+n= j| Xt = i} = P{Xn= j| X0
= i}
Estas probabilidades condicionais so
denotadas por p(n) e so chamadas de
probabilidades de transio de n
etapas.
Assim, p(n) exatamente a
probabilidade condicional de que a
varivel aleatria X, comeando no
estado i, esteja no estado j depois de
exatamente n etapas(unidades de
tempo)
4/10/12
Cadeias de Markov
Como os so probabilidades
condicionais, eles tm que
satisfazer s propriedades
,... 2 , 1 , 0 , , 1
,... 2 , 1 , 0 , , 0
0
) (
) (

n e j e i todo para p
n e j e i todo para p
M
j
n
ij
n
ij
) (n
ij
p
4/10/12
Cadeias de Markov
Uma notao conveniente para
representar as probabilidades a
forma de matriz
... 2 , 1 , 0 ,
0
1 0
) ( ) (
0
) (
0
) (
00
) (
n para
p p M
p p
M Estado
P
n
MM
n
M
n
M
n
n

4/10/12
Cadeias de Markov
Agora possvel definir uma cadeia de
Markov.
Um processo estocstico {Xt} (t=0,1,...)
dito uma cadeia de Markov de estado
finito se tiver o seguinte:
Um nmero finito de estados,
A probabilidade markoviana,
Probabilidades da transio estacionrias,
Um conjunto de probabilidades iniciais
P{X0=i} para todo i.
4/10/12
Cadeias de Markov -
Exemplo
Voltando ao problema de estoque.
Uma loja estoca mquinas fotogrficas
que pode ser encomendado
semanalmente.
Seja Di, as demandas semanais, variveis
aleatrias independentes.
X0= estoque inicial = 3 mquinas
X1=estoque no final da semana 1 e assim
por diante.
Poltica de encomendas (s,S), onde s=1 e
S=3, ou seja, a loja far uma nova
encomenda se s<1 at S=3.
Os estados possveis no processo so
0,1,2,3, representado o nmero possvel de
mquinas estocadas
4/10/12
Cadeias de Markov -
Exemplo
Consideremos, agora, como obter
as probabilidades de transio (de
uma etapa), supondo que cada Dt
tenha uma distribuio de Poisson
com parmetro =1.
A matriz de transio :
1
1
1
1
]
1

33 32 31 30
23 22 21 20
13 12 11 10
03 02 01 00
p p p p
p p p p
p p p p
p p p p
P
4/10/12
Cadeias de Markov -
Exemplo
Para obtermos p00 necessrio avaliar
P{Xt= 0| Xt-1 = 0}
Se Xt-1 = 0, ento Xt = max{(3-Dt),0}.
Portanto, se Xt=0, ento a demanda
durante a semana teria que ser de 3 ou
mais unidades.
Conseqentemente, p00=P{Dt>3}.
Ou seja, a probabilidade de que uma
varivel aleatria de Poisson com
parmetro assuma um valor de 3 ou
mais, por tabela, temos que p00= 0,08
4/10/12
Cadeias de Markov -
Exemplo
Para p10 temos:
P{Xt= 0| Xt-1 = 1}
Se Xt-1 = 1, e se Xt = 0, ento a
demanda durante a semana teria que
ser de 1 ou mais unidades.
Conseqentemente,
p10=P{Dt>1}=0,632
Para p21 = P{Xt= 1| Xt-1 = 2}
Ou seja, se Xt = 1 e Xt-1 = 2, ento a
demanda durante a semana teria que
ser de exatamente 1 .
Conseqentemente,
p21=P{Dt=1}=0,368
4/10/12
Cadeias de Markov -
Exemplo
As entradas restantes so obtidas
de maneira similar, o que produz a
seguinte matriz de transio (de
uma etapa):
1
1
1
1
]
1

368 , 0 368 , 0 184 , 0 080 , 0

0 368 , 0 368 , 0 264 , 0
0 0 368 , 0 632 , 0
368 , 0 368 , 0 184 , 0 080 , 0
P
4/10/12
Exerccio
Com base nos exemplos dos
clculos das probabilidades
apresentadas, calcule as outras
probabilidades da matriz P.
DIA DA ENTREGA: 17/08/2011