Markov

Cadeias de Markov
Parte I
Mtodos Matemticos 1A - Cadeias de Markov
Definies e Notaes
Definio 1:
Um Processo de Markov {X
t
} um processo estocstico
que, dado o valor X
t
, os valores de X
s
para s>t no so influenciados
pelos valores de X
u
, u<t.
Uma Cadeia de Markov Discreta no Tempo um Processo de
Markov cujo espao de estados um conjunto finito ou contvel, e
cujo ndice temporal do conjunto T = 0,1,2,...
Em termos formais, a Propriedade de Markov :
Pr{X
n+1
=j / X
0
=i
0
, X
1
=i
1
,..., X
n-1
=i
n-1
, X
n
=i} = Pr{X
n+1
=j / X
n
=i}, (1)
para todos os pontos no tempo n e todos os estados i
0
,..., i
n-1
, i, j.
Notao:
O espao de estados da Cadeia de Markov indexado por inteiros
no negativos: {0,1,2,...};
X
n
est no estado i se X
n
=i.
Definio 2:
A probabilidade de X
n+1
estar no estado j dado que X
n
est
no estado i chamada probabilidade de transio de um passo e
denotada por P
ij
n,n+1
. Isto :
P
ij
n,n+1
= Pr{X
n+1
=j / X
n
=i}. (2)
Esta notao enfatiza que, em geral, as probabilidades de
transio so funes no somente dos estados inicial e final, mas
tambm do tempo de transio.
Quando as probabilidades de transio em um passo so
independentes da varivel do tempo n, dizemos que a Cadeia de
Markov tem probabilidades de transio estacionrias.
Ento P
ij
n,n+1
= P
ij
independente de n e P
ij
a probabilidade
condicional que o valor do estado transite de i a j em uma tentativa.
Pode-se visualizar as quantidades P
ij
de forma matricial, num
arranjo quadrtico infinito:
E chamamos
P =
Matriz de Markov ou Matriz de Probabilidades de Transio. As
probabilidades P
ij
satisfazem as condies:
P
ij
0, para i, j = 0,1,2,... (3)
= 1, para i = 0,1,2,... (4)
Proposio 1: Um Processo de Markov est completamente
definido quando sua matriz de probabilidades de transio e seu
estado inicial X
0
(ou, mais genericamente, a distribuio de
probabilidade de X
0
) esto especificados.
0 j
ij
P
ij
P
Prova:
Seja Pr{X
0
=i} = p
i0
. suficiente mostrar como calcular as
quantidades
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
}, (5)
uma vez que qualquer probabilidade envolvendo X
j1
,..., X
jk
, para
j
1
<...< j
k
, pode ser obtida, de acordo com a lei da probabilidade
total, somando os termos da forma (5).
Pela definio de probabilidade condicional, temos:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} =
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n-1
=i
n-1
} . Pr{X
n
=i
n
/ X
0
=i
o
, X
1
=i
1
, X
2
=i
2
,
..., X
n-1
=i
n-1
}. (6)
Agora, pela definio de Processo de Markov:
Pr{X
n
=i
n
/ X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n-1
=i
n-1
}= Pr{X
n
=i
n
/ X
n-1
=i
n-1
} = P
in-1,in
.

(7)
Substituindo (7) em (6), temos:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} = Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n-1
=i
n-1
}. P
in-1,in
.
Ento, por induo, (5) torna-se:
Pr{X
0
=i
0
, X
1
=i
1
, X
2
=i
2
,..., X
n
=i
n
} = p
i0
P
i0,i1
... P
in-1,in-2
P
in-1,in
. (8)
Observa-se, ento, que todas as probabilidades de dimenso finita podem
ser obtidas a partir das probabilidades de transio e da distribuio
inicial. O processo , portanto, definido por essas quantidades.
A propriedade de Markov expressa em (1) equivalente a:
Pr{X
n+1
=j
1
,..., X
n+m
=j
m
/ X
0
=i
0
,..., X
n
=i
n
} =
Pr{X
n+1
=j
1
,..., X
n+m
=j
m
/ X
n
=i
n
}, (9)
para todos os pontos no tempo n, m e todos os estados
i
0
,..., i
n
, j
1
,..., j
m
. Em outras palavras, uma vez (9)
estabelecido para o valor m=1, tambm vlido para todos
os m>1.
Matrizes de Probabilidade de Transio de
uma Cadeia de Markov
A anlise de uma Cadeia de Markov caracteriza-se
principalmente pelo clculo das probabilidades de transies em n
passos. Fundamentais, portanto, so as matrizes de probabilidades
de transio em n passos,
P
(n)
= ,
onde P
ij
(n)
denota a probabilidade que o processo v do estado i
para o estado j em n transies.
Formalmente,
P
ij
(n)
= Pr{X
m+n
=j / X
m
=i}. (10)
n) (
ij
P
Consideramos este processo homogneo, ou seja, dependente
apenas da diferena [m - (m+n)], e possuindo probabilidades de
transio estacionrias.
Teorema 1: As probabilidades de transio em n passos de uma
Cadeia de Markov satisfazem:
P
ij
(n)
= P
ik
P
kj
(n-1)
(11)
onde definimos P
ij
(0)
= .
Pela iterao desta frmula, obtemos:
P
(n)
= P X P X ... X P = P
n
. (12)
0 k
'
j i se , 0
j i se , 1
4 4 4 3 4 4 4 2 1
vezes n
Prova: O evento de ir do estado i para o estado j em n transies
pode ser realizado por caminhos mutuamente exclusivos, indo para
um estado intermedirio k (k= 0,1,...), na primeira transio, e
ento ir do estado k ao estado j nas (n-1) transies restantes. Por
conta da propriedade de Markov, a probabilidade da segunda
transio P
kj
(n-1)
(da primeira transio obviamente P
ik
). Usando
a Lei da Probabilidade Total:
P
ij
(n)
= Pr{X
n
=j / X
0
=i} = Pr{X
n
=j, X
n
=k / X
0
=i}
= Pr{X
1
=k / X
0
=i} . Pr{X
n
=j / X
0
=i, X
1
=k}
= P
ik
P
kj
(n-1)
0 k
0 k
0 k
Se a probabilidade do processo estar inicialmente no estado j p
j
,
isto , a lei de distribuio de X
0
Pr{X
0
=j)=p
j
, ento a
probabilidade do processo estar no estado k no tempo n :
p
k
= p
j
P
jk
(n)
= Pr{X
n
=k} (13)
Alguns Modelos de Cadeias de Markov
Modelo de Inventrio
Uma mercadoria armazenada a fim de satisfazer uma
demanda continuada. A reposio do estoque se d ao final de
perodos n=0,1,2,... e a demanda durante um perodo n uma
varivel aleatria
n
cuja funo distribuio independente do
perodo de tempo:
0 j
Pr{
n
=k} = a
k
, para k = 0,1,2,... (14)
onde a
k
0 e a
k
= 1.
.
O nvel do estoque examinado ao final de cada perodo. A
poltica de reposio determinada especificando dois nmeros
crticos no negativos, s e S>s, cuja interpretao :
I) Se a quantidade do estoque no final do perodo no maior que
s, ento uma quantidade de mercadoria suficiente para aumentar o
estoque at o nvel S providenciada;
II) Se, entretanto, o estoque disponvel est em excesso de s, ento
nenhuma reposio de estoque realizada.
0 k
Seja X
n
a quantidade disponvel ao final do perodo n antes da
rearmazenagem. Os estados do processo {X
n
} consistem dos
possveis valores da quantidade em estoque:
S, S-1,..., 1, 0, -1, -2,...
onde um valor negativo interpretado como uma demanda no
atendida que ser satisfeita imediatamente aps o re-estoque.
O nvel do estoque em dois perodos consecutivos esto
relacionados por:
X
n+1
= (15)
onde
n
a quantidade demandada no n-simo perodo,
determinada para seguir a lei das probabilidades (14).
'
<
+
+
s X se , - S
S X s se , - X
n 1 n
n 1 n n

Se considerarmos que as sucessivas demandas
1
,
2
,... so
variveis aleatrias independentes, ento os valores do estoque X
0
,
X
1
, X
2
,... constituem-se numa Cadeia de Markov cuja matriz de
probabilidades de transio pode ser calculada de acordo com a
relao (15):
P
ij
= Pr{X
n+1
=j / X
n
=i}
= .
'

<
+
+
s i se , j} - S Pr{
S i s se , j} - i Pr{
1 n
1 n

Para um exemplo numrico, vamos supor:
Pr{
n
=0} = 0,5; Pr{
n
=1} = 0,4; Pr{
n
=2} = 0,1.
s= 0; S=2; X
n
= 2, 1, 0, -1.
Para encontrarmos os elementos da matriz de probabilidades de
transio fazemos, por exemplo:
P
10
=

Pr{X
n+1
=0 / X
n
=1} = Pr{
n+1
=1} = 0,4;
P
10
=

Pr{X
n+1
=0 / X
n
=0} = Pr{
n+1
=2} = 0,1.
Continuando, obtemos a matriz de probabilidades de transio:
P =
5 , 0 4 , 0 1 , 0 0
0 5 , 0 4 , 0 1 , 0
5 , 0 4 , 0 1 , 0 0
5 , 0 4 , 0 1 , 0 0
Cadeia de Markov de Enfileiramento Discreto
Clientes chegam para atendimento e tomam seu lugar em
uma fila. Durante cada perodo de tempo, um nico cliente
atendido, considerando que pelo menos um cliente est presente. Se
nenhum cliente aguarda atendimento, ento durante este perodo
nenhum atendimento realizado. Num perodo de atendimento
novos clientes podem chegar. Supomos que o nmero de clientes
que chegam durante o n-simo perodo uma varivel aleatria
n
,
cuja distribuio independente do perodo e dada por:
Pr{k clientes chegam em um perodo de atendimento} =
Pr {
n
=k} = a
k
, para k = 0,1,...
onde a
k
0 e a
k
= 1.
0 k
Tambm consideramos que
1
,
2
,... so variveis aleatrias
independentes. O estado do sistema no incio de cada perodo
definido pelo nmero de clientes esperando na fila por
atendimento. Se o estado atual i, ento, depois de um lapso de um
perodo, o estado :
j = (18)
onde o nmero de novos clientes que chegaram no perodo,
enquanto um nico cliente foi atendido.
Em termos de variveis aleatrias do processo, (18) pode ser
formalmente expressa como:
X
n+1
=(X
n
-1)
+
+
n,
onde Y
+
=max(Y,0).
'
+
0 i se ,
1 i se , 1 - i

A partir de (18), obtemos a matriz de probabilidades de transio:
P =
M M M M M
L
L
L
L
L
1 0
2 1 0
3 2 1 0
4 3 2 1 0
4 3 2 1 0
a a 0 0 0
a a a 0 0
a a a a 0
a a a a a
a a a a a
Algumas Cadeias de Markov Especiais
Cadeia de Markov de Dois Estados
Seja P = ; 0<a, b<1 (19)
a matriz de transio de uma Cadeia de Markov de dois estados.
Quando a=1-b, tal que as linhas de P so iguais, os estados X
1
,
X
2
,... so variveis aleatrias independentes identicamente
distribudas, com Pr{X
n
=0}=b e Pr{X
n
=1}=a.
Quando a1-b, a distribuio de probabilidade de X
n
varia
dependendo da sada X
n-1
no estgio anterior.
b - 1 b
a a - 1
Neste caso, verificado por induo que a matriz de transio em n
passos dada por:
P
n
= (20)
Observemos que quando 0<a, b<1, e da
quando n e:
=
b b -
a - a
b) a (
b) - a - 1 (
a b
a b
b a
1
n
+
+
+
1 b - a - 1 <
0 b - a - 1
n
b a
a
b a
b
b a
a
b a
b
+ +
+ +
n
n
limP
Para um exemplo numrico, suponha que os itens produzidos por
um trabalhador estejam sendo separados em defeituosos ou no, e
que, devido qualidade da matria prima, um item est com defeito
ou no depende em parte de se ou no o item anterior estava
defeituoso. Seja X
n
a qualidade do n-simo item, com X
n
=0
significando bom e X
n
=1 significando defeituoso. Suponha que X
n
caracteriza uma Cadeia de Markov cuja matriz de transio :
P = .
Observe que itens defeituosos tendem a aparecer em grupos na
sada deste sistema.
Aps execuo longa, a probabilidade que um item produzido por
este sistema esteja defeituoso dado por = 0,077.
88 , 0 12 , 0
01 , 0 99 , 0
b a
a
+
Passeio Aleatrio Unidimensional
Um deslocamento aleatrio unidimensional uma Cadeia
de Markov cujo espao de estados um subconjunto finito ou
infinito a, a+1,...,b de inteiros, no qual a partcula, se est no estado
i, pode em uma nica transio permanecer em i ou mover-se para
um dos estados vizinhos i-1, i+1. Se o espao de estados tomado
como os inteiros no negativos, a matriz de transio de um
deslocamento aleatrio tem a seguinte forma:
P =
M M M M M M M
L L
L M M M M M M M
L L
L L
L L
0 p r q 0 0 0
0 0 0 0 r q 0
0 0 0 0 p r q
0 0 0 0 0 p r
i i i
2 2
1 1 1
0 0
Onde p
i
>0, q
i
>0, r
i
0 e p
i
+q
i
+r
i
=1, i= 1,2,... (i1), p
0
0, r
0
0,
p
0
+r
0
=1. Especificamente, se X
n
=i, ento, para i1,
Pr{X
n+1
=i+1 / X
n
=i} = p
i
,
Pr{X
n+1
=i-1 / X
n
=i} = q
i
e
Pr{X
n+1
=i / X
n
=i} = r
i
,
com a modificaes bvias valendo para i=0.
O Conceito de Convergncia em
Cadeias de Markov
Apresentao
Matrizes de Transio de Probabilidades
Regulares;
Distribuio Limite;
Classificao dos Estados;
Teorema Bsico do Limite em cadeia de Markov
Distribuio Estacionria.
Matrizes de Transio de
Probabilidade Regulares
Suponha que uma matriz de transio de
probabilidade P=||P
ij
|| em um nmero finito
de estados chamados de 0, 1, ..., N, tem a
propriedade que quando elevada a potncia
k, a matriz P
k
tem todos os seus elementos
estritamente positivos. Esta matriz ou a
correspondente Cadeia de Markov
chamada de regular.
O fato mais importante relacionado a Cadeias
de Markov regulares que existe uma
distribuio de probabilidades limites
=(
0
,
1
,...,
N
) onde
j
>0 para todo j=0,1,...,N
e
j
j
=1 e que esta distribuio independe do
estado inicial. Formalmente, temos a
convergncia:
N j i X j X
N j P
j n
n
j
n
ij
n
,..., 1 , 0 para 0 } | Pr{ lim
}, {X Markov de cadeia de termos em ou
,..., 1 , 0 para 0 lim
0
n
) (
>
>

Uma condio suficiente para determinar se
uma matriz transio de probabilidade
regular a seguinte:
1. Para cada par de estados i, j existe um
caminho k
1
,...,k
r
para o qual P
ik
1
P
k
1
k
2
...P
k
r
j
>0
2. Existe pelo menos um estado i para o
qual P
ii
>0.
Teorema 1: Seja P uma matriz transio de
probabilidade regular nos estados 0,1,...,N.
Ento, a distribuio limite de probabilidade
=(
0
,
1
,...,
N
) a nica soluo no
negativa das equaes:

N
k
k
N
k
kj k j
N j P
0
0
. 1
,..., 1 , 0 ,

Prova:
Visto que a cadeia de Markov regular
ento temos uma distribuio limite
j
>0
para todo j=0,1,...,N e
j
j
=1. Escreva P
n
como o produto de matrizes P
n-1
P na forma:
Agora faamos n. Ento, temos
P
ij
(n)

j
enquanto P
jk
(n-1)

k
e a equao
se torna:
j
=
k
P
kj
como queramos.

N
k
kj
n
ik
n
ij
N j P P P
0
) 1 ( ) (
,..., 1 , 0 ,
Resta-nos provar que a soluo nica.
Suponha que x
0
,x
1
,...,x
N
resolve, ento:
Temos que mostrar que x
j
=
j .
Multipliquemos a primeira equao por P
jl
e
somemos para todos os js ento:

N
k
k
N
k
kj k j
x
N j P x x
0
0
. 1
,..., 1 , 0 ,

N
j
N
k
N
k
kl k jl kj k
N
j
jl j
P x P P x P x
0 0 0
) 2 (
0
Mas, sabemos que:
N ,..., , l para , P x x
P x x
N
k
) (
kl k l
N
j
jl j l
1 0
: a leva nos anterior equao a ento
0
2
0


Repetindo esse argumento n vezes temos:
e passando ao limite em n e usando P
kl
(n)

l
,
temos que:
Mas sabemos que
k
x
k
=1, ento x
l
=
l
como
queramos.
N l para P x x
N
k
n
kl k l
,..., 1 , 0 ,
0
) (

N l x x
N
k
l k l
,..., 1 , 0 para ,
0


0
2
1
0,5
0,4
0,05
0,25
0,05
0,1
0,5
0,7
0,45
Exemplo 1
Seja a matriz transio de probabilidade
dada por:
1
45 0 25 0 1 0
5 0 7 0 5 0
05 0 05 0 4 0
: so limites ades probabilid das tes determinan
equaes as
45 0 5 0 05 0
25 0 7 0 05 0
1 0 5 0 4 0
2 1 0
2 1 0 2
2 1 0 1
2 1 0 0
+ +
+ +
+ +
+ +
1
1
1
]
1

. . .
. . .
. . .
. . .
. . .
. . .
P
Observe que temos uma equao redundante,
eliminando uma delas chegaremos ao resultado:
104
31
8
5
65
5
2
1
0

Matrizes Duplamente Estocsticas
Uma matriz transio de probabilidade
duplamente estocstica se as colunas
somam 1 assim como as linhas.
Se uma matriz duplamente estocstica
regular ento a nica distribuio limite a
distribuio uniforme =(1/N,...,1/N), onde
N o nmero de estados da cadeia.
Prova:
Como sabemos que uma matriz regular s
tem uma nica soluo, ento s temos que
provar que a distribuio uniforme satisfaz
a:

1
0
1
0
. 1
1 ,..., 1 , 0 ,
N
k
k
N
k
kj k j
N j P

1. somam
colunas as pois ,
1 1 1
e , 1
N
1
Mas
1
0
1 - N
0 k
N
j
jk
N
P
N N
Interpretao da Distribuio
Limite
Existem duas interpretaes para essa
distribuio:
1) Aps o processo est sendo executado por
um longo perodo a probabilidade de
encontrarmos a cadeia em um dado estado j
j
.
2)
j
significa a frao mdia do tempo em que
a cadeia se encontra no estado j.
Aplicaes
Geralmente um fenmeno que no
naturalmente um processo de Markov pode
ser modelado como um incluindo parte da
histria passada em cada estado.
Suponha, por exemplo, que o clima em
qualquer dia depende do clima nos dois dias
anteriores. Especificamente, suponha que se
hoje e ontem o clima foi ensolarado ento
amanh o clima ser ensolarado com
probabilidade 0,8.
Se foi ensolarado hoje e chuvoso ontem, ento
amanh ser ensolarado com probabilidade 0,6. Se
foi chuvoso hoje mas ensolarado ontem, ento
amanh ser ensolarado com probabilidade 0,4. E
se os dois ltimos dias foram chuvosos, ento
amanh ser ensolarado com probabilidade 0,1.
Ento, definiremos os estados assim:
0-Ensolarado nos ltimos dois dias.
1-Ensolarado ontem, mas chuvoso hoje.
2-Chuvoso ontem, mas ensolarado hoje.
3-Chuvoso nos dois ltimos dias.
Logo, a matriz transio de probabilidade
ser:
Resolvendo o sistema de equaes para a
distribuio limite obteremos:
1
1
1
1
]
1
9 . 0 1 . 0 0 0
0 0 4 . 0 6 . 0
6 . 0 4 . 0 0 0
0 0 2 . 0 8 . 0
P
11
6
e
11
1
,
11
1
,
11
3
3 2 1 0

Ento a probabilidade de estarmos em um dia
ensolarado de:
0
+
2
, ou seja, de 4/11.
Classificao dos Estados
Nem todas as cadeias de Markov so
regulares. Vamos considerar alguns
exemplos:
Como a cadeia de Markov permanece no
estado inicial, existe uma distribuio limite
que depende obviamente do estado inicial.
1
]
1
1 0
0 1
P
A cadeia de Markov cuja matriz de transio
dada por:
oscila deterministicamente entre os dois
estados. Ento ela peridica e portanto no
existe distribuio limite pois no h
convergncia de P
(n)
quando n.
1
]
1
0 1
1 0
P
A cadeia de Markov cuja matriz de transio dada
por:
1
]
1

1
1
1
]
1
,
_
,
_
1
]
1

1 0
1 0
lim
: quando limite o e
1 0
2
1
1
2
1
: por dada ento ,
1 0
2 / 1 2 / 1
n
n
n n
n
n
P
n P
P P
Aqui o estado 0 transitrio, aps o processo iniciar no
estado 0 existe uma probabilidade de nunca mais
retornar a ele.
Cadeias de Markov Irredutveis
Um estado j dito ser acessvel a um estado
i se P
ij
(n)
>0 para algum n0.
Dois estados i e j so ditos comunicveis se
cada um deles for acessvel ao outro e
escrevemos: ij. Ento, se dois estados i e
j no so comunicveis: P
ij
(n)=
0 ou P
ji
(n)
=0
para todos n 0.
O conceito de comunicao uma relao
de equivalncia, ou seja satisfaz as
seguintes propriedades:
1) ii (reflexividade);
2) Se ij, ento ji (simetria) e
3) Se ij e jk ento ik (transitividade).
Podemos agora particionar nossa totalidade
de estados em classes de equivalncia.
Os estados em uma mesma classe de equivalncia
so aqueles que se comunicam entre si.
possvel, comearmos em uma classe de
equivalncia e entrar em uma outra, contudo
no possvel retornar a classe original,
caso contrrio as duas classes sero uma s.
Definimos como cadeia de Markov
irredutvel aquela que tem somente uma
classe de equivalncia. Em outras palavras,
uma cadeia de Markov irredutvel se todos
os seus estados se comunicam entre si. Por
exemplo considere a seguinte matriz de
transio de probabilidade:
1
]
1
1
1
1
1
1
1
]
1
2
1
0
0
0 1 0 0 0
2 / 1 0 2 / 1 0 0
0 1 0 0 0
0 0 0 4 / 3 4 / 1
0 0 0 2 / 1 2 / 1
P
P
P
Periodicidade de uma Cadeia de
Markov
Definimos o perodo de um estado i (d(i))
como sendo o mximo divisor comum de
todos os inteiros n1 para o qual P
ij
(n)
>0.
(Se P
ij
(n)
=0 para todo n1 defina d(i)=0).
Se um estado i tem P
ii
>0, ento este estado
tem perodo igual a 1. Uma cadeia de
Markov com perodo 1 chamada de no
peridica.
Vamos agora enunciar trs propriedades do
perodo de um estado:
1) Se ij, ento d(i)=d(j);
2) Se um estado i tem perodo d(i), ento
existe um inteiro N dependendo de i que
para todos os inteiros nN:
Isto assegura que um retorno para o estado i
ocorre para todo mltiplo do perodo d(i)
suficientemente grande.
0
)) ( (
>
i nd
ii
P
grande. mente suficiente positivo) inteiro (um
todo para 0 ento , 0 Se 3)
)) ( ( ) (
n
P P
i nd m
ji
m
ji
> >
+
Estados Recorrentes e Transitrios
Definimos:
Ou seja, f
ii
(n)
a probabilidade que
comeando em um estado i a primeira vez
que a cadeia retorne para o estado i ocorra
na ensima transio
} | 1 ,..., 2 , 1 , , Pr{
0
) (
i X n v i X i X f
v n
n
ii

Seja a probabilidade da cadeia iniciando em
um estado i retornar ao estado i em algum
tempo f
ii
:
Definimos um estado como recorrente se
f
ii
=1. Por outro lado, se um estado no for
recorrente ele dito ser transitrio.

N
n
n
ii
N
N
n
n
ii ii
f f f
0
) (
0
) (
lim
Considere ento um estado transitrio,
ento a probabilidade do processo retornar a
este estado pelo menos k vezes, pela
propriedade do processo de Markov, (f
ii
)
k
.
Seja M uma varivel aleatria que conta o
nmero de vezes que o processo retorna
para o estado i. Ento M tem uma
distribuio geomtrica na qual:
.
1
]
e 1,2,... k para , ) ( } | Pr{
0
0
ii
ii
k
ii
f
f
i E[M|X
f i X k M

Teorema 2: Um estado i dito ser
recorrente se e somente se:
Prova: Suponha que o estado i transitrio
ento por definio f
ii
<1 e seja M a VA que
conta o nmero total de retornos ao estado i.
Ento podemos escrever M em termos de
VAs indicadoras como:

1
) (
n
n
ii
P
queramos. como
] | { 1 [ ] | [
: Logo
io. transitr i quando ] | [ vimos como Mas
. se 1
se 0
} { 1
onde }, { 1
1
) (
1
0 0
0
1

>
<
'

n
n
ii
n
n
n
n
n
n
n
P i X i X E i X M E
i X M E
i X
i X
i X
i X M
Corolrio 1: Se ij e se i recorrente,
ento j recorrente.
Prova:
Como ij ento existe m,n1 de modo que:
Seja v>0. Ento temos que:
0 e 0
) ( ) (
> >
m
ji
n
ij
P P

+ +
+ +

0
) (
0
) (
0
) ( ) ( ) (
0 0
) ( ) ( ) ( ) (
0 0
) ( ) ( ) ( ) ( ) ( ) ( ) (
diverge. tambm que temos diverge, Como
: Somando
v
v
jj
v
v
ii
v
v
ii
n
ij
m
ji
v v
n
ij
v
ii
m
ji
v m n
jj
l l
n
ij
v
ii
m
ji
n
il
v
il
m
jl
v n m
jj
P P
P P P P P P P
P P P P P P P
O Teorema Bsico do Limite das
Cadeias de Markov
Seja i um estado recorrente e definimos
ento a VA R
i
=min{n1;X
n
=i}. A durao
mdia entre visitas ao estado i :

1
) (
0
] | [
n
n
ii i i
nf i X R E m
Enunciando de forma mais formal o
teorema, temos:
(a) Considere uma cadeia de Markov
recorrente irredutvel no peridica.
Seja P
ii
(n)
a probabilidade de retornarmos
ao estado i na n-sima transio dado que o
estado inicial i. Seja f
ii
(n)
a probabilidade
do primeiro retorno ao estado i na n-sima
transio, onde f
ii
(0)
=0. Ento:
i
n
n
ii
n
ii
n
m
nf
P
1 1
lim
0
) (
) (

(b) Sobre as mesmas condies de (a):
Obs.: Se estivermos trabalhando em uma
classe recorrente C. Ento uma vez em C
no possvel sair de C. Este teorema
tambm vlido para a sub-matriz ||P
ij
||,
i,jC de qualquer classe recorrente no
peridica.
. estados os todos para lim lim
) ( ) (
j P P
n
ii
n
n
ji
n

Definimos uma classe como de recorrncia
positiva ou fortemente ergdica se m
i
< e
de recorrncia nula ou fracamente ergdica
se m
i
= . Um mtodo alternativo para
determinarmos a distribuio limite
i
para
uma classe recorrente no peridica.
Teorema 4: Em uma classe de recorrncia
positiva no peridica com estados
j=0,1,2,...
0,1,... j para e , 0 (*)
: equaes de conjunto pelo
os determinad unicamente so s ' esses e
1 e
1
lim
0 0 i
i
0 0
) (

i
ij i j i
i
i
j
i
ij i j
n
jj
n
P
m
P P

Qualquer conjunto (
i
)
i=0
satisfazendo (*)
chamado de uma distribuio estacionria
da cadeia de Markov. O termo estacionrio
deriva da propriedade de que uma cadeia de
Markov iniciando de acordo com uma
distribuio estacionria vai seguir est
distribuio para todos os demais pontos do
tempo. Formalmente, se Pr{X
0
=i}=
i
ento
Pr{X
n
=i}=
i
para todo n=1,2,3,...Vamos
checar isso para o caso n=1, o caso geral
segue por induo:
onde a ltima igualdade vlida porque
uma distribuio estacionria.
i
k
ki k
k
P
k X i X k X i X

0
0
0 1 0 1
} | Pr{ } Pr{ } Pr{`
Quando o estado inicial selecionado de
acordo com a distribuio estacionria, a
distribuio conjunta de (X
n
,X
n+1
) dada
por:
Quando uma distribuio limite existe, ela
sempre uma distribuio estacionria. Mas
pode existir uma distribuio estacionria
que no seja distribuio limite.
.
} | Pr{ } Pr{ } , Pr{
1 1
ij i
n n n n n
P
i X j X i X j X i X

+ +
Por exemplo seja a cadeia de Markov
peridica (portanto sem distribuio limite)
dada por:
). 2 / 1 , 2 / 1 (
0 1
1 0
) 2 / 1 , 2 / 1 (
: pois ia estacionr o distribui uma (1/2,1/2) mas
0 1
1 0
1
]
1
1
]
1

Markov

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Markov

Enviado por

Direitos autorais:

Formatos disponíveis

Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Mtodos Matemticos 1A - Cadeias de Markov

Você também pode gostar