Probabilidades limites

Prof
a
. Dr
a
. Juliana Garcia Cespedes
Processos Estocsticos
Exemplo
Suponha que a chance de chover amanh
depende das condies climticas anteriores
somente atravs da informao se est ou
no chovendo hoje. Considere que:
Se est chovendo hoje a probabilidade de chover
amanh ; e,
Se no est chovendo hoje, chover amanh com
probabilidade .
Se considerarmos que:
O processo est no estado 0 quando chove; e,
O processo est no estado 1 quando no chove.
Este procedimento uma cadeia de Markov?
Def:
Seja {X
n
, n=0, 1, ...} um processo estocstico que assume
um nmero finito ou enumervel de valores. O processo
X
n
uma cadeia de Markov se:
P{X
n+1
=j|X
n
= i, X
n-1
= i
n-1
, ...., X
0
= i
0
} = P{X
n+1
=j|X
n
= i} = P
ij
Este procedimento uma cadeia de Markov
com dois estados {0; 1} e a matriz de transio
dada por:
Considere que = 0,7 e = 0,4.
Qual a probabilidade de que chover daqui a
quatro dias dado que est chovendo hoje?
| |
o o

=
1
1
1
0
P
1 0
Equaes de Chapman-Kolmogorov
Probabilidade de transio em n-passos .
Equaes de Chapman-Kolmogorov so um
mtodo para calcular as probabilidades de
transio desses n-passos.
ou seja
n
ij
P
0 , , 0 }, | { > > = = =
+
j i n i X j X P P
k k n
n
ij
j i m n P P P
m
kj
k
n
ik
m n
ij
, e 0 , todo para ,
0
> =

=
+
m n m n
P P P =
+ ) (
Voltando ao exemplo
Se = 0,7 e = 0,4, a matriz de transio do
processo definida por:
Para calcular a probabilidade de que chover
daqui a quatro dias dado que est chovendo
hoje, basta
6 , 0 4 , 0
3 , 0 7 , 0
= P
2 2 4
P P P =
A probabilidade desejada ento :
4332 , 0 5668 , 0
4251 , 0 5749 , 0
48 , 0 52 , 0
39 , 0 61 , 0
.
48 , 0 52 , 0
39 , 0 61 , 0
48 , 0 52 , 0
39 , 0 61 , 0
6 , 0 4 , 0
3 , 0 7 , 0
.
6 , 0 4 , 0
3 , 0 7 , 0
4
2
= =
= =
P
P
5749 , 0
} 0 | 0 {
} 0 | 0 {
2 2 2
2 2
00
0 4
4
00
=
= = =
= = =
+
+
X X P P
X X P P
4286 , 0 5714 , 0
4285 , 0 5715 , 0
4332 , 0 5668 , 0
4251 , 0 5749 , 0
.
4332 , 0 5668 , 0
4251 , 0 5749 , 0
8
= = P
Segue que P
(8)
= P
4
.P
4
dado por:
P
(16)
=P
8
.P
8
Probabilidades limites
4285 , 0 5714 , 0
4285 , 0 5714 , 0
16
= P
Note que a matriz P
(16)
quase idntica a matriz P
(8)
que, por sua vez, muito parecida com a matriz P
(4)
.
E ainda, que cada uma das linhas da matriz so
idnticas.
Pode-se dizer que parece que converge para
algum valor quando n , e que alm disto, o
mesmo para todos os i
s
Ou seja, parece existir uma probabilidade limite de
que o processo estar no estado j aps um grande
nmero de transies, e este valor independente
do estado inicial.
n
ij
P
Mas isso acontece sempre?
Vamos testar uma matriz de transio, qualquer, no R.
P<-matrix(c(0.7,0.4,0,0.2,0.6,0,0.1,0,1),3,3)
P2<-P%*%P
P2
P4<-P2%*%P2
P4
P8<-P4%*%P4
P8
P16<-P8%*%P8
P16
P32<-P16%*%P16
P32
P64<-P32%*%P32
P64
P128<-P64%*%P64
P128
P256<-P128%*%P128
P256
Para fazer a heurstica anterior mais precisa, algumas
propriedades adicionais dos estados de uma cadeia
de Markov precisam ser considerados:
O estado i dito ter perodo d se onde n no
divisvel por d, e d o mair inteiro com essa
propriedade.
Um estado com perodo 1 dito ser aperidico.
Se o estado i tem perodo d, e os estados i e j so
comunicantes, ento o estado j tambmtemperodo
d.
0 =
n
ij
P
Para qualquer estado i, seja f
i
a probabilidade que,
partindo do estado i, o processo sempre voltar o
estado i. O estado i dito ser recorrente se f
i
=1 e
transitrio se f
i
<1.
Se o estato i recorrente, ento ele dito ser
recorrente positivo se, iniciando em i, o tempo
esperado at o processo retornar para o estado i
finito.
Obs: Estados recorrentes no positivos so chamados de
recorrentes nulos, mas emcadeias de Markov de estado finito todos
os estados recorrentes so recorrentes positivos.
Estados aperidicos, recorrentes positivos so chamados de
ergdicos.
A cadeia de Markov dita ser irredutvel se todos os estados
se comunicam entre si.
Teorema 1:
Para uma cadeia de Markov ergdica irredutvel, o
limite abaixo existe e independente de i:
Ento
j
a nica soluo no negativa de


=

=
= > =
0 0
1 com , 0 ,
j
j ij
i
i j
j P t t t
0 , lim > =

j P
n
ij
n
j
t
(1)
Distribuio estacionria

j
a probabilidade limite que o processo estar no
estado j no tempo n.
Seja {X
n
, n 0} uma cadeia de Markov com matriz de
transio P. Se para cada j,
j
so nmeros reais no
negativos e satisfaz a equao (1), ento
denominada uma distribuio estacionria para a
cadeia de Markov.
Se uma distribuio estacionria, ento
n
ij
i
i j
P

=
=
0
t t
Voltando ao exemplo
Se consideramos que:
O processo est no estado 0 quando chove; e,
O processo est no estado 1 quando no chove.
As probabilidade limites
0
e
1
so dadas por:
( )
1
, ) 1 ( 1
,
1 0
1 0 1
1 0 0
= +
+ =
+ =
t t
t | t o t
|t ot t
430 , 0
1
1
571 , 0
1
1
0
=
+

=
=
+
=
o |
o
t
o |
|
t
Exemplo 2
Considere que uma pessoa pode se sentir alegre
(A), mais ou menos (M) ou mal humorada (H) em
um dia qualquer.
Se a pessoa est alegre hoje, amanh ela pode se
sentir A, M ou H com probabilidades 0,5; 0,4 ou
0,1, respectivamente.
Se est mais ou menos, amanh pode se sentir A,
M ou H com probabilidades 0,3; 0,4 ou 0,3.
Se est mal humorada, amanh pode se sentir A,
M ou H com probabilidades 0,2; 0,3 ou 0,5.
SeX
n
representar o estado de humor de uma
pessoa no n-simo dia, ento {X
n
, n0} uma
cadeia de Markov com trs estados. {A=0,
M=1, H=2}.
A matriz de transio dada por:
5 , 0 3 , 0 2 , 0
3 , 0 4 , 0 3 , 0
1 , 0 4 , 0 5 , 0
= P
No longo prazo, qual a proporo de pessoas
que est no processo em cada um dos trs
estados?
1
5 , 0 3 , 0 1 , 0
3 , 0 4 , 0 4 , 0
2 , 0 3 , 0 5 , 0
2 1 0
2 1 0 2
2 1 0 1
2 1 0 0
= + +
+ + =
+ + =
+ + =
t t t
t t t t
t t t t
t t t t
62
18
,
62
23
,
62
22
2 1 0
= = = t t t
Mobilidade de classes
Um problema de interesse para socilogos
determinar a proporo da sociedade que muda de
classe social.
Um possvel modelo matemtico seria assumir que
as transies entre as classes de geraes sucessivas
em uma famlia podem ser representadas como
transies de uma cadeia de Markov.
Assume-se que a atividade profissional de uma
criana depende somente da atividade profissional
de seus pais.
Suponha que tal modelo apropriado e que a matriz
de probabilidades de transio dada por:
Ou seja, supe-se que o filho de um trabalhador de
classe mdia ir atingir uma ocupao de classe
superior, mdia ou baixa, com respectivas
probabilidades 0,05; 0,70 ou 0,25.
49 , 0 50 , 0 01 , 0
25 , 0 70 , 0 05 , 0
07 , 0 48 , 0 45 , 0
= P
As probabilidades limites
j
so:
Ou seja, a sociedade na qual a mobilidade social
entre classes pode ser descrita por uma cadeia de
Markov com essa matriz de transio tem, ao longo
do tempo, 7% de pessoas em empregos de classe
alta, 62% de empregos na classe mdia e 31% na
classe baixa.
1
49 , 0 25 , 0 07 , 0
50 , 0 70 , 0 48 , 0
01 , 0 05 , 0 45 , 0
2 1 0
2 1 0 2
2 1 0 1
2 1 0 0
= + +
+ + =
+ + =
+ + =
t t t
t t t t
t t t t
t t t t
31 , 0
, 62 , 0
, 07 , 0
2
1
0
=
=
=
t
t
t
Cadeia de Markov em Gentica
Considere uma grande populao de indivduos, onde
cada um deles possui um determinado par de genes.
Os genes de cada indivduo classificado como sendo
do tipo A ou do tipo a.
Assume-se que a proporo de indivduos cujos pares
de genes so AA, aa ou Aa so, respectivamente, p
0
,
q
0
e r
0
(p
0
+ q
0
+ r
0
=1).
Cada indivduo contribui com um de seus genes,
aleatoriamente, para a prole resultante.
Supondo-se que o acasalamento ocorre ao acaso, e que
cada indivduo igualmente provvel de acasalar com
qualquer outro indivduo, estamos interessados em
determinar a proporo de indivduos na prxima
gerao cujos genes sero AA, aa ou Aa (p, q e r).
Facilmente obtm-se essas propores concentrando a
ateno em uma pessoa da prxima gerao e, em
seguida, determinando as probabilidades do par de
genes desse indivduo.
Escolher aleatoriamente um pai e, em seguida, escolher
aleatoriamente um dos seus genes equivalente a
apenas escolher aleatoriamente um gene da populao
total de genes.
Observando os genes do pai, tem se que um gene
escolhido ao acaso ser do tipo A com
probabilidade:
P{A} = P{A|AA}p
0
+ P{A|aa}q
0
+ P{A|Aa}r
0
= 1p
0
+ 0q
0
+ r
0
= p
0
+ r
0
Similarmente, ser do tipo a comprobabilidade:
P{a} = P{a|AA}p
0
+ P{a|aa}q
0
+ P{a|Aa}r
0
= 0p
0
+ 1q
0
+ r
0
= q
0
+ r
0
Portanto, um membro escolhido aleatoriamente da
prxima gerao ser do tipo AA comprobabilidade:
p = P{A}P{A} = (p
0
+ r
0
)
2
,
Ser do tipo aa comprobabilidade:
q = P{a}P{a} = (q
0
+ r
0
)
2
,
E ser do tipo Aa comprobabilidade:
r = 2P{A}P{a} = 2(p
0
+ r
0
) (q
0
+ r
0
)
Se considerarmos o conjunto de genes total de prxima
gerao, a frao dos genes que so do tipo A, (p+ r),
no ser alterada a partir da gerao anterior.
Lei de Hardy - Weinberg
Portanto, as fraes do capital gentico, que
so A e a so as mesmas que na gerao
inicial.
Esta a lei de Hardy-Weinberg que diz que
considerando o acasalamento ao acaso, em
todas as sucessivas geraes aps a inicial, as
porcentagens da populao com pares de
genes AA, aa e Aa permanecero fixas nos
valores de p, q, e r.
Suponha agora que os genes da populao se
estabilizaram nos percentuais p, q, r, e deseja-
se acompanhar a histria gentica de um
indivduo e seus descendentes.
(Para simplificar, suponha que cada indivduo
tem exatamente uma prole.)
Ento, para um determinado indivduo, defina
X
n
como o estado gentico de seu descendente
na n-sima gerao.
Determine a matriz de transio desta cadeia
de Markov e determine as probabilidades
limites:
Respostas:
Resposta
2 2 2 4 2 4 2
2 2
0
2
0
2
r q p r q r p
r
p
r
q
r
q
r
p
P
+ + + +
+ +
+ +
=
1
,
2 4 2 2
,
2 4 2 2
2
2
= + +
|
.
|

\
|
+ =
|
.
|

\
|
+ +
|
.
|

\
|
+ =
|
.
|

\
|
+ =
|
.
|

\
|
+ +
|
.
|

\
|
+ =
r q p
r
q
r q
r
r
q q q
r
p
r p
r
r
p p p
Suponha que o nmero de famlias que chegam em um hotel
em dias sucessivos, so variveis aleatrias independentes
Poisson commdia .
Tambm suponha que o nmero de dias que uma famlia
permanece no hotel uma varivel aleatria geomtrica com
parmetro p, 0 <p <1.
Ou seja, uma famlia que passou a noite anterior no hotel,
independentemente de quanto tempo j passou no hotel, far
o check-out no dia seguinte comprobabilidade q.
Suponha tambm que todas as famlias agem de forma
independente uma das outras.
Considere X
n
o nmero de famlias que chegam no hotel no
incio do n-simo dia.
Pede-se:
A matriz de transio da Cadeia de Markov;
E[X
n
|X
0
=i];
A distribuio estacionria da cadeia de Markov.
Resposta
Pgina 222 a 225 do livro: Introduction to
Probability Models, 10 Ed. Sheldon M. Ross.