Você está na página 1de 14

Processos Estocsticos

Mestrado em Cincias Actuariais


Alexandra Bugalho de Moura

/h

81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(


)$&('UHDOL]D
Agosto 2017 6HPLQiULRVRE
,QFOXVLYDQRSD

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 1 / 14


Outline

Outline

1 Cadeias de Markov a tempo discreto


Definies
Equao de Chapman-Kolmogorov
Cadeias homogneas
Anlise baseada no primeiro passo

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 2 / 14


Cadeias de Markov a tempo discreto Definies

Cadeias de Markov a tempo discreto

Cadeia de Markov
Uma Cadeia de Markov um processo de Markov com espao de estados discreto.

Cadeia de Markov em tempo discreto


Uma cadeia de Markov em tempo discreto {Xn } um processo de Markov com espao de
parmetros discreto e espao de estados tambm discreto:
costume representar-se o espao dos estados por S = {0, 1, 2, . . .}, o que faremos se nada
dissermos em contrrio
Tambm consideramos T = {0, 1, 2, . . .}
Diz-se que Xn est no estado i se Xn = i
P(Xn+1 = j|X0 = i0 , X1 = i1 , . . . , Xn = in ) = P(Xn+1 = j|Xn = in ) = Pijn,n+1

Cadeia de Markov homognea


Uma cadeia de Markov diz-se homognea ou com probabilidades de transio estacionrias
quando as probabilidades de transio num passo so independentes da varivel tempo (i.e. do
valor n):
Pijn,n+1 = Pij

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 3 / 14


Cadeias de Markov a tempo discreto Definies

Cadeias de Markov a tempo discreto

Exemplo: Modelo Bonus-malus


Regras: Entram no nvel 0%. Sem indemnizaes no ano sobe 1 nvel, ou mantm 60%. Com
indemnizaes desce 1 nvel, ou mantm 0%.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 4 / 14


Cadeias de Markov a tempo discreto Equao de Chapman-Kolmogorov

Equao de Chapman-Kolmogorov

Probabilidades de transio (relembrar)


Probabilidade de transioem k passos: probabilidade de transio para estado j em n + k se
estava no estado i em n:
(n,n+k)
Pij = Pr{Xn+k = j|Xn = i}
Probabilidade de transio em 1 passo: probabilidade de transio para estado j em n + 1 se
estava no estado i em n:
Pijn,n+1 = Pr{Xn+1 = j|Xn = i}
Em cadeias homogneas:
(1) (n)
Pijn,n+1 = Pij = Pij e Pijs,s+n = Pij

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 5 / 14


Cadeias de Markov a tempo discreto Equao de Chapman-Kolmogorov

Equao de Chapman-Kolmogorov

Equao de Chapman-Kolmogorov

(m,n) (m,l) (l,n)
X
Pij = Pik Pkj (i, j) .
k=0

Especificao
(n,n+1)
A cadeia fica completamente determinada quando se conhece Pij e a f .d.p de X0 ,
pk = P{X0 = k}, i = 0, 1, 2, , . . .:

P{X0 = i0 , X1 = i1 , . . . , Xn = in } =

= P{Xn = in |X0 = i0 , X1 = i1 , . . . , Xn1 = in1 } P{X0 = i0 , X1 = i1 , . . . , Xn1 = in1 }


= P{Xn = in |Xn1 = in1 }P{X0 = i0 , X1 = i1 , . . . , Xn1 = in1 }
(0,1) (1,2) (n1,n)
= pi0 Pi0 ,i1 Pi1 ,i2 . . . Pi
n1 ,in

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 6 / 14


Cadeias de Markov a tempo discreto Cadeias homogneas

Cadeias homogneas

Cadeias de Markov homogneas


As probabilidades de transio so independentes do tempo:
(n,n+1) (1) (s,s+n) (n)
Pij = Pij = Pij ; Pij = Pij

Matriz das probabilidades de transio num passo


P = [Pij ] :
P00 P01 P02 ...

P10 P11 P12 ...
P P21 P22 ...

P = 20






A linha i + 1 da matriz P representa a distribuio de probabilidade de Xn+1 quando Xn = i.

Pij 0 i, j = 0, 1, 2, . . .

X
Pij = 1 i = 0, 1, 2, . . .
j=0

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 7 / 14


Cadeias de Markov a tempo discreto Cadeias homogneas

Equao de Chapman-Kolmogorov

Matriz de probabilidades de transio em n passos


(n)
P(n) = [Pij ], com
(n)
Pij = Pr{Xn+s = j|Xs = i}

Teorema: Equao Chapman-Kolmogorov



(n) (n1)
X
Pij = Pik Pkj (i, j)
k=0

Ou seja

P(n) = PP(n1) = P PP(n2) = Pn

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 8 / 14


Cadeias de Markov a tempo discreto Cadeias homogneas

Exemplo

Exemplo: Modelo Bonus-malus

0% 30% 60%

0% 1/4 3/4 0
P = 30% 1/4 0 3/4 .
60% 0 1/4 3/4
(3) 9
Por ex: P0,2 = P3

1,3
= 16
.

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 9 / 14


Cadeias de Markov a tempo discreto Cadeias homogneas

Exemplo

Exemplo: T&K, pag.102, Ex. 2.2


Uma partcula move-se pelos estados {0, 1, 2} de acordo com uma cadeia de Markov cuja matriz

0 1/2 1/2
P= 1/2 0 1/2
1/2 1/2 0

1 1 1 1 3 3 3 5 5
2 4 4 4 8 8 8 16 16
2 1 1 1 ;P 3 = 3 1 3 ;P 4 = 5 3 5
P =
4 2 4 8 4 8 16 8 16

1 1 1 3 3 1 5 5 3
4 4 2 8 8 4 16 16 8
5 11 11 171 341 341
16 32 32 512 1024 1024

P5
11 5 11
10 341 171 341

=
32 16 32
;P =
1024 512 1024



11 11 5 341 341 171
32 32 16 1024 1024 512

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 10 / 14


Cadeias de Markov a tempo discreto Anlise baseada no primeiro passo

Anlise baseada no primeiro passo

Anlise baseada no primeiro passo


Um vasto nmero de funcionais em cadeias de Markov pode ser calculado usando uma tcnica
designada anlise baseada no primeiro passo.

Exemplo
0 1 2 3

0 1 0 0 0
1 P10 P11 P12 P13
P= .
2 P20 P21 P22 P23
3 0 0 0 1
Algumas questes que podemos colocar (e que podemos calcular usando a anlise baseada no
primeiro passo)
Qual a probabilidade da cadeia ser absorvida no estado 0, sabendo que se partiu do estado 1?
Qual o nmero mdio de passos (quanto tempo leva, em mdia) at a cadeia ser absorvida,
sabendo que se partiu do estado 1?
Qual o nmero mdio de visitas ao estado 2 antes da cadeia ser absorvida?

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 11 / 14


Cadeias de Markov a tempo discreto Anlise baseada no primeiro passo

Anlise baseada no primeiro passo


Exemplo (cont.)

0 1 2 3

0 1 0 0 0
1 P10 P11 P12 P13
P= .
2 P20 P21 P22 P23
3 0 0 0 1

Estados absorventes: 0, 3
(n)
Estados transientes (limn Pij = 0): 1, 2
Sejam
T = min{n 0; Xn = 0 ou Xn = 3},

ui = Pr{XT = 0|X0 = i} para i = 1, 2,


vi = E[T |X0 = i] i = 1, 2.

A resposta primeira questo : u1


A resposta segunda questo : v1

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 12 / 14


Cadeias de Markov a tempo discreto Anlise baseada no primeiro passo

Anlise baseada no primeiro passo


Exemplo (cont.)
Depois do primeiro passo temos as seguintes possibilidades:

P(XT = 0|X1 = 0) = 1
P(XT = 0|X1 = 1) = u1
P(XT = 0|X1 = 2) = u2
P(XT = 0|X1 = 3) = 0

Usando o teorema das probabilidades totais:


3
X
ui = P(XT = 0|X0 = i) = P(XT = 0|X0 = i, X1 = k)P(X1 = k|X0 = i)
k=1
3
X 3
X
= P(XT = 0|X1 = k)P(X1 = k|X0 = i) = uk Pik
k=1 k=1

Obtendo-se o seguinte sistema de equaes

u1 = P10 + P11 u1 + P12 u2 ,


u2 = P20 + P21 u1 + P22 u2 .

Resolvendo em ordem a u1 e u2 consegue determinar-se u1 .

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 13 / 14


Cadeias de Markov a tempo discreto Anlise baseada no primeiro passo

Anlise baseada no primeiro passo

Exemplo (cont.)
Analogamente, usando o teorema das probabilidades totais para a esperana condicional, aps o
primeiro passo:
3
X
vi = E (T |X0 = i) = 1 + E (T |X0 = i, X1 = k)P(X1 = k|X0 = i)
k=1
3
X 3
X
= 1+ E (T |X1 = k)P(X1 = k|X0 = i) = 1 + vk Pik
k=1 k=1

Obtendo-se o seguinte sistema de equaes

v1 = 1 + P11 v1 + P12 v2 ,
v2 = 1 + P21 v1 + P22 v2 .

Resolvendo em ordem a v1 e v2 consegue determinar-se v1 .

Alexandra Bugalho de Moura Processos Estocstico, UEM Agosto 2017 14 / 14