Processos Estocásticos

MAD 364

Augusto Gadelha

Departamento de Métodos Estatı́sticos - Instituto de Matemática - UFRJ

gadelha@im.ufrj.br
Ref: Processos Estocásticos - Nei Rocha, 2006; Introduction to Stochastic Processes, Hoel, Port, Stone.

31/03/2021

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 1 / 19

Tópicos

Aula 4

Processo Markoviano
Probabilidade de Transição e Matriz Probabilidade de Transição.
Cadeia de Markov - Exemplos
- Passeio Aleatório
- Cadeia de Ehrenfest
- Cadeia de Nascimento e Morte
- Cadeia de Ramificação
Equação de Chapman-Kolmogorov

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 2 / 19

Processo Markoviano

Seja um processo estocástico X = {Xt , t ∈ T } em um espaço de probabilidade

(Ω, F, P) assumindo valores em um espaço de estados S.

Definição (Processo Markoviano)

O processo X é dito ser um processo markoviano (ou um processo de Markov)
se satisfaz a seguinte propriedade:
condicionado a Xt , as distribuições de probabilidade de Xs para s > t são
independentes de Xu para u < t.

Ou seja, conhecido o estado no presente (instante t), as distribuições de

probabilidade dos estados futuros não dependem da trajetória do processo no
passado (i.e., dos valores assumidos por X no passado u < t).

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 3 / 19

Processo Markoviano

Definição (Cadeia de Markov)

Um processo markoviano X = {Xt } com T = {0, 1, 2, 3, ...} e espaço de estados
S finito ou enumerável é dito ser uma cadeia de Markov.
Assim, X é uma cadeia de Markov se

P(Xn+1 = j|X0 = i0 , ..., Xn−1 = in−1 , Xn = i) = P(Xn+1 = j|Xn = i)

para todo n e todos estados i0 , ..., in−1 , in , i, j ∈ S.

Obs.: As v.a.’s Xt assumem valores em um espaço de estados S. Se for finito ou

enumerável, podemos indexar os valores que Xt assume como S = {s1 , s2 , · · · }.
Dizemos então que X assume valores nos estados {1, 2, · · · }. Assim, colocamos,
p.ex., Xn = j se Xn está no estado j com valor sj . Isto simplifica a notação.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 4 / 19

Cadeia de Markov

Definição (probabilidade de transição)

A probabilidade de Xn+1 estar no estado j dado que Xn está no estado i é
denominada probabilidade de transição (de um passo), denotada por pijn,n+1 , isto
é,
pijn,n+1 = P(Xn+1 = j|Xn = i)

Definição (probabilidade de transição estacionária)

Dizemos que a cadeia de Markov X = {Xn , n = 0, 1, · · · } tem probabilidades de
transição estacionárias se não dependem de n, i.e., se pijn,n+1 = pij .

Em todo este curso trataremos somente de cadeias de Markov com

probabildiade de transição estacionárias

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 5 / 19

Cadeia de Markov

Definição (P)
A matriz probabilidade de transição de uma cadeia de Markov {Xn } é:
 
p11 p12 p13 · · ·
 p21 p22 p23 · · · 
 .. .. .. ..
 

P=  . . . . 

 pi1 pi2 pi3 · · · 
.. .. .. ..
 
. . . .

Observe que necessariamente P satisfaz:

pij ≥ 0, ∀i, j ∈ S

∞
X
pij = 1, ∀i ∈ S (soma nas linhas)
j=1

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 6 / 19

Cadeias de Markov

Obs.: Se S = {1, 2, · · · , N} é um conjunto finito de ı́ndices, teremos uma cadeia

de Markov com matriz de probabilidade de transição sendo uma matriz quadrada
de dimensão NxN.

A distribuição de probabilidade de X0 , o estado inicial, é denotada por

P(X0 = i) = π0 (i), para todo i ∈ S

Segue-se que a distribuição de probabilidade de {X0 , X1 , X2 , · · · , Xn } é

dada por:

P(X0 = i0 , X1 = i1 , · · · , Xn−1 = in−1 , Xn = in ) = π0 (i0 ) · pi0 ,i1 · pi1 ,i2 · · · pin−1 ,in

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 7 / 19

Cadeias de Markov
Verificando:

P(X0 = i0 , X1 = i1 , ..., Xn−1 = in−1 , Xn = in )

= P(X0 = i0 ) · P(X1 = i1 |X0 = i0 ) · P(X2 = i2 |X0 = i0 , X1 = i1 ) · · ·
P(Xn = in |X0 = i0 , X1 = i1 , ..., Xn−1 = in−1 )
= P(X0 = i0 ) · P(X1 = i1 |X0 = i0 ) · P(X2 = i2 |X1 = i1 ) · · ·
P(Xn = in |Xn−1 = in−1 )
= π0 (i0 )pi0 ,i1 .pi1 ,i2 ...pin−1 ,in

Temos também:

P(Xn+1 = in+1 , ..., Xn+m = in+m |X0 = i0 , ..., Xn−1 = in−1 , Xn = in )

= P(Xn+1 = in+1 , ..., Xn+m = in+m |Xn = in )
= pin ,in+1 .pin+1 ,in+2 ...pim−1 ,im

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 8 / 19

Cadeias de Markov

Exemplo
Uma cadeia de Markov {Xn } com espaço de estados S = {1, 2, 3} tem
matriz probabilidade de transição
 
0, 1 0, 2 0, 7
P =  0, 9 0, 1 0 
0, 1 0, 8 0, 1
e distribuição inicial dada por (π0 (1), π0 (2), π0 (3)) = (0.3, 0.4, 0.3).
Determine P(X0 = 1, X1 = 2, X2 = 3) e P(X0 = 2, X1 = 1, X2 = 3).

Solução
P(X0 = 1, X1 = 2, X2 = 3) = π0 (1) · p1,2 · p2,3 = 0, 3 × 0, 2 × 0 = 0
P(X0 = 2, X1 = 1, X2 = 3) = π0 (2) · p2,1 · p1,3 = 0, 4 × 0, 9 × 0, 7 = 0, 252

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 9 / 19

Passeio Aleatório (Random Walk)

Sejam Z1 , Z2 , ... variáveis aleatórias independentes e identicamente

distribuidas (i.i.d.) assumindo valores nos inteiros com
PZ (Z = z) = pZ (z). Seja X0 uma variável aleatória também definida nos
inteiros e independente de {Zn }. Defina

Xn = X0 + Z1 + Z2 + ... + Zn .

A seqüência {Xn } é chamada de passeio aleatório. É uma cadeia de

Markov cujo espaço de estados são os inteiros e cuja probabilidade de
transição é dada por
pij = pZ (j − i).

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 10 / 19

Passeio Aleatório (cont.)

P(X0 = x0 , X1 = x1 , · · · , Xn−1 = xn−1 , Xn = xn )

= P(X0 = x0 , Z1 = x1 − x0 , · · · , Zn = xn − xn−1 )
= P(X0 = x0 )P(Z1 = x1 − x0 ) · · · P(Zn = xn − xn−1 )
= π0 (x0 )pZ (x1 − x0 ) · · · pZ (xn − xn−1 )
= π0 (x0 )px0 ,x1 · · · pxn−1 ,xn (onde colocamos pZ (xi − xi−1 ) = pxi−1 ,xi )

Portanto,

P(Xn+1 = xn+1 |X0 = x0 , · · · , Xn = xn )

P(X0 = x0 , · · · , Xn = xn , Xn+1 = xn+1 )
=
P(X0 = x0 , · · · , Xn = xn )
π0 (x0 )px0 ,x1 · · · pxn−1 ,xn · pxn ,xn+1
=
π0 (x0 )px0 ,x1 · · · pxn−1 ,xn
= pxn ,xn+1 = pZ (xn+1 − xn )
= P(Xn+1 = xn+1 |Xn = xn )

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 11 / 19

Passeio Aleatório Simples

Seja um passeio aleatório em que pZ (1) = p, pZ (−1) = q e pZ (0) = r

com p, q, r ≥ 0 e p + q + r = 1.
A probabilidade de transição é dada por


 p, se y = x + 1
q, se y = x − 1

pxy =

 r , se y = x
0, caso contrário


Se uma partı́cula se move segundo esse passeio aleatório simples e se em

um dado momento se encontra no estado x, no momento seguinte seu
estado será x + 1 com probabilidade p, x − 1 com probabilidade q e
permanecerá no estado x com probabilidade r .

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 12 / 19

Cadeia de Ehrenfest

É um modelo simplificado para um processo de transferência de calor entre

dois corpos isolados. Sejam duas urnas e d bolas numeradas. Inicialmente
algumas dessas bolas estão na urna 1 e as restantes na urna 2. Um
número é selecionado aleatóriamente de {1, 2, ..., d} e a bola com esse
numero troca de urna. Essa operação é repetida indefinidamente com as
seleções sendo independentes entre si. Seja Xn o número de bolas na urna
1 após a n-ésima operação.
Então {Xn } é uma cadeia de Markov definida em S = {0, 1, 2, ..., d} com
probabilidade de transição dada por
 x
 d , se y = x − 1


pxy = x
1 − , se y = x + 1

 d
0, outro y


Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 13 / 19

Exemplo de cadeia de Markov com estado absorvente

Considere um jogador que faz uma série de apostas contra uma banca.
Com probabilidade p ele vence a aposta e ganha R$1; do contrário, com
probabilidade q = 1 − p, ele perde R$1. Se perde todo seu capital inicial,
permanece nesse estado para sempre (sai do jogo). Seja {Xn } o capital do
jogador no tempo n. Então {Xn } é uma cadeia de Markov em
S = {0, 1, 2, ...} com probabilidade de transição, para x ≥ 1,

 p, se y = x + 1
px,.y = q, se y = x − 1
0, caso contrário


Para x = 0, temos que p0,0 = 1. O estado 0 é dito ser absorvente

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 14 / 19

Cadeia de Nascimento e Morte

A cadeia de Ehrenfest e a cadeia do jogador com estado aborvente vistos

anteriormente são exemplos de uma cadeia dita de nascimento e morte,
definida por um espaço de estado enumerável S = {1, 2, ...} (ou
S = {1, 2, ..., d} se finito) e probabilidades de transição

 px , se y = x + 1

qx , se y = x − 1

pxy =
r , se y = x
 x


0, caso contrário
onde px , qx e rx são não-negativos com px + qx + rx = 1.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 15 / 19

Cadeia de Ramificação

Considere um organismo que ao fim de sua vida tenha produzido um

número Z de proles com distribuição de probabilidade

P {Z = k} = pk para k = 0, 1, 2, ...

Assuma que a prole de cada organismo em uma população é gerada

independentemente das demais. Seja Xn o tamanho da população na
n-ésima geração. Então {Xn } é uma cadeia de Markov chamada de
Processo de Ramificação, e
Xn
X
Xn+1 = Zi .
i=1

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 16 / 19

Matriz probabilidade de transição de n passos

Teorema
(n)
As probabilidades de transição em n passos, pij , de uma cadeia de
Markov com espaço de estados S = {0, 1, 2, ...} satisfaz
∞
(n) (n−1)
X
pij = pik pkj
k=0

(0) (0)
onde definimos pij = 1 se i = j e pij = 0 se i 6= j. Segue-se que

P(n) = Pn
(n)
ou seja, a matriz P(n) = [pij ] é igual à n-ésima potência de P.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 17 / 19

Matriz probabilidade de transição de n passos

Teorema (Equação de Chapman-Kolmogorov)

P(n) = P(m) P(n−m)
para 1 ≤ m ≤ n − 1.

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 18 / 19

 Fim da Aula 4

Augusto Gadelha (DME/IM/UFRJ) MAD364 Proc Estoc 31/03/2021 19 / 19