ProcEst Maputo2022

Processos Estocásticos
Mestrado em Ciências Actuariais
Alexandra Bugalho de Moura
ŽůĞƟŵ/ŶĨŽƌŵĂƟǀŽĚĂhŶŝǀĞƌƐŝĚĂĚĞĚƵĂƌĚŽ
81,9(56,'$'(
( ' 8$ 5 ' 2
021'/$1(
ĚŝĕĆŽŶǑ͗ϵϱ ď
)$&('UHDOL]DS
Fevereiro 2022
6HPLQiULRVREU
,QFOXVLYDQRSD
Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 1 / 153
Funcionamento
Trabalho em grupos de 4 (20%)

Definição dos grupos até dia 11 de Fevereiro
Enunciado dia 14 de Fevereiro
Entrega dia 1 de Março
Exame escrito (80%)
5 de Março

Outline
Índice
1 Noções gerais
Breve revisão de teoria de probabilidades
Noções gerais
Especificação
Classificação
Exemplos de Processos Estocásticos
2 Cadeias de Markov a tempo discreto

Definições
Equação de Chapman-Kolmogorov
Cadeias homogéneas
Análise baseada no primeiro passo
Classificação dos estados
Teoremas limite
Aplicação a sistemas de bonus-malus no seguro automóvel
Modelação. Estimação e simulação
3 Processos de Poisson
Distribuições Associadas
Processo de Poisson não homogéneo

Outline
Índice
4 Processos de Markov homogéneos em tempo contínuo

Definições
Equações de Chapman-Kolmogorov
Intensidades de transição e matriz geradora
Equações diferenciais
Aplicações
Tempos de espera
Cadeia de Markov dos saltos de um processo de Markov em tempo contínuo
Distribuição estacionária
5 Movimento Browniano. Espaço estados contínuo

Definições básicas

Outline
Aula 1

Noções gerais Breve revisão de teoria de probabilidades
Relembrar
Seja Ω o conjunto espaço dos resultados
σ-Álgebra
Coleção F de subconjuntos de Ω tal que:
1 ∅∈F
2 A ∈ F sse Ac ∈ F
3 n An ∈ F para quaisquer A1 , A2 , . . . ∈ F
S
Os elementos de uma σ-Álgebra designam-se por eventos
Medida de Probabilidade
Função
P : F −→ [0, 1]
tal que
∞
!
[ X
P(∅) = 0 e P An = P(An )
n n=1

Relembrar
Variável Aleatória
Função mensurável
X : Ω −→ R
Ser mensurável significa que a imagem inversa de qualquer conjunto aberto é um evento, ou
equivalentemente:
X −1 (]a, b[) ∈ F , ∀a < b
Função de distribuição de probabilidade

FX : R −→ R tal que
FX (x) = P(X 6 x)

Variável Aleatória Discreta

A variável aleatória toma um conjunto contável (finito ou infinito) de valores
X (Ω) = {x1 , x2 , . . .}
Exemplos:
Variável discreta X (Ω) Params função massa de probabilidade
Bernoulli {0, 1} p P(X = 1) = p, p ∈ [0, 1]
n!
Binomial {0, . . . , n} n, p P(X = k) = p k (1 − p)n−k
(n − k)!k!
λk
Poisson {0, 1, 2, 3, . . .} λ P(X = k) = e −λ , λ>0
k!
r + k − 1
Binomial Negativa {0, 1, 2, 3, . . .} r, p P(X = k) = p k (1 − p)r , λ>0
k
Geométrica {0, 1, 2, 3, . . .} p P(X = k) = p(1 − p)k , λ>0

Variável Aleatória Contínua
A função de distribuição é uma função contínua:
P(X = x) = Fx (x) − FX (x − ) = 0
Se FX (x) for continuamente diferenciável, então

Z x
FX (x) = fX (u)du,
−∞
onde fX = FX0 é a função densidade de probabilidade de X .

Variável Aleatória Contínua: Exemplos
Variável contínua X (Ω) Params função densidade de probabilidade

1
, a6x 6b
Uniforme [a, b] a, b fX (x) = b−a
0, c.c
2
1

−1 x−µ
Normal R µ, σ fX (x) = √ e 2 σ , σ > 0, µ ∈ R
σ 2π
1 1 2
Normal standard R - fX (x) = √ e − 2 x , σ > 0, µ ∈ R
2π
1 −x
Exponencial [0, +∞[ θ fX (x) = e θ, θ > 0, x 60
θ
1 x α−1 − x
Gamma [0, +∞[ θ, α fX (x) = e θ, θ > 0, x 60
Γ(α) θα

Valor Esperado
Se X é integrável em relação a P, então definimos o valor esperado como

Z
E (X ) = XdP
Ω
v.a. discreta
X
E (X ) = xn P(X = xn )
n
v.a. contínua
Z ∞
E (X ) = x fX (x)dx
−∞

Caso multivariado
Função de Probabilidade Conjunta

Dado um conjunto de variáveis aleatórias X1 , X2 , . . . , Xn ,
designa-se por FX1 ,X2 ,...,Xn a sua função de distribuição de probabilidade conjunta:
FX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = P(X1 6 x1 , X2 6 x2 , . . . , Xn 6 xn )
Independência
Duas v.a. X e Y são independentes sse
FX ,Y (x, y ) = FX (x)FY (y ) ∀x, y ∈ R

Probabilidade condicionada
Caso discreto
P(X = x, Y = y )
P(X = x|Y = y ) = se P(Y = y ) > 0
P(Y = y )
Caso contínuo
fX ,Y (x, y )
fX |Y (x) = se fY (y ) > 0
fY (y )
Num problema condicionado o espaço de resultados é “reduzido” ao espaço a que estamos

condicionados. Para obter P ( A| B) (A e B eventos), só nos importamos com a probabilidade de
A ocorrer “dentro” de B. Daí P(A|B) = P(A ∩ B)/P(B).
Independência
Duas v.a. X e Y são independentes sse
P(X = x|Y = y ) = P(X = x) ∀x, y ∈ R caso discreto

fX |Y =y (x) = fX (x) ∀x, y , ∈ R caso contínuo

Valor esperado condicional
Esperança condicional dado um evento

Dados
v.a. X
evento A ∈ F tal que P(A) > 0
a esperança condicional de X dado A é definida por
1
Z
E (X |A) = X dP
P(A) A
Exemplo
Considere 2 moedas de 20 e 50 cêtimos. Lançam-se as moedas ao ar e somam-se os montantes das
moedas que ficaram com a face voltada para cima. Esse montante é o valor da variável aleatória X .
Seja A o evento de uma (e uma só) moeda ficar com a face voltada para cima. Calcule E (X |A).
Note-se que A = {EF , FE } (E simboliza escudo e F face). Então X (EF ) = 50 e X (FE ) = 20.
Note-se ainda que P(A) = 1/2 e P(X = 50) = P(X = 20) = 1/4. Logo
1 1 1

E (X |A) = 50 × + 20 × = 35
1/2 4 4

Esperança condicional: caso discreto
Seja Y uma v.a. tal que Y (Ω) = {y1 , y2 , . . .} e que P(Y = yi ) > 0, yi , i = 1, 2, . . ..
Pretendemos condicionar uma v.a. X dado a v.a. Y .
Como não sabemos a priori qual dos eventos Ai = {Y = yi }, i = 1, 2, . . . pode ocorrer, é
necessário considerar todas as esperanças condicionais
E (X |Y = y1 ), E (X |Y = y2 ), . . .
Definição
A esperança condicional de X dado Y é a função E (X |Y ) : Ω −→ R tal que
E (X |Y )(ω) = E (X |An ) se ω ∈ {Y = yi }
Uma vez que E (X |Y ) é constante nos eventos {Y = yn }, podemos definir de forma análoga a
esperança condicional de X dado Y como
E (X |Y = y1 ), y = y1


E (X |Y = y2 ), y = y2

E (X |Y = y ) : R −→ R tal que E (X |Y = y ) =
 ..
.


Exemplo (continuação)
Considere-se o exemplo anterior e a v.a. Y que retorna o montante da primeira moeda, de 20
cêntimos, caso esta se encontre de face voltada para cima:
{Y = 0} = {EF , EE } e {Y = 20} = {FF , FE }
Logo
25, y =0

E (X |Y = y ) =
45, y = 20

Usando a função massa de probabilidade

A esperança condicional de X dado Y pode ser expressa usando a função massa de probabilidade
condicionada de X dado Y (se P(Y = y ) > 0)
X
E (X |Y = y ) = xn PX |Y (xn |y )
n
onde (relembre-se)
P(X = xn , Y = y )
PX |Y (xn |y ) = P(X = xn |Y = y ) =
P(Y = y )
Logo
X P(X = xn , Y = y )
E [X |Y = yn ] = xn
n
P(Y = y )

Lei da probabilidade total: caso discreto
Lei da probabilidade total

X
P(X = x) = P(X = x|Y = yn ) P(Y = yn )
n
Lei da probabilidade total para a esperança condicional

Sejam X e Y duas v.a. discretas. Então, usando a lei da probabilidade total tem-se
X
E (X ) = E (X |Y = yn ) P(Y = yn )
n

Esperança condicional: caso contínuo
Sejam X e Y v.a. contínuas com função densidade de probabilidade fX (x) e fY (y ),

respetivamente.
A função de densidade de probabilidade condicional de X dado Y é dada por (relembre-se):
fX ,Y (x, y )
fX |Y (x) =
fY (y )
Definição
A esperança condicional de X dado Y é
Z +∞
E (X |Y = y ) = x fX |Y (x) dx
−∞

Lei da probabilidade total: caso contínuo
Lei da probabilidade total

Z +∞
fX (x) = fX |Y (x) fY (y ) dy
−∞
Lei da probabilidade total para a esperança condicional

Sejam X e Y duas v.a. contínuas. Então, usando a lei da probabilidade total tem-se
Z +∞
E (X ) = E (X |Y = yn ) fY (y ) dy
−∞

Noções gerais Noções gerais
Processos Estocásticos
Motivação
Muitas vezes os sistemas que consideramos evoluem no tempo, estando interessados no seu com-
portamento dinâmico. Essa evolução temporal é muitas vezes de natureza aleatória:
o comprimento de uma fila de espera
a temperatura diária
a proporção de estudantes que passa a Estatística ao longo do tempo
o número de sinistros numa carteira de seguro automóvel ao longo do tempo

Definição: Processo Estocástico (PE)

Dado um espaço de probabilidades (Ω, F , P) e um conjunto arbitrário T , um processo estocástico
é uma função real e finita, X (t, ω), definida em T × Ω, que para cada t fixo, t ∈ T , é uma função
mensurável de ω ∈ Ω. Simbolicamente,
{X (t, ω); t ∈ T } .
Ou seja
Um processo estocástico {X (t)}t∈T é uma coleção de vairáveis aleatórias Xt : Ω −→ R
indexadas por um parâmetro t ∈ T ⊂ R
Para t fixo, t ∈ T , X (t, ω) é uma v.a.

Um P.E. é uma família ou um conjunto ordenado de variáveis aleatórias.
Simbologia comum:
{X (t) ; t ∈ T } , {X (t)}t∈T , {Xt ; t ∈ T } , {Xt }t∈T .
{X (t) ; t ≥ 0} , {X (t)}t≥0 , {Xt ; t = 0, 1, · · · } , {Xt }∞

t=0 .

Processo Estocástico
T : Conjunto dos índices, do parâmetro ou do tempo

T Discreto: tipicamente T = {0, 1, 2, . . . } ou T = Z. Neste contexto o processo estocástico
escreve-se X1 , X2 , . . . e diz-se em tempo discreto
T Contínuo: tipicamente T = [0, +∞[ ou T = R. Neste caso o processo estocástico
escreve-se X (t) e diz-se em tempo contínuo
S : Espaço dos estados

Conjunto dos estados do processo estocástico, i.e., conjunto dos valores possíveis de X (t).
S Contável (finito ou infinito). Neste contexto o processo estocástico diz-se discreto
S Contínuo. Neste caso o processo estocástico diz-se contínuo.

Trajetória
Definicão
Uma trajectória ou uma realização de um processo estocástico {X (t) t ∈ T } é uma afectação, a
cada t ∈ T , de um valor possível de X (t).
Série temporal
O conjunto formado pelos sucessivos valores de uma trajectória de um processo estocástico refe-
rentes a um período limitado de tempo chama-se série temporal. Quando a trajectória é observada
durante o período T = {1, 2, ..., n} diz-se que se está perante uma sucessão cronológica ou série
temporal

Exemplos
Processo de Bernoulli
Seja uma sucessão infinita de provas de Bernoulli, o intervalo de tempo entre cada prova é igual à
unidade, a primeira prova realiza-se no instante 0. T = {0, 1, 2, . . .}, o resultado de cada prova
1 se a t + 1 − ésima prova é um sucesso

X (t) =
0 se a t + 1 − ésima proba é um insucesso
Pr{X (t) = 1} = p; Pr{X (t) = 0} = q = 1 − p.

X (t) é uma v.a. de Bernoulli e a sucessão, {X (t); t = 0, 1, 2, . . .} é um processo de Bernoulli.

Exemplos
Processo Binomial
Observação de um fluxo de impulsos de Bernoulli ("1"ou "0") independentes, nos instantes t =
0, 1, 2, . . .. Pretende-se realizar a contagem do número de impulsos verificados até ao instante de
amostragem t.
1 presença de impulso em t

Z (t) =
0 ausência de impulso em t
O resultado da contagem para cada t
t
X
X (t) = Z (s) ∼ Binomial(t + 1; p)
s=0
A sucessão das v.a. {X (t); t = 0, 1, 2, . . .} é um processo binomial.

Exemplos
Exemplo: Passeio Aleatório

Considere uma partícula em movimento que ocupando a posição inicial X0 , e que é observada nos
pontos t = 1, 2, . . .. Em t = 1 salta para o nível X (0) + Z (1). Em t = 2 verifica-se novo salto,
Z (2), v.a. i.i.d de Z (1), e assim sucessivamente. Depois de t saltos a posiçãoé
X (t) = X (0) + Z (1) + . . . + Z (t) = X (t − 1) + Z (t),
Z (t), t = 1, 2, . . . é uma sucessão de v.a. i.i.d.. A partícula realiza um passeio aleatório caracteri-
zado pelo processo {X (t); t = 0, 1, 2, . . .}.
Exemplo: Passeio Aleatório Simples

Caso particular do anterior em que os saltos Z (t) = 1, 0, −1 com probabilidades p, 1 − p − q e q
respectivamente, p + q ≤ 1.

Exemplos
Exemplo: Passeio Aleatório Simétrico

Considere a sucessão {Xn }n>1 de variáveis aleatórias e identicamente distribuídas (iid), com distri-
buição
1
P(Xn = −1) = P(Xn = 1) =
2
Seja
Sn = X1 + · · · + Xn
O processo estocástico S = {Sn : n ∈ N} é um passeio aleatório simétrico. A variável aleatória Sn
pode ser interpretada como o deslocamento até ao instante n:
Sn = Sn−1 + Xn

Noções gerais Especificação
Especificação
De ordem 1: X (t) ∼ FX (t) (x; t)
De ordem n:
Especificação
Para um conjunto arbitrário, mas finito, de valores de t ∈ T , t1 , t2 , . . . , tn , as correspondentes
variáveis aleatórias, X (t1 ), X (t2 ), . . . , X (tn ), possuem função de distribuição conjunta,
F (x1 , x2 , . . . , xn ; t1 , t2 , . . . , tn ) (1)
Esta função especifica completamente o processo estocástico.
Definição: lei temporal ou lei de probabilidade

A lei temporal associada ao processo {X (t); t ∈ T }, é a família constituida pelas funções (1) para
n = 1, 2, . . . e todos os possíveis valores tj , j = 1, 2, . . . , n.
Assim, lei de probabilidade do processo estocástico é dada por todas as distribuições de
probabilidade conjuntas de um número finito de variáveis aleatórias (X (t1 ), . . . , X (tn ))

Noções gerais Especificação
Especificação
PE identicamente distribuídos
Dois processos estocásticos (PE) X = {Xt : t ∈ T } e Y = {Yt : t ∈ T } dizem-se identicamente
distrubuídos sse tiverem a mesma lei temporal, i.e., a mesma famlia de funções de distribuição de
probabilidade conjuntas, ou seja
FX (t1 ),X (t2 ),...,X (tn ) = FY (t1 ),Y (t2 ),...,Y (tn )
para todo o conjunto finito de índices t1 , . . . , tn ∈ T .

Noções gerais Classificação
Classificação
Os processos estocásticos são distinguidos por:

Conjunto de íendices
Espaço de estados
Relações de dependência entre as v.a. X (t)
Definição
Processo estocástico em tempo discreto: T é contável
Processo estocástico em tempo contínuo: T é contínuo
Definição
Processo estocástico discreto: S é contável
Processo estocástico contínuo: S é contínuo
Podemos ter processos de tipo misto, ex:
Exemplo
Processo em tempo contínuo com mudança em instantes discretos: Sistema de pensões com
opção de reforma entre as idades de 60-65 anos

Classificação
Quanto às relações de depend encia entre as v.a. X (t):
Processos estacionários
Estationaridade estrita:
d
(Xt1 , . . . , Xtn ) = Xh+t1 , . . . , Xh+tn
para todo h, e todo o t1 , t2 , . . . , tn ∈ T e todo o inteiro n.

Estacionaridade fraca: E [Xt ] constante ∀t e Cov [Xt ; Xt+k ] depende apenas de k.
Processos com incrementos estacionários

O processo estocástico (PE) {X (t) : t ∈ T } tem incrementos estacionários quando a v.a.
X (t2 + h) − X (t1 + h) tem a mesma distribuição de X (t2 ) − X (t1 ), para todo t1 , t2 e h > 0

Classificação
Processos com incrementos independentes

∀t e u > 0, o incremento (Xt+u − Xt ) é independente de {Xs , 0 ≤ s ≤ t}.
Ou seja: ∀t0 < t1 < · · · < tn < t as v.a
X (t1 ) − X (t0 ), X (t2 ) − X (t1), . . . , X (tn ) − X (tn−1 )
são independentes.
Num processo com incrementos independentes, a lei de probabilidade para X (t) e
X (t) − X (s), para todo t e s, especifica o processo.
Processos com incrementos estacionários e independentes

Neste caso o processo é completamente especificado pela lei de probabilidade de X (t).

Classificação
Processo de Markov
Verifica a Propriedade de Markov:
P[a < Xt 6 b|X (t1 ) = x1 , X (t2 ) = x2 . . . , X (tn ) = xn ] = P[a < Xt 6 b|X (tn ) = xn ]
para ∀t1 < t2 <, . . . , < tn < t, e todo o a, b.
“O futuro, dado o presente, não depende do passado”.
Probabilidade de transição (processos de Markov discretos)

Se S é discreto (probabilidade de transição):
P[Xt = a|Xs1 = xs1 , . . . , Xsn = xsn , Xs = x] = P[Xt = a|Xs = x]

Noções gerais Exemplos de Processos Estocásticos
Processo de contagem
Processo estocástico, em tempo discreto ou contínuo, com espaço de estados S = {0, 1, 2, . . .} e
com a propriedade
X (t) é função não decrescente de t
Processo de Poisson
{Nt ; t ≥ 0}. Processo de Contagem, com X (0) = 0, com incrementos independentes, estacionários,
e propriedade de Markov, tal que
e −λt (λt)k
P(X (t) = k) = , k = 0, 1, 2, 3, . . .
k!
Processo de Poisson Composto

Nt
X
Xt = Yj
j=1
com {Nt ; t ≥ 0} Processo de Poisson e {Yi }∞

i=1 sequência de v.a.’s i.i.d. e independente de {Nt }.
Aplicação em Teoria do Risco.

Noções gerais Exemplos de Processos Estocásticos
Ruído Branco
Processo constituído por uma sequência de v.a.’s independentes: {Xi }∞
i=1 .
Não tem (necessariamente) incrementos independentes.
A propriedade de Markov é trivial (por independência).
Se forem i.i.d. o processo é estacionário.
Passeio aleatório
{Xn ; n = 1, 2, . . . } com
n
X
Xn = Yi
i=1
em que {Yi }∞
i=1 uma sequência de v.a.’s i.i.d.
Se Yi = −1; +1 temos um Passeio Aleatório Simples.
Movimento Browniano
{Xt ; t ≥ 0}, S e T contínuos, com incrementos independentes, estacionários, e propriedade de
Markov.
Aplicações em Finanças e Ciências Atuariais.

Cadeias de Markov a tempo discreto Definições
Cadeias de Markov a tempo discreto
Cadeia de Markov
Uma Cadeia de Markov é um processo de Markov com espaço de estados discreto.
Cadeia de Markov em tempo discreto

Uma cadeia de Markov em tempo discreto {Xn } é um processo de Markov com espaço de parâ-
metros discreto e espaço de estados também discreto:
É costume representar-se o espaço dos estados por S = {0, 1, 2, . . .}, o que faremos se nada
dissermos em contrário
Também consideramos T = {0, 1, 2, . . .}
Diz-se que Xn está no estado i se Xn = i
P(Xn+1 = j|X0 = i0 , X1 = i1 , . . . , Xn−1 , Xn = i) = P(Xn+1 = j|Xn = i) = Pijn,n+1
Cadeia de Markov homogénea

Uma cadeia de Markov diz-se homogénea ou com probabilidades de transição estacionárias
quando as probabilidades de transição num passo são independentes da variável tempo (i.e. do
valor n):
Pijn,n+1 = Pij , ∀n

Cadeias de Markov a tempo discreto Definições
Cadeias de Markov a tempo discreto
Exemplo: Modelo Bonus-malus

Regras: Entram no nível “0%”. Sem indemnizações no ano sobe 1 nível, ou mantém “60%”. Com
indemnizações desce 1 nível, ou mantém “0%”.

Cadeias de Markov a tempo discreto Equação de Chapman-Kolmogorov
Probabilidades de transição (relembrar)

Probabilidade de transição em k passos: probabilidade de transição para estado j no instante
n + k se estava no estado i no instante n:
Pijn,n+k = Pr{Xn+k = j|Xn = i}
Probabilidade de transição em 1 passo: probabilidade de transição para estado j no instante

n + 1 se estava no estado i no instante n:
Pijn,n+1 = Pr{Xn+1 = j|Xn = i}
Em cadeias homogéneas:
(1) (n)
Pijn,n+1 = Pij = Pij e Pijs,s+n = Pij

Cadeias de Markov a tempo discreto Equação de Chapman-Kolmogorov
∞
Pijm,n = Pikm,l Pkj
l,n
X
∀(i, j), m < l < n.
k=0
Especificação
A cadeia fica completamente determinada quando se conhece Pijn,n+1 e a f .p. de X0 ,
pk = P{X0 = k}, i = 0, 1, 2, , . . .
P{X0 = i0 , X1 = i1 , . . . , Xn = in } =
= P{Xn = in |X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 } × P{X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 }

= P{Xn = in |Xn−1 = in−1 }P{X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 }
= pi0 Pi0,1 P 1,2 . . . Pin−1,n
0 ,i1 i1 ,i2 ,in
n−1
em que pi0 = P(X0 = i0 ).

Cadeias de Markov a tempo discreto Cadeias homogéneas
Cadeias homogéneas
Cadeias de Markov homogéneas

As probabilidades de transição são independentes do tempo:
(n,n+1) (1) (s,s+n) (n)
Pij = Pij = Pij ; Pij = Pij
Equação de Chapman-Kolmogorov (cadeias homogéneas)

∞
(n) (l) (n−l)
X
Pij = Pik Pkj ∀(i, j), l < n.
k=0

Matriz das probabilidades de transição
Matriz das probabilidades de transição num passo

P = [Pij ] :
P00 P01 P02 ...
 
 P10 P11 P12 ... 
P20 P21 P22 ...
 
P=
 
· · · ·

 
 · · · · 
· · · ·
A linha i + 1 da matriz P representa a distribuição de probabilidade de Xn+1 quando Xn = i.
Pij ≥ 0 i, j = 0, 1, 2, . . .
∞
X
Pij = 1 i = 0, 1, 2, . . .
j=0

Matriz de probabilidades de transição em n passos

(n)
P(n) = [Pij ], com
(n)
Pij = Pr{Xn+s = j|Xs = i}
Teorema
Da equação de Chapman-Kolmogorov temos
∞
(n) (n−1)
X
Pij = Pik Pkj ∀(i, j)
k=0
Ou seja
P(n) = PP(n−1) = P × PP(n−2) = Pn

Exemplo
Exemplo: Modelo Bonus-malus
0% 30% 60%
0% 1/4 3/4 0
 
P = 30%  1/4 0 3/4 .

60% 0 1/4 3/4
(3) 9
Por ex: P0,2 = P3 .

1,3
= 16

Exemplo
Exemplo: T&K, pag.102, Ex. 2.2

Uma partícula move-se pelos estados {0, 1, 2} de acordo com uma cadeia de Markov cuja matriz
0 1/2 1/2
 
P=  1/2 0 1/2 
1/2 1/2 0
 1 1 1   1 3 3   3 5 5 
2 4 4 4 8 8 8 16 16
2 1 1 1  ;P 3 =  3 1 3  ;P 4 =  5 3 5
P = 
4 2 4 8 4 8 16 8 16

1 1 1 3 3 1 5 5 3
4 4 2 8 8 4 16 16 8
 5 11 11   171 341 341 
16 32 32 512 1024 1024
   
P5
 11 5 11
 10  341 171 341

= 
 32 16 32
;P = 
  1024 512 1024


   
11 11 5 341 341 171
32 32 16 1024 1024 512

Cadeias de Markov a tempo discreto Análise baseada no primeiro passo

Um vasto número de funcionais em cadeias de Markov pode ser calculado usando uma tócnica
designada análise baseada no primeiro passo.
Exemplo
0 1 2 3
0 1 0 0 0
 
1  P10 P11 P12 P13 
P=  .
2  P20 P21 P22 P23 
3 0 0 0 1
Algumas questões que podemos colocar (e que podemos calcular usando a análise baseada no
primeiro passo)
Qual a probabilidade da cadeia ser absorvida no estado 0, sabendo que se partiu do estado 1?
Qual o número médio de passos (quanto tempo leva, em média) até a cadeia ser absorvida,
sabendo que se partiu do estado 1?
Qual o número médio de visitas ao estado 2 antes da cadeia ser absorvida?

Exemplo (cont.)
0 1 2 3
0 1 0 0 0
 
1  P10 P11 P12 P13 
P=  .
2  P20 P21 P22 P23 
3 0 0 0 1
Estados absorventes: 0, 3
(n)
Estados transientes (limn→∞ Pij = 0): 1, 2
Sejam
T = min{n ≥ 0 : Xn = 0 ou Xn = 3},
ui = Pr{XT = 0|X0 = i} para i = 1, 2,

vi = E[T |X0 = i] i = 1, 2.
A resposta à primeira questão é: u1

A resposta à segunda questão é: v1


Exemplo (cont.)
Depois do primeiro passo temos as seguintes possibilidades:
P(XT = 0|X1 = 0) = 1
P(XT = 0|X1 = 1) = u1
P(XT = 0|X1 = 2) = u2
P(XT = 0|X1 = 3) = 0
Usando o teorema das probabilidades totais:

3
X
ui = P(XT = 0|X0 = i) = P(XT = 0|X0 = i, X1 = k)P(X1 = k|X0 = i)
k=0
3
X 3
X
= P(XT = 0|X1 = k)P(X1 = k|X0 = i) = uk Pik
k=0 k=0
Obtendo-se o seguinte sistema de equações
u1 = P10 + P11 u1 + P12 u2 ,

u2 = P20 + P21 u1 + P22 u2 .
Resolvendo em ordem a u1 e u2 consegue determinar-se u1 .

Exemplo (cont.)
Analogamente, usando o teorema das probabilidades totais para a esperança condicional, após o
primeiro passo:
3
X
vi = E (T |X0 = i) = 1 + E (T |X0 = i, X1 = k)P(X1 = k|X0 = i)
k=0
3
X 3
X
= 1+ E (T |X1 = k)P(X1 = k|X0 = i) = 1 + vk Pik
k=0 k=0
Obtendo-se o seguinte sistema de equações
v1 = 1 + P11 v1 + P12 v2 ,
v2 = 1 + P21 v1 + P22 v2 .
Resolvendo em ordem a v1 e v2 consegue determinar-se v1 .

Cadeias de Markov a tempo discreto Classificação dos estados

Estados comunicantes
Cadeias irredutíveis
Estados periódicos e aperiódicos
Período do estado
Cadeias periódicas
Recorrência
Estados recorrentes ou persistentes: recorrente positivo ou nulo
Estados não recorrentes, transitórios, transientes

Estado acessível
(n)
O estado j é accessível a partir de i se Pij > 0, para algum n ≥ 0: i → j.
Estados comunicantes
Os estados i e j são comunicantes se i ←→ j.
(n) (n)
Se não, ou Pij = 0, ∀n, ou Pji = 0, ∀n.
Teorema
O conceito de estados comunicantes (i ←→ j) define uma relação de equivalência (reflexiva,
transitiva e simétrica).
Classes de equivalência ou de comunicação

O conceito de estados comunicantes permite definir classes de comunicação (classes de equivalên-
cia).
Classes fechada
Classe de comunicação, C , tal que não é possível sair da classe:
Pij = 0, ∀i ∈ C , i ∈
/C

Exemplo
1 2 3 4 5
1 1/2 1/2 0 0 0
 
2  1/4 3/4 0 0 0 
P= 3  0 0 0 1 0 .
 
4  0 0 1/2 0 1/2 
5 0 0 0 1 0
As classes C1 = {1, 2} e C2 = {3, 4, 5} são duas classes fechadas.

Exemplo
1 2 3 4 5 6
1 1/2 1/2 0 0 0 0
 
2  1/4 3/4 0 0 0 0 
3  1/4 1/4 1/4 1/4 0 0 
 
P= .
4  1/4 0 1/4 1/4 0 0 

5  0 0 0 0 1/2 1/2 
6 0 0 0 0 1/2 1/2
As classes C1 = {1, 2} e C2 = {5, 6} são duas classes fechadas, a classe C3 = {3, 4} é uma classe
aberta.

Exemplo
Seja S = {0, 1, 2, 3, . . . , a − 2, a − 1, a} tal que
0 1 2 3 ··· a−2 a−1 a

0 1 0 0 0 ··· 0 0 0
 
1 q 0 p 0 ··· 0 0 0
2 0 0 ··· 0 0 0
 
q p
.
 
P = .. .
 

 
 
 
a−1 0 0 0 0 ··· q 0 p
a 0 0 0 0 ··· 0 0 1
As classes C1 = {0} e C2 = {a} são duas classes fechadas (os estados 0 e a são estados absorven-
tes), a classe C3 = {1, 2, . . . , a − 1, a − 2} é uma classe aberta.

Cadeia irredutível
Um cadeia de Markov é irredutível se S é a única classe fechada não vazia que existe.
Teorema (cadeia irredutível)

Um cadeia de Markov é irredutível sse todos os estados são comunicantes.

Período do estado i
(n)
d(i) = mdc{n ≥ 1 : Pii > 0}
(n)
Se Pii = 0, ∀n > 1, então d(i) = 0.
Estado aperiódico
Se d(i) = (0), 1, estado i é aperiódico
Se d(i) ≥ 2, periódico.
Cadeia aperiódica
Uma cadeia é aperiódica se todos os estados são aperiódicos.
Teorema
Dois estados comunicantes têm o mesmo período:
i ←→ j =⇒ d(i) = d(j)

(n)
fii : Probabilidade do primeiro retorno ao estado i se dar em n passos
(n)
fii = P(Xn = i e Xk 6= i, k = 1, 2, . . . , n − 1|X0 = i)
Esta probabilidade pode ser calculada de forma recursiva
n
(n) (k) (n−k)
X
Pii = fii Pii , ∀n > 1
k=0
(0)
Assumimos fii =0
(n)
fij : Probabilidade da primeira visita ao estado j, vindo de i, se dar em n passos
(0)
Assumimos fii =0
(n)
fij = P(Xn = j e Xk 6= i, k = 1, 2, . . . , n − 1|X0 = i)
Também pode ser calculada de forma recursiva:
n
(n) (k) (n−k)
X
Pij = fij Pjj , ∀n > 1
k=0

fii
∞
(n)
X
fii = fii
n=1
Estado recorrente
Se fii = 1, estado i é recorrente ou persistente.
Se fii < 1, estado i é não recorrente, transitório ou transiente.
Proposição
O estado i é recorrente sse
∞
(n)
X
Pii =∞
n=1
Teorema
Se i comunica com j e i é recorrente, então j também é recorrente:
i ←→ j e i é recorrente =⇒ j é recorrente

(n)
Se i é transiente, então fii não é uma distribuição
(n)
Se i é recoreente, então fii é uma distribuição
mi : Número esperado de transições até voltar ao estado i

(n)
 P
+∞
 n=1 n fii , se i recorrente
mi =
se i transiente

+∞,
Estado recorrente positivo e recorrente nulo

Seja i um estado recorrente. Então, se
então i é recorrente positivo


X (n)  < +∞,
+∞
mi = n fii
+∞, então i é recorrente nulo

n=1

Estado ergódico
Estado recorrente positivo e aperiódico.
Estado absorvente
Pii = 1

Teorema
Seja S o conjunto dos estados de uma cadeia de Markov.
Se S é finito então
Pelo menos um estado é recorrente
Todos os estados recorrentes são recorrentes positivos
Teorema
As classes recorrentes são classes fechadas.
Em cadeias finitas, todas as classes fechadas irredutíveis são classes recorrentes

Cadeias de Markov a tempo discreto Teoremas limite
Teoremas limite: distribuição estacionária
Cadeias regulares
Uma cadeia de Markov diz-se regular se P é regular, ou seja:
número finito de estados;
(n)
existe k tal que Pij > 0 ∀(i, j), para n > k
Ou seja,
Uma cadeia é regular se nalgum ponto do tempo todos os elementos da matriz de
probabilidade de transição são positivos.
Teorema
Se P é finita, irredutível e aperiódica, então P é regular.

Exemplo
0 1/2 1/2
 
P =  1/2 0 1/2 
1/2 1/2 0
 1 1 1   1 3 3   3 5 5 
2 4 4 4 8 8 8 16 16
2 1 1 1  ;P 3 =  3 1 3  ;P 4 =  5 3 5
P = 
4 2 4 8 4 8 16 8 16

1 1 1 3 3 1 5 5 3
4 4 2 8 8 4 16 16 8
 5 11 11   171 341 341 
16 32 32 512 1024 1024
   
P5
 11 5 11
 10  341 171 341

= 
 32 16 32
;P = 
  1024 512 1024


   
11 11 5 341 341 171
32 32 16 1024 1024 512

Exemplo (cont.)
P 100 =
 211 275 100 038 038 233 582 783 867 563 422 550 200 076 076 467 165 567 735 125 422 550 200 076 076 467 165 567 735 1
 633 825 300 114 114 700 748 351 602 688 1267 650 600 228 229 401 496 703 205 376 1267 650 600 228 229 401 496 703 205
422 550 200 076 076 467 165 567 735 125 211 275 100 038 038 233 582 783 867 563 422 550 200 076 076 467 165 567 735 1



 1267 650 600 228 229 401 496 703 205 376 633 825 300 114 114 700 748 351 602 688 1267 650 600 228 229 401 496 703 205

422 550 200 076 076 467 165 567 735 125 422 550 200 076 076 467 165 567 735 125 211 275 100 038 038 233 582 783 867 5
1267 650 600 228 229 401 496 703 205 376 1267 650 600 228 229 401 496 703 205 376 633 825 300 114 114 700 748 351 602 6
0.33333 0.33333 0.33333

 
≈  0.33333 0.33333 0.33333 

0.33333 0.33333 0.33333

Exemplo
Seja uma cadeia de Markov, com a seguinte matriz de transição:
0 1 2 3 4 5 6
0 0.9 0.1 0 0 0 0 0
 
1  0.9 0 0.1 0 0 0 0 
2  0.9 0 0 0.1 0 0 0 
 
P= 3  0.9 0 0 0 0.1 0 0 
 
4  0.9 0 0 0 0 0.1 0 
 
5  0.9 0 0 0 0 0 0.1 
6 0.9 0 0 0 0 0 0.1

Exemplo (cont.)
Longo prazo:
9.0 × 10−6 1.0 × 10−6
 
.9 .0 9 .00 9 .000 9 .0000 9
 .9 .0 9 .00 9 .000 9 .0000 9 9.0 × 10−6 1.0 × 10−6 
9.0 × 10−6 1.0 × 10−6
 
 .9 .0 9 .00 9 .000 9 .0000 9 
8
9.0 × 10−6 1.0 × 10−6
 
P =
 .9 .0 9 .00 9 .000 9 .0000 9 


 .9 .0 9 .00 9 .000 9 .0000 9 9.0 × 10−6 1.0 × 10−6 

 .9 .0 9 .00 9 .000 9 .0000 9 9.0 × 10−6 1.0 × 10−6 
.9 .0 9 .00 9 .000 9 .0000 9 9.0 × 10−6 1.0 × 10−6

Teoremas limite
Distribuição limite
N
(n)
X
π = (π0 , π1 , ..., πN ) tal que πj = lim Pij >0 e πj = 1, πj > 0
n→∞
j=1
N
X
π = (π0 , π1 , ..., πN ) tal que π = πP e πj = 1, πj > 0
j=1
π é o vetor próprio esquerdo correspondenteao valor próprio 1, normalizado por forma a ser
PN
uma função de probabilidade k=0 πk = 1

Teorema: cadeias regulares

Dada uma cadeia regular, a distribuição limite (π0 , π1 , ..., πN ) é a única solução não negativa de:
N
X
πj = πk Pkj ∀j = 0, 1, · · · , N ⇔ π = πP
k=0
com
N
X
πk = 1 e πk > 0, ∀k ∈ S
k=0

Teoremas limite
Exemplo
Considere novamente a matriz
0 1/2 1/2
 
P =  1/2 0 1/2 
1/2 1/2 0
P é regular e computacionalmente verifica-se
0.33333 0.33333 0.33333

 
P 100 ≈  0.33333 0.33333 0.33333 

0.33333 0.33333 0.33333
Mostre que de facto a distribuição limite é
π = π1 π2 π3 = 1/3 1/3 1/3

resolvendo a equação
 1/2π2 + 1/2π3

= π1
πP = π ⇐⇒ 1/2π1 + 1/2π3 = π2
1/2π1 + 1/2π2 = π3


Observações
πP2 = (πP) P = π; · · · ; πPn = π;
Pode não existir o lim.

Pode existir o lim. mas não ser função de prob.
Se existe distr. limite, existe distr. estacionária e coincidem
Pode existir distr. estacionária e não existir distr.limite.

Exemplo
0 1 1 0 0 1

P= → P2 = → P3 = ···
1 0 0 1 1 0
P não tem distribuição limite:
1 i = 1, 2

(n) n par
Pii = ⇒ @ dist.lim.
0 i = 1, 2 n impar
Mas P tem distribuição estacionária:
Pr {Xn = 1} = Pr {Xn = 1|X0 = 1}Pr {X0 = 1} + Pr {Xn = 1|X0 = 2}Pr {X0 = 2}

(n) 1 (n) 1
= P11 × + P21 × = 1/2
2 2
⇒ Pr {Xn = 2} = 1/2
0 1

1/2 1/2 = 1/2 1/2

| {z } 1 0 | {z }
π π
| {z }
P

Teorema: distribuição limite

Se P é regular, então a distribuição limite é independente do estado inicial e é dada por

P π = πP
k πk = 1
Neste caso
lim Pijn = πj
n→∞
Ou seja
π1 π2 · · · πN
 
 π1 π2 · · · πN 
P n −→n→+∞
.. .. ..
 
. . .
| {z }
todas as linhas são iguais a π

“Teorema-limite fundamental” das cadeias de Markov
Relembrar
Considerem-se, para um estado recorrente i:
a probabilidade do 1o retorno a i em n passos
(n)
fii = Pr {Ri = n|X0 = i}
o tempo (n) da 1a chegada a i
Ri = min{n ≥ 1; Xn = i}
Relembre-se o tempo médio para retornar ao estado i pela primeira vez:

∞
(n)
X
mi = E [Ri |X0 = i] = nfii
n=1

“Teorema-limite fundamental” das cadeias de Markov
Teorema
Sejam,
uma cadeia de Markov recorrente, irredutível e aperiódica,
(n) (n) (0) (0)
Pii , fii (Pii = 1, e fii = 0)
Então,
(n) (n) 1
πi = lim Pii = lim Pji = , ∀i, j ∈ S .
n→∞ n→∞ mi
Observações
πk representa a probabilidade do processo estar no estado k, depois de estar a operar há
muito tempo
πk representa a fração de tempo, no longo prazo, que o processo passa no estado k
Em cadeias recorrentes, irredutíveis e aperiódicas
se mi < ∞, π > 0 e o estado i é recorrente positivo.
se mi = ∞, π = 0 e o estado i é recorrente é recorrente nulo.

Observações
A velocidade de convergência depende da matriz P
Teoricamente os resultados são validos para um número infinito de passos, mas a distribuição
limite pode ser atingida num número finito de passos

Cadeias de Markov a tempo discreto Aplicação a sistemas de bonus-malus no seguro automóvel
Exemplo Bonus-malus
4 níveis de desconto
0: 0% desconto;
1: 25% desconto;
2: 40% desconto;
3: 60% desconto.
Regras: Se tiver uma ou mais indemnizações no anterior, desce um nível. Se não tiver indemniza-
ções durante dois anos, sobe um nível.
O processo não é Markov (depende de dois anos para trás, e não apenas do último ano). O processo
é semi-Markov (não é Markov, mas pode ser transformado num processo Markov). Os estados 0, 1
e 2 têm que ser divididos.

Exemplo: Modelo 3, Bonus-malus, Centeno [2003]

Seguro automóvel obrigatório, contra terceiros.
Inicia-se com o prémio base (0% de agravamento/desconto)
Os níveis são os seguintes
30% desconto, sem sinistros em 2 anos seguidos.
15% agravamento
30% agravamento
45% agravamento
100% agravamento
Com uma indemnização agrava um nível, com duas indemnizações agrava dois níveis, com três
indemnizações agrava três níveis e com quatro indemnizações ou mais agrava quatro níveis. Em
todos os casos, agrava os níveis correspondentes ou fica no nível mais gravoso.
Mais uma vez, diretamente o sistema não é Markoviano, há que dividir classes...


C1 Apólices com 30% bonus
C2 Apólices sem bonus nem malus no 2o ano consecutivo
C3 Apólices sem bonus nem malus no 1o ano
C4 Apólices com 15% mais e sem sinistros no ano
C5 Apólices com 15% mais e sinistro no ano
C6 Apólices com 30% mais e sem sinistro no ano
C7 Apólices com 30% mais e sinistros no ano
C9 Apólices com 45% mais e sinistros no ano
C11 Apólices com 100% mais e sinistros no ano.
Agora é de Markov.


Vector de prémios (índices, %)
b = (70, 100, 100, 115, 115, 130, 130, 145, 145, 200, 200)
Matriz das regras de transição T :
1 2 3 4 5 6 7 8 9 10 11
1 {0} {1} {2} {3} {4, ...}
2 {0} {1} {2} {3} {4, ...}
3 {0} {1} {2} {3} {4, ...}
4 {0} {1} {2} {3, ...}
5 {0} {1} {2} {3, ...}
6 {0} {1} {2, ...}
7 {0} {1} {2, ...}
8 {0} {1, ...}
9 {0} {1, ...}
10 {0} {1, ...}
11 {0} {1, ...}

Cadeias não irredutíveis

A cadeia não é irredutível. Classe de Estados {C2 , C3 } transitórios. Classe
{C1 , C4 , C5 , C6 , C7 , C8, C9 , C10 , C11 } é classe de estados recorrente positivos e aperiódicos. Re-
ordernar estados
P1,(∆,λ) P3,(∆,λ)

P∆,λ =
0 P2,∆,λ
P1,∆,λ : Matriz de transição dentro de {C2 , C3 }
P3,∆,λ : Matriz de transição entre {C2 , C3 } e {C1 , C4 , C5 , C6 , C7 , C8, C9 , C10 , C11 }
P2,∆,λ : Matriz de transição entre {C1 , C4 , C5 , C6 , C7 , C8, C9 , C10 , C11 }.
0 P1,(∆,λ) P3,(∆,λ) + P3,(∆,λ) P2,(∆,λ)

P2∆,λ = ;
0 P2,(∆,λ)
2

2
0 0 0 0

P21,∆,λ = =
0 0 a 0
" #
0 P1,(∆,λ) P3,(∆,λ) + P3,(∆,λ) P2,(∆,λ) Pn−2

Pn∆,λ = 2,(∆,λ)
0 Pn2,(∆,λ)


No nosso exemplo


Retomar " #
0 P1,(∆,λ) P3,(∆,λ) + P3,(∆,λ) P2,(∆,λ) Pn−2

Pn∆,λ = 2,(∆,λ)
0 Pn2,(∆,λ)
Calculando o limite
" #
0 P1,(∆,λ) P3,(∆,λ) + P3,(∆,λ) P2,(∆,λ) lim Pn−2

lim Pn∆,λ = 2,(∆,λ)
n→∞ 0 limn→∞ Pn2,(∆,λ)
P∞
2,(∆,λ) = lim Pn−2 and P∞ ∞
2,(∆,λ) = P2,(∆,λ) P2,(∆,λ)
n→∞ 2,(∆,λ)
or 0 = P∞2 (I − P2 )
Pn∆,λ tende para uma matriz com todas as linhas iguais, da forma
h i
Pn∆,λ → 0 | P∞
2,(∆,λ)


Com λ = 0.1, temos P∞
2,(∆,λ)
=
0.81873 0.067032 0.074082 0.014905 0.016473 0.0032584

0.0036011 91126 × 10−4 10071 × 10−3

Exercício
Considere um sistema de Bonus-Malus com os níveis de desconto de 0%, 25%, 40% e 50% do
prémio inicial total e as seguintes regras:
Todos os segurados começam no nível 0%
Se não houver indemnizações durante o ano corrente, então o segurado sobe um nível, ou
permanece no nível de desconto máximo
Se houver uma indemnização o segurado desce um nível ou permanece no nível de desconto
mínimo
Se houverem duas ou mais indemenizações no ano, o segurado desce dois níveis ou
permanece no nível de desconto mínimo
Assuma que a probabilidade de não ter indemnizações é 0.9 e a probabilidade de ter uma indem-
nização é 0.05.

Exercício
1 Descreva o modelo como uma cadeia de Markov
2 Determine a probabilidade de um segurado ter o desconto máximo no ano n + 3, sabendo
que tem o desconto máximo no ano n
3 Determine o prémio esperado no terceiro ano de um segurado cujo o prémio a priori é 500
4 Determine, no longo prazo, a percentagem de apólices em cada nível de desconto.
5 Qual é a duração média entre visitas ao nível de desconto 0?
6 Determine, para um segurado escolhido ao acaso, o prémio médio no longo prazo, com
prémio a priori de 500
7 Usando a análise baseada no primeiro passo, escreva o sistema de equações que permite
calcular o número médio de anos que um segurado que entrou agora na companhia leva a
chegar, pela primeira vez, ao nível de desconto máximo.

Cadeias de Markov a tempo discreto Modelação. Estimação e simulação
Modelação. Estimação e simulação
Estimação
Depois de determinado o espaço de estados, o modelo de Markov precisa de estimar as probabilidade
de transição. Sejam (x1 , x2 , ..., xn ) as observações, definir
ni : No de vezes tal que xt = i, 1 ≤ t ≤ n − 1;
nij : No de vezes tal que xt = i e xt+1 = j, 1 ≤ t ≤ n − 1.
nij
Então, P̂ij = ni
. Nij |Ni _ Binomial(Ni ; Pij ).
Simulação
A Simulação de cadeias de Markov homogéneas é bastante simples, já que do histórico apenas
precisamos da última realização. Ou seja, conhecemos a distribuição condicionada de Xt+1 dado
Xt (f.p. condicionada), apenas geramos números aleatórios com essa distribuição.

Processos de Poisson
Processos de contagem
Um processo estocástico é um processo de contagem {N(t); t ≥ 0} se N(t) é o número de
acontecimentos em (0, t].
Ou seja, um processo de contagem é um processo estocástico {Nt }t>0 tal que:

pode ser em tempo discreto ou contínuo
tem espaço de estados S = {0, 1, 2, 3, . . .}
Nt é função não decrescente de t

Processos de contagem de Markov
Processos de contagem de Markov

Processo de contagem Nt satisfazendo a propriedade de Markov:
P(Nt = k|Nt1 = x1 , . . . , Ntn = xn ) = P(Nt = k|Ntn = xn ), t1 < t2 < · · · < tn < t
A maior prate dos processos de contagem de interesse são de Markov.
Probabilidade de transição
Num processo de contagem de Markov:
pk,k+n (s, t) = P(Nt − Ns = n|Ns = k)
Probabilidade do número de eventos entre s e t ser n, sabendo que o número de eventos até
s é k, com s < t.
Trata-se de uma probabilidade de transição (probabilidade condicional)

Distribuição marginal de Nt
Assumindo N0 = 0
pn (t) = P(Nt = n) = p0,n (0, t)
Distribuição marginal do incremento Nt − Ns

Pelo teorema das probabilidades totais (N0 = 0)
+∞
X
P(Nt − Ns = n) = P(Nt − Ns = n|Ns = k)P(Ns = k)
k=0
+∞
X
= pk,k+n (s, t)pk (s)
k=0

Processos de contagem homogéneos e estacionários
Processos de contagem homogéneos

Se a probabilidade condicional
pk,k+n (s, t) = P(Nt − Ns = n|Ns = k)
depender apenas do tamanho do intervalo (t − s), s < t, então o processo diz-se homogéneo
Processo de contagem com incrementos estacionários

Se a probabilidade incondicional
P(Nt − Ns = n)
depende apenas do tamanho do intervalo (t − s), s < t, então o processo tem incrementos
estacionário.

Processo de nascimento não homogéneo

Um processo de nascimento não homogéneo é um processo de contagem de Markov tal que, para
todo h −→ 0+
pk,k+1 (t, t + h) = λk (t)h + o(h), k = 0, 1, . . .
pk,k+n (t, t + h) = o(h), k = 0, 1, . . . , n = 2, 3, . . .
Processo de nascimento homogéneo

Caso particular do anterior quando λk é independente de t.
Um caso muito especial de um processo de nascimento homogéneo é o processo de Poisson
(homogéneo), que se obtém quando λk é constante, λ
Casos particulares
λk (t) = λk : processo de nascimento homogéneo
λk (t) = λ: processo de Poisson homogéneo
λk (t) = λ(t): processo de Poisson não homogéneo

Processo de Poisson homogéneo, ou Processo de Poisson, de intensidade λ

Processo de contagem {Nt }t>0 , com N(0) = 0, tal que
(i) {Nt }t>0 tem incrementos independentes
(ii) {Nt }t>0 tem incrementos estacionários
(iii) ∀h −→ 0+ , P(N(h) = 1) = λh + o(h)
(iv) ∀h −→ 0+ , P(N(h) > 2) = o(h)
Postulados
Os postulados anteriores podem ser escritos da seguinte forma:
(i) Seja t0 = 0 < t1 < · · · < tm . As v.a.’s N ((0, t1 ]) , N ((t1 , t2 ]) , . . . , N ((tm−1 , tm ]), são
independentes
d
(ii) ∀t ≥ 0, h > 0, N ((t, t + h]) = N ((0, h]) ≡ N(h)
(iii) ∃ const. λ > 0:

o(h)
Pr [N ((t, t + h]) = 1] = λh + o(h), qdo h → 0+ limh→0+ =0
h
(iv) Pr [N ((t, t + h]) ≥ 2] = o(h), qdo h → 0+

Processo de Poisson: alguns comentários

(i): Incrementos independentes;
d
(ii): Incrementos estacionarios: N ((s, t]) = N(t − s) (número de eventos no intervalo (s, t]).
(iii): Lei dos Acontecimentos Raros
(iv): Ausência de eventos simultâneos
É suficiente o conhecimento da distribuição N(t).


Se retirarmos o postulado (ii) e substituirmos (iii) de tal forma que a intensidade do processo
depende de t, obtém-se o processo de Poisson não homogéneo
Processo de Poisson generalizado

Se retirarmos o postulado (iv), otém-se o processo de Poisson generalizado
Discussão dos postulados

(i) : Excluem-se reações em cadeia, de contágio (por exemplo incêndios ou
epidemias)
(ii)/(iii) : Existem situações em que não são verificadas (p.e. sazonalidade). Nalguns
casos o tempo pode ser divido em subintervalos, considerando-se subprocessos
com diferentes intensidades.
(iv) : Esta limitação pode ser superada. Por exemplo, um acidente envolvendo dois
automóveis, segurados na mesma companhia, pode ser considerado como
apenas um sinistro.

Teorema
Se {Nt }t>0 é um processo de Poisson, então a variável Nt tem distribuição de Poisson com média
λ t, ∀t > 0:
e −λt (λt)n
Nt ∼ Poisson(λt) ⇐⇒ P(Nt = n) =
n!
Observações
Note-se que, então,
[λ(t − s)]n e −λ(t−s)

pk,k+n (s, t) = , n = 0, 1, . . . ou seja Nt − Ns ∼ Poisson(λ(t − s))
n!
o parametro λ designa-se de taxa média ou intensidade do processo e representa o número
médio de ocorrências por unidade de tempo

Características do processo de Poisson
E (Nt ) = λt
Var (Nt ) = λt
Cov (N(s), N(t)) = λ min(s, t)
(outra) caracterização do processo de Poisson

Tendo em conta o anteriormente exposto, um processo de contagem {Nt ; t ≥ 0} com Nt = 0 é
um Processo de Poisson de intensidade λ se verificar as seguintes condições:
(a) {Nt ; t ≥ 0} tem incrementos estacionários e independentes,
(b) Para qualquer t > 0, Nt tem distribuição de Poisson de média λt.
Várias maneiras de identificar um Processo Poisson:

Processo de Nascimento c/ taxa de nascimento constante
Proc. de Renovamento c/ tempo inter-chegadas Exponencial
Processo com espaço de chegadas nos inteiros não-negativos, incrementos estacionários e
saltos unitários

Processos de Poisson Distribuições Associadas
Relação com a distribuição Exponencial
Instante da k-ésima ocorrência

Wk : instante da k-ésima ocorrência
Tempo de espera
Tk = Wk+1 − Wk
Representa
o tempo entre os eventos k e k + 1
o tempo de permanência (tempo de espera) do processo no estado k

Teorema
O tempo entre chegadas sucessivas T0 , T1 , . . . , Tk , . . . são variáveis i.i.d (independentes e identi-
camente distribuídas), com distribuição exponencial de média 1/λ:
1

Tk ∼i.i.d. Exp
λ
Ou seja
fTk (x) = λe −λx

FTk (x) = 1 − e −λx
1
E (Tk ) =
λ
Propriedade da falta de memória da distribuição Exponencial (relembrar)
P(T > t + s|T > s) = P(T > t)

Teorema
Tem-se
k−1
X
Wk = Ti
i=0
1

Logo Wk tem distribuição Gamma (soma de exponenciais i.i.d.): Wk ∼ Gamma k, :
λ
+∞ n−1
X (λt)i e −λt X (λt)i e −λt
P(Wk 6 t) = P(Nt > k) = =1−
i=k
i! i=0
i!
Processo de Poisson
Exercício
Seja Nt o número de indemnizações de um cliente até ao instante t. Considere o ano como unidade
de medida e λ = 0.1.
Qual a probabilidade do cliente não ter nenhuma indemnização no primeiro semestre?
Qual a probabilidade do cliente ter uma indemnização em dois anos?
Qual a probabilidade do tempo entre a segunda e a terceira indemnização ser superior a um
ano?
Relação com a distribuição Binomial
Teorema
Sejam s < t e k 6 n. Então
n! s k t − s n−k
P(N(s) = k|N(t) = n) =
k!(n − k)! t t
Ou seja s
N(s)|N(t) = n ∼ Binomial n, p =
t
Teorema
Analogamente, dados dois Processos de Poisson independentes {N1 (t)}t>0 , com intensidade λ1 ,
e {N2 (t)}t>0 , com intensidade λ2 , tem-se
k n−k
n! λ1 λ2
P(N1 (t) = k|N1 (t) + N2 (t) = n) =
k!(n − k)! λ1 + λ2 λ1 + λ2
Ou seja
λ1
N1 (t)|N1 (t) + N2 (t) = n ∼ Binomial n, p =
λ1 + λ2
Relação com a distribuição Uniforme
Teorema
Seja {N(t)}t>0 um processo de Poisson. Então
s
P(W1 6 s|N(t) = 1) =
t
Ou seja, sabendo que até t ocorreu um evento (esse evento ocorreu em W1 = s ∈ (0, t]), então
W1 |N(t) = 1 ∼ Uniforme(0, t)
Se soubermos que houve uma ocorrência no intervalo (0, t], o instante s em que ocorreu é uni-
formemente distribuído no intervalo (0, t], i.e., qualquer instante no intervalo (0, t] é igualmente
provável para a ocorrência do evento.
Exercícios
Exercício
Seja {Nt }t>t um processo de Poisson homogéneo com intensidade λ. Seja Wn o instante do
n-ésimo evento. Determine
E (W3 )
E (W3 |N(1) = 2)
E [N(5) − N(2)|N(1) = 3]
Se λ = 1, determine P(W3 > 2)
Exercício
As indemnizações numa carteira de apólices ocorrem de acordo com um processo de Poisson de
média 10 indemnizações por dia.
Mostre que o tempo até à primeira indemnização tem distribuição exponencial e indique a
sua média.
Calcule a probabilidade de que ocorram pelo menos 20 indemnizações nos primeiros 2 dias
sabendo que ocorreram exatamente 8 indemnizações no primeiro dia
Calcule a probabilidade de que ocorram exatamente 10 indemnizações no primeiro dia,
sabendo que ocorreram 20 indemnizações nos três primeiros dias
Processos de Poisson Processo de Poisson não homogéneo
Processos derivados do processo de Poisson
Processos derivados do processo de Poisson

Processso de Poisson não homogéneo
Processo de Poisson generalizado
Combinação de processos de Poisson independentes
Processo de Poisson misto
Processo de Poisson composto

Um processo de Poisson não homogéneo {N(t)}t>0 , com N(0) = 0, de intensidade λ(t), é um
processo de contagem tal que:
(i) {Nt }t>0 tem incrementos independentes
(ii) ∀h −→ 0+ , P(N(t + h) − N(t) > 1) = λ(t)h + o(h), com λ(t) > 0
(iii) ∀h −→ 0+ , P(N(t + h) − N(t) > 2) = o(h)
Teorema
Num processo de Poisson não homogéneo, o número de eventos que ocorrem no intervalo (s, s + t]
tem distribuição de Poisson em que parâmetro é o integral (média) da intensidade, λ(t), nesse
intervalo: Z s+t
m(s, s + t) = λ(u) du
s
Ou seja
N(t) − N(s) ∼ Poisson (m(s, s + t))
Processo de Poisson não homogéneo: observações

O número de eventos no intervalo (s, s + t] ainda tem distribuição de Poisson
O processo de Poisson homogéneo é um caso particular do processo de Poisson não
homogéneo, com λ(t) = λ constante. No caso homogéneo tem-se
Z s+t
m(s, s + t) = λ(u) du = λ[u]s+t
s = λt
s
Exemplo
O número de pessoas que entram numa dada loja segue um processo de Poisson com intensidade
0, 0<t<8

2, 8 < t < 12




1

 t
λ(t) = 2+ 20 + , 12 < t < 14
 2 2
 4, 14 < t < 18




6, 18 < t < 24
Qual a probabilidade de, durante o dia, a loja ter 10 visitas?

Qual a probabilidade da loja ter 10 visitas entre as 13h e as 15h?
Qual a probabilidade da loja ter 10 visitas entre as 14h e as 16h?
Exemplo
Suponha que a procura de um produto numa loja entre as 9h e as 13h segue um processo de
Poisson de intensidade:
 2t, 06t<1

λ(t) = 2, 16t<2
4 − t, 26t<4

Qual a probabilidade da procura nas primeiras 2h ser igual a 2 artigos?
Processo de Poisson
Exercício
As chegadas do autocarro número 1 formam um processo de Poisson de taxa 1 autocarro por hora
e as chegadas do autocarro número 7 formam um processo de Poisson independente de taxa 7
autocarros por hora.
Qual é a probabilidade que passem exatamente 3 autocarros numa hora?
Exercício
Uma loja abre às 8h. Das 8h às 10h os clientes chegam a uma taxa de Poisson de 4 por hora.
Entre as 10h e as 12h chegam a uma taxa de Poisson de 8 por hora. Das 12h às 14h a taxa de
chegada aumenta linearmente das 8 por hora para 10 por hora. Das 14h às 17h a taxa de chegada
diminui linearmente das 10 por hora para as 4 por hora.
Calcule a distribuição de probabilidade do número de clientes que entra na loja num dia.
Processos de Markov homogéneos em tempo contínuo Definições
Processos de Markov homogéneos em tempo contínuo
Processo (ou cadeia) de Markov homogéneo em tempo contínuo

Processo de Markov com espaço de estados contável S, contínuo em tempo, com taxas de transição
estacionárias:
∀i, j ∈ S P(X (s + t) = j|X (s) = i) = pij (t), ∀s, t > 0
independentemente de s.
Exemplo: Processo de Poisson

No processo de Poisson de intensidade λ tem-se
e −λt (λt)(j−i)
pij (t) =
(j − i)!
A única diferença relativamente às cadeias de Markov em tempo discreto, é que o tempo não
é medido em unidades de tempo (passos), mas em tempo contínuo
Observações
Para um processo de Markov homogéneo em tempo contínuo, {X (t)}t>0 , dada a sua evolução
até qualquer instante s, a descrição probabilística do seu comportamento para todos os instantes
futuros depende apenas do estado “corrente” X (s) = i, e não da história passada do processo (nem
do instante s)
Matriz de probabilidade de transição de estado

Para cada t > 0 a matriz de transição de estado é dada por

P(t) = pij (t) i,j∈S
Observações
Uma vez que num intervalo de tamanho zero não podemos alterar o estado:
1,

i =j
pij (0) = δij =
0, i 6= j
ou seja P(0) = I .
Note-se que, para cada t fixo, a matriz P(t) é uma matriz estocástica:
X
Pij (t) > 0, ∀i, j ∈ S e Pij (t) = 1, ∀i ∈ S
j∈S
Processos de Markov homogéneos em tempo contínuo Equações de Chapman-Kolmogorov
X
Pij (s + t) = Pik (s)Pkj (t), t, s > 0, ∀i, j ∈ S
k∈S
A matriz de transição fica

Pij (t + s) = P(t + s) = P(s)P(t)
Processos de Markov homogéneos em tempo contínuo Intensidades de transição e matriz geradora
Intensidades de transição
Vamos assumir que as funções de probabilidade pij (t) são diferenciáveis.
Intensidade de transição
A taxa de transição, ou intensidade de transição, ou força de transição, ou intensidade do salto, de
i para j é dada por
qij = pij0 (0), ∀i, j ∈ S,
Exemplo
Determine as intensidades de transição do processo de Poisson
Para todo t, h > 0 tem-se
P(X (t + h) = j|X (t) = i) = pij (h) (processo homogéneo)

= pij (0) + qij h + o(h), com h → 0 (aproximação 1a ordem)
= δij + qij h + o(h), com h → 0
ou seja
1 + qij h + o(h),

i =j
pij (h) =
qij h + o(h), i 6= j
Como pij (h) = 1 e pii (h) = 1 + qii h, então
P
j∈S
X X
qii = − qij e qij = 0
j6=i j∈S
Observações
qij não são probabilidades
qij é a taxa de transição instantânea do processo do estado i para o estado j
Matriz intensidade (ou taxa) de transição ou matriz geradora do processo
Q = [qij ]i,j∈S
Com X
qij = 0, ∀i
j∈S
X
qii = − qij
j6=i
0 6 qij < ∞, ∀i 6= j
0 6 qii < ∞, ∀i
Matriz geradora
Observações
é possível construir a matriz (de probabilidade) de transição a partir da matriz geradora (de
intensidades)
A matriz de intensidades especifica a lei de probabilidade do processo
Exemplos
Construa a matriz geradora do processo de Poisson.
Construa a matriz geradora de um processo de nascimento
Construa a matriz geradora de um processo de nascimento e morte
Exemplos
Processo de nascimento (homogéneo)

(i): Pr [X (t + h) − X (t) = 1|X (t) = k] = λk h + o(h), h → 0+
(ii): Pr [X (t + h) − X (t) = 0|X (t) = k] = 1 − λk h + o(h), h → 0+
(iii): Pr [X (t + h) − X (t) 6= 0, 1|X (t) = k] = o(h), h → 0+
Processo de nascimento e morte (homogéneo)

(i): Pk,k+1 (h) = λk h + o(h), h → 0+ , i = 0, 1, . . . ;
(ii): Pk,k−1 (h) = µk h + o(h), h → 0+ , i = 1, 2, . . . ;
(iii): Pkk (h) = 1 − (λk + µk )h + o(h), h → 0+ , k = 0, 1, . . . .
(iv): µ0 = 0
Exempo
Exemplo
Processo com 2 estados. Grafo e Matriz geradora:
Processos de Markov homogéneos em tempo contínuo Equações diferenciais
Equações diferenciais progressivas

Dada a condição inicial pij (0) = δij , tem-se
X
pij0 (t) = pik (t)qkj
k∈S
Em forma matricial:
P 0 (t)

= P(t)Q
P(0) = I
Equações diferenciais regressivas

Dada a condição inicial pij (0) = δij , tem-se
X
pij0 (t) = qik pkj (t)
k∈S
Em forma matricial:
P 0 (t)

= QP(t)
P(0) = I
Processos de Markov homogéneos em tempo contínuo Equações diferenciais
Exemplo: equações diferenciais progressivas
d
P01 (t) = P00 (t)µ01 + P01 (t)µ11 = 0, 01P00 (t) − 0, 10P01 (t)
dt
Processos de Markov homogéneos em tempo contínuo Aplicações
Aplicações
Modelo saúde-doença-morte
Aplicações
Exemplo
Tempos de espera
Tempos de espera
Tempo de espera até sair do estado inicial:
T0 = inf{t : X (t) 6= X (0)}
Teorema
O tempo de espera num dado estado i ∈ S, Ti , de um processo de Markov homogéneo em tempo
1
contínuo com matriz de taxa de transição Q, tem distribuição exponencial com média :
−qii
1

Ti ∼ Exp
−qii
Tempos de espera
Notação
Probabilidade do processo permanecer no estado i durante o intervalo de tamanho t:
pii (t) = P(T0 > t|X (0) = i)
Relembre-se a probabilidade de passar do estado i no instante 0 para o estado i no instante t
pii (t) = P(X (t) = i|X (0) = i)
Note-se que
pii (t) 6= pii (t)
Tempo de espera
1

Dado que Ti ∼ Exp , então
−qii
pii (t) = P(T0 > t|X (0) = i) = e qii t
Trata-se de uma generalização do processo de Poisson.
Probabilidade dos saltos
Teorema
A probabilidade do processo ir para o estado j quando sai do estado i é dada por
qij
pij =
−qii
Teorema
Seja mi o tempo esperado para o processo chegar ao estado k sabendo que se encontra no
estado i.
Então mi pode ser calculado usando a fórmula recursiva:
1 X qij
mi = + mj
−qii j6=k,i
−qii
Exemplo
(unidade de tempo: anos)
Qual a probabilidade de ficar doente pela primeira vez apenas ao fim de 3 anos?
Qual a probabilidade de uma pessoa estar doente durante um ano?
Qual a probabilidade de uma pessoa saudável ficar doente?
Qual o tempo médio que uma pessoa doente leva a sair desse estado (−1/qSS )?
Qual o tempo esperado de vida de uma pessoa saudável (mH )? E de uma pessoa doente
(mS )? E de uma pessoa com doença terminar (mT )?
Processos de Markov homogéneos em tempo contínuo contínuo
Cadeia dos saltos

Seja
{X (t)}t>0 um processo de Markov homogéneo em tempo contínuo
Q a matriz de taxa de transição do processo, ou seja, a matriz das intensidades do saltos de
i para j, para todo i, j ∈ S
Wn o instante do n-ésimo salto:
W0 = 0, Tn = Wn+1 − Wn e P(Tn > t|X (Wn ) = i) = e qii t
Xn∗ = X (Wn ), n > 0

Então
{Xn∗ }n>0 é uma cadeia de Markov em tempo discreto e
designa-se cadeia dos saltos do processo de Markov
Cadeia dos saltos

Estamos apenas interessados nos instantes em que ocorrem saltoé
Passamos de um processo de Markov (homogéneo) em tempo contínuo, para uma cadeia de
Markov em tempo discreto
A probabilidade de transição de i para j é a probabilidade do processo transitar (“saltar”) de i
para j

Matriz de probabildiades de transição da cadeia dos saltos do processo de Markov:

P ∗ = pij∗
i,j∈S
tal que
  qij
  ∗
 pij = , se j 6= i
−qii

se qii < 0





 
pii∗ 0

=



0, se j 6= i
∗
pij =


se qii = 0


pii∗ 1

=
Cadeia dos saltos
Exemplo
(unidade de tempo: anos)
Qual a matriz de probabilidade de transição da cadeia de saltos deste processo?
Processos de Markov homogéneos em tempo contínuo Classificação dos estados
Estados acessíveis
O estado j diz-se acessível a partir do estado i, para uma cadeia de Markov homogénea em tempo
contínuo, se
P(X (s) = j|X (0) = i) = pij (s) > 0, para algum s > 0
Estados e classes comunicantes

Tal como nas cadeias de Markov em tempo discreto, os estados i e j são comuncantes se i é
acessível a partir de j e j é acessível a partir de i
é imediato que i e j comunicam numa cadeia de Markov em tempo contínuo sse comunicam
na cadeia de Markov discreta dos saltos {Xn∗ }n>0
Logo, também nas cadeias de Markov em tempo contínuo o espaço de estados pode ser
particionado em classes comunicantes (de equivalência) disjuntas
Cadeia irredutível
Uma cadeia de Markov em tempo contínuo irredutível é uma cadeia irredutível se existir
apenas uma classe de comunicação (todos os estados comunicam)
Uma cadeia de Markov em tempo contínuo irredutível é uma cadeia irredutível sse a cadeia
discreta dos saltos é irredutível
Q diz-se irredutível se P ∗ for irredutível
Estado recorrente
O estado i diz-se recorrente se, com probabilidade 1, a cadeia volta a revisitar o estado i.
Caso contrário o estado diz-se transiente
Um estado i é recorrente (transiente) para uma cadeia de Markov em tempo contínuo sse for
recorrente (transiente) para a cadeia de Markov discreta dos saltos
Recorrência positiva e nula podem diferir na cadeia em tempo contínuo ou tempo discreto
(se o número de estados for infinito)
Periodicidade
Não existem problemas de periodicidade para a cadeia de Markov em tempo contínuo (para
tempo contínuo não faz sentido falar em periodicidade)
Mas o conceito de periodicidade existe para a cadeia de Markov dos saltos, em tempo
discreto
Exemplo
Considere o processo de Markov em tempo contínuo com a seguinte matriz geradora:
−4 1 0 0 3
 
 2 −6 3 1 0 
Q= 0 0 −5 5 0
 

 0 0 4 −4 0 
0 0 0 0 0
1 Classifique os estados
2 Calcule a probabilidade de que o processo seja absorvido no estado 5, tendo começado no
estado 1
Processos de Markov homogéneos em tempo contínuo Distribuição estacionária
Dada uma cadeia de Markov em tempo contínuo, uma distribuição de probabilidade em S
X
πj > 0, ∀j ∈ S e πj = 1
j∈S
diz-se estacionária sse, para todo t > 0
π P(t) = π
A distribuição estacionária, π, também se designa por distribuição de equilíbrio e representa

a proporção de tempo que o processo passa em cada estado, no longo prazo
Se π é distribuição estacionária, então πj > 0, para todo j ∈ S
Teorema
A distribuição π é estacionária sse
πQ = 0
Teorema
Seja S a única classe fechada (cadeia irredutível). Então, das duas uma:
1) Existe uma única distribuição estacionária e
lim pij (t) = πj , ∀i, j ∈ S

t→∞
(se S for finito, este é necessariamente o caso)

2) Não existe distribuição estacionária e
lim pij (t) = 0, ∀i, j ∈ S

t→∞
(este caso só acontence em situações em que S é infinito)
Exemplo
Determine a distribuição de equilibrio do processo.
Exercício
Os condutores que chegam a um centro de inspecão automóvel esperam, em média, 15min para
serem atendidos. Quando são atendidos, levam em média 20min pela avaliação do problema. Após
a avalição, os automóveis podem não precisar de qualquer arranjo ou precisar de arranjos ligeiros ou
arranjos significativos. O tempo médio de espera por arranjos ligeiros é de 30min, enquanto o tempo
médio de espera por arranjos significativos é 180min. Admita que a percentagem de automóveis
sem qualquer problema é 80%, a percentagem de automóveis com necessidade de reparações ligeiras
é 15% e a percentagem de automóveis com necessidade de arranjos significativos ´r 5%.
Quais as hipótese que têm que ser consideradas por forma a resolver o problema como uma
cadeia de Markov?
Assumindo essas hipóteses, determine a matriz geradora.
Use as equações diferenciais de Kolmogorov para obter pWM (t) e pWA (t)
Mostre que pWA (t) = 4e −t/20 − 4e −t/15 (com t medido em minutos).
Obtenha uma expressão para pWM (t)
Seja Ti o tempo de espera (em minutos) até que um automóvel vá para casa, dado que o
processo está no estado i
Justifique que TW = 15 + TA
Obtenha expressões para TA , TM e Ts
Calcule TW
Movimento Browniano. Espaço estados contínuo Definições básicas
Movimento Browniano ou Processo de Wiener

Movimento Browniano
O movimento Browniano é o movimento de partículas num fluido ou gás,

por consequência da colisão das moléculas do fluido nas partículas. O seu
nome deve-se a Robert Brown, botânico e físico do século XIX, que
observou pela primeira vez o fenómeno do movimento de grãos de pollen
em plantas.
No início do século XX Einstein publicou a análise teórica do movimento
Browniano.
Em matemática é designado por processo de Wiener em honra de Norbert

Wiener.
Maria de Lourdes Centeno (ISEG) Movimento Browniano 21 de Maio de 2014 2 / 40
Movimento Browniano
O movimento Browniano com coeficiente de difusão σ 2 > 0 é um processo estocástico
{B(t)}t>0 , com B(0) = 0, tal que
B(t) tem incrementos independentes:
B(t1 ) − B(t0 ), . . . , B(tn ) − B(tn−1 ) são independentes para 0 = t0 < t1 < · · · < tn
B(t + s) − B(s) ∼ Normal(0, σ 2 t)

t → B(t) é contínua
Martingala
Uma martingala é um processo estocástico em que o valor esperado do próximo valor na sequência
é igual ao valor presente observado, mesmo sabendo todos os outros anteriores:
{X (t)}t>0 tal que E (X (t)|X (r1 ), X (r2 ), . . . , X (rn ), X (s)) = X (s)
Movimento Browniano
O movimento Browniano {B(t)}t>0 é uma martingala:
E (B(t)|B(r1 ), B(r2 ), . . . , B(rn ), B(s)) = B(s)
Trajectória do Movimento Browniano
Figura: Trajectória do movimento Browniano
Maria de Lourdes Centeno (ISEG) Movimento Browniano 21 de Maio de 2014 5 / 40
Movimento Browniano Standard
σ=1
Tem-se
Se {B(t)}t>0 é movimento Browniano standard, então
{σB(t)}t>0
é movimento Browniano com coeficiente de difusão σ 2 .

Logo, basta estudar o movimento Browniano standard
Algumas propriedades
1)
y −x
P(B(t + s) 6 y |B(s) = x) = Φ √
σ t
2) Supondo 0 6 s < t
Cov (B(s), B(t)) = σ 2 s
Princípio da reflexão
Movimento Browniano com deriva

seja {B(t)}t> um movimento Browniano standard
sejam µ e σ > 0 fixos
Então, o movimento Browniano com parâmetro de deriva µ e coeficiente de difusão σ 2 é o processo
{W (t)}t>0 tal que
W (t) = µt + σB(t)
Tem-se
y − x − µt
P(W (t) 6 y |W (0) = x) = Φ √
σ t
Neste processo não se pode aplicar o princípio da reflexão, porque o movimento não é
simétrico em relaçao à origem.

Seja
Tab = min{t > 0 : W (t) = a W (t) = b}
Para o movimento Browniano com parâmetros µ e σ 2 , tem-se

2 2
e −2µx/σ − e −2µa/σ
u(x) = P(W (Tab ) = b|W (0) = x) =
e −2µb/σ 2 −e −2µa/σ 2
Se a < x < b, então

1
E (Tab |W (0) = x) = [u(x)(b − a) − (x − a)]
µ
Movimento Browniano
Exemplo
Suponha que o preço de um ativo financeiro é bem descrito por um movimento Browniano
com deriva µ = 0.1 e coeficiente de difusão σ 2 = 4.
Um acionista compra uma unidade ao preço de 100 u.m. e irá vendê-la se
o preço atingir o valor 110 u.m ou
o preço descer para 95 u.m.
Qual é a probabilidade de que venda a ganhar?
Movimento Browniano geométrico

Um processo estocástico {X (t)}t>0 é designado por movimento Browniano geométrico com deriva
α se
σ2
{Y (t)}t>0 com Y (t) = log X (t) é um movimento Browniano com deriva µ = α −
2
De modo equivalente, {X (t)}t>0 é um movimento Browniano geométrico, começando em X (0),
se 1 2
X (t) = X (0)e Y (t) = X (0)e (α− 2 σ )t+σB(t)
onde {B(t)}t>0 é um movimento Browniano standard, com B(0) = 0.

O movimento Brwoniano geométrico é utilizado na modelação dos preços dos ativos,
transacionados num mercado perfeito (eficiente)
Sendo t0 < t1 < t2 < · · · < tn , os rácios sucessivos:
X (t1 ) X (t2 ) X (tn )

, , ...,
X (t0 ) X (t1 ) X (tn−1 )
são v.a. independentes

Ou seja, as variações percentuais de intervalos disjuntos são independentes

Tem-se 1 2
E (X (t)|X (0)) = X (0) e α t e E (X 2 (t)|X (0)) = X 2 (0)e 2(α+ 2 σ ) t
Logo 2
Var (X (t)|X (0)) = X 2 (0)e 2αt e σ t − 1

Dado A < 1 < B, seja

X (t) X (t)
T = min t >: =A ou =B
X (0) X (0)
Então
1−2 α2
1−A

X (T ) σ
P =B = 1−2 α2 1−2 α2
X (0) B σ −A σ
Exemplo
Suponha que o preço de um ativo é bem descrito por um movimento Browniano geométrico
com deriva α = 1/10 e coeficiente de difusão σ 2 = 4.
Um especulador compra ao preço de 100 $ e vende se o preço
subir a $ 110
descer a $ 95
Qual a probabilidade de vender em lucro?

ProcEst Maputo2022

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

ProcEst Maputo2022

Enviado por

Direitos autorais:

Formatos disponíveis

Processos Estocásticos

Mestrado em Ciências Actuariais

Alexandra Bugalho de Moura

Trabalho em grupos de 4 (20%)

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 2 / 153

2 Cadeias de Markov a tempo discreto

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 3 / 153

4 Processos de Markov homogéneos em tempo contínuo

5 Movimento Browniano. Espaço estados contínuo

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 4 / 153

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 5 / 153

Seja Ω o conjunto espaço dos resultados

Os elementos de uma σ-Álgebra designam-se por eventos

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 6 / 153

Função de distribuição de probabilidade

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 7 / 153

Variável Aleatória Discreta

Variável discreta X (Ω) Params função massa de probabilidade

Bernoulli {0, 1} p P(X = 1) = p, p ∈ [0, 1]

Geométrica {0, 1, 2, 3, . . .} p P(X = k) = p(1 − p)k , λ>0

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 8 / 153

Variável Aleatória Contínua

A função de distribuição é uma função contínua:

Se FX (x) for continuamente diferenciável, então

onde fX = FX0 é a função densidade de probabilidade de X .

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 9 / 153

Variável Aleatória Contínua: Exemplos

Variável contínua X (Ω) Params função densidade de probabilidade

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 10 / 153

Se X é integrável em relação a P, então definimos o valor esperado como

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 11 / 153

Função de Probabilidade Conjunta

FX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = P(X1 6 x1 , X2 6 x2 , . . . , Xn 6 xn )

FX ,Y (x, y ) = FX (x)FY (y ) ∀x, y ∈ R

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 12 / 153

Num problema condicionado o espaço de resultados é “reduzido” ao espaço a que estamos

P(X = x|Y = y ) = P(X = x) ∀x, y ∈ R caso discreto

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 13 / 153

Valor esperado condicional

Esperança condicional dado um evento

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 14 / 153

Esperança condicional: caso discreto

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 15 / 153

Esperança condicional: caso discreto

{Y = 0} = {EF , EE } e {Y = 20} = {FF , FE }

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 16 / 153

Esperança condicional: caso discreto

Usando a função massa de probabilidade

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 17 / 153

Lei da probabilidade total: caso discreto

Lei da probabilidade total

Lei da probabilidade total para a esperança condicional

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 18 / 153

Esperança condicional: caso contínuo

Sejam X e Y v.a. contínuas com função densidade de probabilidade fX (x) e fY (y ),

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 19 / 153

Lei da probabilidade total: caso contínuo

Lei da probabilidade total

Lei da probabilidade total para a esperança condicional

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 20 / 153

Alexandra Bugalho de Moura Processos Estocástico, UEM Fevereiro 2022 21 / 153

Definição: Processo Estocástico (PE)

Para t fixo, t ∈ T , X (t, ω) é uma v.a.