Você está na página 1de 56

Carlos André Pereira de Jesus Silva

Apostila de Processos Estocásticos

Vitória da Conquista, BA
2020
Introdução

Os Processos Estocásticos constituem um campo da Estatı́stica que é largamente utilizado. Suas aplicações
são bastante amplas, percorrendo diversos ramos do conhecimento, tais como Pesquisa Operacional, Proces-
samento de Sinais, Finanças e Sistemas Dinâmicos.

Neste documento, introduz-se alguns aspectos da teoria básica de processos estocásticos. Inicialmente,
são apresentados os conceitos fundamentais, bem como exemplos de aplicações dos processos estocásticos,
além de sua definição formal e de sua classificação quanto à natureza do conjunto de ı́ndices e do espaço
de estados. Depois, considera-se a caracterização dos processos estocásticos, assim como algumas medidas
estatı́sticas correlatas e a estacionariedade no sentido estrito e no sentido amplo.

São discutidos ainda tópicos básicos de processos estocásticos no contexto de Processamento de Sinais,
sempre considerando exemplos de cálculo para melhor compreensão do conteúdo. Por fim, consideram-se
três tipos clássicos de processos estocásticos, quais sejam, o Processo de Poisson, As cadeias de Markov e o
Movimento Browniano.

Este curso, embora introdutório, tem como pré-requisito conhecimentos do Cálculo Diferencial e Integral,
assim como de Probabilidade e Estatı́stica.
Conceitos Iniciais

Os processos estocásticos representam sistemas nos quais o estado muda ao longo do tempo. Estas mudanças
não são totalmente previsı́veis, mas elas estão associadas a distribuições de probabilidade. Diversos fenômenos
reais admitem a modelagem através dos processos estocásticos.
Definição. Seja T um conjunto de ı́ndices e E ⊂ R. Um processo estocástico indexado por T com
espaço de estados E é uma famı́lia de variáveis aleatórias X = {Xt : t ∈ T } definidas num espaço amostral
Ω e tomando valores no conjunto E.
Podemos pensar num processo estocástico X como uma função:

X :T ×Ω 7→ E
(t, ω ) 7→ X (t, ω )

Fixando um evento ω ∈ Ω, obtemos uma coleção de valores X = {Xt (ω ): t ∈ T } , que é chamada de


trajetória ou realização deste processo.
Quando T = {1} , o processo estocástico é na verdade somente uma variável aleatória. Se T é finito,
digamos T = {1, 2, 3, . . . }, temos um vetor aleatório. Portanto, os processos aleatórios são generalizações de
vetores aleatórios.
Quando T é enumerável diremos que o processo estocástico correspondente é a tempo discreto. Se T for
um intervalo, o processo estocástico será chamado a tempo contı́nuo.
Os valores que tomam as variáveis do processo serão chamados de estados e o conjunto E destes valores
será o espaço de estados. Observe que os estados não precisam ser quantidades numéricas. Os processos
estocásticos podem ter espaço de estados discreto ou espaço de estados contı́nuo em correspondência com a
natureza do conjunto E.

Exemplos de Processos Estocásticos

1. Considere o seguinte exemplo:


A condição de uma máquina na ocasião da manutenção preventiva mensal é caracterizada como ruim,
razoável ou boa. Para o mês t ∈ {1, 2, 3, . . . }, o processo estocástico para essa situação pode ser
representado como:



 0, se a condição for ruim;

Xt = 1, se a condição for razoável;



2, se a condição for boa.

Nesse exemplo, tem-se um processo estocástico a tempo discreto com espaço de estados E = {0, 1, 2} discreto.

2. Suponha que se esteja observando o preço de estoque de uma companhia ao longo do tempo, por exemplo,
em meses. Em particular, seja X(t) o preço de estoque no tempo t ∈ T = [0, ∞). A Figura 1 mostra uma
das possı́veis trajetórias ou realizações do processo de t = 0 até t = 1.
Esse processo estocástico é de tempo contı́nuo com espaço de estados também contı́nuo, já que o preço de
estoque pode ser qualquer número real positivo.
Figura 1 – Preço do estoque da companhia

Caracterização de um processo estocástico

Sabemos que o comportamento probabilı́stico de variáveis aleatórias é descrito através da função de distri-
buição. No caso de vetores aleatórios precisamos usar a função de distribuição conjunta, pois as distribuições
marginais das coordenadas não determinam a distribuição do vetor no sentido que existem vetores aleatórios
com distribuições diferentes e com as mesmas marginais como ilustramos a seguir. Consideremos os vetores
aleatórios discretos (X1 , X2 ) e (Y1 , Y2 ) com funções de probabilidade conjunta

X1 /X2 0 1
0 1/4 1/4
1 1/4 1/4

Y1 /Y2 0 1
0 0 1/2
1 1/2 0

Estas funções de probabilidade são diferentes, no entanto, as marginais coincidem pois P (X1 = 0) =
P (Y1 = 0) = 1/2 = P (X2 = 0) = P (Y2 = 0).
Parece bastante natural pensar que para processos estocásticos, as distribuições de cada uma das variáveis
aleatórias que o formam (marginais do processo) não devem ser suficientes para determinar o seu compor-
tamento probabilı́stico. O comportamento probabilı́stico de um processo estocástico está caracterizado não
somente pelas distribuições marginais das variáveis coordenadas, mas também pelas relações de dependência
entre elas.
Entre os estados de um processo estocástico, podemos encontrar diferentes tipos de relações de de-
pendência.
Para caracterizar o comportamento probabilı́stico de um processo estocástico, devemos considerar a
famı́lia das funções de distribuição de todos os vetores aleatórios formados com estados do processo. Mais
precisamente, teremos a seguinte definição.

Definição. Seja X = {Xt , t ∈ T } um processo estocástico. Consideremos para cada conjunto t1 , t2 , . . . , tn ,


tn ∈ T e n ∈ N , a função de distribuição conjunta do vetor aleatório (Xt1 , Xt2 , . . . , Xtn ) que denotaremos
por Ft1 ,t2 ,...,tn . A famı́lia {Ft1 ,t2 ,...,tn } das funções de distribuição finito-dimensionais de X é chamada de lei
do processo, com

Ft1 ,t2 ,...,tn = FXt1 ,Xt2 ,...,Xtn (x1 , . . . , xn ) = P (Xt1 ≤ x1 , Xt2 ≤ x2 , . . . , Xtn ≤ xn ).

A função de densidade conjunta, se é que ela existe, é, então, a n-ésima derivada mista dessa função de
distribuição com relação às n variáveis x1 , x2 , . . . , xn , ou seja,

∂ n F Xt ,Xt ,...,Xtn(x1 ,...,xn )


f (x1 , x2 , . . . , xn , t1 , t2 , . . . , tn ) = 1 2
∂x1 ∂x2 ...∂xn .

De forma análoga, para os processos de estado discreto, a função de probabilidade conjunta é definida
simplesmente por:

f (x1 , x2 , . . . , xn , t1 , t2 , . . . , tn ) = P (Xt1 = x1 , Xt2 = x2 , . . . , Xtn = xn )

Exemplo. Considere o processo estocástico Xn , n = 0, 1, 2, . . ., em que os Xi0 s são variáveis aleatórias i.i.d.
com distribuição normal padrão.

1. Escreva fXn (x) para n = 0, 1, 2, . . . .

2. Escreva fXm ,Xn (x, y) para m 6= n.

Média, Função de Autocorrelação e Função de Autocovariância, Variância e Coeficiente de Au-


tocorrelação

Uma vez que um processo estocástico é um conjunto de variáveis aleatórias, pode definir-se para cada uma
das suas variáveis ou para cada par das suas variáveis os seguintes conjuntos de parâmetros.

Para um processo estocástico {X(t), t ∈ T }, e t1 , t2 ∈ T definimos:

1. Função Média. R
 ∞ xf (x, t)dx, se X(t) for contı́nuo;
−∞
µX (t) = E[X(t)] = P
 ∞ xP [X(t) = x], se X(t) for discreto.
−∞

2. Função de Autocorrelação. R
 ∞ R ∞ x x f (x , x , t , t )dx dx , se X(t) for contı́nuo;
−∞ −∞ 1 2 1 2 1 2 1 2
R(t1 , t2 ) = E[X(t1 )X(t2 )] = P
∞ P∞
−∞ x1 x2 P [X(t1 ) = x1 , X(t2 ) = x2 ], se X(t) for discreto.

−∞
3. Função de Autocovariância

CX (t1 , t2 ) = cov[X(t1 ), X(t2 )] = R(t1 , t2 ) − µX (t1 )µX (t2 )

4. Função Variância

V ar[X(t)] = E{[X(t) − µX (t)]2 } = E[X(t)2 ] − µ2X (t)

5. Coeficiente de Autocorrelação

CX (t1 ,t2 )
ρX (t1 , t2 ) = √
V ar[X(t1 )]V ar[X(t2 )]

Observe que se t1 = t2 = t ∈ T ,

R(t, t) = E[X(t)X(t)] = E[X(t)2 ]

CX (t, t) = cov[X(t), X(t)] = V ar[X(t)]

Se t1 = t2 , então a função de autocovariância CX (t1 , t2 ) fornece-nos alguma informação sobre como X(t1 ) e
X(t2 ) estão estatisticamente relacionadas.

Consideremos os exemplos a seguir.

Exemplo 1

Você tem 1000 dólares para colocar em uma conta com taxa de juros compostos R, capitalizada anual-
mente. Isto é, se Xn é o valor do montante no ano n, então

Xn = 1000(1 + R)n , para n ∈ N .

O valor de R é uma variável aleatória que é determinada quando você coloca o dinheiro no banco, mas
não muda depois disso. Em particular, assuma que R ∼ U (0, 04; 0, 05). Calcule o valor esperado do mon-
tante, em função do tempo n, a função de autocorrelação e de autocovariância, e a variância do processo.

Resposta

Seja Y = 1 + R. Temos que

FY (y) = P (Y ≤ y)
= P (1 + R ≤ y)
= P (R ≤ y − 1)
= FR (y − 1)
E assim,

dFY (y)
fY (y) =
dy
dFR (y − 1)
=
dy
= fR (y − 1).1
1
=
0, 05 − 0, 04
= 100,

com 1, 04 ≤ y ≤ 1, 05. Ou seja, Y ∼ U (1, 04; 1, 05).

Agora, temos que o valor do montante esperado em função do tempo n ∈ N é

µX (n) = E(Xn )
= E(1000.Y n )
Z 1,05
= 1000. y n fY (y)dy
1,04
Z 1,05
= 1000. y n 100dy
1,04
105 (1, 05 n+1
− 1, 04n+1 )
=
n+1
A função de autorrelação, para m, n ∈ N é

RX (m, n) = E[Xm Xn ]
= E[106 Y m Y n ]
= 103 E[1000Y m+n ]
108 (1, 05m+n+1 − 1, 04m+n+1 )
=
m+n+1
A função de autocovariância, para m, n ∈ N é

CX (m, n) = RX (m, n) − µX (m)µX (n)


108 (1, 05m+n+1 − 1, 04m+n+1 ) 1010 (1, 05m+1 − 1, 04m+1 )(1, 05n+1 − 1, 04n+1 )
= −
m+n+1 (m + 1)(n + 1)

Por fim, a variância de Xn é

V ar(Xn ) = E(Xn2 ) − E 2 (Xn )


= E(106 Y 2n ) − E 2 (Xn )
108 (1, 052n+1 − 1, 042n+1 ) 1010 (1, 05n+1 − 1, 04n+1 )2
= −
2n + 1 (n + 1)2

Exemplo 2
Considere o sinal aleatório X(t) = A.cos(ω.t + θ), em que A é a amplitude do sinal, com A ∼ U [−a, a], ω
é a frequência e θ é a fase do sinal. Calcule a média, a função de autocorrelação e de autocovariância, e a
variância desse sinal.

Resposta

A média do sinal é

µX (t) = E[X(t)]
= E[A.cos(ω.t + θ)]
Z a
= cos(ω.t + θ). x.fA (x)dx
−a
Z a
1
= cos(ω.t + θ) x. dx
−a 2a
cos(ω.t + θ).[a2 − (−a)2 ]
=
4a
= 0

Vamos, calcular agora a função de autocorrelação.

RX (t1 , t2 ) = E[X(t1 )X(t2 )]


= E[A.cos(ω.t1 + θ).A.cos(ω.t2 + θ)]
= cos(ω.t1 + θ).cos(ω.t2 + θ).E(A2 )
Z a
= cos(ω.t1 + θ).cos(ω.t2 + θ). x2 .fA (x)dx
−a
cos(ω.t1 + θ).cos(ω.t2 + θ).(a3 − (−a)3 )
=
6a
a2 cos(ω.t1 + θ).cos(ω.t2 + θ)
=
3
Note que a função de autocovariância é igual à função de autocorrelação, uma vez que µX (t) = 0 ∀ t ∈ R,
ou seja,

CX (t1 , t2 ) = RX (t1 , t2 ) − µX (t1 ).µX (t2 )


= RX (t1 , t2 ) − 0.0
= RX (t1 , t2 )
a2 cos(ω.t1 + θ).cos(ω.t2 + θ)
=
3
Já a variância é
V ar[X(t)] = V ar[A.cos(ω.t + θ)]
= cos2 (ω.t + θ)V ar[A]
= cos2 (ω.t + θ)[E(A2 ) − E 2 (A)]
a2 cos2 (ω.t + θ)
=
3

Processos Estocásticos Múltiplos

Frequentemente precisamos estudar mais do que um processo estocástico. Por exemplo, quando se investiga
o mercado de ações deve-se considerar várias ações diferentes, com o objetivo de analisar como elas estão
relacionadas. Em particular, pode-se estar interessado em saber se duas ações estão correlacionadas positiva
ou negativamente. A ideia nessas situações é olhar as funções de correlação-cruzada e covariância-cruzada,
as quais são definidas a seguir.

Para dois processos estocásticos {X(t), t ∈ T } e {Y (t), t ∈ T }:

- A função de Correlação-Cruzada RXY (t1 , t2 ), é definida por

RXY (t1 , t2 ) = E[X(t1 ).Y (t2 )], com t1 , t2 ∈ T ;

A função de Covariância-Cruzada CXY (t1 , t2 ), é definida por

CXY (t1 , t2 ) = E[X(t1 ).Y (t2 )] − E[X(t1 )].E[Y (t2 )], com t1 , t2 ∈ T .

Para se ter uma ideia sobre esses conceitos, suponha que X(t) é o preço do óleo (por galão) e Y (t) é o
preço da gasolina (por galão) no tempo t. Como a gasolina é produzida do óleo, quando o preço deste
aumenta o preço daquela tende a crescer também. Por tanto, conclui-se que X(t) e Y (t) deveriam ser posi-
tivamente correlacionados.

Exemplo

Sejam A, B e C variáveis aleatórias independentes, todas com distribuição normal N (1, 1). Seja {X(t), t ∈
[0, ∞)} definido como

X(t) = A + B.t, com t ∈ [0, ∞).

Além disso, seja {Y (t), t ∈ [0, ∞)} definido como

Y (t) = A + C.t, com t ∈ [0, ∞).

Encontre RXY (t1 , t2 ) e CXY (t1 , t2 ).


Resposta

Temos que

RXY (t1 , t2 ) = E[X(t1 )Y (t2 )]


= E[(A + B.t1 )(A + C.t2 )]
= E(A2 ) + t2 .E(A.C) + t1 .E(A.B) + t1 t2 .E(B.C)
= V ar(A) + E 2 (A) + t2 .E(A).E(C) + t1 .E(A).E(B) + t1 t2 .E(B).E(C)
= 1 + 1 + t2 .1.1 + t1 .1.1 + t1 t2 .1.1
= 2 + t1 + t2 + t1 t2

A quarta igualdade é justificada pela independência de A, B e C.

Para encontrar CXY (t1 , t2 ), devemos calcular µX (t1 ) e µY (t2 ).

µX (t1 ) = E[X(t1 )]
= E[(A + B.t1 )]
= E(A) + t1 E(B)
= 1 + t1

µY (t2 ) = E[Y (t2 )]


= E[(A + C.t2 )]
= E(A) + t2 E(C)
= 1 + t2

Assim,

CXY (t1 , t2 ) = RXY (t1 , t2 ) − µX (t1 ).µY (t2 )


= 2 + t1 + t2 + t1 t2 − (1 + t1 )(1 + t2 )
= 2 + t1 + t2 + t1 t2 − 1 − t2 − t1 − t1 t2
= 1

Processos Estocásticos Independentes


Dois processos estocásticos {X(t), t ∈ T } e {Y (t), t ∈ T 0 } são ditos independentes se, para todos

t1 , t2 , . . . , tm ∈ T e t01 , t02 , . . . , t0n ∈ T 0 ,

o conjunto de variáveis aleatórias

X(t1 ), X(t2 ), . . . , X(tm )


são independentes do conjunto de variáveis aleatórias

Y (t01 ), Y (t02 ), . . . , Y (t0n ).

Observação

Se a covariância entre duas variáveis aleatórias for zero, não existe dependência linear entre essas variáveis,
mas pode haver outro tipo de relação de dependência entre elas, e assim, não podemos afirmar que as
variáveis aleatórias são independentes. Entretanto, para variáveis aleatórias independentes, a covariância
será zero.
Processos Estocásticos Estacionários

Classificam-se os processos estocásticos de muitas maneiras diferentes. Um dos questionamentos que se pode
fazer a respeito de um processo estocástico é se ele é estacionário. De forma intuitiva, um processo estocástico
{X(t), t ∈ T } é estacionário se suas propriedades estatı́sticas não mudam com o tempo. A seguir define-se
um processo estocástico estritamente estacionário.

Um processo estocástico {X(t), t ∈ T } é estacionário no sentido estrito se, para todos t1 , t2 , . . . , tk ∈ T }


e h ∈ T a função de distribuição acumulada de X(t1 ), X(t2 ), . . . , X(tk ) é a mesma de X(t1 + h), X(t2 +
h), . . . , X(tk + h).

Isto é, para todos os números reais x1 , x2 , . . . , xk ∈ R, tem-se que

FX(t1 )X(t2 )...X(tk ) (x1 , x2 , . . . , xk ) = FX(t1 +h)X(t2 +h)...X(tk +h) (x1 , x2 , . . . , xk ).

Na prática é desejável que um processo estocástico seja estacionário, pois sua análise é mais simples, uma vez
que suas propriedades probabilı́sticas não mudam com o tempo. Entretanto, acontece que muitos processos
da vida real não são estacionários no sentido estrito. Mesmo se um processo for estritamente estacionário
pode ser difı́cil de mostrar. Felizmente, muitas vezes é suficiente mostrar uma forma mais fraca de estacio-
nariedade do que aquela definida acima.

Exemplo

Seja o processo estocástico X(t) definido por

X(t) = sen(2πFc t)

no qual a frequência Fc é uma variável aleatória uniformemente distribuı́da sobre o intervalo [0, w]. Mostre
que X(t) é não estacionário.

Resposta

Para mostrar que um processo estocástico não é estacionário podemos, por exemplo, mostrar que a média
desse processo depende do tempo. Vamos calcular µX (t).
µX (t) = E[X(t)]
= E[sen(2πFc t]
Z w
= sen(2πyt).fFc (y)dy
Z0 w
1
= sen(2πyt). dy
0 w
−[cos(2πyw) − cos0]
=
2πwt
1 − cos(2πyw)
= .
2πwt
Portanto, como µX (t) depende de t, segue que o processo estocástico X(t) não é estacionário.

Processos Estocásticos Estacionários no Sentido Amplo (W W S)

Define-se agora uma das formas mais comuns de estacionariedade que é amplamente utilizada na prática. Um
processo estocástico é chamado de estacionário no sentido fraco (W W S) ou estacionário no sentido
amplo se sua função média e sua função de autocorrelação não mudam por translações no tempo. Mais
precisamnte, um processo estocástico {X(t), t ∈ T } é W W S se, para todos t1 , t2 , t, τ ∈ T , com τ = t2 − t1 ,

1. µX (t) = µX

2. RX (t1 , t2 ) = RX (|τ |)

Exemplo

Considere o processo estocástico {X(t), t ∈ R} definido como

X(t) = cos(t + A),

em que A ∼ U [0, 2π]. Mostre que X(t) é um processo W W S.

Resposta

Vamos encontrar a média de X(t).

µX (t) = E[X(t)]
= E[cos(t + A)]
Z 2π
= cos(t + y).fA (y)dy
0
Z 2π
1
= cos(t + y).
dy
0 2π
[sen(t + 2π) − sen(t)]
=

= 0.
Agora, vamos calcular a função de autocorrelação de X(t).

RX (t1 , t2 ) = E[X(t1 )X(t2 )]


= E[cos(t1 + A)cos(t2 + A)]
1
= E{ [cos(t1 + A − (t2 + A)) + cos(t1 + A + (t2 + A))]}
2
1 1
= [cos(t1 − t2 )] + E[cos(t1 + t2 + 2A)]
2 2
1 2π
Z
1 1
= [cos(t1 − t2 )] + cos(t1 + t2 + 2y). dy
2 2 0 2π
1 1
= [cos(t1 − t2 )] + [sen(t1 + t2 + 4π) − sen(t1 + t2 )]
2 2
1
= [cos(t1 − t2 )]
2
= RX (|τ |)

Dessa forma, as condições para que o processo estocástico seja W W S são satisfeitas.

Agora, consideram-se algumas propriedades de RX (τ ) para processos estocásticos W W S. Para esses pro-
cessos W W S, pode-se escrever

RX (τ ) = E[X(t)X(t − τ )] = E[X(t + τ )X(t)].

Dessa forma, se {X(t), t ∈ T } é um processo W W S com função de autocorrelação RX (τ ), então

RX (0) = E[X(t)2 ].

A quantidade E[X(t)2 ] é chamada de potência média do sinal X(t) no tempo t. Para um processo es-
tocástico W W S, a potência média não depende do tempo. Como X(t)2 ≥ 0, conclue-se que RX (0) ≥ 0.

Note agora que

RX (−τ ) = E[X(t)X(t + τ )]
= E[X(t + τ )X(t)]
= RX (τ ).

Portanto, conclui-se que RX (τ ) é uma função par.

Finalmente, mostra-se que RX (τ ) assume valor máximo para τ = 0. Isto é, X(t) e X(t + τ ) tem a mais alta
correlação quando τ = 0.

A prova é feita utilizando a desigualdade de Cauchy-Schwarz, qual seja:


Para duas variáveis aleatórias X e Y , tem-se

p
|E(XY )| ≤ E(X 2 )E(Y 2 ),

em que a igualdade é assegurada se e somente se X = αY para alguma constante α ∈ R. Agora, escolhe-se


X = X(t) e Y = X(t − τ ), e assim

p
|E[X(t)X(t − τ )]| ≤ E[X(t)2 ]E[X(t − τ )2 ]
p
= RX (0).RX (0)
= RX (0).

Portanto, conclui-se que |RX (τ )| ≤ RX (0)

Processos Estocásticos Conjuntamente W W S

Frequentemente, trabalha-se com processos estocásticos múltiplos. Sendo assim, estende-se o conceito de
estacionariedade no sentido amplo para mais de um processo estocástico. Mais especificamente, pode-se
falar sobre processos estocásticos conjuntamente W W S.

Dois processos estocásticos {X(t), t ∈ T } e {Y (t), t ∈ T } são ditos conjuntamente WWS se

1. X(t) e Y (t) são cada um W W S;

2. RXY (t1 , t2 ) = RXY (|t1 − t2 |).

Exemplo

Sejam os processos estocásticos X(t) e Y (t) dois processos conjuntamente W W S. Considere o processo
estocástico Z(t) definido como

Z(t) = X(t) + Y (t).

Mostre que Z(t) é W W S.

Resposta

Como os dois processos são conjuntamente W W S, tem-se que

µX (t) = µX , µY (t) = µY , RX (t1 , t2 ) = RX (t1 − t2 ), RY (t1 , t2 ) = RY (t1 − t2 ) e RXY (t1 , t2 ) = RXY (t1 − t2 ).

Vamos encontrar, a média do processo Z(t).


µZ (t) = E[Z(t)]
= E[X(t) + Y (t)]
= E[X(t)] + E[Y (t)]
= µX (t) + µY (t)
= µX + µY .

Agora, vamos calcular a função de autocovariância de Z(t).

RZ (t1 , t2 ) = E[Z(t1 )Z(t2 )]


= E[(X(t1 ) + Y (t1 ))(X(t2 ) + Y (t2 ))]
= E[X(t1 ).X(t2 )] + E[X(t1 ).Y (t2 )] + E[X(t2 ).Y (t1 )] + E[Y (t1 ).Y (t2 )]
= RX (t1 , t2 ) + RXY (t1 , t2 ) + RY X (t1 , t2 ) + RY (t1 , t2 )
= RX (t1 − t2 ) + RXY (t1 − t2 ) + RY X (t1 − t2 ) + RY (t1 − t2 )

Portanto, o processo estocástico Z(t) é W W S.

Processos Estocásticos Gaussianos

Aqui, introduz-se brevemente os processos estocásticos normais (Gaussianos).

Primeiro, relembra-se um pouco sobre vetores aleatórios Gaussianos. As variáveis aleatórias X1 , X2 , . . . , Xn


são ditas serem conjuntamente normais se, para todos a1 , a2 , . . . , an ∈ R, a variável aleatória

a1 X1 + a2 X2 + . . . an Xn

é uma variável aleatória normal. Também, um vetor aleatório

 
X1
 X2 
 
X=
 .. 

 . 
Xn
é dito ser normal ou Gaussiano se as variáveis aleatórias X1 , X2 , . . . , Xn são conjuntamente normais.
Uma propriedade de variáveis aleatórias conjuntamente normais é que sua função de densidade de proba-
bilidade conjunta fica completamente determinada pela sua matriz de médias e sua matriz de covariâncias.
Mais especificamente, para um vetor aleatório X com matriz de médias m e matriz de covariância C , a
função de densidade de probabilidade conjunta é dada por

fX (x) = n
1
√ exp{− 21 (x − m)T C−1 (x − m)}.
(2π) 2 detC
Resultado

Seja o vetor aleatório (X1 , X2 ) tendo distribuição normal bivariada, isto é,
! !!
µ1 σ12 σ12
(X1 , X2 ) ∼ N , .
µ2 σ12 σ22
σ12 (x2 −µ2 ) 
Então X1 |X2 = x2 ∼ N µ1 + σ22
, (1 − ρ2 )σ12 .

σ12
Note que ρ = σ1 σ2 e que
! !
σ12 σ12 V ar(X1 ) Cov(X1 , X2 )
= .
σ12 σ22 Cov(X1 , X2 ) V ar(X2 )

Define-se agora processos estocásticos Gaussianos.

Um processo estocástico {X(t), t ∈ T } é dito ser um processo estocástico Gaussiano se, para todos

t1 , t2 , . . . , tn ∈ T ,

as variáveis aleatórias X(t1 ), X(t2 ), . . . , X(tn ) são conjuntamente normais.

Exemplo

2
Seja X(t) um processo estocástico Gaussiano W W S de média zero, com RX (τ ) = e−τ , para τ ∈ R.

1. Calcule P [X(1) < 1];

2. Encontre P [X(1) + X(2) < 1].

Resposta

Tem-se que

V ar[X(1)] = E[X(1)2 ] − µ2X (1)


= RX (0) − 02
2
= e−0
= 1.

Assim,

X(1) − µX (1)] 1 − µX (1)


P [X(1) < 1] = P[ p <p ]
V ar[X(1)] V ar[X(1)]
= Φ(1)
= 0, 8413.
Agora, Seja Y = X(1) + X(2). Tem-se que que µY = E(Y ) = 0 e

V ar[Y ] = V ar[X(1) + X(2)]


= V ar[X(1)] + V ar[X(2)] + 2.cov[X(1), X(2)]
= 1 + 1 + 2.[RX (−1) − µX (1).µX (2)
2
= 2 + 2.[e−(−1) − 0.0]
2
= 2+ .
e
Dessa forma, conclui-se que Y ∼ N (0, 2 + 2e ), e portanto,

P [X(1) + X(2) < 1] = P [Y < 1]


Y − µY 1−0
= P[p <q ]
V ar(Y ) 2 + 2e
= Φ(0, 605)
= 0, 7274.

Exercı́cios

Problema 1

Seja Y1 , Y2 , Y3 , . . . uma sequência de variáveis aleatórias independentes e identicamente distribuı́das (i.i.d)


com média E(Yi ) = 0 e V ar(Yi ) = 4. Defina o processo estocástico a tempo discreto {X(n), n ∈ N } como

X(n) = Y1 + Y2 + · · · + Yn , para todo n ∈ N .

Encontre µX (n) e RX (m, n), para todos m, n ∈ N .

Problema 2

Seja X(t) um processo estocástico W W S a tempo contı́nuo com µX = 1 e



3 - |τ |, se −2 ≥ τ ≤ 2;
RX (τ ) =
1, caso contrário.

a) Encontre a potência média de X(t);

b) Encontre E[(X(1) + X(2) + X(3))2 ].

Problema 3

Seja X(t) um processo estocástico Gaussiano com


muX (t) = t, e RX (t1 , t2 ) = 1 + 2t1 t2 , para todos t, t1 , t2 ∈ R.

Encontre P [2X(1) + X(2) < 3].

Problema 4

Seja {Xn , n ∈ Z} um processo estocástico a tempo discreto, definido como

Xn = 2cos( πn
8 + Φ),

com Φ ∼ U [0, 2π].

a) Encontre a função média de µX (n);

b) Encontre a função de autocorrelação RX (m, n);

c) O processo Xn é W W S? Justifique!

Problema 5

Seja {X(t), t ∈ R} um processo estocástico a tempo contı́nuo, definido como

X(t) = A.cos(2.t + Φ),

em que A ∼ U [0, 1] e Φ ∼ U [0, 2π] são duas variáveis aleatórias independentes.

a) Encontre a função média de µX (t);

b) Encontre a função de autocorrelação RX (t1 , t2 );

c) O processo X(t) é W W S? Justifique!

Problema 6

X(t) é um processo estocástico W W S com potência média igual a 1. Seja Φ denotando uma variável
aleatória com distribuição uniforme em [0, 2π], independente de X(t).

a) Qual é a E[X(t)2 ]?

b) Encontre E[cos(2πfc + Φ)]?

c) Seja Y (t) = X(t)cos(2πfc + Φ). Qual é a E[Y (t)]?

d) Qual é a potência média de Y (t)?


Processamento de Sinais Aleatórios

Nesta seção, estuda-se o que acontece quando um sinal aleatório W W S passa através de um Sistema Linear
Invariante no Tempo (LIT). Tais cenários são encontrados em muitas situações reais, como por exemplo
em Comunicações e Processamento de Sinais. Um resultado principal dessa seção é que se a entrada de
um sistema LIT é um processo estocástico W W S, então a saı́da é também um processo estocástico W W S.
Além disso, a entrada e a saı́da são conjuntamente W W S. Para melhor entender esses sistemas, discute-se
os sinais aleatórios no domı́nio da frequência.

Densidade Espectral de Potência

Até aqui, foram estudados os processos estocásticos no domı́nio do tempo. Frequentemente, é muito útil
estudar esses processos no domı́nio da frequência também. Para isso, precisa-se utilizar a transformada de
Fourier. Aqui, assume-se que o leitor esteja familiarizado com a transformada de Fourier.

Considere um processo estocástico X(t), W W S, com função de autocorrelação RX (τ ). Define-se a Densi-


dade Espectral de Potência (PSD) de X(t) como a transformada de Fourier de RX (τ ). Denota-se a
P SD de X(t) por SX (f ). Mais especificamente, escreve-se

R∞
SX (f ) = F{RX (τ )} = −∞
RX (τ )e−2jπf τ dτ ,


em que j = −1.

Desta definição, conclui-se que RX (τ ) pode ser obtida pela transformada inversa de Fourier de SX (f ).
Isto é,

R∞
RX (τ ) = F −1 {SX (f )} = −∞
SX (f )e2jπf τ df .

Como visto anteriormente, se X(t) é um processo estocástico assumindo valores reais, então RX (τ ) as-
sume valores reais e é uma função par τ . Das propriedades da transformada de Fourier, conclui-se que
SX (f ) também assume valores reais e é uma função par de f . Além disso, SX (f ) é não negativa para todo
f . Ou seja,

1. SX (−f ) = SX (f ), para todo f ;

2. SX (f ) ≥ 0, para todo f .

Antes de seguir, considera-se a ideia por trás da P SD. Para isso, escolhe-se τ = 0. Sabe-se que a potência
média de X(t) é dada por
Z ∞
E[X(t)2 ] = RX (0) = SX (f )e2jπf.0 df
−∞
Z ∞
= SX (f )df.
−∞

Conclui-se que a potência média de X(t) pode ser obtida integrando a P SD de X(t). Este fato, ajuda a
entender o porque de SX (f ) ser chamada de densidade espectral de potência.

Exemplo

Considere um processo estocástico X(t) com

RX (τ ) = e−a.|τ | ,

em que a é um número real positivo. Encontre a P SD de X(t).

Resposta

Z ∞
SX (f ) = RX (τ )e−2jπf.τ dτ
−∞
Z ∞
= e−a.|τ | .e−2jπf.τ dτ
−∞
Z ∞
= e−a.|τ |−2jπf.τ dτ
−∞
Z 0 Z ∞
= e(a−2jπf )τ dτ + e−(a+2jπf )τ dτ
−∞ 0
1 1
= +
(a − 2jπf ) (a + 2jπf )
a + 2jπf + (a − 2jπf )
=
(a − 2jπf )(a + 2jπf )
2a
=
a2 + 4π 2 f 2

Densidade Espectral Cruzada

Para dois processos estocásticos X(t) e Y (t), conjuntamente W W S, define-se a densidade espectral de
potência cruzada SXY (f ) como a transformada de Fourier da função de correlação cruzada RXY (τ ). Isto
é,

R∞
SXY (f ) = F{RXY (τ )} = −∞
RXY (τ )e−2jπf τ dτ .
Sistemas Lineares Invariantes no Tempo com Entradas Aleatórias

Um sistema linear invariante no tempo (LIT ) pode ser representado por sua resposta ao impulso (Figura
2). Mais especificamente, se X(t) é o sinal de entrada ao sistema, a saı́da, Y (t), pode ser escrita como

R∞ R∞
Y (t) = −∞
h(α)X(t − α)dα = −∞
X(α)h(t − α)dα.

A integral acima é chamada de convolução de h e X, e escreve-se

Y (t) = h(t) ∗ X(t) = X(t) ∗ h(t).

Note que como o nome sugere, a resposta ao impulso pode ser obtida se a entrada ao sistema for esco-
lhida para ser a função de impulso unitário (função delta) x(t) = δ(t). Para sistemas a tempo discreto, a
saı́da pode ser escrita como (Figura 2)


X
Y (n) = h(n) ∗ X(n) = X(n) ∗ h(n) = h(k)X(n − k)
k=−∞
X∞
= X(k)h(n − k).
k=−∞

A função de impulso unitário a tempo discreto é definida como



1, se n = 0;
δ(n) =
0, caso contrário.

Figura 2 – Sistemas LIT

Considere um sistema LIT com resposta ao impulso h(t). Seja X(t) um processo estocástico W W S. Se
X(t) é a entrada do sistema, então a saı́da, Y (t), é também um processo estocástico. Mais especificamente,
escreve-se
Y (t) = h(t) ∗ X(t)
Z ∞
= h(α)X(t − α)dα.
−∞

O objetivo aqui é mostrar que X(t) e Y (t) são processos estocásticos conjuntamente W W S.

Tem-se que

µY (t) = E[Y (t)]


Z ∞
= E[ h(α)X(t − α)dα]
−∞
Z ∞
= h(α)E[X(t − α)]dα
−∞
Z ∞
= h(α)µX dα
−∞
Z ∞
= µX h(α)dα.
−∞

Nota-se que µY (t) não é função de t.

Agora, calcula-se a função de correlação cruzada RXY (t1 , t2 ), isto é

RXY (t1 , t2 ) = E[X(t1 )Y (t2 )]


Z ∞
= E[X(t1 ) h(α)X(t2 − α)dα]
−∞
Z ∞
= E[ h(α)X(t1 )X(t2 − α)dα]
−∞
Z ∞
= h(α)E[X(t1 )X(t2 − α)]dα
−∞
Z ∞
= h(α)RX (t1 , t2 − α)dα
−∞
Z ∞
= h(α)RX (t1 − t2 + α)dα
−∞
Z ∞
= h(α)RX (τ + α)dα.
−∞

Note que RXY (t1 , t2 ) é uma função somente de τ = t1 − t2 e assim pode-se escrever
Z ∞
RXY (τ ) = h(α)RX (τ + α)dα
−∞
= h(τ ) ∗ RX (−τ )
= h(−τ ) ∗ RX (τ )

Similarmente, mostra-se que RY (t1 , t2 ) = h(τ ) ∗ h(−τ ) ∗ RX (τ ).(Exercı́cio)

Desses resultados, conclue-se que X(t) e Y (t) são conjuntamente W W S. O teorema seguinte sumariza
esses resultados.

Teorema. Seja X(t) um processo estocástico W W S e Y (t) dado por

Y (t) = h(t) ∗ X(t),

em que h(t) é a resposta ao impulso do sistema. Então, X(t) e Y (t) são conjuntamente W W S. Além
disso,
R∞
1. µY (t) = µY = µX h(α)dα;
−∞
R∞
2. RXY (τ ) = h(−τ ) ∗ RX (τ ) = −∞ h(−α)RX (t − α)dα

3. RY (τ ) = h(τ ) ∗ h(−τ ) ∗ RX (τ ).

Análise do domı́nio da frequência


Agora, escreve-se as afirmações do Teorema anterior no domı́nio da frequência.

Seja H(f ) a transformada de Fourier de h(t),

R∞
H(f ) = F{h(t)} = ∞
h(t)e−2jπf t dt

H(f ) é chamada de função de transferência do sistema. Pode-se escrever

R∞
µY = µX −∞
h(α)dα

como µY = µX H(0).

Desde de que h(t) assuma valores reais, tem-se que

F{h(−t)} = H(−f ) = H ∗ (f ),

em que ∗ denota o conjugado complexo. Tomando a transformada de Fourier em ambos os lados de


RXY (τ ) = RX (τ ) ∗ h(−τ ), chega-se a

SXY (f ) = SX (f )H(−f ) = SX (f )H ∗ (f ).
Finalmente, tomando a transformada de Fourier em ambos os lados de

RY (τ ) = h(τ ) ∗ h(−τ ) ∗ RX (τ ), conlui-se que

SY (f ) = SX (f )H ∗ (f )H(f )
= SX (f )|H(f )|2 .

Exemplo

Seja X(t) um processo estocástico W W S de média zero, com RX (τ ) = e−|τ | . X(t) é a entrada para
um sistema LIT com
p
 1 + 4π 2 f 2 , se |f | < 2;
|H(f )|=
0, caso contrário.
Seja Y (t) a saı́da desse processo.

a) Encontre µY (t);

b) Encontre RY (τ );

c) Calcule E[Y (t)2 ].

Resposta

Tem-se que

µY (τ ) = µX H(0)
= 0.

Agora para encontrar RY (t) é preciso calcular Sy (f ). Do exemplo anterior, tem-se, tomando a = 1, que

2
SX (f ) = 1+4π 2 f 2 .

E assim.

SY (f ) = SX (f )|H(f )|2
2
= .(1 + 4π 2 f 2 )
1 + 4π 2 f 2
= 2,

para |f | < 2.
Agora, pode-se calcular RY (τ ) tomando a transformada inversa de Fourier de SY (f ), isto é,
Z ∞
RY (τ ) = SY (f )e2jπ.τ.f df
−∞
Z 2
= 2e2jπ.τ.f df
−2
2.(e4jπτ − e−4jπτ )
=
2jπτ
= 8.sinc(4τ ),

em que

sen(πf )
sinc(f ) = πf .

Por fim,

E[Y (t)2 ] = RY (0) = 8 *Processos Gaussianos através de Sistemas LIT


Seja X(t) um processo estocástico estacionário Gaussiano que passa por um sistema LIT com resposta
ao impulso h(t). Então, a saı́da do processo é dada por

Y (t) = h(t) ∗ X(t)


Z ∞
= h(α)X(t − α)dα.
−∞

Para cada t, pode-se pensar da integral acima como o limite de uma soma. Agora, como as diferentes
somas de variáveis aleatórias conjuntamente normais são também conjuntamente normais, pode-se argu-
mentar que Y (t) é também um processo estocástico Gaussiano. Além disso, conclui-se que X(t) e Y (t) são
conjuntamente normais. Note que para processos Gaussianos, estacionariedade e estacionariedade no sentido
amplo são a mesma coisa.

Exemplo

Seja X(t) um processo Gaussiano W W S de média zero, com RX (τ ) = 8.sinc(4τ ). Suponha que X(t) é
a entrada de um sistema LIT com função de transferência

 1 , se |f | < 1;
|H(f )| = 2
0, caso contrário
Se Y (t) é a saı́da desse processo, determine P [Y (2) < 1|Y (1) = 1].

Resposta

Como X(t) é um processo Gaussiano W W S, Y (t) é também um processo Gaussiano W W S, e portanto, é


suficiente encontrar µY e RY (τ ). Como µX = 0, µY = µX .H(0) = 0.
Agora, note que, do exemplo anterior,

2, se |f | < 2;
SX (f ) =
0, caso contrário.
Assim,

SY (f ) = SX (f )|H(f )|2
1
= 2.
4
1
= ,
2
para |f | < 1.

Dessa forma,
Z ∞
RY (τ ) = SY (f )e2jπ.τ.f df
−∞
Z 1
1 2jπ.τ.f
= e df
−1 2
(e2jπτ − e−2jπτ )
=
4jπτ
1 (e2jπτ − e−2jπτ )
=
2πτ 2j
sen(2πτ )
=
2πτ
= sinc(2τ ).

Portanto,

V ar[Y (t)] = E[Y (t)2 ] − µY (t)2


= RY (0) − 02
= 1.

Daı́, conclui-se que Y (t) ∼ N (0, 1). Como Y (1) e Y (2) são conjuntamente normais, para determinar sua
função de densidade de probabilidade conjunta, basta encontrar a sua covariância. Isto é,

CY (1, 2) = E[Y (1)Y (2)] − µY (1)µY (2)


= RY (1 − 2)
= sinc[2.(−1)]
sen(−2π)
=
−2π
= 0

Como a covariância entre Y (1) e Y (2) é zero, e os dois são conjuntamente normais, conclui-se que eles são
independentes, e portanto,
P [Y (2) < 1|Y (1) = 1] = P [Y (2) < 1]
= Φ(1)
= 0, 8413.

Ruı́do Branco
Um processo estocástico comumente muito utilizado é o ruı́do branco. Ruı́do branco é frequentemente
usado para modelar ruı́do térmico em sistemas eletrônicos. Por definição, o processo estocástico X(t) é cha-
mado ruı́do branco se SX (f ) é constante para todas frequências. Por convenção, a constante é usualmente
N0
denotada por 2 , isto é,

N0
SX (f ) = 2 , ∀f .

O ruı́do térmico em sistemas eletrônicos é usualmente modelado como um processo ruı́do branco Gaus-
siano. É usualmente assumido que ele tem média zero e é Gaussiano.

A função de autocorrelação de um processo ruı́do branco é


N0
RX (τ ) = F −1 { }
2
N0
= δ(τ ),
2

∞, se x = 0;
em que δ(τ ) é a função delta de Dirac, isto é, δ(x) =
0, caso contrário.
Isso mostra que o ruı́do branco tem potência média infinita, E[X(t)2 ] = RX (0). Note ainda que
RX (τ ) = 0 para algum τ 6= 0. Isto significa que X(t1 ) e X(t2 ) são não correlacionados para algum t1 6= t2 .
Portanto, para um processo ruı́do branco Gaussiano, X(t1 ) e X(t2 ) são independentes para algum t1 6= t2 .

Exemplo

Seja X(t) um processo ruı́do branco Gaussiano que é a entrada de um sistema LIT com função de trans-
ferência

2, se 1 < |f | < 2;
|H(f )|=
0, caso contrário.

Se Y (t) é a saı́da, encontre P [Y (1) < N0 ].

Resposta

Como X(t) é a entrada de um processo ruı́do branco Gaussiano de média zero, Y (t) também é um pro-
N0
cesso Gaussiano de média zero. Além disso, note que SX (f ) = 2 , e portanto

SY (f ) = SX (f )|H(f )|2
N0
= .4
2
= 2N0 ,

para 1 < |f | < 2.

Agora, calcula-se a V ar[Y (1)]. Para isso, perceba que 1 < |f | < 2 é equivalente ao conjunto

S = {f ∈ R/ − 2 < f < −1 ou 1 < f < 2}, e portanto

V ar[Y (1)] = E[Y (1)2 ] − µ2Y


= RY (0)
Z ∞
= SY (f )df
Z−∞
= 2N0 df
S
Z −1 Z 2
= 2N0 df + 2N0 df
−2 1
= 2N0 (−1 + 2 + 2 − 1)
= 4N0 .

Logo, Y (1) ∼ N (0, 4N0 ), e assim



p Y (1) N0
P [Y (1) < N0 ] = P[√ <√ ]
4N0 4N0
= Φ(0, 5)
= 0, 6915.

Exercı́cios

Problema 1

Seja X(t) um processo estocástico W W S a valores reais com função de autocorrelação RX (τ ). Mostre
que a densidade espectral de potência (P SD) de X(t) é dada por

R0
SX (f ) = 2 −∞
RX (τ )cos(2πf τ )dτ .

Problema 2

2
Seja X(t) um processo estocástico Gaussiano W W S de média zero com RX (τ ) = e−πτ . Suponha que
X(t) seja a entrada de um sistema LIT com função de transferência

3 2
|H(f )| = e− 2 πf .

Seja Y (t) a saı́da.


a) Encontre µY ;

b) Calcule RY (τ ) e V ar[Y (t)];

c) Encontre E[Y (3)|Y (1) = −1];

d) Calcule V ar[Y (3)|Y (1) = −1];

e) Calcule P [Y (3) < 0|Y (1) = −1].

Problema 3

Um processo estocástico X(t), W W S, tem função de autocorrelação dada por RX (τ ) = Ae−b|τ | , com b > 0.
Derive a densidade espectral de potência (P SD) de X(t) e calcule E[X(t)2 ].

Problema 4

Um processo estocástico X(t), W W S, com função de autocorrelação dada por RX (τ ) = e−b|τ | , é a en-
trada de de um filtro RC com resposta ao impulso

(1/RC)e−t/RC , se t ≥ 0;
h(t) =
0, caso contrário.
Assumindo que b > 0 e b 6= 1/RC, encontre SY (f ) e RY (τ ). Qual é a potência média da saı́da Y (t) do
processo estocástico?

Problema 5

A entrada X(t) de um sistema LIT é um processo estocástico W W S com µX = 4 volts. A saı́da Y (t)
do sistema é um processo estocástico W W S com valor esperado µY = 1 volt. A resposta ao impulso do
sistema é

e−t/a , se t ≥ 0;
h(t) =
0, caso contrário.
Qual é o valor da constante a?

Problema 6

A entrada X(t) de um sistema LIT é um processo estocástico W W S com µX = −3 volts. A resposta


ao impulso do sistema é

1 − 106 t2 , se 0 ≤ t ≤ 10−3 s;
h(t) =
0, caso contrário.
Qual é o valor esperado da saı́da Y (t) do processo?

Problema 7
N0
Seja X(t) um ruı́do branco Gaussiano com SX (f ) = 2 . Assuma que X(t) é a entrada de um filtro
passa baixas com resposta à frequência

2, se 1 < |f | < 3;
H(f ) =
0, caso contrário.
Seja Y (t) a saı́da do filtro.

a) Encontre SY (f );

b) Calcule RY (τ );

c) Calcule E[Y (t)2 ].


Alguns Processos Estocásticos Importantes

Nas seções anteriores discutiu-se a teoria geral de Processos Estocásticos. Esta seção concentra-se em alguns
processos estocásticos especı́ficos que são usados frequetemente em aplicações. Mais especificamente, discute-
se o Processo de Poisson, Cadeias de Markov e o Processo de Wiener (Movimento Browniano).

Processo de Poisson

Um processo estocástico {N (t), t ≥ 0} é dito ser um processo de contagem se N (t) representa o número
total de eventos que ocorreram até o tempo t. Portanto, um processo de contagem deve satisfazer

(i) N (t) ≥ 0;

(ii) N (t) assume valores inteiros;

(iii) Se s < t, então N (s) ≤ N (t);

(iv) Para s < t, N (t) − N (s) é o número de eventos que ocorreram no intervalo (s, t].

Um processo de contagem {N (t), t ≥ 0} é dito possuir incrementos independentes se, para todos
0 ≤ t1 ≤ t2 ≤ · · · ≤ tn , as variáveis aleatórias

N (t2 ) − N (t1 ), N (t3 ) − N (t2 ), N (t4 ) − N (t3 ), . . . , N (tn ) − N (tn−1 )

são independentes.

Um processo de contagem é dito possuir incrementos estacionários se a distribuição do número de eventos


que ocorrem em qualquer intervalo de tempo depende apenas do comprimento do intervalo de tempo. Em
outras palavras, se o número de eventos que ocorrem no intervalo (t1 + s, t2 + s] (N (t2 + s) − N (t1 + s))
tem a mesma distribuição do número de eventos que ocorrem no intervalo (t1 , t2 ] (N (t2 ) − N (t1 )), para todo
t1 < t2 , e s > 0.

Um dos mais importantes tipos de processos de contagem é o Processo de Poisson, definido a seguir.

Definição. O processo de contagem {N (t), t ≥ 0} é dito ser um Processo de Poisson com taxa λ > 0,
se

(i) N (0) = 0;

(ii) O processo tem incrementos independentes;

(iii) O número de eventos que ocorrem em qualquer intervalo de tamanho t tem distribuição de Poisson
com média λt. Isto é, para todo s, t ≥ 0,

e−λt k
P [N (t + s) − N (s) = k] = k! (λt) , k ∈ {0, 1, 2, . . . }.
Note que segue da condição (iii) que o processo de Poisson tem incrementos estacionários e também que

E[N (t)] = t,

o que explica o fato de λ ser chamada de taxa do processo, uma vez que o número esperado de eventos
E[N (t)]
por unidade de tempo é t = λ.

Exemplo

O número de clientes que chegam em um armazém pode ser modelado por um processo de Poisson com
taxa de 10 clientes por hora.

a) Encontre a probabilidade de chegarem 2 clientes entre 10 : 00 hrs e 10 : 20;

b) Calcule a probabilidade de chegarem 3 clientes entre 10 : 00 hrs e 10 : 20, e 7 clientes entre 10 : 20 hrs
e 11 : 00.

Resposta

a) Tem-se que N (t) − N (s) ∼ P ois(λ(t − s)), com s < t e assim

e−10.(20/60)
P [N (20/60) = 2] = [10.(20/60)]2
2!
= 0, 1982.

b) Agora, como os intervalos são disjuntos, tem-se

P [N (20/60) = 3, N (40/60) = 7] = P [N (1/3) = 3]P [N (2/3) = 7]


e−10.(1/3) e−10.(2/3)
= [10.(1/3)]3 . [10.(2/3)]7
3! 7!
= 0, 0325.

Teorema. Para um processo de Poisson de taxa λ, os tempos entre chegadas X1 , X2 , . . . são uma
sequência de variáveis aleatórias independentes e identicamente distribuı́das com a função de densidade
de probabilidade exponencial

λe−λx , se x ≥ 0;
f (x) =
0, caso contrário.

A propriedade da falta de memória do processo de Poisson pode ser vista na exponencial dos tempos entre
chegadas. Como P (Xn > x) = e−λx , a probabilidade condicional de Xn > t + x, dado que Xn > t, é
P [Xn > t + x, Xn > t]
P [Xn > t + x|Xn > t] =
P [Xn > t]
= e−λx . (Exercı́cio)

A interpretação dessa propriedade é que se o evento não ocorreu até o tempo t, o tempo adicional até a
ocorrência desse evento, Xn − t, tem a mesma distribuição exponencial que Xn . Isto é, não importa o quanto
se tenha esperado pelo evento, o tempo restante até a sua ocorrência continua sendo uma variável aleatória
exponencial com parâmetro λ.

Exemplo

Seja N (t) um processo de Poisson com taxa λ = 2, e X1 , X2 , . . . os correspondentes tempos entre chegadas.

a) Encontre a probabilidade de que a primeira chegada ocorra depois de t = 0, 5;

b) Se não houve chegadas antes de t = 1, encontre P [X1 > 3];

c) Dado que a terceira chegada ocorreu no tempo t = 2, encontre a probabilidade de que a quarta
chegada ocorra depois de t = 4;

d) Comece observando o processo no tempo t = 10. Seja T o tempo da primeira chegada observada.
Em outras palavras, T é a primeira chegada depois de t = 10. Calcule E[T ] e V ar[T ];

e) Comece observando o processo no tempo t = 10. Seja T o tempo da primeira chegada obser-
vada.Encontre a esperança condicional e a variância condicional de T dado que a última chega
tenha ocorrido em t = 9.

Resposta

a) Deseja-se P [X1 > 0, 5], isto é,

P [X1 > 0, 5] = e−2.0,5


= e−1 .

b) Tem-se que

P [X1 > 3|X1 > 1] = P [X1 > 1 + 2|X1 > 1]


= e−2.2
= e−4 . falta de memória

c) Deseja-se P [X4 > 4|X3 = 2], ou seja,

P [X4 > 4|X3 = 2] = P [X1 > 4|X1 > 2]


= e−2.2
= e−4 . falta de memória

d) Defina T = 10 + X, em que X ∼ exp(2). Dessa forma,

E[T ] = E[10 + X]
= 10 + E[X]
1
= 10 +
2
21
=
2
e

V ar[T ] = V ar[10 + X]
= V ar[X]
1
=
4
e) Na verdade, o conhecimento do que aconteceu antes de t = 10 não impacta a distribuição da
primeira chegada depois de t = 10. Isto é, se A é o evento que representa a ocorrência da última
chegada em t = 9, tem-se

E[T |A] = E[T ]


21
=
2
e

V ar[T |A] = V ar[T ]


1
= .
4
Exercı́cios

Problema 1

Seja {N (t), t ≥ 0} um processo estocástico com taxa λ. Mostre que a função de autocovariância é dada
por

CN (s, t) = λmin(s, t).

Problema 2

Seja {N (t), t ≥ 0} um processo de Poisson com intensidade λ. Mostre que a variável aleatória do número
de eventos que ocorrem em (0, s] condicionada à ocorrência de exatamente n eventos no intervalo (0, t], com
s < t e k ∈ {0, 1, 2, . . . , n}, tem distribuição Binomial de parâmetros n e p = st .

Problema 3

O número de pedidos que chegam em um local de serviços de instalação pode ser modelado por um processo
de Poisson com taxa λ = 10 pedidos por hora.

a) Encontre a probabilidade de não existirem pedidos entre 10 : 30 hrs e 11 : 00 hrs;

b) Encontre a probabilidade de que existam 3 pedidos entre 10 : 30 hrs e 11 : 00 hrs, e 7 pedidos


entre 11 : 30 hrs e 12 : 00 hrs.

Problema 4

Seja {N (t), t ≥ 0} um processo de Poisson com taxa λ. Encontre a probabilidade de duas chegadas em
(0, 2] ou três chegadas entre (4, 7].
Cadeias de Markov a Tempo Discreto

Definição. O processo estocástico {Xn , n ∈ N } com espaço de estados Z é chamado de Cadeia de Markov
a Tempo Discreto se, para cada n ∈ {0, 1, 2, . . . },

P [Xn+1 = in+1 |X0 = i0 , X1 = i1 , . . . , Xn = in ] = P [Xn+1 = in+1 |Xn = in ].

para todos possı́veis valores i0 , i1 , i2 , . . . , in+1 ∈ Z.

A condição da definição acima é chamada de propriedade de Markov. Em outras palavras, o com-


portamento probabilı́stico futuro do processo depende apenas do estado presente e não é influenciado por
sua história passada.

Se Xn = i, então o processo é dito estar no estado i no tempo n. Supõe-se que sempre que o processo
está no estado i, existe um probabilidade fixa pij de que em seguida estará no estado j, tal que

(i) pij ≥ 0, para todos i, j ∈ Z;


P
(ii) j∈Z pij = 1 para todo i ∈ Z.

Para cadeias de Markov a tempo discreto,

pij = P [Xn+1 = j|Xn = i].

A probabilidade pij é chamada de probabilidade de transição do estado i para o estado j em um passo.

As probabilidades de transição em um passo são combinadas na matriz de transição de probabilidades


em um passo (ou abreviadamente matriz de transição) P:
 
p00 p01 p02 ...
 
 p10 p11 p12 ... 
 
 .. .. .. 
P=
 . . . ... 

 pi0 pi1 pi2 ... 
 
.. .. ..
 
. . . ...

para uma cadeia de Markov com espaço de estados N.

As probabilidades de transição em m passos da cadeia de Markov são definidas como

(m)
pij = P [Xn+m = j|Xn = i]; com m ∈ {1, 2, 3, . . . }.

Teorema (Equações de Chapman-Kolmogoroff ). Para todos n, m ∈ {0, 1, 2, . . . },

(m) P (r) (m−r)


pij = k∈Z pik pjk , para todos r ∈ {0, 1, 2, . . . m}.
Prova

Para 0 ≤ r ≤ m, tem-se
(m)
pij = P [Xm = j|X0 = i]
X
= P [Xm = j, Xr = k|X0 = i]
k∈Z
X P [Xm = j, Xr = k, X0 = i]
=
P [X0 = i]
k∈Z
X P [X0 = i]P [Xr = k|X0 = i]P [Xm = j|Xr = k, X0 = i]
=
P [X0 = i]
k∈Z
X
= P [Xr = k|X0 = i]P [Xm = j|Xr = k]
k∈Z
(r) (m−r)
X
= pik pkj ,
k∈Z

o que conclui a prova.

É conveniente definir ainda que



1, se j = i;
(0)
pij =
0, se j 6= i.

Simplifica-se a notação, quando introduz-se a matriz de probabilidades de transição em m passos da


cadeia de Markov:

(m) (m) (m)


 
p00 p01 p02 ...
 (m) (m) (m) 
 p10 p11 p12 ... 
 
 . .. ..
.

P(m) =
 . . . ... 

 (m) (m) (m)
 pi0 pi1 pi2 ... 

.. .. ..
 
. . . ...
com m ∈ N .

Dessa forma, as equações de Chapman-Kolmogorov podem ser escritas na forma elegante

P(m) = P(r) P(m−r) , r ∈ {1, 2, . . . , m}.

Esta relação implica que

P(m) = Pm .

Diagrama de Transição de Estados


A cadeia de Markov é usualmente representada por um diagrama de transição de estados. Considere uma
cadeia de Markov com três estados possı́veis 1,2 e 3 com as seguintes probabilidades de transição:
 1 1 1

4 2 4
P= 1 2
0
 
3 3 
1 1
2 0 2

A Figura 3 mostra o diagrama de transição de estados para a cadeia de Markov acima. Neste diagrama,
existem três estados possı́veis 1, 2 e 3, e as setas de cada estado a outro mostra as probabilidades de transição
pij . Quando não existe seta do estado i ao estado j significa que pij = 0.

Figura 3 – Diagrama de Transição de Estados

Exemplo

Considere a cadeia de Markov mostrada na Figura 3.

a) Encontre P [X4 = 3|X3 = 2];

b) Encontre P [X3 = 1|X2 = 1];

c) Se P [X0 = 1] = 13 , encontre P [X0 = 1, X1 = 2];

d) Se P [X0 = 1] = 31 , encontre P [X0 = 1, X1 = 2, X2 = 3].

Resposta

a) P [X4 = 3|X3 = 2] = p23 = 23 ;

b) P [X3 = 1|X2 = 1] = p11 = 14 ;


c)

P [X0 = 1, X1 = 2] = P [X1 = 2|X0 = 1]P [X0 = 1]


= p12 P [X0 = 1]
1 1
= .
2 3
1
=
6

d)

P [X0 = 1, X1 = 2, X2 = 3] = P [X0 = 1]P [X1 = 2|X0 = 1]P [X2 = 3|X1 = 2, X0 = 1]


= P [X0 = 1]P [X1 = 2|X0 = 1]P [X2 = 3|X1 = 2]
= P [X0 = 1]p12 p23
1 1 2
= . .
3 2 3
1
= .
9

Distribuição de Probabilidade dos Estados

Considere uma cadeia de Markov {Xn , n ∈ N }, com espaço de estados E = {1, 2, 3, . . . , r}. Suponha
que se conheça a distribuição de probabilidade de X0 . Mais especificamente, define-se o vetor linha π (0)
como

π (0) = [P (X0 = 1) P (X0 = 2) P (X0 = 3) . . . P (X0 = r)]

Pode-se utilizar a lei da probabilidade total para determinar a distribuição de probabilidade de X1 , X2 , . . . .


Mais precisamente, para qualquer j ∈ E, pode-se escerver
r
X
P [X1 = j] = P [X1 = j, X0 = k]
k=1
Xr
= P [X1 = j|X0 = k]P [X0 = k]
k=1
Xr
= pkj P [X0 = k].
k=1

Genericamente, define-se

π (n) = [P (Xn = 1) P (Xn = 2) P (Xn = 3) . . . P (Xn = r)],

cujo resultado pode ser escrito na forma de multiplicação de matrizes, isto é

π (1) = π (0) P ,

em que P é a matriz de transição de probabilidades dos estados. De forma similar, pode-se escrever
π (2) = π (1) P = π (0) P 2 .

Mais genericamente, pode-se escrever

π (n+1) = π (n) P = π (0) P n+1 , para n ∈ {0, 1, 2, . . . }.

Exemplo

Considere um sistema que pode estar em um dos dois estados possı́veis, E = {0, 1}. Em particular, su-
ponha que a matriz de transição de probabilidades é dada por
" #
1 1
2 2
P= 1 2
3 3

Suponha que o sistema está no estado 0 no tempo n = 0, isto é, X0 = 0.

a) Faça o diagrama de transição dos estados;

b) Encontre a probabilidade do sistema estar no estado 1 no tempo n = 3.

Resposta

a) A Figura 4 mostra o diagrama de transição de estados.

Figura 4 – Diagrama de Transição de Estados

b) Primeiro, note que a distribuição de probabilidade do estado inicial é

π (0) = [1 0].

Para encontrar a probabilidade desejada precisa-se calcular a distribuição de probabilidade de


X3 , isto é,

π (3) = π 0 .P 3
" #3
1 1
2 2
= [1 0]. 1 2
3 3
h 29 43 i
= .
72 72
43
E portanto, P [X3 = 1] = 72 .

Classificação dos Estados da Cadeia de markov

Para melhor entender as cadeias de Markov, precisam-se introduzir algumas definições. A primeira de-
las é quanto à acessibilidade de um estado a outros. Se é possı́vel ir do estado i ao estado j, diz-se que o
estado j é acessı́vel do estado i. Em particular, pode-se dar a definição a seguir.
(n)
Diz-se que o estado j é acessı́vel do estado i, escreve-se i → j, se pij > 0 para algum n. Assume-se que
(0)
cada estado é acessı́vel de si mesmo, isto é, pij = 1.

Diz-se ainda, que os estados i e j se comunicam, escreve-se i ↔ j, se eles são acessı́veis um de cada
outro. Em outras palavras,

i ↔ j significa que i → j e j → i.

Comunicação é uma relação de equivalência, no sentido de que

- Cada estado comunica consigo mesmo, i ↔ i;

- Se i ↔ j, então j ↔ i;

- Se i ↔ j e j ↔ k, então i ↔ k.

Portanto, os estados de uma cadeia de Markov podem ser particionados em classes comunicantes, tais que
apenas membros da mesma classe se comunicam com cada outro. Isto é, os estados i e j pertencem à mesma
classe se, e somente se, i ↔ j.

Exemplo Considere a cadeia de Markov da Figura 5. Assuma que quando existe um seta do estado i
para o estado j, então pij > 0. Encontre as classes de equivalência para esta cadeia de Markov.
Resposta

Note que o estado 1 se comunica apenas com o estado 2, por isso, formam a primeira classe. Além disso, o
estado 3 se comunica somente com o estado 4, formando a segunda classe. O estado 5 não se comunica com
nenhum outro estado, sendo a terceira classe. E por fim, os estados 6, 7 e 8 se comunicam entre si, formando
a quarta classe de equivalência. Isto é,

Classe 1 = {1, 2}

Classe 2 = {3, 4}
Figura 5 – Diagrama de Transição de Estados

Classe 3 = {5}

Classe 4 = {6, 7, 8}

Um cadeia de Markov é chamada de irredutı́vel se possui uma única classe de equivalência, ou seja, cada
estado se comunicam com todos os outros. Essa propriedade é é desejável, uma vez que simplifica a análise
do comportamento limite.

Na Figura 5, nota-se que existem dois tipos de classes. Em particular, se em algum tempo a cadeia de
Markov entra na classe 4, ele sempre ficará nessa classe. Para as outras classes isso não é verdade. Por
exemplo, se X0 = 1, então a cadeia de Markov pode permanecer na classe 1 por algum tempo, mas em al-
gum momento, ela deixará esta classe e nunca mais retornará a ela. Os estados na classe 4 são chamados de
estados recorrentes, enquanto que os outros estados dessa cadeia, são chamados de estados transientes.

Formalmente, para qualquer estado i, define-se

fii = P [Xn = i|X0 = i], para algum n ≥ 1.

O estado i é recorrente se fii = 1, e é transiente se fii < 1.

Na verdade, pode-se estender as definições acima para classes. Uma classe é dita recorrente se os esta-
dos nessa classe são recorrentes. Se, por outro lado, os estados da classe são transientes, a classe é chamada
de transiente.
Considere a cadeia de Markov mostrada na Figura 6. Existe um padrão periódico nessa cadeia. Começando
(n)
do estado zero, apenas retorna-se a esse estado em tempos n ∈ {3, 6, 9, . . . }. Em outras palavras, p00 = 0,
se n não é divisı́vel por 3. Tal estado é chamado de estado periódico com perı́odo d(0) = 3.

Figura 6 – Diagrama de Transição de Estados

(n)
O perı́odo de um estado i é o maior inteiro d satisfazendo a seguinte propriedade: pii = 0, sempre que n
(n)
não é divisı́vel por d. O perı́odo de i é denotado por d(i). Se pii = 0, para todo n > 0, então assume-se que
d(i) = ∞.

Se d(i) > 1, diz-se que o estado i é periódico;

Se d(i) = 1, diz-se que o estado i é aperiódico;

Pode-se mostrar que todos os estados na mesma classe de equivalência tem o mesmo perı́odo. Um classe é dita
ser periódica se seus estados são periódicos. Similarmente, uma classe é dita ser aperiódica se seus estados são
aperiódicos. Finalmente, uma cadeia de Markov é dita ser aperiódica se todos os seus estados são aperiódicos.

Se i ↔ j, então d(i) = d(j).

Uma cadeia de Markov diz-se ergódica se todos os estados forem recorrentes, aperiódicos e comunican-
tes. Considere uma cadeia de Markov finita irredutı́vel Xn :

a) Se existe uma transição a si mesmo na cadeia (pii > 0 para algum i), então a cadeia é aperiódica;
(l)
b) Suponha que se consiga ir do estado i a ele mesmo em l passos, isto é, pii > 0. Suponha também
(m)
que pii > 0. Se m.d.c(l, m) = 1, então a cadeia é aperiódica;
c) A cadeia é aperiódica se, e somente se, existe um inteiro positivo n tal que todos os elementos
da matriz P n são estritamente positivos, isto é,

(n)
pij > 0, para todos i, j ∈ E.

Exemplo

Considere a cadeia de Markov representada na Figura 5.

a) A Classe 1 = {1, 2} é aperiódica?

b) A Classe 2 = {3, 4} é aperiódica?

c) A Classe 4 = {6, 7, 8} é aperiódica?

Resposta

a) Note que p22 > 0, e portanto a classe é aperiódica.

b) Nessa classe, nota-se que estando no estado 3, pode-se voltar para ele em qualquer tempo n ∈
{2, 4, 6, . . . }, ou seja, d(3) = 2. O mesmo vale para o estado 4, que também tem perı́odo d(4) = 2.
E assim, a classe 2 é periódica.

c) A classe 4 é aperiódica. Por exemplo, note que é possı́vel ir do estado 6 para ele mesmo em dois
passos (6-7-6) e em três passos (6-7-8-6). Como m.d.c(2, 3) = 1, conclue-se que o estado 6 e sua
classe são aperiódicos.

Probabilidades de Absorção

Considere a cadeia de Markov mostrada na Figura 7.

Figura 7 – Diagrama de Transição de Estados

A matriz de transição de estados desta cadeia de Markov é dada pela seguinte matriz:
 
1 0 0 0
 1 2

 3 0 3 0 
P=
 0 1
.
1 
 2 0 2 
0 0 0 1

As classes desta cadeia de Markov são as seguintes.

Classe 1 = {0}
Classe 2 = {1, 2}

Classe 3 = {3}

Nota-se que o estado 0 da classe 1 é recorrente, os estados da classe 2 são transientes, e o estado da classe
3 é recorrente. Observa-se que os estados 0 e 3 têm a seguinte propriedade: uma vez que se entra nesses
estados nunca mais se sai deles. Por esta razão, são chamados de estados absorventes. O processo será
eventualmente absorvido em um desses estados. A primeira questão de interesse aqui é lidar com as proba-
bilidades de absorção.

Define-se ai como a probabilidade de absorção no estado 0 se a cadeia começou no estado i. Mais pre-
cisamente,

a0 = P [absorção no estado 0|X0 = 0],


a1 = P [absorção no estado 0|X0 = 1],
a2 = P [absorção no estado 0|X0 = 2],
a3 = P [absorção no estado 0|X0 = 3].

Pela definição acima, tem-se que a0 = 1 e a3 = 0. Para encontrar a1 e a2 usa-se a lei da probabilidade total
com recursão. A ideia é a seguinte: se Xn = i, então o próximo estado será Xn+1 = k com probabilidade
pik . Portanto, pode-se escrever

P
ai = ak pik , para i ∈ {0, 1, 2, 3}.
k

Resolvendo as equações acima encontram-se os valores de a1 e a2 . Isto é,

a0 = a0
1 2
a1 = a0 + a2
3 3
1 1
a2 = a1 + a3
2 2
a3 = a3 .

1
E portanto, a1 = 2 e a2 = 14 .

Semelhantemente, define-se bi como a probabilidade de absorção no estado 3 se a cadeia começou no es-


tado i. Note que ai + bi = 1 para todo i ∈ {0, 1, 2, 3}, de onde segue que b0 = 0, b1 = 21 , b2 = 43 e b3 = 1.

Tempos Médios de Chegadas

Agora, tem-se o interesse em estudar o tempo esperado até que a cadeia seja absorvida.
Seja a cadeia de Marvov da Figura 7. Define-se ti como o número de passos necessários até a cadeia
alcançar o estado 0 ou 3, dado que X0 = i. Em outras palavras, ti é o tempo esperado (número de passos)
até que a cadeia seja absorvida em 0 ou 3, dado que X0 = i.

Por essa definição, t0 = t3 = 0. Para encontrar t1 e t2 , usa-se a lei da probabilidade total com recursão como
antes. Se X0 = 1, então depois de um passo, tem-se X1 = 0 ou X1 = 2. Portanto, pode-se escrever

1 2
t1 = 1 + t0 + t2
3 3
2
= 1 + t2 .
3

Similarmente,
1 1
t2 = 1 + t1 + t3
2 2
1
= 1 + t1 .
2

5
Resolvendo as equações acima, obtêm-se t1 = 2 e t2 = 49 .

Genericamente, seja A ⊂ E um conjunto de estados. O procedimento acima pode ser utilizado para en-
contrar o tempo esperado até que a cadeia chegue a um dos estados do conjunto A.

Considere uma cadeia de Markov finita {Xn , n ∈ N } com espaço de estados E = {0, 1, 2, . . . , r}. Seja
A ⊂ E um conjunto de estados. Seja T o primeiro tempo que a cadeia visita um estado de A. Para todo
i ∈ E, define-se

ti = E[T |X0 = i].

Pela definição acima, tem-se que tj = 0, para todo j ∈ A. Para encontrar os valores desconhecidos dos
0
ti s, podem-se utilizar as seguintes equações

P
ti = 1 + tk pik , para i ∈ E − A.
k

Tempo Médio de Retorno

Outra interessante variável aleatória é o tempo de primeiro retorno. Em particular, assumindo que a cadeia
está no estado l, considera-se o tempo esperado (número de passos) necessários até que a cadeia retorne ao
estado l. Por exemplo, seja a cadeia de Markov para a qual X0 = 2. Se a cadeia assume os valores

X0 = 2, X1 = 1, X2 = 4, X3 = 3, X4 = 2, X5 = 3, X6 = 2, X7 = 2, . . . , então o primeiro retorno ao estado


2 ocorre no tempo n = 4. Aqui se tem o interesse em calcular o valor esperado do tempo de primeiro retorno.

Em particular, assumindo que X0 = l, define-se rl como o número esperado de passos necessários até
que a cadeia retorne ao estado l. Para tornar a definição mais precisa, seja

Rl = min{n ≥ 1 : Xn = l}.

Então,

rl = E[Rl |X0 = l].

Note que por definição, Rl ≥ 1, e assim rl ≥ 1. Na verdade, rl = 1 se, e somente se, l é um estado
absorvente. Novamente, define-se tk como o tempo esperado até que a cadeia alcance o estado l pela pri-
0
meira vez, dado que X0 = k. Os tk s (tempos médios de chegadas) podem ser encontrados como antes.
Utililizando a lei da probabilidade total, pode-se escrever

P
rl = 1 + tk plk .
k

Exemplo

Considere a cadeia de Markov mostrada na Figura 8. Seja tk o número esperado de passos até que a
cadeia chegue ao estado 1 pela primeira vez, dado que X0 = k. Claramente, t1 = 0. Seja, ainda, r1 o tempo
médio de retorno ao estado 1.

a) Encontre t2 e t3 ;

b) Encontre r1

Figura 8 – Diagrama de Transição de Estados

Resposta
a) Se X0 = 2, então depois de um passo, X1 = 2 ou X1 = 3. Portanto, pode-se escrever

t2 = 1 + 31 t2 + 23 t3 .

Similarmente, pode-se escrever

1 1
t3 = 1 + t1 + t2
2 2
1
= 1 + t2 .
2

Resolvendo as equações acima, chegam-se a t2 = 5 e t3 = 27 .

b) Para encontrar rl , note se X0 = 1, então X1 = 1 ou X1 = 2, e assim, pode-se escrever

1 1
r1 = 1 + t1 + t2
2 2
1
= 1 + t2
2
5
= 1+
2
7
= .
2

Distribuições limite

A distribuição de probabilidade πj = [π0 π1 π2 . . . ] é chamada de distribuição limite da cadeia de


Markov Xn se

πj = lim P [Xn = j|X0 = i]


n→∞

P
para todos i, j ∈ E e πj = 1.
j∈E

Pela definição acima, quando a distribuição limite existe, ela não depende do estado inicial (X0 = i), e
assim pode ser escrita como

πj = lim P [Xn = j], para todo j ∈ E.


n→∞

Por hora, consideram-se cadeias Markov finitas. Em geral, esse tipo de cadeia pode consistir em vários
estados transientes, bem como de estados recorrentes. A medida que n vai se tornando grande a cadeia
tende a entrar em uma classe recorrente, e assim permanecer nela para sempre. Portanto, quando se estuda
o comportamento a longo prazo concentra-se unicamente nas classes recorrentes.
Se a cadeia de Markov finita tem mais de uma classe recorrente, então a cadeia será absorvida em uma
dessas classes. Porém, consideram-se aqui somente cadeias de Markov finitas com uma única classe recor-
rente, ou seja, cadeias irredutı́veis.

Em uma cadeia de Markov finita, existem ao menos uma classe recorrente. Portanto, em cadeias irre-
dutı́veis todos os estados são recorrentes.

Acontece que neste caso a cadeia de Markov tem um comportamento limite bem definido se é aperiódica.

Se π = [π1 π2 . . . ] é a distribuição limite para uma cadeia de Markov, então

π = lim π (n)
n→∞

= lim [π (0) P n ].
n→∞

Similarmente, pode-se escrever

π = lim π (n+1)
n→∞

= lim [π (0) P n+1 ]


n→∞

= lim [π (0) P n P ]
n→∞

= [ lim π (0) P n ]P
n→∞
= πP.

Exemplo

Considere a cadeia de Markov mostrada na Figura 9.

a) A cadeia é irredutı́vel?

b) A cadeia é aperiódica?

c) Encontre a distribuição estacionária para esta cadeia.

d) A distribuição estacionária é a distribuição limite para a cadeia?

Resposta

a) A cadeia é irredutı́vel, pois todos os estados se comunicam.

b) A cadeia é aperiódica, pois, por exemplo, p11 > 0.

c) Para encontrar a distribuição estacionária, seja π = [π1 π2 π3 ], e tem-se que π = πP . E portanto


 1 1 1 
4 2 4
[π1 π2 π3 ] = [π1 π2 π3 ]  1 2
0
 
3 3 
1 1
2 0 2
 
π1 π2 π3 π1 π1 2π2 π3
= + + + +
4 3 2 2 4 3 2
Isto é,
π1 π2 π3
π1 = + +
4 3 2
π1
π2 =
2
π1 2π2 π3
π3 = + +
4 3 2
π1 + π2 + π3 = 1

Resolvendo o sistema de equações acima, chega-se a π1 = 83 , π2 = 3


16 e π1 = 7
16 .

d) A distribuição estacionária obtida no item anterior é a distribuição limite para a cadeia, pois esta
cadeia é irredutı́vel e aperiódica.

Figura 9 – Diagrama de Transição de Estados

Exercı́cios

Problema 1

Uma cadeia de Markov {X0 , X1 , X2 , . . . } tem espaço de estados E = {0, 1, 2} e matriz de transição
 
0, 5 0 0, 5
P= 0, 4 0, 2 0, 4  .
 

0 0, 4 0, 6

a) Determine P [X2 = 2|X1 = 0, X0 = 1] e P [X2 = 2, X1 = 0|X0 = 1];

b) Determine P [X2 = 2, X1 = 0|X0 = 0] e, para n > 1, P [Xn+1 = 2, Xn = 0|Xn−1 = 0];

c) Assumindo a distribuição inicial π (0) = [0, 4 0, 3 0, 3], determine P [X1 = 2] e P [X1 = 1, X2 = 2];

d) Faça o diagrama de transição dessa cadeia de Markov.


Problema 2

Uma cadeia de Markov {X0 , X1 , X2 , . . . } tem espaço de estados E = {0, 1, 2} e matriz de transição
 
0, 2 0, 3 0, 5
P= 0, 8 0, 2 0 .
 

0, 6 0 0, 4

a) Determine a matriz de probabilidades de transição em 2 passos;

b) Dada a distribuição inicial P [X0 = i] = 13 , para i ∈ {0, 1, 2}, determine as probabilidades P [X2 = 0] e
P [X0 = 0, X1 = 1, X2 = 2].

Problema 3

Uma cadeia de Markov {X0 , X1 , X2 , . . . } tem espaço de estados E = {0, 1, 2} e matriz de transição
 
0 0, 4 0, 6
P= 0, 8 0 0, 2  .
 

0, 5 0, 5 0

a) Dado que P [X0 = 0] = P [X0 = 1] = 0, 4, determine P [X3 = 2];

b) Faça o diagrama de transição para essa cadeia;

c) Determine a distribuição estacionária e diga se ela é a distribuição limite para a cadeia.

Problema 4

Considere a cadeia de Markov mostrada na Figura 9. Assuma que X0 = 1 e seja R o primeiro tempo
que a cadeia retorna ao estado 1, isto é,

R = min{n ≥ 1 : Xn = 1}. Encontre E[R|X0 = 1].

Problema 5

Uma cadeia de Markov tem espaço de estados E = {0, 1, 2, 3, 4} e matriz de transição


 
0, 5 0, 1 0, 4 0 0
 0, 8 0, 2 0 0 0 
 
 
P=
 0 1 0 0 0  .
 0 0 0 0, 9 0, 1 
 

0 0 0 1 0

a) Faça o diagrama de transição e determine as classes de equivalência;

b) Quais estados são recorrentes e quais são transientes?


Problema 6

Considere a cadeia da Markov mostrada na Figura 10. Existem duas classes recorrentes, R1 = {1, 2} e
R2 = {4, 5, 6}. Assumindo que X0 = 3, encontre a probabilidade de que a cadeia seja absorvida na classe
R1 .

Figura 10 – Diagrama de Transição de Estados

Problema 7

O estado no ano de 2013 do uso da terra em uma cidade com 50 quilômetros quadrados é dado por:

I. uso residencial = 30%;

II. uso comercial = 20%;

III. uso industrial = 50%.

Assumindo que a matriz de probabilidades de transição para um perı́odo de 5 anos é dada por:
 
0, 8 0, 1 0, 1
P= 0, 1 0, 7 0, 2  .
 

0 0, 1 0, 9

Calcule a distribuição de probabilidade de uso da terra para os anos de 2018 e 2023.

Problema 8

Um professor de engenharia compra um novo computador a cada 2 anos e tem preferência por 3 mode-
los: M1, M2 e M3. Se o modelo atual for M1, o próximo pode ser M2 com probabilidade 0,20 ou M3 com
probabilidade de 0,15. Se o modelo atual for M2, as probabilidades de trocar por M1 e M3 são respectiva-
mente 0,60 e 0,25, e se o modelo atual for o M3, então as probabilidades de trocar pelos modelos M1 e M2
são de 0,50 e 0,10.
a) Represente a situação por meio de cadeia de Markov;

b) Obtenha a matriz de probabilidades de transição;

c) Calcule as probabilidades de troca de modelo de computador daqui a 4 anos considerando que o modelo
atual do computador do professor é o modelo M2.

Processos de Wiener (Movimento Browniando)

Minúsculas partı́culas orgânicas e inorgânicas quando imersas em fluidos se movem aleatoriamente ao longo
de caminhos em zigue-zague. Em 1828, o botânico inglês Robert Brown publicou um artigo no qual resumiu
suas observações sobre este movimento e tentou encontrar sua explicação fı́sica. Originalmente, ele estava
interessado apenas no comportamento do pólen em lı́quidos para investigar o processo de frutificação de
fanerógamas.

As primeiras abordagens para modelar matematicamente o movimento browniano foram feitas por Louis
Jean-Baptiste Alphonse Bachelier e Albert Einstein, na primeira década de 1900. Ambos descobriram que a
distribuição normal era um modelo apropriado para descrever o movimento browniano e deu uma explicação
fı́sica do fenômeno observado: O movimento caótico de partı́culas suficientemente pequenas em fluidos e
gases é devido ao grande número de impactos com as moléculas circundantes, mesmo em pequenos intervalos
de tempo.

Em 1923, o filósofo e matemático Norbert Wiener, mais conhecido como o criador da ciência da Cibernética,
foi o primeiro a apresentar um tratamento matemático geral do movimento browniano. Ele definiu e analisou
um processo estocástico, que serviu até agora como um modelo estocástico do movimento browniano, razão
pela qual esse movimento também seja chamado de Processo de Wiener.

Definição. Um processo estocástico a tempo contı́nuo {W (t), t > 0} é chamado de movimento Browni-
ano padrão ou de processo de Wiener padrão se

1. W (0) = 0;

2. para todos 0 ≤ t1 < t2 , W (t2 ) − W (t1 ) ∼ N (0, t2 − t1 );

3. W (t) tem incrementos independentes. Isto é, para todos 0 ≤ t1 < t2 < · · · < tn , as variáveis aleatórias

W (t2 ) − W (t1 ), W (t3 ) − W (t2 ), W (t4 ) − W (t3 ) . . . W (tn ) − W (tn−1 )

são independentes.

4. W (t) tem trajetórias contı́nuas.

Um processo de Wiener mais geral é obtido fazendo X(t) = µ + σW (t). Neste caso, X(t) é um processo de
Wiener com E[X(t)] = µ e V ar[X(t)] = σ 2 t.

Exemplo
Se W (t) é um movimento Browniano padrão. Para todos s, t ∈ [0, ∞), encontre

a) CW (s, t) = Cov[W (s), W (t)];

b) P [1 < W (1) < 2];

c) P [W (2) < 3|W (1) = 1]

Resposta

a) Para s < t, tem-se que

CW (s, t) = E[W (s)W (t)] − E[W (s)]E[W (t)]


= E{W (s)[W (t) − W (s) + W (s)]}
= E[W (s)2 ] + E{W (s)[W (t) − W (s)]}
= V ar[W (s)] + E 2 [W (s)] + E[W (s)]E[W (t) − W (s)]
= s.

Similarmente, para t < s, chega-se a CW (s, t) = t. Portanto,

CW (s, t) = min(s, t).

b)

P [1 < W (1) < 2] = Φ(2) − Φ(1)


= 0, 9772 − 0.8413
= 0, 1359.

c) De resultados anteriores, tem-se que


 
σ12 (1−µW (1) ) 2 2
Y = W (2)|W (1) = 1 ∼ N µW (2) + 2
σW
, (1 −ρ )σW (2) .
(1)

σ12 √ 1√
Em que σ12 = Cov[W (1), W (2)] = 1 e ρ = σW (1) σW (2) = 1 2
= 0, 7071.

E assim,

Y = W (2)|W (1) = 1 ∼ N (1, 1).

Logo,

P [W (2) < 3|W (1) = 1] = P [Y < 3]


 
Y −1 3−1
= P <
1 1
= Φ(2)
= 0, 9772.
Exercı́cios

Problema 1

Seja W (t) um movimento Browniano padrão. Encontre P [W (1) + W (2) > 2].

Problema 2

Seja W (t) um movimento Browniano padrão, e 0 ≤ s < t. Encontre a função de densidade de probabi-
lidade de W (s) dado que W (t) = a.

Problema 3

(Movimento Browniano Geométrico) Seja W (t) um movimento Browniano padrão. Defina

X(t) = eW (t) , para todo t ∈ [0, ∞).

a) Encontre E[X(t)];

b) Calcule V ar[X(t)];

c) Para 0 ≤ s ≤ t, encontre Cov[X(s), X(t)].

Problema 4

Seja W (t) um movimento Browniano padrão.

a) Calcule P [−1 < W (1) < 1;

b) Encontre P [1 < W (2) + W (3) < 2];

c) Calcule P [W (1) > 2|W (2) = 1].

Problema 4

(Ponte Browniana) Seja W (t) um movimento Browniano padrão. Defina

X(t) = W (t) − tW (1), para todo t ∈ [0, ∞).

Note que X0 = X1 = 0. Encontre Cov[X(s), X(t)], para 0 ≤ s ≤ t ≤ 1.


Referências

[1] H. Pishro-Nik, Introduction to probability, statistics, and random processes, available at


https://www.probabilitycourse.com, Kappa Research LLC, 2014.

[2] Yates, Roy D. and Goodman, David J. Probability and Stochastic Processes: A Friendly Introduction
to Electrical and Computer Engineers, Wiley, 2a ed., 2004.

[3] Tijms HC (2003) A first course in stochastic models. Wiley, Chichester.

[4] Ross SM (1983) Stochastic processes. Wiley, 2nd ed, New York.

[5] Beichelt, F. (2016) Applied Probability and Stochastic Processes. Chapman and Hall, 2nd ed, Johan-
nesburg.

Você também pode gostar