Processos Estocsticos

Renato J. Cintra
Depto. de Estatstica
UFPE
13 de maro de 2006
Sumrio
1 Conceito 2
2 Descrio de um Processo Estocstico 2
3 Processo de Bernoulli 2
4 Passeio Aleatrio 3
5 Processo de Markov 3
6 Cadeias de Markov 4
7 Matriz de Probabilidade de Transio 4
8 Distribuio de Probabilidade de {X
n
, n 0} 5
9 Distribuio Estacionria 6

O material desse resumo foi baseado das referncias [Hsu97, Bro85].

1
1 Conceito
Denio 1 (Processo Estocstico) Um processo estocstico uma famlia de
variveis aleatrias {X(t), t T} denidas em um dado espao de probabilidade e
indexadas por um parmetro t, em que t varia em um conjunto de ndices T.
2 Descrio de um Processo Estocstico
Em um processo estocstico {X(t), t T}, o conjunto T chamado de
dos ndices do processo estocstico. Os valores assumidos por X(t) so
chamados de estados e o conjunto de todos os possveis estados chamado
de espao de estados E do processo estocstico.
Se o conjunto dos ndices T for discreto (enumervel), ento o processo
dito ser um processo de parmetro discreto ou tempo discreto. Outra de-
nominao usual seqncia aleatria e denotada por {X
n
, n = 1, 2, . . .},
por exemplo. Se T for um conjunto contnuo, tempos um processo de pa-
rmetro contnuo ou tempo contnuo.
Se o espao de estados E for discreto, ento o processo dito ser um
processo de estado discreto, tambm chamado de cadeia. Nesse caso, E
geralmente assumido ser E = {0, 1, 2, . . .}. Se o espao de estados E for
contnuo, ento temos um processo de estado contnuo.
3 Processo de Bernoulli
Seja X
1
, X
2
, . . . variveis aleatrias independentes de Bernoulli, tais que
P(X
n
= 1) = p e P(X
n
= 1) = 1 p para todo n. A coleo das va-
riveis aleatrias {X
n
, n 1} um processo estocstico e chamado de
processo de Bernoulli.
Exemplo 1 Descrever o processo de Bernoulli.
O processo de Bernoulli um processo de parmetro discreto e estado discreto,
em que E = {0, 1} e T = {1, 2, 3, . . .}.
E3.1 Construa uma seqncia tpica de um processo estocstico de Bernoulli.
2
4 Passeio Aleatrio
Seja X
1
, X
2
, . . . variveis aleatrias independentes identicamente distribu-
das, tais que P(X
n
= 1) = p e P(X
n
= 1) = 1 p para todo n. Considere
uma nova seqncia aleatria denida por
Z
n
=
n

i=1
X
i
, n = 1, 2, 3, . . . , (1)
e Z
0
= 0. A coleo das variveis aleatrias {X
n
, n 0} um processo
estocstico e chamado de passeio aleatrio simples em uma dimenso.
Trata-se de um processo estocstico de tempo discreto e estado discreto,
em que E = {. . . , 2, 1, 0, 1, 2, . . .} e T = {0, 1, 2, . . .}. Uma possvel
realizao deste processo
0, 1, 0, 1, 2, 1, 2, 1, 1, 2, 3, 2, 3, . . . (2)
5 Processo de Markov
Um processo estocstico {X(t), t T} dito ser um processo de Markov
(ou markoviano) se
P{X(t
n+1
) = x
n+1
|X(t
1
) = x
1
, X(t
2
) = x
2
, . . . , X(t
n
) = x
n
} = (3)
P{X(t
n+1
) = x
n+1
|X(t
n
) = x
n
}, (4)
quaisquer que sejam t
1
< t
2
< . . . < t
n
< t
n+1
. Esta condio conhecida
como Propriedade Markoviana.
Um processo markoviano de estado discreto chamado de cadeia de
Markov e receber especial ateno nessas notas de aula. Para uma cadeia
de Markov de tempo discreto {X
n
, n 0}, temos que, para todo n,
P{X
n+1
= j|X
1
= i
1
, X
2
= i
2
, . . . , X
n
= i} = P{X
n+1
= j|X
n
= i}. (5)
Novamente, esta uma outra verso da propriedade markoviana.
3
6 Cadeias de Markov
Tratemos das cadeias de Markov de tempo discreto {X
n
, n 0} como es-
pao de estado discreto E = {0, 1, 2, . . .}, em que E pode ser nito ou, pelo
menos, enumervel. Se X
n
= i, diz-se que a cadeia de Markov est no
estado i ao tempo (ou passo) n.
Uma cadeia de Markov de tempo discreto {X
n
, n 0} caracterizada
pela propriedade markoviana
P{X
n+1
= j|X
1
= i
1
, X
2
= i
2
, . . . , X
n
= i} = P{X
n+1
= j|X
n
= i
n
}, (6)
em que P{X
n+1
= j|X
n
= i} chamada de probabilidade de transio. Essa
probabilidade diz a chance do processo estocstico transicionar do estado
i, no tempo n, para o estado j, no tempo n + 1.
Se P{X
n+1
= j|X
n
= i} for independente do valor de n, a cadeia dita
ter probabilidades de transio estacionrias e a cadeia dita ser homognea.
Se P{X
n+1
= j|X
n
= i
}
for independente do valor de n, a cadeia de
Markov dita ter probabilidades de transio estacionrias e o processo
dito ser uma cadeia de Markov homognea. Caso contrrio, a cadeia dita
ser no-homognea.
7 Matriz de Probabilidade de Transio
Seja {X
n
, n 0} uma cadeia de Markov homognea com espao de estados
E = {0, 1, 2, . . .} discreto innito. Assim, como a cadeia homognea,
pode-se simplicar a notao:
p
i j
= P{X
n+1
= j|X
n
= i}, i 0, j 0, (7)
independente do valor de n.
A matriz de probabilidade de transio de {X
n
, n 0} denida por
P = [p
i j
] =
_

_
p
00
p
01
p
02

p
10
p
11
p
12

p
20
p
21
p
22

.
.
.
.
.
.
.
.
.
.
.
.
_

_
, (8)
4
em que os elementos matriciais satisfazem p
i j
0 e

j=0
p
i j
= 1, i = 0, 1, 2, . . . . (9)
Para o caso de espao discretos nitos E = {0, 1, . . . , m}, temos que a
matriz de probabilidade de transio ca expressa por
P = [p
i j
] =
_

_
p
00
p
01
p
0m
p
10
p
11
p
1m
.
.
.
.
.
.
.
.
.
.
.
.
p
m0
p
m1
p
mm
_

_
, (10)
em que p
i j
0 e
m

j=0
p
i j
= 1, i = 0, 1, 2, . . . . (11)
Uma matriz que satisfaz estas propriedades chamada de matriz esto-
cstica ou matriz de Markov.
8 Distribuio de Probabilidade de {X
n
, n 0}
Seja p
i
(n) P(X
n
= i). Podemos ento denir um vetor construdo da
seguinte forma:
p(n) =
_
p
0
(n) p
1
(n) p
2
(n)
_
, (12)
em que

k
p
k
(n) = 1, n. (13)
Assim, p
i
(0) P(X
0
= i) so as probabilidades de estado inicial. O
vetor que contm tais probabilidades,
p(n) =
_
p
0
(0) p
1
(0) p
2
(0) ,
_
, (14)
chamado de vetor de distribuio de probabilidades de estado inicial e
p(n) o vetor de distribuio de probabilidades aps n transies.
Um dos resultado mais importante deste estudo relaciona o vetor de
5
distribuio de probabilidades p(n) e a matriz de probabilidade de transi-
o P pela seguinte expresso
p(n) = p(0)P
n
. (15)
9 Distribuio Estacionria
Uma cadeia de Markov dita ser regular se existir um inteiro positivo m,
tal que aps m transies todo estado tem uma chance no-nula de ser ocu-
pado, independente do estado inicial.
Assim, para uma cadeia de Markov regular com matriz de transio P,
existe um m > 0 tal que P
m
> 0 (i.e., todos os elementos de P
m
so no-
negativos). Para esse tipo de matriz, tem-se que
lim
n
P
n
= , (16)
em que uma matriz cujas linhas so idnticas e iguais distribuio
estacionria .
Seja P uma matriz de probabilidade de transio de uma cadeia de Mar-
kov homognea {X
n
, n 0}. Se existir um vetor tal que
= P, (17)
ento dito ser a distribuio estacionria da cadeia de Markov.
A existncia da distribuio estacionria indica que a seqncia de dis-
tribuies de probabilidade, medida que n cresce, converge para uma
dada distribuio:
p(0), p(1), p(2), p(3), . . . = lim
n
p(n). (18)
Se cadeia de Markov for regular, pode-se encontrar distribuio estaci-
onria atravs da resoluo de um sistema de equaes lineares. Conside-
6
remos uma cadeia com m estados. Assim, tem-se que
= P (19)
_

0

1

m
_
=
_

0

1

m
_
_

_
p
00
p
01
p
0m
p
10
p
11
p
1m
.
.
.
.
.
.
.
.
.
.
.
.
p
m0
p
m1
p
mm
_

_
(20)
Igualando, componente a componente, os elementos dos vetores em ambos
os lados desta equao, temos que:
_

0
=
0
p
00
+
1
p
10
+ +
m
p
m0

1
=
0
p
01
+
1
p
11
+ +
m
p
m1

m
=
0
p
0m
+
1
p
1m
+ +
m
p
mm
(21)
Este um sistema sem soluo nica, pois uma de suas equaes linear-
mente dependente das outras. Assim, acrescentando a condio adicional

0
+
1
+ +
m
=
m

i=0

i
= 1, (22)
tem-se uma soluo nica.
7
Exerccios
1. Dena:
(i) Processo Estocstico.
(ii) Espao de Estados.
(iii) Processo markoviano.
(iv) Cadeia de Markov.
(v) Probabilidade de Transio
(vi) Cadeia de Markov homognea.
2.
3. Sejam X
1
, X
2
, . . . e Y
1
, Y
2
, . . . v.a.s independentes com P(X
n
= 1) = p,
P(X
n
= 1) = 1 p, P(Y
n
= 1) = q, P(Y
n
= 1) = 1 q, para todo
n, em que 0 < p, q < 1. Considere
Z
n
=
n

j=1
X
j
+ iY
j
n = 1, 2 . . .
e Z
0
= 0, i

1. Esta coleo de v.a.s {Z
n
, n 0} um processo
estocstico e chamado de passeio aleatrio de duas dimenso.
(i) Descreva o passeio aleatrio Z
n
.
(ii) Construa um seqncia tpica (ou realizao) de Z
n
.
4. Para as cadeias de Markov representadas pelas seguinte matrizez de
transio de estados,
_

_
0 0 1 0
1 0 0 0
1/2 1/2 0 0
1/3 1/3 1/3 0
_

_
,
_

_
0 1 0 0
0 0 0 1
0 1 0 0
1/3 0 2/3 0
_

_
,
faa o diagrama de Markov, classique os estados e encontre o pe-
rodo de cada estado.
5. Numa determinada cidade, h 3 laticnios que suprem todo o leite
consumido. Cada um dos laticnios sabe que os consumidores mu-
8
dam de fornecedor por causa de propaganda, insatisfao com o ser-
vio e outras razes. Por simplicidade matemtica, considere que du-
rante o perodo investigado no aparecem novos clientes, nem velhos
clientes saem do mercado.
Considere a seguinte tabela com dados extrados o Departamento de
Pesquisa Operacional de cada um dos laticnios.
Fluxo de Clientes
Junho Ganhos Perdas Julho
Laticnio Clientes A B C A B C Clientes
A 200 0 35 25 0 20 20 220
B 500 20 0 20 35 0 15 490
C 300 20 15 0 25 20 0 290
Com os dados acima, determine:
(i) As probabilidades de transio no perodo (matriz de probabili-
dades de transio).
(ii) Interprete as linhas da matriz de transio.
6. Uma colheita de trigo pode ser classicada em trs nveis: excelente,
mdia e fraca. Aps uma colheita excelente, as probabilidades de que
no ano seguinte se tenha uma colheita excelente, mdia ou fraca, so,
respectivamente, 0, 0,8 e 0,2. Aps uma colheita mdia, as proba-
bilidades se alteram para 0,2, 0,6 e 0,2 (excelente, mdia, fraca). E
nalmente, aps uma colheita fraca, temos as probabilidades de 0,1,
0, 8 e 0,1 (excelente, mdia, fraca).
(i) Identique os estados, determine a matriz de transio e esque-
matiza o diagrama de Markov.
(ii) Encontre as probabilidades de se ter uma colheita excelente du-
rante os prximos 5 anos, dado que a colheita mais recente foi
mdia.
(iii) * O que explicaria as mudanas de desempenho na colheita de
trigo?
7. Um supermercado estoca trs marcas de caf, A, B e C. Atravs de
uma anlise estatstica do comportamento dos clientes, observou-se
9
que eles trocam de marca de acordo com a seguinte matriz de transi-
o:
_

_
3/4 1/4 0
0 2/3 1/3
1/4 1/4 1/2
_

_.
(i) Encontre a probabilidade de que umcliente, que compra a marca
A hoje, continue consumindo a marca A em 2 semanas, assu-
mindo que se compre caf uma vez por semana.
(ii) Aps um longo perodo de tempo, que frao dos consumidores
comprar cada marca?
8. Considere a seguinte matriz estocstica
_

_
0 0,8 0,2
0 0,6 0,4
1 0 0
_

_.
Calcule lim
n
P
n
.
9. Uma companhia area tem um vo dirio RecifeSo Paulo que im-
portante e no deve ser atrasado. A companhia determinou que no
deveria haver vos atrasados durante 2 dias consecutivos. Se um vo,
por ventura, se atrasa, a companhia toma medidas extras para que
isso no ocorra no dia seguinte. Este procedimento extra tem sucesso
em 80% das vezes.
Quando o vo no atrasa, a companhia no toma nenhuma medida
especial ou extra. Assim, 40% dos vo saem atrasados no dia poste-
rior.
(i) Se este problema puder se modelado por uma cadeia de Markov,
quais os estados?
(ii) Qual a matriz de probabilidade de transio?
(iii) Qual a percentagem de vos atrasados? DICA: QUAL A DISTRIBUIO DA PROBA-
BILIDADE DOS ESTADOS APS UM LONGO TEMPO?
10. Uma distribuidora de verduras inspeciona os caixotes de armazena-
mento de seus produtos toda semana e classica o estado dos caixotes
10
em recm-consertado, bom, razovel e quebrado. Se um cai-
xote quebrado, ele enviado a uma rea de reparos que o deixa
consertado em uma semana.
Dos registros do distribuidor (estatstica), obtem-se a seguinte matriz
de probabilidade de transio:
C B R Q
C
B
R
Q
_

_
0 0,8 0,2 0
0 0,6 0,4 0
0 0 0,5 0,5
1 0 0 0
_

_
O contador da empresa arma que o custo de reparo de um caixote
de $2,50 e a companhia tem uma perda de $1,85 na ecincia da
produo cada vez que um caixote quebrado. Isto se deve ao fato
do caixote quebrado atrapalhar o processo de transporte.
(i) Dadas estas informaes, calcule o custo semanal esperado de
se reconstruir os caixotes e a perda de ecincia.
(ii) Supondo que o distribuidor mude a estratgia e j envie para
conserto um caixote razovel determine a nova matriz de pro-
babilidade de transio e calcule os novos custos.
Referncias
[Bro85] Richard Bronson. Pesquisa Operacional. McGraw-Hill do Brasil,
1
a
edition, 1985.
[Hsu97] Hwei Hsu. Probability, Random Variables, & Random Processes.
McGraw-Hill, Inc., 1997.
11