1

CADEIAS DE MARKOV


LUCIANO C. SILVA
2
CADEIAS DE MARKOV


1. INTRODUO

Def: Um processo estocstico uma funo que associa, a cada valor de um parmetro t uma
varivel aleatria X
t.
:
t
X t a (1)

O parmetro t, que geralmente representa o tempo, pode ser discreto (assume apenas valores
inteiros) ou contnuo (assume valores reais). O conjunto de valores que cada X
t
pode assumir
chamado de espao de estados do processo e tambm pode ser discreto ou contnuo.


EXEMPLO 1: Em processos de comunicao digital, os dados so transmitidos como seqncias
de 0s e 1s. Podemos considerar a sequncia de 0s e 1s como um processo estocstico cujo
espao de estados tem apenas dois estados: = {0,1}. Assim, a seqncia de bits 01001
corresponde a X
0
= 0, X
1
= 1, X
2
= 0, X
3
= 0, X
4
= 1. Isto um processo estocstico, pois
impossvel prever o prximo valor de X
t
. Neste caso, o parmetro t discreto, assim como o
espao de estados.


EXEMPLO 2: O preo de fechamento de uma ao em cada dia de negociao uma varivel
aleatria contnua. O processo que associa, a cada dia de negociao t, o preo de fechamento X
t

um processo estocstico com parmetro discreto e espao de estados contnuo.


EXEMPLO 3: O tamanho de uma fila no tempo t um processo estocstico com parmetro
contnuo e espao de estados discreto. O tamanho da fila assume valores no conjunto =
{0,1,2,3,...} em cada tempo R t .

Uma cadeia de Markov um processo estocstico com parmetro discreto e espao de estados
discreto, no qual:

) | ( ) ..., , , | (
1 0 0 1 1 1
i X j X P i X i X i X j X P
n n n n n n
= = = = = = =
+ +
(2)

Ou seja, apenas o ltimo estado importa para o clculo de probabilidades, no os anteriores.

Se as probabilidades de transio no dependem do parmetro n, ou seja, no variam com o
tempo, dizemos que a cadeia estacionria ou homognea. Neste caso, definimos as
probabilidades de transio de um passo:

) | (
1
i X j X P p
n n ij
= = =
+
(3)

Isto define uma matriz, chamada matriz de transio da cadeia. Alm desta, costume representar
uma cadeia de Markov por meio de um grafo, como mostrado a seguir.

EXEMPLO 4: No exemplo 1, suponhamos que cada 0 na seqncia transmitida tem probabilidade
p de ser seguido por um 1 e cada 1 tem probabilidade de q de ser seguido por um zero, de modo
que a matriz de transio da cadeia :

3
|
|

\
|

=
q q
p p
P
1
1
(4)
E seu grafo :






EXEMPLO 5: No exemplo 2, se em vez de considerarmos o preo da ao como contnuo o
consideramos como discreto, podemos supor que o preo varia em intervalos fixos, digamos, a
cada 10 centavos. Suponhamos ainda que o preo sempre tem probabilidade 55% de subir 10
centavos e 45% de cair 10 centavos de um dia para o outro. Neste caso, o grafo da cadeia dado
por:





Figura 1: Movimento do preo de uma ao.


(Note que no extremo inferior denotamos as probabilidades apenas como p e 1p, pois estes
valores dependero do contexto em que o modelo aplicado). A matriz de transio neste caso :

|
|
|
|
|

\
|

=
O M M M M
L
L
L
L
0 0,45 0 0
0,55 0 0,45 0
0 0,55 0 0,45
0 0 1 p p
P (5)


EXEMPLO 6: Considere uma fila de clientes/tarefas para um servidor ou processador. Considere
que o tempo est dividido em intervalos de tamanho t e que em cada intervalo um novo cliente
pode entrar na fila, com probabilidade , ou pode no chegar nenhum cliente novo, com
probabilidade 1. Neste mesmo intervalo de tempo, o cliente sendo atendido pelo servidor pode
finalizar seu atendimento, com probabilidade , ou continuar em atendimento, com probabilidade
1. Consideremos que o processo de interesse seja: X
n
= nmero de clientes no sistema,
incluindo o que est sendo atendido, no tempo n. O tempo contado ao fim de cada intervalo t,
de modo que n = 0, 1, 2,... correspondem aos instantes 0, t, 2t, etc.

Queremos construir um grfico do processo X
n
, com as probabilidades de transio entre cada
estado. Se X
n
= 0, a probabilidade de o processo passar ao estado 1 . Ou seja:

= =
01 00
, 1 p p (6)

Se em certo momento h i 1 clientes no sistema, no passo seguinte ele pode ter i 1, i +1 ou
permanecer em i. Para passar a i 1, necessrio que o cliente em atendimento continue em
atendimento, o que tem probabilidade de acontecer, e no chegue nenhum cliente novo, o que
tem probabilidade 1. Portanto:
) 1
1 ,
( =
i i
p (7)

0,45
$0,1
0,55
0,45
$0,2
0,55
0,45
$0,3
0,55
0,45
$0,4
0,55
0,45
$0,0
p 1-p
p

1q

1p
aa
q
0 1

4
J para passar de i a i + 1, necessrio que chegue um cliente novo e o cliente em atendimento
no seja atendido, portanto:
) 1 (
1 ,
=
+ i i
p (8)
Pelo mesmo raciocnio:
) 1 )( 1 (
,
+ =
i i
p (9)

denotando
1 ,
=
i i
p q ,
1 , +
=
i i
p p ,
i i
p r
,
= , temos a matriz de transio do processo:

|
|
|
|
|
|

\
|
=
O M M M M
L
L
L
L
r q
p r q
p r q
P
0 0
0
0
0 0 1
(10)



EXEMPLO 7: Se uma cadeia depende dos k ltimos estados, em vez de depender apenas do
ltimo estado, dizemos que uma cadeia de Markov de ordem k. Neste caso, ainda possvel
transformar o processo em uma cadeia de Markov de primeira ordem, substituindo X
n
por
( )
n n k n n
X X X Y , ,...,
1
= .
Por exemplo, suponhamos que um sistema de previso de chuvas depende de ter chovido nos 2
ltimos dias. Se choveu nos ltimos 2 dias, a probabilidade de chover no dia seguinte de 0,7; se
choveu ontem, mas no anteontem, a probabilidade de chover hoje de 0,5; se no choveu
ontem, mas choveu anteontem, a probabilidade de chover hoje de 0,4; e se no choveu nos
ltimos 2 dias, a probabilidade de chover hoje de apenas 0,2. Assim, podemos definir X
n
= 1, se
chove no dia n e X
n
= 0, se no chove no dia n. X
n
no ser uma cadeia de Markov, pois depende
de X
n-1
e de X
n-2
:
Contudo, podemos definir outro processo ( )
n n n
X X Y ,
1
= , que ser uma cadeia de Markov de
primeira ordem. O grafo e a matriz de transio de Y
n
so mostrados abaixo:






) 0 , 0 (
) 1 , 0 (
) 0 , 1 (
) 1 , 1 (
8 , 0 2 , 0 0 0
0 0 0,5 0,5
0,6 0,4 0 0
0 0,3 0 0,7
) 0 , 0 ( ) 1 , 0 ( ) 0 , 1 ( ) 1 , 1 (
|
|
|
|
|

\
|
= P
0,6
0,3
0,4
0,5
0,5
0,8
0,2
) 0 , 0 (

) 1 , 0 (
) 0 , 1 (

) 1 , 1 (

5


2. EQUAO DE CHAPMANKOLMOGOROV

Suponha uma cadeia de Markov estacionria. Denotemos por
) (n
ij
p a probabilidade de o processo
efetuar uma transio de i para j em n passos:
( ) i X j X P p
n
n
ij
= = =
0
) (
| (11)
Com estas probabilidades podemos montar uma matriz ( )
) ( ) ( n
ij
n
p P = , chamada matriz de
transio em n passos. Temos ento o seguinte teorema bsico:


TEOREMA 1: (Equao de ChapmanKolmogorov) Em uma cadeia de Markov estacionria:

. 0 , ,
) ( ) ( ) (
=
+
n m P P P
m n m n
(12)


Prova: Condicionando em relao a X
m
, usando a propriedade de Markov e a estacionaridade:

) | (
0
) (
i X j X P p
m n
m n
ij
= = =
+
+

) | ( ) , | (
0 0
i X k X P k X i X j X P
m
k
m m n
= = = = = =
+


) | ( ) | (
0
i X k X P k X j X P
m
k
m m n
= = = = =
+

) | ( ) | (
0 0
i X k X P k X j X P
m
k
n
= = = = =

+
=
k
m
kj
n
ik
m n
ij
p p p
) ( ) ( ) (
(13)

Ou seja,
) ( ) ( ) ( m n m n
P P P =
+




TEOREMA 2: Em uma cadeia de Markov estacionria,
n n
P P =
) (
.

Prova: Pelo Teorema 1, temos P P P
n n
=
+ ) ( ) 1 (
. Iterando esta identidade, temos:
,
2 ) 2 (
P P P P = = ,
3 2 ) 2 ( ) 3 (
P P P P P P = = = etc.


EXEMPLO 8: Suponhamos que, no exemplo 4, a matriz de transio :

|

\
|
=
2
1
2
1
4
1
4
3
P (14)

A matriz de transio de 2 passos :

6
|
|

\
|
= |

\
|
|

\
|
= =
8
3
8
5
16
5
16
11
2
1
2
1
4
1
4
3
2
1
2
1
4
1
4
3
2 ) 2 (
P P (15)

Ou seja, se um bit igual a 0, a probabilidade de termos um 0 dois bits depois de 11/6 e a
probabilidade de termos um 1 5/16. Se um bit igual a 1, a probabilidade de termos um 0 dois
bits depois igual a 5/8. As matrizes de transio de 3, 5 e 10 passos so:

|

\
|
=
|
|

\
|
= = =
0,6875 0,6250
0,3125 0,6875
64
22
64
42
64
21
64
43
2 3 ) 3 (
P P P P (16)

|

\
|
= =
0,3340 0,6660
0,3330 0,6670
2 3 ) 5 (
P P P (17)

|

\
|
= =
0,3333 0,6666
0,3333 0,6666
5 5 ) 10 (
P P P (18)


3. DISTRIBUIO LIMITE E DISTRIBUIO ESTACIONRIA


Definimos a probabilidade incondicional de o processo visitar um estado no passo n:

) (
) (
k X P p
n
n
k
= = (19)

Podemos organizar estas probabilidades em um vetor:

) , , (
) (
1
) (
0
) (
K
n n n
p p p = (20)

Em particular, temos a distribuio inicial de probabilidades:

) , , (
) 0 (
1
) 0 (
0
) 0 (
K p p p = (21)


TEOREMA 3: Para todo n 1:
(a) P p p
n n ) ( ) 1 (
=
+
(22)
(a)
n n
P p p
) 0 ( ) (
= (23)

Prova: Para provar (a), condicionamos em relao em relao a X
n
:


= = = = = =
+
+
j
ij
n
i
i i
n
i ij n n n
n
j
p p p p i X P i X j X P p
) ( ) (
1
) 1 (
) ( ) | ( (24)
O que implica P p p
n n ) ( ) 1 (
=
+
. A identidade (b) segue por recurso a partir de (a).





7
EXEMPLO 9: Suponha que, exemplo 8, a probabilidade de o primeiro bit ser 0 . Portanto,
( )
2
1
2
1
) 0 (
= p . As probabilidades de estado 3 bits depois so:
( ) ( ) ( ) 0,3359 0,6641
2
1

2
1

64
22
64
42
64
21
64
43
= =
|
|

\
|
= =
128
43
128
85
3 ) 0 ( ) 3 (
P p p
5 bits depois:
( ) ( ) 0,3335 0,6665
0,3340 0,6660
0,3330 0,6670
2
1

2
1
=
|

\
|
= =
5 ) 0 ( ) 5 (
P p p
10 bits depois:
( ) ( ) 0,3333 0,6666
0,3333 0,6666
0,3333 0,6666
2
1

2
1
=
|

\
|
= =
10 ) 0 ( ) 5 (
P p p


No exemplo acima, temos um exemplo de como as distribuies
) (n
p parecem convergir para um
vetor limite . Se este limite realmente existe, chamamos de distribuio limite de probabilidades:

) (
lim
n
n
p q

= (25)

Caso este limite exista, podemos deduzir uma equao para calcul-lo, usando o Teorema 3:

P P p p
n
n
n
n
= = =



) 1 ( ) (
lim lim (26)

Ou seja:
P = (27)
Ou ainda:

=
i
ij i j
p (28)

Uma distribuio de probabilidades satisfazendo a equao (27) chamada uma distribuio
estacionria de probabilidades. A razo para esta terminologia est na equao (22): Uma vez que
a cadeia atinge a distribuio estacionria, ela permanece com esta distribuio.

Uma cadeia de Markov nem sempre possui uma distribuio limite. Contudo, se a distribuio limite
existe, ela deve ser igual distribuio estacionria, como mostra o clculo acima. Neste caso, a
interpretao da distribuio limite que ela representa a proporo de tempo que a cadeia gasta
em cada estado, ou, equivalentemente, a probabilidade de encontrar a cadeia em certo estado, no
longo prazo.


EXEMPLO 10: No exemplo 8, temos:

P = ( ) ( )
|

\
|
=
2 / 1 2 / 1
4 / 1 4 / 3
1 0 1 0
, , ( ) ( )
1 2
1
0 4
1
1 2
1
0 4
3
1 0
, , + + =


3
2
0 3
1
1 1 1 1 0
1 0
1 0
1 1 2
1
0 4
1
0 1 2
1
0 4
3
1 2 1 ,
2
2
= = = + = +

=
=

= +
= +






v
.


8
Assim, a distribuio estacionria desta cadeia ( )
3
1
3
2
, = .

Veremos que esta cadeia possui uma distribuio limite, que dada pela probabilidade
estacionria ( )
3
1
3
2
, = . Isto significa que, no longo prazo, haver
3
2
de 0s e
3
1
de 1s.


EXEMPLO 11: (Sistema PageRank) No sistema de buscas do Google, a World Wide Web
modelada como uma cadeia de Markov, onde os estados so as pginas. O rank de uma pgina j
definido como sendo a probabilidade limite
j
de uma pgina ser visitada nesta cadeia. Quando
uma busca por um termo efetuada, as pginas contendo o termo so exibidas em ordem
decrescente segundo as probabilidades
j
.

Veremos que trs condies so suficientes para que a distribuio limite exista: que exista uma
distribuio estacionria, que a cadeia seja irredutvel e que seja aperidica. Vejamos estas duas
ltimas propriedades.

DEFINIO: Um estado j pode ser alcanado a partir do estado i se 0
) (
>
n
ij
p para algum 1 n .
Se i pode ser alcanado a partir de j e vice-versa, ento dizemos que i e j se comunicam. Se todos
os estados de uma cadeia se comunicam, dizemos que ela irredutvel. Caso contrrio, dizemos
que redutvel.


EXEMPLO 12: Considere as cadeias abaixo:










Na cadeia 1, possvel ir de qualquer estado para qualquer estado, portanto, ela irredutvel. Na
cadeia 2, no possvel ir do estado 3 para o 2 ou do 4 para o 1, portanto, ela redutvel.

Em uma cadeia qualquer, um conjunto em que todos os estados se comunicam entre si chamado
uma classe de comunicao. No exemplo 12, a cadeia 2 tem duas classes de comunicao: C
1
=
{1,2} e C
2
= {3,4}. A classe C
1
dita aberta, pois possvel sair dela. A classe C
2
fechada, pois
no possvel sair dela. A cadeia 1 tem apenas uma classe de comunicao, que ela prpria.
Podemos ento dizer que uma cadeia irredutvel se e somente se a nica classe de comunicao
fechada ela mesma.

Quando uma cadeia irredutvel, podemos ainda classific-la como peridica ou aperidica.

EXEMPLO 13: Considere a cadeia abaixo





Sua matriz de transio :
1


1
0 1
1 2
3 4
1 2 3
4
Cadeia 1: Irredutvel. Cadeia 2: Redutvel.
9
|
|

\
|
=
0 1
1 0
P

As matrizes de transio de n passos so:

K ,
0 1
1 0
,
1 0
0 1
,
0 1
1 0
,
1 0
0 1
) 5 ( ) 4 ( ) 3 ( 2 ) 2 (
|
|

\
|
=
|
|

\
|
=
|
|

\
|
=
|
|

\
|
= = P P P P P

Ou seja, as potncias de P seguem um padro oscilatrio, sem convergir para um limite. Portanto,
n
n
n
n
P p p
) 0 ( ) (
lim lim

= no existe. Vejamos outro exemplo:


EXEMPLO 14: Considere a cadeia de Markov dada na figura abaixo. Suponhamos que o processo
inicia-se no estado 0. Ento a probabilidade
) (
0
n
p de o processo se encontrar no estado 0 no passo
n oscilar entre 0 e 1:

K , 1 , 0 , 0 , 1 , 0 , 0 , 1
) 6 (
0
) 5 (
0
) 4 (
0
) 3 (
0
) 2 (
0
) 1 (
0
) 0 (
0
= = = = = = = p p p p p p p












Temos de novo um comportamento oscilatrio, e o limite
) (
lim
n
n
p

no existe. Isto acontece porque
os estados esto divididos em classes de periodicidade. A partir de um estado, estamos sempre
obrigados a ir para os estados de um determinado grupo, como mostrado abaixo:










Quando isto no ocorre, dizemos que a cadeia aperidica. Ou seja, uma cadeia aperidica uma
cadeia para a qual existe n
0
tal que 1 , , , 0
) (
> n j i p
n
ij
. Um critrio para identificar cadeias
peridicas dado abaixo.

DEF: Um circuito fechado uma seqncia de estados {i
0
, i
1
, ..., i
m
} tal que a transies entre i
k
e
i
k+1
so todas possveis e i
m
= i
0
. O comprimento do circuito fechado igual a m. Um circuito
fechado simples se nenhum estado se repete na seqncia, exceto os estados final e inicial.

1



5
1/3


2
0
1


6
1/3

3
1/3

1


4
1
{0}
{1,2,3} {4,5,6}

10
TEOREMA 4: Uma cadeia peridica se e somente se todos os circuitos fechados simples da
cadeia tm comprimentos mltiplos de um nmero d > 1. Neste caso, dizemos que o perodo da
cadeia d.

Na cadeia do exemplo 14, todos os circuitos fechados simples tm comprimentos mltiplos de 3,
portanto, uma cadeia peridica de perodo 3. A cadeia do exemplo 13 peridica de perodo 2.
Inversamente, se conseguirmos encontrar dois circuitos fechados com comprimentos a e b, tais
que mdc(a,b) = 1, ento a cadeia aperidica. A cadeia irredutvel do exemplo 12 aperidica,
pois tem dois circuitos simples de comprimentos 2 e 3 e mdc(2,3)=1.

Enunciaremos sem demonstrar o seguinte teorema clssico de cadeias de Markov:

TEOREMA 5: Se uma cadeia de Markov irredutvel, aperidica e possui uma distribuio
estacionria , ento ela possui uma distribuio limite de probabilidades e teremos
) (
lim
n
n
p

= .


EXEMPLO 15: No sistema PageRank do Google, inicialmente, se h k links da pgina A para
outras pginas, a cada link associada uma probabilidade de transio de 1/k. Para tornar a
cadeia irredutvel, j que h pginas sem links para outras pginas, so introduzidos links virtuais
de uma pgina para qualquer outra na Web, com probabilidades q/N, onde N o nmero total de
pginas indexadas e q uma probabilidade arbitrria, atualmente fixada em 0,15. Assim, a
probabilidade de transio de uma pgina i para uma pgina j definida como:

=
. ,
,
1
j i
j i
N
q
N
q
k
q
p
ij
para de link um h no se
. para de link um h se
(29)

O rank de uma pgina j definido como sendo a probabilidade limite
j
de uma pgina ser
visitada segundo este processo. Quando uma busca por um termo efetuada, as pginas
contendo o termo so exibidas em ordem decrescente segundo as probabilidades
j
.


4. CADEIAS PERIDICAS E FREQUNCIAS DE VISITAO

Quando uma cadeia peridica, mesmo assim possvel atribuir um significado distribuio
estacionria.

DEFINIO: Seja
) (n
j
N o nmero de vezes que o processo visita o estado j at o passo n, sem
incluir o estado inicial. A frequncia de visitas ao estado j at o passo n n N
n
j
n
j
/
) ( ) (
= . A
frequncia limite de visitas
) (
lim
n
j
n
j


= , desde que este limite exista.

A frequncia limite pode ser interpretada como a proporo de tempo que a cadeia passa no
estado j. Temos ento o seguinte teorema:

11
TEOREMA 6: Se uma cadeia irredutvel possui uma distribuio estacionria , ento as
freqncias limite existem e = .

Note que se o Teorema 5 vlido, ento o Teorema 6 tambm . Portanto, teremos
) (
lim
n
n
p

= .


EXEMPLO 16: No exemplo 14, podemos calcular a distribuio estacionria, encontrando
( )
9
1
9
1
9
1
9
1
9
1
9
1
3
1
, , , , , , = . Embora as probabilidades limites no existam, devido ao fato de a cadeia
ser peridica, o Teorema 6 garante que, por ser a cadeia irredutvel, a freqncia de visitas a um
estado j converge para
j
. Ou seja, no limite n , a cadeia passa 1/3 do tempo no estado 0 e
1/9 do tempo em cada um dos demais estados.


5. CADEIAS REDUTVEIS E PROBABILIDADES DE ABSORO

Se uma cadeia finita e redutvel, ento o processo certamente ser absorvido por uma das
classes de comunicao fechada. Neste caso, h duas questes a resolver: Se h mais de uma
classe de comunicao fechada, qual a probabilidade de o processo ser absorvido por uma
determinada classe C ? A segunda questo : Quantos passos, em mdia, sero necessrios at
que o processo seja absorvido por uma das classes de comunicao fechada ?

Inicialmente, definimos a probabilidade de alcanar um estado j a partir do estado i:
( ) i X n j X P a
n ij
= = =
0
| 1 algum para (30)
As probabilidades
ij
a podem ser calculadas com o seguinte resultado:

TEOREMA 7: Se i e j so estados quaisquer de uma cadeia de Markov:

+ =
j k
kj ik ij ij
a p p a (31)

Prova: Seja A
j
o evento { } 1 = n j X
n
algum para . Condicionando em relao a X
1
e usando a
propriedade de Markov:

( ) ( ) ( )
( ) ( )
( ) ( ) ( ) ( )

+ = + =
= = = + = = = =
= = = =
= = = = = = =
j k
kj ik ij
j k
ik kj ij
j k
j j
j
j
j
j j ij
a p p p a p
i X k X P k X A P i X j X P j X A P
i X k X P k X A P
i X k X P k X i X A P i X A P a
1
| | | |
| |
| , | |
0 1 1 0 1 1
0 1 1
0 1 1 0 0






12

EXEMPLO 17: Considere a seguinte cadeia:












A probabilidade
11
a pode ser calculada facilmente aplicando (31):

21 3
1
11
3
1
21 3
1
3
1
11
41 14 31 13 21 12 01 10 11 11
0 0 0 0 0
a a
a a
a p a p a p a p p a
=
+ + + + =
+ + + + =
(32)

E, por outro lado:

3
2
21
21 4
1
2
1
21
21 22 21 21
=
+ =
+ =
a
a a
a p p a
(33)

Portanto:
9
2
11
= a e o estado 1 transiente.

Aplicando o mesmo procedimento a todos os estados, encontraremos: 1
00
= a ,
9
2
11
= a ,
12
5
22
= a ,
1
33
= a , 1
44
= a . Portanto, os estados 1 e 2 so transientes e os estados 0, 3 e 4 so recorrentes.


Quando tratamos de alcanar uma classe de comunicao a partir de um estado, podemos derivar
um resultado anlogo ao usar ao Teorema 7: a probabilidade de ser absorvido por uma
determinada classe C a partir do estado i :

+ =
j k
kc ik ij ic
a p p a (34)

Por convenincia, entretanto, omitiremos o ndice c, de modo que temos:

+ =
j k
k ik ij i
a p p a (35)
Contudo, preciso ter sempre em mente a qual classe nos referimos ao aplicar a equao (35).


EXEMPLO 18: No exemplo 17, temos duas classes de comunicao fechadas que podem
absorver o processo: C
1
= {0} e C
2
= {3,4}. Se o processo inicia no estado 1, a probabilidade de o
processo ser absorvido pela classe C
2
:
8
1

4
1

1 1
8
1

3
1

2
1

3
1

3
1

0 1 3
2 4
1
13

=
=

+ + =
+ =

+ + =
+ + =
7
5
2
7
4
1
2 4
1
1 2
1
4
1
2
2 3
1
3
1
1
2 22 1 21
) 1 (
2 2
2 12 2 11
) 1 (
1 1

a
a
a a a
a a
a p a p a a
a p a p a a
(36)

Assim, iniciando no estado 1, o processo tem probabilidade 4/7 de ser absorvido pela classe C
2
e,
portanto, 3/7 de ser absorvido pela classe C
1
.

Iniciando no estado 2, tem 5/7 de probabilidade de
ser absorvido pela classe C
2
e 2/7 de ser absorvido pela classe C
1
.


Passemos questo do nmero esperado de passos at o processo ser absorvido. Antes,
deduzimos uma equao para as variveis
ij
m definidas na seo anterior:


TEOREMA 8: Se i e j so estados quaisquer de uma cadeia:

+ =
j k
kj ik ij
m p m 1 (37)

Prova: Seja
i
T o nmero de passos at que o processo visite o estado j, partindo do estado i, sem
contar o estado inicial:
} 1 , | min{ = = n j X n T
n i
(38)
Ento:

( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( )
( )

+ = = + + =
= + + = = =
= = = = + = = = = =
= = = = = = =
j k
ik kj
j k
ik j
j k
ik ij
j k
ik k
j k
k j
k
j j ij
p m p k X T E p p
p k X T E i X j X P
k X j X P k X i X T E i X j X P j X i X T E
i X k X P k X i X T E i X T E m
1 |
| 1 |
| , | | , |
| , | |
0
0 0 1
0 1 1 0 0 1 1 0
0 1 1 0 0







Quando tratamos da absoro pelo conjunto C das classes de comunicao fechada, anotaremos
apenas:
( ) i X T E m
i
= =
0
| (39)
Onde T o tempo at a absoro:

{ } C X n n T
n
= , 1 | min (40)

Ento, pelas mesmas razes,
i
m satisfar uma equao anloga equao (37):

+ =
T j
k ij i
m p m 1 (41)

EXEMPLO 19: No exemplo 17:

14
p

p

p

q

q

q

p

0
1
2 N
1
N
r r r 1 r + q

=
=

+ + =
+ =

+ + =
+ + =
7
18
2
7
13
1
2 4
1
1 2
1
2
2 3
1
1
2 22 1 21 2
2 12 1 11 1

1
1

1
1
m
m
m m m
m m
m p m p m
m p m p m


Portanto, iniciando no estado 1, a cadeia ser absorvida pela classe C
1
ou pela C
2
em 13/7 = 1,9
passos, em mdia. E iniciando no estado 2, ser absorvida por uma das classes em 18/7 = 2,6
passos, em mdia.

EXEMPLO 20: Consideremos a distribuio geomtrica. Nesta distribuio, um evento tem
probabilidade p de ocorrer e repetimos o experimento at que ele ocorra. Calcule a mdia (valor
esperado) de uma distribuio geomtrica.

Res: A situao pode ser modelada como uma cadeia redutvel de 2 estados:




Iniciamos o processo no estado 0 e o estado 1 significa que o evento ocorreu. Neste caso, o
tempo mdio necessrio at o processo ser absorvido pelo estado 1 , segundo a equao (41):

( ) p m m p m / 1 1 1
0 0 0
= + = .
Ou seja, o valor esperado de uma distribuio geomtrica de parmetro p 1/p.

EXEMPLO 21: Suponhamos que certo evento ocorre com probabilidade p. Podemos estar
interessados no nmero mdio de tentativas at conseguir uma seqncia de N sucessos
consecutivos. Neste caso, a cadeia seria a representada abaixo:









A equao para o nmero mdio de passos para a absoro :

N i m rm qm m
i i i
, ... , 1 , 0 , 1
1 0
= + + + =
+
. (42)
Ou:
p
m q
m
p
q
m
i i
0
1
1
1
+

|
|

\
|
+ =
+
(43)
Em forma mais resumida:
b am m
i i
+ =
+1
(44)

Esta equao pode ser resolvida por recurso:

b
a
a
m a m
i
i
i
1
1
0

+ = (45)
E usando 0 =
N
m :
p

1

1p
aa
0 1

15
0
1
1
0
=

+ b
a
a
m a
N
N
(46)

( )( )
q
a
m m q a m qa
p
m q
p q
a
m a
N
N N
N
N
1
0 1 1 0
1
/
1
0 0 0
0
0

= = + =
|
|

\
| +
(47)

Portanto:
(
(

|
|

\
|
+ = 1 1
1
0
N
p
q
q
m (48)

No caso especial em que r = 0:
(

= 1
1 1
0 N
p q
m (49)


EXEMPLO 22: Quantas vezes, em mdia, teremos de jogar uma moeda at obter 5 caras
sucessivas ?

Res: Segundo a equao (49), sero necessrios em mdia 2(2
5
1) = 62 lanamentos.


No caso em que q = 0, ou seja, quando no h a possibilidade de retorno, a equao (44) fornece:

p
i
m m
i
=
0
(50)
E usando a condio 0 =
N
m , obtemos:
p
N
m =
0
(51)


6. CADEIAS DE NASCIMENTO E MORTE

Uma cadeia de nascimento e morte uma cadeia unidimensional onde as transies s so
possveis entre os vizinhos mais prximos:

=
=
+ =
=
casos. demais
se
se
se




, 0
, ,
, 1 ,
, 1 ,
i j r
i j q
i j p
p
i
i
i
ij
(52)

Com i q r p
i i i
= + + , 1 . O grafo abaixo representa uma cadeia de nascimento e morte geral:




16









Uma cadeia de nascimento e morte pode ser finita ou infinita, redutvel ou irredutvel. Quando
redutvel, pelo menos uma das extremidades ser um estado absorvente.


TEOREMA 9: Se uma cadeia de nascimento e morte irredutvel, sua distribuio estacionria :

=
i
i
i

(53)
Onde:
. 1 , , 1
2 1
1 1 0
0
= =

i
q q q
p p p
i
i
i
L
L
(54)
Desde que:
<
i
. (55)

Prova: Segundo a equao (27):

1 1 1 1 + +
+ + = = =
i i i i i i i
j
ji j i
q r p p P (56)
Escrevendo esta equao para i = 0, 1, 2, etc, temos:
0
1
0
1 1 1 0 0 0

q
p
q r = + = (57)
0
2 1
1 0
2 2 2 1 1 0 0 1

q q
p p
q r p = + + = (58)
0
3 2 1
2 1 0
3 3 3 2 2 1 1 2

q q q
p p p
q r p = + + = (59)
Por induo:
. 1 , ,
2 1
1 1 0
0
= =

i
q q q
p p p
i
i
i i i
L
L
(60)

E
0
encontrado pela condio de normalizao:


= = = =
i
i i i
i
i
i
i
i
i
1 1
0 0
(61)


EXEMPLO 23: Consideremos a fila do exemplo 6. Este modelo de fila um processo de
nascimento e morte com:
1 , , , = = = i p p r r q q
i i i
. (62)
1 + i
r
i
r
1 i
r
2 i
p
1 + i
p
i
p
1 i
p
i 1 + i 1 i
1 i
q
i
q
1 + i
q
2 i
q
17
1/N


1
1


1/N
1-2/N


3/N
1-1/N


2/N
0 1 2 N-1 N
= = =
0 0 0
, 1 , 0 p r q . (63)
Portanto,
2 , , , 1
1
2 1
1 1 0
1
0
1 0

|
|

\
|
= = = = =

i
q
p
q q q q
p p p
q q
p
i
i
i
i

L
L
. (64)

p q
p q
q p q q
p
q
i
i
i
i

+
=

+ =
|
|

\
|
+ =


=

/ 1
1
1 1
1
1
0
(65)

Portanto:
( )
( )
1 , ,
1
0

|
|

\
|
+

=
+

i
q
p
q p q
p q
p q
p q
i
i

. (66)


Ou seja, a distribuio do nmero de clientes na fila, no longo prazo, ser semelhante
distribuio geomtrica, desde que p < q. Se p q, a distribuio estacionria no existe. A
interpretao neste caso que a fila explode em tamanho.

EXEMPLO 24: (Urnas de Ehrenfest) Considere dois compartimentos (urnas) contendo um gs
ideal, unidos por uma membrana ou duto que deixa passar parte do gs de um compartimento a
outro. Queremos estudar o equilbrio termodinmico deste sistema, usando o seguinte modelo.

Suponhamos que h N partculas. Inicialmente, i delas esto no compartimento A e Ni esto no
compartimento B. A cada passo, uma partcula escolhida ao acaso, independente do
compartimento em que esteja, e transferida para o outro compartimento. Seja X
n
= n
o
de partculas
no compartimento A. Temos ento um passeio aleatrio com probabilidades de transio:

. ..., 2, 1, , 0 , / 1 , / N k N i p N i q
i i
= = = (67)

O grafo correspondente dado abaixo:









Neste caso, os coeficientes
i
so dados por:


( ) ( )
( )( ) ( ) ! )! (
!
2 1
) 1 ( ) 2 )( 1 (
/ / 2 / 1
/ ) 1 ( 1 ) / 2 1 ( / 1 1 1
i i N
N
i
i N N N N
N i N N
N i N N
i

=

+
=

=
L
L
L


Ou seja:
|
|

\
|
=
i
N
i
(68)

18
1 p
0
p


q
N
p

q
p

q
p
0

q
0 1 2
N-1
N
r r r
1 q
N

Como
N N
N
i
i
N
2 ) 1 1 (
0
= + =
|
|

\
|

=
, temos
N
N
i
N
i
i
i
N 2
1 1 1
0
0
0
=
|
|

\
|
= =

=
=

e, portanto, a distribuio de
equilbrio termodinmico :
|
|

\
|
=
i
N
N i
2
1
(69)

Ou seja, uma distribuio binomial ) , (
2
1
N . Como a distribuio binomial aproximada por uma
normal para valores grandes de N, ento a distribuio de partculas na urna A aproximadamente
normal com mdia N/2 e varincia N/4. A proporo de partculas na urna A, N X x
n n
/ = tem,
portanto, distribuio limite normal com mdia 1/2 = ) (x E e varincia 0 4 1 ) ( = N / x V . Ou seja, o
equilbrio termodinmico no modelo de Ehrenfest atingido quando cada urna contm metade das
partculas.


EXEMPLO 25: Suponhamos um passeio aleatrio simples com barreira refletora em duas
extremidades:









Temos:
. 1 ,..., 1 ,
1
1
0
1
1 0
=

= =

N i
q q
p p
q q
p p
i
i
i
i
i
L
L
(70)

1
1
0

=
N
N
N
N
q q
p p
(71)

A distribuio ser
0

i i
= , com

=
=
N
i
i
0
0
1 , onde:

( )
( )
( )

= + +

|
|

\
|
+

+
=
|
|

\
|
+
|
|

\
|
+ =

=

. , 1 1
. ,
1 /
1 /
1
1
se
se
0 0
1
0
1
0
1
0
1
1
1
0
0
q p
q
p
N
q
p
q p
q
p
q
p
q p
q p
q
p
q
p
q
p
q
p
q
p
N
N
N
N
N
N
N
i
i
N
i
i

(72)

EXEMPLO 26: No exemplo anterior, quando p = p
0
e q = q
N
, temos:
19
p
2

q
3
1
p
N1


p
1

q
2


q
1
0
1 2
N1
N
r
1
r
2
r
N1
1
. ,..., 1 , N i
q
p
i
i
=
|
|

\
|
= (73)
Ento, se q p :
( )
( ) 1 /
1 /
1
0

=
+
=

q p
q p
N
N
i
i
(74)
Portanto:
( )
( )
. ,..., 0 ,
1 /
1 /
1
N i
q
p
q p
q p
i
N i
=
|
|

\
|

=
+
(75)
E se q p = :
1
0
+ =

=
N
N
i
i
(76)
Resultando na distribuio uniforme:
. ,..., 0 ,
1
1
N i
N
i
=
+
= (77)


Agora, consideremos uma cadeia de nascimento e morte finita com extremidades absorventes.
Podemos calcular as probabilidades de absoro.

TEOREMA 10: Considere uma cadeia de nascimento e morte finita, com = {0, 1, ..., N} e 0 e N
ambos estados absorventes, isto , p
00
= p
NN
= 1, como mostrado abaixo:









Ento:
1 1
1 1
,
1
1

+ + +
+ + +
=
N
i
N i
a


L
L
(78)
Onde:
. 1 , , 1
1
1
0
= = i
p p
q q
i
i
i

L
L
(79)

Prova: Segundo a equao (31):

1 ,
, 1 , , 1 ,
+ + =
+
i a p a r a q a
N i i N i i N i i N i
(80)

Usando
i i i
q p r =1 e rearranjando:
) (
, 1 , , , 1 N i N i
i
i
N i N i
a a
p
q
a a
+
= (81)
Iterando:
20
1
p


p

q
p

q


q
0
1 2
N1
N
r r r 1
) (
, 0 , 1
1 1
1 1
, , N N
i
i
N i N i
a a
p p
q q
a a =

L
L
(82)
Somando:
( ) ) ( 1
, 0 , 1 1 1 , 0 , N N i N N i
a a a a + + + =

L (83)
Como 0
, 0
=
N
a :
( )
N i N i
a a
, 1 1 1 ,
1 + + + =

L (84)

Fazendo i = N e usando 1
,
=
N N
a :
( )
1 1
, 1
1
1

+ + +
=
N
N
a
L
(85)
Portanto:
1 1
1 1
,
1
1

+ + +
+ + +
=
N
i
N i
a


L
L
(86)


EXEMPLO 27: (Runa de Jogador) Considere que 2 jogadores, A e B, jogam partidas a 1 real cada.
Em cada partida, o jogador A tem probabilidade p de ganhar, probabilidade q de perder e uma
probabilidade r de empatar. No incio do jogo, o jogador A tem i reais e ambos os jogadores tm,
juntos, N reais. O jogo termina quando um dos dois perde tudo (runa). A varivel X
n
= quantia
possuda pelo jogador A na n-sima partida uma cadeia de Markov e seu grafo dado por:









Qual a probabilidade de A perder tudo ?

Res: Pelas equaes (78) e (79), temos:
. 1 ,..., 1 , =
|
|

\
|
= N i
p
q
i
i
(87)
Ou seja,
( )
( )

= + + +
=

.
.
,
,
1
1
1
1 1
q p
q p
i
p
q
i
p
q
i
se
se



L (88)

Portanto:
( )
( )
. ,
1
1
1
1
1 1
1 1
,
q p
N
p
q
i
p
q
N
i
N i
a

=
+ + +
+ + +
=

se


L
L
(89)
Ou seja:
21
( )
( )
( ) ( )
( )
. ,
1 1
1
1 1
, 0 ,
q p
N
p
q
i
p
q
N
p
q
N
p
q
i
p
q
N i i
a a

= = se

(90)
E:
. , 1
1
1
1
1 1
1 1
0 ,
q p
N
i
a
N
i
i
= =
+ + +
+ + +
=

se


L
L
(91)


EXEMPLO 28: No exemplo 2, suponha que o investidor compre uma ao por $11,00 e planeje
vender quando ela chegar em $15,00 (com lucro) ou quando cair a $10,00 (com perda). Qual a
probabilidade de ele ter lucro com a operao ? Qual o seu lucro esperado ? E se as
probabilidades de subida e descida fossem iguais ?

Res: Usando o modelo de Runa do Jogador, atribumos o estado 0 a $10,00, o estado N = 50 a
$15,00 e o estado inicial i = 10 a $11,00. A probabilidade de vender com lucro :

( )
( )
( )
( )
86,56% 0,8656 = =

= =
1
1
1
1
50
55 , 0
45 , 0
10
55 , 0
45 , 0
50 , 10 N
p
q
i
p
q
a (92)

O lucro esperado de 328 , 3 $ ) 4 ($ 8656 , 0 ) 1 $ ( 1344 , 0 = + .

Se as probabilidades de o preo subir ou descer fossem iguais, a probabilidade de lucro seria:
20%
50
10
= = =
N
i
a
50 , 10
(93)

E o lucro esperado seria 0 ) 4 ($ 2 , 0 ) 1 $ ( 8 , 0 = + . Note o papel extremamente relevante das
probabilidades: Quando p = 55%, a probabilidade de terminar o investimento com lucro bem
maior, embora o limite de parada com ganho esteja bem mais afastado do estado inicial do que a
parada com perda. Para comparar o efeito de p sobre a probabilidade de sucesso, mostramos
abaixo um grfico de
N i
a
,
em funo de p.















Para o tempo mdio de absoro no existe uma frmula analtica para todos os casos. Pode-se,
apenas usar a equao (41) de forma recursiva e no caso mais simples, onde as probabilidades
0
0,2
0,4
0,6
0,8
1
1,2
0
,
4
0
,
4
1
0
,
4
2
0
,
4
3
0
,
4
4
0
,
4
5
0
,
4
6
0
,
4
7
0
,
4
8
0
,
4
9
0
,
5
0
,
5
1
0
,
5
2
0
,
5
3
0
,
5
4
0
,
5
5
0
,
5
6
0
,
5
7
0
,
5
8
0
,
5
9
0
,
6
p
p
r
o
b
a
b
i
l
i
d
a
d
e

d
e

t
e
r
m
i
n
a
r

c
o
m

l
u
c
r
o
22
so constantes, pode-se deduzir uma frmula analtica. A equao (41) aplicada a cadeias de
nascimento e morte fornece:

. 1 1 , 1
1 1
+ + + =
+
N i m p m r m q m
i i i i i i i
(94)
Ou seja:

. 2 ,
1
1
1
2 1
N i
p
m
p
q
m
p
q
m
i
i
i
i
i
i
i
i

|
|

\
|

|
|

\
|
+ =

(95)

Com as condies de fronteira:

. 0 , 0
0
= =
N
m m (96)

No caso em que p p
i
= e i q q
i
= , , temos o seguinte resultado:

TEOREMA 11: Nas condies do Teorema 10, com p p
i
= e i q q
i
= , , o nmero mdio de
passos at absoro, com duas extremidades absorventes :

( )
( )
. ,
1
1 1
q p i
p q
p q
N
q p
m
N
i
i

(
(

= se (97)

( ) . , q p i N i m
i
= = se (98)


EXEMPLO 29: No exemplo 28, o nmero esperado de passos at a concluso do investimento :

( )
( )
8 , 332 10
55 , 0 45 , 0 1
55 , 0 45 , 0 1
50
45 , 0 55 , 0
1
50
10
10
=
(
(

= m (99)

Ou seja, se cada passo equivale a um minuto, sero necessrias cerca de 6 horas.


7. CADEIAS ESCONDIDAS

Em muitas situaes de interesse prtico, a cadeia X
n
no pode ser observada. O que de fato
observado um sinal
n
S S , 1 n , cuja distribuio de probabilidades depende do estado no
observado X
n
. Em geral, o espao de sinais, S , pode ser um conjunto qualquer. Contudo, aqui
trataremos apenas do caso em que S discreto.

Assim, at o tempo n teremos uma srie de observaes, S
1
= s
1
, S
2
= s
2
,..., S
n
= s
n
, e queremos, a
partir destas observaes, inferir quais foram os valores de X
1
, X
2
, ..., X
n
. Definindo os vetores
( ) ( ) ( )
n n n n n n
X X s s S S , , , , , , , ,
1 1 1
K K K = = = X s S , um critrio para esta inferncia o de mxima
verossimilhana: Queremos encontrar o vetor ( )
n n
x x ,...,
1
= x de estados que maximize a funo
de verossimilhana:

( )
( )
( )
n n
n n n n
n n n n
P
P
P
s S
s S x X
s S x X
=
= =
= = =
,
| (100)
23

E como ( )
n n
P s S = no depende de
n
x , isto equivalente a maximizar

( )
n n n n n
P V s S x X x = = = , ) ( (101)

O algoritmo mais usado para maximizar ( )
n n n n
P s S x X = = , foi proposto por Viterbi em 1967, por
meio de uma abordagem recursiva (programao dinmica). Para maximizar ) (
n
V x , defina os
subproblemas:
( ) . ,..., 1 , , , max ) (
1 1
1
n k x X P x V
k k k k k k k k
k
= = = = =

s S x X
x
(102)
Ou seja, ) (
k k
x V o problema de maximizar os estados anteriores a k , supondo conhecido
k
x .

TEOREMA 12: Temos a seguinte relao de recurso:

( ) ( ) { } ) ( , max | ) (
1 1 1
1

=

k k k k k k k k
x V x x P x s P x V
k
x
(103)
Com:
( )
1 1 1
) 0 (
1 1
| ) ( ) ( x s P x p x V = (104)

Prova:

( )
( )
( ) ( )
( ) ( )
( ) { }
( ) ( ) { } ) ( , max |
) ( | , max
, , max | , max
| , , , max
, , , , max
, , max ) (
1 1 1
1 1 1 1
1 1 1 1 2 2 1 1
1 1 1 1 1 1 2 2
1 1 1 1 2 2
1 1
1
1
2 1
1
1
1






= = =
= = = =
)
`

= = = = = = =
= = = = = = =
= = = = = =
= = = =

k k k k k k k k
k k k k k k k k
k k k k k k k k k k k k
k k k k k k k k k k k k
k k k k k k k k k k
k k k k k k k k
x V x x P x X s S P
x V x X s S x X P
x X P x X s S x X P
x X s S x X P x X P
s S x X x X P
x X P x V
k
k
k k
k
k
k
x
x
x
s S x X
s S x X
s S x X
s S x X
x
x
x
x


Onde abreviamos ( ) ( ) x X s S P x s P
n n
= = = | | e ( ) ( )
1 1 1
| ,

= = =
k k k k k k
x X x X P x x P .
Assim, para encontrar o vetor ) ,..., (
1

=
n n
x x x que maximiza a funo de verossimilhana (101),
procedemos recursivamente:

1. Encontre o estado

1
x que maximiza ( )
1 1 1 1 1
| ) ( ) ( x s p x p x V = .

2. Para cada n k ..., , 2 = , e para cada
k
x encontre o
1 k
x que maximiza ( ) ) ( ,
1 1 1

k k k k
x V x x P .

3. Prossiga at encontrar ) (
n n
x V e o correspondente
*
n
x que o maximiza.
4. Retorne a 1 , 2 ..., , 1 = n k , calculando ( ) { } ) ( , max arg
1 1
*
1
*
1
1

=

k k k k k
x V x x P x
k
x
. (105)
24


EXEMPLO 30: Suponhamos que um dispositivo pode estar em dois estados, 0 e 1,
correspondendo, respectivamente, aos estados boa (0) ou ruim (1). Estes estados no podem ser
observados e evoluem no tempo segundo uma cadeia de Markov com matriz de transio:
|
|

\
|
=
1 0
1 , 0 9 , 0
P (106)
O que pode ser observado, entretanto, a qualidade dos itens produzidos pela mquina, que pode
ser aceitvel (a) ou no aceitvel (b). Ou seja, o espao de sinais S = {a,b}. Suponhamos ainda
que:
( ) ( )
( ) ( ) . 04 , 0 1 | , 96 , 0 1 |
. 01 , 0 0 | , 99 , 0 0 |
= = = = = =
= = = = = =
n n n n
n n n n
X b S P X a S P
X b S P X a S P


(107)

Isto define uma matriz de sinalizao:
|
|

\
|
=
04 , 0 96 , 0
01 , 0 99 , 0
S (108)

Suponhamos que os 3 primeiros itens produzidos, quando examinados, foram, nesta ordem,
aceitvel, no aceitvel e aceitvel, ou seja, a s b s a s = = =
3 2 1
, , . Ou ainda, ( ) a b a , ,
3
= s .
E que o estado inicial do dispositivo seja 0 ou 1 com probabilidades 8 , 0
0
= p , 2 , 0
1
= p .




























k = 1
1
x ( ) ( )
1 1 1 1
| x s p x X P = ( )
1 1
x V
0 792 , 0 99 , 0 8 , 0 = 792 , 0
1 192 , 0 96 , 0 2 , 0 = 192 , 0
k = 2 ( ) ( )
1 1 2 1
, x V x x P
2
x 0
1
= x 1
1
= x ( )
2 2
x V

1
x
0 7128 , 0 792 , 0 9 , 0 = 0 192 , 0 0 = 007128 , 0 7128 , 0 01 , 0 = 0
1 0792 , 0 792 , 0 1 , 0 = 192 , 0 192 , 0 1 = 007680 , 0 1920 , 0 04 , 0 = 1
k = 3 ( ) ( )
2 2 3 2
, x V x x P
3
x 0
2
= x 1
2
= x ( )
3 3
x V

2
x
0 0064152 , 0 007128 , 0 9 , 0 = 0 007680 , 0 0 = 00635 , 0 0
1 0007128 , 0 007128 , 0 1 , 0 = 00768 , 0 007680 , 0 1 = 00737 , 0 1
25








Ou seja, a sequncia de estados que maximiza a verossimilhana dos sinais ( ) 1,1,1 = x* . O
mais provvel que a mquina esteve o tempo todo no estado 1 (ruim).


Um pseudocdigo para o algoritmo de Viterbi dado na tabela 1. Tambm um cdigo Scilab
fornecido.




Assim:
( ) 1 max arg
3 3 3
3
= =

x V x
x


( ) ( ) { } 1 , max arg
2 2 3 2 2
2
= =

x V x x P x
x


( ) ( ) { } 1 , max arg
1 1 2 1 1
1
= =

x V x x P x
x

TABELA 1: Codificao do Algoritmo de Viterbi.
Entradas: p = probabilidades iniciais
P = matriz de transio.
s =(s
1
,...,s
n
) = sinais observados.
S = p(s|x) = matriz de sinais.

Inicializao: V = matriz n x m
U = matriz (n1) x m

for x = 1,...,m: V(1,x) =p(x)*S(x,s(1)), end

for k = 2,,n
for x = 1,...,m
Encontre y que maximiza P(y,x)*V(k1,y)
U(k1,x) = y
V(k,x) = S(x,s(k))*P(y,x)* V(k1,y)
end
end

Encontre x(n) maximize V(n, x(n))

for k1 = n1,...,1: x(k) = U(k, x(k+1)), end

function X = viterbi(p,P,s,S)

m = length(p);

n = length(s);

for x = 1:m, V(1,x) =p(x)*S(x,s(1)); end

U =0;

X = 1;

for k = 2:n
for x = 1:m
[maxPV,y] = max(P(:,x)'.*V(k-1,:));
U(k-1,x) = y;
V(k,x) = S(x,s(k))*maxPV;
end
end

[maxVn , X(1,n)] = max(V(n,:));

for k = n-1:-1:1, X(k) = U(k, X(k+1)); end

(a) Pseudocdigo para o algoritmo de Viterbi (a) Cdigo Scilab para o algoritmo de Viterbi
26
8. CADEIAS COM RECOMPENSA

Suponhamos que, em uma cadeia de Markov, a cada vez que passamos pelo estado i, ganhamos
uma recompensa
i
r . Definimos o valor esperado da recompensa total:
( )
(
(

=0 n
n i
X r E v (109)
fcil mostrar que:

+ =
j
j ij i i
v p r v (110)

EXEMPLO 31: Um mineiro est preso em uma mina e tem 3 portas. Escolhendo a primeira, ele
perder 3 horas e voltar ao mesmo lugar. Escolhendo a segunda, ele perder 5 horas e voltar ao
mesmo lugar. Escolhendo a terceira, ele sair da mina em 2 horas. Supondo que ele sempre
escolhe uma porta com probabilidade 1/3, quanto tempo, em mdia, ele levar para sair da mina ?

Res: As recompensas so
1
r = 3,
2
r = 5 e
3
r = 2. O sinal negativo indica custo. A cadeia
representada abaixo:










Aplicando a equao (110):

( ) ( ) . 10 ) 2 ( 5 3
2
1 5
1 3
0
3
1
0
3
1
0
3
1
0
3
0 2
0 1
3
3
1
2
3
1
1
3
1
0
= + + + + =

=
+ =
+ =
+ + =
v v v v
v
v v
v v
v v v v


Ou seja, o mineiro levar em mdia 10 horas para sair da mina.

Uma variante do processo de recompensa quando a recompensa dada no pela visita a um
estado, mas nas transies de um estado para outro. Neste caso, se a transio de i para j tem
recompensa
ij
r , ento a recompensa total do processo calculada por:

( )

+ =
j
j ij ij i
v r p v (111)

Esta equao pode ser reduzida forma (110):

+ =
j
j ij i i
v p r v (112)
Com:
(-3)
3
1

3
1

3
1

1 2 0
3
1
4
(-2)
(-5)
1
1 1
27

=
j
ij ij i
r p r (113)

Ou, inversamente, a equao (110) pode ser reduzida forma (111) com
i ij
r r = .

Em alguns casos, adequado introduzir um fator de desconto 0<<1 para recompensas obtidas no
perodo seguinte. Ou seja, um valor X recebido hoje vale X se recebido amanh. Por induo,
se o mesmo valor ser recebido n perodos adiante, ele vale apenas X
n
hoje. Nestes casos,
queremos calcular o valor esperado da recompensa total descontada, ou recompensa total trazida
a valor presente:
( )
(

=0 n
n
n
i
X r E v (114)
E a equao (110) modificada para:

+ =
j
j ij i i
v p r v (115)

EXEMPLO 32: Um investidor compra uma ao. Em anos bons (estado 0), a ao paga R$2,00 em
dividendos. Em anos ruins (estado 1), a ao paga apenas R$1,00. A sucesso de estados
modelada como uma cadeia de Markov:






Suponha que a taxa de juros em investimentos livres de risco seja de 10% e que a ao pagar
dividendos indefinidamente. Qual o valor mdio total descontado que o investidor receber ?

Res: A taxa de juros em investimentos livres de risco, r, determina o custo de oportunidade de
investir em aes e, portanto, o fator de desconto . Para cada X a serem recebidos daqui a um
ano, o investidor pode aplicar X/(1+ r) em um investimento livre de risco hoje e receber X um ano
depois. Ou seja, receber X no ano seguinte equivalente a receber X/(1+ r) hoje. Portanto, o fator
de desconto = 1/(1+ r) = 1/(1+10%) = 0,9090.

Aplicando a equao (115), temos:

=
=

+ + =
+ + =
13,7
15,1


1
0
1 0 1
1 0 0
7 , 0 9 , 0 3 , 0 9 , 0 1
4 , 0 9 , 0 6 , 0 9 , 0 2
v
v
v v v
v v v


Assim, comeando em um ano bom, o investidor ganhar em mdia R$15,1 em dividendos,
trazidos a valor presente. Comeando em um ano ruim, o valor total dos dividendos descontados
de R$13,7, em mdia. O valor dos dividendos esperados descontados , em muitos casos, usado
pelo mercado para avaliar o preo de uma ao.


0,4

0,7

0,6
aa
0,3
0 1

28
9. PROCESSOS DE DECISO MARKOVIANOS

Em muitos problemas importantes, as probabilidades de transio dependem de decises tomadas
por um operador. Suponha que em cada estado o operador possa tomar qualquer deciso no
conjunto D = {1, ..., m}. O efeito de uma deciso o de modificar as probabilidades de transio.
Tomando uma deciso k em qualquer estado i, a matriz de transies passa a ser
k
ij
P .

Se para cada estado i escolhermos uma deciso D u
i
, o vetor ) , ... , (
1 N
u u u = chamado uma
poltica ou controle do processo. Nosso objetivo escolher uma poltica tima que, para cada
estado inicial i, maximize o valor esperado:

( ) |

\
|
= =

=
i X X r E V
t
t
t
i 0
0
| (116)

Comecemos por calcular o valor acumulado at o passo n, denotado V
n
:

( ) |

\
|
= =

=
i X X r E V
n
t
t
t n
i
0
0
| (117)

Pela definio, fica claro que:

( )

+ = |

\
|
= + =
+
=
+
j
n
j
k
i
n
t
t
t
i
n
V p r i X X r E r V
ij i

0
1
1
1
| (118)

Assim, a deciso que maximiza o valor esperado para n passos adiante tal que:

)
`

+ =

+
j
n
j
k
i
k
n
V p r V
ij i
max
1
(119)

Comeando com
i
r V
i
=
1
(120)

Temos ento um algoritmo para calcular uma aproximao de
n
n
V V

= lim que para quando

<
+ n n
V V
1
(121)