Captulo 5

Processos de Markov



Neste captulo trataremos de uma seqncia de estados que segue um
processo de Markov, tal que a probabilidade da prxima ocorrncia depender apenas da
ocorrncia imediatamente anterior. Isto , trataremos com cadeias de Markov de primeira
ordem.
Processos de Markov constituem um tipo especial de processo estocstico
que possui a propriedade de que as probabilidades associadas com o processo num dado
instante do futuro dependem somente do estado presente, sendo, portanto, independentes dos
eventos no passado. Desse modo, os processos markovianos so caracterizados pelo que se
designa como falta de memria.
Para caracterizar processos de Markov de maneira precisa necessrio
estabelecer uma definio formal.

5.1 Definio e caracterizao de processos de Markov

Antes de apresentar a definio de processos de Markov, vamos expor um
conceito mais abrangente que o de processo estocstico.
Processo estocstico definido como uma coleo indexada de variveis
aleatrias } {
t
X , onde o ndice t pertence a um dado conjunto T . O conjunto T
normalmente composto de nmeros inteiros no negativos, e
t
X representa uma caracterstica
mensurvel de interesse num instante de tempo t . Formalmente, a notao indicada pela
expresso (5.1) define processo estocstico sobre um dado espao de probabilidade

} ; { T t X
t
.
(5.1)

Os valores assumidos pela varivel aleatria
t
X so chamados estados, e o
conjunto de todos os possveis valores forma o espao de estado do processo.
147
Como exemplo de um processo estocstico podemos citar o trfego de
dados em uma rede local de computadores que se encontra interligada rede Internet. Neste
sistema, mensagens eletrnicas so recebidas e enviadas enquanto so feitos downloads de
arquivos. A taxa de transferncia de bits por unidade de tempo num dado servidor desta rede
uma varivel incerta que depende da intensidade de uso do sistema pelos usurios conectados
naquele momento. Podemos, neste sistema, caracterizar a varivel aleatria
t
X como a
velocidade de transferncia de dados em
s
bits
, onde t o instante de tempo pertencente ao
intervalo ) , 0 [ = T . O espao de probabilidade neste exemplo corresponde funo
densidade de probabilidade que rege o comportamento da varivel aleatria
t
X , por exemplo,
uma distribuio normal.

Definio 5.1: (Processo de Markov) Um processo estocstico } ; { T t X
t
chamado um
processo de Markov quando, para qualquer tempo t t t t
n
< < < <
1 0
, a distribuio
condicional de
t
X para os valores dados de
n
t t t
X X X , , ,
1 0
dependem somente de
n
t
X :
- se
t
X assumir valores discretos, esta definio expressa como
) , , , | (
0 1
0 1
x X x X x X x X P
t n t n t t
n n
= = = =

= ) | (
n t t
x X x X P
n
= = ,
(5.2)

- se
t
X assumir valores contnuos, esta definio expressa como
) , , , | (
0 1
0 1
x X x X x X x X P
t n t n t t
n n
= = =

= ) | (
n t t
x X x X P
n
= .
(5.3)

Nestas expresses,
1 1 0
, , ,
n
t t t representam o passado, e t e
n
t so o
futuro e o presente respectivamente.
interessante estabelecer claramente como lida, por exemplo, a expresso
(5.2), que como segue: a probabilidade da varivel X ter valor igual a certo valor x no
tempo t , dado que a varivel aleatria tenha assumido os valores
n
x , , ,
1

n
x
0
x ,
respectivamente, nos tempos
n
t , , ,
1

n
t
0
t , igual a probabilidade da varivel X ter valor
igual a um certo valor x no tempo t , dado apenas que a varivel tenha assumido o valor
n
x
no tempo
n
t .
A Definio 5.1 pode ser traduzida para a linguagem natural, como segue:
um processo estocstico um processo de Markov se o futuro do processo, conhecido o
estado presente, independente do passado.
148
fundamental no estudo de processos de Markov a noo de estado.
Propriedades em comum entre indivduos (ou objetos) caracterizam o que designamos por
estados. So apresentados a seguir exemplos de objetos ou coisas que possuem propriedade
em comum:
- mquinas em uma linha de produo, cujos estados podem ser mquina
funcionando, mquina parada e em reparo, mquina parada aguardando por reparo;
- uma populao que migra de uma regio para outra, podendo encontrar-se
em um dos seguintes estados: populao ociosa, populao empregada;
- safras de soja na regio Centro-Oeste do Brasil, sendo que os estados
podem ser safra boa, safra ruim ou safra razovel.
Os processos de Markov sempre envolvem a varivel tempo, seja
considerada na forma discreta onde o tempo varia em saltos (ou seja, intervalos regulares), ou
na forma contnua podendo assumir valores reais.
Nos exemplos citados anteriormente podemos notar que o tempo est
presente. Uma mquina ao estragar requer tempo para ser consertada, podendo, portanto,
exibir alterao em seu estado se observada a intervalos regulares de tempo. Povos que
migram de um lugar a outro fazem isto com certa periodicidade. Safras ocorrem em meses
determinados que diferem em funo da regio e da cultura considerada.

5.2 Relevncia dos processos de Markov e possveis aplicaes

Em todas as reas da atividade humana busca-se quantificar eventos que
possuem certo grau de incerteza de ocorrncia. Isto implica de certa forma na necessidade de
prever o futuro. Modelos matemticos probabilsticos so concebidos para auxiliar o
homem na tomada de deciso.
No mundo real h diversos sistemas dinmicos que podem ser modelados
como processos de Markov. Eis alguns exemplos de aplicaes:
- planejamento de sistemas de atendimento a filas de espera que so
normalmente modelados como processos de nascimento e morte;
- dimensionamento de recursos computacionais para servir a processos que
compartilham tempo e espao;
- avaliao de equipamentos em operao numa linha de produo industrial
ou em instalaes complexas;
149
- estudo de fenmenos econmicos e movimentos sociais;
- anlise de processos biolgicos, como a evoluo de certas espcies vivas
seja para fins de explorao comercial ou para a preservao;
- anlise da evoluo de certa epidemia numa comunidade.
Na bibliografia de Pesquisa Operacional so encontradas aplicaes de
processos de Markov que compreendem desde o estudo de sistemas mveis de comunicao,
passando pelo trfego de sinais digitais e o desenvolvimento de tcnicas que objetivam
disponibilizar o servio aos usurios, bem como a anlise da evoluo de corporaes e
sistemas sociais com o passar do tempo. Em todas as aplicaes nota-se um trao comum o
tempo.
Conforme estabelecido na Definio 5.1, h duas categorias de processos de
Markov: (1) os processos de tempo discreto, em que o ndice t assume apenas valores inteiros
no negativos, ou seja, , 2 , 1 , 0 = t ; e (2) os processos nos quais a varivel tempo contnua,
ou seja, ) , 0 [ t . Em ambas as categorias, os estados so caracterizados por nmeros
inteiros no negativos definidos a partir dos valores que a varivel aleatria X pode assumir.

5.3 Processos de Markov de tempo discreto

Um processo de Markov est completamente especificado se forem
conhecidas as probabilidades de transio e a distribuio inicial de probabilidades dos
estados.
Toda vez que um estado suceder a outro, dizemos que o processo
estocstico markoviano deu um passo. O passo pode representar um perodo de tempo que
resulte em outro estado possvel. Se o nmero de passos zero, tal situao representa o
presente, igual a um estar representando um possvel estado no prximo passo, e assim por
diante.
Iniciaremos o estudo de processos de Markov de tempo discreto definindo
probabilidades de transio.

Definio 5.2: (Probabilidades de transio) As probabilidades condicionais

) | (
1
i X j X P
t t
= =
+
, para , 2 , 1 , 0 = t ,

150
so chamadas de probabilidades de transio. Se, para cada i e j ,
) | ( ) | (
0 1 1
i X j X P i X j X P
t t
= = = = =
+
, para todo , 2 , 1 , 0 = t ,

ento as probabilidades de transio para um passo so ditas estacionrias e usualmente so
denotadas por
ij
p .
A probabilidade de transio do estado i ao estado j , em um passo,
simbolizada por
ij
p , a probabilidade de um objeto que se encontra no estado i aps um
intervalo de tempo fixo predeterminado ser encontrado no estado j .
Para n passos frente, como extenso da Definio 5.2, possvel escrever
as probabilidades de transio para cada i e j , com , 2 , 1 , 0 = n , conforme a expresso:

) | ( ) | (
0
i X j X P i X j X P
n t n t
= = = = =
+
, para todo , 2 , 1 , 0 = t
(5.4)

Para simplificar a notao, usaremos a seguinte simbologia:

ij
p i X j X P = = = ) | (
0 1
,

) ( ) | (
0
n p i X j X P
ij n
= = = .

De acordo com a referncia (HILLIER e LIEBERMAN, 1995), a notao
) (n p
ij
introduzida anteriormente implica que, para 0 = n , ) 0 (
ij
p ) | (
0 0
i X j X P = = ,
sendo igual a 1 se j i = e igual a 0 em caso contrrio.
As probabilidades de estados so definidas como a seguir.

Definio 5.3: (Probabilidade de estado no instante n ) A probabilidade do estado i tomada
no instante n a probabilidade de um objeto ocupar o estado i aps um nmero n finito de
passos. Formalmente, para 1 + M estados,

) ( ) ( i X P n p
n i
= = , para M i , , 2 , 1 , 0 = .

151
Especificamente para o instante inicial tem-se a distribuio inicial de
probabilidades de estados, a qual representada por um vetor linha ) 0 ( p , cujas componentes
so as probabilidades ) (n p
i
, M i , , 2 , 1 , 0 = .

] ) 0 ( ) 0 ( ) 0 ( ) 0 ( [ ) 0 (
2 1 0 M
p p p p p =
(5.5)

De posse das definies estabelecidas nesta seo, estamos prontos para
apresentar um exemplo numrico.

Exemplo 5.1: Numa certa regio durante o perodo de chuvas, que dura cerca de seis meses a
cada ano, os estados observados so dois: dias ensolarados e dias chuvosos, os quais sero
designados pelos ndices 0 e 1, respectivamente. A partir de observaes histricas, foram
obtidas para um passo (ou seja, um dia) as probabilidades de transio supostas constantes. A
um dia chuvoso suceder um dia chuvoso com probabilidade igual a
4
3
e, um dia ensolarado,
com probabilidade
4
1
. Dias ensolarados sucedem dias ensolarados com probabilidades iguais
a
2
1
, enquanto que, ao ocorrer um dia ensolarado, a probabilidade de chover no dia seguinte

2
1
. Desejamos estudar o regime de chuvas dessa regio modelando o processo estocstico
descrito como um processo de Markov. Como primeira informao desse estudo, precisamos
inferir sobre o nmero esperado de dias chuvosos anualmente se a tendncia descrita pelas
probabilidades permanecer inalterada.

Primeiramente vamos identificar os dados fornecidos no enunciado com as
probabilidades definidas anteriormente. Sendo 0 o nmero associado ao estado sol e 1 o
nmero associado ao estado chuva, temos as probabilidades condicionais seguintes para um
passo:

- dia chuvoso sucede dia chuvoso
4
3
11 0 1
) 1 | 1 ( = = = = p X X P ;
- dia ensolarado sucede dia chuvoso
4
1
10 0 1
) 1 | 0 ( = = = = p X X P ;
- dia chuvoso sucede dia ensolarado
2
1
01 0 1
) 0 | 1 ( = = = = p X X P ;
- dia ensolarado sucede dia ensolarado
2
1
00 0 1
) 0 | 0 ( = = = = p X X P .

152
Para encontrar a probabilidade do estado 0 em um passo, ) 1 (
0
p , podemos
utilizar o conceito de probabilidade total, o qual para dois estados possui a seguinte expresso:

) 1 ( ) 1 | 0 ( ) 0 ( ) 0 | 0 ( ) 0 ( ) 1 (
0 0 1 0 0 1 1 0
= = = + = = = = = = X P X X P X P X X P X P p ,

) 0 ( ) 0 ( ) 1 (
1 10 0 00 0
p p p p p + = .

Na ltima expresso observamos ) 0 (
0
p e ) 0 (
1
p , que so as probabilidades
iniciais dos estados (vide a Definio 5.3).

Procedendo de modo anlogo, para encontrar a probabilidade do estado 1
em um passo, ) 1 (
1
p , utilizamos novamente o conceito de probabilidade total:

) 0 ( ) 0 | 1 ( ) 1 ( ) 1 | 1 ( ) 1 ( ) 1 (
0 0 1 0 0 1 1 1
= = = + = = = = = = X P X X P X P X X P X P p ,

) 0 ( ) 0 ( ) 1 (
0 01 1 11 1
p p p p p + = .

Se for de interesse determinar as probabilidades dos estados 0 e 1 em dois
passos, respectivamente, ) 2 (
0
p e ) 2 (
1
p , tendo em vista que as probabilidades de transio
so constantes, basta escrever as expresses conforme mostradas a seguir:

) 1 ( ) 1 ( ) 2 (
1 10 0 00 0
p p p p p + = ,

) 1 ( ) 1 ( ) 2 (
0 01 1 11 1
p p p p p + = .

Se prosseguirmos com esta forma de calcular, o clculo se revelar
enfadonho, com grande possibilidade de confuso com tantos ndices.
Uma forma alternativa e muito mais funcional consiste no emprego da
representao matricial. Das expresses de clculo de ) 1 (
0
p e ) 1 (
1
p , obtm-se a
representao matricial mostrada a seguir:

(

=
11 10
01 00
1 0 1 0
] ) 0 ( ) 0 ( [ ] ) 1 ( ) 1 ( [
p p
p p
p p p p .
153
Analogamente, das expresses de clculo de ) 2 (
0
p e ) 2 (
1
p , extramos a
representao matricial mostrada a seguir:

(

=
11 10
01 00
1 0 1 0
] ) 1 ( ) 1 ( [ ] ) 2 ( ) 2 ( [
p p
p p
p p p p .

Ora, se substituirmos o vetor ] ) 1 ( ) 1 ( [
1 0
p p da segunda expresso pela
primeira expresso obteremos o seguinte:

(

=
11 10
01 00
11 10
01 00
1 0 1 0
] ) 0 ( ) 0 ( [ ] ) 2 ( ) 2 ( [
p p
p p
p p
p p
p p p p ,

2
11 10
01 00
1 0 1 0
] ) 0 ( ) 0 ( [ ] ) 2 ( ) 2 ( [
(

=
p p
p p
p p p p .

Finalmente, ao empregarmos o Princpio da Induo Matemtica imediata
a concluso de que uma expresso para n passos pode ser escrita, conforme est indicada a
seguir:

n
p p
p p
p p n p n p
(

=
11 10
01 00
1 0 1 0
] ) 0 ( ) 0 ( [ ] ) ( ) ( [ .

Esta expresso resolveria o exemplo em pauta se conhecssemos a
distribuio inicial, isto , o vetor ] ) 0 ( ) 0 ( [
1 0
p p . No entanto, veremos frente, neste
captulo, que, sob certas condies, as probabilidades dos estados a longo prazo so
independentes da distribuio inicial, sendo esta outra propriedade inerente maioria dos
processos de Markov.
Retornamos ento ao Exemplo 5.1. Para resolver o exemplo lanamos mo
de um artifcio conhecido por rvore de probabilidades. A Figura 5.1 ilustra o diagrama em
rvore partindo do estado 0, onde so considerados apenas quatro passos. Outro diagrama
poderia ser construdo, porm, partiria do estado 1.
Mostraremos como se calcula a probabilidade do estado 1 aps quatro
passos, isto , ) 4 (
1
p . Notamos na rvore de probabilidades (Figura 5.1) que, dado que os
eventos so independentes, precisamos multiplicar todas as probabilidades dos caminhos
154
que levam ao estado 1 para calcular a probabilidade do estado 1 em quatro passos
(BILLINTON, 1970).




























Figura 5.1: Diagrama em rvore de probabilidades iniciando no estado 0.

A Tabela 5.1 mostra em detalhes os clculos para obteno de ) 4 (
1
p .
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
sol
chuva
sol
chuva
sol
chuva
sol
chuva
sol
2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

2
1

4
3

4
3

4
3

4
3

4
3

4
3

4
3

4
1

4
1

4
1

4
1

4
1

4
1

4
1

Passo 1 Passo 2 Passo 3
Passo 4
155
Tabela 5.1: Planilha de clculo da probabilidade do estado 1.
Produtos de probabilidades de transio Probabilidades parciais
=
01 00 00 00
p p p p
2
1
2
1
2
1
2
1

16
1

=
11 01 00 00
p p p p
4
3
2
1
2
1
2
1

32
3

=
01 10 01 00
p p p p
2
1
4
1
2
1
2
1

32
1

=
11 11 01 00
p p p p
4
3
4
3
2
1
2
1

64
9

=
01 00 10 01
p p p p
2
1
2
1
4
1
2
1

32
1

=
11 01 10 01
p p p p
4
3
2
1
4
1
2
1

64
3

=
01 10 11 01
p p p p
2
1
4
1
4
3
2
1

64
3

=
11 11 11 01
p p p p
4
3
4
3
4
3
2
1

128
27

Probabilidade total (probabilidade do estado 1 em quatro passos)
664 , 0
128
85


Se construirmos uma tabela para mostrar os clculos da probabilidade do
estado 0 para quatro passos, chegaremos sem dvida no valor 336 , 0 ) 4 (
128
43
0
= p . Se
estendermos os clculos para mais passos no difcil concluir que a probabilidade do estado
1 encaminhar para
3
2
, enquanto que a probabilidade do estado 0 ser de
3
1
, preservadas as
condies.
Com estes clculos podemos responder questo formulada no enunciado
do Exemplo 5.1. Portanto, espera-se que, em seis meses, 120 dias sero chuvosos
( 120 180
3
2
= ), e 60 dias sero ensolarados.

5.3.1 Matriz de transio de probabilidades

Uma notao conveniente para representar probabilidades de transio para
n passos a forma de matriz.

Definio 5.4: (Matriz de probabilidades de transio para n passos) Seja { } M S , , 1 , 0 = o
conjunto finito de estados, e seja o par de estados ) , ( j i , tal que S S j i ) , ( . Associe a cada
par ) , ( j i um nmero real ) (n p
ij
, de modo que sejam satisfeitas as propriedades
156
1 ) ( 0 n p
ij
para S S j i ) , ( e =
S j
ij
n p 1 ) ( para S i , define-se a matriz
n
P (leia-
se matriz P elevada ao expoente n ),

(
(
(
(

=
) ( ) ( ) (
) ( ) ( ) (
) ( ) ( ) (
1 0
1 11 10
0 01 00
n p n p n p
n p n p n p
n p n p n p
P
MM M M
M
M
n

.



(5.6)

Especificamente, para um passo, a matriz de probabilidades de transio
como representada em (5.7), onde omitido o ndice ) 1 ( .

(
(
(
(

=
MM M M
M
M
p p p
p p p
p p p
P

1 0
1 11 10
0 01 00
.



(5.7)

Em particular, para 0 = n , tem-se como conseqncia natural que
0
P a
prpria matriz identidade, I , de ordem ) 1 ( ) 1 ( + + M M , o que est de acordo com o fato de
que ) 0 (
ij
p igual a ) | (
0 0
i X j X P = = e

=
=
j i se
j i se
p
ij
, 0
, 1
) 0 ( .

Com base no teorema da probabilidade total e na definio de probabilidade
de transio para n passos, ) | ( ) (
1
i X j X P n p
n n ij
= = =

, tem-se a expresso (5.8) para o
clculo da probabilidade do estado j em n passos

) ( ) 0 ( ) ( ) ( n p p j X P n p
ij
i
i n j
= = =
.

(5.8)


157
A partir da expresso (5.8) podemos concluir que a matriz
n
P relacionada
distribuio inicial de probabilidades, ) 0 ( p , definida pela expresso (5.5), e ao vetor de
probabilidades de estados para n passos, atravs da expresso (5.9)

n
P p n p ) 0 ( ) ( = .
(5.9)

Esta expresso pode ser deduzida pela aplicao do Princpio da Induo
Matemtica, a exemplo do que foi feito durante a soluo do Exemplo 5.1 para o caso
particular de um processo de 2 estados.
Em relao expresso (5.9), se o espao de estados S do processo de
Markov } {
n
X for finito, ento o clculo de
n
P relativamente fcil. Para processos de
Markov com espaos de estados contveis, porm infinitos, o clculo de
n
P no trivial.
Contudo, existem mtodos para determinar o comportamento assinttico, isto , quando
n , de ) (n p e
n
P .

5.3.2 Cadeias de Markov

Uma forma visual conveniente para representar um processo de Markov
atravs de um grafo que se compe de ns, que so os estados, e arcos direcionados que
simbolizam as transies entre estados. Este grafo denominado diagrama de transio.

Definio 5.5: (Cadeia de Markov) A seqncia } {
n
X , , 2 , 1 , 0 = n , chamada uma cadeia
de Markov homognea de tempo discreto, com espao de estados } , , 2 , 1 , 0 { M S = , e
matriz de probabilidades de transio, P , se para todo , 2 , 1 , 0 = n a condio

ij n n
p i X j X P i X j X P = = = = = =

) | ( ) | (
0 1 1


satisfeita para todo S S j i ) , ( .

Considere o exemplo apresentado a seguir.

158
Exemplo 5.2: Considere o problema enunciado no Exemplo 5.1. Desejamos utilizar a
representao sob a forma de diagrama de transio de uma cadeia de Markov para expressar
o problema daquele enunciado.

Identificamos dois estados, portanto, 1 = M , e o espao de estados
} 1 , 0 { = S . O produto cartesiano, S S , )} 1 , 1 ( ), 0 , 1 ( ), 1 , 0 ( ), 0 , 0 {( . A matriz de
probabilidades de transio para um passo a seguinte:

(
(

=
(

=
4
3
4
1
2
1
2
1
11 10
01 00
P
p p
p p
P .

O grafo que corresponde cadeia de Markov para este exemplo ilustrado
na Figura 5.2.






Figura 5.2: Diagrama de transio de uma cadeia de Markov com dois estados.

A anlise de cadeias de Markov utilizando matriz de probabilidades de
transio pode ser efetuada tomando-se certas precaues tendo em vista que nem todos os
processos de Markov de tempo discreto comportam-se de modo semelhante medida que o
nmero de passos aumenta.
Surge ento a necessidade de uma classificao das cadeias de Markov.

5.3.3 Classificao das cadeias de Markov

Os estados de um processo de Markov so divididos em transitrio e
recorrente. Esta classificao diz respeito probabilidade do processo retornar a um dado
estado i se o processo partiu deste estado.
0 1
2
1
01
= p
4
3
11
= p
2
1
00
= p
4
1
10
= p
159
Seja
ii
f a probabilidade de que o processo retornar ao estado i dado que o
processo tenha partido deste estado, ento segue a definio de estado recorrente.

Definio 5.6: (Estado recorrente) Um estado i recorrente se e somente se, partindo do
estado i , o processo eventualmente retornar ao estado i com probabilidade 1 =
ii
f .

O processo cuja cadeia de Markov foi apresentada no Exemplo 5.2 possui
ambos os estados recorrentes. Outro exemplo de estados recorrentes corresponde matriz de
probabilidades de transio mostrada a seguir:

(

=
0 1
1 0
P .

Uma cadeia de Markov com dois estados recorrentes est ilustrada na Figura
5.3.




Figura 5.3: Diagrama de transio de uma cadeia de Markov com dois estados recorrentes.

Estados transitrios, tambm conhecidos como no recorrentes, so aqueles
que, partindo do estado i , h uma probabilidade positiva de que o processo no retornar a
esse estado (isto , 1 <
ii
f ). Estados recorrentes e transitrios podem coexistir numa mesma
cadeia de Markov. A caracterizao de estados transitrios no trivial e, por esta razo, os
detalhes de processos de Markov desse tipo no sero enfatizados neste texto.
Um tipo especial de estado recorrente o estado absorvente cuja definio
estabelecida a seguir, conforme a referncia (TRIVEDI, 2002).

Definio 5.7: (Estado absorvente) Um estado i dito ser um estado absorvente se e somente
se a probabilidade
ii
p igual a 1.

1
1
11
= p
0
1
00
= p
160
A cadeia cujo diagrama de transio est ilustrado na Figura 5.3 tem ambos
os estados absorventes.
importante ressaltar que s possvel escapar de um estado absorvente
se o processo for reiniciado, ou seja, se o processo partir novamente de qualquer outro estado
que no seja absorvente. Vamos apresentar um exemplo para tornar mais claras as definies.

Exemplo 5.3: Considere um navio com dois sistemas propulsores, que so duas turbinas
idnticas. Seja
n
X a varivel aleatria tal que seu valor o nmero de turbinas em operao
normal no passo n . Se uma das turbinas falhar, ela poder ser consertada, enquanto se ambas
falharem, o navio pra, mas ainda haver possibilidade de que uma das turbinas seja
consertada sendo esta a reignio do processo de Markov e no a transio para outro estado.
As probabilidades so as seguintes: se uma turbina que nunca passou por reparo boa no
tempo
1 n
t , ela tem confiabilidade de 90% no tempo
n
t ; porm, uma turbina que se estragou
no tempo
1 n
t , aps reparada, apenas 60% confivel no tempo
n
t . Suponha as
probabilidades independentes e modele o problema como um processo de Markov de tempo
discreto.

Os valores possveis para a varivel X so: 0, 1 e 2, sendo,
respectivamente, duas turbinas estragadas, apenas uma operando e ambas operando. O
modelo de probabilidades sugerido o Binomial j que os eventos so independentes, ou seja,
a falha de uma turbina no implica na falha da outra, e cada turbina s pode ser encontrada em
uma dentre duas condies.

As probabilidades de transio so calculadas como a seguir.

- ambas em operao,
22 1
) 2 | 2 ( p X X P
n n
= = =

,
81 , 0 9 , 0 9 , 0
22
= = p ;
- uma turbina boa e a outra estragada dado que ambas estavam em operao,
21 1
) 2 | 1 ( p X X P
n n
= = =

, 18 , 0 9 , 0 1 , 0 1 , 0 9 , 0
21
= + = p ;
- ambas estragadas dado que as duas estavam boas,
20 1
) 2 | 0 ( p X X P
n n
= = =

,
01 , 0 1
21 22 20
= = p p p ;
- uma em operao e a outra entra em operao aps o reparo,
12 1
) 1 | 2 ( p X X P
n n
= = =

,
161
54 , 0 6 , 0 9 , 0
12
= = p ;
- nenhuma em operao dado que apenas uma estava boa,
10 1
) 1 | 0 ( p X X P
n n
= = =

,
04 , 0 4 , 0 1 , 0
10
= = p ;
- uma em operao dado que uma delas estava estragada,
11 1
) 1 | 1 ( p X X P
n n
= = =

,
42 , 0 1
10 12 11
= = p p p .

O estado 0 absorvente uma vez que entrando nele no se pode abandon-
lo exceto se o processo partir novamente, portanto, 1
00
= p .

A matriz de probabilidades de transio para um passo fica conforme est
mostrada:

(
(
(

=
1 0 0
04 , 0 42 , 0 54 , 0
01 , 0 18 , 0 81 , 0
0
1
2
0 1 2
P
.

As anlises de sistemas cujos modelos so representados por processos de
Markov de tempo discreto para elevado nmero de passos trazem informaes importantes.
No entanto, nem todos os processos comportam-se de maneira idntica para n e, por
isso, no permitem que certas concluses sejam extradas.
Da advm a necessidade de estabelecer objetivamente sob quais condies
as probabilidades limites existem e se possuem ou no algum significado fsico.

Definio 5.8: (Probabilidade limite ou probabilidade estacionria) Para o estado j de uma
cadeia de Markov, o elemento
j
v , para M j , , 1 , 0 = , definido como a probabilidade
limite ) (
lim
n p v
j
n
j

= , ou seja,
j
v a probabilidade do estado j em regime estacionrio.
Em conseqncia, o vetor ] [
1 0 M
v v v v = o vetor de regime estacionrio.

Nos desenvolvimentos que seguem ser mostrado que para determinadas
cadeias nem sempre possvel obter o vetor de probabilidades limites. Uma propriedade
162
requerida para a existncia de
j
v , tal como definida anteriormente, que a cadeia seja
aperidica.

Definio 5.9: (Periodicidade de estados) Se partindo do estado i retornamos a este estado em
um nmero par ou mpar (maior que 1) de passos dizemos que o estado peridico, com
perodo igual ao menor nmero inteiro de passos que for necessrio para alcanar o estado. A
uma cadeia com estados peridicos designamos cadeia peridica. Por outro lado, ser
aperidica se todos os estados forem aperidicos.
Uma forma de verificar a periodicidade de estados visualizar o processo
como uma rvore de probabilidades. Por exemplo, a cadeia cuja matriz

(

=
0 1
1 0
1
0
1 0
P
,

peridica com perodo 2. A rvore de probabilidades ilustrada na Figura 5.4 mostra isto
claramente.





Figura 5.4: rvore de probabilidades de uma cadeia de Markov com dois estados peridicos.

Por outro lado, ambos os estados da cadeia de Markov da Figura 5.3 so
aperidicos. Outro exemplo de cadeia com estados aperidicos a cadeia cuja rvore est
ilustrada na Figura 5.1. Na rvore da Figura 5.1 fcil visualizar que, partindo do estado 0,
possvel alcanar o estado 0 em um passo; de modo anlogo, se a partida for do estado 1
alcana-se o mesmo estado em um passo.
Em contraposio aos estados absorventes, se todos os estados de uma dada
cadeia de Markov se comunicam a matriz de probabilidades de transio dessa cadeia exibir
propriedades especiais. A definio de estados comunicantes dada em seguida.
0 1 0 1
1 passo 2 passo 3 passo
1 = n 2 = n 3 = n
163
Definio 5.10: (Estados comunicantes) O estado i se comunica com o estado j se, partindo
do estado i , possvel alcanar o estado j direta ou indiretamente, observando-se o sentido
do arco que os une.
Exemplo 5.4: Dadas as matrizes de transio associadas s cadeias de Markov, identificar se
os estados se comunicam ou no. As posies marcadas com * (asterisco) representam
nmeros positivos (probabilidades de transio para um passo).
a)
(
(
(

=
* * *
* * *
* 0 *
2
1
0
2 1 0
P
.
Os estados da cadeia de Markov da matriz P so representados pelos
nmeros 1 , 0 e 2 .
Partindo do estado 1, isto , segunda linha da matriz, possvel chegar
diretamente a qualquer um dos estados. Na primeira linha, de 0 no conseguimos chegar
diretamente ao estado 1. Todavia, de 0 podemos chegar ao estado 2 e da alcanamos 1.
Portanto, na cadeia que a matriz P representa todos os seus estados se comunicam.
A outra matriz mostrada a seguir.
b)
(
(
(

=
0 * *
0 * 0
* * *
2
1
0
2 1 0
P
.
A partir desta matriz possvel construir o diagrama de transio da cadeia,
na qual a existncia de seta indica elemento positivo na matriz. A Figura 5.5 ilustra o
diagrama de transio que corresponde ltima matriz.








Figura 5.5: Diagrama de transio de uma cadeia de Markov onde o estado 1 absorvente.
1 0
2
164
Ao analisarmos a cadeia da Figura 5.5 imediata a constatao de que os
estados 0 e 2 se comunicam e que o estado 1 no se comunica com os demais.

As cadeias de Markov em que todos os estados podem ser alcanados a
partir de todos os outros estados em um nmero finito de passos so chamadas de cadeias
irredutveis. Assim, as cadeias dos Exemplos 5.2 e 5.4(a) so irredutveis e aperidicas.
Os autores Hillier e Lieberman demonstram que todos os estados em uma
cadeia de Markov irredutvel so recorrentes. Implicando que para identificar se uma cadeia
de Markov irredutvel o bastante provar que todos os estados do processo se comunicam.
Esta assertiva pode ser colocada de outra forma, mais prtica, conforme est exposta no
Teorema 5.1.

Teorema 5.1: Uma condio suficiente para uma cadeia ser identificada como irredutvel
que exista algum nmero n inteiro no negativo tal que 0 ) ( > n p
ij
para todo i e j .

Este teorema fornece uma regra prtica para a identificao de cadeias
irredutveis. Em outras palavras, ao elevarmos a matriz P da cadeia que se quer identificar a
potncias n de pequenos valores, por exemplo, 2 = n , 3 = n , etc., podemos verificar se
existe algum n para o qual 0 ) ( > n p
ij
para todo i e j . Em caso afirmativo, a cadeia
irredutvel. A referncia (BRONSON, 1985) designa a cadeia que atende condio do
Teorema 5.1 de cadeia regular.

Vamos aplicar o resultado do Teorema 5.1 para identificar as cadeias cujas
matrizes so dadas no Exemplo 5.5.

Exemplo 5.5: Dadas as matrizes seguintes:
a)
(
(
(

=
* * 0
* 0 *
0 * *
P ; e b)
(
(
(
(

=
* 0 * 0
0 * 0 *
* 0 * 0
0 * 0 *
P ;
verifique se elas correspondem cadeias irredutveis.

Tomamos a matriz P do caso (a) e a elevamos ao quadrado, obtendo-se:
165
(
(
(

=
(
(
(

(
(
(

=
* * *
* * *
* * *
* * 0
* 0 *
0 * *
* * 0
* 0 *
0 * *
2
P .
Ao efetuarmos o produto simblico P por P , verificamos que todas as
posies com elementos nulos foram preenchidas, portanto, correto afirmar que a cadeia
irredutvel (ou regular).
Tomamos a matriz P do caso (b) e a elevamos ao quadrado, obtendo-se:
(
(
(
(

=
* 0 * 0
0 * 0 *
* 0 * 0
0 * 0 *
2
P .
De posse de
2
P , imediata a constatao que a matriz
3
P exibe o mesmo
padro de preenchimentos com elementos positivos observado emP . Conseqentemente,
todas as potncias,
4
P ,
n
P P , ,
5
exibiro padres semelhantes ao de P . possvel
concluir que no existe n de tal modo que 0 ) ( > n p
ij
. Isto implica que a cadeia em questo
no irredutvel. Concluso idntica pode ser extrada se aplicarmos o resultado do Teorema
5.1 matriz do Exemplo 5.4(b), confirmando assim a identificao feita pelo mtodo dos
estados comunicantes.
Para complementar a seo que trata da classificao das cadeias de
Markov, considere a definio de estado recorrente positivo (ou no nulo).

Definio 5.11: (Estado recorrente positivo) O estado i recorrente positivo se, partindo do
estado i , o tempo esperado para o processo visitar novamente este estado finito. Por outro
lado, ao partir do estado i se o tempo esperado para o processo visitar este estado for infinito,
o estado dito recorrente nulo.

O tempo esperado para um processo re-visitar o estado i , tambm
conhecido como tempo mdio de recorrncia, definido pela esperana matemtica indicada
pela expresso (5.10)

=

=1
) (
n
ii ii
n nf , para 1 ) (
1
=

= n
ii
n f ,

(5.10)

166
onde, ) (n f
ii
a probabilidade de re-visitar o estado i em n passos.

O tempo esperado para um processo que tenha partido do estado i , aps
n passos, retornar ao estado j , tambm conhecido como tempo de primeira passagem,
definido conforme (5.11)

=

=1
) (
n
ij ij
n nf ,

(5.11)

onde, ) (n f
ij
a probabilidade em n passos de visitar o estado j se o processo partiu do
estado i .
Dado que 1 ) (
1
=

= n
ij
n f para S S j i ) , ( , onde, } , , 2 , 1 , 0 { M S = , as
probabilidades ) (n f
ij
podem ser calculadas pelas relaes recursivas (5.12)

ij ij ij
p p f = = ) 1 ( ) 1 ( ,
jj ij ij ij
p f p f ) 1 ( ) 2 ( ) 2 ( = ,

jj ij jj ij jj ij ij ij
p n f n p f n p f n p n f ) 1 ( ) 2 ( ) 2 ( ) 1 ( ) 1 ( ) ( ) ( = .



(5.12)

A aplicao das expresses (5.10) a (5.12) ser feita posteriormente.
Estados recorrentes positivos que so aperidicos so chamados de estados
ergdicos. Conseqentemente, cadeias que tm todos os estados ergdicos so designadas
como cadeias ergdicas.

5.3.4 Anlise de cadeias finitas irredutveis com estados aperidicos

As cadeias finitas de Markov cujos estados so recorrentes positivos e
aperidicos gozam de uma propriedade singular, que est expressa no Teorema 5.2
(TRIVEDI, 2002).
Teorema 5.2: Para uma cadeia irredutvel e aperidica, com todos os estados recorrentes
positivos, o vetor de probabilidades limites, ] [
1 0 M
v v v v = , tal que ) (
lim
n p v
j
n
j

= ,
167
o nico vetor de probabilidades de regime estacionrio e satisfaz as relaes (5.13) e (5.14),
a saber:
vP v = , (5.13)

1
0
=
=
M
j
j
v , 0
j
v .

(5.14)

O clculo do vetor v pode ser efetuado usando o computador atravs da
equao iterativa P v v
k k ) ( ) 1 (
=
+
, para , 2 , 1 , 0 = k , arbitrando um vetor de estimativa
inicial
) 0 (
v , at que a convergncia seja alcanada. Uma maneira alternativa para a obteno
de v o mtodo analtico: constri-se o sistema (5.13) e troca-se uma das 1 + M equaes
lineares pela relao (5.14), para, em seguida, solucionar o sistema de equaes resultante.
Vamos aplicar o resultado do Teorema 5.2 para calcular as probabilidades
estacionrias dos estados do sistema do Exemplo 5.1.

Exemplo 5.6: Dado que a cadeia do Exemplo 5.1 atende as condies do Teorema 5.2, isto ,
irredutvel e aperidica com estados recorrentes positivos, calcule as probabilidades de
regime estacionrio.
Primeiramente, vamos utilizar a equao de iterao tomando o vetor inicial
] 0 1 [
) 0 (
= v , que para este exemplo fica conforme est mostrada a seguir:

, ] [ ] [
4
3
4
1
2
1
2
1
) (
1
) (
0
) 1 (
1
) 1 (
0
(
(

=
+ + k k k k
v v v v com ] 0 1 [
) 0 (
= v .

A Tabela 5.2 resume os clculos iterativos.

Tabela 5.2: Iteraes para obteno do vetor de probabilidades de regime estacionrio.
k ) (k
v
) 1 ( + k
v
) ( ) 1 ( k k
v v
+

0
] 0 1 [ ] 500 , 0 500 , 0 [ ] 500 , 0 500 , 0 [
1
] 500 , 0 500 , 0 [ ] 625 , 0 375 , 0 [ ] 125 , 0 125 , 0 [
2
] 625 , 0 375 , 0 [ ] 656 , 0 344 , 0 [ ] 031 , 0 031 , 0 [
3
] 656 , 0 344 , 0 [ ] 664 , 0 336 , 0 [
] 10 8 10 8 [
3 3

4
] 664 , 0 336 , 0 [ ] 666 , 0 334 , 0 [
] 10 2 10 2 [
3 3


168
Em funo da preciso requerida nos clculos, mais iteraes podem ser
realizadas. Sugerimos que o leitor repita o procedimento iterativo mostrado anteriormente
tomando qualquer outro vetor
) 0 (
v como estimativa inicial.
A Figura 5.6 ilustra a evoluo das probabilidades dos estados 0 e 1
medida que o nmero de passos aumenta. Ressaltamos nestes clculos a coincidncia entre o
nmero de passos n e o contador de iteraes k .
Os grficos ilustrados na Figura 5.6 merecem alguns comentrios. No
grfico da esquerda, o vetor de probabilidades iniciais ] 0 1 [ ) 0 ( = p . Enquanto que, no
grfico da direita, o vetor de probabilidades iniciais ] 1 0 [ ) 0 ( = p . Observa-se que o vetor
de probabilidades de regime estacionrio obtido, ou seja, ] ) ( ) ( [ ] [
1 0 1 0
= = p p v v v ,
independe do vetor de probabilidades iniciais.

Regra geral: para qualquer cadeia irredutvel aperidica, as probabilidades
limites dos estados ) (
lim
) (
lim
n p n p v
ij
n
j
n
j

= = existem e so independentes do vetor de
probabilidades iniciais ) 0 ( p .















Figura 5.6: Probabilidades dos estados em funo do nmero de passos para dois vetores de
probabilidades iniciais distintos.
169
O leitor convidado a voltar ao Exemplo 5.1 e traar um paralelo entre a
soluo obtida aqui atravs do processo iterativo e os clculos efetuados naquele exemplo.
Agora, o clculo das probabilidades estacionrias ser feito analiticamente.
Para tal, com base na expresso (5.13) obtemos o sistema de equaes:

(
(

=
4
3
4
1
2
1
2
1
1 0 1 0
] [ ] [ v v v v

= +
=
0
0
1
4
1
0
2
1
1
4
1
0
2
1
v v
v v
.

Como as equaes so linearmente dependentes, substitui-se a segunda
equao (arbitrou-se a segunda, mas poderia ser a primeira) pela equao (5.14). O sistema de
equaes assim obtido o seguinte:

= +
=
1
0
1 0
1
4
1
0
2
1
v v
v v
.

A soluo deste sistema nos fornece ] [
3
2
3
1
= v , que a mesma soluo
para a qual converge o mtodo iterativo.

Ao estudar processos de Markov natural a expectativa do leitor por
conhecer as aplicaes dessa interessante teoria em problemas do mundo real. A interpretao
fsica dos resultados obtidos com os clculos e a traduo desses resultados para a linguagem
natural so etapas essenciais para a compreenso do comportamento do sistema sob anlise.
Neste contexto, apresentamos em seguida algumas interpretaes relevantes:
- a probabilidade de regime estacionrio,
i
v , a porcentagem do tempo total
considerado que o processo permanece no estado i ;
- para cadeias ergdicas, o recproco da probabilidade de regime
estacionrio, designado por
ii
, o tempo esperado de recorrncia do estado i , isto ,

i
ii
v
1
= , para M i , , 2 , 1 , 0 = ,

onde,
ii
o tempo mdio do processo re-visitar o estado i ;
170
- seja f uma funo da varivel aleatria X , por exemplo, custos
financeiros associados aos estados. As probabilidades estacionrias
i
v podem ser utilizadas
para calcular a esperana matemtica de ) ( X f , assim:

=
=
M
i
i
i f v X f E
0
) ( )) ( ( .

(5.15)

Em seguida, apresentamos um exemplo que permite a interpretao dos
resultados obtidos de maneira mais prtica.

Exemplo 5.7: Uma fbrica possui duas mquinas idnticas essenciais ao processo de
manufatura e so operadas continuamente, exceto quando elas esto quebradas. Devido ao
fato que essas mquinas so muito sensveis e quebram freqentemente, necessrio
remunerar em tempo integral um tcnico para reparar a mquina quando ocorrer alguma falha.
Suponha que o intervalo de tempo de observao seja de um dia e que a varivel
aleatria
n
X representa o nmero de mquinas quebradas no dia n . Os valores possveis para
a varivel aleatria so 1 , 0 =
n
X e 2 . Admita que durante cem dias de observaes foram
anotadas as situaes das duas mquinas, chegando-se s probabilidades de transies dos
estados para 1 dia, que esto mostradas na matriz P :

(
(
(

=
100
1
60 20 20
20 40 40
40 20 40
0
1
2
0 1 2
P
(
(
(

=
6 , 0 2 , 0 2 , 0
2 , 0 4 , 0 4 , 0
4 , 0 2 , 0 4 , 0
0
1
2
0 1 2
P
.

Outro dado importante que custos de estar nos estados 0, 1 e 2 so, respectivamente, $ 0,00,
$ 1.500,00 e $ 10.000,00, e h tambm o custo fixo de remunerao do tcnico, que $
100,00 ao dia. O custo de duas mquinas paradas alto porque implica na parada da linha de
produo, podendo causar srios transtornos fbrica. A partir das probabilidades de regime
estacionrio, calcule:
(a) se ambas as mquinas se estragam, a probabilidade que o tempo para consertar uma dessas
mquinas seja de dois dias;
171
(b) na ocorrncia de ambas as mquinas fora de operao, em quantos dias espera-se que esta
situao ocorra novamente;
(c) o nmero esperado de dias de ociosidade do tcnico;
(d) o custo por dia a longo prazo para manter as mquinas.

A partir da matriz, conclui-se que a cadeia irredutvel e aperidica, com
estados recorrentes positivos. Por isso, podemos aplicar o Teorema 5.2 para calcular o vetor
v , donde obtemos:

] 4375 , 0 2500 , 0 3125 , 0 [ = v .

Para responder o item (a) precisamos calcular a probabilidade que o tempo
de primeira passagem do estado 0 ao estado 1 seja igual a 2 dias, ou seja, ) 2 (
01
f . Utilizamos
ento as relaes recursivas para obter ) 2 (
01
f

2 , 0 ) 1 ( ) 1 (
01 01 01
= = f p f ,
11 01 01 01
) 1 ( ) 2 ( ) 2 ( p f p f = .

Para concluir o item (a), precisamos calcular ) 2 (
01
p .

(
(
(

=
(
(
(

(
(
(

=
48 , 0 24 , 0 28 , 0
36 , 0 28 , 0 36 , 0
44 , 0 24 , 0 32 , 0
6 , 0 2 , 0 2 , 0
2 , 0 4 , 0 4 , 0
4 , 0 2 , 0 4 , 0
6 , 0 2 , 0 2 , 0
2 , 0 4 , 0 4 , 0
4 , 0 2 , 0 4 , 0
2
P 24 , 0 ) 2 (
01
= p .

Portanto, a probabilidade que o tempo para consertar uma dessas mquinas seja de dois dias
igual a:

16 , 0 ) 2 ( 4 , 0 2 , 0 24 , 0 ) 2 ( ) 1 ( ) 2 ( ) 2 (
01 01 11 01 01 01
= = = f f p f p f .

O item (b) pede o tempo de recorrncia para o estado 2. Basta
calcular
2
22
1
v
= , resultando no seguinte valor:

172
3125 , 0
1
22
= 2 , 3
22
= dias.

Para o item (c), o nmero esperado de dias de ociosidade do tcnico
corresponde aos dias em que ambas as mquinas ficam em operao, ou seja, o tempo de
recorrncia do estado 0,

4375 , 0
1
00
= 3 , 2
00
= dias.

Finalmente, para o item (d), o custo por dia a longo prazo para manter as
mquinas a esperana matemtica da funo custo em regime estacionrio.

00 , 000 . 10 3125 , 0 00 , 500 . 1 25 , 0 00 , 0 4375 , 0 )) ( ( + + = X f E
00 , 500 . 3 )) ( ( = X f E .

Devemos adicionar ao valor obtido anteriormente o custo fixo devido remunerao do
tcnico. Portanto, o custo por dia a longo prazo para manter as mquinas $ 3.600,00.

As cadeias de Markov analisadas nesta seo exibem a propriedade especial
de que a potncia
n
P para n tendendo ao infinito resulta numa matriz cujas linhas so todas
iguais. A expresso (5.16) exprime a mencionada propriedade de forma mais clara

(
(
(
(

=

M
M
M
n
n
v v v
v v v
v v v
P

1 0
1 0
1 0
lim .


(5.16)

Por exemplo, a matriz do Exemplo 5.6 ao ser elevada a expoentes cada vez
mais altos resulta na seguinte matriz:

(
(

=
(
(

=

3
2
3
1
3
2
3
1
4
3
4
1
2
1
2
1
lim lim
n
n
n
n
P .

Esta uma propriedade inerente s cadeias finitas irredutveis e aperidicas.
No entanto, cadeias que possuem estados absorventes constituem uma classe especial de
173
processos que no exibem tal propriedade. Por exemplo, a matriz do Exemplo 5.3 um caso
que no atende propriedade.

5.3.5 Anlise de cadeias finitas com estados absorventes

O estudo das cadeias de Markov finitas com estados absorventes requer que
a matriz de probabilidades de transio P seja expressa de modo especial. Isto implica que as
linhas de P que correspondem aos estados no absorventes devem ser arranjadas em primeiro
lugar e, em seguida, nas ltimas linhas figuram os estados absorventes.
A expresso (5.17) mostra uma representao na forma cannica da matriz
de probabilidades de transio quando h estados absorventes,

(

=
(
(
(
(
(
(
(
(

=
+
+
I
C Q
P
c c q q
c c q q
P
rs rr rr r
s r r
0
1 0 0 0
0 1 0 0
1 1
1 1 1 1 11






,

estados no absorventes Q C
estados absorventes 0 I






(5.17)

O clculo da potncia
n
P passa pelo seguinte desenvolvimento.
Primeiramente, para k natural, prova-se que
k
P igual a identidade (5.18)

(
(

=
I
C Q
P
k
k
0
~
,

(5.18)

onde, o elemento da posio ) , ( j i da matriz
k
Q denota a probabilidade de chegar ao estado
no absorvente j aps k passos partindo do estado no absorvente i , enquanto que C
~
denota
a submatriz C aps k passos.
Uma das informaes mais relevantes na anlise de cadeias absorventes o
nmero esperado de passos em que o processo ficar no estado no absorvente i antes da
absoro. Considere o seguinte teorema.
174
Teorema 5.2: Para uma cadeia de Markov com pelo menos um estado absorvente, o nmero
esperado de passos para a absoro partindo do estado no absorvente i o somatrio dos
elementos da i sima linha da matriz
1
) (

Q I .

Uma prova deste teorema fundamenta-se no fato de que para o processo
alcanar a absoro este deve transitar antes por todos os estados no absorventes nos passos
, , 2 , 1 , 0 . Assim, o nmero esperado de passos antes da absoro se o processo partiu do
estado no absorvente i a i sima linha da matriz que resulta do somatrio

=
+ + + + = Q Q Q Q Q
k
k

0
2 0
,

lembrando que I Q =
0
e que a norma da matriz Q seja menor que 1 (isto , 1 < Q ).

Finalmente, recorremos s sries convergentes, neste caso, aplicadas a
matrizes, que nos permite concluir que o somatrio anterior igual matriz
1
) (

Q I .
A matriz
1
) (

Q I designada como matriz fundamental e uma rica fonte
de informao sobre cadeias de Markov. Os elementos dessa matriz do os nmeros de passos
(ou os nmeros de vezes) que o processo visita os estados no absorventes antes de alcanar a
absoro (vide expresso (5.12)).
Antes de passarmos a um exemplo de aplicao vamos estabelecer mais um
conceito importante sobre cadeias absorventes. Suponhamos que o processo tenha partido do
estado no absorvente i e desejamos calcular a probabilidade de absoro no estado j . Note-
se que aqui o ndice j indica um estado absorvente.

Teorema 5.4: Para uma cadeia de Markov com pelo menos um estado absorvente, a
probabilidade do processo que partiu do estado no absorvente i ser absorvido no estado j
o elemento da posio ) , ( j i da matriz que resulta do produto C Q I
1
) (

.
A demonstrao deste teorema deixada como exerccio para o leitor. A
referncia (SHAMBLIN, 1989) traz um argumento que pode auxiliar o leitor nesta tarefa.
175
Outra forma possvel para se concluir pela validade do Teorema 5.4
mostrar que o limite
n
n
P
lim

comporta-se como mostrado a seguir (TRIVEDI, 2002).

(
(

=
(

I
C Q I
I
C Q
P
n
n
n
n
0
) ( 0
0
lim lim
1
.

(5.20)


Estamos de posse de mtodos e informaes que permite resolver um
exemplo de aplicao.

Exemplo 5.8: Considere o problema do enunciado do Exemplo 5.3. Ambas as turbinas em
falha constituem um estado absorvente, do qual s se pode escapar se uma das turbinas puder
ser consertada enquanto o navio estiver completamente parado, ou, se de algum modo,
turbinas novas puderem ser transportadas ao navio. Desejamos determinar o tempo mdio (ou
seja, o nmero de passos) para o navio paralisar totalmente suas mquinas supondo que ele se
encontra com ambas as turbinas operando normalmente. Calcule tambm as probabilidades de
absoro.

Do Exemplo 5.3, temos que a matriz de probabilidades de transio para
este problema a seguinte:

(
(
(

=
1 0 0
04 , 0 42 , 0 54 , 0
01 , 0 18 , 0 81 , 0
0
1
2
0 1 2
P
.

De acordo com a expresso (5.18), as matrizes Q, C e I so como dadas a
seguir.

(

=
42 , 0 54 , 0
18 , 0 81 , 0
Q ,
(

=
04 , 0
01 , 0
C e [ ] 1 = I .

176
A primeira pergunta refere-se ao nmero de passos para alcanar o estado
absorvente 0 tendo partido do estado 2. Portanto, necessitamos calcular a matriz
1
) (

Q I .

(

=
(

=
58 , 0 54 , 0
18 , 0 19 , 0
42 , 0 54 , 0
18 , 0 81 , 0
1 0
0 1
Q I ,

(

=
(

6154 , 14 5385 , 41
8462 , 18 6154 , 44
58 , 0 54 , 0
18 , 0 19 , 0
) (
1
1
Q I .

A matriz fundamental
1
) (

Q I ento da seguinte forma:
(

=

6154 , 14 5385 , 41
8462 , 18 6154 , 44
1
2
) (
1
Q I .

A resposta primeira questo a soma dos elementos da primeira linha da
matriz fundamental, que resulta em 4616 , 63 8462 , 18 6154 , 44 = + . Isto significa que se duas
turbinas estiverem em operao, o nmero esperado de passos at que as duas se estraguem
de 63,5 unidades de tempo.

As probabilidades de absoro so calculadas com base no Teorema 5.4.

(

=
(

=
(

000 , 1
000 , 1
04 , 0
01 , 0
6154 , 14 5385 , 41
8462 , 18 6154 , 44
04 , 0
01 , 0
58 , 0 54 , 0
18 , 0 19 , 0
) (
1
1
C Q I .

(

=

000 , 1
000 , 1
1
2
) (
1
C Q I .

Partindo do estado com duas turbinas, a probabilidade de absoro igual a
1. Do mesmo modo, partindo do estado com uma turbina, a probabilidade de absoro
tambm igual a 1.

As probabilidades para alcanar a absoro partindo de qualquer um dos
estados no absorventes nem sempre so iguais a unidade. Isto ocorreu neste exemplo porque
na cadeia de Markov analisada h apenas um estado absorvente. O exemplo que ser
apresentado a seguir considera uma cadeia com dois estados absorventes e tem por objetivo
177
principal mostrar uma forma alternativa ao Teorema 5.3 de se calcular os tempos mdios para
absoro.

Exemplo 5.9: Um reservatrio de uma usina hidreltrica utilizado com a finalidade de
prover renda adicional populao que habita suas vizinhanas atravs da atividade
pesqueira. Periodicamente, a companhia que detm a concesso supre o reservatrio com
alevinos, que se tornaro adultos, procriaro e tambm serviro ao propsito da pesca.
Estudos mostraram que existem dois bons estados para pesca, os quais sero designados por
2
s e
3
s . No entanto, se a atividade pesqueira for intensificada, a populao de peixes pode
cair a nveis em que a pesca precisa ser interrompida por certo tempo. Alm disso, por causas
naturais, o crescimento excessivo da populao de plantas aquticas (algas e outras) pode
alcanar um nvel a ponto de prejudicar a pesca, levando tambm a suspenso da atividade,
que somente ser retomada aps a limpeza do lago. Este sistema fsico foi modelado como um
processo de Markov em que o perodo de tempo considerado razovel para ser tomado como
unidade de tempo de um ms (isto significa que um passo equivale ao tempo de um ms). O
estado que corresponde a insero de alevinos no reservatrio um estado transitrio e
denotado por
1
s . Os estados de interrupo da pesca por reduo do nmero de peixes e
suspenso da atividade por poluio aqutica so simbolizados, respectivamente, por
4
s e
5
s ,
sendo estes estados absorventes. As probabilidades de transio foram levantadas por
mtodos estatsticos e esto indicadas na matriz mostrada a seguir. Desejamos conhecer o
comportamento deste processo no regime estacionrio. Determine os tempos de primeira
passagem partindo de estados no absorventes at os estados absorventes. Calcule tambm a
probabilidade de absoro no estado
4
s se o processo partiu do estado transitrio.

(
(
(
(
(
(

=
1 0 0 0 0
0 1 0 0 0
1 , 0 2 , 0 2 , 0 5 , 0 0
1 , 0 1 , 0 7 , 0 1 , 0 0
1 , 0 1 , 0 0 8 , 0 0
5
4
3
2
1
5 4 3 2 1
s
s
s
s
s
P
s s s s s
.

178
O grafo da cadeia de Markov deste exemplo est ilustrado na Figura 5.7 a
ttulo de ilustrao apenas. Note-se nesta figura o estado transitrio
1
s e os estados
absorventes
4
s e
5
s .













Figura 5.7: Diagrama de transio da cadeia de Markov do modelo de piscicultura do
reservatrio.

Os tempos mdios para alcanar a absoro, que so os nmeros esperados
de meses para atingir os estados absorventes, podem ser calculados pela aplicao do
Teorema 5.3, de maneira anloga ao que foi feito no exemplo anterior.

(
(
(

=
(
(
(

(
(
(

=
8 , 0 5 , 0 0
7 , 0 9 , 0 0
0 8 , 0 1
2 , 0 5 , 0 0
7 , 0 1 , 0 0
0 8 , 0 0
1 0 0
0 1 0
0 0 1
Q I


(
(
(

=
(
(
(

43 , 2 35 , 1 0
89 , 1 16 , 2 0
51 , 1 73 , 1 1
8 , 0 5 , 0 0
7 , 0 9 , 0 0
0 8 , 0 1
) (
1
1
Q I .

A matriz fundamental
1
) (

Q I ento da seguinte forma:
2
s
1
s
5
s
4
s
3
s
8 , 0
1 , 0 1 , 0
1 , 0
7 , 0 1 , 0 5 , 0 1 , 0
2 , 0
1 , 0
1
1
2 , 0
179

(
(
(

=

43 , 2 35 , 1 0
89 , 1 16 , 2 0
51 , 1 73 , 1 1
) (
3
2
1
1
s
s
s
Q I .

Os passos esperados antes da absoro so mostrados na Tabela 5.3.

Tabela 5.3: Clculos dos passos esperados antes da absoro a partir dos elementos da matriz
fundamental.
Estado no absorvente de partida Passos esperados antes da absoro
1
s 24 , 4 51 , 1 73 , 1 1 = + + meses
2
s 05 , 4 89 , 1 16 , 2 = + meses
3
s 78 , 3 43 , 2 35 , 1 = + meses

Os passos calculados na Tabela 5.3 so os tempos para absoro partindo de
estados no absorventes.

As probabilidades de absoro so obtidas aproveitando-se a matriz
fundamental com base no procedimento proposto no Teorema 5.4.

(
(
(

(
(
(

=

1 , 0 2 , 0
1 , 0 1 , 0
1 , 0 1 , 0
43 , 2 35 , 1 0
89 , 1 16 , 2 0
51 , 1 73 , 1 1
) (
1
C Q I ,

(
(
(

=

38 , 0 62 , 0
41 , 0 59 , 0
42 , 0 58 , 0
) (
3
2
1
1
5 4
s
s
s
C Q I
s s
.

A probabilidade de absoro no estado
4
s se o processo partiu do estado
transitrio 58 , 0 .

Os nmeros que figuram na matriz obtida anteriormente podem ser obtidos
aplicando o processo iterativo estabelecido na seo 5.3.4 que foi tambm utilizado no
Exemplo 5.6. Arbitrando o vetor inicial [ ] 0 0 0 0 1
) 0 (
= v , aps trinta iteraes, obtm-
180
se o vetor [ ] 4243 , 0 5756 , 0 0001 , 0 0001 , 0 0
) 30 (
= v . Os dois ltimos elementos de
) 30 (
v
referem-se aos estados absorventes.

Um mtodo alternativo de obteno dos tempos de primeira passagem usa
as frmulas recursivas (5.12) e (5.13). A aplicao dessas frmulas exige clculos sucessivos
de potncias da matriz de probabilidades de transio, o que implica necessariamente no
emprego de computador (HILLIER e LIEBERMAN, 1995).
Vamos exemplificar os clculos supondo
1
s o estado de partida, ou seja,
. 1 = i Para 4 = j , temos:
1 , 0 ) 1 ( ) 1 (
14 14
= = p f ,
44 14 14 14
) 1 ( ) 2 ( ) 2 ( p f p f = 1 1 , 0 18 , 0 ) 2 (
14
= f 08 , 0 ) 2 (
14
= f ,
44 14 44 14 14 14
) 2 ( ) 2 ( ) 1 ( ) 3 ( ) 3 ( p f p f p f = 1 08 , 0 1 1 , 0 3 , 0 ) 3 (
14
= f
12 , 0 ) 3 (
14
= f ,
44 14 44 14 44 14 14 14
) 3 ( ) 2 ( ) 2 ( ) 3 ( ) 1 ( ) 4 ( ) 4 ( p f p f p f p f =
1 12 , 0 1 08 , 0 1 1 , 0 3624 , 0 ) 4 (
14
= f 0624 , 0 ) 4 (
14
= f ,
44 14 44 14 44 14 44 14 14 14
) 4 ( ) 2 ( ) 3 ( ) 3 ( ) 2 ( ) 4 ( ) 1 ( ) 5 ( ) 5 ( p f p f p f p f p f =
1 0624 , 0 1 12 , 0 1 08 , 0 1 1 , 0 4207 , 0 ) 5 (
14
= f , 0583 , 0 ) 5 (
14
= f .

Para 5 = j , temos:
1 , 0 ) 1 ( ) 1 (
15 15
= = p f ,
55 15 15 15
) 1 ( ) 2 ( ) 2 ( p f p f = 1 1 , 0 18 , 0 ) 2 (
15
= f 08 , 0 ) 2 (
15
= f ,
55 15 55 15 15 15
) 2 ( ) 2 ( ) 1 ( ) 3 ( ) 3 ( p f p f p f = 1 08 , 0 1 1 , 0 244 , 0 ) 3 (
15
= f
064 , 0 ) 3 (
15
= f ,
55 15 55 15 55 15 15 15
) 3 ( ) 2 ( ) 2 ( ) 3 ( ) 1 ( ) 4 ( ) 4 ( p f p f p f p f =
1 064 , 0 1 08 , 0 1 1 , 0 2896 , 0 ) 4 (
15
= f 0456 , 0 ) 4 (
15
= f ,
55 15 55 15 55 15 55 15 15 15
) 4 ( ) 2 ( ) 3 ( ) 3 ( ) 2 ( ) 4 ( ) 1 ( ) 5 ( ) 5 ( p f p f p f p f p f =
1 0456 , 0 1 064 , 0 1 08 , 0 1 1 , 0 3244 , 0 ) 5 (
15
= f , 0348 , 0 ) 5 (
15
= f .

Obviamente os clculos devem continuar at um valor de n considerado
alto. A Tabela 5.4 mostra os resultados parciais obtidos com o uso do computador.
Aplicamos ento a expresso (5.12) duas vezes, resultando em
14
e em
15
.

2,5448
14
= e 1,6981
15
= .

181
Adicionando os dois tempos mdios, encontramos o nmero esperado de
passos antes da absoro partindo do estado
1
s , 2429 , 4 6981 , 1 5448 , 2 = + meses. Este
resultado se arredondado com duas casas decimais o mesmo obtido anteriormente atravs da
matriz fundamental (vide Tabela 5.3).

Tabela 5.4: Valores de ) (
14
k f e ) (
15
k f para 40 , , 2 , 1 = k .
) (
14
k f ) (
15
k f
0,1000 0,0091 0,0005 0,0000 0,1000 0,0058 0,0003 0,0000
0,0800 0,0068 0,0004 0,0000 0,0800 0,0043 0,0002 0,0000
0,1200 0,0050 0,0003 0,0000 0,0640 0,0032 0,0002 0,0000
0,0624 0,0037 0,0002 0,0000 0,0456 0,0024 0,0001 0,0000
0,0583 0,0028 0,0001 0,0000 0,0348 0,0018 0,0001 0,0000
0,0381 0,0021 0,0001 0,0000 0,0255 0,0013 0,0001 0,0000
0,0307 0,0015 0,0001 0,0000 0,0191 0,0010 0,0001 0,0000
0,0218 0,0011 0,0001 0,0000 0,0142 0,0007 0,0000 0,0000
0,0167 0,0009 0,0000 0,0000 0,0106 0,0005 0,0000 0,0000
0,0122 0,0006 0,0000 0,0000 0,0078 0,0004 0,0000 0,0000

O livro intitulado Matrix Analysis and Applied Linear Algebra, uma
publicao da SIAM de autoria de Carl D. Meyer, traz interessante abordagem sobre a Teoria
de Perron-Frobenius, que pode auxiliar o leitor na compreenso deste captulo
especificamente no que se refere ao tratamento de matrizes estocsticas.
Existem processos estocsticos com caractersticas de processos de Markov
em que o tempo no uma varivel discreta, embora os estados sejam discretos. Esta classe
de processos markovianos ser estudada na seo seguinte.

5.4 Processos de Markov de tempo contnuo

Processos de Markov de tempo contnuo so similares aos processos de
Markov de tempo discreto exceto pelo fato de que as transies entre estados podem ocorrer
em qualquer instante de tempo. O conjunto que denota o espao de estados do processo, a
exemplo dos processos de Markov estudados anteriormente, discreto, podendo ser finito ou
infinito.
Com o objetivo de caracterizar precisamente os processos markovianos de
tempo contnuo, buscaremos a seguir estabelecer formalmente as relaes que regem seu
comportamento.
182
Em primeiro lugar, a Definio 5.1 se aplica aos processos de Markov de
tempo contnuo, em particular a expresso (5.3). Resta definir probabilidades de transio.

Definio 5.12: (Probabilidades de transio) Sejam dois estados i e j , o instante de tempo u
tal que t u 0 , e ) (t X e ) (u X as variveis aleatrias discretas que contm os nmeros dos
estados nos tempos t e u , respectivamente, a probabilidade de transio ) , ( t u p
ij
definida
pela probabilidade condicional

) ) ( | ) ( ( ) , ( i u X j t X P t u p
ij
= = = ,

sendo i , j , 2 , 1 , 0 = , e

=
=
j i
j i
t t p
ij
se , 0
se , 1
) , ( .

As cadeias de Markov } 0 ; ) ( { t t X so designadas como cadeias tempo-
homogneas se as probabilidades de transio ) , ( t u p
ij
dependem somente da diferena de
tempos u t .
Para definirmos completamente um processo de Markov de tempo contnuo
precisamos definir as probabilidades dos estados, ) (t p
j
no instante t , para j , 2 , 1 , 0 = .

Definio 5.13: (Probabilidade de estado) A probabilidade do processo ser encontrado no
estado j no instante de tempo t definida por

) ) ( ( ) ( j t X P t p
j
= = .

Com base no teorema da probabilidade total, expressamos ) ) ( ( j t X P =
como o somatrio:

= = =
i
i u X P i u X j t X P ) ) ( ( ) ) ( | ) ( ( ,

de modo que, para 0 = u , resulta na expresso:

183
=
i
j ij j
p t p t p ) 0 ( ) , 0 ( ) ( .
(5.21)

A expresso (5.21) mostra que um processo de Markov de tempo contnuo
est completamente definido se as probabilidades de transio e o vetor inicial de
probabilidades dos estados, )] 0 ( ) 0 ( ) 0 ( [ ) 0 (
1 0 M
p p p p = , so especificados,
para 1 + M estados.
Em seguida, apresentaremos uma conseqncia notvel das propriedades
dos processos de Markov de tempo contnuo.
Uma propriedade inerente s cadeias de Markov de tempo contnuo do tipo
tempo-homogneas que o futuro do processo completamente definido no estado presente.
Portanto, a distribuio da varivel aleatria tempo de permanncia de um processo em um
dado estado deve ser sem memria. Designando por Y tal varivel aleatria, a seguinte
probabilidade condicional

) ( ) | ( r Y P t Y r t Y P = +

descreve objetivamente essa propriedade.
Para auxiliar o leitor na compreenso desse conceito foi elaborada a Figura
5.8, na qual esto ilustradas no eixo dos tempos as localizaes de t e r , sendo ] , [ r t t Y + .
A varivel r uma varivel auxiliar que, no decorrer da anlise, tender a zero.





Figura 5.8: Localizao de variveis no eixo dos tempos.
Com base na referncia (TRIVEDI, 2002), segue ento o teorema.
Teorema 5.5: Para cadeias de Markov tempo-homogneas, a varivel aleatria tempo que o
processo gasta (ou permanece) num dado estado possui distribuio exponencial negativa com
taxa igual a .
tempo
0 r t r t +
futuro
presente
184
A demonstrao deste teorema como segue. Seja ) (t f
Y
a funo
densidade de probabilidade exponencial, tal que
t
Y
e t f

= ) ( , ) , 0 [ t ,
dt
t dF
t f
Y
Y
) (
) ( = ,
de modo que genericamente ) ( ) ( t Y P t F
Y
= . A derivada de ) (t F
Y
ser denotada por ) (
'
t F
Y
.

Do conceito de probabilidade condicional (propriedade sem memria)
advm a expresso

) ( 1
) ( ) (
) (
) (
) (
) (
t F
t F r t F
r F
t Y P
r t Y t P
r Y P
Y
Y Y
Y

+
=

+
= .

Se dividirmos ambos os membros da expresso anterior por r e tomarmos o
limite para 0 r teremos a equao diferencial seguinte (lembremos do quociente de
Newton do Clculo Diferencial e Integral):

) ( 1
) (
) 0 (
'
'
t F
t F
F
Y
Y
Y

= ,

cuja soluo a funo exponencial

t F
Y
Y
e t F
) 0 (
'
1 ) (

=
t
Y
e t F

= 1 ) ( .

Portanto, a funo densidade de probabilidade para a varivel aleatria
tempo gasto num dado estado das cadeias de Markov do tipo tempo-homogneas a
exponencial com taxa .
Nas anlises de cadeias de Markov de tempo contnuo necessitamos da
definio de taxa de transio entre dois estados (TRIVEDI, 2002).

Definio 5.14: (Taxa de transio) funo contnua no negativa ) (t q
ij
definida por
u t
ij
ij
t
u t p
t q
=

=
) , (
) (

damos o nome de taxa de transio do processo do estado i para o estado j .
185
Para uma cadeia de Markov de tempo contnuo, as taxas de transio e as
probabilidades dos estados so relacionadas por meio da equao de Kolmogorov mostrada
em (5.22) (TRIVEDI, 2002).

+ =
j i
i ij j j
j
t p t q t p t q
dt
t dp
) ( ) ( ) ( ) (
) (
.

(5.22)

Na equao (5.22), ) (t q
ij
a taxa de transio estabelecida na Definio
5.14 e
j
q o somatrio das taxas de transio do estado j aos estados adjacentes.
Vamos ilustrar a aplicao da equao (5.22) para uma cadeia de dois
estados que est ilustrada na Figura 5.9 com suas taxas de transio.






Figura 5.9: Diagrama de transio de uma cadeia de Markov de tempo contnuo com dois
estados.

Observando o diagrama da Figura 5.9, tem-se que:

01 0
q q = e
10 1
q q = .

Escreveremos em seguida, para cada estado, a equao (5.22):

1 10 0 0
0
p q p q
dt
dp
+ = ,
0 01 1 1
1
p q p q
dt
dp
+ = .
Para efeito de simplificao admitiremos as taxas de transio constantes e a
seguinte notao: =
01
q e =
10
q . Em regime estacionrio, as equaes diferenciais
reduzem-se a equaes algbricas linearmente dependentes.

01
q
1 0
10
q
) (
1
t p
) (
0
t p
186
0 ) ( ) (
1 0
= + p p ,
0 ) ( ) (
0 1
= + p p .

Negligenciamos uma das equaes e utilizamos o fato de
que 1 ) ( ) (
1 0
= + p p para obter as probabilidades dos estados em regime estacionrio.

+
= ) (
0
p ,

+
= ) (
1
p .

interessante neste ponto do texto estabelecer a notao correta para
probabilidades dos estados em regime estacionrio, que basicamente a mesma utilizada na
seo que tratou de processos de Markov de tempo discreto, de acordo com a Definio 5.8.
A probabilidade limite ou probabilidade estacionria para o estado j dada
pelo limite ) ( lim t p v
j
t
j

= . Para tornar mais clara a anlise da cadeia de dois estados feita
anteriormente considere o exemplo apresentado a seguir.

Exemplo 5.10: Calcular as probabilidades instantneas dos estados 0 e 1 que constam do
diagrama de transio da Figura 5.9. Uma vez calculadas as funes ) (
0
t p e ) (
1
t p , determine
pela aplicao de limite para t as probabilidades estacionrias.

Dos clculos efetuados anteriormente, tem-se:

1 0
0
p p
dt
dp
+ = ,
0 1
1
p p
dt
dp
+ = .

Para qualquer instante t , a soma 1 ) ( ) (
1 0
= + t p t p deve se verificar. Depois
de realizadas substituies, chegamos s equaes diferenciais de primeira ordem seguintes:

= + +
0
0
) ( p
dt
dp
,
= + +
1
1
) ( p
dt
dp
.
187

Ao resolvermos estas equaes, supondo que o processo tenha partido do
estado 0, isto , 1 ) 0 (
0
= p e 0 ) 0 (
1
= p , obtemos as solues que so as probabilidades
instantneas dos estados.

t
e t p
) (
0
) (

+
+
+
+
= ,
t
e t p
) (
1
) (

+
+

+
= .

Para concluir o exemplo, supondo 0 > + calculamos os limites das
funes ) (
0
t p e ) (
1
t p para t para obter as probabilidades estacionrias,
0
v e
1
v .

+
=
+
+
+
=
+

t
t t
e t p
) (
0
lim ) ( lim

+
=
0
v ,

+
=
+

+
=
+

t
t t
e t p
) (
1
lim ) ( lim

+
=
1
v .

Ficam, dessa forma, estabelecidos os elementos fundamentais que
permitiro a anlise de cadeias de Markov de tempo contnuo em regime estacionrio.

5.4.1 Anlise de cadeias de Markov de tempo contnuo para o regime estacionrio

O nosso interesse resume-se aos processos de Markov que tenham
alcanado o regime estacionrio. Isto quer dizer que pretendemos aplicar a teoria para anlises
de problemas a longo prazo. Do ponto de vista das equaes, os modelos sero independentes
da varivel tempo e, conseqentemente, no trataremos com equaes diferenciais, embora os
modelos tenham origem na equao de Kolmogorov dada em (5.22).
Nas condies descritas, a equao de Kolmogorov para o j simo estado
conforme mostrada por (5.23).
+ =
j i
i ij j j
v q v t q ) ( 0 para M j , , 2 , 1 , 0 = .
(5.23)

188
Para permitir a anlise em regime estacionrio, o elemento chave a matriz
de transio a exemplo do que foi feito para cadeias de tempo discreto. O primeiro passo
naturalmente consistir em estabelecer procedimentos sistemticos para obter tal matriz.

5.4.1.1 Obteno da matriz de transio

Consideremos dois pontos de partida possveis:

- obteno de P a partir do diagrama de transio; e
- obteno de P a partir da equao de Kolmogorov.

No primeiro caso, o ndice de cada estado associado a uma nica linha e a
uma nica coluna da matriz, caracterizando genericamente um elemento de fora da diagonal
da matriz P pelo par ordenado ) , ( j i , com j i . O elemento da posio ) , ( j i , com j i ,
associa-se univocamente com o arco orientado do diagrama de transio da cadeia de Markov
que parte do estado i e vai at o estado j . Assim, tem-se a seguinte lei de formao da matriz
de transio obtida a partir de um dado diagrama de transio,


elemento da posio
j i
j i

) , ( = taxa
ij
q (arco orientado de i para j ),

(5.24)

elemento da posio ) , ( j j =
j
q 1 .


Para exemplificar este procedimento de obteno da matriz P , tomaremos
como exemplo uma cadeia com quatro estados (BILLINTON, 1970).

Exemplo 5.11: Dado o diagrama da cadeia de Markov ilustrado na Figura 5.10, obtenha a
matriz de transio correspondente. Observe que nem todos os ns esto interligados.






1 0
4

1

2

1

3

2

4

189







Figura 5.10: Diagrama de transio de uma cadeia de Markov de tempo contnuo com quatro
estados.

Aplicamos ento a regra estabelecida pela expresso (5.24) para os
elementos de fora da diagonal, donde obtemos a Tabela 5.5.

Tabela 5.5: Elementos de fora da diagonal obtidos a partir do diagrama de transio.
Arco Posio e elemento Arco Posio e elemento
De 0 a 1
(0,1)
1

De 2 a 0
(2,0)
2

De 0 a 2
(0,2)
2

De 2 a 1 (2,1) 0
De 0 a 3 (0,3) 0 De 2 a 3
(2,3)
3

De 1 a 0
(1,0)
1

De 3 a 0 (3,0) 0
De 1 a 2 (1,2) 0 De 3 a 1
(3,1)
4

De 1 a 3
(1,3)
4

De 3 a 2
(3,2)
3


O elemento da diagonal da matriz obtido subtraindo da unidade a soma
das taxas cujos arcos deixam o n considerado. Portanto, os elementos da diagonal so:

Posio (0,0)
) ( 1
2 1
+
Posio (1,1)
) ( 1
4 1
+
Posio (2,2)
) ( 1
3 2
+
Posio (3,3)
) ( 1
4 3
+ .

Conseqentemente, a matriz de transio para este exemplo fica conforme
indicada a seguir.

190
(
(
(
(

+
+
+
+
=
) ( 1 0
) ( 1 0
0 ) ( 1
0 ) ( 1
3
2
1
0
3 2 1 0
4 3 3 4
3 3 2 2
4 4 1 1
2 1 2 1




P
.

Por outro lado, se for conhecido o sistema de equaes que decorre da
aplicao de (5.23) a todos os estados, a obteno da matriz de transio obedece ao seguinte
procedimento genrico.
Para a equao do estado j adicionamos a varivel
j
v ao primeiro e ao
segundo membros simultaneamente e, em seguida, agrupamos os termos semelhantes
deixando a probabilidade estacionria
j
v explcita no primeiro membro. Repetimos este
procedimento para todos as 1 + M equaes do sistema. A idia reescrever o sistema sob a
forma conhecida vP v = , onde P a matriz que se deseja obter.
Exemplificaremos este procedimento atravs do Exemplo 5.12.

Exemplo 5.12: Dado o sistema de equaes de uma cadeia de Markov de trs estados, obtenha
a matriz de transio correspondente.

0 1 2
2 0 1
2 1 0
2 3 3 0
4 0
2 3 0
v v v
v v v
v v v
+ + =
+ + =
+ + =
.

Adicionamos
0
v ,
1
v e
2
v a ambos os membros das equaes dos estados 0,
1 e 2, respectivamente,

0 1 2 2 2
2 0 1 1 1
2 1 0 0 0
2 3 3
4
2 3
v v v v v
v v v v v
v v v v v
+ + =
+ + =
+ + =
.

Aps agrupar os termos semelhantes obtemos:

191
0 1 2 2
2 0 1 1
2 1 0 0
2 3 ) 3 1 (
) 4 1 (
2 ) 3 1 (
v v v v
v v v v
v v v v
+ + =
+ + =
+ + =

0 1 2 2
2 0 1 1
2 1 0 0
2 3 2
3
2 2
v v v v
v v v v
v v v v
+ + =
+ + =
+ + =
,

2 1 0 2
2 1 0 1
2 1 0 0
2 3 2
3
2 2
v v v v
v v v v
v v v v
+ =
+ =
+ + =
.

Por fim, resulta o sistema na forma matricial, onde a matriz de transio est
explcita.

[ ] [ ]
(
(
(

=
2 3 2
1 3 1
2 1 2
2 1 0 2 1 0
v v v v v v ,

(
(
(

=
2 3 2
1 3 1
2 1 2
2
1
0
2 1 0
P
.

Quanto classificao das cadeias, a mesma classificao apresentada nas
sees que trataram de processos discretos no tempo vlida, exceto o conceito de
periodicidade que est atrelado ao conceito de passos. Assim, teremos, como antes, cadeias
com estados recorrentes e cadeias com estados transitrios. A classe das cadeias recorrentes
compreende tambm as cadeias absorventes. Um estado i dito ser absorvente se 0 =
ij
q
para j i , de modo que, uma vez que se o processo entra neste estado, o mesmo destinado
a permanecer nele. Como definido anteriormente, em uma cadeia irredutvel todo estado pode
ser alcanado de qualquer outro estado.
Os processos de Markov de tempo contnuo encontram aplicaes em
diversas reas, dentro as quais destacamos sistemas de filas de espera (processo conhecido
como nascimento e morte) e confiabilidade de sistemas fsicos em geral.



192
Vamos ilustrar a anlise de cadeias de Markov de tempo contnuo atravs da
soluo de dois exemplos. O primeiro exemplo transcrito do livro (HILLIER e
LIEBERMAN, 1995).

Exemplo 5.13: Um shopping tem duas mquinas idnticas que so operadas continuamente
exceto quando esto quebradas. Assim que uma mquina se quebra, ela reparada
imediatamente por um tcnico que fica de planto para atender a emergncia. O tempo
requerido para reparar uma mquina tem distribuio exponencial com mdia de 5 , 0 dia.
Uma vez que a operao de reparo concluda, o tempo at a prxima falha tambm uma
varivel aleatria exponencial com mdia de 1 dia, sendo estas distribuies independentes.
Defina a varivel aleatria ) (t X como

= ) (t X nmero de mquinas quebradas no tempo t ,

ento os possveis valores de ) (t X so 0, 1 e 2. Portanto, sendo o tempo t uma varivel
contnua que se inicia em 0 = t , o processo estocstico de tempo contnuo } 0 ; ) ( { t t X d a
evoluo do nmero de mquinas quebradas.
Dadas s caractersticas do problema, este pode ser modelado como um processo de Markov
de tempo contnuo com estados 0, 1 e 2. Conseqentemente, podemos utilizar as equaes de
regime estacionrio apresentadas anteriormente para calcular a distribuio de probabilidades
do nmero de mquinas quebradas a longo prazo. Para proceder anlise, inicialmente,
precisamos determinar as taxas de transio, que comporo a matriz de transio.
Determine:
(a) as taxas de transio do processo;
(b) o diagrama de transio;
(c) a matriz de transio P ; e
(d) o percentual do tempo que ambas as mquinas estaro quebradas.

A soluo como segue. O estado nmero de mquinas quebradas
aumenta de 1 quando uma falha ocorre e decresce de 1 quando um reparo ocorre.
Considerando que as mquinas no se estragam ao mesmo tempo e que ambas no so
consertadas simultaneamente, as taxas
02
q e
20
q so iguais a zero. Se o tempo mdio de
reparo 5 , 0 dia, a taxa de reparo de qualquer uma das mquinas 2 . Ento, 2
21
= q e
193
2
10
= q reparos por dia. O tempo esperado at que uma mquina que est em operao se
estrague de 1 dia, ento 1
12
= q . Se ambas as mquinas estiverem operacionais, falhas
ocorrem a uma taxa de 2 1 1 = + por dia. Isto significa que 2
01
= q .
O diagrama de transio do processo descrito ilustrado na Figura 5.11.







Figura 5.11: Diagrama de transio do sistema de duas mquinas.

Para obter a matriz de transio utilizamos o primeiro procedimento descrito
na seo 5.4.1.1.


(
(
(

=
1 2 0
1 2 2
0 2 1
2
1
0
2 1 0
P
.

Para calcular as probabilidades estacionrias
j
v , para 2 , 1 , 0 = j , utilizamos
as relaes vP v = e 1
0
=
=
M
j
j
v , que resolvida tal com se fez no Exemplo 5.6.

=
=
=
2 , 0
4 , 0
4 , 0
2
1
0
v
v
v
.

Assim, a longo prazo, ambas as mquinas estaro quebradas por 20% do
tempo, e uma mquina estar quebrada em 40% do tempo.

Estudaremos a seguir um exemplo de aplicao confiabilidade.

2
01
= q
1 0
2
10
= q
2
1
12
= q
2
21
= q
194
Exemplo 5.14: usual em subestaes de energia eltrica utilizar dois transformadores
idnticos em paralelo, de modo que a potncia de cada um dos equipamentos suficiente para
atender a instalao. A motivao para isto aumentar a confiabilidade da subestao
relativamente alternativa de usar um nico transformador. A Figura 5.12 ilustra o esquema
eltrico simplificado para a anlise de falha. A seta da figura indica o sentido do fluxo da
energia.






Figura 5.12: Dois transformadores idnticos em paralelo.

No esquema com dois transformadores em paralelo, a indisponibilidade do sistema ocorrer
apenas se ambas as mquinas estiverem fora de operao, porque implicar na interrupo do
fluxo de energia. Os estados possveis para os transformadores so: ambos em operao (0 em
falha), um em operao e o outro em falha (1 em falha) e os dois fora de operao (2 em
falha). A taxa de falhas e a taxa de reparo , ambas associadas distribuies
exponenciais independentes. Suponhamos tambm que se os dois transformadores estiverem
em operao no possvel que os dois falhem simultaneamente, e nem possvel consertar
dois transformadores ao mesmo tempo. O diagrama de transio do processo est
representado na Figura 5.13.








Figura 5.13: Diagrama de transio da cadeia de Markov de dois transformadores em paralelo.

2
1 0

2

2
ambos em
operao
um em
operao e o
outro em falha
ambos em
falha
195
Supondo que as condies de regime estacionrio sejam verificadas, isto , t , determine
as seguintes informaes:
(a) a probabilidade de falha do sistema;
(b) a disponibilidade do sistema; e
(c) o tempo mdio para o sistema falhar dado que se encontra em plena operao.

Para solucionar o exemplo montamos a matriz de transio a partir do
diagrama da Figura 5.13.

(
(
(

=



2 1 2 0
) ( 1
0 2 2 1
2
1
0
2 1 0
P


Para obter as respostas s duas primeiras questes, precisamos calcular as
probabilidades estacionrias dos estados. Para tal utilizamos as relaes vP v = e 1
0
=
=
M
j
j
v ,
que so solucionadas pelo mtodo analtico.

2
2
0
) (

+
= v ,
2
1
) (
2

+
= v ,
2
2
2
) (

+
= v .

Dado que cada unidade capaz de suprir a instalao, a probabilidade de
falha do sistema corresponde a um ou dois equipamentos em falha, que
2 1
v v + ,

2 1
v v +
2
2
) (
2


+
+
= .

A disponibilidade do sistema, no caso do sistema em paralelo, a
probabilidade de que ao menos uma unidade esteja em operao (ou seja, disponvel),

196
2
2
1 0
) (
2


+
+
= + v v .

A resposta ao item (b) est intimamente relacionada natureza do problema
sob anlise; neste caso, depende essencialmente da forma como so ligados os
transformadores. Por exemplo, se os transformadores estivessem em srie, a disponibilidade
implicaria necessariamente na operao de ambos.

Para responder ltima questo formulada, lanamos mo de um artifcio:
supomos que o estado 2 absorvente e calculamos a partir da matriz de transio modificada
o tempo para alcanar a absoro partindo do estado 0 (ambos em operao). No contexto do
estudo da confiabilidade o tempo para alcanar a falha total do sistema designado por
MTTF, que a sigla para Mean Time to Failure (cuja traduo tempo mdio para a falha)
(BILLINTON, 1970).

Supondo o estado 2 um estado absorvente, a matriz de transio, P , como
segue:

(
(
(

=
1 0 0
) ( 1
0 2 2 1
2
1
0
2 1 0


P


A exemplo dos estudos feitos anteriormente na seo 5.3.5, identificamos na
matriz P a sub-matriz Q.

.
) ( 1
2 2 1
1
0
1 0
(

=


Q


Calculamos a matriz fundamental
1
) (

Q I .

(

+
=

2
2
2
1
) (
2
1
Q I
197
Partindo do estado 0 (que o sistema em plena operao), o MTTF (isto , o
tempo antes do estado absorvente)

MTTF = + + ) 2 (
2
1
2

MTTF =
2
2
) 3 (

+
.

Para concluir o estudo deste tema fascinante sugerimos a soluo dos
exerccios propostos.

5.5 Exerccios propostos

1. (BRONSON, 1985) Um recenseamento econmico revelou que, numa dada populao, as
famlias so divididas em dois grupos: (1) as economicamente estveis; e (2) aquelas em
depresso. Depois de um perodo de 10 anos, a probabilidade de que uma famlia estvel
assim permanea de 0,92, enquanto a probabilidade dela entrar em depresso de 0,08. A
probabilidade de que uma famlia em depresso se torne estvel 0,03, enquanto a
probabilidade de que ela assim permanea de 0,97. Calcule a probabilidade de uma famlia
estvel estar em depresso a longo prazo. Obtenha tambm o tempo mdio que uma famlia
estvel permanece nesta condio.

2. Um representante comercial visita seus clientes cada ms. A experincia passada mostra
que, se um cliente fez um pedido no ltimo ms, a probabilidade de um novo pedido no ms
corrente 0,3, e se no foi efetuado pedido algum no ms passado, a probabilidade 0,6.
Assim, em cada um dos meses subseqentes ao primeiro, cada cliente deve encontrar-se em
um dos dois estados:
- estado 0: nenhum pedido no ms passado; e
- estado 1: um pedido no ms passado.
Dessa forma, com base nas probabilidades de transio podemos predizer o comportamento
no futuro. Para um cliente do universo dos que no fizeram pedidos no ms anterior,
determine a probabilidade que o tempo transcorrido para efetuar um novo pedido seja de 3
meses.

3. (SHAMBLIN, 1989) Suponhamos que trs fabricantes de automvel colheram os seguintes
dados sobre as compras de clientes. A Tabela 5.6 representa a probabilidade de um cliente que
198
agora possui Ford (estado
1
s ), , 0 = n comprar um Ford, Chevrolet (estado
2
s ) ou Plymouth
(estado
3
s ) na prxima vez, isto , no prximo passo, 1 = n . Informao semelhante
fornecida para todos os proprietrios dos outros modelos.

Tabela 5.6: Probabilidade (%) de compras em funo do estado atual.
Prxima compra
( 1 = n )
Compra presente
( 0 = n )
% compra Ford % compra Chevrolet % compra Plymouth
Ford 40 30 30
Chevrolet 20 50 30
Plymouth 25 25 50


Modele o problema como uma cadeia de Markov de tempo discreto com passo igual a um
ano.
Determine:
(a) a matriz de probabilidades de transio para este processo;
(b) a classificao desta cadeia;
(c) as probabilidades estacionrias;
(d) o tempo mdio que o comprador de um Ford permanece com esta marca; e
(e) o nmero esperado de anos que o cliente que atualmente possui um Ford compre um
Plymouth.
Como sugesto para resolver a questo (e) faa artificialmente o estado
3
s um estado
absorvente e calcule o tempo esperado para a absoro.

4. Dadas as matrizes de transio para um passo, classifique cada uma das cadeias.

(a)
(
(
(

=
3 , 0 4 , 0 3 , 0
6 , 0 3 , 0 1 , 0
7 , 0 1 , 0 2 , 0
P ; (b)
(
(
(
(
(

=
2
1
4
1
8
1
8
1
4
1
4
1
6
1
3
1
0 1 0 0
1 0 0 0
P .

5. Em 1993, a utilizao do solo em uma cidade de 130 quilmetros quadrados de rea
ocupada apresentava os seguintes ndices:
199
uso residencial 30% estado
1
s ;
uso comercial 20% estado
2
s ;
uso industrial 50% estado
3
s .
(a) Calcule os percentuais de ocupao do solo nesta cidade em 2003, assumindo que as
probabilidades de transio para intervalos de 5 anos so dados pela seguinte matriz:

(
(
(

=
9 0 1 0 0
2 0 7 0 1 0
1 0 1 0 8 0
3
2
1
3 2 1
, ,
, , ,
, , ,
s
s
s
P
s s s
.

(b) Encontre as probabilidades limites dos estados de utilizao do solo nesta cidade.

6. Em relao exerccio anterior sobre ocupao do solo da cidade, suponha que se uma rea
destinada indstria esta fica imprestvel para uso residencial ou comercial. Imaginando o
estado
3
s como estado absorvente, determine o nmero esperado de passos (em anos) at que
uma regio que residencial se torne industrial.

7. As sociedades ocidentais so estratificadas em funo do poder aquisitivo de bens das
famlias. Supondo que as classes sociais sejam: (a) classe A ricos; (b) classe B classe
mdia; (c) classe C pobres; e (d) classes D, E, etc. miserveis. No Brasil, o Instituto
Brasileiro de Geografia e Estatstica, IBGE, realiza periodicamente um censo econmico, que,
com base em amostragem, traa um perfil razoavelmente preciso da populao com o foco na
sua condio scio-econmica. A cada censo so observadas as mudanas das famlias entre
as classes. Modele o processo como uma cadeia de Markov de tempo discreto, onde os
estados so as classes indicadas anteriormente e o estado do item (d) um estado absorvente.
Para anlise, considere os dados que constam da matriz de probabilidades de transio. Se o
passo o intervalo de tempo igual a 10 anos, calcule o nmero de passos antes da absoro se
o processo partiu do estado rico. Ao usar a matriz, considere as seguintes associaes:
pobre 0
miservel 1
mdio 2
rico 3

200
(
(
(
(

=
3 , 0 6 , 0 0 1 , 0
1 , 0 5 , 0 1 , 0 3 , 0
0 0 1 0
1 , 0 1 , 0 4 , 0 4 , 0
3
2
1
0
3 2 1 0
P
.

8. Elabore um programa de computador para calcular ) (k f
ij
, sendo 1 = i e 5 , 4 = j , de modo
que a partir dos dados do Exemplo 5.9 sejam reproduzidos os resultados que constam da
Tabela 5.4.

9. (BILLINTON, 1970) Dois equipamentos idnticos so instalados e operam em srie.
Suponha trs estados para modelar o processo como uma cadeia de Markov de tempo
contnuo com taxas e , respectivamente, para falha e reparo. Mostre que a
disponibilidade do sistema vale
2
2
) (

+
e que a MTTF igual a
2
1
. (MTTF o tempo
mdio para a falha).

10. Um sistema com um nico servidor aberto ao pblico tem seus tempos de atendimentos
distribudos exponencialmente com taxa igual a . Os tempos entre chegadas dos usurios
que demandam pelo servio desses guichs tambm exibem a distribuio exponencial com
taxas iguais a . Os usurios que acessam o sistema surgem segundo o modelo de Poisson. O
estado caracterizado pelo nmero de usurios presentes, 0 , 1, 2 , , . Nessas condies,
o sistema se enquadra como um processo de nascimento e morte, podendo ser descrito como
uma cadeia de Markov infinita de tempo contnuo. Desenhe o diagrama de transio dessa
cadeia e escreva as equaes de Kolmogorov para o regime estacionrio. Supondo que < ,
com base em sries convergentes, prove que a expresso para a probabilidade estacionria
0
v
em funo do quociente

=
= 1
0
v ,
onde,
0
v a probabilidade de encontrar o sistema vazio, ou seja, livre de usurios. Neste
exerccio voc precisar usar o resultado da srie:
x
x x x x x S
i
i

= + + + + = =

=
1
1
2 1 0
0
, se 1 0 < < x .