UNIVERSIDADE ESTADUAL DE SANTA CRUZ

DEPARTAMENTO DE CI

ENCIAS EXATAS E
TECNOL

OGICAS
CADEIAS DE MARKOV
MARIA L

IDIA COCO TERRA

Ilheus, Bahia
2006
Maria Ldia Coco Terra
CADEIAS DE MARKOV
Monograa apresentada `a Disciplina Seminario em
Matematica do Departamento de Ciencias Exatas
e Tecnologicas DCET, da Universidade Es-
tadual de Santa Cruz UESC, como um dos pre-
requisitos para obtencao do grau de Bacharelado
em Matematica.
Ilheus, Bahia
2006
Maria Ldia Coco Terra
Cadeias de Markov
Monograa apresentada, julgada e aprovada pelo Corpo Docente do
Departamento de Ciencias Exatas e Tecnologicas da Universidade
Estadual de Santa Cruz como parte dos requisitos de conclus ao do
curso de Bacharelado em Matematica.
Dr. Luiz Leduno de Salles Neto
Orientador
Brgida Alexandre Sartini, Msc
Co-Orientadora
Dr. Jaenes Miranda Alves
Ilheus, Bahia
2006
AGRADECIMENTOS
Gostaria de agradecer primeiramente `a minha famlia pelo apoio e
compreensao. E aos meus amigos e colegas, por tudo que passamos
nestes dias. Nao sei se teria continuado se nao tivesse voces aqui
comigo passando por diculdades assim como eu. O importante e
que seguimos em frente! Gostaria de agradecer tambem a Leduno e
Brgida pro terem feito este trabalho possvel.
RESUMO
Neste trabalho abordamos os principais conceitos e deni coes de cadeias
de Markov bem como aplica coes, nas areas de Economia e Medicina.
Tratamos um Modelo Simplicado do Fundo de Pensao Americano,
um Modelo de Planejamento de Vendas por Telefone, e uma Analise
Markoviana de uma Ala Geriatrica. Com estas aplica coes, podemos
observar como o estudo das Cadeias de Markov e extremamente im-
portante em questoes polticas, economicas entre outras.
Palavras-chaves: Cadeias de Markov, Processos Estocasticos, Pesquisa
Operacional.
ABSTRACT
In this paper we deal about the main conceptions and denitions of the
Markov chains as well as its applications, in the Economy and in the
Medicine. We talk about a Simplify Model of the American Pension
Fund, a Telephone Sales Planning Model, and a Markian Analysis of a
Geriatric Ward. With this applications, we can observe how the study
of the Markov Cahins is extremely important in politics and economic
questions among other.
Keywords: Markov Chains, Stochastic Process, Operetion Research.
Conte udo
1 Introducao 2
Introducao 2
2 Cadeias de Markov 5
2.1 Probabilidade de n-passos . . . . . . . . . . . . . . . . 6
2.2 Classica cao dos Estados em uma Cadeia de Markov . 7
2.3 Probabilidade de Estados Fixos . . . . . . . . . . . . . 8
3 Cadeias Absorventes 13
3.1 Modelo de Planejamento de For ca-Tarefa . . . . . . . . 17
4 Aplica coes 20
4.1 Modelo Simplicado do Fundo de Pensao Ame-ricano . 20
4.2 Modelo de Planejamento de Vendas por Telefone . . . . 23
4.3 Analise Markoviana de uma Ala Geriatrica . . . . . . . 25
5 Considera coes Finais 29
Bibliograa 30
1
Captulo 1
Introdu cao
Figura 1.1: A. A. Markov (1856-1922)
Andrei Andreyevich Markov nasceu no dia 14 de junho de 1856
em Ryazan, na R ussia e faleceu no dia 20 de julho de 1922 em Pe-
trograd (agora Saint Petersburg), R ussia. Graduou-se na universi-
dade de Saint Petersburg (1878), onde mais tarde se tornou profes-
sor (1886). Os primeiros trabalhos de Markov foram principalmente
em teoria dos n umeros e analise, fra coes contnuas, limites de inte-
grais, teoria da aproxima cao e a convergencia de series. O metodo
das fra coes contnuas foi inicialmente desenvolvido por seu famoso
professor Pafnuty Chebyshev (1821-1894), mas Markov descobriu que
poderia aplicar seu conhecimento de fra coes contnuas a teoria de prob-
abilidade.
Markov gostava de poesia, e em seu tempo livre se dedicava ao es-
tudo dos estilos poeticos. Entao, ele come cou a analisar a distribui cao
das vogais e consoantes no trabalho de Pushkin, Eugene Onegin, cons-
truindo um simples modelo baseado na suposi cao que a probabilidade
de uma consoante ocorrer em uma determinada posi cao em qualquer
palavra deveria depender apenas se a letra precedente e uma vogal ou
2
uma consoante. Este foi o nascimento das Cadeias de Markov.
Markov nao era conhecido apenas na Matematica, em 1964 teve
uma cratera lunar nomeada em sua homenagem. Ele tambem estava
envolvido em movimentos polticos liberais (uma vez recusou ser con-
decorado pelo Czar Russo). Mas foi no desenvolvimento da teoria de
processos estocasticos que o tornou famoso. Sua teoria e aplicada em
diversas areas como fsica atomica, teoria quantica, biologia, genetica,
comportamento social, economia e nan ca.
Em 1923 Norbert Winter se tornou o primeiro a tratar rigorosa-
mente um processo contnuo de Markov. A funda cao da teoria geral
ocorreu em 1930 por Andrei Kolmogorov. Markov teve um lho (de
mesmo nome) que nasceu em 9 de setembro de 1903, que seguiu seu
pai e tambem se tornou um renomado matematico.
Um processo estocastico de parametro discreto e simples-
mente a descri cao da rela cao entre variaveis aleatorias X
0
, X
1
, X
2
,
. Uma cadeia de Markov e um tipo especial de processo estacastico de
parametro discreto. Uma cadeia de Markov e uma cadeia aleatoria de
eventos que ocorrem em pontos discretos (neste trabalho trataremos
apenas das cadeias de parametro discreto) t = 0, 1, 2, no tempo,
onde X
t
representa o estado de um evento que ocorre no tempo t.
Por exemplo, se um rato se move em um labirinto que possui as
seguintes camaras S
1
, S
2
, , S
n
(ver Figura 1.2), entao X
t
pode rep-
resentar a camara ocupada pelo rato no tempo t. Nas cadeias de
Markov um estado da cadeia depende apenas do estado imediatamente
anterior, e nao dos estados decorrentes da cadeia. Em outras palavras,
o rato se movendo no labirinto so sera uma cadeia de Markov se seu
proximo movimento depender apenas de onde ele se encontra no labir-
into, e nao de todo o seu pecurso ate aquele momento.
3
Figura 1.2: Labirinto
4
Captulo 2
Cadeias de Markov
Suponha que um sistema fsico ou matematico esteja sofrendo mu-
dan cas tais que a cada momento ele ocupa um n umero nito de esta-
dos (ou situa coes). Suponha que o tal sistema muda com o tempo de
um estado para o outro e que em instantes pre-determinados obser-
vamos o estado do sistema. Este processo de mudan ca de um estado
para outro e chamado de uma cadeia ou um processo de markov.
Deni cao 2.0.1 Uma sucessao de vari aveis aleat orias {X
t
} e chamada
de Cadeias de Markov se para t = 0, 1, 2, e todos os estados i
t
:
P (X
t+1
= i
t+1
|X
t
= i
t
, X
t1
= i
t1
, , X
1
= i
1
, X
0
= i
0
)
= P (X
t+1
= i
t+1
|X
t
= i
t
) . (2.1)
Denotaremos por 0, 1, 2, , s os estados possveis de uma cadeia
de Markov. A probabilidade do sistema estar no estado i em um tempo
t e imediatamente depois estar no estado j no tempo t +1 e denotada
por p
ij
e e chamada de probabilidade de transi cao do estado i para
o estado j. Ou seja,
P (X
t+1
= j|X
t
= i) = p
ij
. (2.2)
As probabilidades de transi coes podem ser exibidas como uma ma-
triz quadrada P = [p
ij
] que e chamada de matriz de transi cao da
5
cadeia de Markov. E P pode ser escrita como:
P =
_
_
_
_
_
p
11
p
12
p
1s
p
21
p
22
p
2s
.
.
.
.
.
.
.
.
.
p
s1
p
s2
p
ss
_
_
_
_
_
onde
s

j=1
p
ij
= 1.
Este somatorio se da pelo fato de que, dado que a cadeia est a no
estado i no tempo t, entao a cadeia estara em algum estado j no tempo
t + 1. Isto signica que para cada i,
s

j=1
P (X
t+1
= j|X
t
= i) = 1
s

j=1
p
ij
= 1.
2.1 Probabilidade de n-passos
Nos vamos estudar apenas as cadeias de Markov estacionarias, ou seja
pela equa cao (2.2) vemos que a probabilidade nao muda em rela cao
ao tempo, e sim em rela cao de um estado para o outro. Estes tipos de
cadeia sao chamadas de cadeias de Markov estacionarias.
Suponha uma matriz P de transi cao conhecida. Desejamos saber
qual a probabilidade que n perodos depois a cadeia ira sair do estado
i no tempo m e estara no estado j no tempo m + n. Como estamos
estudando matrizes estacionarias, esta probabilidade e independente
do tempo. Podemos escrever assim:
P (X
m+n
= j|X
m
= i) = P (X
n
= j|X
0
= i) = P
ij
(n) (2.3)
6
onde P
ij
(n) e chamado de probabilidade de n passos da transi cao
do estado i para o estado j.
De fato, vamos induzir a formula. Para n = 1, P
ij
(1) = p
ij
. Agora
para n = 2, P
ij
(2) e a probabilidade de estar no estado j apos o
segundo perodo, dado que a cadeia estava no estado i inicialmente.
Para isto ocorrer devemos ir do estado i para algum estado k e entao
do estado k para o estado j. Entao podemos escrever,
P
ij
(2) =
s

k=1
p
ik
p
kj
(2.4)
Desenvolvendo o lado direito de (2.4), vemos que e o produto escalar
da linha i da matiz P com a coluna j da matriz P. Da, temos que
P
ij
(2) e o ij-esimo elemento da matriz P
2
. Estendendo este raciocnio,
pode ser mostrado que para n > 1,
P
ij
(n) = ij-esimo elemento de P
n
(2.5)
2.2 Classica cao dos Estados em uma Cadeia de
Markov
Vamos agora estudar como classicar os estados em uma Cadeia de
Markov. Precisaremos destas deni coes nas se coes seguintes.
Deni cao 2.2.1 Dados dois estados i e j, um caminho de i para j
e uma sequencia de transicoes que comeca em i e termina em j. Um
estado j e alcan c avel, se existe um caminho do estado i na direcao
do estado j.
Deni cao 2.2.2 Dizemos que dois estados i e j se comunicam, se
j e alcancavel do estado i, e i e alcancavel do estado j.
7
Deni cao 2.2.3 Um estado i e um estado absorvente se p
ii
= 1.
Deni cao 2.2.4 Um estado i e um estado transiente se existe um
estado j que e alcancavel de i, mas o estado i n ao e alcancavel de j.
Se um estado n ao e transiente, e chamado de recorrente.
Deni cao 2.2.5 Um estado i e peri odico com perodo k > 1 se k
e o menor n umero tal que todos os caminhos de i de volta para i tem
um comprimento que e m ultiplo de k. Se um estado n ao e peri odico,
e chamado de aperi odico.
Deni cao 2.2.6 Se todos os estados s ao recorrentes, aperi odicos e
se comunicam entre si, a cadeia e dita erg odica.
2.3 Probabilidade de Estados Fixos
Algumas Cadeias de Markov possuem um comportamento especial das
probabilidades de transi cao de n-passos, ou seja, nas probabilidades
de transi cao de n-passos, para grandes valores de n, a probabilidade
tende a se estabilizar em um valor xo, independente do estado inicial.
Este tipo de comportamento e chamado de probabilidade de es-
tado xo ou distribui cao estacionaria da cadeia de Markov. Sao
estas cadeias que iremos estudar nesta se cao.
O resultado seguinte e muito importante para o entendimento das
probabilidades de estado xo e do comportamento a longo prazo das
Cadeias de Markov.
Teorema 2.3.1 Seja P a matriz de transicao para uma cadeia de
Markov ergodica de s estados. Ent ao, existe um vetor =
_

1

2

s
_
tal que
8
lim
n
P
n
=
_
_
_
_
_

1

2

s

1

2

s
.
.
.
.
.
.
.
.
.

1

2

s
_
_
_
_
_
A demonstra cao deste Teorema ver MEYER. Relembre que o ij-
esimo elemento de P
n
e P
ij
(n). O Teorema (2.3.1) nos diz que para
qualquer estado inicial i,
lim
n
P
ij
(n) =
j
Observe que para um n grande, P
n
se aproxima da matriz com
li-nhas identicas. Isto signica que apos muitos perodos, ha uma pro-
babilidade
j
de estarmos no estado j. O vetor =
_

1

2

s
_
e chamado de distribui cao de estado xo ou distribui cao de
equilbrio para uma Cadeia de Markov.
Considere uma cadeia de Markov com matriz de transi cao P. Do
Teorema (2.3.1), observe que para n grande e para todo i,
P
ij
(n + 1)

= P
ij
(n)

=
j
(2.6)
Uma vez que P
ij
(n + 1) = (linha i de P
n
) (coluna j de P), pode-
mos escrever
P
ij
(n + 1) =
s

k=1
P
ik
(n) p
kj
(2.7)
Se n for grande, substituindo (2.6) em (2.7) temos

j
=
s

k=1

k
p
kj
(2.8)
Na forma de matriz, (2.8) pode ser escrito como
9
= P (2.9)
Infelizmente, o sistema de equa coes (2.9) tem um n umero innito
de solu coes. De fato o sistema de equa coes (2.9) e da seguinte forma:
_

1

2

s
_
=
_

1

2

s
_

_
_
_
_
_
p
11
p
12
p
1s
p
21
p
22
p
2s
.
.
.
.
.
.
.
.
.
p
s1
p
s2
p
ss
_
_
_
_
_
Resolvendo as opera coes com matrizes teremos um sistema da seguinte
forma:
_

_
(1 p
11
)
1
p
21

2
p
s1

s
= 0
p
12

1
+ (1 p
22
)
2
p
s2

s
= 0
.
.
.
p
1s

1
p
s2

s
+ (1 p
ss
)
s
= 0
Mas, 1 p
11
= p
12
+p
13
+ +p
1s
. Substituindo esta equa cao na
primeira equa cao do sistema temos
_

_
(p
12
+p
13
+ +p
1s
)
1
p
21

2
p
s1

s
= 0
p
12

1
+ (1 p
22
)
2
p
s2

s
= 0
.
.
.
p
1s

1
p
s2

s
+ (1 p
ss
)
s
= 0
Observe que neste ultimo sistema a primeira equa cao e a soma das
outras (combina cao linear), e por isso o sistema ca com um n umero
de equa coes menor que o n umero de incognitas. Logo o sistema tem
innitas solu coes.
Para obter um unico valor de probabilidades de estado-xo, observe
que para qualquer n e qualquer i,
P
i1
(n) +P
i2
(n) + +P
is
(n) = 1 (2.10)
10
Fazendo n se aproximar do innito em (2.10) temos:

1
+
2
+ +
s
= 1 (2.11)
Assim, depois de substituir qualquer das equa coes em (2.8) com
(2.11), nos podemos usar (2.8) para resolver as probabilidades de es-
tado xo.
Por exemplo, suponha que uma empresa de refrigerante produza
dois tipos de refrigerante, refrigerante 1 e refrigerante 2. Dado que uma
pessoa comprou refrigerante 1, ha uma probabilidade de 90% que sua
proxima compra seja refrigerante 1. E dado que uma pessoa comprou
refrigerante 2, ha uma probabilidade de 80% de que a proxima compra
seja refrigerante 2.
Os estados deste exemplo sao os seguintes:
estado 1 = ultima compra foi refrigerante 1
estado 2 = ultima compra foi refrigerante 2
Se denirmos X
n
como o tipo de refrigerante comprado, entao
X
0
, X
1
, e uma cadeia de Markov com a seguinte matrix de transi cao:
P =
_
0, 9 0, 1
0, 2 0, 8
_
Se quiser saber que se uma pessoa e atual compradora de refrige-
rante 2, qual e a probabilidade que ela va comprar refrigerante 1 daqui
a duas compras. Entao pelas equa coes (2.5) e (2.3) , temos que:
P(X
2
= 1|X
0
= 2) = P
21
(2) = elemento 21 da matriz P
2
Calculando P
2
, temos:
P
2
=
_
0, 83 0, 17
0, 34 0, 36
_
11
Portanto, P
21
(3) = 0, 34, ou seja, ha uma probabilidade de 34% de
que apos duas compras um consumidor passe a comprar refrigerante
1 dado que inicialmente ele era consumidor de refrigerante 2.
Utilizando este mesmo exemplo, vamos calcular a probabilidade de
estado xo. Do sistema (2.8), temos:
_

1

2
_
=
_

1

2
_

_
0, 83 0, 17
0, 34 0, 36
_
Calculando as opera coes de matrizes temos o seguinte sistema de
equa coes:
_

1
= 0, 9
1
+ 0, 2
2

1
= 0, 1
1
+ 0, 8
2
Sustituindo a segunda equa cao com a condi cao
1
+
2
= 1, temos
o sistema:
_

1
= 0, 9
1
+ 0, 2
2

1
+
2
= 1
Resolvendo o sistema, obtemos que
1
= 0, 67 e
2
= 0, 33. Isto
signica que independente da pessoa ser inicialmente consumidora de
refrigerante 1 ou 2, ha uma prababilidade de 67% da pessoa comprar
refrigerante 1. E, independente da pessoa ser inicialmente consumi-
dora de refrigerante 1 ou 2, ha uma prababilidade de 33% da pessoa
comprar refrigerante 2.
12
Captulo 3
Cadeias Absorventes
Muitas aplica coes interessantes de Cadeias de Markov envolvem cadeias
que possuem alguns estados absorventes e o restante sao estados tran-
sientes. Estas cadeias sao chamadas cadeias absorventes (ver na
se cao 2.2 as deni coes de estados absorventes e transientes).
Para resolver algumas questoes importantes sobre cadeias absorventes,
devemos listar os estados na seguinte ordem: primeiro os estados
transi-entes, depois os estados absorventes. Suponha que existam
s m esta-dos transientes (t
1
, t
2
, , t
sm
) e m estados absorventes
(a
1
, a
2
, , a
m
). Entao a matriz de transi cao de uma cadeia absorvente
ca da seguinte forma:
P =
_
Q R
0 I
_
Observe que a matriz I e a matriz identidade mm, por causa da
deni cao e o fato de que nao se pode deixar um estado absorvente;
Q e uma matriz (s m) (s m) que representa as transi coes entre
os estados transientes; R e uma matriz (s m) m representando
as transi coes dos estados transientes para os estados absorventes; e 0
uma matriz m(s m) constituda inteiramente de zeros reetindo o
fato de que e impossvel sair de um estado absorvente para um estado
transiente.
Os seguintes Teoremas sao resultados importantes.
Teorema 3.0.2 Se estamos no momento no estado transiente t
i
, o
13
n umero esperado de perodos que ser ao gastos no estado t
j
antes de
ser absorvido e o ij-esimo elemento da matriz (I Q)
1
.
A matriz (I Q)
1
e chamada de Matriz Fundamental da cadeia
de Markov.
Teorema 3.0.3 Se estamos no momento no estado transiente t
i
, a
probabilidade de que eventualmente ser a absorvido no estado absorvente
a
j
e o ij-esimo elemento da matriz (I Q)
1
R.
Teorema 3.0.4 Se estamos no momento no estado transiente t
i
, o
n umero esperado de perodos ate o estado ser absorvido, ou seja ate
alcancar algum estado absorvente, e o i-esimo elemento da matriz
(I Q)
1
e, onde e e um vetor com todos os seus elementos iguais a
1.
Para demonstrar estes Teoremas precisamos do seguinte teorema.
Teorema 3.0.5 Seja P uma matriz de transicao de uma cadeia ab-
sorvente, ent ao
lim
n
P
n
=
_
0 (I Q)
1
R
0 I
_
A demonstra cao deste teorema se encontra em MEYER. Entao a
demons-tra cao dos Teoremas e a seguinte:
Demonstracao: Seja T
i
a i-esima classe transiente e A
j
a j-esima
classe absorvente de uma cadeia absorvente com uma matriz de transi-
cao P. Suponha que a cadeia comece em um estado transiente em
particular, digamos que seja o p-esimo estado de T
i
. Segue do teorema
(3.0.5) que
lim
k
P
k
=
_
0 (I Q)
1
R
0 I
_
=
_
0 V
0 I
_
onde V e
14
V =
_
_
_
_
_
L
11
L
12
L
1s
L
21
L
22
L
2s
.
.
.
.
.
.
.
.
.
L
r1
L
r2
L
rs
_
_
_
_
_
Consequentemente, a pq-esima entrada do bloco L
ij
representa
a probabilidade de eventualmente alca carmos o q-esimo estado ab-
sorvente de A
j
dado que estavamos no p-esimo estado transiente T
i
.
Portanto, se e e o vetor com os elementos iguais a 1, entao a prob-
abilidade de eventualmente entrarmos em algum estado absorvente e
dado por,
P (absorvido emA
j
|come ca no p-esimo estado de T
i
) =

k
[L
ij
]
pk
= [L
ij
e]
p
.
Agora vamos determinar o n umero esperado de perodos para al-
can carmos um estado absorvente. Conte o n umero de vezes que a
cadeia esta em um estado transiente S
j
dado que come ca no estado S
i
.
Para facilitar enfoque no estado S
j
, dena uma sequencia de variaveis
aleatorias {Z
k
}

k=0
e conte quantas vezes chegamos em S
j
. Seja
Z
0
=
_
1 se S
i
= S
j
;
0 caso contrario.
Z
k
=
_
1 se a cadeia esta em S
j
depois de k passos;
0 caso contrario.
Uma vez que
E [Z
k
] = 1 P (Z
k
= 1) + 0 P (Z
k
= 0) = P (Z
k
= 1) =
_
Q
k

ij
,
e como

k=0
Z
k
e o total de vezes que a cadeia esta em S
j
, temos
15
E [n umero de vezes emS
j
|come ca emS
i
] = E
_

k=0
_
=

k=0
E [Z
k
]
=

k=0
_
Q
k

ij
=
_
(I Q)
1
_
ij
Somando sobre todos os estados transientes produzimos o n umero
esperado de perodos de alcan carmos algum estado absorvente. Em
outras palavras,
E [n
o
de ser absorvido|come ca no i-esimo estado transiente] =
_
(I Q)
1
_
ij
Para uma cadeia cuja classe de transientes e de absorventes possui
apenas um elemento, os elementos da matriz V nao sao matriz. Entao
temos que
P (absorvido em S
r+j
|come ca em S
i
para 1 i r) =
_
(I Q)
1
R
_
ij
Enquanto que o n umero de vezes ate ser absorvido
E [n
o
de vezes de ser absorvido|come ca em S
i
] =
_
(I Q)
1
e
_
i
e o n umero de perodos que se gasta em S
j
come cando em S
i
e
E [n
o
de vezes em S
j
|come ca em S
i
] =
_
(I Q)
1
_
ij
.

16
3.1 Modelo de Planejamento de Forca-Tarefa
Muitas organiza coes empregam varias categorias de trabalhadores. O
planejamento a longo prazo e util para predizer o n umero de emprega-
dos de cada categoria que estara disponvel num estado determinado.
Tal processo pode ser feito atraves de uma analise similar a da se cao
2.3 de Probabilidades de Estado Fixo para Cadeias de Markov.
Considere uma organiza cao cujos membros estao classicados em
qualquer perodo de um dos s grupos. Durante cada perodo, a fra cao
p
ij
destes que come caram o perodo no grupo i come ca o proximo
perodo no grupo j. Tambem, a fra cao p
i,s+1
de todos os membros do
gupo i deixam a organiza cao. Seja P a matriz s(s + 1) cuja entrada
ij-esima e p
ij
. No come co de cada perodo, a organiza cao contrata
para o grupo H
i
, i membros. Seja N
i
(t) o n umero de grupos com i
membros no come co do perodo t. Se cada N
i
(t) se aproxima de um
limite quando t cresce, nos chamamos N = (N
1
, N
2
, , N
s
) de censo
de estado xo da organiza cao.
Note que para o censo de estado xo existir, deve valer que para
um estado xo i, com i = 1, 2, , s,
n
o
de pessoas entrando no estado i durante cada perodo = H
i
+

k=i
N
k
p
ki
(3.1)
n
o
de pessoas deixando o estado i durante cada perodo = N
i

k=i
p
ki
(3.2)
Entao a equa cao usada para calcular o censo de estado xo e
H
i
+

k=i
N
k
p
ki
= N
i

k=i
p
ki
(3.3)
Note que

k=i
p
ik
= 1 p
ii
, isto pode ser usado para simplicar
(3.3). Se o censo de estado xo nao existe, entao (3.3) nao tem solu cao.
17
Dados os valores dos p
ij
s e H
i
s, (3.3) pode ser usado para cal-
cular o censo de estado xo. Caso contrario, dados os valores dos
p
ij
s e um censo de estado xo desejado, (3.3) pode ser usado para
determinar uma poltica de contrata cao (especicada pelos valores
H
1
, H
2
, , H
s
) que alcan ca o censo de estado xo desejado. Em
alguns casos, os censos de estado xo sejam impossveis de se man-
ter a menos que alguns dos H
i
s sejam negativos (correspondendo a
empregados demitidos).
Um exemplo numerico. Suponha que em uma rma de advocacia
emprega tres ttipos de advogados: advogados j unior, advogados senior
e socios. Suponha que a rma queira contratar 50 advogados j unior,
30 advogados senior e 10 socios. Para alcan car este estado de censo
xo, quantos advogados de cada tipo a rma deveria contratar?
Os grupos sao os seguintes:
grupo 1 = advogados j unior
grupo 2 = advogados senior
grupo 3 = socios
grupo 4 = advogados que deixaram a rma
Nos queremos obter N
1
= 50, N
2
= 30 e N
3
= 10. Seja a seguinte
matriz de transi cao:
P =
_
_
0, 8 0, 15 0 0, 05
0 0, 7 0, 2 0, 1
0 0 0, 95 0, 05
_
_
Pela formula (3.3), temos que:
H
1
= 50 (0, 15 + 0, 05)
H
2
+ (50 0, 15) = 30 (0, 2 + 0, 1)
H
3
+ (30 0, 2) = 10 (0, 05)
18
A solu cao deste sistema de equa coes e H
1
= 10, H
2
= 1, 5 e H
3
=
5, 5. Isto signica que para manter o censo de estado xo desejado, a
rma teria que demitir 5, 5 socios a cada ano, e contratar 10 advogados
j unior e 1, 5 advogados senior.
19
Captulo 4
Aplicacoes
Neste captulo iremos ilustrar algumas aplica coes de Cadeias de Markov.
4.1 Modelo Simplicado do Fundo de Pensao Ame-
ricano
Vamos supor que todos os americanos podem ser classicados nos
seguintes grupos:
grupo 1 = crian cas
grupo 2 = adultos que trabalham
grupo 3 = aposentados
grupo 4 = morreram
Durante o perodo de um ano, uma probabilidade de p
11
das crian cas
permaneceram crian cas, ha uma probabilidade de p
12
das crian cas
se tornaram adultos que trabalham, uma probabilidade de p
14
das
crian cas morreram. Durante um ano qualquer, uma probabilidade
p
22
dos adultos que trabalham permaneceram trabalhando, uma pro-
babilidade de p
23
dos adultos que trabalham se aposentaram, e uma
probabilidade de p
24
dos adultos que trabalham morreram. Tambem,
20
uma probabilidade de p
33
dos aposentados permaneceram aposenta-
dos, e uma probabilidade de p
34
dos aposentados morreram. Todo ano
nascem H
1
crian cas.
A matriz de transi cao deste modelo e da seguinte forma:
P =
_
_
_
_
p
11
p
12
0 p
14
0 p
22
p
23
p
24
0 0 p
33
p
34
0 0 0 1
_
_
_
_
onde

4
j=1
p
ij
= 1.
Se desejamos encontrar o censo de estado xo de cada grupo, e so
utilizar a formula (3.3). Segue de (3.3) que:
n
o
de entradas do grupo i po ano = n
o
de sada do grupo i por ano
Substituindo as probabilidades nesta formula temos as seguintes
equa coes:
H
1
= N
1
(p
12
+p
14
)
H
2
+ (N
1
p
12
) = N
2
(p
23
+p
24
)
H
3
+ (N
2
p
23
) = N
3
(p
34
)
Mas, no nosso modelo simplicado do fundo de pensao americano,
estamos supondo que H
2
= 0 e H
3
= 0,ou seja H
2
= 0 e H
3
= 0 repre-
sentariam estrangeiros entrando no grupo 2 (adultos que trabalham)
e no grupo 3 (aposentados). Assim temos as seguintes equa c oes:
H
1
= N
1
(p
12
+p
14
) (4.1)
(N
1
p
12
) = N
2
(p
23
+p
24
) (4.2)
(N
2
p
23
) = N
3
(p
34
) (4.3)
Resolvendo o sistema encontramos os censos de estado xo, no caso
N
1
, N
2
e N
3
. Estes censos de estado xo sao os n umeros limite de
21
americanos pertencentes a cada grupo. Por isso, se quiser encontrar
quanto cada americano contribuir na pensao por ano, bastaria calcular
quanto os aposentados recebem e dividir pelo n umero de adultos que
trabalham. Digamos que cada aposentado recebe X dolares por ano,
entao
X N
3
N
2
= Y em dolares
este valor seria quanto cada adulto contribui na pensao por ano.
Um exemplo numerico desta aplica cao e a seguinte:
Suponha que cada americano possa ser classicado em um dos tres
grupos: crian cas, adultos que trabalham, ou pessoas aposentadas. Du-
rante o perodo de um ano, 0,959 das crian cas permaneceram crian cas,
0,04 das crian cas se tornaram adultos que trabalham, e 0,001 das
crian cas morreram. Durante um ano qualquer, 0,96 dos adultos que
trabalham se aposentaram, e 0,01 dos adultos que trabalham mor-
reram. Tambem, 0,95 dos aposentados permaneceram aposentados, e
0,05 dos aposentados morreram. Mil crian cas nascem a cada ano. E
cada aposentado recebe uma pensao de $5.000 por ano.
Foi dado que H
1
= 1.000, e H
2
= H
3
= 0, e a matriz de transi cao
e:
P =
_
_
_
_
0, 959 0, 04 0 0, 001
0 0, 96 0, 03 0, 01
0 0 0, 95 0, 05
0 0 0 1
_
_
_
_
Se substiruirmos os valores nas equa coes (4.2), (4.3) e (4.3), temos
o seguinte sistema:
1.000 = N
1
(0, 04 + 0, 001)
(N
1
0, 04) = N
2
(0, 03 + 0, 01)
(N
2
0, 03) = N
3
(0, 05)
22
Resolvendo este sistema de equa coes, encontramos N
1
= 24.390,
N
2
= 24.390, 24 e N
3
= 14.634, 14. Para calcular quanto que cada
adulto que trabalha contribui no fundo de pensao, temos:
14.643, 14 5.000
24.390, 24
= $3.000por ano
4.2 Modelo de Planejamento de Vendas por Tele-
fone
Cadeias de Markov Absorventes podem ser utilizadas no Modelo para
Planejamento de vendas pelo Telefone (Telemarketing). Considere
um consumidor que e contactado pelo telefone por uma empresa para
possilvelmente comprar um produto. Suponha que este comprador
nunca tenha sido contactado por esta empresa. Depois de uma liga cao,
ha uma probabilidade de p
12
do consumidor apresentar baixo grau de
interesse pelo produto, uma probabilidade de p
13
que ele apresentara
alto grau de interesse pelo produto, e uma probabilidade de p
14
que
ele sera excludo da lista da companhia. Depois de outra liga cao,
existira uma probabilidade de p
24
de que o consumidor comprara o
produto, uma probabilidade de p
22
de que ele continuara a apresentar
baixo grau de interesse, p
25
que ele sera excludo da lista, e p
23
que
ele apresentara alto grau de interesse. Considere um consumidor que
frequentemente tem alto grau de interesse sobre o produto. Depois
de outra liga cao, existe uma probabilidade de p
34
que ele comprara
o produto, p
33
que ele continue com alto grau de interesse, e p
35
que
ele sera excludo da lista da companhia. Os estados desta cadeia de
markov Absorvente sao:
estado t
1
= cliente que nao recebeu liga cao anteriormente
estado t
2
= cliente com baixo grau de interesse pelo produto
estado t
3
= cliente com alto grau de interesse pelo produto
estado a
4
= ser excludo da lista da companhia
23
estado a
5
= cliente comprar o produto
Observe que os estados t
1
, t
2
e t
3
sao estados transientes. E os
estados a
4
e a
5
sao estados absorventes. Entao a matriz de transi cao
desta cadeia e:
P =
_
_
_
_
_
_
0 p
12
p
13
p
14
p
15
0 p
22
p
23
p
24
p
25
0 p
32
p
33
0 p
35
0 0 0 1 0
0 0 0 0 1
_
_
_
_
_
_
Se quisermos saber o n umero esperado de perodos ate o estado ser
absorvido, ou seja ate alcan car algum estado absorvente, e o i-esimo
elemento da matriz (I Q)
1
e, onde e e um vetor com todos os seus
elementos iguais a 1. Se quisermos saber a probabilidade de que even-
tualmente sera absorvido no estado absorvente a
j
e o ij-esimo elemento
da matriz (I Q)
1
R. E se quisermos saber o n umero esperado de
perodos que serao gastos no estado t
j
antes de ser absorvido dado
que estamos no estado absorvente a
j
, e o ij-esimo elemento da matriz
(I Q)
1
.
Um exemplo numerico e o seguinte: considere um consumidor que
nunca foi chamado ainda para comprar um produto. Depois de uma
liga cao, ha uma probabilidade de 60% que o consumidor apresentara
baixo grau de interesse pelo produto, probabilidade de 30% que ele
apresentara alto grau de interesse pelo produto, e uma probabilidade
de 10% de que ele sera excludo da lista da companhia. Depois de
outra liga cao, existira uma probabilidade de 30% de que o consumidor
comprara o produto, uma probabilidade de 30% de que ele apresentara
baixo grau de interesse, 20% de que ele sera excludo da lista, e 20% de
que ele apresentara alto grau de interesse. Considere um consumidor
que frequentemente tem alto grau de interesse sobre o produto. Depois
de outra liga cao existe uma probabilidade de 50% de que ele comprara
o produto, 40% de que ele continue com alto grau de interesse, e 10%
de que ele sera excludo da lista da companhia.
Os estados sao:
24
estado t
1
= cliente que nao recebeu liga cao anteriormente
estado t
2
= cliente com baixo grau de interesse pelo produto
estado t
3
= cliente com alto grau de interesse pelo produto
estado a
4
= ser excludo da lista da companhia
estado a
5
= cliente comprar o produto
A matrix de transi cao e a seguinte:
P =
_
_
_
_
_
_
0 0, 6 0, 3 0, 1 0
0 0, 3 0, 2 0, 2 0, 3
0 0, 1 0, 4 0 0, 5
0 0 0 1 0
0 0 0 0 1
_
_
_
_
_
_
Calculando as matrizes (I Q)
1
e (I Q)
1
R, temos:
(I Q)
1
=
_
_
1 0, 975 0, 825
0 1, 5 0, 5
0 0, 25 1, 75
_
_
e
(I Q)
1
R =
_
_
0, 295 0, 705
0, 3 0, 7
0, 05 0, 95
_
_
Se quiser saber, por exemplo qual a probabilidade de que um novo
consumidor eventualmente comprar o produto, entao sera a probabi-
lidade de P(a
5
|t
1
) = elemento 12 da matriz (I Q)
1
R = 0, 705.
4.3 Analise Markoviana de uma Ala Geriatrica
Durante a decada de sessenta, foi criado no Napa State Hostital na
California, EUA um programa de re-socializa cao geriatrica (GRP)
25
para pacientes com mais de 65 anos que estavam na Ala de psiquiatria
ha mais de 5 anos. Como estes pacientes estavam a bastante tempo
no hospital eles estavam institucionalizados, ou seja, estavam de-
pendentes do hospital, incapazes de se relacionarem socialmente. Este
estudo foi feito para diminuir o custo de cada paciente ao Governo.
Quando o paciente esta no hospital ele custa ao Governo $655, en-
quanto que o paciente em casa custa apenas $226.
Em geral, os candidatos sao selecionados das seis alas geriatricas do
hospital, onde os pacientes tem mais de 65 anos, com mais de 5 anos
no hospital e nao apresentam mais nenhum sintoma de psicose. Os
pacientes do programa podem ser classicados nas seguintes situa coes:
estado 1 = paciente no GRP
estado 2 = paciente esta em uma das alas
estado 3 = paciente em casa instalado pelo programa
estado 4 = paciente em casa instalado diretamente pela ala (dispen-
sado)
estado 5 = morreu
estado 6 = custo (em dolares) dos pacientes
O movimento de um paciente entre estes estados acima forma uma
cadeia de Markov. A probabilidade do movimento entre os estados
(no perodo de um mes) sao dados pela seguinte matriz:
N =
_
_
_
_
_
_
0, 854 0, 028 0, 112 0 0, 006 682
0, 013 0, 978 0 0, 003 0, 006 655
0, 025 0 0, 969 0 0, 006 226
0 0, 025 0 0, 969 0, 006 226
0 0 0 0 1 0
_
_
_
_
_
_
A matriz a seguir mostra o n umero de vezes que um paciente gasta
em cada estado, ate entrarem no estado absorvente 4. Ou seja, a
matriz (I Q)
1
:
26
(I Q)
1
=
_
_
_
_
26 38 95 4 64.950
17 77 63 7 77.800
21 31 109 3 59.900
14 62 51 38 70.250
_
_
_
_
Pela matriz acima, pode-se observar que, em geral, um paciente que
esta na ala (estado 2) pode esperar um ano e meio (17 meses) para
engressar no GRP, seis anos e meio (77 meses) na ala do hospital, cinco
anos (63 meses) em casa dispensado pelo GRP (estado 3), e 7 meses
em casa dispensado pela ala (estado 4). Somando o tempo esperado
por cada estado com rela cao a todos os outros estados (somando os
valores de cada linha da matriz) temos que o tempo esperado em todos
os estados antes de atingir o estado absorvente 5 (morte), um paciente
passa em media 14 anos, independente do estado inicial.
Como pode ser visto na matriz, o custo esperado de um paciente
que esta no GRP $13.000 menor do que um que esta na Ala hospitalar,
pelo fato de que a probabilidade de um pacinte ser dispensado pelo
programa e maior do que ser dispensado pela Ala.
Se calculassemos a matriz de transi cao do tratamento de um pa-
ciente sem o benefcio do GRP, temos:
P =
_
_
0, 991 0, 003 0, 006 625
0, 025 0, 969 0, 006 226
0 0 1 0
_
_
com os seguintes estados:
estado 1 = paciente esta em uma das alas
estado 2 = paciente em casa instalado diretamente pela ala (dispen-
sado)
estado 3 = morreu
estado 4 = custo (em dolares) dos pacientes
A matriz a seguir mostra o n umero de vezes que um paciente gasta
em cada estado, ate entrarem no estado absorvente 3. Ou seja, a
matriz (I Q)
1
:
27
(I Q)
1
=
_
152 15 102.900
123 44 90.400
_
Novamente, a media de tempo de um paciente indenpendente do
estado inicial e de 14 anos. No entanto, o custo agora e signicati-
vamente maior. Pois o paciente agora gasta 13 dos seus 14 anos no
hospital, ao inves de apenas 8 dos 14 com o programa. E o custo de
um paciente no hospital e maior do que um paciente em casa.
Isto demonstra como uma simples modelagem pode ser usada para
avaliar o efeito no prognostico de libera cao de pacientes e a efetividade
na diminui cao do custo pelo Governo. A matriz N mostra que o
programa aumenta as chances de uma vida mais longa aos pacientes
que voltam para casa.
Durante cinco anos e meio do progama GRP, no qual 700 pacientes
foram admitidos, estima-se que foram economizados $25.100 (com um
aumento de 30 por cento sem o GRP) por paciente ate a morte. Isto
economizou para o Governo mais de 3 milhoes por ano desde que o
programa foi implantado.
28
Captulo 5
Considera coes Finais
Este trabalho e uma base teorica das Cadeias de Markov. A im-
portancia de se estudar esta teoria e que ela pode ser aplicada em
diversas areas. Como nas areas de Economia, Administra cao, Medic-
ina, planejamento e tomada de decisoes tanto na poltica, como em
empresas. Com esta base, pode-se compreender a praticidade e im-
portancia da utiliza cao das Cadeias de Markov nestas areas.
No captulo 4, pode-se observar a aplica cao das cadeias de Markov
nas areas de Medicina, planejamento de for ca tarefa da economia
americana e planejamento de vendas poe telefone. Onde a aplica cao
da Medicina e baseado em dados reais tirados de um artigo publicado
(ver MEREDITH).
29
Bibliograa
ANTON,Howard. RORRES, Chris

Algebra Linear com aplica coes;
tradu cao: Doerig, Claus Ivo. Porto Alegre; Editora Bookman, 2001.
CLARKE, A. Bruce Probabilidade e processos estocasticos; tradu cao:
Amado, Gildesio Filho; Rio de Janeiro. Editora Livros Tecnicos e
Cientcos, 1979.
FERNANDES, Pedro J., Introducao `a teoria das probabi-lidades;
Rio de Janeiro. Editora Livros Tecnicos e Cientcos, 1973.
LIPSCHUTZ,Seymor Probabilidades: resumo de teoria 500 prob-
lemas resolvidos; Sao Paulo; Editora Editora McGraw-Hill Ltda,
1972.
MEYER, Carl D. Matrix Analysis and Aplied Linear Algebra.
Editora SYAM, 2000.
MEREDITH, Jack A Markovian Analysis of a Geriatric Ward;
Management Science, 1973.
THOMPSON, W., e McNEAL,J Sales Planning and Control Us-
ing Absorving Markov Chains Journal of Marketing Research 4,
1967.
30