Cadeias de Markov

Reginaldo J. Santos
Departamento de Matem atica-ICEx
Universidade Federal de Minas Gerais
http://www.mat.ufmg.br/~regi
22 de mar co de 2006
Vamos supor que uma popula c ao e dividida em tres estados (por exemplo: ricos, classe
media e pobres) e que em cada unidade de tempo a probabilidade de mudan ca de um
estado para outro seja constante no tempo, s o dependa dos estados. Este processo e
chamado cadeia de Markov.
Seja t
ij
a probabilidade de mudan ca do estado j para o estado i em uma unidade de
tempo (gera c ao). Cuidado com a ordem dos ndices. A matriz
T =
1 2 3

t
11
t
12
t
13
t
21
t
22
t
23
t
31
t
32
t
33

1
2
3
e chamada matriz de transi cao. A distribui c ao da popula c ao inicial entre os tres estados
pode ser descrita pela seguinte matriz:
P
0
=

p
1
p
2
p
3

est a no estado 1
est a no estado 2
est a no estado 3
A matriz P
0
caracteriza a distribui c ao inicial da popula c ao entre os tres estados e e
chamada vetor de estado. Ap os uma unidade de tempo a popula c ao estar a dividida
entre os tres estados da seguinte forma
P
1
=

t
11
p
1
+ t
12
p
2
+ t
13
p
3
t
21
p
1
+ t
22
p
2
+ t
23
p
3
t
31
p
1
+ t
32
p
2
+ t
33
p
3

estar a no estado 1
estar a no estado 2
estar a no estado 3
1
2 1 MATRIZES
Lembre-se que t
ij
e a probabilidade de mudan ca do estado j para o estado i. Assim a
matriz de estado ap os uma unidade de tempo e dada pelo produto de matrizes:
P
1
= TP
0
.
1 Matrizes
Exemplo 1. Vamos considerar a matriz de transi c ao
T =
1 2 3

1
2
1
4
0
1
2
1
2
1
2
0
1
4
1
2

1
2
3
(1)
e o vetor de estados inicial
P
0
=

1
3
1
3
1
3

est a no estado 1
est a no estado 2
est a no estado 3
(2)
que representa uma popula c ao dividida de forma que 1/3 da popula c ao est a em cada
estado.
Ap os uma unidade de tempo a matriz de estado ser a dada por
P
1
= TP
0
=

1
2
1
4
0
1
2
1
2
1
2
0
1
4
1
2

1
3
1
3
1
3

1
4
1
2
1
4

Como estamos assumindo que em cada unidade de tempo a matriz de transi c ao e a

mesma, ent ao ap os k unidades de tempo a popula c ao estar a dividida entre os tres estados
segundo a matriz de estado
P
k
= TP
k1
= T
2
P
k2
= = T
k
P
0
Assim a matriz T
k
d a a transi c ao entre k unidades de tempo.
Cadeias de Markov 22 de mar co de 2006
3
2 Sistemas Lineares
Exemplo 2. Vamos tomar a matriz de transi c ao do Exemplo 1 na p agina 2.
T =
1 2 3

1
2
1
4
0
1
2
1
2
1
2
0
1
4
1
2

1
2
3
Vamos descobrir qual distribui c ao inicial da popula c ao entre os tres estados e tal que,
gera c ao ap os gera c ao, permanece inalterada. Ou seja, vamos determinar P tal que
TP = P ou TP = I
3
P ou (T I
3
)P =

0.
Assim precisamos resolver o sistema linear homogeneo

1
2
x +
1
4
y = 0
1
2
x
1
2
y +
1
2
z = 0
1
4
y
1
2
z = 0
cuja matriz aumentada e

1
2
1
4
0 0
1
2

1
2
1
2
0
0
1
4

1
2
0

1
a
.
elimina cao:
21
a
.
linha 2
a
.
linha

1
1
2
0 0
1
2

1
2
1
2
0
0
1
4

1
2
0

1
2
1
a
.
linha + 2
a
.
linha 2
a
.
linha

1
1
2
0 0
0
1
4
1
2
0
0
1
4

1
2
0

2
a
.
elimina cao:
42
a
.
linha 2
a
.
linha

1
1
2
0 0
0 1 2 0
0
1
4

1
2
0

22 de mar co de 2006 Reginaldo J. Santos

4 3 DIAGONALIZAC

AO
1
2
2
a
.
linha + 1
a
.
linha 1
a
.
linha

1
4
2
a
.
linha + 3
a
.
linha 3
a
.
linha

1 0 1 0
0 1 2 0
0 0 0 0

Portanto o sistema dado e equivalente ao sistema seguinte

x z = 0
y 2z = 0
Seja z = . Ent ao y = 2 e x = . Assim, a solu c ao geral do sistema e
X =

p
1
p
2
p
3

1
2
1

, para todo R.
Tomando a solu c ao tal que p
1
+ p
2
+ p
3
= 1 obtemos que se a popula c ao inicial for
distribuda de forma que p
1
= 1/4 da popula c ao esteja no estado 1, p
2
= 1/2 da popula c ao
esteja no estado 2 e p
3
= 1/4, esteja no estado 3, ent ao esta distribui c ao permanecer a
constante gera c ao ap os gera c ao.
3 Diagonaliza cao
Exemplo 3. Vamos tomar a matriz de transi c ao do Exemplo 1 na p agina 2.
T =
1 2 3

1
2
1
4
0
1
2
1
2
1
2
0
1
4
1
2

1
2
3
Vamos calcular potencias k de T, para k um inteiro positivo qualquer. Para isto
vamos diagonalizar a matriz T. Para isso precisamos determinar seus os autovalores e
autovetores. Para esta matriz o polin omio caracterstico e
p(t) = det(T t I
3
) = det

1
2
t
1
4
0
1
2
1
2
t
1
2
0
1
4
1
2
t

= (
1
2
t) det

1
2
t
1
2
1
4
1
2
t

1
4
det

1
2
1
2
0
1
2
t

Cadeias de Markov 22 de mar co de 2006

5
= (
1
2
t)

(
1
2
t)
2

1
8

1
8
(
1
2
t)
= t
3
+
3
2
t
2

1
2
t = t(t
2
+
3
2
t
1
2
) = t(t 1)(t
1
2
)
Portanto os autovalores de T s ao
1
= 0,
2
= 1/2 e
3
= 1. Agora, vamos determinar os
autovetores associados aos autovalores
1
,
2
e
3
. Para isto vamos resolver os sistemas
(T
1
I
3
)X =

0, (T
2
I
3
)X =

0 e (T
3
I
3
)X =

0. Como
(T
1
I
3
)X = TX =

0 e

1
2
1
4
0
1
2
1
2
1
2
0
1
4
1
2

x
y
z

0
0
0

A forma escalonada reduzida da matriz aumentada do sistema e

1 0 1 0
0 1 2 0
0 0 0 0

Assim, a solu c ao geral do sistema (T

1
I
3
)X =

0 e
W
1
= {(, 2, ) | R} ,
que e o conjunto de todos os autovetores associados a
1
= 0 acrescentado o vetor nulo.
O conjunto {V
1
= (1, 2, 1)} e uma base para W
1
, pois como (, 2, ) = (1, 2, 1),
V
1
gera W
1
e um vetor n ao nulo e L.I.
Com rela c ao ao autovalor
2
= 1/2, o sistema (T
2
I
3
)X =

0 e

0
1
4
0
1
2
0
1
2
0
1
4
0

x
y
z

0
0
0

A forma escalonada reduzida da matriz aumentada do sistema e

1 0 1 0
0 1 0 0
0 0 0 0

Assim, a solu c ao geral do sistema (T

2
I
3
)X =

0 e
W
2
= {(, 0, ) | R}.
22 de mar co de 2006 Reginaldo J. Santos
6 3 DIAGONALIZAC

AO
O conjunto {V
2
= (1, 0, 1)} e uma base para W
2
, pois como (, 0, ) = (1, 0, 1), V
3
gera
W
2
e um vetor n ao nulo e L.I.
Com rela c ao ao autovalor
3
= 1, o sistema (T
3
I
3
)X =

0 e

1
2
1
4
0
1
2

1
2
1
2
0
1
4

1
2

x
y
z

0
0
0

A forma escalonada reduzida da matriz aumentada do sistema e

1 0 1 0
0 1 2 0
0 0 0 0

Assim, a solu c ao geral do sistema (T

3
I
3
)X =

0 e
W
3
= {(, 2, ) | R} ,
que e o conjunto de todos os autovetores associados a
3
= 1 acrescentado o vetor nulo.
O conjunto {V
1
= (1, 2, 1)} e uma base para W
1
, pois como (, 2, ) = (1, 2, 1), V
1
gera
W
1
e um vetor n ao nulo e L.I.
Como V
1
, V
2
e V
3
s ao autovetores associados a
1
,
2
e
3
, respectivamente, ent ao pela
os autovetores juntos V
1
, V
2
e V
3
s ao L.I. Assim, a matriz A e diagonaliz avel e as matrizes
D =

1
0 0
0
2
0
0 0
3

0 0 0
0
1
2
0
0 0 1

e Q = [ V
1
V
2
V
3
] =

1 1 1
2 0 2
1 1 1

s ao tais que
D = Q
1
TQ ou T = QDQ
1
.
Assim,
T
k
= QD
k
Q
1
=

1 1 1
2 0 2
1 1 1

0 0 0
0 (
1
2
)
k
0
0 0 1

1
4

1
4
1
4

1
2
0
1
2
1
4
1
4
1
4

1
4
+ (
1
2
)
k+1 1
4
1
4
(
1
2
)
k+1
1
2
1
2
1
2
1
4
(
1
2
)
k+1 1
4
1
4
+ (
1
2
)
k+1

Esta e a matriz que d a a transi c ao entre k unidades de tempo (gera c oes).

Cadeias de Markov 22 de mar co de 2006
REFER

ENCIAS 7
Referencias
[1] Reginaldo J. Santos. Um Curso de Geometria Analtica e

Algebra Linear. Imprensa
Universit aria da UFMG, Belo Horizonte, 2003.
22 de mar co de 2006 Reginaldo J. Santos