Cadeias de Markov

Bruno Rizzo Kasinof RA:094686

Universidade Estadual de Campinas - UNICAMP
Faculdade de Ciencias Aplicadas - FCA
Engenharia de Manufatura
Limeira, 2010
1
Resumo
O texto a seguir e um estudo de uma aplicacao de algebra linear, os teoremas apresentados
foram retirados do livro de Howard Anton e Chris Rorres Algebra Linear com Aplicacoes,
ao nal do texto sao resolvidos alguns exerccios com ajuda de recursos computacionais. Para
melhor entendimento e recomendado ao leitor conhecimento previo sobre matrizes, sistemas
lineares e nocoes de limite, e tambem nocoes do softwere Wolfram Mathematica.
2
Sumario
1 Cadeias de Markov 4
1.1 Matriz de Transicao da cadeia de markov . . . . . . . . . . . . . . . 4
1.2 Vetor-Estado na n-esima observacao . . . . . . . . . . . . . . . . . . . 5
1.3 Comportamento Limite dos Vetores - Estado . . . . . . . . . . . . . 5
1.4 Cadeia de Markov Regular . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Exerccios 8
2.1 Subsess ao 1.5 - Exercicio 2, Pagina 27 [1] . . . . . . . . . . . . . . . . . . . . 8
2.2 Subsess ao 1.5 - Exercicio 3, Pagina 27 [1] . . . . . . . . . . . . . . . . . . . . 11
2.3 Subseccao 11.6 exerccios computacionais T2 [2] . . . . . . . . . . . . . . . . 13
3
1 Cadeias de Markov
Figura 1: Andrei Andreyevich Markov
Alguns processos podem ser descritos tal que um sistema fsico ou matem atico esteja
sofrendo mudancas em que pode transitar entre um numero fnito de estados.
Se a probabilidade dessa transicao puder ser mensurada a partir do conhecimento do
estado do sistema na situacao atual, independente do passado, ent ao o processo de transicao
de estados e conhecido por cadeias de markov
1.1 Matriz de Transicao da cadeia de markov
A matriz das probabilidades do sistema e obtida pela tabela de probabilidades onde o
elemento na i-esima linha e j-esima coluna ndica a probabilidade de transicao do j-esimo
para o i-esimo estado[1]
Para exemplicar essa matriz pensaremos em uma cadeia de tres estados, de maneira que
a matriz de transicao que da seguinte forma:
1 11 111

c
11
c
12
c
13
c
21
c
22
c
23
c
31
c
32
c
33

Cada elemento da matriz e a probabilidade do estado mudar para o novo estado. Para
que que mais claro vamos visualizar o elemento c
23
, vemos que ele e a probabilidade do
estado 3 mudar para o estado 2.
4
Se A[c
i)
] e uma matriz de transicao de uma cadeia de markov de qualquer k estados,
ent ao para cada j devemos ter:
c
1)
+ c
2)
+ c
3)
... + c
I)
= 1
A matriz com essa propriedade e conhecida como matriz estocastica, matriz de probabil-
idade ou matriz de markov. A matriz de transicao de uma cadeia de markov e uma matriz
estocastica, portanto. em qualquer matriz de markov vericamos essa propriedade.
O vetor coluna X, cujo i-esimo componente r
i
e a probabilidade do sistema estar naquela
observacao, no i-esimo estado e tambem conhecido como vetor-estado[2]
1.2 Vetor-Estado na n-esima observa cao
Teorema 1.1. Se A e uma matriz de transicao de uma cadeia de markov e r
(a)
e o vetor-
estado na n-esima observa cao ent ao:
r
(a+1)
= r
(a)
Esse teorema desenvolve-se de forma que r
(a)
=
(a)
r
(0)
, assim podemos encontrar r
(a)
usando apenas a matriz de transicao e r
(c)
.
1.3 Comportamento Limite dos Vetores - Estado
Vimos anteriormente que conforme o n umero de observacoes aumenta, os vetores estado
convergem para um vetor xo, contudo isso nem sempre acontece. Vejamos um exemplo:
Sejam;
=
[
0 1
1 0
]
. e r
(0)
=
[
1
0
]
r
(a)
=
(a)
r
(0)
, r
(2)
=
[
0 1
1 0
]
2
[
1
0
]
=
[
1
0
]
, r
(3)
=
[
0 1
1 0
]
3
[
1
0
]
=
[
0
1
]
Vemos que
2
= 1 e
3
= tal que o sistema oscila entre dois vetores-estado:
r
(0)
= r
(2)
= r
(4)
... =
[
1
0
]
, r
(1)
= r
(3)
= r
(5)
... =
[
0
1
]
de modo que o sistema nao converge a nenhum vetor xo
5
1.4 Cadeia de Markov Regular
Para que uma matriz converga a um vetor-estado xo e precisso que qualquer potencia
positiva da matriz tenha as entradas positivas.
Uma cadeia de markov que obedeca a esse padr ao e chamada cadeia de markov regular.
Teorema 1.2. Comportamento de
a
quando : se e uma matriz de transi cao
regular ent ao:
A
n
=

1

1
. . .
1

2

2
. . .
2
.
.
. . . .
.
.
.
.
.
.

I

I
. . .
I

Quando : onde os
1
s ao numeros positivos tais que
1
+
2
+ ...
I
= 1
Vamos atribuir A como uma matriz de transicao com todas as colunas iguais ao vetor q.
A =

1

1
. . .
1

2

2
. . .
2
.
.
. . . .
.
.
.
.
.
.

I

I
. . .
I

q =

2
.
.
.

O teorema a seguir descreve o seguinte comportamento: Tendo Ax. Sendo x um vetor

probabilidade qualquer ent ao;
r =

1

1
. . .
1

2

2
. . .
2
.
.
. . . .
.
.
.
.
.
.

I

I
. . .
I

r
1
r
2
.
.
.
r
I

= (r
1
+ r
2
+ ... + r
I
)

2
.
.
.

=q
6
Teorema 1.3. Comportamento de
a
r quando : se A e uma matriz de transi cao
regular e x e um vetor de probabilidade ent ao,

2
.
.
.

=q
Quando : onde q e um vetor probabilidade xo independente d n, cujas entradas
s ao positivos.
Para uma cadeia de markov regular o sistema sempre acaba convergindo para um vetor-
estado q xo, o vetor q e chamado vetor estado est acionario da cadeia de markov regular[2]
Outro meio de averiguar se a matriz e regular e por uma propriedade da determinante.
Se a matriz A e regular o seu determinante e o inverso do determinante da sua inversa:
det(A) =
1
oc|(
1
)
Se isso for verdade a matriz A e regular.
Para calcular o vetor est acionario da cadeia de markov geralmente calcula-se
a
r para
um n muito grande.
Teorema 1.4. Vetor de Estado Estacionario
O vetor de estado est acionario q de uma matriz de transicao regular A e o unico vetor
de probabilidade que satisfaz a equacao Aq=q
O teorema 2.4 tambem pode ser expresso da forma (I-P)p=0. Utilizamos essa equa cao
reescrita do teorema 2.4 para encontrar o vetor de estado est acionario.
7
2 Exerccios
2.1 Subsessao 1.5 - Exercicio 2, Pagina 27 [1]

E observado que as probabilidade de um time de futebol ganhar, perder e empatar uma

partida depois de conseguir uma vitoria sao 1/2, 1/5, e 3/10 respectivamente; e depois de
ser derrotado sao 3/10, 3/10, e 2/5, respectivamente; e depois de empatar sao 1/5, 2/5,
e 2/5, respectivamente. Se o time nao melhorar nem piorar, conseguir a mais vitorias que
derrotas a longo prazo ?
Resolu cao:
Primeiramente monta-se a matrix de transicao:
In[73]:= l1 1 2, 1 5, 3 10;
In[74]:= l2 3 10, 3 10, 2 5;
In[75]:= l3 1 5, 2 5, 2 5;
In[76]:= m l1, l2, l3;
Para visualizar a matriz utilizamos o comando MatrixForm:
In[77]:= MatrixFormm
Out[77]//MatrixForm=
1
2
1
5
3
10
3
10
3
10
2
5
1
5
2
5
2
5
Devemos criar tambem a matriz identidade:
In[78]:= a 1, 0, 0;
In[79]:= b 0, 1, 0;
In[81]:= c 0, 0, 1;
In[82]:= ID a, b, c;
8
Visualizando:
In[84]:= MatrixFormID
Out[84]//MatrixForm=
1 0 0
0 1 0
0 0 1
Fazemos o sistema linear (I-P)p:
In[85]:= ID m
Out[85]=
1
2
,
1
5
,
3
10
,
3
10
,
7
10
,
2
5
,
1
5
,
2
5
,
3
5

In[86]:= MatrixForm
Out[86]//MatrixForm=
1
2

1
5

3
10

3
10
7
10

2
5

1
5

2
5
3
5
Encontramos a forma escalonada do sistema:
In[87]:= RowReduce
Out[87]= 1, 0, 1, 0, 1, 1, 0, 0, 0
In[88]:= MatrixForm
Out[88]//MatrixForm=
1 0 1
0 1 1
0 0 0
Verica-se que q3 = q1 = q2, atribuimos q3 = s, assim qualquer solu cao do sistema e da
forma:
q = s

1
1
1

9
Para encontrar o vetor probabilidade fazemos:
s 1 1 1 1;
Assim:
s q

1
3
,
1
3
,
1
3

Obtemos:
q = s

1,3
1,3
1,3

Conclumos que a longo prazo sao de 1/3 portanto se o time nao melhorar nem piorar as
chances de vitoria ou derrota ou empate sao as mesmas.
10
2.2 Subsessao 1.5 - Exercicio 3, Pagina 27 [1]
Numa pesquisa procura-se estabelecer uma correlacao entre os nveis de escolaridade de pais
e lhos. Estabelecendo as letras P para os que concluiram o curso primario, S para o curso
secundario e U para o curso universitario, a probabilidade de um lho pertencer a um desses
grupos, dependendo do grupo em que o pai est a e dada pela matriz:
Qual a probabilidade de um neto de um indivduo que realializou o curso secundario ser
um universitario ?
Resolu cao:
Primeiramente montamos a matriz.
In[1]:= l1 2 3, 1 3, 0;
In[2]:= l2 1 3, 1 3, 1 3;
In[3]:= l3 0, 1 3, 2 3;
In[4]:= m l1, l2, l3;
In[5]:= MatrixFormm
Out[5]//MatrixForm=
2
3
1
3
0
1
3
1
3
1
3
0
1
3
2
3
11
Denotamos x0 para o vetor estado inicial da matriz, calculamos o vetor no estado 1 e
depois no 2 e assim obtemos as probabilidades para a segunda e terceira geracao.
In[24]:= x0 0, 1, 0;
In[25]:= x1 m.x0
Out[25]=
1
3
,
1
3
,
1
3

In[27]:= x2 m.x1
Out[27]=
1
3
,
1
3
,
1
3

Podemos observar que a probabilidade para qualquer um dos estados e de

1
3
tanto para
a segunda geracao, como para a terceira.
12
2.3 Subseccao 11.6 exerccios computacionais T2 [2]
Um camundongo e colocado numa caixa com nove compartimentos, como mostra a gura
dada. Suponha que e igualmente prov avel que o camundongo passa por qualquer uma das
portas do compartimento ou que permanece parado num mesmo compartimento.
(a) Construa a matriz de transicao 9x9 para este problema e mostre que e regular
(b)Determine o vetor de estado estacionario da matriz
(c)Use um argumento de simetria para mostrar que esse problema pode ser resolvido
usando somente uma matriz 3x3
13
Resolu cao:
(a) Primeiramente montamos a matriz.
In[2]:= l1 1 3, 1 3, 0, 1 3, 0, 0, 0, 0, 0;
In[3]:= l2 1 4, 1 4, 1 4, 0, 1 4, 0, 0, 0, 0;
In[4]:= l3 0, 1 3, 1 3, 0, 0, 1 3, 0, 0, 0;
In[5]:= l4 1 4, 0, 0, 1 4, 1 4, 0, 1 4, 0, 0;
In[6]:= l5 0, 1 5, 0, 1 5, 1 5, 1 5, 0, 1 5, 0;
In[7]:= l6 0, 0, 1 4, 0, 1 4, 1 4, 0, 0, 1 4;
In[8]:= l7 0, 0, 0, 1 3, 0, 0, 1 3, 1 3, 0;
In[9]:= l8 0, 0, 0, 0, 1 4, 0, 1 4 , 1 4, 1 4;
In[10]:= l9 0, 0, 0, 0, 0, 1 3, 0, 1 3, 1 3;
In[11]:= m l1, l2, l3, l4, l5, l6, l7, l8, l9;
In[12]:= MatrixFormm
Out[12]//MatrixForm=
1
3
1
3
0
1
3
0 0 0 0 0
1
4
1
4
1
4
0
1
4
0 0 0 0
0
1
3
1
3
0 0
1
3
0 0 0
1
4
0 0
1
4
1
4
0
1
4
0 0
0
1
5
0
1
5
1
5
1
5
0
1
5
0
0 0
1
4
0
1
4
1
4
0 0
1
4
0 0 0
1
3
0 0
1
3
1
3
0
0 0 0 0
1
4
0
1
4
1
4
1
4
0 0 0 0 0
1
3
0
1
3
1
3
Para vericar se ela e regular usaremos a propriedade da determinante citada acima:
14
In[30]:= x Inversem
Out[30]=
3
7
,
16
7
,
3
7
,
16
7
,
10
7
,
12
7
,
3
7
,
12
7
,
18
7
,

12
7
,
8
7
,
12
7
,
8
7
,
5
7
,
8
7
,
9
7
,
20
7
,
9
7
,
3
7
,
16
7
,
3
7
,
12
7
,
10
7
,
16
7
,
18
7
,
12
7
,
3
7
,

12
7
,
8
7
,
9
7
,
8
7
,
5
7
,
20
7
,
12
7
,
8
7
,
9
7
,
6
7
,
4
7
,
6
7
,
4
7
,
15
7
,
4
7
,
6
7
,
4
7
,
6
7
,

9
7
,
8
7
,
12
7
,
20
7
,
5
7
,
8
7
,
9
7
,
8
7
,
12
7
,
3
7
,
12
7
,
18
7
,
16
7
,
10
7
,
12
7
,
3
7
,
16
7
,
3
7
,

9
7
,
20
7
,
9
7
,
8
7
,
5
7
,
8
7
,
12
7
,
8
7
,
12
7
,
18
7
,
12
7
,
3
7
,
12
7
,
10
7
,
16
7
,
3
7
,
16
7
,
3
7

In[27]:= MatrixForm
Out[27]//MatrixForm=

3
7
16
7

3
7
16
7

10
7

12
7

3
7

12
7
18
7
12
7

8
7
12
7

8
7
5
7

8
7

9
7
20
7

9
7

3
7
16
7

3
7

12
7

10
7
16
7
18
7

12
7

3
7
12
7

8
7

9
7

8
7
5
7
20
7
12
7

8
7

9
7

6
7
4
7

6
7
4
7
15
7
4
7

6
7
4
7

6
7

9
7

8
7
12
7
20
7
5
7

8
7

9
7

8
7
12
7

3
7

12
7
18
7
16
7

10
7

12
7

3
7
16
7

3
7

9
7
20
7

9
7

8
7
5
7

8
7
12
7

8
7
12
7
18
7

12
7

3
7

12
7

10
7
16
7

3
7
16
7

3
7
In[31]:= Detm
Out[31]=
7
103 680
In[32]:= Detx
Out[32]=
103 680
7
In[33]:= 1
Out[33]=
7
103 680
Mostramos portanto que a matriz e regular.
15
(b) Para determinar o vetor de estado estacionario da matriz primeiramente montamos a
matriz identidade, pelo fato da matriz ser 9x9 vamos utilizar um recurso que monta a matriz
identidade.
In[13]:= ID IdentityMatrix9
Out[13]= 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0,
0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0,
0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1
In[14]:= MatrixForm
Out[14]//MatrixForm=
1 0 0 0 0 0 0 0 0
0 1 0 0 0 0 0 0 0
0 0 1 0 0 0 0 0 0
0 0 0 1 0 0 0 0 0
0 0 0 0 1 0 0 0 0
0 0 0 0 0 1 0 0 0
0 0 0 0 0 0 1 0 0
0 0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 0 1
calculamos ent ao o vetor de estado estacionario.
16
In[15]:= ID m
Out[15]=
2
3
,
1
3
, 0,
1
3
, 0, 0, 0, 0, 0,
1
4
,
3
4
,
1
4
, 0,
1
4
, 0, 0, 0, 0,
0,
1
3
,
2
3
, 0, 0,
1
3
, 0, 0, 0,
1
4
, 0, 0,
3
4
,
1
4
, 0,
1
4
, 0, 0,
0,
1
5
, 0,
1
5
,
4
5
,
1
5
, 0,
1
5
, 0, 0, 0,
1
4
, 0,
1
4
,
3
4
, 0, 0,
1
4
,
0, 0, 0,
1
3
, 0, 0,
2
3
,
1
3
, 0, 0, 0, 0, 0,
1
4
, 0,
1
4
,
3
4
,
1
4
, 0, 0, 0, 0, 0,
1
3
, 0,
1
3
,
2
3

In[16]:= MatrixForm
Out[16]//MatrixForm=
2
3

1
3
0
1
3
0 0 0 0 0

1
4
3
4

1
4
0
1
4
0 0 0 0
0
1
3
2
3
0 0
1
3
0 0 0

1
4
0 0
3
4

1
4
0
1
4
0 0
0
1
5
0
1
5
4
5

1
5
0
1
5
0
0 0
1
4
0
1
4
3
4
0 0
1
4
0 0 0
1
3
0 0
2
3

1
3
0
0 0 0 0
1
4
0
1
4
3
4

1
4
0 0 0 0 0
1
3
0
1
3
2
3
In[17]:= RowReduce
Out[17]= 1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 0, 1,
0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 1,
0, 0, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0
In[18]:= MatrixForm
Out[18]//MatrixForm=
1 0 0 0 0 0 0 0 1
0 1 0 0 0 0 0 0 1
0 0 1 0 0 0 0 0 1
0 0 0 1 0 0 0 0 1
0 0 0 0 1 0 0 0 1
0 0 0 0 0 1 0 0 1
0 0 0 0 0 0 1 0 1
0 0 0 0 0 0 0 1 1
0 0 0 0 0 0 0 0 0
In[19]:= q 1, 1, 1, 1, 1, 1, 1, 1, 1;
In[20]:= s 1 1 1 1 1 1 1 1 1 1;
In[21]:= s q
Out[21]=
1
9
,
1
9
,
1
9
,
1
9
,
1
9
,
1
9
,
1
9
,
1
9
,
1
9

In[22]:= q1 q2 q3 q4 q5 q6 q7 q8 q9;
A longo prazo a chance dele estar em qualquer um dos compartimentos e de
1
9
.
17
Referencias
[1] Boldrini,Jose. Costa,Sueli. Figueredo,Vera. Wetzler,Henry., Algebra Linear Habra, 3th
ed.
[2] Anton, Haward. Rorres,Chris. Algebra Linear com Aplicacoes Bookman, 8th ed.
[3] Bueno, Fabrcio Cadeias de Markov Praticas e Aplicacoes
18