Escolar Documentos
Profissional Documentos
Cultura Documentos
1
Aplicações de Cadeias de Markov
2
Fabiano Rodrigues de Souza
3
Aplicações de Cadeias de Markov
Editor:
Marcelo França de Oliveira
52p.
Bibliografia
ISBN: XX
PLUSCOM EDITORA
(Pluscom Comunicação Ltda)
Rua 19 de Fevereiro, 550 / 301 - Centro
96200-490 - Rio Grande - RS - Brasil
+55 53 3232.1972 - contato@casaletras.com.br
www.casaletras.com.br
4
Fabiano Rodrigues de Souza
SUMÁRIO
INTRODUÇÃO .........................................................................................................................6
CAPÍTULO I ............................................................................................................................7
PROBABILIDADES ...........................................................................................................7
NOÇÕES DE SISTEMAS LINEARES ..............................................................................35
CAPÍTULO II . ...........................................................................................................................
CADEIAS DE MARKOV...................................................................................................44
CONCLUSÃO .........................................................................................................................50
5
Aplicações de Cadeias de Markov
Introdução
O estudo de cadeias ligadas a eventos aleatórios foi iniciada na Rússia em 1906-1907, por
Andrei Andreyevitch Markov, discípulo do famoso matemático Tchebycheff, Markov (1856-1922)
viveu a maior parte de sua vida em São Petersburgo, foi aluno e depois professor da Universidade de
São Petersburgo, um liberal do ponto de vista político. Embora muito interessado nos aspectos da
análise matemática, seu trabalho mais importante foi na criação dos fundamentos da teoria moderna de
probabilidade. Suas idéias sobre processos de Markov foram motivadas por um desejo de provar
rigorosamente a lei dos grandes números e de entender a aplicabilidade dessa lei, essas idéias
apareceram em uma série de artigos entre 1906-1912. (Boyer[2]).
A meados do século vinte, as cadeias de Markov tem sito amplamente estudadas por abordar o
processo de eventos aleatórios que somente depende de resultados precedentes e têm uma grande
aplicabilidade na teoria cinética dos gases, fenômenos biológicos e sociais, fenômenos climáticos, etc.
Quando se procuraram fundamentos matemáticos para a teoria das probabilidades, os
estatísticos viram que nenhuma exposição rigorosa da teoria das probabilidades é possível sem usar
noções sobre funções mensuráveis e teorias modernas da integração. Na Rússia, por exemplo, Andrei
Nicolaevich Kolmogoroff (1903-1987) fez importantes progressos em processos de Markov (1931) e
satisfez em parte o sexto projeto de Hilbert, que pedia fundamentos axiomáticos para as
probabilidades.
Neste LIVRO apresentamos algumas aplicações de cadeias de Markov. A princípio tratará
sobre cadeias de Markov, o qual iniciamos como uma motivação e em seguida apresentamos a teoria e
aplicações de cadeias de Markov, onde a definição de cadeias de Markov, é exemplificada com
aplicação e a definição de vetor estado com uma aplicação. O teorema 1 que trata sobre vetor estado da
cadeia na n-ésima observação, é ilustrado com aplicação.
A continuação definimos matriz regular que permite enunciar o teorema 2 que será usado para
demonstrar o teorema 3 que é um dos teorema principal deste trabalho, pois ele trata sobre o
comportamento limite das probabilidade de transição das cadeias de Markov, e para calcular o
respectivo limite (vetor de estado estacionário) nas aplicações seguimos o teorema 4 que é ilustrado
com uma aplicação.
6
Fabiano Rodrigues de Souza
CAPÍTULO I
Probabilidade
Exemplos:
a) Lançamento de uma moeda: Ω = {c, k} sendo c = cara e k = coroa
b) Lançamento de duas moedas: Ω = { c c, c k, k c, k k }
c) Lançamento de um dado: Ω = {1, 2, 3, 4, 5, 6 }
d) Retirada de uma carta do baralho:
Ω = { A 2 3 4 5 6 7 8 9 10 J Q K (♦)
A 2 3 4 5 6 7 8 9 10 J Q K (♥)
A 2 3 4 5 6 7 8 9 10 J Q K (♠)
A 2 3 4 5 6 7 8 9 10 J Q K (♣) }
e) Vida útil de um componente eletrônico: Ω = { t = IR t ≥ 0 }
2. Evento
A cada experimento está associado um resultado obtido, não previsível, chamado evento. Um
evento é qualquer subconjunto de um espaço amostral, sendo representados por letras maiúsculas
A, B, C, D, etc.
Exemplo:
Lançam-se dois dados. Enumerar o espaço amostral e depois os seguintes eventos:
A: saída de faces iguais
B: saída de faces cuja soma seja igual a 10
C: saída de faces cuja soma seja menor que 2
D: saída de faces cuja soma seja menor que 15
E: saída de faces onde uma face é o dobro da outra
F: saída de faces desiguais
Solução:
7
Aplicações de Cadeias de Markov
O espaço amostral desses eventos (todos os resultados possíveis de serem obtidos no lançamento
dos dois dados) está descrito na tabela a seguir:
D1/D2 1 2 3 4 5 6
1 1,1 1,2 1,3 1,4 1,5 1,6
2 2,1 2,2 2,3 ,2,4 2,5 2,6
3 3,1 3,2 3,3 3,4 3,5 3,6
4 4,1 4,2 4,3 4,4 4,5 4,6
5 5,1 5,2 5,3 5,4 5,5 5,6
6 6,1 6,2 6,3 6,4 6,5 6,6
Eventos:
A = {(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)}
B = {(4,6), (5,5), (6,4)}
C = { } (evento impossível)
D = Ω (evento certo)
E = {(1,2), (2,4), (3,6), (2,1), (4,2), (6,3)}
F=D-A
Quando o espaço amostral for finito ou infinito enumerável, todo subconjunto poderá ser
considerado um evento. Pode-se demonstrar que se Ω contiver n elementos , existirão exatamente
2n subconjuntos (eventos).
Exemplo:
Considere um espaço amostral finito: Ω = {A, B, C, D}. Os subconjuntos do espaço amostral são:
{∅, A, B, C, D, (A,B},{A,C}, {A,D}, {B,C}, {B,D}, {C,D}, {A,B,C}, (A,B,D}, {A,C,D},
{B,C,D}, {A,B,C,D}. Observa-se que 24 = 16 é o número de total de eventos extraídos de Ω.
3. Princípios de contagem
A notação n(A) será usada para dar o número de elementos distintos de um conjunto A
(cardinalidade de A). Alguns autores utilizam #A ou card(A) ao invés de n(A). Um conjunto é
finito quando contém exatamente m elementos distintos, m ∈ IN.
Exemplo:
Em um cesto há 6 bolas de vôlei, sendo 3 brancas e 3 vermelhas. Desse cesto são retiradas
sucessivamente 3 bolas. Calcular o número de elementos dos seguintes eventos:
A: As três bolas são da mesma cor.
B: Duas bolas são brancas
8
Fabiano Rodrigues de Souza
Solução:
Espaço amostral do experimento:
{BBB, BBV, BVB, VBB, BVV, VBV, VVB, VVV}; n (Ω) = 8
A = {VVV, BBB}; n(A) = 2
B = {BBV, BVB, VBB}; n(B) = 3.
C = {VVV}; n( C) = 1
D=∅ n (D) = 0
E = {BBB, BBV, BVB, VBB}
b) Sejam os conjuntos
A = {0, 1, 2, 3, 4, 5, 6}
B = { 0, 3, 5, 6}
B ⊂ A, pois todos os elementos de B estão contidos em A
• Conjunto vazio: é conjunto que não contém elementos. Representa-se por { } ou por ∅. O
conjunto vazio, ∅, também é um subconjunto de Ω ou de outro qualquer subconjunto de Ω.
Exemplo: Lançamento de um dado e obter a face com número 7 (D):
D = { } ou D = ∅.
5. Tipos de eventos
a) Evento certo
É aquele que ocorre em qualquer experimento aleatório
Exemplo: No lançamento de uma moeda , com certeza sairá sempre as faces “cara” ou “coroa”.
9
Aplicações de Cadeias de Markov
b) Evento impossível
É aquele que nunca ocorrerá em um experimento aleatório
Exemplo: Sair a face 7 no lançamento de um dado.
c) Evento complementar
O evento complementar de A é formado pelos elementos de Ω que não
pertencem a A (escreve-se Ā).
Exemplo: Se Ω = (1, 2, 3, 4, 5, 6} e A = { 1, 3, 5} então Ā = {2, 4, 6}.
A A
Ā={x∈ Ω|x∉A}
A ∪ B = { x ∈ Ω | x ∈ A ou x ∈ B}
Exemplo:
Se A = { 1, 2, 5, 6} e B = {4, 5} então A ∩ B = {5}.
10
Fabiano Rodrigues de Souza
A ∩ B = { x ∈ Ω | x ∈ A e x ∈ B}
Exemplo:
Se A = {1, 2, 5, 6} e B = {4, 7} então A ∩ B = { }.
Exemplo:
a) conjunto finito A = { a, b, c }; n(A) = 3
conjunto finito B = { d, e, f, g }; n(B) = 4
n(A ∪ B) = n(A) + n(B) = 3 + 4 = 7
c) Uma urna contém 10 bolas numeradas de 1 a 10. Retira-se uma bola ao acaso e observa-se o
número indicado. Descrever os seguintes conjuntos e dar o número de elementos de cada um.
a) o espaço amostral Ω
b) O evento A: o número da bola é ímpar
c) O evento B: o número da bola é maior que 6
Solução:
a) Ω = { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10}
O número de elementos desse conjunto é n(Ω) = 10
b) A = { 1, 3, 5, 7, 9)
n(A) = 5
c) B = { 7, 8, 9, 10}
n(B) = 4
11
Aplicações de Cadeias de Markov
b) COMUTATIVAS
A∪B=B∪A
A∩B=B∩A
c) ASSOCIATIVAS
A ∩ (B ∩ C) = (A ∩ B) ∩ C
A ∪ (B ∪ C) = (A ∪ B) ∪ C
d) DISTRIBUTIVAS
A ∩ (B ∪ C) = (A ∩ B) ∪ (A ∩ C)
A ∪ (B ∩ C) = (A ∪ B) ∩ (A ∪ C)
e) ABSORÇÕES
A ∪ (A ∩ B) = A
A ∩ (A ∪ B) = A
f) COMPLEMENTARES
Ω = φ
φ = Ω
A ∩ A = φ
A ∪ A = Ω
A = A
g) LEIS DE MORGAN
(A ∩ B ) = A ∪ B
(A ∪ B ) = A∩ B
A∩ B A∪ B
12
Fabiano Rodrigues de Souza
E1 E2
......
E3
En
Consideremos uma urna com 6 bolas numeradas, de 1 a 6, e uma experiência aleatória que consiste em
retirar duas bolas da urna. Considere os eventos:
E1: {1, 2}
E2: {3, 4}
E3: {5, 6}
8. Probabilidade de um evento
Considere as seguintes situações:
a) No lançamento de um dado qual a probabilidade de sair a face “3”?
Ω = {1, 2, 3, 4, 5, 6}
Evento A: sair 3
A={3} A é um evento simples
Então, a probabilidade de sair a face “3” é de 1 para 6 ou de 1/ 6 ou ainda 16,66...%
Para cada um dos outros números do Ω, a probabilidade é a mesma: 1/ 6
b) Ao retirar uma carta de um baralho de 52 cartas, qual a probabilidade de ser um “rei de copas”?
Nesse caso, a probabilidade é de 1 em 52 ou de 1/52. A probabilidade de ser retirada ao acaso
qualquer uma das outras 51 cartas do baralho é 1/52.
13
Aplicações de Cadeias de Markov
n( A)
P ( A) =
n (Ω )
Sendo n(Ω) o número de elementos do espaço amostral e n(A) o número de elementos do evento A
⊂ Ω.
A probabilidade deve assumir um valor entre 0 e 1, como número decimal, fração ou porcentagem:
a) P (Ω) = 1
b) P(A∪B) = P(A) + P(B) se A e B forem mutuamente exclusivos.
n n
c) P ∪ Ai = ∑ P( Ai ) , se A1, A2 , ..., An forem, dois a dois, eventos mutuamente exclusivos.
i=1 i =1
i
Exemplo:
1) No lançamento de um dado, determinar a probabilidade de se obter
a) o número 2
b) um número par
c) um número múltiplo de 3
Solução:
a) Ω = { 1, 2, 3, 4, 5, 6 }, portanto n(Ω) = 6
ocorrência do número 2: A = { 2 }, portanto n(A) = 1
P(A) = n(A) / n(Ω) = 1/ 6 = 0,1666... = 16,66...%
14
Fabiano Rodrigues de Souza
o sem reposição
uma bola retirada não é devolvida à urna.
Exemplo:
1. De um baralho de 52 cartas tiram-se sucessivamente, sem reposição, duas cartas.
Determinar:
-a probabilidade de tirar dama na primeira carta
-a probabilidade de tirar dama na segunda carta
-a probabilidade de tirar naipe de ouros na segunda carta
solução
a) número de cartas do baralho na 1a extração: n(Ω) = 52
número de damas no baralho na 1a extração: n(Q) = 4
n (Q ) 4
P(D1 ) = n ( Ω ) = 52
b) número de cartas do baralho na 2a extração: n(Ω) = 51
número de damas no baralho na 2a extração: n(Q) = 3
n (Q ) 3
P(D2 ) = n ( Ω ) = 51
15
Aplicações de Cadeias de Markov
9. Leis da Probabilidade
a) Probabilidade de um evento (A) não ocorrer
Se P(A) é a probabilidade do evento A ocorrer, então P(Ā) = 1 – P(A)
Esse evento é o complementar ao evento A . Logo P(A) + P(Ā) = Ω = 1
Exemplo:
Qual a probabilidade de não se pegar um “A” de um baralho de 52 cartas.
P(Ā) = 1 – P(A) = 1 – 4/ 52 = 48 / 52 = 12 / 13
Exemplo
Retirando-se uma carta do baralho, qual a probabilidade
1) que a carta seja de ouros ou de espadas
2) que a carta seja de ouros ou seja um “A”
Solução
a) Uma carta de ouros e uma carta de espadas não podem ocorrer ao mesmo tempo. Os eventos
são, portanto, mutuamente exclusivos
A: retirada de uma carta de ouros
B: retirada de uma carta de espadas
16
Fabiano Rodrigues de Souza
P(A) = 13/52 = 1/ 4
P(B) = 13/52 = 1/ 4
P(A ou B) = P(A) + P(B)
P(A ou B) = 1 / 4 + 1 / 4 = 1 / 2
1. Seja.
A: retirada de uma cartas de ouros
B: retirada de um “A “
P(A) = 13/52
P(B) = 4/52
Existe uma carta no baralho que é tanto um “A “ quanto de ouros. Nesse caso, A e B não
são mutuamente exclusivos
P(A ou B) = P(A) + P(B) – P(A ∩ B)
P(A ou B) = 13/ 52 + 4/ 52 – 1/ 52 = 16/ 52 = 4/ 13
Exemplo:
Foram retiradas duas cartas do baralho.
1. qual a probabilidade que saiam duas cartas de ouros?
2. Se a primeira carta de ouros foi devolvida, qual a probabilidade que a segunda seja também de
ouros?
Solução:
Seja A: retirada de uma carta de ouros
Seja B: retirada da segunda carta de ouro
a) A primeira carta de ouros tem P(A) = 13/ 52 = 1/ 4
A segunda carta de ouros tem P(BA) = 12/ 51
Os eventos não são independentes
Então P(A e B) = P(A) * P(BA) = 1/ 4 * 12 /51 = 12/ 204 = 3/ 51
17
Aplicações de Cadeias de Markov
r r!
Cr,p = p = p! (r − p )!
10 10 ! 10 . 9 . 8 . 7 !
C10,3 = 3 = 3! (10 − 3 )! = 3 .2 .7!
= 120
18
Fabiano Rodrigues de Souza
15 12
.
3 2
P(A) = 27
5
Exemplo: Num lote de 12 peças, 4 são defeituosas; duas peças são retiradas aleatoriamente.
Calcule:
a) A probabilidade de ambas serem defeituosas
b) A probabilidade de ambas não serem defeituosas
c) A probabilidade de ao menos uma ser defeituosa.
Solução:
a) A = (ambas são defeituosas)
4 4! 4.3.2!
A pode ocorrer =
2 2!(4−2)! 2.2! =6 vezes
=
12 12 ! 12.11.10 !
S pode ocorrer =
2 2!(12−2)!= 2.10
!
=66vezes
6 1
Logo, P(A) = 66 = 11
8 8! 8.7.6!
2 2!(8−2)! 2.6! = 28 vezes
B pode ocorrer = =
12 12 ! 12 .11.10!
S pode ocorrer = =
2 2!(12−2)! 2.10 =66vezes
!
19
Aplicações de Cadeias de Markov
28 14
Logo, P(B) = =
66 33
c) C = (ao menos uma é defeituosa)
C é o complemento de B, isto é C = B
14 19
P(C ) = 1 – P(B) = 1 - 33 = 33
10 5
P(A) = 32 = 16
Sejam os eventos
B: médico
S: funcionário do hospital
n(B) 110
Então P(B) = n ( S ) = 1170 = 0 , 06
Supondo agora que o conjunto dos funcionários refere-se aqueles com mais de 35 anos de idade,
qual a probabilidade de um funcionário escolhido aleatoriamente ser médico?
3. Agora, trata-se de uma probabilidade condicionada ao conjunto dos funcionários
com mais de 35 anos.
Seja o evento
A3 : funcionário com mais de 35 anos
n ( B ∩ A3 ) 75
Então P(B A3) = = ≅ 0,19
n( A3 ) 385
P (B ∩ A )
P (B A ) =
P (A)
Exemplos:
1. Em uma caixa contém 50 bolas de diferentes tamanhos e cores, conforme
tabela a seguir.
Achar a probabilidade de ser sorteada uma bola vermelha, quando se sabe que a bola retirada é
pequena.
Solução:
n(Ω) = 50 n(V) = 16 n(Pe) =v18 n(V ∩ Pe) = 3
21
Aplicações de Cadeias de Markov
3
3
P(VlPe) = 50 = = 0,1667= 16,67%
18 18
50
2. Duas bolas vão ser retiradas de uma urna que contém 2 bolas brancas, 3 pretas e 4 verdes. Qual
a probabilidade de que ambas
a) sejam verdes?
b) sejam da mesma cor?
Solução:
4 3 1
a) P (V ∩ V ) = P (V ).P (V V ) = 9 . 8 = 6
2 1 3 2 4 3 20 5
P (MC )= . + . + . = =
9 8 9 8 9 8 72 18
b)
Disciplina F Q Total
Sexo
H 40 60 100
M 70 80 150
Total 110 140 250
Um aluno é sorteado ao acaso. Qual a probabilidade de que esteja cursando química, dado que é
mulher?
Solução:
80
P (Q ∩ M ) 250 80
.P (Q M ) = = =
P (M ) 150 150
250
2
P( A ∩ B 6 2
Então P ( A / B ) = P (B ) = 3 = 3
6
5. Retira-se uma carta de um baralho de 52 cartas e sabe-se que saiu uma carta de ouros. Achar a
probabilidade de que seja um rei.
Solução:
Seja A: “sair uma carta de ouros” e B: “sair um rei”
1
P ( B ∩ A) 52 1
Então P (B / A ) = P ( A) = 13 = 13
52
6. Em uma urna existem 3 bolas verdes e 4 bolas pretas. São retiradas duas bolas. Sabendo-se que
a primeira bola é verde, achar a probabilidade de que a segunda bola seja preta.
Solução:
Seja A: “primeira bola é verde” e B: “a segunda bola é preta”.
P ( B ∩ A)
Então P (B / A ) = P ( A)
P(A) = 3 / 7
P(B ∩ A) = 12 / 42
12
P ( B ∩ A) 42 2
Logo, P (B / A) = P ( A) = 3 = 3
7
7. Uma loja tem um lote de 5 parelhos de DVD, e sabe-se que nesse lote existem 2 aparelhos com
defeito. Um consumidor compra 2 aparelhos do lote, escolhidos aleatoriamente. Achar a
probabilidade do segundo aparelho ser defeituoso, sendo que o primeiro já está escolhido.
Seja P: “o aparelho é perfeito”
D: “o aparelho é defeituoso”
2 6
P ( D ∩ D ) P ( D ∩ P ) 20 20 1 2 3
Assim P (D / D ) + P (D / P ) = P ( D) + P ( P ) = 2 + 3 = 4 + 4 = 4
5 5
23
Aplicações de Cadeias de Markov
P(B) = P ( A1 ). P ( B A1 ) + P ( A 2 ). P ( B A 2 ) + ...+ P ( A n ). P ( B A n ) = ∑ P ( A ). P ( B
i =1
i Ai )
Exemplo:
1. Uma urna contém 3 bolas brancas e 2 amarelas.Uma segunda urna contém 4 bolas brancas e 2
amarelas. Escolhe-se, ao acaso, uma urna e dela retira-se uma bola. Qual a probabilidade de ser
branca?
3B 4B
2A 2A
I II
1 3
P (I )= P (B I ) =
2 5
1 4 2
P ( II )= P (B II )= =
2 6 3
24
Fabiano Rodrigues de Souza
1 3 1 2 19
P (B ) = . + . =
2 5 2 3 30
(I ∩ B)
3/5 B 3/10
I
1/2 2/5 A 1/5 3/10 + 1/3 = 19/30
(II ∩ B)
2/3 B 1/3
1/2
II
1/3 A 1/6
2. Numa secretaria três funcionários são responsáveis pelo arquivo de documentos. O funcionário
Carlos arquiva 45% dos documentos, enquanto Jorge arquiva 25% e Manoel os outros 30%.
Supondo que a percentagem de documentos arquivados de forma errada seja de 5%, 15% e
10% respectivamente para cada um dos três funcionários, pede-se a probabilidade de se
encontrar um erro de arquivamento nessa secretaria.
Solução:
Seja A: “documento mal arquivado”
P(A/EC) = 0,05
P(A/EJ) = 0,15
P(A/EM) = 0,10
P(E) = P(A/EC).P(EC) + P(A/ EJ). P(EJ) + P(A/EM). P(EM)
P(E) = 0,05*045 + 0,15*0,25 + 0,10*0,30
P(E) = 0,09
25
Aplicações de Cadeias de Markov
5% C∩E 0,0225
C EC
45%
30%
10% EM M∩E 0,030
M
P(Aj ).P(B Aj )
P( Aj B ) = n
, j = 1,2,..., n
∑ P( A ).P(B A )
i =1
i i
Exemplo:
A urna A contém 3 fichas vermelhas e 2 azuis, e a urna B contém 2 vermelhas e 8 azuis. Joga-se
uma moeda, se der cara, extrai-se uma ficha da urna A; se der coroa , extrai-se uma ficha da urna B.
Uma ficha vermelha é extraída. Qual a probabilidade de ter saído cara no lançamento?
Solução:
3V 2V
2A 8A
A B
Queremos: P(V/C)
26
Fabiano Rodrigues de Souza
1 3
P(C ) = P(V C ) =
2 5
1 2
P(K ) = P(V K ) =
2 10
Então:
1 3 1 2 4
P (V ) = . + . =
2 5 2 10 10
3
P (V ∩ C ) 10 3
.P (C V ) = = =
P (V ) 4 4
10
O problema também pode ser resolvido pelo diagrama em árvore, como segue:
(C ∩ V)
3/5 V
3 2 4
1/ 2 C P (V ) = + =
10 20 10
A
3 / 10 3
2/10 V (K ∩ V) P (C V ) = =
4 / 10 4
1/ 2 K
A
Variável aleatória é qualquer função que associa números reais aos eventos de um espaço amostral.
Uma variável aleatória será discreta se o número de valores possíveis de X (contradomínio) for
finito ou infinito numerável.
Exemplo: O número X de peças defeituosas em cada cinco peças inspecionadas.
X = {0, 1, 2, 3, 4, 5}
∑ p( x ) = 1
i =1
i
Exemplo: Lançam-se duas moedas. Seja X: número de ocorrências da face cara. Determinar a
distribuição de probabilidade de X.
Solução:
O espaço amostral Ω = {(c, c), (c, k), (k, c), (k, k)}
Os valores possíveis da variável aleatória X serão 0, 1 e 2.
X=0 corresponde ao evento (k, k) com probabilidade ¼
X=1 corresponde ao evento (c, k) e (k, c) com probabilidade 2/4
X=2 corresponde ao evento (c,c) com probabilidade ¼
Tabela P(x)
X P(X)
0 ¼
1 ½ ½
2 ¼ ¼
Σ 1
0 1 2 x
28
Fabiano Rodrigues de Souza
F ( x) = P ( X ≤ x) = ∑ p(x )
xi ≤ x
i
Propriedades:
1. F(X) = x∑< x
P (x)
i
2. F (− ∞ ) = 0
3. F (+ ∞ ) = 1
4. P(a < X ≤ b) = F(b) – F(a)
5. P(a ≤ X ≤ b) = F(b) – F(a) + P(X = a)
6. P(a < X < b) = F(b) – F(a) – P(X = b)
7. A função é não decrescente
11 1
Exemplo: Admita que a variável aleatória X tome os valores 0, 1, 2 com probabilidades 3, 6, 2
respectivamente.
F(X) = 0 se x <0
1
F(X) = se 0 ≤x<1
3
1
F(X) = se 1 ≤x<2
2
F(X) = 1 se x≤2
29
Aplicações de Cadeias de Markov
F(x)
1/2
1/3
0 1 2 3 x
Exemplo: Uma população de 1000 crianças foi vacinada contra um tipo de alergia. Após um mês
da vacinação, as crianças que ainda tivessem alguma reação alérgica recebiam nova dose da
vacina. Ao fim de 5 doses, todas as crianças foram consideradas imunizadas. Os resultados estão
na tabela a seguir:
Gráfico
Doses 1 2 3 4 5
Frequência 245 288 256 145 66
Freqüência 245 533 789 934 1000
acumulada
0 1 2 3 4 5x
Solução:
n( D 2) 288
a) P(x=2) = n ( Ω ) = 1000 = 0 , 288
30
Fabiano Rodrigues de Souza
Como a variável só tem valores inteiros, esse valor fica inalterado no intervalo [2,3). Isto é
F(2,1) = F(2,45) = F(2,99). Por isso podemos escrever F(x) = P(X ≤ x) = 0,533 para 2 ≤ x <
3.
E(x) = x1 P ( x1 ) + x 2 P ( x 2 ) + ... + x n P ( x n ) = ∑ xi . p ( xi )
i =1
O valor esperado nem sempre assume um dos valores da distribuição. Por exemplo, o valor
esperado do lançamento de um dado não viciado é 3,5 (prove).
Exemplo: Lançam-se 3 moedas. Seja x o número de ocorrências da face cara. Calcule o número
médio de caras nesse lançamento.
Espaço amostral (Ω): CCC, CCK, CKC, KCC, CKK, KCK, KKC, KKK
N0 DE P(X)
CARAS
(X)
0 1/8 =
0,125
1 3/8 =
0,375
2 3/8 =
0,375
3 1/8 =
0,125
Exemplo: Uma pousada possui dois quartos duplos iguais. O preço é variável de acordo com o
número de clientes: 10,00 para um cliente, 20,00 com dois clientes, 42,00 com três clientes e
85,00 com quatro clientes.
As probabilidades relativas à ocupação dos quartos são as seguintes:
P(1 cliente) = 0,15
31
Aplicações de Cadeias de Markov
1) E(k) = k, k = constante
Demonstração:
n n
E(k) = ∑
i =1
k . p ( x i ) = k. ∑
i =1
p ( xi ) = k.1 = k
2) E(k.x) = k.E(X)
Demonstração:
n n
E(k.x) = ∑ k . x . p ( x ) = k. ∑ x . p( x ) = k.E(X)
i =1
i i
i =1
i i
n n
4) ∑ X i = ∑{E ( X i )}
i =1 i =1
32
Fabiano Rodrigues de Souza
Desenvolvendo o quadrado da diferença, obtém-se uma fórmula mais fácil de ser aplicada:
Onde:
n n
E[X2]= ∑xi =1
i
2
. p ( x i ) e E(x) = ∑ x .p(x )
i =1
i i
Xi (vendas) 0 1 2 3 4
P(xi) 0,20 0,30 0,30 0,15 0,05
Propriedades da variância:
1. V(k) = 0, k = constante
Demonstração:
V(k) = E{[k – E(k)]2} = E{[k – k]2} = 0
2. V(k.x) = k2.V(X)
Demonstração:
n n
V(k.x) = ∑ k . x . p ( x ) = k. ∑ x . p( x ) = k.E(X)
i =1
i i
i =1
i i
33
Aplicações de Cadeias de Markov
cov(X i , X j )
n n n
4. V ∑ i
X = ∑ i ∑
V ( X ) + 2
i =1 i =1 i< j
34
Fabiano Rodrigues de Souza
O método de escalonamento de uma matriz vai servir como base para a resolução de sistemas
lineares. Para isto, consideramos a matriz ampliada do sistema e escalonamos para obtermos uma
matriz equivalente LRFE.
Exemplos:
x+3z =−8
1
0 3 − 8
1) 2x−4y =−4 A matriz ampliada do sistema é 2
3
− 4 0 − 4 . Vamos escalonar esta
26
3x−2y−5z =26 − 2 −5
matriz para obter a matriz equivalente LRFE
−1
1 0 3 −8L →L −2L 1 0 3 −8L2 → L21 0 3 −8
2 2 1 4
2 −4 0 −4 → 0 −4 −6 12 → 0 1 3/ 2 −3
L →L −3
3 −2 −5 26 3 3 10 −2 −14 50
L 0 −2 −14 50
− −1
1 0 3 8 L 1 0 3 −8
3 11 3 1 0 0 4
L3→L3+2L2 L →
L1 →L1 −3L3
→ 0 1 3/3 −3 → 0 1 3/ 2 −3 → 0 1 0 3
0 0 −11 44 0 0 1 −4 L2 →L2 −3 L30 0 1 −4
2
A última matriz da seqüência acima é uma matriz LRFE linha equivalente à matriz ampliada do sistema
x=4
dado e corresponde à matriz ampliada do sistema y=3 .
z =−4
35
Aplicações de Cadeias de Markov
O sistema final é equivalente ao sistema dado, logo têm as mesmas soluções. Portanto a solução do
sistema é { ( 4, 3, -4 ) } Neste caso o sistema tem uma única solução
x − y +2z −t = 0
1
−1 2 −1 0
2) 2x + y +4z = 0 A matriz ampliada do sistema é 2
1
1 4 0 0 . Vamos obter a
0
x − y +2z −4t = 0 −1 2 − 4
matriz LRFE equivalente:
1
1 −1 2 −1 0 L →L −2L 1 −1 2 −1 0 L2→ L21 −1 2 −1 0
2 2 1 3
2 1 4 0 0 → 0 3 0 2 0 → 0 1 0 2 / 3 0
1 −1 2 − 4 0 L3→L3−L1 0 0 0 − 3 0 0 0 0 − 3 0
−1 1
L1→L1+L2
1 0 2 −1/ 3 0 L3→ L31 0 2 −1/ 3 0 L1→L1+ L3 1 0 2 0 0
3 3
→ 0 1 0 2 / 3 0 → 0 1 0 2 / 3 0 → 0 1 0 0 0
0 0 0 − 3 0 0 0 0 1 0 L2→L2−2L30 0 0 1 0
3
x+2z =0
A matriz acima equivale ao sistema y=0
t =0
Para cada valor atribuído a z, temos a n-upla (− 2 z , 0 , z , 0 ) que é solução do sistema.
O sistema tem infinitas soluções e é dito indeterminado.
x+y+z =4
1
1 1 4
3) 2x+3y−1z =3 A matriz associada ao sistema é 2
2
3 −1 3 . Vamos encontrar a matriz
1
2x+2y+2z =1 2 2
equivalente LRFE. :
36
Fabiano Rodrigues de Souza
−1
1 1 1 4L →L −2L1 1 1 4 L3→ L31 1 1 4 L→L−L 1 0 4 9
2 2 1 7 1 1 2
2 3 −1 3 → 0 1 −3 −5 → 0 1 −3 −5 → 0 1 −3 −5
2 2 2 1L3→L3−2L10 0 0 −7 0 0 0 1 0 0 0 1
L1→L1−9L3
1 0 4 0
→ 0 1 −3 0
L2→L2+5L3
0 0 0 1
Discussão de um sistema
Vimos pelos exemplos anteriores que podemos ter várias situações para um sistema linear.
Vejamos o que acontece a um sistema de uma equação a uma incógnita: ax = b
b
1o ) Se a 0, temos que x = a
2o ) Se a = b = 0, temos que qualquer número real é solução da equação.
3o ) Se a = 0 e b 0, ficamos com 0.x = b e a equação não tem solução.
No caso em que temos um sistema com duas equações e duas incógnitas, temos uma interpretação
geométrica bastante simples das situações colocadas anteriormente.
ax+by=c (1)
1 +by
ax 1 =c1 (2)
As equações ( 1 ) e ( 2 ) podem ser interpretadas como duas retas no plano e temos as seguintes
interpretações geométricas:
37
Aplicações de Cadeias de Markov
1o ) Solução Única
Retas se interceptam num único ponto
2o ) Infinitas Soluções
Retas coincidentes
Observação: Interpretação análoga pode ser dada a um sistema de 3 equações e três incógnitas. Neste
caso cada equação representa um plano no espaço.
i) Uma única solução e neste caso dizemos que o sistema é possível ( compatível, consistente ) e
determinado.
ii) Infinitas soluções e neste caso dizemos que ele é possível e indeterminado.
iii) Nenhuma solução e neste caso dizemos que o sistema é impossível (incompatível,
inconsistente)
38
Fabiano Rodrigues de Souza
Existe um número associado a uma matriz, através do qual podemos identificar em qual das três
situações anteriores se enquadra um sistema, bastando para isto analisar as matrizes LRFE equivalentes
às matrizes dos coeficientes e a matriz ampliada associadas ao sistema.
Definição: Dada uma matriz Amxn , seja Bmxn tal que, A ~ B e B é linha reduzida à forma escada. O
posto de A, que denotaremos por p ( ou p(A) ) é o número de linhas não nulas de B.
Exemplos:
0 0 2 1 2 0
1) A = 1 2 1 ~ 0 0 1 = B . Temos assim que p(A) = 2
2 4 2 0 0 0
1 1 1 1 1 0 0 0
2) A = 1 −1 2 2 ~ 0 1 0 0 = B. Temos que p(A) = 3
1 6 3 3 0 0 1 1
Observação: O posto p de uma matriz é sempre menor ou igual a n, isto é, p n De fato, isto
significa que o número de linhas não nulas de uma matriz LRFE não pode ser maior que o número de
colunas da matriz, senão ela deixa de ter a forma LRFE.
Consideremos as matrizes LRFE equivalentes às matrizes ampliadas dos 3 últimos sistemas resolvidos
anteriormente.
Vamos indicar por pc – posto da matriz dos coeficientes e
pa – o posto da matriz ampliada.
1 0 3 − 8 1 0 0 4
1) 2 − 4 0 − 4 ~ 0 1 0 3 = B
3 − 2 −5 26 0 0 1 − 4
A matriz B acima é a matriz ampliada LRFE de um sistema com m equações ( m = 3) e n incógnitas
( n = 3)
pc = 3 = pa = 3 Sistema possível e determinado
39
Aplicações de Cadeias de Markov
1 −1 2 −1 0 1 0 2 0 0
2) 2 1 4 0 0 ~ 0 1 0 0 0=B
1 −1 2 − 4 0 0 0 0 1 0
A matriz B acima é a matriz ampliada LRFE de um sistema com m equações ( m = 3) e n incógnitas
( n = 4)
pc = 3 = pa < n = 4 Sistema possível e indeterminado.
1 1 1 4 1 0 4 0
3) 2 3 −1 3~ 0 1 − 3 0=B
2 2 2 1 0 0 0 1
A situação ilustrada nos exemplos acima vale geralmente e está enunciada a seguir:
Exercício: Supondo que as matrizes a seguir são as matrizes ampliadas de sistemas de equações,
analise se os sistemas correspondentes são possíveis e determinados, possíveis e indeterminados ou
impossíveis.
1 0 0 0 1
2 4 4 4
0 0 1 2 3 1 0 1 1 2 4 4 4
0 1 0 2
1) 0 0 0 0 1 2) 0 3) 0 1 0 1 4) 0 1 0 1
1 1 1 0
0 0 0 0 0
0
0 0 2 0
0 1 0
0 2 2 2
1 0 0 1
40
Fabiano Rodrigues de Souza
Até agora resolvemos e discutimos sistemas através da matriz na forma LRFE , linha
equivalente à matriz ampliada do sistema. Podemos resolver e discutir sistemas usando o método de
Gauss, que consiste em escalonar a matriz até a forma escalonada ( eliminação gaussiana ) sem precisar
ir até a forma escalonada reduzida por linhas ( Gauss-Jordan)
1 1 2 1
Consideremos a matriz ampliada de um sistema linha equivalente à seguinte matriz 0 1 −1 3(
0 0 1 2
x+y+2z=1
I) que corresponde ao sistema y−z=3
z=2
Substituindo o valor de z = 2 na 2a equação obtemos y = 5 e substituindo os valores z = 2 e y = 5 na 1a
equação obtemos x = 8.
A matriz ( I ) não está na forma LRFE mas a partir dela obtemos, por substituição, a solução do
sistema.
Para resolver o sistema por este método, escalonamos a matriz ampliada e obtemos a solução do
sistema ( caso exista ) por eliminações sucessivas das incógnitas
Exemplo:
x+y−z=1 1
1 1 −1 1L →L −L1 1 −1 1L3→L31 1 −1 1
3 3 1 2
y−3z=7 0 1 −3 7 → 0 1 −3 7 → 0 1 −3 7 que está na forma
x+y+z=2 1 1 1 2 0 0 2 1 0 0 1 1/2
escalonada por Gauss
1
A última linha da matriz corresponde a z = 2
1 17
A 2a linha corresponde à equação y − 3 z = 7 . Substituindo z = 2 , obtemos y = 2
Substituindo os valores encontrados para z e y na primeira equação x + y − z = 1 , obtemos
x=7
41
Aplicações de Cadeias de Markov
4. Definimos o posto de uma matriz através da matriz linha equivalente LRFE. No entanto, o número
de linhas não nulas de uma matriz LRFE é o mesmo que o de uma matriz escalonada por Gauss.
Assim, se queremos apenas discutir um sistema não precisamos escalonar a matriz até a forma
LRFE. Basta colocá-la na forma escalonada.
5. Se o interesse é a resolução completa do sistema é mais conveniente fazer o processo completo, ou
seja, colocar a matriz ampliada na forma LRFE. Este método é melhor se resolvemos manualmente
sistemas pequenos
6. Para sistemas grandes foi mostrado que o método de Gauss-Jordan requer cerca de 50% mais
operações que a eliminação gaussiana. Do ponto de vista computacional é mais interessante
portanto a eliminação gaussiana.
1. Todo sistema linear homogêneo é consistente pois tem x1 = 0; x2 = 0; x3 = 0 ..., ou seja, a n-upla
(0,0,0,...,0) como solução: Esta solução é chamada de solução trivial ou solução nula. Se há
outras soluções estas são chamadas de não-triviais. .
2. Como um sistema linear homogêneo tem sempre a solução trivial, só existem duas
possibilidades para suas soluções:
• O sistema tem somente a solução trivial
• O sistema tem infinitas soluções além da trivial
3. Um sistema homogêneo de equações lineares com mais incógnitas que equações tem infinitas
soluções
Exercícios basicos:
y−x−k =0
x+2y+3z =2
x−3y−2z =7
x+2y−3z =1
2) Determine o valor de c para que o sistema 3x−y+2z =2 seja possível
x+8z−5y=c
42
Fabiano Rodrigues de Souza
x+y+z =−1
3) Dado o sistema S = x+3y+az=−3, determine:
x+ay+3z =2
b) Os valores de a para que S seja possível e determinado
c) Os valores de a para que S seja possível e indeterminado.
d) Os valores de a para que S seja impossível
43
Aplicações de Cadeias de Markov
CAPÍTULO II
CADEIAS DE MARKOV
Desenvolvimento
Motivação:
Muitos dos fenômenos que ocorrem na natureza podem ser estudados como processos que
sofrem mudanças, tais que, num certo instante ocupam um dentre um número finito de estados. Por
exemplo:
Definição (Matriz de Transição): Denotamos por 1, 2, ..., K os K estados possíveis de uma cadeia de
Markov. A probabilidade de o processo estar no estado i em qualquer observação se observa
imediatamente anterior estava no estado j, é denotada por, Pij,
i é chamada de probabilidade de transição do estado i ao estado j.
A matriz, P=[Pij], é chamada a matriz de transição da cadeia de Markov.
Observação: As entradas da matriz, Pij, do processo de Markov são não-negativos e a soma de cada
uma de suas colunas é igual a 1. Pois; quando o processo está no estado j em uma observação, então,
ele tem que estar em um dos n estados possíveis, na próxima observação e a matriz não
necessariamente precisa ser quadrada e as entradas são os números da matriz;
P1j+P2j+...+Pkj=1
Aplicação 1:
Suponha que o tempo determinado da cidade de Campos Belos é chuvoso ou seco. Com o
resultado do grande número de registros existentes no Instituto de Meteorologia, determina-se que:
A probabilidade de se ter um dia chuvoso logo após um dia seco é de 20%,
44
Fabiano Rodrigues de Souza
P11=0,8: a probabilidade de passar de um dia seco para outro dia seco é de 0,8 ou 80%.
P12=0,3: a probabilidade de passar de um dia seco para outro dia chuvoso é de 0,3 ou 30%.
P21=0,2: a probabilidade de passar de um dia chuvoso para outro dia seco é de 0,2 ou 20%.
P22=0,7: a probabilidade de passar de um dia chuvoso para outro dia chuvoso é de 0,7 ou 70%.
Teorema 1: Se P=[Pij] é a matriz de transição de uma cadeia de Markov e x(n) é o vetor estado na n-
ésima observação, então: x(n+1)=P.x(n)
Não iremos provar este teorema, pois envolve idéias da teoria de probabilidades e não será dada aqui. (
Kemeny J. Snell J. [3] )
Observação:
Do teorema acima temos que:
x(1)=P.x(0)
x(2)=P.x(1)=P.Px(0)=P2x(0)
M
x(n)=P.x(n-1)=...=Pn.x(0)
Então: x(n)=Pn.x(0)
isto é, conhecendo o vetor do estado inicial x(0) e a matriz das transições P, obtemos o vetor do estado
n, x(n), multiplicando Pn por x(0).
A matriz Pn=P...P, representa a matriz das probabilidades de transição da cadeia em n passos.
Um indivíduo herda os genes ao acaso, um deles de seu pai e o outro de sua mãe. Assim, nos
vários tipos de cruzamento, temos probabilidades distintas de transmissão de herança genética, como
mostra a tabela abaixo. Para isto denotamos por
d=GG, h=Gg e r=gg.
45
Aplicações de Cadeias de Markov
Além disso, numa população numerosa composta por uma porcentagem Pd(1) de indivíduos de
características dominantes, Ph(1) de indivíduos híbridos e Pr(1) de indivíduos de características
recessivas, a probabilidade de cruzamento de genes de um indivíduo dominante com outro dominante é
Pd(1).Pd(1).
Se quizermos calcular a probabilidade de um cruzamento onde um dos indivíduos é dominante e
o outro é híbrido, temos que somar Pd(1).Ph(1) considerando que o primeiro é dominante e o segundo é
híbrido a Pd(1).Pd(1). Assim, a probabilidade é de 2 Pd(1).Pd(1). Os outros casos seguem o mesmo
raciocínio e temos então:
Cruzamento Probabilidade
dxd Pd(1).Pd(1)
rxr Pr(1).Pr(1)
dxr 2Pd(1).Pr(1)
dxh 2Pd(1).Ph(1)
rxh 2Pr(1).Ph(1)
hxh Ph(1).Ph(1)
Comportamento Limite
Nos dois exemplos anteriores nos vimos que os vetores-estado convergem a um vetor fixo à
medida que o número de observações cresce.
Agora nós nos perguntamos se os vetores-estado sempre convergem a um vetor fixo em uma
cadeia de Markov. Um exemplo simples mostra que isto não é o caso, é o seguinte:
1 0 1
P= x(0) =
1
e
0 0
então, como P2=I e P3=P, nós temos:
1
x(0)=x(2)=x(4)=...=
0
46
Fabiano Rodrigues de Souza
0
x(1)=x(3)=x(5)=...=
1
1 0
Este sistema oscila indefinidamente entre os dois vetores-estado 0 e 1 , e portanto o vetor
estado não converge a nenhum vetor fixo.
Definição (Matriz Regular - Terry L.[6]): Uma matriz de transição é regular se uma potência
positiva da matriz tem todas as entradas positivas.
Assim, para a matriz de transição regular P, existe um número inteiro m tal que todas as
entradas de Pm são positivas.
q1 q1 K q1 q1
q q
q 2 K q2
P → 2
n
e q = 2 ,
M M M M
qk
qk qk q k
então Q é uma matriz de transição com todas colunas iguais ao vetor de probabilidade q. Esta matriz Q
têm a seguinte probabilidade:
Se x é qualquer vetor de probabilidade, então:
Isto mostra que Q transforma qualquer vetor de probabilidade x num vetor de probabilidade q
fixo. Este resultado leva o teorema sequinte.
47
Aplicações de Cadeias de Markov
q1
q
P n
x → 2 = q
M
1
q k
q1
q
=(x1 + x2 +...+ xk ) 2 =(1).q = q
M
qk
Qx= q
quando n→∞, e q é um vetor de probabilidade fixo, independente de n, cujas entradas são todas
positivas.
Prova
Este resultado vale pois, o teorema 2 implica que P → Q quando
n
n → ∞ , de modo que
P n x → Qx = q quando n→∞ .
Assim, para uma cadeia de Markov regular, o sistema sempre acaba convergindo para um vetor-
estado q fixo.
Neste caso, o vetor q é chamado vetor de estado estacionário da cadeia de Markov regular.
e quando n → ∞ ,
P .q = q
48
Fabiano Rodrigues de Souza
Aplicação 3:
Considere a matriz da aplicação 1 e determine se existe vetor estacionário para a cadeia.
Solução:
0,80,3
P=
0,20,7
observando que P é regular, temos que o sistema linear (I-P)q=0 é
0,2 - 0,3 q 0
1
- 0,2 0,3 2 = 0
q
Isto leva à única equação independente
0,2q1 – 0,3q2=0
ou
q1=1,5 q2
1,5
q = S
1
S= 1
onde S é uma constante arbitrária. Como 1,5S + S = 1, temos que
(1,5 +1) então
consequentemente,
0,6
q = ,
0,4
O que significa que ao longo do tempo, com probabilidade de 60% o tempo na cidade de Campos
Belos será seco e com 40% será chuvoso.
49
Aplicações de Cadeias de Markov
Conclusão
Acredito que o objetivo principal deste livro de definir, estudar e aplicar as cadeias de Markov
foi alcançado. Além disso serviu para aprofundar meus conhecimentos de álgebra linear e da teoria
básica da probabilidade.
É importante ressaltar que este trabalho apesar de ser elementar é de suma importância para
probabilísticos e estatísticos que buscam resultados futuros através de pesquisas feitas em sistema da
natureza.
50
Fabiano Rodrigues de Souza
BIBLIOGRAFIA
51
Aplicações de Cadeias de Markov
52