Universidade de Pernambuco

Escola Politécnica de Pernambuco

Teoria da Informação
Revisão – Processos de Markov
Prof. Márcio Lima
E-mail
mail:marcio.lima@upe.poli.br
:marcio.lima@upe.poli.br

08.09.2009
Revisão – Processos de Markov
Introdução
Andrei Andreyevich Markov (1856, 1922†) – Matemático Russo

• Métodos de frações contínuas em Teoria das Probabilidades

• Teorema do Limite Central – Processos de Markov

De uma maneira ggeral,, as Variáveis Aleatórias obtidas a p

partir de um p
processo
estocástico não são independentes e, de fato, podem ser estatisticamente
dependentes de maneiras muito complexas.

Processos de Markov: Classe de processos aleatórios que possui uma forma

simples de dependência e que é bastante útil na modelagem de problemas
práticos.
Definição:
A probabilidade de qualquer comportamento particular futuro do processo,
quando seu estado p
q presente é conhecido exatamente, não é alterada p por
conhecimentos adicionais que diz respeito ao seu comportamento passado.
Teoria da Informação – Prof. Márcio Lima 2
Revisão – Processos de Markov
Introdução
Em outras palavras, um processo de Markov é um processo com a propriedade
de que, dado o valor Xt, os valores de Xs, s > t, não dependem dos valores de Xu,
u < t.
t

Matematicamente, um processo é dito ser de Markov se

P ( X (t n ) = x n X (t1 ) = x1 , X (t 2 ) = x 2 , L , X (t n −1 ) = x n −1 )
= P ( X (t n ) = x n X (t n −1 ) = x n −1 ),

sempre que t1 < t 2 < L < t n −1 < t n . Para simplificar a nootação, pode-se defi-
nir
X (t n ) = X n = x n

Em outras palavras,
palavras um processo aleatório é um processo de Markov se dado o
“presente”. O “futuro” do processo independe do “passado”.
Teoria da Informação – Prof. Márcio Lima 3
Revisão – Processos de Markov
Introdução
Classificação:

• Tempo (parâmetro)
ƒ Processo de tempo discreto
X (t ), t = 0 ,1, 2 , K
ƒ Processo de tempo contínuo
X (t ), t ≥ 0
• Espaço de estados (Conjunto dos Possível Valores do Processo)
ƒ Processos com Estados Discretos (Cadeia de Markov)

ƒProcessos com Estados Contínuos

Teoria da Informação – Prof. Márcio Lima 4

Revisão – Processos de Markov
Cadeias de Markov de Tempo Discreto
Definição: Uma cadeia de Markov discreta no tempo {Xn} é um processo de
Markov cujo espaço de estado é um conjunto finito enumerável e para o qual t =
{0 1,
{0, 1 2,
2 ...}.
}
VA ' s discretas X 0 , X 1 , X 2 , K , X n , K ;
Espaço de Estados : Finito ou Infito Numerável ;
P ( X n = x n X 1 = x1 , L , X n −1 = x n −1 ) = P ( X n = x n X n −1 = x n −1 ),

Probabilidade de Transição: As probabilidades condicionais

P j , k (m , n ) = P ( X n = k X m = j ),
Forma simplificada

P j , k (m , n ) = P j , k ,
são as chamadas probabilidades de transição de estado, ou simplesmente
probabilidade de transição. Ou seja, é a probabilidade do sistema estar no
estado k no instante de tempo n dado que no instante m esteve no estado j.

Teoria da Informação – Prof. Márcio Lima 5

Revisão – Processos de Markov
Cadeias de Markov de Tempo Discreto
Agumas Definições:

• Probabilidade de Transição a um passo (Pj,k

j k(1))

P j , k (1) = P ( X t +1 = k X t = j ) = P ( X n +1 = k X n = j ),

• Probabilidade do Sistema estar no Estado j no instante n (Pj(n))

P j (n ) = P ( X n = j ),

Teoria da Informação – Prof. Márcio Lima 6

Revisão – Processos de Markov
Cadeias de Markov de Tempo Discreto
Representação Diagramática
É comum e prático, em muitas situações, representar um cadeia de Markov por
um diagrama,
diagrama na forma de um grafo.
grafo Formalmete,
Formalmete um grado é um par (V,
(V VxV),
VxV)
em que V é um conjunto de vértices (nós) e VxV é um conjunto de arcos
conectando os vértices.

Cadeia de Markov com Dois Estados

O exemplo mais simples de cadeia de Markov de interesse é o de dois estados.

P0 ,1

P0 , 0 0 1 P1,1
P1, 0

Teoria da Informação – Prof. Márcio Lima 7

Revisão – Variáveis Aleatórias
Matriz de Probabilidade de Transição
As cadeias de Markov podem ser represemtadas por uma matriz de
probabilidade de transisão em um passo ou pelo diagrama de transição
correspondente Os elementos da matriz de probabilidade de transição devem
correspondente.
satisfazer a condição
∞
Pj ,k ≥ 0 e ∑P
k =0
j ,k = 1, j = 0 ,1, 2 ,3, K

A matriz de probabilidade de transição, também conhecida como matriz de

Markov é definida por:
⎡ P0 , 0 P0 ,1 P0 ,1 P0 , 3 L⎤
⎢P P1,1 P1, 2 P1, 3 L ⎥⎥
⎢ 1, 0
P = ⎢ P2 , 0 P2 ,1 P2 , 2 P2 , 3 L⎥
⎢ ⎥
⎢ M M M M L⎥
⎢ Pi , 0 Pi ,1 Pi , 2 Pi , 3 L ⎥⎦
⎣
Teoria da Informação – Prof. Márcio Lima 8
Revisão – Variáveis Aleatórias
Matriz de Probabilidade de Transição
Exemplo: Considere uma linha de montagem de uma fábrica que contém
máquinas de encher garrafas de refrigerante. Uma máquina está encarregada
de encher as garrafas ao longo do dia.
dia Se estiver funcionando em perfeitos
condições, a máquina poderá, no dia seguinte, funcionar com defeito com
probabilidade de 0,09, ou pode passar a uma situação de avaria total, com
probabilidade de 0,01,
p , , o q que implica
p a p parada da p produção.
ç Se estiver
trabalhando com defeito, a máquina pode manter-se nesta situação, dia após
dia, com probabilidade de 0,55 ou passar à situação de avaria total com
probabilidade de 0,45, situação
p ç q que é definitiva até se p
proceder algum
g reparo
p
ou substituição.

Espaço de Estados {1, 2, 3} – Xn V.A. discreta.

P0 ,1 = 0 , 09 ; P0 , 2 = 0 , 01
C
Conjunto de índices de dias também é discreto, 1, 2, 3, ...., n,....
• 0 – Máquina em perfeitas consdições; P1,1 = 0 ,55 ; P1, 2 = 0 , 45
• 1 – Máquina operando com deifeito; P2 , 2 = 1
• 2 – Máquina com avaria total.
total

Teoria da Informação – Prof. Márcio Lima 9

Revisão – Variáveis Aleatórias
Matriz de Probabilidade de Transição
Exemplo:
P0 ,1 = 0 , 09 ; P0 , 2 = 0 , 01
P1,1 = 0 ,55 ; P1, 2 = 0 , 45
P2 , 2 = 1 ⎡ 0 ,9 0 , 09 0 , 01 ⎤
P = ⎢⎢ 0 0 ,55 0 , 45 ⎥⎥
P1 ,1 = 0 ,55 P0 ,1 = 0 , 09 P0 , 0 = 0 ,9
⎢⎣ 0 0 1 ⎥⎦
1 0

P0 , 2 = 0 , 01
P1, 2 = 0 , 45 2

P2 , 2 = 1

Teoria da Informação – Prof. Márcio Lima 10

Revisão – Variáveis Aleatórias
Equações de Chapman0Kolmogorov
A evolução de uma Cadeia de Markov é um processo aleatório e não pode
afirmar exatamente qual sequência de estados irá ocorrer após o estado inicial.
Entretanto muitas aplicações é desejável ou necessário prever os estados
Entretanto,
futuros dado o estado atual. Para tal, cosidere:

Sejam
j as p
probabilidades de transição
ç de n p
passo de uma cadeia de Markov

P j , k (n ) = P ( X n + t = k X t = j ),
Diz exatamente a probabilidade de ir do estado k ao estado j em n passos.

tem-se

P j , k (n ) = ∑ P (u )P (n − u ),
j ,i i ,k
i∈E

A probabilidade de sistema sair do estado j para o estado k em n passos é igual à

soma de todas as probabilidades (caminho possível) do sistema chegar a uma
estado i qualquer em u passos e nos passos restantes (n – u), sair de i para k.
Teoria da Informação – Prof. Márcio Lima 11
Revisão – Variáveis Aleatórias
Equações de Chapman0Kolmogorov
Matricialmente

P (n ) = P (u ) ⋅ P (n − u ),
Um caso particular, de u = 1, tem-se

P (n ) = P (1) ⋅ P (n − 1) = P ⋅ P (n − 1),

Realizando mais um p
passo, tem-se

P (n ) = P ⋅ P ⋅ P (n − 2 ) = P 2 ⋅ P (n − 2 ),

Logo
P (n ) = P n = P n- 1 ⋅ P = P ⋅ P n- 1 ,

Teoria da Informação – Prof. Márcio Lima 12

Revisão – Variáveis Aleatórias
Equações de Chapman0Kolmogorov
Voltando ao exemlpo, Quais seriam as probabilidades de transição ao fim de 2
dias.
2 Passos:

⎡ 0 ,9 0 , 09 0 , 01 ⎤ ⎡ 0 ,9 0 , 09 0 , 01 ⎤ ⎡ 0 ,81 0 ,1305 0 , 0595 ⎤

P (2 ) = ⎢⎢ 0 0 ,55 0 , 45 ⎥⎥ ⎢⎢ 0 0 ,55 0 , 45 ⎥⎥ = ⎢⎢ 0 0 ,3025 0 , 6975 ⎥⎥
⎢⎣ 0 0 1 ⎦⎥ ⎢⎣ 0 0 1 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦

Ao fim de 4 dias Ao fim de 30 dias:

⎡ 0 , 6561 0 ,1452 0 ,1987 ⎤ ⎡ 0 , 042 0 , 011 0 ,947 ⎤
P (4 ) = ⎢⎢ 0 0 , 0915 0 ,9085 ⎥⎥ P (30 ) = ⎢⎢ 0 1, 62 × 10 − 8 1 ⎥⎥
⎢⎣ 0 0 1 ⎥⎦ ⎢⎣ 0 0 1 ⎥⎦

Teoria da Informação – Prof. Márcio Lima 13