Aula 4 - Cadeia de Markov A Tempo Discreto e Contnuo - Verso VideoAula

Avaliação de Desempenho
Cadeia de Markov a Tempo Discreto
Prof. Roberto P. do Nascimento

Roberto.nascimento@ufopa.edu.br
Introdução
Processo estocástico
É uma coleção de variáveis aleatórias que, em geral, são utilizadas para

estudar a evolução de fenômenos (ou sistemas) que são observados ao
longo do tempo.
É uma coleção de variáveis aleatórias indexadas (Xt), onde t é um

índice, geralmente o tempo. Assim, um processo estocástico é a
descrição de um fenômeno aleatório que varia com o tempo t.
Introdução
Processo estocástico
Considere um sistema que evolui aleatoriamente no
tempo;
Suponha que o sistema é observado nos instantes de
tempo n=0,1,2,...
Seja X(n) o estado do sistema no tempo “n”
A sequência de variáveis aleatórias {X(0),X(1),X(2),...}
é chamada de processo estocásticos a tempo discreto
Escrita como:
{X(n),n≥0} {X(n),n=0,1,2,3,...}
Introdução
la r
de
Processo estocástico Mo
Ex.: X é uma variável aleatória discreta (pois possui um número finito

de estados - 0, 1 ou 2) e representa a condição de uma máquina na
ocasião de uma manutenção preventiva, a qual é realizada
mensalmente. O mês é representado pela letra t (t = 1 representa o
mês 1, t = 2 representa o mês 2 e etc). Logo, a cada mês t, a
condição da máquina pode ser ruim (Xt = 0), razoável (Xt = 1), e boa
(Xt = 2). Além disso, temos que X1 é uma variável aleatória que
expressa a condição da máquina no mês 1, X2 é uma variável
aleatória que expressa a condição da máquina no mês 2 e assim por
diante. Portanto, cada mês possui uma variável aleatória: X1, X2, X3...
(que é o mesmo que escrever na forma: Xt para t = 1, 2, 3,...), a qual
definimos como processo estocástico. Ou seja, temos um processo
estocástico quando a nossa variável aleatória puder assumir valores
diferentes em cada instante de tempo (que nesse caso é o mês).
Introdução
Processo estocástico 0, se a condição foi ruim
{ }
X t = 1, se a condição for razoável , t=1, 2. ..
2, se a condição for boa
Ex.: X é uma variável aleatória discreta (pois possui um número finito de

estados - 0, 1 ou 2) e representa a condição de uma máquina na ocasião
de uma manutenção preventiva, a qual é realizada mensalmente. O mês
é representado pela letra t (t = 1 representa o mês 1, t = 2 representa o
mês 2 e etc). Logo, a cada mês t, a condição da máquina pode ser ruim
(Xt = 0), razoável (Xt = 1), e boa (Xt = 2). Além disso, temos que X1 é uma
variável aleatória que expressa a condição da máquina no mês 1, X2 é
uma variável aleatória que expressa a condição da máquina no mês 2 e
assim por diante. Portanto, cada mês possui uma variável aleatória: X1,
X2, X3... (que é o mesmo que escrever na forma: Xt para t = 1, 2, 3,...), a
qual definimos como processo estocástico. Ou seja, temos um processo
estocástico quando a nossa variável aleatória puder assumir valores
diferentes em cada instante de tempo (que nesse caso é o mês).
Cadeia de Markov
Considere o processo estocástico {X(n),n≥0}
Suponha que no tempo n=10 se tenha observado
X(0),X(1),...,X(10)
Questionamento: Pode-se prever probabilisticamente o
estado do sistema no tempo n=11?
Em geral, X(11) pode depender de toda sua história
pregressa (X(0),X(1),...,X(10))
Porém, dada a história completa do processo
(X(0),X(1),...,X(10)) se a predição de X(11) depender
somente de X(10) então se tem a propriedade de
Markov ou da ausência de memória!
Cadeia de Markov
Definição
O processo estocástico {X(n), n=0,1,2,3,...} é uma
cadeia de Markov se, para todo i0 , i1 , i2 , ... ,i n−1 , i , j ∈S
P {X (n+1)= j∣X (0)=i0 , X (1)=i1 ,... X (n)=i}

=P {X (n+1)= j∣X (n)=i}
Cadeia de Markov
Interpretação
A cadeia de Markov é uma sequência de variáveis
aleatórias tal que, para qualquer “n”, X(n+1) é
condicionalmente independente de X(0),
X(1),...,X(n-1) dado X(n).
Cadeia de Markov
Homogeneidade no tempo
É quando as probabilidades de transição dos
estados são constantes em relação ao tempo
(Probabilidades de Transição Estacionárias).
Seja:
P {X (n+1)= j∣X (n)=i}=P {X (1)= j∣X (0)=i}= p ij
É definido como probabilidade de transição de um

passo
Cadeia de Markov
Homogeneidade no tempo
As probabilidades de transição não dependem do
passo “n”;
Para uma CMTD a probabilidade de transição
depende apenas dos estados, i.e., de i e j;
Mecanismo de transição estacionário
Assim,
P ij =P {X (n+1)= j∣X (n)=i}

Cadeia de Markov
Matriz probabilidade de transição
A matriz cujas entradas são as probabilidades de
transição de um passo é denominada de matriz de
transição do processo.
p 00 p 01 .
[
P=[ P ij ]= p10
.
p 11
.
.
p NN ]
Cadeia de Markov
Linhas correspondem aos estados iniciais, X(n) e
as colunas aos estados finais, X(n+1).
P00 =P {X (n+1)=0/ X (n)=0}=0
X(n+1) P01=P {X (n+1)=1/ X (n)=0}=0.3
P02=P {X (n+1)=2/ X (n)=0}=0.7
P10=P {X (n+1)=0/ X (n)=1}=0.9
0 1 2
P11=P {X (n+1)=1/ X (n)=1}=0.1
0 .3 .7
[ ]
0 P12=P {X (n+1)=2/ X (n)=1}=0
X(n) 1 .9 .1 0 P20=P {X (n+1)=0/ X (n)=2}=0.4
P21=P {X (n+1)=1/ X (n)=2}=0.3
2 .4 .3 .3
P22=P {X (n+1)=2/ X (n)=2}=0.3
Cadeia de Markov
É estocástica, i.e,
∞
P ij ⩾0, ∑ p ij=1 ∀ i , j ∈S
j=0
Cadeia de Markov
Pode ser representada graficamente por um Diagrama
de Transição de Estados ou diagrama de transição
Usado para visualizar a dinâmica da CMTD
Composto por:
Nó → representada um estado.
Arco → representa uma transição entre estados.
p >0, então há um arco

Se
{ ij
sem arco, caso contrário
Cadeia de Markov
.5
.3 .9
.2 .3 .5 .2 .45
[
P= .1 0 .9
.55 .0 .45 ] 1
.1
2 3
.55
Cadeia de Markov
Questões
Se a CMTD está no estado 3 no tempo 17, qual é a
probabilidade dela ir para o estado 1 no tempo 18?
Resp.: p31 = 0.55
Se a CMTD está no estado 2 no tempo 9, qual é a
probabilidade dela ir para o estado 3 no tempo 10?
Resp.: p23 = 0.9 .5
.3 .9 .45
.2
1 2 3
.1
.55
Cadeia de Markov
Comportamento probabilístico da cadeia de
Markov
É completamente descrito pela probabilidade inicial e
pelas probabilidades de transição
Seja {Xn, n≥0} uma CMTD homogênea no tempo e
espaço de estado S = {1,2,…,N}, com matriz de
probabilidade de transição P e distribuição inicial
π={π1,π2,…,πN}, onde:
π i=P { X 0 =i }, 1⩽i⩽N
Cadeia de Markov
Markov
Como temos interesse na distribuição transiente, ou
seja, em P{Xn = j} ∀ j∈S, n≥0, temos:
N
P { X n = j }=∑ P {X n = j∣X 0=i }P {X 0 =i }
i=1
N
P { X n = j }=∑ πi P {X n= j∣X 0 =i }
i=1
P{X0=i} é a probabilidade inicial;

πi = [π1, π2,…,πn ] é a distribuição de probabilidade.
Cadeia de Markov
Markov
A distribuição inicial de uma cadeia é
Onde simplesmente a função de probabilidade
do seu estado inicial X(0).
πi (0)=P {X 0 =i}⩾0 ∀ i⩾0

∞
∑ πi (0)=1
i
Cadeia de Markov
Probabilidade de transição de n-passos
Seja
n
π =P { X n= j }
j
n
p =P {X n = j∣X 0=i }
ij
Define-se
1
0 se i≠ j p =P {X 1= j∣X 0 =i }= pij
0
p=
ij
1 { se i= j
ij
Cadeia de Markov
Equação de Chapman-komolgorov
Possíveis Estados
∞ . .
n
p =∑ p p
ij
m
ik
n−m
kj i . k
. j
k=1 . .
0 m n
Linha do Tempo
Cadeia de Markov
Equação de Chapman-komolgorov
Ex.: pij2=p{x2=j|x0=i} é a probabilidade de estar no
estado j após o segundo passo, dado que o
processo estava no estado i, inicialmente. O
interesse está em se determinar essas
probabilidades a partir das probabilidades de
transição pij de 1 passo que são conhecidas. Para
esse fim, considere o trajeto que o processo pode n
∞
m n−m
percorrer para ir do estado i ao estado j em 2 p = ∑ pik p kj
ij
passos. Suponha que k seja o estado k=1
∞
2 1 2−1
(possivelmente j) que o processo alcança no 1º pij = ∑ pik p kj
passo. Então, para esse trajeto, a probabilidade de ir k=1
do estado i p/ k e de k p/ j, em exatamente 2 passos,
é: passo
pik p kj=P {X 1 =k∣X 0 =i }P {X 2= j∣X 1=k } 1º passo k 2º j
i
pik p kj=P {X 2= j ; X 1 =k∣X 0 =i }
Cadeia de Markov
Na forma matricial
n n m n−m
P =[ P ]=P P
ij
n (1)
(n−1) 1 n−1 2 n−2 n
P =P P =P P =P P =…=P
n m n−m
P =P P
A matriz probabilidade de transição de n-passos pode

ser calculada através da n-ésima potência da matriz
de transição.
Cadeia de Markov
Probabilidades de estado do n-ésimo passo
Sejam:
π(n) a distribuição de probabilidade de n-passos;
πj(n) a j-ésima componente do vetor distribuição.
Então,
(n)
π =P {X (n)= j}
j
∞
(n)
π =∑ P {X (n)= j∣X (0)=i}P {X (0)=i}
j
i=0
Cadeia de Markov
0 ... n passo
i1 (n)
π = P {X (n)= j∣X (0)=i 1 }P {X (0)=i1 }+
j
P{X(0)=i1} P {X (n)= j∣X (0)=i 2 }P {X (0)=i 2 }+

P {X (n)= j∣X (0)=i 3 }P {X (0)=i 3 }+
i2 j
P{X(0)=i2}
P{X(n)=j}
i3
P{X(0)=i3}
Cadeia de Markov
Logo,
∞
(n) n
π =∑ π i (0) p
j ij ∀ j=0,1,2,. ..
i=0
∞
(n)
∑π j =1
j=0
Na forma matricial,
n
π (n)=π(0) P
Cadeia de Markov
Exemplo
Seja a CMTD abaixo. Compute π(3), para uma
distribuição de probabilidade inicial de [0.2 0.3 0.5].
.2 .3 .5
[
P= .1 0 .9
.55 .0 .45 ]
Cadeia de Markov
Solução
3
π(3)=π(0) P
3
.2 .3 .5
[
π(3)=[0.2 0.3 0.5] .1 0 .9
.55 0 .45
π(3)=[0.3626 0.1207 0.5167]
]
Cadeia de Markov
Classificação de estados
Seja {X(n), n=0,1,2,...} uma cadeia de Markov;
Se existe um inteiro n≥0 tal que pnij>0, então o
estado j pode ser alcançado a partir do estado i,
ou j é acessível a partir de i, ou i pode atingir j.
Notação: i→j
Qualquer estado é alcançado a partir de si mesmo,
isto é, pii = 1
Cadeia de Markov
Se i→j e j→i, então existe os inteiros m≥0 e n≥0 tal
que pmij>0 e pnji>0.
Diz-se então que i e j se comunicam (i↔j)
Se i↔j e j↔k, então i↔k
Prova: Se pmij>0 e pnjk>0, então a partir da equação de
Chapman-Kolmogorov
∞
m+n m n m n
p ik =∑ p p ⩾ p p >0
il lk ij jk
l=0
Cadeia de Markov
Exemplo: Um jogador tem um R$1,00 e a cada vez
que joga ganha R$1,00 com probabilidade p>0 ou
perde R$1,00 com probabilidade 1-p. O jogo termina
quando o jogador acumula R$3,00 ou R$0,00. Este
jogo é uma Cadeia de Markov cujos estados
representam a quantia esperada de dinheiro que o
jogador possui a cada vez que joga. O espaço de
estados é E = { 0 1 2 3 } e a matriz de transição P é
dada por:
Cadeia de Markov
0 1 2 3
CMTD 0 1 0 0 0
Exemplo:
P= 1
2
3
[ 1− p
0
0
0
1− p
0
p
0
0
0
p
1
]
Nesta Cadeia de Markov, o estado 2, por exemplo,
não é alcançável a partir do estado 3. Isto pode ser
observado a partir do contexto, uma vez que se o
jogador alcançar o estado 3, este nunca deixará este
estado, o que implica que p32(n)=0 para todo n≥0.
Entretanto, o estado 3 é alcançável a partir do
estado 2, uma vez que p23(1)>0 .
Cadeia de Markov
Dois estados que se comunicam são ditos pertencer a
uma mesma classe.
O conceito de comunicação divide o espaço de estados
em uma certa quantidade de classes separadas
Um CM é chamada de irredutível se existe apenas uma
classe , i.e., todos os estados se comunicam.
Um estado j é chamado de absorvente se ele forma
consigo próprio uma classe.
Se o estado j é absorvente então pjj=1.
Cadeia de Markov
O estado i tem período d(i), se d(i) é o maior divisor
comum de n≥1 tal que pnii>0.
Se d(i)=1, o estado i é aperiódico.
Se d(i)≥2, o estado i é periódico.
Nota: se i↔j; então d(i) = d(j).
Se um dos estados de uma CMTD irredutível é
aperiódico, então todos os estados também são e
com o mesmo período e a cadeia é dita aperiódica;
caso contrário, ela é periódica com período d.
Cadeia de Markov
Seja a probabilidade da primeira passagem
É a probabilidade da cadeia começando em i
atingir o estado j pela primeira vez no tempo n
n
f =P {X (n)= j , X (r )≠ j , r=1,2,. .. , n−1∣X (0)=i}∀ i , j
ij
Define-se a probabilidade de transição eventual do

estado i para o j com
∞
n
f ij=∑ f ij
n=1
Cadeia de Markov
O estado é chamado de recorrente se: f ii =1
O estado é chamado de transiente se: f ii <1
Se i é recorrente,
Iniciando em i, o processo re-visitará o estado i
infinitamente.
Se i é transiente
Toda vez que o processo visita i, existe uma
probabilidade positiva, 1-fii, que ele nunca mais
retorne a esse estado.
Cadeia de Markov
O estado é chamado de recorrente se: f ii =1
O estado é chamado de transiente se: f ii <1
Ex.:
p00=1/2 p01=1/2 p11=3/4 p00=1/2 p01=1/2 p11=1
0 1 0 1
p10=1/4
Um estado i é recorrente se, partindo- Estados transitórios são aqueles que,

se do estado i, eventualmente retorna- partindo do estado i, há uma
se ao estado i, com probabilidade probabilidade positiva de o processo
fii=1. não retornar a esse estado (isto é,
fii<1 )
Cadeia de Markov
Condição necessária e suficiente para identificar
estados recorrentes e transientes.
Seja o estado i. ∞
n
Ele será recorrente se: ∑ p =∞ii
n=1
∞
n
Ele será transiente se: ∑ p <∞ii
n=1
Cadeia de Markov
Teorema: recorrência é uma propriedade de classe;
i.e., se o estado i é recorrente e i↔j, então j é
recorrente.
Notas:
(1) Transiência é uma propriedade de classe
Se o estado i é transiente e i↔j, então j é
transiente.
(2) Todos os estados em uma CM finita
irredutível são recorrentes.
Cadeia de Markov
Os estados recorrentes podem ser classificados
em:
∞
n
Recorrente positivo (não nulo): μ i= ∑ nf <∞
ii
n=1
∞
n
Recorrente nulo μ i=∑ nf =∞ii
n=1
μi Tempo médio de recorrência

Cadeia de Markov
Notas:
Em uma CMTD finita, todos os estados são
recorrentes positivos;
Uma CMTD irredutível, aperiódica, com todos os
estados recorrentes positivos é chamada de
ergódica.
Cadeia de Markov
Teorema:
Para um CM, todos os estados podem ser
classificados em classes recorrentes Ck,
k=1,2,..., e o restante dos estados são
transientes
Sejam C1, C2,..., as classes recorrentes e T o
conjunto de todos os estados transientes
Cadeia de Markov
Rearranjando todos os estados da CM, pode-se escrever:
C1 P1 0 … 0
P= C 2
⋮
T [ ⋮
. P2 0
⋱ ⋮
R1 R2 … Q
]
P1, P2,..., são as matrizes probabilidade de transição para as classes
recorrentes C1, C2,...
Q é uma matriz quadrada que contêm as transições entre todos estados
transientes para T;
R1, R2,... são matrizes, não necessariamente quadradas, contendo as
transições dos estados transientes para as classes recorrentes C1, C2.
Estado
Transiente Recorrente
Positivos Nulos
Periódico Aperiódico
Periódico Aperiódico
Resumo de Classificações de estados e Cadeias
Conjunto Nenhum estado, a não ser algum pertencente ao conjunto, pode ser alcançado de
Fechado qualquer estado pertencente ao conjunto.
Estado Uma vez que se entra neste estado, nunca mais o deixa.
Absorvente
Estado Uma vez que se entra neste estado, um eventual retorno é assegurado.
Recorrente
Estado O estado que pode somente ser alcançado nos passos m, 2m, 3m,..., onde m é
Periódico um inteiro > 1.
Estado Um eventual retorno ao estado não está assegurado.
Transiente
Estado Uma vez que se entrou neste estado, um retorno ao estado é assegurado dentro
Ergódico de um número finito de passos, porém o estado não é periódico e pode voltar
antes de qualquer passo n.
Cadeia Cada estado pode ser alcançado a partir de qualquer outro estado (todos os
Irredutível estados são comunicantes).
Cadeia A Cadeia contém um ou mais conjuntos fechados e o processo poderá
Absorvente eventualmente ser absorvido em um dos conjuntos fechados.
Cadeia Todos os estados são recorrentes e aperiódicos.
Ergódica
Cadeia de Markov
Probabilidade Limite
Se o estado j é recorrente e aperiódico, então
1n
lim p → μjj
n→∞ j
Se o estado j é recorrente nulo
n 1 1
lim p → μ = ∞ =0
jj
n→∞ j
Cadeia de Markov
Se o estado j é recorrente e periódico com período
d(j), então
nd( j) d ( j)
lim p jj → μ
n→ ∞ j
Se o estado j é transiente, então

n
lim p →0 jj
n→∞
Cadeia de Markov
Considere o comportamento limite de pnij com n→∞.
Considere ainda que X(0)=i.
Teorema: se o estado j é recorrente e aperiódico,
então
n f ij
p → μ , n→∞
ij j
Interpretação: a cadeia inicia no estado i, visita o
estado j com probabilidade fnij (1ª passagem) e
retornará a j infinitamente com probabilidade fnjj
Cadeia de Markov
Teorema: se uma cadeia de Markov é recorrente
positiva e aperiódica, então existe a probabilidade
limite (para um n muito grande) com as seguintes
características:
n
lim p =π ( j)>0 (i , j=0,1,. ..)
ij
n→ ∞
Que é independente do estado inicial i

É estritamente positiva
É a única solução para o sistema de equações
Cadeia de Markov
∞ ∞
π ( j)=∑ π (i) pij , ∑ π( j)=1
i=0 j=0
Na forma matricial
π=π P , Qualquer distribuição de probabilidade que

∑ π=1 satisfaça esse sistema de equações é
chamado de distribuição de probabilidade
j
estacionária (do estado de equilíbrio)
Cadeia de Markov
Para uma CMTD aperiódica, irredutível, finita, a
matriz P(n→∞) convergirá para uma matriz que tem
todas as linhas iguais, sendo cada uma idêntica ao
vetor distribuição de probabilidade estacionária.
π 0 π 1 … π max
n→∞
[
lim P = π 0 π 1 … π max
n
⋮ ⋮ ⋮ ⋮
π 0 π 1 … π max ]
Cadeia de Markov
Interpretação:
Comportamento da cadeia ao longo prazo n→∞, ou
proporção de tempo que a cadeia gasta em um estado,
a longo prazo.
No projeto de sistemas há frequentemente efeitos de

partida que são diferentes daqueles que ocorrem com o
passar do tempo. Para fins de projeto, via de regra, busca-
se os efeitos no decorrer do tempo. Estes são
representados pela distribuição limite.
Cadeia de Markov
Cadeia de Markov Finita
Teorema: Para uma CM finita
Não há estados recorrentes nulos
Nem todos os estados são transientes
Nota intuitiva:
Se um estado j é recorrente nulo e o espaço de estados é finito,
então o tempo de recorrência também é finito
Se todos os estados são transientes, então o limite para n→∞ de
n
pnij→0, o que contradiz o fato que ∑ pij =1 ∀ n
Corolário:
Em uma CM finita e irredutível, todos os estados são recorrentes
positivos
Cadeia de Markov
Comportamento limite
C1, C2,..., Cm são os conjuntos de classes recorrente positivas, T
é o conjunto de estados transientes.
C1 P1 0 . . . 0
C2
P= .
T
.
Cm [ . P2
.
0 0
0 0
R1 R2
.
0
. . Pm
. . Rm
0
0
0
Q
]
. = P 0
[ ]
R Q
Cadeia de Markov
Para os estados pertencentes ao mesmo conjunto recorrente.
n ∞ 1
lim p = p =π ( j)= μ
ij ij
n→∞ j
(i , j∈C k ; k=1,2,. .. , m)
Cadeia de Markov
– Para os estados i ∈T (transiente) e j ∈C k (k =1,2,. .. , m)
(recorrente).
n f ij
∞
lim p = p = μ
ij ij
n→∞ j
(i∈T , j ∈C k ; k=1,2,. .. , m)
Cadeia de Markov
Comportamento limite n ∞
Para os estados transientes
lim pij = pij =0
n→∞
(i , j∈T )
Para os estados i∈C k (k =1,2,... , m) (recorrente) e j ∈T
(transiente).
n ∞
lim p = p =0
ij ij
n→ ∞
(i∈C k , k=1,2,. .. , m ; j ∈T )
Cadeia de Markov
Cômpute de fij
Teorema: Para uma CM finita, a probabilidade de transição
eventual fij de um estado i ∈T para j ∈C k (k =1,2,. .. , m)
satisfaz:
f ij = ∑ p il +∑ p il p lj , (i∈T , j ∈C k )
l ∈C k l ∈T
Ir diretamente Ir para um estado transiente i∈T

para um estado - incluindo ele mesmo – e depois
recorrente ir de l para j fij
Cadeia de Markov
Cômpute de fij
Na forma matricial
[ f ij ]= R k 1+Q [ f ij ]
−1
[f ij ]=[ I −Q ] R k 1
1 é um vetor coluna em que todos os componentes são 1's.

Cadeia de Markov
Cômputo do tempo médio da primeira passagem (μij)
Número esperado de transições necessárias para
chegar ao estado j pela primeira vez partindo do
estado i
Forma prática para o cálculo
−1
[μ ij ]=[ I −N j ] 1, j≠i
Em que:
I matriz identidade (m-1);
Nj matriz de transição P menos sua j-ésima linha e coluna do estado
visado j;
1 vetor coluna (m-1) como todos os elementos iguais a 1.
Exercícios
●
Seja a CMTD abaixo. Compute π(3), para uma
distribuição de probabilidade inicial de π(0)=[0.2 0.3. 0.5].
0.2 0.3 0.5
Solução
P=
[ 0.1 0 0.9
0.55 0 0.45 ]
π(n)=π(0) P n
3
π(3)=π(0) P
3
0.2 0.3 0.5
[
π(3)=[0.2 0.3 0.5] 0.1 0
0.55 0
π(3)=[0.3626 0.1207 0.5167]
0.9
0.45 ]
Cadeia de Markov
Exemplo
0 1 2 1 1 1
0 1 0 0
P= 1
2 [ ]
0 1 0
0 0 1 0 1 2
Existem 3 classes {0}, {1} e {2}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto 1/2
Classificação a CMTD abaixo
0 1 2
1 Solução
1
1 0 0
[ ]
0
P= 1 0 1/ 2 1/2
0 1/2 1/3
1 1/3 1/3 1/3
Solução:
1/3
1↔2; 2→0
2
Existem 2 classes {0} – absorvente – e {1, 2}
transiente, logo a CMTD não é irredutível 1/3
Cadeia de Markov
Classifique a CMTD abaixo
1 5 6
2
0
3
4
7 8
Solução:
A CMTD não é irredutível

3 classes: {0,2,7,8} – transiente, {3} - absorvente e {1,4,5,6} - recorrente
Cadeia de Markov
Classificação a CMTD abaixo
0 1 2
1
0 1 0 1
[ ]
0 Solução
P= 1 0 0 1
2 1 0 0 0 1
Solução:
•
A cadeia é irredutível, 1
•
0→1, 1→2 e 2→0.
• P300=P600=P900=...=1
2
•
O período d(0)=3. Além disso,
d(0)=d(1)=d(2)=3
Cadeia de Markov
Classifique a CMTD abaixo
4 5 6
2
0
7 8
Solução:
A CMTD não é irredutível

2 classes recorrentes: {0,2,7,8} e {1,4,5,6}
{0,2,7,8} - periódico com período 2; d(0)=d(2)=d(7)=d(8)=2
{1,4,5,6} - aperiódico d(1)=d(4)=d(5)=d(6)=1
Cadeia de Markov
Achar a distribuição limite para a cadeia abaixo
0.2 0.8 π1=0.2 π1 +0.3 π2
P= [
0.3 0.7
; ] π1 =
0.3
π2=0.375 π2
π=π P , 0.8
∑ π=1; π1 +π 2=1
0.2 0.8 0.375 π2 +π 2=1
[
[π1 π 2 ]=[π 1 π 2 ]
0.3 0.7 ] π2=0.7273
π1=0.375×0.7273=0.2727
π 1=0.2 π1 +0,3 π 2
{π 2=0.8 π1 +0.7 π2
π 1 +π2=1
[π1 π 2 ]=[0.2727 0.7273]
Cadeia de Markov
Comparando com P(n) 0.2 0.8
P= [
0.3 0.7 ]
0.28 0.72
2
P= [
0.27 0.73 ]
[π1 π 2 ]=[0.2727 0.7273] P3= 0.272 0.728
[ ]
0.273 0.727
P 4= 0.2728 0.7272
[ ]
0.2727 0.7273
P5= 0.2727 0.7273
[ ]
0.2727 0.7273
Cadeia de Markov
.2 .3 .5
[
P= .1 0 .9
.55 .0 .45 ]
π=π P , ∑ π=1 ;
Cadeia de Markov
.2 .3 .5 π1 π 2 +π 3=1
[
P= .1 0 .9
.55 .0 .45
π=π P , ∑ π=1
] π 1=0.2 π1 +0.1 π2 +0.55 π3
{
π 2 =0.3 π1
π 3 =0.5 π1 +0.9 π 2 +0.45 π3
π1 + 0.3 π1 +1.4 π 1=1
π1 =0.3704
π2 =0.3×0.3704=0.111
π 1 π 2 +π3 =1
.2 .3 .5 π1 =0.2 π 1 +0.1 π 2 +0.55 π3 π3 =1.4×0.3704=0.5186
[ ]
[π1 π2 π3 ]=[π1 π2 π3 ] .1 0 .9 π =0.2 π +0.03 π +0.55 π π=[0.3704 0.111 0.5186]
1 1
.55 .0 .45 π −0.23 π =0.55 π
1 1
1
3
3
π1 =0.2π 1 +0.1 π 2 +0.55 π3 π3 =1.4 π 1
{π2 =0.3 π1
π3 =0.5 π 1 +0.9 π 2 +0.45 π3
π1 π 2 +π3 =1
Consideremos que Santarém tenha três helipontos (Rio Tapajós Shopping
(1), Shopping Paraíso (2) e Aeroporto Wilson Fonseca (3)) e um único
helicóptero, que recolhe o passageiro de um dos heliportos e os leva até um
outro heliporto, onde aguardam até que apareça outro passageiro. Um
único passageiro (um grupo com o mesmo destino) é atendido de cada vez.
A) Se o helicóptero está no Aeroporto Wilson Fonseca, qual é a probabilidade de que
ele volte após 3 viagens?
B) Em um longo período de tempo, qual a fração de viagem se destinam ao Rio Tapajós
Shopping?
C) Se o helicóptero está no Shopping Paraíso, quantas viagens, em média, irão ocorrer
até que ele volte ao Shopping Paraíso?
1
1/2 1/2
1/3 2/3
1/3
2 3
1/3 1/3
Solução
A) A probabilidade de que o helicóptero volte após 3 viagens
é .203
1 2 3
1 0 1/2 1/ 2
[
P= 2 1/3 1/3 1/3
3 2/3 1/3 0 ]
1 2 3
1 .222 .416 .361
3
[
P = 2 .314 .388 .296
3 .444 .351 .203 ]
Solução
n
B) Utilizando a equação lim p =π ( j)>0 (i , j=0,1,. ..)
ij
temos: n→ ∞
1 2 3
1 1 1/2 1/ 2
[
P= 2 1/3 1/3 1/3
3 2/3 1/3 0 ] Resp.: Em um longo período
de tempo, a fração de viagens
que se destinam ao Rio
1 2 3 Tapajós Shopping é de 0,322.
1 .322 .387 .29
n
[
P = 2 .322 .387 .29
3 .322 .387 .29 ]
Solução
n 1
C) Utilizando a equação lim p → μ ; Assim temos:
jj
n→∞ j
1 2 3 Resp.: Número médio de

1 .322 .387 .29 viagens que irão ocorrer até
n
[
P = 2 .322 .387 .29
3 .322 .387 .29 ] que o helicóptero volte ao
Shopping Paraíso é 2,583.
n 1 1
lim p → μ =
22 =2,583
n→∞ 2 0.387
Cadeia de Markov
0 0 0 0 1 0 0
[ ]
0 0 1/3 1/3 0 0 1/3
0 0 1/2 0 0 1/2 0
P= 0 0 0 1 0 0 0
1/2 0 0 0 1/2 0 0
0 0 3/ 4 0 0 1/ 4 0
0 1/2 0 0 1/2 0 0
Cadeia de Markov
3/4 1/2
1 1/4 1/2 1/2
3 5 2 4 0
1/2 1/2 1
1/3
1/3
1/3
1 6
1/2
Cadeia de Markov
C2 C3
C1
3/4 1/2
1 1/4 1/2 1/2
3 5 2 4 0
1/2 1/2 1
1/3
1/3
1/3
1 6 T
1/2
3/4 1/2
1/2
1/4 1/2
1 3 5 2 4 0
1/2 1
1/3 1/2
1/3
1/3
3→0 1 6
1/2
5→1
2→2
4→3
0→4 3/4
1/2 1/2
6→5 1/4 1/2
1 0 1 2 3 4
1→6
1/2 1
1/3 1/2
1/3
1/3
6 5
1/2
Uma nova CMTD com a seguinte matriz P:

Classes recorrentes positivas
C1={0}, C2={1,2}, C3={3,4}
Conjunto de estados transientes
T={5,6}
1 0 0 0 0 0 0
[ ]
0 1/4 3/4 0 0 0 0
0 1/2 1/2 0 0 0 0
P= 0 0 0 1/2 1/2 0 0
0 0 0 1 0 0 0
0 0 0 1/2 0 0 1/2
1/3 0 1/3 0 0 1/3 0
Para as classes recorrentes tem-se o seguinte

comportamento limite
Classes C2={1,2} Classes C3={3,4}
1/4 3/ 4 1/2 1/2

P= [
1/2 1/2 ] P=
1 [ 0 ]
π=π P π=π P
∑ π j =1 ∑ π j =1
j j
π1=2/5 ; π 2=3/5 π3=2/3 ; π 4=1/3
Para uma análise da classe transiente deve-se computar

f ij para i∈T e j∈C k (k=1,2,3)
−1
0 1/2 [ I −Q] R 1 . 1=
Q= [
1/3 0 ] f 50 6/5 3/5 0 1/5
[ ][ = ][ ] [ ]
f 60 2/5 6/5 1/3
[1]=
2/5
,( j=0)
1
[ I −Q ]= [
−1/3
−1/2
1 ] −1
[ I −Q] R 2 .1=
f 51 f 52 6/5 3/5 0 0 1 1/5
6 5 3/5
[ ][= ][ ][ ] [ ]
f 61 f 62 2/5 6 /5 0 1/3 1
=
2/5
,( j=1,2)
−1
[ I −Q ] = /
[
2/ 5 6/5 ] −1
[ I −Q] R 3 .1=
f 53 f 54 6/5 3/5 1/2 0 1 3/5
[ ][
f 63 f 64
= ][
2/5 6/5 0 ][ ] [ ]
=
0 1 1/5
,( j=3,4)
Para uma análise da classe transiente deve-se computar

f ij para i∈T e j∈C k (k=1,2,3)
1/5
[ ][ ]
∞
p50
p∞60
=
f 50 /μ 0
f 60 /μ 0
=
1
2/5
1
=
[]
1/5
2/5 [ ]
1 5 1 5
[ p∞51
p∞61
p∞52
p∞62
=
f 51 /μ 1
][
f 61 /μ1
3 3 3
f 52 /μ 2
]
f 62 /μ 2
=
[ ]
/
5 2
2 5
/
5 2
/
5 3
2 5
/
5 3
=
2/25 3/25
[
4 /25 6/25 ]
[ p∞53
p∞63
p∞54
p∞64 ] =
[ ]
/
5 2
1 3
/
5 2
5
1
5
/3
/3
=[ 2/ 5 1/5
2 /15 1/15 ]
,( j=3,4)
Assim,
1 0 0 0 0 0 0
[ ]
0 2/5 3/5 0 0 0 0
0 2/5 3/5 0 0 0 0
∞ n
P =lim P = 0 0 0 2/3 1/3 0 0
n→∞
0 0 0 2/3 1/3 0 0
1/5 2/25 3/25 2/5 1/5 0 0
2/5 4 /25 6/25 2/15 1/15 0 0
Note que 4
∞
∑p ij =1,(i=0,1,2,3,4,5,6)
j=0
QUESTÃO¹: Suponha que determinada pessoa, ou um grupo

de pessoas, só bebe Coca ou só bebe Pepsi numa
determinada semana, seguindo as seguintes regras:
Bebe apenas 1 lata por semana;
Se bebeu Pepsi numa determinada semana, na próxima
semana beberá Pepsi com probabilidade de 70% ou beberá
Coca com probabilidade de 30%;
Se bebeu Coca numa determinada semana, na próxima
semana beberá Coca com probabilidade de 90% ou beberá
Pepsi com probabilidade de 10%.
¹https://leandrocruvinel.medium.com/cadeias-de-markov-com-python-ef27b3f21fc7
Suponha que, nessa semana, 40% de um grupo de pessoas

bebem Pepsi e 60% bebem Coca. Qual a porcentagem
provável de pessoas, desse mesmo grupo, que beberão Coca
na semana seguinte?
De forma matricial, pode-se representar esse processo do
seguinte modo:
Grupo na
Pepsi Coca
semana atual
Obs: Vetor
Pepsi 0.7 0.3 0.4 [0.4 0.6]
Coca 0.1 0.9 0.6
Denotando por Pi e Ci os eventos de pessoas bebendo Pepsi e Coca na

semana i, respectivamente. Então, temos as seguintes propriedades:
Através do Teorema de Bayes, temos:
Solução:
Supondo que essa semana seja a semana 1 e a semana
seguinte seja a semana 2, tem-se:
Grupo na
Pepsi Coca
semana atual
Logo, é provável que 66% das
Pepsi 0.7 0.3 0.4
pessoas no grupo tomem Coca
na semana seguinte. Coca 0.1 0.9 0.6
Solução:
O resultado é obtido da multiplicação da matriz de
probabilidade pelo vetor de porcentagens do grupo na semana
atual:
Grupo na Grupo na
Pepsi Coca
semana atual semana seguinte
Pepsi 0.7 0.3 0.4 0.34
Coca 0.1 0.9 0.6 0.66
Isso quer dizer que, para encontrar as porcentagens após duas

semanas, basta multiplicar a matriz de probabilidades duas
vezes.
Grupo na Grupo na
Pepsi Coca
semana 2 semana 3
Pepsi 0.7 0.3 0.34 0.304
Coca 0.1 0.9 0.66 0.696
Solução em Python
Solução:
Grupo na Grupo na
Pepsi Coca semana semana
atual seguinte
Pepsi 0.7 0.3 0.4 0.34
Coca 0.1 0.9 0.6 0.66
Descubra com estará a preferência dos usuários na 10ª
semana.
Resolva:
Grupo na
Pepsi Coca
semana atual
Pepsi 0.7 0.3 0.4
Coca 0.1 0.9 0.6
Solução em Python
Solução:
Grupo na Grupo na
Pepsi Coca semana semana
atual seguinte
Pepsi 0.7 0.3 0.4 0.34
Coca 0.1 0.9 0.6 0.66
π=π P
P= 0.7 0.3 ,
[ ] π=[0.4 0.6]
0.1 0.9
10
0.7 0.3
π=[0.4 0.6] [ 0.1 0.9 ]
π=[0.25 0.75]
Avaliação de Desempenho
Cadeia de Markov a Tempo Contínuo
Definição
O processo estocástico {X(t), t≥0} é uma CMTC se
para todo 0 ≤ t1 < t2 < ... < tn < t
P {X (t )= x∣X (t 1 )=x 1 , X (t 2)=x 2 ,... , X (t n )=x n }=

P {X (t )= x∣X (t n )= x n }
Definição
Para todo t, s ≥ 0
pij (t )= pij (0 , t)=P {X (u+t)= j∣X (u)=i}=
P {X (t)= j∣X (0)=i}, ∀ u∈T
Probabilidade de transição da CMTC

A cadeia não depende do tempo inicial, mas somente
dos tempos transcorridos e dos estados inicial e final i
e j.
Ou seja, a probabilidade de transição entre dois estados depende
somente do intervalo de tempo durante o qual ocorre a transição.
Definição
Seja
π j (0)=P {X (t )= j}, j=0,1,2,. .. ,t ⩾0
a probabilidade de estado da CMTC no tempo t

Seja
π i (0)=P {X (0)=i},
a probabilidade inicial da CMTC

Definição
Então
π j (t )=P {X (t )= j}=∑ P {X (t )= j , X (0)=i}
i
π j (t )=∑ P {X (0)=i}P {X (t )= j∣X (0)=i}

i
π j (t )=∑ π i (0) pij (t )

i
Na forma matricial O comportamento probabilístico

é totalmente determinado pelas
distribuição de probabilidades
π (t )=π (0) P(t) iniciais e as probabilidades de
transição
Definição
Onde, P(t), a matriz probabilidade de transição é dada
por:
p00 (t ) p01 (t ) .
[
P(t )=[ P ij (t )]= p10 (t) p11 (t) .
. . . ]
Propriedades:
0⩽ pij (t )⩽1
A última condição estabelece,
simplesmente, que se o
processo está no estado i em
∑ pij (t )=1
j
qualquer dado tempo, estará
pij (0)= 1, se i= j =P(0)= I
também no estado i, zero
unidades de tempo mais tarde. {0, se i≠ j
Gerador Infinitesinal
A matriz cujas entradas são as taxas de transição
entre os estados da cadeia
q00 q 01 .
[
Q=[qij ]= q10 q11 .
. . . ]
Onde
dpij (t )
q ij =
dt | t =0
Gerador Infinitesimal
Interpretação
qii é a taxa total de saída do estado i
qij é a taxa no qual a cadeia se move de i para j
∑ pij (t )=1 q ii + ∑ q ij=0

j j≠i qii = -(qij + qil)
d d q =− ∑ q
i
∑ ijp (t)= (1) ii ij
qij qil
dt j dt j≠i
j l
∑ qij =0
j
Distribuição Limite
Forma matricial
0=π Q
Condição de normalização
∑ πi=1
i
Propriedades:
Independente do tempo;
Independente das condições iniciais;
Estritamente positivo.
Condição para existência do estado de equilíbrio:
Irredutível, homogênea e finita
Estados recorrentes positivos
Uniformização
Construir uma CMTD a partir de uma CMTC
A solução do estado de equilíbrio é a mesma para
ambas cadeias
Q
P= + I
q
q>max i , j|q ij|
Cadeia de Markov
Matriz de Transição – P – (probabilidades)
Comportamento Limite (estado de equilíbrio)
Tempo Discreto
(CMTD)
π=π P , ∑ π j =1
∀ j∈I
CM
Gerador Infinitesimal – Q - (taxas)
Comportamento Limite (estado de equilíbrio)
Tempo Contínuo
(CMTC)
Q π=0, ∑ π j =1
∀ j∈I
Estudo de Caso
Controle de Admissão de Chamadas (CAC)

Handoff é o procedimento que transfere uma
chamada em andamento de uma célula para outra
à medida que uma estação móvel desloca-se
através da área de cobertura de uma rede móvel
celular.
Estudo de Caso

Se a célula alvo para a qual a estação móvel migra não tem
recursos suficientes de banda passante, a chamada será
descartada.
Da perspectiva do usuário, o descarte de chamadas em
andamento durante o handoff é menos desejável que o
bloqueio de novas chamadas.
Estudo de Caso

É uma solução que determina se um recurso será alocado ou
não com base na largura de banda disponível, para ajudar a
evitar a degradação do QoS.
O principal objetivo dos algoritmos de CAC em redes sem fio é
fazer o melhor uso dos recursos de rádio disponíveis enquanto
garante que os requisitos de QoS de todas as chamadas em
serviço sejam satisfeitos.
CAC deve decidir se recursos de rádio serão atribuídos a nova
chamada, para que a mesma possa ser atendida com QoS. Caso
não haja recursos suficientes ou por alguma restrição o CAC não
possa admitir a chamada, esta será bloqueada.
Estudo de Caso

Considere uma rede móvel celular
Estação Rádio Base
Canais de Rádio (N)
Provê o acesso a duas classes de serviço
Chamadas de voz (Serviço Telefônico
convencional)
Chamadas de dados (Internet)
Estudo de Caso

Considerações de tráfego
Chegada das chamadas de voz e dados
Processo de Poisson
λv e λd, para voz e dados
Tempo de serviço (duração da chamada)
Distribuição exponencial
Tv = 1/μv para voz;
Td = 1/μd para dados.
Estudo de Caso

Estudo de Caso

Modelagem usando a CMTC
Espaço de Estados
S={(v,d)/ 0≤v≤N, 0≤d≤Kd}
v ⇔ Número de chamadas de voz
d ⇔ Número de chamadas de dados
Kd ⇔ Threshold (limiar) de dados
Número de estados em S=(N+1)(Kd+1)
Estudo de Caso

Partindo do estado (v, d)
Próximo Estado Taxa Condição Evento
(v+1,d) λv v+d<N Chegada de uma

chamada de voz
(v-1,d) vμv v>0 Partida de uma
chamada de voz
(v,d+1) λd v+d < Kd Chegada de uma
chamada de dados
(v,d-1) dμd d>0 Partida de uma
chamada de dados
Estudo de Caso
Diagrama de Transição do modelo CAC

Sistema de pequeno porte
2,0
2μv
λv
μd
1,0 1,1
μv λv μv
λv
λd
0,0 0,1
μd
Estudo de Caso

Métricas de QoS
Probabilidade de bloqueio de uma
chamada de voz
chamada de dados
Estudo de Caso

Métricas de QoS
chamada de voz
Pv= ∑ π(v , d )
v +d=N
Estudo de Caso

Métricas de QoS
chamada de dados
Pd= ∑ π(v , d)
v+d⩾Kd
Estudo de Caso

Diagrama de transição
2,0 Bloqueio de voz

2μv
λv
μd
1,0 1,1
μv λv μv
λv
λd
0,0 0,1
μd
Estudo de Caso

Diagrama de transição
Bloqueio de voz
2,0
2μv
λv
μd
1,0 1,1
μv λv μv
λv
λd
0,0 0,1
μd
Bloqueio de dados
Estudo de Caso
Controle Conjunto de Admissão de

Chamadas (CCAC)
Diferentemente dos tradicionais algoritmos de CAC, algoritmos
para CCAC, não são apenas responsáveis por decidir se uma
nova chamada deverá ser aceita ou não, mas também deverão
decidir qual RSF é a mais adequada para servir a nova
chamada.
A decisão da RSF mais apropriada deve ser realizada levando-
se em consideração diversos fatores:
Preferências do usuário e;
Preferências do operador.
Estudo de Caso
Controle Conjunto de Admissão de

Chamadas (CCAC)
Critérios de seleção da RSF mais adequada
Preferências do Preferências do Outros Critérios
Usuário Operador
Menor custo de serviço Distribuição de carga Requisitos de aplicação
uniforme
Melhor QoS Maximização do ganho Capacidade residual da
RSF
Maior área de cobertura Otimização do consumo Capacidade do terminal
de energia móvel
Maior segurança Minimização da perda -
de handoffs
Menor consumo de - -
bateria
Exercício
Questão 1
O modelo a seguir descreve um buffer de requisições de
impressão. O buffer faz o gerenciamento de duas
impressoras: laser e deskjet. Este buffer recebe, em
média, uma requisição a cada 5 minutos (12 requisições
por hora). A impressora laser leva em média 2 segundos
(1800 folhas por hora) para imprimir uma folha, enquanto
a impressora deskjet imprime uma folha em 5 segundos
(720 folhas por hora). Um pedido de impressão pode ser
atendido tanto pela laser como pela deskjet, respeitando
a razão de que para cada hora trabalhada pela
impressora deskjet, a impressora laser trabalha por 4
horas.
Exercício
Questão 1
12 12 12
0 1 2 3
1800 1800 1800
0,25 1 0,25 1 0,25 1 0,25 1
12 12 12
4 5 6 7
720 720 720

Exercício
Questão 1
Os estados 0, 1, 2 e 3 representam o número de requisições
no buffer (0, 1, 2 e 3 requisições respectivamente) que estão
sendo atendidas pela impressora laser. Em contra partida, os
estados 4, 5, 6 e 7 representam o número de requisições no
buffer (0, 1, 2 e 3 requisições respectivamente) que estão
sendo atendidas pela impressora deskjet.
Com base no modelo, construa o gerador infinitesimal da
CMTC.
Exercício
Resposta
Etapa 1: Preenche-se os elementos não diagonais do
gerador infinitesimal, utilizando as taxas de ocorrência da
transição de um estado para outro.
0 1 2 3 4 5 6 7
0 12 0.25
[ ]
1 1800 12 0.25
2 1800 12 0.25
3 1800 0.25
Q=
4 1 12
5 1 720 12
6 1 720 12
7 1 720
Exercício
Resposta
Etapa 2: Preenche-se os elementos diagonais (ajuste
diagonal das taxas de ocorrência das transições entre os
estados) do gerador infinitesimal. Como a soma de cada
linha do gerador infinitesimal deve ser igual a zero, o mesmo
fica da seguinte maneira após o ajuste da diagonal:
0 1 2 3 4 5 6 7
0 −12.25 12 0.25
[ ]
1 1800 −1812.25 12 0.25
2 1800 −1812.25 12 0.25
3 1800 −1812.25 0.25
Q=
4 1 −13 12
5 1 720 −733 12
6 1 720 −733 12
7 1 720 −721
Exercício
Resposta
Etapa 3: Preenche-se os elementos nulos do gerador
infinitesimal. Logo, tem-se o gerador infinitesimal do modelo
0 1 2 3 4 5 6 7
0 −12.25 12 0 0 0.25 0 0 0
[ ]
1 1800 −1812.25 12 0 0 0.25 0 0
2 0 1800 −1812.25 12 0 0 0.25 0
3 0 0 1800 −1812.25 0 0 0 0.25
Q=
4 1 0 0 0 −13 12 0 0
5 0 1 0 0 720 −733 12 0
6 0 0 1 0 0 720 −733 12
7 0 0 0 1 0 0 720 −721
Referência Bibliográfica
V.G. Kulkarni. Modeling, Analysis, Design, and Control of

Stochastic Systems, Springer, 1999.
J.F. Hayes e T.V.J. G. Babu. Modeling and Analysis of
Telecommunications Network, Wiley, 2004.
Baseado no curso Introdução à Modelagem Probabilística de
Sistemas Computacionais e de Comunicação do Prof. Dr. Glaucio H.
S. Carvalho.

Aula 4 - Cadeia de Markov A Tempo Discreto e Contnuo - Verso VideoAula

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Aula 4 - Cadeia de Markov A Tempo Discreto e Contnuo - Verso VideoAula

Enviado por

Direitos autorais:

Formatos disponíveis

Avaliação de Desempenho

Cadeia de Markov a Tempo Discreto

Prof. Roberto P. do Nascimento

É uma coleção de variáveis aleatórias que, em geral, são utilizadas para

É uma coleção de variáveis aleatórias indexadas (Xt), onde t é um

Ex.: X é uma variável aleatória discreta (pois possui um número finito

Ex.: X é uma variável aleatória discreta (pois possui um número finito de

P {X (n+1)= j∣X (0)=i0 , X (1)=i1 ,... X (n)=i}

P {X (n+1)= j∣X (n)=i}=P {X (1)= j∣X (0)=i}= p ij

É definido como probabilidade de transição de um

P ij =P {X (n+1)= j∣X (n)=i}

p >0, então há um arco

P{X0=i} é a probabilidade inicial;

πi (0)=P {X 0 =i}⩾0 ∀ i⩾0

A matriz probabilidade de transição de n-passos pode

P{X(0)=i1} P {X (n)= j∣X (0)=i 2 }P {X (0)=i 2 }+

Define-se a probabilidade de transição eventual do

Um estado i é recorrente se, partindo- Estados transitórios são aqueles que,

μi Tempo médio de recorrência

Se o estado j é recorrente nulo

Se o estado j é transiente, então

Que é independente do estado inicial i

π=π P , Qualquer distribuição de probabilidade que

No projeto de sistemas há frequentemente efeitos de

Ir diretamente Ir para um estado transiente i∈T

1 é um vetor coluna em que todos os componentes são 1's.

0.2 0.3 0.5

Existem 3 classes {0}, {1} e {2}

A CMTD não é irredutível

A CMTD não é irredutível

π1 =0.2π 1 +0.1 π 2 +0.55 π3 π3 =1.4 π 1

1 2 3 Resp.: Número médio de

Uma nova CMTD com a seguinte matriz P:

Para as classes recorrentes tem-se o seguinte

Classes C2={1,2} Classes C3={3,4}

1/4 3/ 4 1/2 1/2

Para uma análise da classe transiente deve-se computar

Para uma análise da classe transiente deve-se computar

QUESTÃO¹: Suponha que determinada pessoa, ou um grupo

Suponha que, nessa semana, 40% de um grupo de pessoas

Denotando por Pi e Ci os eventos de pessoas bebendo Pepsi e Coca na

Isso quer dizer que, para encontrar as porcentagens após duas

P {X (t )= x∣X (t 1 )=x 1 , X (t 2)=x 2 ,... , X (t n )=x n }=

Probabilidade de transição da CMTC

π j (0)=P {X (t )= j}, j=0,1,2,. .. ,t ⩾0

a probabilidade de estado da CMTC no tempo t

a probabilidade inicial da CMTC

π j (t )=∑ P {X (0)=i}P {X (t )= j∣X (0)=i}

π j (t )=∑ π i (0) pij (t )

Na forma matricial O comportamento probabilístico

∑ pij (t )=1 q ii + ∑ q ij=0

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)

(v+1,d) λv v+d<N Chegada de uma

Diagrama de Transição do modelo CAC

Controle de Admissão de Chamadas (CAC)

Controle de Admissão de Chamadas (CAC)