INSTITUTO SUPERIOR DE TECNOLOGIAS DE INFORMAÇÃO E COMUNICAÇÃO - ISUTIC

DISCIPLINA: Processos Estocástico

1º SEMESTRE (4º ANO) - C. H. Semestral
60 horas.
Dr.C. Lindsay Alonso Gómez Beltrán
Dr.C. Lindsay Alonso Gómez Beltrán
Email: lindsay.gomez.beltran@gmail.com
No telemóvel: 944151437
• Aula # 4: Classificação de cadeia de markov
Sumário:
• - Classificação de cadeia de markov
• - Calculo de Período.
• - Estabilidade de cadeia de markov a longo prazo
Classificação de estado
• Estado Acessível

• Definição: O estado j é acessível do estado i, denotado por i -> j, sim

Pij(n)>0 para algum n>=0, isto quer dizer que existe um caminho entre i
e J.
Classificação de estado
• Estado Acessível

• Definição: O estado j é acessível do estado i, denotado por i -> j, sim

Pij(n)>0 para algum n>=0, isto quer dizer que existe um caminho entre i
e J.
Exemplo

- [c] é Acessível desde [a] já que existe um caminho a -> b->c

- [a] não é Acessível desde [c]
Estados que se comunicam
• Definição: Dois estados i e j se comunicam, denotado por i <-> j, sem
são acessíveis entre si.
Estados que se comunicam
• Definição: Dois estados i e j se comunicam, denotado por i <-> j, sem
são acessíveis entre si.

Exemplo

[b] e [c] comunicam-se entre se

Classe comunicante
• Definição: É um grupo de nodos que se comunicam entre si.
classes de equivalência
• A relação de comunicação define uma partição no espaço de estados
agrupados em classes de equivalência.
Exemplo: Seja a matriz de transição em um processo do Markov em
tempo discreto.
classes de equivalência
• A relação de comunicação define uma partição no espaço de estados
agrupados em classes de equivalência.
Exemplo: Seja a matriz de transição em um processo do Markov em
tempo discreto.
O grafo associado à cadeia do Markov é:
Classes de equivalência
• A relação de comunicação define uma partição no espaço de estados
agrupados em classes de equivalência.
Exemplo: Seja a matriz de transição em um processo do Markov em
tempo discreto.
O grafo associado à cadeia do Markov é:

As classes de equivalência son {1,2} e {3,4,5}

Matriz relevante
se o estado inicial pertence a clase {1,2}
então, qualquer que seja o tempo,
permanecerá nesta classe, e para qualquer
estudo do desenvolvimento dinâmico deste
As classes de equivalência son {1,2} e {3,4,5}
sistema a matriz relevante será.
Matriz relevante
se o estado inicial pertence a clase {1,2}
então, qualquer que seja o tempo,
permanecerá nesta classe, e para qualquer
estudo do desenvolvimento dinâmico deste
As classes de equivalência son {1,2} e {3,4,5}
sistema a matriz relevante será.
Matriz relevante
se o estado inicial pertence a clase {1,2}
então, qualquer que seja o tempo,
permanecerá nesta classe, e para qualquer
estudo do desenvolvimento dinâmico deste
As classes de equivalência son {1,2} e {3,4,5}
sistema a matriz relevante será.
Se o estado se inicia nos estados {3,4,5} para qualquer
tempo posterior o processo seguirá nesta classe, e a
matriz relevante será:
Matriz relevante
se o estado inicial pertence a clase {1,2}
então, qualquer que seja o tempo,
permanecerá nesta classe, e para qualquer
estudo do desenvolvimento dinâmico deste
As classes de equivalência son {1,2} e {3,4,5}
sistema a matriz relevante será.
Se o estado se inicia nos estados {3,4,5} para qualquer
tempo posterior o processo seguirá nesta classe, e a
matriz relevante será:
Matriz relevante
se o estado inicial pertence a clase {1,2}
então, qualquer que seja o tempo,
permanecerá nesta classe, e para qualquer
estudo do desenvolvimento dinâmico deste
As classes de equivalência son {1,2} e {3,4,5}
sistema a matriz relevante será.
Se o estado se inicia nos estados {3,4,5} para qualquer
tempo posterior o processo seguirá nesta classe, e a
matriz relevante será:
Ao haver duas classes existe uma redução
da matriz de transição que dependerá de
qual é o estado inicial do processo. Em
conseqüência, isto induz a entrar na
definição:
 Cadeia do Markov é irreducible
Definição: A Cadeia do
Markov é irreducible se a
relação de equivalência de
comunicação gera uma única
classe. Quer dizer, uma cadeia
do Markov é irreducible se
todos os estados forem
comunicativos.
 Cadeia do Markov é irreducible
- Cadeia do Markov irreducible
Definição: A Cadeia do
É quando a cadeia só se compõe de uma classe comunicante
Markov é irreducible se a
relação de equivalência de
comunicação gera uma única
classe. Quer dizer, uma cadeia
do Markov é irreducible se
todos os estados forem
comunicativos.
Exercício 1
• Dada a seguinte matriz de transição determine:

a) Obtenha o grafo de transição de estado

b) Determine as classes de equivalência
c) Determine se for a cadeia do Markov é irreducible
Exercício 1
• Dada a seguinte matriz de transição determine:
2
3

0,6
1

a) Obtenha o grafo de transição de estado

b) Determine as classes de equivalência
c) Determine se for a cadeia do Markov é irreducible
Exercício 1
• Dada a seguinte matriz de transição determine:
2
3

0,6
1

uma única classe de equivalência

a) Obtenha o grafo de transição de estado
b) Determine as classes de equivalência
c) Determine se for a cadeia do Markov é irreducible
Exercício 1
• Dada a seguinte matriz de transição determine:
2
3

0,6
1

uma única classe de equivalência

a) Obtenha o grafo de transição de estado
b) Determine as classes de equivalência A cadeia do Markov é irreducible ao ter uma única
classe de equivalência
c) Determine se for a cadeia do Markov é irreducible
Exercício 2 a) Determine o diagrama de transição
de estado
b) Determine as classes de
equivalência
Exercício 2 a) Determine o diagrama de transição
de estado
b) Determine as classes de
equivalência
Exercício 2 a) Determine o diagrama de transição
de estado
b) Determine as classes de
equivalência

- A cadeia do Markov tem três clase de equivalência:

{1,2}, {3} y {4,5}
Estado absorvente
• Definição: Um estado é substância absorvente quando a
probabilidade de ficar ali é 1
Estado transitivo
• Definição: Um estado lhe chama estado transitivo se, depois de ter
entrado neste estado, o processo nunca retorna a ele. Em outras
palavras, um estado transitivo será visitado só um número finito de
vezes.
• Em uma cadeia do Markov com espaço de estados finito não todos os
estados podem ser transitivos, ser transitivo é uma propriedade de
classe.
Estado recorrente
• Definição: Um estado é recorrente ou persistente se, depois de ter
entrado neste estado, o processo definitivamente retornará a este
estado. Por conseguinte, um estado é recorrente ou persistente se e
só sim não é transitivo.
Exercício 3:
• Dada a seguinte matriz de transição de uma cadeia de markov
a) Obtenha o diagrama de transição de estado
b) Realize a classificação da cadeia de markov
c) Determine e classifique as classes de equivalência
Exercício 3:
• Dada a seguinte matriz de transição de uma cadeia de markov
a) Obtenha o diagrama de transição de estado
b) Realize a classificação da cadeia de markov
c) Determine e classifique as classes de equivalência

A cadeia de markov não é irreducible ao ter

três clases de equivalencia: {1,2}
transitoria, {3,4} recorrente e {5} transitiva.
Exercício 4: Data a matriz de transição de
estados
a) Obtenha o diagrama de transição de estado
b) Classifique a cadeia de markov
Exercício 4: Data a matriz de transição de
estados
a) Obtenha o diagrama de transição de estado
b) Classifique a cadeia de markov
 Exercício 4: Data a matriz de transição de
estados
a) Obtenha o diagrama de transição de estado
b) Classifique a cadeia de markov

A cadeia do Markov é irreducible com todos

os estados recorrentes
Periodo
• Definição: O período de um estado i é um número inteiro não
negativo denotado por d(i), e definido como segue:

• O período de um estado 1 é o máximo comum divisor do conjunto de

inteiros >= 1 tais que a probabilidade é estritamente positiva.
• Aonde m.c.d. significa máximo comum divisor.
• Quando pii(n) = 0 para toda n = 1, define-se d(i) = 0.
• Em particular, diz-se que um estado i é aperiódico se d(i) = 1
• Quando d(i) = k = 2 se diz que i é periódico de período K.
Ejemplo
• Considere una cadena de Markov con diagrama de transición.

• Es fácil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0

• El periodo es una propiedad de clase, es decir, todos los estados de

una misma clase de comunicación tienen el mismo periodo
Exercício
Exercício