UNIVERSIDADE ZAMBEZE

Faculdade de Ciências e Tecnologia

Ciências Atuárias 3° ano

Tema: cadeias de Markov

Cadeias Notáveis de Markov

Discente:

Hale António Hale Fote

Docente:

Dr. Dinis Simbe

Beira 2022

0
 UNIVERSIDADE ZAMBEZE

Faculdade de Ciências e Tecnologia

Ciências Atuárias 3° ano

Cadeira de Processos estocásticos

Trabalho de investigação a ser entregue no

departamento de ciências e Tecnologia, para fins
avaliativos, referente a cadeira de Processos

estocásticos.

Discente:

Hale António Hale Fote

Docente:

1
 Dr. Dinis Simbe

Beira 2022

Índice
1. Introdução.................................................................................................................4

1.1. Objetivos................................................................................................................5

1.2. Objetivo Geral......................................................................................................5

2.1. Metodologia...........................................................................................................5

2.2. Fundamentação teórica.......................................................................................6

7.1. Considerações finais...........................................................................................21

7.2. Referencias Bibliográficas................................................................................22

2
 1. Introdução
No presente trabalho iremos abordar sobre cadeias de Markov, também Cadeias
Notáveis de Markov. Onde iremos trazer conceitos, propriedades, matriz entre
outros.

3
1.1. Objetivos

1.2. Objetivo Geral

 Compreender sobre cadeias de Markov e Cadeias Notáveis de Markov
2. Objetivos Específicos
 Descrever as características das cadeis de markov

2.1. Metodologia
 A metodologia estuda os métodos que são caminhos para se chegar ao
alcance de determinados resultados pré-estabelecidos, Portanto Para
elaboração deste trabalho recorremos ao método de pesquisa
bibliográfica.

4
 2.2. Fundamentação teórica

3. CONCEITO

3.1. Processos Markovianos

Um Processo Estocástico é dito ser um Processo Markoviano se:

A expressão (1) pode ser "traduzida" por: a probabilidade condicional de qualquer

evento futuro, dado qualquer evento passado e o estado presente X(tk) = xk, é
independente do evento passado e depende somente do estado presente. Em termos mais
resumidos: um Processo Estocástico é dito ser um Processo Markoviano se o estado
futuro depende apenas do estado presente e não dos estados passados. Este tipo de
Processo Estocástico é também denominado de memory less process (processo sem
memória), uma vez que o passado é "esquecido" (desprezado). As probabilidades

condicionais São denominadas Probabilidades de

Transição e representam, portanto, a probabilidade do estado Ser No

instante Dado que o estado No instante

Exemplo: O estado no ano de 1993 do uso da terra em uma cidade de 50 quilômetros

quadrados de área é:

5
 As probabilidades condicionais na tabela 2, em termos informais, podem ser
entendidas como:

de I para I ⇒ a probabilidade do estado ser I após 5 anos, dado que o

estado atual (presente) é I é 0.8, ou

Fica

 de I para II ⇒ a probabilidade do estado ser II após 5 anos, dado que o

estado atual (presente) é I é 0.1, ou

Para t=1993, fica

 de I para III ⇒ a probabilidade do estado ser III após 5 anos, dado que o

estado atual (presente) é I é 0.1, ou Para

t=1993, fica

 de II para I ⇒ a probabilidade do estado ser I após 5 anos, dado que o

estado atual (presente) é II é 0.1, ou Para

t=1993, fica

 de II para II ⇒ a probabilidade do estado ser II após 5 anos, dado que o

estado atual (presente) é II é 0.7, ou . Para
t=1993, fica

 O raciocínio é análogo para as demais.

Os valores da tabela 2 podem ser então dispostos em uma matriz P, denominada Matriz
de Transição:

Assim, a partir de P e o vetor de probabilidade de estado π para 1993,

denominado , Pode-se calcular o vetor de probabilidade de estado π para 1998,

denominado

6
 3.2. Cadeias de Markov

Um Processo Markoviano é dito ser uma Cadeia de Markov quando as variáveis

randômicas X(t) estão definidas em um espaço de estados discreto E.

Exemplo: dado acima é então uma Cadeia de Markov porque o espaço de estados é
discreto. Quando o tempo é discreto, a Cadeia de Markov é dita ser uma Cadeia de
Markov em Tempo Discreto. Neste caso, tem-se:

Então, as Probabilidades de Transição são ditas Estacionárias. Assim, tendo-se

Probabilidades de Transição Estacionárias implica que as Probabilidades de Transição
não mudam em relação ao tempo. Ainda, de acordo com a expressão acima, as
Probabilidades de Transição são denominadas Probabilidades de Transição de Passo 1.
A existência de Probabilidades de Transição Estacionárias de Passo 1 implica que
para cada Tem-se:

Estas probabilidades condicionais são chamadas Probabilidades de Transição de Passo

n. Para simplificação da notação, adotando Pode-se definir:

e Porque são probabilidades

condicionais, estas precisam ser não negativas e desde que o processo precisa realizar
uma transição em algum estado, estas precisam satisfazer as seguintes propriedades:

7
 e

Uma maneira conveniente de mostrar todas as Probabilidades de Transição de Passo n

é:

ou, equivalentemente, por uma matriz

A matriz é denominada Matriz de Transição de Passo n. Quando n = 1, a matriz é

denominada apenas Matriz de Transição, como exemplificado na expressão (4). As
Cadeias de Markov, consideradas nestas notas de aula possuem as seguintes
propriedades:

 Um número finito de estados.

 Probabilidades de Transição Estacionárias.

Ainda será assumido como conhecido o vetor de probabilidade de estado inicia

(vetor composto por P{X0 = i} para todo i).

4. Equações de Chapman - Kolmogorov

A matriz de transição P é a matriz de transição de probabilidades de estado para um

passo no tempo, ou seja, de t para t+1. Pode se dizer, de maneira simplista, que as
equações de Chapman-Kolmogorov fornecem um método para computar a matriz de
transição para n passos no tempo, ou seja, de t para t+1, de t para t+2, ..., de t para t+n.

8
Seja a probabilidade de transição do estado i para o estado j de passo n, pode-se
escrever que:

∀ i = 1,0 ,...,M

∀ j = 1,0 ,...,M

e qualquer m = 1, 2, ..., n-1

e qualquer n = m+1, m+2, ....

Em notação matricial, a expressão fica:

onde: é a matriz de transição de passo n.

a partir de pode-se concluir, portanto, que:

A expressão acima afirma que a matriz de transição de passo n é igual à matriz de

transição de passo 1 elevada a n-ésima potência. Cabe ressaltar neste momento que a
expressão só é válida para Cadeias de Markov cujas probabilidades de transição de
estados são constantes em relação ao tempo (Probabilidades de Transição
Estacionárias). A este tipo de Cadeia de Markov, denomina-se Cadeia de Markov
Homogênea e a matriz de transição P é então uma matriz homogênea.

Exemplo: estoque da loja de câmeras, a matriz de transição de passo 2 (n = 2), é:

9
O vetor probabilidade de estado π para o exemplo da câmera no tempo 0 é:

uma vez que

Para o tempo 1, pode ser calculado como:

Para o tempo 2, ) pode ser calculado como:

4.1. Classificação de Estados em Cadeias de Markov

 Estados Alcançáveis e Comunicantes:

Um estado j é dito ser alcançável (accessible) a partir de um estado i se para

todo algum Isto implica que é possível o sistema entrar no estado j
eventualmente quando este começa no estado i.

Exemplo: os estados da matriz de transição na expressão

10
  Estados Recorrentes e Transientes:

Um estado é dito ser Transiente (Temporário, Efêmero, Transitório) se, entrando neste
estado, o processo pode nunca retornar novamente para este estado. Portanto, o estado i
é transiente se e somente se existe um estado j (j ≠ i) que é alcançável a partir do estado
i mas não vice-versa, isto é, o estado i não é alcançável a partir do estado j. Assim, se o
estado i é transiente e o processo visita este estado, há uma probabilidade positiva que o
processo irá mover-se para o estado j e assim nunca irá retornar para o estado i.
Consequentemente, um estado transiente será visitado somente um número finito de
vezes. Um estado é dito ser Recorrente se entrando neste estado, o processo
definitivamente irá retornar para este estado. Portanto, um estado é recorrente, se e
somente se, não é transiente. Uma vez que o estado recorrente será "revisitado" após
cada visita (não necessariamente no próximo passo do processo), este será visitado
infinitamente para o processo em tempo infinito. Um estado é dito ser Absorvente se
entrando neste estado, o processo nunca irá deixar este estado. Portanto, um estado i é
absorvente se e somente se Com isso, pode-se afirmar que um estado
absorvente é um caso especial de um estado recorrente. Em uma Cadeia de Markov, um
conjunto C de estados é dito ser um Conjunto Fechado se o processo ao entrar em um
desses estados de C, este irá permanecer nos estados de C indefinidamente, ou seja, C é
um conjunto tal que nenhum estado fora de C é alcançável a partir de qualquer estado de
C. Com isso, pode-se afirmar que C é um conjunto formado por estados recorrentes. Em

uma Cadeia de Markov, um conjunto de estados é dito ser um Conjunto Fechado

Mínimo se este conjunto não possui sub-conjuntos fechados.

Exemplo: Suponha que a Cadeia de Markov possui a seguinte matriz de transição P:

O estado 3 é transiente porque se o processo está no estado 3, há uma probabilidade

positiva que ele nunca irá retornar para este estado. O estado 4 também é um estado
transiente porque se o processo começa neste estado, imediatamente o processo o deixa

11
e nunca mais irá retornar para este estado. Os estados 0 e 1 são recorrentes. Através de P
percebe que se o processo começar a partir de um desses dois estados, este nunca
deixará estes dois estados. Além disto, sempre quando o processo move-se a partir de
um destes estados para o outro, este irá retornar para o estado original eventualmente. O
estado 2 é um estado absorvente, pois, uma vez que o processo entra no estado 2, este
nunca mais o deixará. Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que
se o processo entrar em um destes estados, nunca os deixará. Os estados 0 e 1 formam
um conjunto fechado mínimo, bem como o estado 2.

4.2. Propriedades de Periodicidade

Um estado i é periódico com período t se um retorno a este estado é possível somente

em t, 2t, 3t,... passos para e t é o maior inteiro com esta propriedade (máximo

divisor comum). Isto implica que sempre quando n não é divisível por t.

Exemplo: o estado 1 do exemplo2:Um estado j é dito comunicante com o estado i se o

estado j é alcançável a partir do estado i e o estado i é alcançável a partir do estado j..
Começando no estado 1, é possível para o processo entrar no estado 1 somente nos
tempos 2, 4, 6,..., de tal forma que o estado 1 possui período t = 2. Isto pode ser

verificado calculando para todo n e observar que para n impar.

Exemplo:

os estados da seguinte Matriz de Transição:

12
Se há dois números consecutivos s e s + 1 tal que o processo pode estar no estado i nos
tempos s e s + 1, o estado é dito ter período 1 e é chamado estado Aperiódico. Como a
recorrência é uma classe de propriedade, a periodicidade também é uma classe de
propriedade. Assim, se um estado i em uma classe tem período t, todos os estados nesta
classe têm período t.

5. Distribuição Estacionária.

13
Seja { C n } Uma cadeia de Markov com espaço S e matriz de probabilidade de transição
P=(px.y). se π (x) , com x ∈ S satisfaz que é formada de números não negativos que
somam um e se

Então π é chamada de distribuição estacionária.

Suponha que a distribuição estacionária π exista e satisfaça que

5.1. Cadeias Redutíveis

Então, como veremos em breve, independentemente da distribuição inicial da cadeia, a

distribuição de   se aproxima de π quando n→∞. Em tais casos, π é, por vezes,

chamada de distribuição de estado estacionária.

Nesta seção vamos determinar qual Cadeia de Markov tem distribuição estacionária,
quando esta distribuição é única e quando o limite acima se cumpre.

Exemplo:

No caso uma cadeia de markov com estados S={ 0,1 } e matriz de transição

se p+q¿0, esta cadeia tem uma única distribuição estacionaria π , dada por

14
 Podemos mostrar também que se 0¿p+q¿2, a expressão no limite acima é valida.

5.2. Cadeias redutíveis

Seja π uma função de probabilidades em S, isto é, seja π(x), x ∈ S uma função

constituída de números não negativos somando um e seja F um subconjunto de S.

Dizemos que π, uma função de probabilidade, esta concentrada F ∁ S se

Seja F um conjunto fechado irredutível de estados recorrentes positivos. Então a cadeia de

Markov tém distribuição estacionaria única concentrada em F. isto significa que

x F caso contrário

6. Cadeia aperiódica

Dizem que uma cadeia de Markov irredutível é periódica, com d, d ˃1 e é aperiódica

se d=1 .

Uma condição suficiente simples para uma Cadeia de Markov irredutível ser aperiódica
é que px,x>0 para algum x∈S.

A proposição mostra que os estados de uma cadeia de Markov irredutível têm todos o
mesmo período, d, que é chamado de período da cadeia de Markov. A cadeia é dita
aperiódica se seu período for d = 1. Para uma cadeia de Markov irredutível ser
aperiódica, é suficiente (mas não necessário) que pii> 0 para algum i. Por exemplo, o
gráfico de transição da figura 3 define uma cadeia de Markov irredutível e aperiódica.

6.1. Processo de nascimento e morte

15
 Os Processos de Nascimento-Morte são processos estocásticos muito utilizados na
descrição de Sistemas de Filas de Espera, dada a sua particular estrutura: as transições
de um qualquer estado só são possíveis para estados “vizinhos” (i.e., de um estado i para
os estados i+1 ou i-1). Adotando-se um espaço de estados X ={0, 1, …} e considerando
que cada estado representa um certo “nível de população” (exemplo: número de clientes
numa loja, número de mensagens num coletor de chamadas, número de produtos a
processar, etc.), tais transições podem ser facilmente interpretadas. A transição do
estado i para o estado i+1 será um “nascimento” (por exemplo, chegada de um cliente),
uma vez que significa um aumento do “nível da população”. Enquanto a transição do
estado i para o estado i-1 será uma “morte” (por exemplo, partida de um cliente), por
significar um decréscimo do “nível da população.

Considere a figura a baixo:

Fig. Processo de Nascimento e Morte

Sendo assim:

16
 6.2. Teoria de filas

A teoria das filas envolve o estudo matemático das “filas”, ou filas de espera. Filas
podem existir na forma de pessoas ou objetos esperando algum tipo de serviço ou
podem existir num sentido mais abstrato, ou seja, não tão visível, como uma “fila” de
navios esperando para atracar em um porto.

Um modelo ou sistema de filas pode ser brevemente descrito da seguinte forma:

usuários (ou fregueses ou clientes) chegam para receber um certo serviço e, devido à
indisponibilidade de atendimento imediato, formam uma fila de espera. A Figura abaixo
ilustra esta ideia. O termo usuário e serviço são usados com sentido amplo. Podemos
estar nos referindo a carros que chegam a um posto de pedágio, máquinas que esperam
para serem consertadas, peças que seguem uma linha de montagem ou mensagens que
são transmitidas pelos canais de comunicação. Uma rede de filas é formada por várias
filas que se interconectam entre si de modo que o usuário ao sair de uma fila pode (com
uma certa probabilidade) dirigir-se a outra.

Nas redes abertas há fluxo de fregueses entrando e saindo do sistema. Por outro lado,
há redes fechadas nas quais o número de usuários permanece inalterado, isto é, não há
movimentação de usuários para dentro ou para fora do sistema. Um serviço de
manutenção de máquinas pode ser visto como uma rede fechada onde M máquinas se
alternam entre os centros de manutenção e de operação. Dessas definições básicas,
ramificam-se um sem número de outros modelos de filas adequados às varias áreas,
sempre na busca de melhor representar a realidade.

Fig. Sistemas de filas

Figura acima - O Processo de Fila Básico Em aplicações, o estudo dos modelos de filas
tem como objetivo a melhoria de desempenho do sistema, entendida, entre outros

17
aspectos, como melhor utilização dos recursos de serviço disponíveis, menor tempo de
espera e mais rapidez no atendimento.

O pioneiro neste estudo foi A. K. Erlang que, no começo do século, como engenheiro
da companhia dinamarquesa de telefones, estudou o problema de congestionamento das
linhas. A Telefonia permaneceu a principal aplicação de teoria das filas até por volta de
1950. A partir daí, um grande número de áreas tem utilizado essa ferramenta e a vasta
literatura é o melhor indicador dessa expansão.

Em aplicações, o estudo dos modelos de filas tem como objetivo a melhoria de

desempenho do sistema, entendida, entre outros aspetos, como melhor utilização dos
recursos de serviço disponíveis, menor tempo de espera e mais rapidez no atendimento.
O pioneiro neste estudo foi A. K. Erlang que, no começo do século, como engenheiro da
companhia dinamarquesa de telefones, estudou o problema de congestionamento das
linhas. A Telefonia permaneceu a principal aplicação de teoria das filas até por volta de
1950. A partir daí, um grande número de áreas tem utilizado essa ferramenta e a vasta
literatura é o melhor indicador dessa expansão.

7. Principais características de uma fila

Algumas das características básicas de uma fila como: chegadas, serviço de disciplina
de atendimento e capacidade de espera serão descritas a seguir. (a) Chegadas O
processo de chegada (arrival process) é a descrição de como os usuários procuram o
serviço. Se eles chegam a intervalos fixos de tempo, o processo de chegadas é dito
constante ou determinístico. Por outro lado, se as chegadas são aleatórias no tempo, elas
formam um processo estocástico e é necessário descrever suas propriedades
probabilísticas.

A suposição mais comum é de que as chegadas formam um processo de renovação, isto

é, os intervalos entre chegadas são independentes e identicamente distribuídos. Em
geral, é também assumida a independência em relação ao serviço, mas é possível aplicar
um processo de renovação para as chegadas, condicionado à situação do serviço.

18
 7.1. Considerações finais
Uma cadeia de Markov é denominada irredutível (ou ergódica) caso qualquer estado
possa ser transformado em qualquer outro estado, não necessariamente em um único
passo. Uma cadeia de Markov com matriz de transição P é regular caso exista um
número inteiro positivo n tal que todos os elementos da matriz potência P n sejam
estritamente positivos.

19
 7.2. Referencias Bibliográficas

COPPE – Universidade Federal do Rio de Janeiro Programa de Engenharia de

Produção (PEP)

PROCESSOS_ESTOCASTICOS_E_TEORIA_DE_FILAS.pdf

Estatística - Conceitos de Estatística - Centro de Seleção e de Promoção de Eventos

UnB (CESPE) - 2011 -  ECT - Analista de Correios

20