UNIVERSIDADE ZAMBEZE

Faculdade de Ciências e Tecnologias

Ciências Actuariais

Cadeira: Processos Estocásticos

Tema:

Processos Estocásticos

Cadeia de Markov em tempo contínuo

Probabilidade associados aos estados em números finitos de estantes (Tendências ao longo

prazo)

Discentes:

 Cristovão Isaías M Rupia

 Izilda Fortunato
 João Manuel
 Nelson Victor Tangune
 Wilson Alberto Semende

Docente:

Msc. Dinis Simbe

Beira

Junho de 2021
Índice
1. Introdução.............................................................................................................................2

1.1. Metodologia de Pesquisa..................................................................................................2

1.2. Objectivos:........................................................................................................................2

1.2.1. Objectivo Geral.............................................................................................................2

1.2.2. Objectivos Específicos..................................................................................................2

1.3. Problematização................................................................................................................3

1.4. Justificativa.......................................................................................................................3

CAPITULO II: ENQUADRAMENTO TEORICO.....................................................................4

2.1. Processos Estocásticos..........................................................................................................4

2.2. Os Processos Estocásticos podem ser classificados como:..................................................4

2.3. Conceito de cadeia de markov em tempo continuo..............................................................5

2.4. Probabilidade associados aos estados em números finitos de estantes.................................6

2.5. Tendência ao longo prazo.....................................................................................................8

2.5.1. Tempo de permanência no estado......................................................................................8

Capitulo III: CONCLUSÕES E REFERÊNCIAS BIBLIOGRÁFICAS...................................10

3.1. Conclusão............................................................................................................................10

3.2. Referências Bibliográficas..................................................................................................11

 1. Introdução
No presente trabalho abordaremos acera do tema que é processos estocásticos, na qual temos
como foco principal falar acerca de cadeia de Markov em tempo continuo, na qual
conceituaremos e mencionaremos os aspectos importantes relacionados a cadeia de Markov em
tempo continuo como por exemplo falar de probabilidades de estados em tempos finitos e
tendências a longo prazo.
Segundo Hillier e Lieberman (2013), um processo estocástico pode ser definido como um
conjunto de variáveis aleatórias (variável que apresenta um comportamento aleatório) ordenadas
Xt sendo que t é o índice que representa a variação do tempo, que pertence a um conjunto
T { X :t T }t ∈.
De acordo com Alves e Delgado (1997), nas cadeias de Markov em tempo contínuo é
importante considerar o tempo em que o processo permanece em cada estado, diferentemente da
cadeia de Markov em tempo discreto. Esse tempo é aleatório, podendo ser representado por τ i,
ou seja, o tempo que o processo permanece no estado i .

1.1. Metodologia de Pesquisa

Para elaboração do presente trabalho usou-se a pesquisa Bibliográfica , onde fizemos a colecta
de dados partindo de artigos e revistas científicas para usar como citações .

 Para Lima e Mioto (2007), a pesquisa Bibliográfica implica em um conjunto ordenado de

procedimentos de busca por soluções, atento ao objecto de estudo , e que , por isso , não
pode ser aleatório.

1.2. Objectivos:
1.2.1. Objectivo Geral
 Compreender aspectos relacionados com a cadeia de Markov em tempo continuo.

1.2.2. Objectivos Específicos

 Caracterizar as cadeias de Markov em tempo continuo.
 Demonstrar as probabilidades de estados em tempo finitos.
  Avaliar as tendências a longo prazo

1.3. Problematização
Torna-se necessário estudar os processos estocástico com vista a se ter noção de conhecimentos
da natureza do tempo e do espaço em matérias ligadas a probabilidades.

1.4. Justificativa
O presente trabalho, constitui um tópico recomendado pelo docente da cadeira de processos
estocástico no âmbito de estudo de casos concretos em grupo para fins de avaliação.
 CAPITULO II: ENQUADRAMENTO TEORICO
2.1. Processos Estocásticos
Segundo Hillier e Lieberman (2013), um processo estocástico pode ser definido como um
conjunto de variáveis aleatórias (variável que apresenta um comportamento aleatório) ordenadas
Xt sendo que t é o índice que representa a variação do tempo, que pertence a um conjunto
T { X :t T }t ∈.
Um Processo Estocástico é definido como uma colecção de variáveis randómicas ( X (t))
indexadas por um parâmetro t pertencente a um conjunto T . Frequentemente T é tomado para ser
o conjunto dos inteiros não-negativos (porém, outros conjuntos são perfeitamente possíveis) e
X ( t) representa uma característica mensurável de interesse no tempo t. Exemplificando, X (t )
pode representar o nível de estoque de um produto no fim da semana t.

Processos Estocásticos são de interesse para descrever o procedimento de um sistema

operando sobre algum período de tempo, com isso, em termos formais, a variável randómica
X(t) representa o estado do sistema no parâmetro (geralmente tempo) t. Portanto, pode-se
afirmar que X (t) é definido em um espaço denominado Espaço de Estados.

2.2. Os Processos Estocásticos podem ser classificados como:

a) Em relação ao Estado
 Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito.
 Estado Contínuo (sequência): X(t) caso contrário.

b) Em relação ao Tempo (Parâmetro)

 Tempo Discreto: t é finito ou enumerável.
 Tempo Contínuo: t caso contrário.

Exemplos:
1. Número de usuários em uma fila de banco em um determinado
instante: Estado Discreto e Tempo Contínuo.
2. Índice pluviométrico diário: Estado Contínuo e Tempo Discreto.
 3. Número de dias chuvosos: Estado Discreto e Tempo Discreto.
Existem vários "tipos" de Processos Estocásticos, porém, nestas notas de aula
será apenas abordado um tipo de Processo Estocástico denominado Processo
Markoviano.

2.3. Conceito de cadeia de markov em tempo continuo

Uma cadeia de Markov em tempo contínuo é, como a designação indica, uma
Cadeia de Markov em que a variável tempo é contínua, representando instantes ou momentos do
tempo (e não períodos no tempo como no ponto anterior). Assim, uma cadeia de Markov em
tempo contínuo é um processo estocástico { X (t) , t ³ 0 } com a propriedade de Markov, ou seja, a
probabilidade de o processo estar no estado j num momento futuro depende apenas do estado
presente e não dos estados visitados em qualquer momento passado:
Pij(t)=P { X (t +s )= j∨X (s)=i , X (u)=k para 0 £ u £ s }=¿
P {X ( t+ s)= j∨X ( s)=i}, i, j, k Î

Apenas vamos considerar cadeias de Markov com as seguintes características:

 espaço de estados X é finito ou contável.
 As probabilidades de transição de um estado para outro não dependem do tempo de
permanência nesse estado (cadeia estacionária), ou seja,
Pij(t)=P { X (t +s )= j∨X ( s)=i }=P{ X (t)= j∨X (0)=i }, s ³0 i, jÎX

Conceito 2.
Processos de Markov de tempo contínuo são similares aos processos de Markov de tempo
discreto excepto pelo fato de que as transições entre estados podem ocorrer em qualquer instante
de tempo. O conjunto que denota o espaço de estados do processo, a exemplo dos processos de
Markov estudados anteriormente, é discreto, podendo ser finito ou infinito.
Com o objectivo de caracterizar precisamente os processos Markovianos de tempo contínuo,
buscaremos a seguir estabelecer formalmente as relações que regem seu comportamento. As
cadeias de Markov em tempo contínuo podem ser descritas de modo semelhante àquela em
tempo discreto, divergindo-se no fato de que as transições podem ocorrer em qualquer instante
de tempo (KARLIN e TAYLOR, 1998).
 De acordo com Alves e Delgado (1997), nas cadeias de Markov em tempo contínuo é
importante considerar o tempo em que o processo permanece em cada estado, diferentemente da
cadeia de Markov em tempo discreto. Esse tempo é aleatório, podendo ser representado por τi ,
ou seja, o tempo que o processo permanece no estado i . Portanto, para que uma cadeia de
Markov de tempo contínuo esteja completamente definida, precisamos conhecer os estados que
compõem o espaço de estados discreto E, o parâmetro que representa a distribuição de cada
variável τi , que definiremos como ϑ i , e as probabilidades de transição para outro estado j , que
já conhecemos e podemos denotar como Pij.
A variável ϑ i, de acordo com Alves e Delgado (1997), é o número esperado de vezes em que o
processo sairá do estado i pela unidade de tempo que ele permaneceu no estadoi .

2.4. Probabilidade associados aos estados em números finitos de estantes

Numa Cadeia de Markov em tempo continuo, decorrido um número muito elevado de períodos
de tempo ¿), a probabilidade de o processo estar no estado j é constante e independente do estado
inicial i, como se pode observar através da matriz P16, que contem as probabilidades de
transição em dezasseis períodos:

(F) (P)
( F) 0.6677 0.3323
P 16= [
( P) 0.6644 0.3356 ]

A esta probabilidade chamase probabilidade estacionária do estado j e representa-se

Por πjPor outras palavras, P(nij +1) ≈ Pij(n) ≈ πj quando n → ∞
.
Tendo esta característica presente, e como (pelas equações de Chapman Kolmogorov)
, P(nij +1)Pode ser escrito como o produto [ linha ide p n ]∗¿ ¿], Então, para n muito elevado, podemos
escrever
πj = π [coluna j de P], sendo πo vector linha ¿π1, π2, π3, …,πs. ], Isto corresponde a um sistema
de equações ¿) em que o número de equações é igual ao número de variáveis, sendo ambos
iguais ao número de estados. No entanto este sistema é indeterminado, pois uma das equações é
redundante; a indeterminação é resolvida acrescentando a equação que garante que a solução seja
uma distribuição de probabilidades. Assim, para conhecer as probabilidades estacionárias π j
resolve-se o sistema.
π j=∑ π i pij
i

∑ π j=1
j

Subtraindo πj pij a ambos os membros das equações (1) do sistema, elas podem ser re-escritas da
seguinte forma π j (1− pjj )=å i 1 j π i pij ,tendo a seguinte interpretação:

[Probabilidade de uma transição para fora do estado j] =

= [Probabilidade de uma transição para o estado j].

Relembrando o exemplo que nos acompanha desde o início, quais as probabilidades

Estacionárias?
π F=0.90 π F+ 0.20 π P⇒ π F=0.6666
π P=0.10 π F +0.80 π P ⇒ π P=0.3333
π F + π P=1
O que estes valores significam é que, após bastante tempo, cerca de dois terços das pessoas, em
média, comprarão o licor Florescente, enquanto que só um terço delas irá comprar o licor
Petalado. Deste modo as probabilidades estacionárias podem ser usadas como indicadores das
quotas de mercado de cada marca e ser muito úteis em processos de tomada de decisão. De facto,
a família Petalado sabe que se conseguir aumentar o grau de fidelização dos clientes que
compram o seu licor aumentará a sua quota de mercado, servindo o modelo para quantificar estes
aumentos.

2.5. Tendência ao longo prazo

 2.5.1. Tempo de permanência no estado
O tempo que o processo permanece em cada estado passa a ser uma consideração importante,
pois o processo é em tempo contínuo e não em tempo discreto. Este tempo é, naturalmente,
incerto ou aleatório. Seja ti a variável aleatória “tempo de permanência no estado i”, isto é, o
tempo necessário para que o sistema saia do estado i, efectuando uma transição para outro
estado.
Então, facilmente se conclui que o processo permanece no estado i entre os instantes 0 e t se e só
se o tempo de permanência no estado i for superior a t, ou seja
P {X ( t)=i∨ X (0)=i }=P {ti>t∨ti>0 }=P {ti> t }, t ³ 0 i ÎX .

Por outro lado, o sistema permanece no estado i entre os instantes s e (t +s ) se e só se o tempo

necessário para que o sistema saia do estado i for superior a (t +s ),dado que o tempo de
permanência no estado i era superior a s, ou seja,
P {X ( t+ s)=i∨ X (s )=i}=P {ti >t+ s∨ti> s }, t , s ³ 0 i ÎX .
Como: P {X ( t+ s)=i∨ X (s )=i}=P { X (t)=i∨X (0)=i}então P {ti>t +s∨ti> s }=P {ti>t }.

Por outras palavras, a distribuição da variável aleatória “tempo de permanência num dado
estado” é independente do tempo que o processo tenha já passado nesse estado (propriedade da
ausência de memória). Como a única distribuição contínua que goza desta propriedade é a
distribuição exponencial, concluímos que ti tem distribuição exponencial.
Suponhamos que a variável aleatória ti ³ 0 tem distribuição exponencial com parâmetro
(taxa) mi. Então a função distribuição é dada por Fti(t)=P {ti £ t }=1−e – t mi t ³ . O valor
esperado é E [ti]=1/mi e a variância é V [ti]=1/mi 2, verificando-se sempre que a média é igual
ao desvio padrão, sendo ambos iguais ao inverso do parâmetro.
A distribuição exponencial goza de duas propriedades muito importantes no estudo das cadeias
de Markov em tempo contínuo, as quais serão apresentadas sem qualquer demonstração. Uma,
que foi já referida é a propriedade da “ausência de memória”, segundo a qual
P {ti>t + s∨ti >s }=P {ti>t }, s,t ³ 0.
A outra diz-nos que se avariável aleatória tminfor o mínimo de diferentes variáveis aleatórias
independentes (t 1 , t 2 , … ,tN ), cada qual com distribuição exponencial de parâmetro
mi (i=1 ,… , N ), então tmin tem também distribuição exponencial, sendo o parâmetro dado por:

m=∑ mi.
i

Representação
Uma Cadeia de Markov em tempo contínuo fica completamente definida se conhecermos
os estados X ={0 , 1 ,2 , … , s }, o parâmetro mi da distribuição (exponencial) de cada variável ti
(tempo de permanência em cada estado i) e as probabilidades de o processo transitar para o
estado j , dado que saiu do estadoi( pij). Em alternativa a conhecer os parâmetros mi e as
probabilidades pij , basta conhecer as taxas de transição entre os estados, mij .
A interpretação intuitiva de mi e de mijé de que se trata de taxas de transição.
Concretamente, mié a taxa de transição para fora do estado i, significando que mi é o número
esperado de vezes que o processo sai do estado i por unidade de tempo passado no estado i.
Assim, mi é o inverso do tempo médio de permanência no estadoi, ou seja, E [ti]=1/mi. De
modo semelhante, mijé a taxa de transição do estado i para o estado significando isto que mij é o
número esperado de vezes que o processo efectua uma transição de i para j por unidade de tempo
passado no estado i. Existem duas formas de representação: graficamente, através do “diagrama
de transições”, ou através de uma matriz quadrada U que contem as taxas de transição. Num
diagrama de transições cada estado é representado por um vértice, e cada arco orientado ligando
dois vértices representa uma transição possível entre dois estados,
sendo o coeficiente associado ao arco a respectiva taxa.
Na matriz U, cada linha i representa o estado actual e cada coluna j representa o estado
futuro (a ordem dos estados actuais deve ser igual à dos estados futuros, respectivamente, nas
linhas e nas colunas de U).
Deste modo, o elemento mij da matriz representa a taxa de transição do estado i para o estado j.
As taxas de transição mij são dadas por mij=mi pij (i ¹ j) , e portanto verifica-se que
∑ j ¹mij =mi ∑ j ¹ pij=mi .
j j

Capitulo III: CONCLUSÕES E REFERÊNCIAS BIBLIOGRÁFICAS

3.1. Conclusão
Depois da elaboração do presente trabalho foi possível constatar que pelos exemplos
apresentados, há casos em que o tempo é considerado de forma discreta (no fim do dia t) e outros
em que e tomado de modo continuo ( no momento t). A variável tempo é, por definição, uma
variável continua, a qual pode ser “discretezada” se os fenómenos forem observados a intervalos
regulares. Outra constatação que se pode fazer é que os “estados” tanto são valores que a
variável X(t) pode assumir (numero de clientes, numero de maquinas, etc) como são estados
(maquina avariada, a funcionar, etc). Pode definir-se um Processo Estocásticos (em ingles,
“Stochastic Process” ou “Random Process”) como um conjunto de variáveis aleatórias indexadas
a uma variável (geralmente a variável tempo), sendo representado por {X(t), t∈T}.
Estabelecendo o paralelismo com o caso determinístico, onde uma função f(t) toma valores bem
definidos ao longo do tempo, um processo estocástico toma valores aleatórios ao longo do
tempo. Aos valores que X(t) pode assumir chamam-se estados e ao seu conjunto X espaço de
estados.
 3.2. Referências Bibliográficas
Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc.

Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth Edition,

McGraw-Hill.

Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley & Sons.

Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons.

Winston, Wayne L. (1994), Operations Research – Applications and Algorithms, Third

Edition, Duxbury Press.