UERJ

Universidade do Estado do Rio de Janeiro

Notas de Aula

PROCESSOS ESTOCASTICOS I

Prof: André Diniz

Aula 1: Introdução a processos estocásticos

ÍNDICE

1. PROCESSOS ESTOCÁSTICOS ......................................................................... 3

1.1. Definições ......................................................................................................... 3
1.2. Exemplos de processos estocásticos ................................................................ 5
1.3. Classificação dos processos estocásticos ......................................................... 5
1.4. Propriedades dos processos estocásticos .......................................................... 6
2. CADEIAS DE MARKOV ..................................................................................... 8
2.1. Definição de cadeias de Markov ..................... Erro! Indicador não definido.
2.2. Cadeias de Markov Estacionárias .................................................................. 10
2.3. Matriz de Transição ........................................................................................ 10
2.4. Diagrama de Estados ...................................................................................... 11
3. CÁLCULO DE TRANSIÇÃO VÁRIOS PASSOS À FRENTE ...................... 13
3.2. Estado inicial desconhecido ........................................................................... 15
4. CÁLCULO DE FUNÇÕES “RETORNO” ASSOCIADAS A ESTADOS DE
MARKOV ............................................................................................................ 16
4.1. Estado inicial conhecido ................................................................................. 16
4.2. Estado inicial desconhecido ........................................................................... 16
5. CLASSIFICAÇÃO DOS ESTADOS E CONJUNTOS DE ESTADOS ......... 18

6. COMPORTAMENTO DE UM SISTEMA EM REGIME PERMANENTE 20

6.1. Cálculo de probabilidades em regime permanente......................................... 20
7. REFERÊNCIAS .................................... ERRO! INDICADOR NÃO DEFINIDO.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 2

Aula 1: Introdução a processos estocásticos

1. Processos estocásticos

1.1. Definições

Variável Aleatória

É uma função escalar que, para cada resultado  do espaço amostral  de um experimento
aleatório, associa um número real x( ) :
X

1  x(1 )

x( 2 )
2
x ( i )
i

   → x( )  X

Figura 1.1 - Representação esquemática de uma variável aleatória

Vetor Aleatório

É uma função vetorial que, para cada resultado  do espaço amostral  de um experimento
aleatório, associa um vetor n-dimensional ~
x ( )   n . Assim, a cada elemento  do espaço

amostral  está associado não a um único valor x = X(), como no caso da uma variável
aleatória (vide Figura 1.1), mas sim a um vetor ~
x ( )   n , conforme mostrado na

1  ~
x (1 ) = {x1 (1 ), x2 (1 ), ,...xn (1 )}

2 ~
x ( 2 ) = {x1 ( 2 ), x2 ( 2 ), ,...xn ( 2 )}

~
x (i ) = {x1 (i ), x2 (i ), ,...xn (i )}
i

  → ~
x ( )  X

Figura 1.2 - Representação esquemática de um vetor aleatório.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 3

Aula 1: Introdução a processos estocásticos

Processo Estocástico (P.E.)

Um processo estocástico, também chamado de processo aleatório, é um mapeamento

contínuo que, a cada elemento  do espaço amostral  , associa não um vetor, mas sim uma
função contínua x(t ,  ) que pertence a um conjunto de funções F, onde t é um parâmetro
que, em geral, está associado a um instante de tempo t em um intervalo contínuo (0, T ] , como
mostra a Figura 1.3.

x(t,1)

t
 1 0 T

x(t,2)
2

i t
0 T

x(t,i)

t
0 T
Figura 1.3 - Representação esquemática de um processo estocástico.

Assim, temos:

x :  → F
(1.1)  (1.1)
  → x(t ,  ), t  

Observe que x(t ,  ) depende de duas variáveis: t, que é o instante de tempo para o qual se

deseja avaliar a função, e , que é o resultado do experimento aleatório, e que determinou

qual função deveria ser utilizada. Podemos então:

=> fixar , e avaliar todos os valores de x ao longo do tempo;

=> fixar t, e avaliar os diversos valores que se poderia observar para x neste mesmo instante
de tempo, dependendo do resultado  do experimento aleatório.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 4

Aula 1: Introdução a processos estocásticos

Para facilitar a notação, o processo estocástico x(t ,  ) será denotado, daqui por diante,
simplesmente por x(t).

Com esta notação, pode-se definir um processo estocástico como sendo “uma seqüência de
variáveis aleatórias” x(t), uma para cada valor de t. Para este processo, define-se:

• t: Parâmetro que indica em que instante o valor da variável aleatória deve ser avaliado;

• X: espaço de estados: é o conjunto de todos os valores possíveis para a variável X, em

cada instante de tempo.

1.2. Exemplos de processos estocásticos

Alguns exemplos de processos estocásticos são:

• Acompanhamento do peso de uma pessoa que está fazendo uma dieta, com medições no
início de cada dia;

• Posição de uma partícula ao longo do tempo, se movendo em um tabuleiro a partir de

uma casa com posição 0, e se movendo para trás ou para frente conforme um dado com as
faces {-3,-2,-1,1,2,3};

• Precipitação mensal em uma determinada localidade;

• Número diário de chamadas em um call center;

• Indicador de atividade / manutenção de um equipamento ao longo do tempo;

• Preço de uma ação ao longo do tempo.

1.3. Classificação dos processos estocásticos

De acordo com a natureza do parâmetro t e da variável x, pode-se ter os seguintes tipos de

processos estocásticos:

• Processo estocástico de parâmetro discreto ou de parâmetro ontínuo, dependendo se o

parâmetro t é uma variável discreta ou contínua, respectivamente;

• Processo estocástico com espaço de estados discreto ou contínuo, conforme x seja uma
v.a. discreta ou contínua, respectivamente.

Exemplos de cada caso:

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 5

Aula 1: Introdução a processos estocásticos

Classificação das variáveis parâmetro

aleatórias Discreto Contínuo
Número de acidentes por dia Número acumulado de
Discreto
Espaço de em uma estrada acidentes em uma obra
estados Precipitação mensal em uma
contínuo eletrocardiograma
região

Parâmetro t discreto Parâmetro t contínuo

- idade dos segurados ao

longo das ocorrências de
sinistro
Variável X discreta
- posição de um time ao
longo das rodadas do
campeonato brasileiro
- quanto pesa cada saco de
nozes nas casas Pedro
Variável X Contínua
- altura de uma criança ao
longo das consultas a um
pediatra
- quantidade de pessoas
em uma fila do banco
- quantidade de alunos ao
longo da minha aula
- valor da ação ao longo do
tempo
- temperatura em um local
do RJ ao longo do tempo

1.4. Propriedades dos processos estocásticos

Como vimos anteriormente, ao se fixar o parâmetro t, o valor x(t) é uma variável aleatória, e
o processo estocástico pode ser visto como um conjunto de v.a., um para cada instante de
tempo t.

Desta forma, é possível estudar o comportamento e tentar descrever as v.a. x(t), para t=t1,
t2,...etc. Por exemplo, pode-se querer determinar:

• A função de probabilidade (ou função densidade de probabilidade) de x(t) para

determinado valor de t:

 p x (t ) ( x), x  X

(1.2) ou para qualquer valor de tT (1.2)
 f ( x), x  X ,
 x (t )

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 6

Aula 1: Introdução a processos estocásticos

• O valor esperado (valor médio) de x(t), em cada instante t. Pode-se denotar:

(1.3)  x (t ) = E x(t ),  t  T ; (1.3)

• A correlação entre os valores de x para distintos instantes de tempo:

(1.4) Rx (t1 , t 2 ) = E x(t1 ) x(t 2 ), t1 , t 2  T . (1.4)

Pode-se, por exemplo, verificar se um P.E. é estacionário, ou seja, as características das v.a.
x(t) (distribuição de probabilidades, valor médio, variância) não variam conforme o valor
do parâmetro t.

Algumas propriedades dos P.E. serão estudadas com mais detalhes no curso de Processos
Estocásticos II, onde. são referenciados com o nome “séries temporais”, pelo fato do
parâmetro t quase sempre representar o tempo.

Em muitas situações práticas, decisões devem ser tomadas em um contexto de incertezas, ou

seja, uma ou mais variáveis importantes no processo variam ao longo do tempo de forma
aleatória, constituindo um processo estocástico.

Dois tipos importantes de processo estocástico será estudado nesse curso: as cadeias de
Markov e a Teoria das Filas.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 7

Aula 2: Introdução às cadeias de Markov

2. Cadeias de markov

Algumas definições importantes:

• Processo Estocástico: é uma seqüência de variáveis aleatórias indexadas:

{X1,X2,...,Xt,...};

• As variáveis aleatórias são observadas em pontos igualmente espaçados, denominados de

instantes (de tempo);

• O intervalo (de tempo) entre sucessivos instantes é denominado de período, estágio ou

passo;

• A cada intervalo, o sistema em estudo pode estar em um ou mais estados ou categorias,

que são mutuamente excludentes;

• Os estados possíveis são indexados de 1 até E; O conjunto de todos os possíveis estados

{1,2,...,E} é denominado de Espaço de Estados;

• Com isso, consideraremos um P. E. onde tanto o parâmetro t como a v.a. X são

discretos.

• A variável Xt representa o estado do sistema no instante t, ou seja, ao final do período t.

Período 1 Período 2 Período 3

Instante 0 Instante 1 Instante 2 Instante 3

Exemplos:

• Passeio aleatório, onde uma partícula se desloca em uma reta, dando passos para a frente
ou para trás, conforme o resultado do lançamento de uma moeda;

Estados: {0,1,2,3...}

• Colocação de um time ao longo das rodadas do brasileiro;

• Estado de um paciente na UTI {liberado, leve, médio, grave, gravíssimo, falecimento}

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 8

Aula 2: Introdução às cadeias de Markov

2.1. Cadeia de Markov

Uma cadeia de Markov é um tipo especial de processo estocástico, que possui a seguinte
propriedade básica:

“as características desse processo no futuro não dependem do passado, apenas do estado
presente do sistema”

Ou seja, “a probabilidade da cadeia se situar no estado j no próximo instante t+1 depende tão
somente do estado do sistema no instante atual t, independentemente do caminho percorrido
pelo sistema até chegar a esse estado”

Formalmente, tempos a seguinte definição:

Definição. Um processo estocástico X = { X n , n = 0,1,2...} com espaço discreto de estados E

será uma cadeia de Markov se a seguinte proposição for verdade, para qualquer estado j e
instante n:

(2.1) P{ X t +1 = j X 0 = i0 , X 1 = i1 ,...X t = it } = P{ X t +1 = j X t = it } , (2.1)

onde it indica o estado da cadeia para o instante t (ou seja, corresponde ao valor observado

para a v.a. Xt).

Discutir nos exemplos anteriores

2.2. Probabilidades em uma cadeia de Markov

As seguintes probabilidades podem ser obtidas a partir do estudo de uma cadeia de Markov:

• Probabilidade de o sistema se situar no estado j em um instante t: Pj,t = P[Xt=j]

E
Propriedade: P
i =1
i ,t =1

• Probabilidades de transição de um estado i para um estado j, no instante t:

pijt = PX t +1 = j X t = i 

E
Propriedade: p
j =1
t
i, j = 1, i, t

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 9

Aula 2: Introdução às cadeias de Markov

A probabilidade de transição pijt indica qual é a probabilidade do sistema se encontrar no

estado j no próximo instante ou passo t+1, dado que o sistema se encontra no estado i no
instante atual.

Desenho das transições e probabilidades.

2.3. Cadeias de Markov Estacionárias

Definição. Uma cadeia de Markov será dita estacionária se ela tiver probabilidades de
transição estacionárias, ou seja:

(2.2) pijt = P{ X t +1 = j X t = i} = pij t . (2.2)

A expressão (2.2) indica que, em uma cadeia de Markov estacionária, essa probabilidade não
depende do instante de tempo n, e pode ser denotada simplesmente por pij

Neste curso, somente estudaremos cadeias de Markov estacionárias.

Exemplo de matrizes de transição:

• jogo de moeda;

• Cadeia de Markov de dois estados para falha de um componente

2.4. Matriz de Transição

Definição. Considere uma cadeia de Markov estacionária com E estados possíveis. A matriz
de transição PEE:=P[i,j],i=1,...E, j=1,...E indica as probabilidades de transição em um espaço de
tempo dessa cadeia. Ou seja, o elemento da linha i e coluna j dessa matriz, denotado por pij,
corresponde à probabilidade do sistema passar do estado i em determinado instante para o
estado j no instante seguinte:

 p11 p12 ... p1K 

p ... p 2 K 
(2.3) P := 
21
(2.3)
 ... ... ... 
 
 pK1 pK 2 ... p KK 

É fácil observar que:

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 10

Aula 2: Introdução às cadeias de Markov

K
(2.4)  pij = 1,  i
j =1
(2.4)

já que, uma vez no estado i no instante n, o sistema deve obrigatoriamente ir para um outro
estado j ou permanecer no próprio estado i no próximo instante de tempo.

2.5. Diagrama de Estados

É possível que, em uma cadeia de Markov, algumas das probabilidades de transição sejam
nulas. Portanto, para visualizar melhor as possibilidades de transição dessa cadeia, é
importante desenhar o diagrama de estados dessa cadeia, conforme mostra a Figura 2.1, que
representa o diagrama de estados da cadeia de Markov descrita pela matriz de transição da eq.
(2.5).

 p11 p12 p13 0 

p 0 p23 p24 
(2.5) P =  21 (2.5)
 p31 p32 0 0 
 
 0 p42 p43 p44 

p11
p12
1 2
p21

p13 p31 p23 p42

p24
p32

3 4
p43
p44

Figura 2.1 - Diagrama de estados de uma cadeia de Markov com 4 estados indicada
pela matriz de transição (2.5).

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 11

Aula 3: Exercícios: determinação da matriz de transição / diagrama de
estados

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 12

Aula 4: Cálculo de transição vários passos a frente

3. CÁLCULO DE TRANSIÇÃO VÁRIOS PASSOS À FRENTE

A partir da matriz de transição de um passo P de uma cadeia de Markov, é possível calcular

as matrizes de transição k passos à frente.

Por exemplo, suponha k = 2 e que desejamos calcular a probabilidade do sistema passar de

um estado 1 para um determinado estado 2 em dois intervalos de tempo, em uma cadeia de
Markov com estados 1, 2 e 3. A probabilidade será dada por:

p{ X t + 2 = 2 X t = 1} = P{ X t + 2 = 2 X t +1 = 1}  P{ X t +1 = 1 X t = 1} +
P{ X t + 2 = 2 X t +1 = 2}  P{ X t +1 = 2 X t = 1} +
(3.1) (3.1)
P{ X t + 2 = 2 X t +1 = 3}  P{ X t +1 = 3 X t = 1} =
= p12 p11 + p22 p12 + p32 p13

A expressão (3.1) deixa claro que há três formas de se passar do estado 1 no instante t para o
estado 2 no instante t+2:

• Permanecer no estado 1 em t+1 (com probabilidade p11), e depois passar para o estado 2
em t+2 (com probabilidade p12). A probabilidade desses dois eventos acontecerem será o
produto p12p11;

• Passar para o estado 2 em t+1 (com probabilidade p12), e depois permanecer no estado 2
em t+2 (com probabilidade p22). A probabilidade desses dois eventos acontecerem será o
produto p22p12;

• Passar para o estado 3 em t+1 (com probabilidade p13), e depois passar para o estado 2 em
t+2 (com probabilidade p32). A probabilidade desses dois eventos acontecerem será o
produto p32p13.

Como essas três formas acima são mutuamente excludentes, decorre então que a
probabilidade desejada será p12 p11 + p22 p12 + p32 p13 . Mas o que isso significa

matricialmente? Como mostra a Figura 3.2, essa expressão corresponde à multiplicação dos
elementos da segunda coluna da matriz P pelos elementos da primeira linha da matriz, ou
seja, é o elemento (1,2) da matriz P2.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 13

Aula 4: Cálculo de transição vários passos a frente

 p11 p12 p13   p11 p12 p13   p112 p122 p132 

p  2 2 
 21 p22 p23  p
 21 p22 p23  =  p21 2
p22 p23 
 p31 p32 p33   p31 p32 p33   p312 p322 p332 

Figura 3.2 - Representação matricial da probabilidade de se passar do estado 1 para o

estado 2 em dois intervalos de tempo.

De forma geral, temos que:

[ P 2 ]ij (elemento da linha i e coluna j da matriz P2) corresponde à probabilidade de se

passar do estado i para o estado j em dois intervalos de tempo.

Prosseguindo de forma semelhante à (3.1), a probabilidade de se passar do estado 1 para o

estado 2 em três intervalos de tempo será dada por:

p{ X t +3 = 2 X t = 1} = P{ X t +3 = 2 X t + 2 = 1}  P{ X t + 2 = 1 X t = 1} +
P{ X t +3 = 2 X t + 2 = 2}  P{ X t + 2 = 2 X t = 1} +
(3.2) (3.2)
P{ X t +3 = 2 X t + 2 = 3}  P{ X t + 2 = 3 X t = 1} =
= p12 p112 + p22 p122 + p32 p132

que corresponde à multiplicação da primeira linha da matriz P pela segunda coluna da matriz
P2 (de forma semelhante à mostrada na Figura 3.2), correspondendo ao elemento (1,2) da
matriz P3. Teremos então que:

[ P 3 ]ij (elemento da linha i e coluna j da matriz P3) corresponde à probabilidade de se passar

do estado i para o estado j em dois intervalos de tempo.

Prosseguindo por indução teremos então o seguinte resultado.

Seja um processo estocástico X = { X n , n = 0,1,2...} que se constitui em uma cadeia de

Markov estacionária com espaço discreto de estados E e matriz de transição P. As

probabilidade de transição k passos à frente do estado i para o estado j será dada por:

(3.3) P{ X n+k = j X n = i} = P k (i, j ) . (3.3)

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 14

Aula 4: Cálculo de transição vários passos a frente

3.2. Estado inicial desconhecido

Agora suponha que o estado inicial é desconhecido, conhecendo-se apenas um vetor de

probabilidades  do sistema estar em cada estado i:

  (1) 
  ( 2) 
(3.4)  :=   , (3.4)
 ... 
 
  ( E )

onde  (i ) = P{ X 0 = i} .

Qual a probabilidade do sistema estar em cada estado em t+k, sabendo-se que no instante t o
sistema pode estar em qualquer um dos estados, de acordo com o vetor de probabilidades  ?
Estas probabilidades serão dadas por:
E
P{ X t + k = j} =  p[ X t + k = j X t = i ] =
i =1
E
(3.5) =   (i ) P k [i, j ] = (3.5)
i =1

P k ( j ),

onde P k é o vetor-linha resultado da multiplicação do vetor  pela matriz Pk , e P k ( j ) é a

j-ésima posição desse vetor.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 15

Aula 5: Cálculo de funções-retorno

4. Cálculo de funções “retorno” associadas a estados de markov

Considere uma função f(i) que, a cada estado i, associa um valor f(i), que pode ser
considerado como um retorno (lucro, por exemplo) que ocorre quando o sistema está no
estado i. Pode-se então definir um vetor de retornos f:

 f (1) 
 f (2) 
(4.1) f :=   (4.1)
 ... 
 
 f ( E )

4.1. Estado inicial conhecido

Dado um estado inicial i0 em um determinado instante t, o sistema pode estar em diferentes

estados possíveis em t+k, e cada estado i = 1,...E forneceria um retorno diferente f(i). É
possível calcular o valor esperado do retorno obtido nesse instante t+k, pela expressão:
E
E[ f ( X t + k )] =  p[ X t + k = i X t = io ] f (i ) =
i =1
E
(4.2) =  P k [i0 , i ] f (i ) = (4.2)
i =1

P k f (i0 ),

Onde P k f é o vetor-coluna resultado da multiplicação da matriz Pk pelo vetor f , e P k f (i0 )

é a io-ésima posição desse vetor.

4.2. Estado inicial desconhecido

Agora suponha que o estado inicial é desconhecido, conhecendo-se apenas um vetor de

probabilidades  do sistema estar em cada estado i:

  (1) 
  ( 2) 
(4.3)  :=   , (4.3)
 ... 
 
  ( E )

onde  (i ) = P{ X 0 = i} .

O retorno médio em t+k é calculado então pela expressão:

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 16

Aula 5: Cálculo de funções-retorno

E E
E[ f ( X t + k )] =  f (i )  (i0 ) p[ X t + k = i X t = io ] =
(4.4) i =1 i0 =1 (4.4)
= P k f ,

onde o resultado P k f já é um valor escalar.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 17

Aula 7: Classificação dos Estados

5. Classificação dos estados e conjuntos de estados

A seguir, iremos estudar com mais detalhes a estrutura da matriz de transição P. Com isso,
pode-se entender o comportamento observado por alguns estados (ou conjuntos de estados)
ao longo da vida útil da cadeia.

Para todas as análises nesta seção, é imprescindível se fazer um diagrama de estados da

cadeia de Markov.

Em uma cadeia de Markov, cada estado estará obrigatoriamente em uma (e somente uma) das
duas categorias a seguir:

• Estado recorrente: é um estado que, uma vez atingido, será sempre visitado (mesmo
que de vez em quando) ao longo da vida útil da cadeia. Em outras palavras, o número de
vezes em que o sistema retornará a esse estado, se a cadeia evoluir indefinidamente no
tempo iniciando-se nesse estado, é igual a ;

• Estado transiente: é um estado que, uma vez atingido, pode voltar a ser atingido
novamente no futuro, mas em algum momento no futuro (não interessa quando), ele
nunca mais será atingido novamente.

Existe um caso especial de estado recorrente que é o estado absorvente, que será visto mais
adiante.

A identificação dos estados recorrentes e transientes de uma cadeia é feita observando-se sua
matriz de transição e o seu diagrama de estados. Será útil também definir os seguintes
conjuntos de estados:

• Conjunto de estados “fechado”: Um conjunto de estados C será dito “fechado” se,

quando um sistema estiver em qualquer estado i  C, no próximo instante de tempo
obrigatoriamente estará em um estado j que também pertence a C. Matematicamente,
temos que:

(5.1)  P(i, j ) = 1,  i  C.
jC
(5.1)

Matricialmente, as probabilidades ao longo de todas as linhas da submatriz formada pelas

linhas e colunas desses estados deve somar 1.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 18

Aula 7: Classificação dos Estados

Há uma definição que se tornará importante, a de comunicação entre estados:

Definição. Diz-se que dois estados i e j se comunicam entre si (ou seja, são comunicantes) se
é possível de alguma forma, passar do estado i para o estado j, e vice-versa (a comunicação
deve ser recíproca).

Pode-se então definir um tipo de conjunto fechado com propriedades especiais:

• Conjunto de estados fechado “irredutível”: Um conjunto de estados fechado C será

irredutível quando não contiver um subconjunto de estados que seja fechado. De forma
equivalente, um conjunto será irredutível se ele for fechado e se e somente se todos os
pares possíveis de estados em C se comunicam entre si.

No diagrama de estados de uma cadeia de Markov, um conjunto fechado é aquele que, uma
vez envolvido, não apresentará nenhum arco saindo do conjunto. E, em particular, será
irredutível se é possível, a partir de qualquer nó desse conjunto, se atingir qualquer outro nó
nesse conjunto.

Portanto, a identificação de estados recorrentes e transientes se dará da seguinte forma:

• Estados recorrentes: são todos os estados que pertencem a algum conjunto irredutível;

• Estados transientes: são os estados que não pertencem a nenhum conjunto irredutível.

Finalmente, há um tipo especial de estado recorrente:

• Estado absorvente: um estado recorrente é dito absorvente se ele, sozinho, se constitui

em um conjunto fechado irredutível.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 19

Aula 12: Exercícios de Revisão

6. Comportamento de um sistema em regime permanente

A partir de um estado inicial, a cadeia de Markov apresentará determinada evolução, que será
aleatória visto que as transições são ditadas pelas probabilidades. Dependendo da condição
inicial da cadeia, temos que:

• Se o processo se iniciar em um estado recorrente, a cadeia irá para sempre permanecer no

conjunto irredutível a que pertence esse estado;

• Se o processo se iniciar em um estado transiente, em algum momento irá atingir um

estado recorrente em um conjunto irredutível, permanecendo neste conjunto para sempre.

Ao atingir um conjunto irredutível, este pode ter apenas um estado, que será então um estado
absorvente. Portanto, a cadeia permanecerá para sempre neste mesmo estado.

Uma vez atingido um conjunto irredutível, a cadeia irá ficar transitando para sempre entre os
estados desse conjunto, atingindo cada um deles uma determinada proporção (percentual) de
vezes. É possível calcular esses percentuais de tempo em que a cadeia permanecerá, em
média, em cada estado. Estes percentuais são denominados probabilidades em regime
permanente da cadeia, calculados da forma a seguir.

6.1. Cálculo de probabilidades em regime permanente

Seja um processo estocástico X = { X n , n = 0,1,2...} que se constitui em uma cadeia de

Markov estacionária com espaço discreto de estados E e matriz de transição P. Considere, em

particular, que toda a cadeia de Markov se constitui em uma cadeia irredutível. Portanto, a
matriz de probabilidades em regime permanente  será a solução do seguinte sistema de
equações:

P = 

(6.1)  (6.1)
  i = 1
 iE

Na verdade, se a cadeia de Markov possui K estados, o sistema linear (6.1) possui K

incógnitas e K+1 equações. Portanto, uma dessas equações será redundante, e pode ser
eliminada do sistema (elimina-se aquela que for mais conveniente para se resolver o sistema).

Exemplo: 5.2 de Erro! Fonte de referência não encontrada., pág. 144

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 20

Aula 12: Exercícios de Revisão

Se a cadeia de Markov como um todo não for irredutível, não se pode resolver o sistema (6.1)
para a matriz completa.

Entretanto, pode-se mostrar que a matriz de transição de qualquer cadeia de Markov pode
ser rearranjada em submatrizes, da seguinte forma:

 P1 
 P2 
 
  
(6.2) P =   (6.2)
 PS 
 B1 B2 ... BS Q
 
 

Portanto, uma cadeia de Markov será dividida em S subconjuntos de estados irredutíveis,

onde Pi, i =1,...S são as submatrizes de transição em cada um desses subconjuntos. Todos os
estados nessas submatrizes são recorrentes.

Os estados remanescentes são transientes, cuja sub matriz de probabilidade entre si é dada
por Q, e as submatrizes Bi indicam as probabilidades de transição que fazem a cadeia “cair”
em cada subonjunto irredutível i.

Pode-se calcular as probabilidades em regime permanente dentro de cada conjunto irredutível

i, resolvendo-se os S sistemas lineares:

 ( s ) P s =  ( s )

(6.3)  , s = 1,...S (6.1)
  i = 1
iCi

Onde (s) corresponde ao vetor que contém as probabilidades permanentes apenas dos estados
que pertencem ao conjunto irredutível s.

Notas de Aula – Curso de Processos Estocásticos I Prof: André Diniz 21