CONCEITOS...

Os vetores Xk são chamados de VETORES DE ESTADO da

UNICARIOCA cadeia de MARKOV, e a matriz P é chamada de MATRIZ DE

TRANSIÇÃO. Acabamos de ver que uma cadeia de Markov
PROCESSOS satisfaz a relação:
ESTOCÁSTICOS Xk+1= PXk para k = 0,1,2,...
Ou seja, o estado Xk+1 pode ser determinado a partir do
TEMA-10 estado Xk e da Matriz de Transição!
MATRIZ DE TRANSIÇÃO Desse resultado segue que podemos calcular um vetor de um
estado arbitrário (Xk) iterativamente uma vez que conhecemos
VETOR DE ESTADO ESTACIONÁRIO X0 e P. Em outras palavras  uma CADEIA DE MARKOV é
completamente determinada por suas PROBABILIDADES DE
TRANSIÇÃO e por seu ESTADO INICIAL.

Se, no Exemplo da pasta de dentes, quiséssemos acompanhar  0,60  0,70 0,20 X1 = P × X 0

X0 =   P= 
não o número real de usuários que utilizam cada marca, mas o  0 , 40  2×1
número relativo que utiliza cada uma, poderíamos converter os 0,30 0,80
dados em porcentagens ou frações dividindo por 200 que é o 0,70 0,20 0,60 0,70 × 0,60 + 0,20 × 0,40
número total de usuários. Dessa maneira, começaríamos da X1 =   × 0,40 X1 =  
 0,30 0,80  2×2   2×1 0,30 × 0,60 + 0,80 × 0,40 2×1
seguinte forma:
 120 
MARCA A = 120  200   0,60  0,42 + 0,08 0,50
MARCA B = 80 X0 =   X0 =  X1 =   X1 =  

TOTAL = 200  80   0, 40  2×1 0,18 + 0,32  0,50 2×1
 200  2×1 Vetores como esses, com componentes não negativas que
somam 1, são chamados de VETORES DE PROBABILIDADE.
Isso indica que, inicialmente, a divisão entre as marcas A e B
seria de 60% e 40%, respectivamente. Obs. Lembre que quando calculamos os VALORES ABSOLUTOS o
valor de X1 foi o abaixo, ou seja, cada marca tem 50% do total (200).
Nesse caso quem seria X1? X1 = P × X 0
100 0,50
FAÇA A CONTA ! X1 =   X1 =  
100 2×1 0,50 2×1

MATRIZ DE TRANSIÇÃO Podemos perceber de outro modo a natureza probabilística das

Observe como as probabilidades de transição estão arranjadas cadeias de Markov. Note que podemos escrever:
dentro da matriz de transição P. Podemos pensar nas X 2 = P × X1 X1 = P × X 0
COLUNAS de P como os ESTADOS PRESENTES, e nas
LINHAS de P como os ESTADOS SEGUINTES. X 2 = P × (P × X 0 ) X 2 = P 2 X 0
Presente Assim, podemos também escrever que:
A B
A  0,70 0,20 Xk = PkX0 para k = 0,1,2,...
P = Seguinte     Isso nos leva a examinar as potências de uma matriz de
B  0,30 0,80
transição. No nosso exemplo das pastas de dentes temos:
Note que as colunas de P são vetores de probabilidade.
Toda matriz quadrada com essa propriedade é chamada de 0,70 0,30 0,70 0,30  0,70 0,30 
P=  P2 =  × 
MATRIZ ESTOCÁSTICA(*).
0,20 0,80  0,20 0,80 0,20 0,80
(*) A palavra estocástico é derivada do adjetivo grego stokhastikos, que significa
"capaz de aproximar" (ou adivinhar). É aplicada em qualquer coisa governada pelas 0,55 0,30 
leis da probabilidade, no sentido de que probabilidade faz previsões sobre a chance de P2 =  
as coisas acontecerem. Na teoria da probabilidade, os "PROCESSOS
ESTOCÁSTICOS" são uma generalização das cadeias de Markov.
0,45 0,70

PROCESSOS ESTOCÁSTICOS - TEMA_10 1 MANUEL

 O que podemos dizer sobre os elementos dessa matriz? O
primeiro fato a observar é que P2 é outra matriz estocástica, já
que a soma dos elementos de suas colunas é igual a 1.
P2 poderia ser também uma matriz de transição de algum tipo?
Considere um de seus elementos - digamos (P2)21= 0,45. O
diagrama de árvore na Figura 2 esclarece de onde esse
elemento veio.
0,55 0,30
P2 =   permanecer com ela com probabilidade
0,45 0,70 
Quatro mudanças de estado podem
ocorrer em dois meses e elas
correspondem aos quatro galhos (ou
caminhos) de comprimento 2 na
árvore.
Alguém, inicialmente usando a marca A,
pode terminar usando a marca B dois
meses depois, por dois caminhos
diferentes (marcados com * na Figura 2).
01) a pessoa pode continuar usando A
depois de um mês e então mudar para B,
com probabilidade igual a 0,7×(0,3) =
0,21 (*) ou
02) mudar para B depois de um mês e
igual a 0,3 ×(0,8) = 0,24 (*).
A soma dessas probabilidades
(0,21)+(0,24) nos dá uma probabilidade
0,55 0,30  geral de 0,45. Observe na Matriz de
P2 =   Transição o valor 0,45.
0,45 0,70  Observe também que esses cálculos
são exatamente o que fazemos quando
calculamos (P2)21.

Vamos trabalhar com vetores de probabilidade como vetores de

Em consequência, (P2)21 = 0,45
estado e calcular seus valores (até X10). Temos então:
representa a probabilidade de passar
do estado 1 (marca A) para o estado 0,60  0,70 0,20
X0 =  P=  X K +1 = P × X k
2 (marca B) em duas transições. 
0,40  2×1 0,30 0,80 
Note que a ordem dos índices é a
inversa da que se poderia supor. 0,70  0,20
,20 0, ૟0 0,50
X1 = P × X 0 Xଵ = × X1 =  
0,30 0,80 0, ૝0
 0,55 0,30  ଶ×ଶ ଶ×ଵ 0,50 2×1
P2 =  
 0,45 0,70  0,70 0,20 0,50 
X 2 = P × X1  0 , 45 
X2 =   ×  X2 =  
Generalizando o argumento, pode-se mostrar que (Pk)ij é a 0,30 0,80  2×2 0,50  2×1  0 ,55 
probabilidade de se passar do estado j ao estado i em k
transições.
0,70 0,20 0,45   0, 425 
O que acontecerá com a distribuição dos usuários de pasta de X3 = P × X2 X3 =   × 0,55  X 3 =  
dentes em um prazo longo?  0,30 0,80  2×2   2×1  0,575 
Você saberia responder ?

Da mesma forma teremos que: Da mesma forma teremos que:

0,412
X 4 = P × X 3 X = 0,70 0,20 × 0,425  X 4 =   X 9 = P × X 8 X = 0,70 0,20 × 0,401  X =  0, 40 
4 0,30 0,80 0,575  0,588  2×1 9 0,30 0,80   9  0,60 
  2×2   2×1   2×2 0,599  2×1  

X 5 = P × X 4 X = 0,70 0,20 × 0,412  X =  0, 406  0,70 0,20 0,40  0, 40 

5 0,30 0,80   5  0,594  X10 = P × X 9 X10 =   × 0,60 X 10 =  0,60 
  2×2 0,588  2×1   0,30 0,80  2×2   2×1  
 0, 403  Parece que os vetores de estado se aproximam indefinidamente
X 6 = P × X 5 X 6 = 
0,70 0,20 0,406 
 ×  X6 =   0,40 
0,30 0,80 2×2 0,594  2×1  0,597  do (convergem para) vetor  
0,60 
0,70 0,20 0,403   0, 402  Isso que significa que, futuramente, 40% dos 200 usuários de
X7 = P × X6 X7 =  pasta de dentes na pesquisa usarão a marca A e 60% usarão
 × 0,597  X 7 =  0,598 
0,30 0,80  2×2   2×1   a marca B!

X8 = P × X 7 0,70 0,20 0,402  X = 0,401 Assim: A120 A 80 

X8 =   × 0,598  8 0,599 X0 =    X =   
0,30 0,80 2×2   2×1
  2×1 B 80  B120

PROCESSOS ESTOCÁSTICOS - TEMA_10 2 MANUEL

 De fato, é fácil verificar que, atingida essa distribuição, ela nunca VETOR DE ESTADO ESTACIONÁRIO

mais mudará. Simplesmente calculamos: Vamos reescrever a equação matricial do vetor estacionário
PX = X
0,70 0,20 0,40  0,40 
0,30 0,80 × 0,60  = 0,60  Essa equação pode ser reescrita da seguinte maneira:
      PX = IX , onde I é a matriz Identidade de ordem k.

Um vetor de estado X, com a propriedade PX = X, é chamado Temos então

de VETOR DE ESTADO ESTACIONÁRIO. PX = IX, que pode ser reescrita como:
Toda cadeia de Markov tem um ÚNICO VETOR DE ESTADO IX - PX = 0  VETOR NULO !
ESTACIONÁRIO. (I - P)X= 0 (colocando o vetor X em evidência).
PX = X  Equação do Vetor Estacionário Mas, esse é um sistema de Equações Lineares Homogêneo
com Matriz de Coeficientes I - P.

VETOR DE ESTADO ESTACIONÁRIO VETOR DE ESTADO ESTACIONÁRIO

Temos então  (I - P)X= 0 Temos então
Para exemplificar o cálculo do Vetor Estacionário vamos tomar o 1 0  0,70 0,20  x1  0
mesmo exemplo das pastas de dente com as marcas A e B e 0 1 − 0,30 0,80 ×  x  = 0
matriz de transição abaixo      2  
0,70 0,20  x1  1 - 0,70 0 − 0,20  x1  0
P=  X =   vetor estacionário! 0 - 0,30 1 - 0,80  ×  x  = 0
0,30 0,80 x 2     2  
(I − P ) X = 0  0,30 − 0,20  x1  0
- 0,30 0,20 ×  x  = 0
Substituindo os valores de I e P na equação abaixo vem:
   2  
Reescrevendo vem:
1 0  0,70 0,20  x1  0  0,30 − 0,20 0  3 − 2 0 
0 1 − 0,30 0,80 ×  x  = 0 - 0,30 0,20 0 - 3 2  0 
     2        

VETOR DE ESTADO ESTACIONÁRIO VETOR DE ESTADO ESTACIONÁRIO

Temos então Temos então
 3 − 2 0   2
- 3 2  0   1 − 3  0 
     0
Dividindo a primeira linha por 3 vem - 3 2 

 3 20  Multiplicando a primeira linha por 3 e somando a

 3 − 3 3 segunda linha vem:
  
- 3 2  0   2  2
1 −  0  1 − 3  0 
 2 
3  
 0   0 
 1 − 3  0  3 - 3 - 2 + 2   0 0  
  0
 - 3 2

PROCESSOS ESTOCÁSTICOS - TEMA_10 3 MANUEL

 VETOR DE ESTADO ESTACIONÁRIO VETOR DE ESTADO ESTACIONÁRIO
Temos então: (I - P)X= 0 Temos então:
 2  x1  x2 = t 2
 1 − 3   x 1  = 0  X=  Vetor Estacionário ! x1 =
3
t
   x  0  x 2 
0 0  2    Como resolver ?

Isso significa que x2 é uma variável livre e temos que Que valores podemos atribuir a t?
achar uma solução paramétrica.
 x1 
2 2 X=  Vetor Estacionário !
1x1 − x 2 = 0 x1 = x2
3 3 x 2 
Fazendo x2 = t (parâmetro qualquer) vem: Quem são x1 e x2 ?
2
x2 = t x1 = t x1 e x2 são probabilidades !
3
Como resolver ? Logo, x1 + x2 = 1 !
Que valores podemos atribuir a t?

VETOR DE ESTADO ESTACIONÁRIO VETOR DE ESTADO ESTACIONÁRIO

Temos então: Temos então:
2  x1   x1  x1 = 0,40
x2 = t x1 = t x1 + x2 = 1 X=  X= 
3 x 2  x 2  x 2 = 0,60
x1 + x 2 = 1 Então o nosso VETOR DE ESTADO ESTACIONÁRIO é:
2 0,4
X =   Esse valor coincide com os nossos cálculos
5 3
t + t =1 t =1 t= t = 0,60 interativos realizados anteriormente.
3 3 5 0,6 
Isso significa que, futuramente, 40% dos usuários da pasta de
Temos então: x2 = t x 2 = 0,60 dentes na pesquisa usarão a marca A e 60% usarão a marca
2 2 B.
x1 = t x1 = × 0,6 x1 = 0,40
3 3 A120 A   80 
X0 =    ESSE VETOR IRÁ MUDAR PARA  X =   
B 80  B  120
Obs. x1 + x2 = 1

VETOR DE ESTADO ESTACIONÁRIO

120
Como x1 + x2 = 200 o vetor de estado inicial X0 =  
 80 
irá convergir para o vetor de estado estacionário

0,4 0,4 × 200  80 

X=  X=  X= 
0,6 0,6 × 200 120
Isso que significa que, futuramente, 40% dos usuários da
pasta de dentes na pesquisa usarão a marca A e 60% usarão
a marca B.

O QUE OS GESTORES DA MARCA A DEVERÃO FAZER ?

Não existe solução sem Educação.

PROCESSOS ESTOCÁSTICOS - TEMA_10 4 MANUEL